不过韦应物没有进士文凭，又不屑于钻营，所以做官方面未免会吃点亏。李肇在《国史补》里叹息很多著名文士官运不佳，韦应物就跟李邕、王昌龄、郑虔、元德秀、萧颖士、张旭、独孤及、梁肃等人并列。韦应物在代宗永泰年间就做到了六品的洛阳丞、京兆府功曹，可是到了大历十四年，仍然只是鄠县令、栎阳令，十几年才升了一级。他心中也很郁闷，于是称病辞职，住在京畿的善福寺里疗养。
三年以后，他被委任为比部员外郎，外放滁州刺史。在滁州的这段日子还比较快乐，因为这里的优美风景很对他的胃口。《滁州西涧》便写于此时：“独怜幽草涧边生，上有黄鹂深树鸣。春潮带雨晚来急，野渡无人舟自横。”您看，这情调多么悠闲雅致，一个汲汲于功名的人哪能写出这样不沾一丝尘世气息的诗呀?《郡斋雨中与诸文士燕集》曰：“兵卫森画戟，燕寝凝清香。”说的便是他居寝必焚香的习惯。宋人黄庭坚也喜欢焚香，还自称“有香癖”，跟韦市长比起来，他那“香癖”不但小器而且矫情。
韦应物诗独标异格，在当时就有很大影响。唐末张为曾经写了一本《诗人主客图》，把唐代诗人按风格归为六大派别，韦应物属于“高古奥逸”派。这本来没错，张为错就错在把这派宗主定为名气不大的孟云卿，而将韦应物列为此派的“上入室”者，意为韦氏之诗最得此派风骨。
蛀书以为，韦应物完全有资格执此派牛耳，张为之论，俺坚决持保留意见。话说韦应物以清雅古淡的诗歌傲视诗坛，诗僧皎然想去见见这位神仙中人，于是仔细琢磨了他的诗之后，学着写了好几首诗作为进见韦市长的见面礼。皎然是诗坛名人，著有《诗式》教人写诗，学习别人的风格，当然是学谁像谁。
可是韦应物看了看他送来的诗，摇了摇头，连见的兴趣都没有。皎然很不服气，过了几天，决定把自己得意的诗抄了几首再去见他，这次韦应物总算高兴了。
他对皎然说：“每个人天分不同，各有自己的特点。您以前学我的风格，害得我把您看成了徒有虚名的人。现在看您具有自己特别风格的诗，方知并非浪得虚名呀。”皎然这才心服口服。
韦应物之诗如其人，高洁得近乎不食人间烟火。白居易做苏州刺史，曾将前人诗歌勒石纪念，韦应物的“兵卫森画戟，燕寝凝清香”便被选入其中，得到了极高评价。人们总是喜欢把李白称做“诗仙”，在蛀书看来，李白跳不出名利场，他的诗歌委实没有多少“仙”气。真要论精神气质，韦应物才是真正与物无忤、潇洒淡定的诗中神仙。