韦应物贫穷的另一个原因是他经常生病。他从栎阳令任上辞职后，住进长安善福寺是为治病疗疾。第二次寓居洛阳同德寺，也是因为有病。晚年在滁州刺史任上作的《寄李儋元锡》诗中有"身多疾病思田里，邑有流亡愧俸钱。"可见韦应物的身体状况并不好。最后寓居苏州永定佛寺，很可能也在那里疗疾休养，但不久便去世了。?
韦应物在数次离任后常住寺院，与当时的官僚制度也有直接关系。秦汉时期，无论原先俸禄多少石的官吏，只要离开职位，除非皇帝特诏照顾之外，一律停发俸禄。这些"公务员"休官后，既没有可以保留的干部身份，也没有可以累计的连续工龄。到唐朝，异地做官，连最后一次坐公车返回故乡也不行。宋朝也实行退休就不得再用公车的制度。官员在职时，患病可享受公费医疗，一旦离职，便断了俸禄，连诊疗服药都要化自己的钱。唐朝诗人孟郊、贾岛都是在副县职任上退休后，因贫病交困缺医少药而死。唐朝一些寺庙常做善事，免费或廉价给病人施医舍药。韦应物屡进寺庙，主要因缺乏家底，只能靠寺庙施舍的善举度过难关。可见，像韦应物这类清官的生活是很清苦的。这在封建社会"相逢尽说休官好，林下何曾见一人"，在达官显贵口是心非务踞高位的官场面前，像韦应物这种清廉刚直、能进能退的清官确是凤毛麟角，难能可贵!