杜牧一生共经历五个皇帝，频繁换帝说明国家的底气已成问题，宦祸、党争、叛乱，生灵涂炭，唐王朝已走到尽头。在这种情况下，杜牧就特别向往昔日的盛世。为此，他还跑到唐太宗墓前写了两首触景生情的诗，以称颂明主而发泄对时下的不满。“千古销沉向此中”，这是诗人为晚唐提前写下的挽歌。五十年后，唐王朝就灭亡了。
可能是对现实太失望，杜牧生命的最后几年一直在努力摆脱权力漩涡。宣宗大中四年(850年)，杜牧出任肥缺吏部员外郎不久，就以种种借口要求外放到湖州任刺史。有关领导刚开始不同意，但是见杜牧一封接一封的申请让他应接不暇，被迫应允。
关于杜牧为何偏偏选中湖州，据野史杂记记载，是因为他在那里欠了一个感情债。据说杜牧在地方做官的时候，听说湖州美女多，就去那里游玩。在游玩的过程中，杜牧遇到一个天姿国色的小女孩，只有十来岁。杜牧很喜欢，就给她的母亲一些财帛定聘，约定十年之内他必来湖州做刺史，再行迎娶，如十年不来，女孩可另嫁。谁知，等他真来到湖州做刺史时，时间已过了十四年。杜牧不甘心，找到了女孩母亲后才知女孩早于三年前嫁人，还生了两个孩子。为此，杜牧怅然若失，还写了首诗感叹。
在湖州任上，杜牧只干了一年多就又被召到京城，任中书舍人。他明白自己在官场已不可能有太大的作为，遂放浪形骸，纵情诗文;不久，病逝于长安，年五十岁。