迁官外放
会昌元年(841年)杜牧调任比部员外郎，武宗会昌二年(842)，外放为黄州刺史。杜牧外放的原因史书上并无记载。杜牧自己认为是宰相李德裕的排挤。而李杜两家为世交，李德裕为何不喜欢杜牧，有人认为是杜牧为人倜傥，不拘小节，与李德裕的理念不合;而且牛李党争，杜牧与牛僧孺私交甚好，可能被李德裕认为是牛党。后杜牧任池州、睦州刺史。为政能兴利除弊，关心人民。宣宗大中二年(848)，得宰柏周墀的帮助，入为司勋员外郎、史馆修撰，转吏部员外郎。
暮年
杜牧任司勋员外郎不到一年，就因为京官俸禄低，而难以养家请求外放杭州刺史，但是没有批准。大中四年(850年)，他被升为吏部员外郎。但是杜牧仍然多次请求外放湖州刺史，连上三启，终于应允了他的要求。但是也有人认为，杜牧请求外放并不仅仅是经济原因，而是不满意朝政，认为自己无法在朝中有所作为。同年秋天，杜牧到任湖州刺史。他在湖州凭吊前贤，结识诗友，作了不少诗。一年后，他又被内升为考功郎中、知制诰。到长安第二年，迁中书舍人。这段时期，杜牧重新整修了祖上的樊川别墅，并且闲暇之时经常在这里以文会友。大中六年(852年)冬天病重逝世。
杜牧临死之时，心知大限将至，自撰墓志铭，但这篇短文写得却是平实无奇，丝毫不显文豪手笔。据《新唐书》载，墓志铭写就，杜牧闭门在家，搜罗生前文章，对火焚之，仅吩咐留下十之二三。或许，在外人看来，杜牧一生，俊朗豪健，而杜牧在强作笑颜、把酒尽兴的背后，却是不欲示人的悲凉吧。
主要功绩
在诗歌创作上，杜牧与晚唐另一位杰出的诗人李商隐齐名，并称“小李杜”。杜牧是晚唐写七言绝句的能手。前人论七绝,盛唐推王昌龄、李白。中唐推李益、刘禹锡。晚唐则举杜牧和李商隐。
著名著作有《江南春》、《泊秦淮》、《过华清宫》。其《阿房宫赋》为后世传诵。
杜牧写下了不少军事论文，还曾注释《孙子》。有《樊川文集》二十卷传世，为其外甥裴延翰所编，其中诗四卷。又有宋人补编的《樊川外集》和《樊川别集》各一卷。《全唐诗》收杜牧诗八卷。传世墨迹有《张好好诗》。著作甚富，主要著有《樊川文集》，《旧唐书》卷百四十七、《新唐书》卷百六十六皆有传。曾著录于《宣和书谱》、《容台集》、《平生壮观》、《大观录》等。