在《始作镇军参军经曲经阿曲伯》这首诗中写道：“目倦山川异，心念山泽居”“聊且凭化迁，终返班生庐”。紧接着就辞职隐居，于义熙元年(405年)转入建威将军、江州刺史刘敬宣部任建威参军。三月，他奉命赴建康替刘敬宣上表辞职。刘敬宣离职后，他也随着去职了。同年秋，叔父陶逵介绍他任彭泽县令，到任八十一天，碰到浔阳郡派遣邮至，属吏说：“当束带迎之。”他叹道：“我岂能为五斗米向乡里小几折腰。”遂授印去职。陶渊明十三年的仕宦生活，自辞彭泽县令结束。这十三年，是他为实现“大济苍生”的理想抱负而不断尝试、不断失望、终至绝望的十三年。最后、赋《归去来兮辞》，表明与上层统治阶级决裂，不与世俗同流合污的决心。
陶渊明辞官归里，过着“躬耕自资”的生活。夫人翟氏，与他志同道合，安贫乐贱，“夫耕于前，妻锄于后”，共同劳动，维持生活，与劳动人民日益接近，息息相关。归田之初，生活尚可。“方宅十余亩，草屋八九间，榆柳荫后檐，桃李满堂前。”渊明爱菊，宅边遍植菊花。“采菊东篱下，悠然见南山”至今脍炙人口。他性嗜酒，饮必醉。朋友来访，无论贵贱，只要家中有酒，必与同饮。他先醉。便对客人说：“我醉欲眠卿可去。”义熙四年，住地上京(今星子县城西城玉京山麓)失火，迁至栗里，生活较为困难。如逢丰收，还可以“欢会酌春酒，摘我园中蔬”。如遇灾年，则“夏日抱长饥，寒夜列被眠”。义熙末年，有一个老农清晨叩门，带酒与他同饮，劝他出仕：“褴褛屋檐下，未足为高栖。一世皆尚同，愿君汩其泥。”他回答：“深感老父言，禀气寡所谐。纤辔诚可学，违已讵非迷?且共欢此饮，吾驾不可回。”用“和而不同”的语气，谢绝了老农的劝告。 他的晚年，生活愈来愈贫困，有的朋友主动送钱周济他。有时，他也不免上门请求借贷。他的老朋友颜延之，于刘宋少帝景平元年(423年)任始安郡太守，经过浔阳，每天都到他家饮酒。临走时，留下两万钱，他全部送到酒家，陆续饮酒。不过，他之求贷或接受周济，是有原则的。宋文帝元嘉元年(424年)，江州刺史檀道济亲自到他家访问。这时，他又病又饿好些天，起不了床。檀道济劝他：“贤者在世，天下无道则隐，有道则至。今子生文明之世，奈何自苦如此?”他说：“潜也何敢望贤，志不及也。”檀道济馈以梁肉，被他挥而去之。他辞官回乡二十二年一直过着贫困的田园生活，而固穷守节的志趣，老而益坚。元嘉四年(427年)九月中旬神志还清醒的时候，给自己写了《挽歌诗》三首，在第三首诗中末两句说：“死去何所道，托体同山阿”，表明他对死亡看得那样平淡自然。