晋安帝义熙元年(405)初，陶渊明离开了刘裕幕府回到了浔阳，在当时任江州刺史的刘敬宣麾下做参军。同年三月，陶渊明作为刘敬宣的使者到京师给刘裕送辞职表，途中写下了《乙巳岁三月为建威参军使都经钱溪》这首诗：
我不践斯境，岁月好已积。晨夕看山川，事事悉如昔。微雨洗高林，清飙矫云翮。
眷彼品物存，义风都未隔。伊余何为者，勉励从兹役?一形似有制，素襟不可易!园田日梦想，安得久离析。终怀在壑舟，谅哉宜霜柏。
在诗中，陶渊明再次表达了要永久归田的决心，对自己抛弃田园生活而走仕宦之路一再提出怀疑甚至自责，表示“素襟不可易”，即自己归隐田园的素志不可改变，并表示自己的德行要像霜中挺拔的松柏那样坚定高洁。不难看出，陶渊明的归隐决心是越来越大。终于，在他41岁的这一年，从彭泽县令任抽身归隐后，躬耕垄亩，再不出仕。他在《归去来兮辞》中写到：
归去来兮，田园将芜胡不归!既自以心为形役，奚惆怅而独悲?悟已往之不谏，
知来者之可追。实迷途其未远，觉今是而昨非。舟遥遥以轻飏，风飘飘而吹衣。问征夫以前路，恨晨光之熹微。
开头两句，如大声疾呼，如大声棒喝，这是诗人对自己发出的召唤和命令。诗人把自己13年中的仕途生活，看作是失路人走过的一段“迷途”，可见痛悔之深。而对即将到来的田园生活则向往之至，情怀急切，语调轻快，不难想象诗人当时的心情。
陶渊明出任彭泽县令为期甚短，他辞官的原因是不为五斗米折腰。陶渊明“不为五斗米折腰”的故事最早见于沈约的《宋书·隐逸传》，后来萧统作的《陶渊明传》也有类似的记载，“渊明家贫，耕植不足以自给”，在亲故的劝说下，决定到离家乡不远的彭泽当县令。适逢郡督邮来县视察，县吏说：“应束带见之。”渊明叹息：“我岂能为五斗米折腰向乡里小儿!”当即解绶去职，在任仅八十余日。《归去来兮辞》就是这件事实和这番心理的自白。他在辞的序言中写到： 质性自然，非矫厉所得;饥冻虽切，违己交病。尝从人事，皆口腹自役;于是怅然慷慨，深愧平生之志。
出仕彭泽令，本是为了温饱，但卑躬屈膝的官场生活与渊明的个性到底不相容。几经体验，他终于感到挨饿受冻尽管痛苦，但是违背自己的本性更是难以忍受。为了填饱肚子而勉强从仕是错误的，有愧于自己的“平生之志”。陶渊明不能为五斗米折腰，回到田园后更穷了，甚至不得不去乞讨，但他的心却宁静了，因为在隐居生活中他找到了心灵的归宿，获得了精神上的满足。