淳熙十一年(公元1184年)十月服除，被召人京任尚书右郎，后任吏部员外郎。十二年五月，除吏部郎中，应诏-，极论时事。塞相王淮问“宰相何事最急先务”，杨万里以“人才最急先务”为答，并条上《荐士录》，举荐朱蕉等六十人，都是正人端士。孝宗亲耀他为太子侍读，太子为题“诚斋”二字。淳熙十三年，转枢密院检详宫，历任尚书省右司郎中、左司郎中，仍兼东宫侍读宫。十四年十月，任秘书少监。十五年三月，孝宗昕纳翰林学士洪迈之议，以吕颐浩等人配飨高宗庙祀。杨万里力争主战名将张浚当配飨，指斥洪迈不俟集议、专辄独断，无异“指鹿为马”，惹恼孝宗：“万里以联为何如主?”因而削去直秘阁，出知绢州(今江西高安)。
十六年(公元1189年)二月，光宗受禅。杨万里五月复直秘阁，八月被召，九月人京。他连上三札，要求光宗爱护人才，防止奸佞做到“一日勤，二日俭，三日断，囚日亲君子，五曰奖直言”(《第三札子》)。十月，除秘书监。因绍熙改元，借焕章阁学士充接伴金国贺正旦使使，兼实录院检讨官。
绍熙元年(公元1190年)八月，孝宗《日历》修成，照例应由秘书监杨万里为《日历》作序，而宰臣却另嘱他人，杨厅里于是自劫失职，请求去职，光宗挽留。接着又因要进孝宗《圣政》书，宰臣以他为进奉官，而孝宗犹念旧恶，大不痛快，于是出江东转运副使。
绍熙二年(公元1192年)，朝廷下令于江南诸郡行使铁钱会子，杨万里-谏阻，不奉诏，得罪宰臣，因而改知赣州。未赴，八月谢病自免，回归吉水。‘如病鹤出笼，如脱兔投林……自此幽屏，遂与世绝’(《答沈子寿书》)。
宁宗庆元元年(公元1195年)，有召赴京，杨万里辞不往。九月，升焕章阁待制，提举兴国宫。四年正月，进封吉水县开国子，食邑五百户。五年三月，升宝文阁待制，致仕。六年十二月，进封吉水县开国伯。嘉泰三年(公元1203年)八月，诏进宝漠阁直学士，给赐衣带;四年正月，进封庐陵郡开国侯，加食邑三百户。开禧元年(公元1205年)，召赴京，复辞;二年二月，升宝漠阁学士。 杨万里晚年誓不出仕，据传是由于不满权臣韩倪胃当国。韩筑南园，要请他作记户，他说：‘官可弃，记不可作也!’予以坚决拒绝。后因韩专傍日甚，遂忧愤快快成疾。家人知他忧国心重，凡一切时政消息皆不敢告知。开禧二年(公元1206年)五月七日，一族侄从外而至，不知其惰，于是言及邸报所载韩倪胃出兵北伐之事，杨万里闻罢痛哭失声，愤然叹呼：“奸臣妄作，一至于此!”他料定韩倪胃意存侥幸，轻举妄动，必然会遭到失败，贻害国家，当晚彻夜不能成眠。第二日早晨，他又不肯进食，兀坐书斋中，呼纸手书云：‘韩倪胃奸臣专权元主，动兵残民，谋危社寝。吾头颅如许，报国无路，惟有孤愤!’又别书十四言告别妻儿，笔落而逝。享年80岁。赐溢文节，追赠光禄大夫。