当初，朱熹与彭龟年约定共同论斥韩侂胄的奸邪，正巧彭龟年接待来使，朱熹一人因为上疏论斥韩侂胄被罢黜，彭龟年听说此事后，附会朱熹的奏书说：“当初我约好与朱熹一同反映此事。今天朱熹已经被罢，我也应该一同被贬。”皇上没有接受。等到(彭龟年从金)回朝后，见韩侂胄主持政事，权势比宰相还大，于是彭龟年分条列举他奸邪的事例，说：“进退大臣，更换言官，都是初期执政最关大体的事。有的事大臣们不可能知道，而韩侂胄知道，他假托皇上的声势，窃取权力作威作福，不把他贬去必定成为后患。”皇上看到彭龟年的奏章很惊骇，说：“韩侂胄是我的心腑，我对他信而不疑，不想他如此行事。”皇上批示下达到中书，让韩侂胄到一祠观任职，很久以后才又重新回到朝廷。
彭龟年上疏请求去职，皇上诏令韩侂胄任宫内祠观官，彭龟年任地方官，以焕章阁待制身份任江陵府知府、湖北安抚使。彭龟年请求一祠观职务，庆元二年(1196)，由于吕棐的指控，彭龟年被革职；以后他三次被除名，被勒令停职。嘉泰元年(1201)，彭龟年恢复原职。被起用为赣州知州，以有病为由辞去，拜官集英殿修撰、提举冲佑观。开禧二年(1206)，以待制宝谟阁之职退休，不久彭龟年死去。
彭龟年的学识很纯正，议论简明正直，对善恶是非，辨析很严格，他爱君忧国的真诚，先见之明的见识，敢言的气魄，都是人们所难以做到的。晚年他已经清闲下来，悠然自得地生活，几乎不为世人所知。自从对伪学有禁令后，士大夫很少有不改变做学问的方向的，彭龟年对关中张载、洛阳程氏之书更加沉湎，把居处的匾额题为“止堂”，著《止堂训蒙》，始终如一，坚持自己的立场。
韩侂胄被杀后，林大中、楼钥都向皇上报告彭龟年的忠心，宁宗诏令赠他为宝谟阁直学士。章颖等请求换个名称，皇上赐给彭龟年谥号“忠肃”。皇上对章颖等人说：“彭龟年忠心耿耿可嘉，应该得到谥号。如果人人如此，一定能使君主处于无过错的境地。”不久，皇上加赠彭龟年龙图阁学士，又提拔了他的儿子彭钦。