公元296年，耐不住寂寞的潘岳再次傍上了一个“大人物”——皇后贾南风的外甥贾谧。此时贾谧正权倾朝野，骄奢无度。他因附庸风雅而召集一帮骚客，称为“二十四友”，潘岳占据了“二十四友”的首席。潘岳虽说已到了50开外的年龄，但对主子贾谧非常恭敬。贾谧的车子从街上隆隆而过，他不仅要肃立道边，甚至车子过去了，还要对着掀起的尘土躬身参拜。金代元好问为此还写诗评论说：“高情千古《闲居赋》，争信安仁拜路尘！”
对于儿子复出官场，潘岳的母亲很担心，告诫他说：“安仁，你当知足，怎能趋附不已呢？”可惜潘岳已经收不住脚了，在名利场中越陷越深，什么事都做得出来。
皇后贾南风没有儿子，她想除掉非己所生的愍怀太子。此时，潘岳登场了，他发挥才思敏捷的长项，写了篇造反书，贾南风派手下的宫人将太子灌醉，哄他抄写。太子醉眼模糊，根本辨不清纸上是啥内容，胡乱写了一遍。潘岳又模仿太子的笔迹添油加醋了一番，以至于连傻子皇帝看了也动了雷霆之怒。只是他们没有想到，太子被杀的结果，是引来了一次又一次政变。赵王司马伦攻陷洛阳，贾氏家族被诛杀干净，潘岳也被“夷三族”，可怜老母亲也陪着他被绑赴刑场。到了此时，他才垂下泪来，想起当初母亲的话，泣不成声。
一个人有欲望并不可怕，怕的是欲而不知止；一个人有追求也不怕，怕的是急功近利，不择手段。美男子加大才子潘岳的悲剧可能正在于此。一个人倘若不能给欲望画一道休止符，那结果就像《无间道》里的那句著名的台词：“出来混，迟早要还的。”