潘岳别名潘安，在历史上很有名，首先是因为长得帅，“貌若潘安”大约就是形容男人漂亮的极致。传说更广的是，每当他乘车外出时，街上的女子们都会把手中的水果投向他，以至出去一趟，会弄一车水果回来。如此受人崇拜，潘岳却并不高兴，因为外表相对于他的才华，有点喧宾夺主了，他的志向可不仅仅是当一个花瓶。
那年月，人生最大的价值就是当官，潘岳也不例外，而所谓诗词歌赋的才华，不过是为走上仕途做个铺垫。想来潘岳也是深谙此理的，他把手中的如椽巨笔，毫不吝啬地投入到了服务政治生命的过程中。年仅22岁，他就写了一篇官方的命题征文《藉田赋》，对晋武帝大唱赞歌，说他以民为天，民以食为天，所以万民都赖他一人行善。夸皇帝并不新鲜，要是夸得特别有文采就不容易了，这篇赋写得让晋武帝很高兴，下的评语是：“此日下无双潘岳也。”意思是：“写得太好了，文笔简直是天下无双！”然而，年纪轻轻就“才名冠世”，并没有帮助他实现当官的伟大理想，原因竟是他太有才而招致他人忌恨，弄得他官运不济，仕途坎坷。
这番经历让潘岳明白一个道理，光凭才华是很不靠谱的，背靠大树才好乘凉，想当官，一定要有靠山。他先是傍上了为司马氏篡权立下汗马功劳的权臣贾充，可惜贾充并没怎么拿他当回事。后来他又攀上了太后的父亲杨骏，当时杨骏为太傅，晋惠帝是历史上最著名的傻子皇帝，杨骏实际上独揽大权。潘岳成了太傅主簿，相当于第一大秘书，这可是一个很重要的位置。可惜好景不长，第二年，杨骏便在一次政变中，以“谋反”的罪名被杀掉了，跟随他的人也都被株连，潘岳差点丢了小命。
潘岳混到快50岁了，还不过是个县令，心里倍加郁闷。这时，恰巧母亲病了，他非常思念家乡。其实知子莫若母，母亲早看出来儿子在趋炎附势的官场混，早晚得出事，就想借机让他远离这是非之地。潘岳非常孝顺，于是辞官回到家乡，过起了耕田种菜的农家生活。生活虽然清苦，但母亲很满足。潘岳也写了篇《闲居赋》，有点模仿陶渊明寄情山水、与世无争的样子，可实际上他却非常的不甘心，时刻留意着时局的变化。