后来，孟浩然又隐居于鹿门山。鹿门山是东汉末年着名隐士庞德公“采药不归”，化羽成仙之地。诗人在《夜归鹿门歌》里这样写道：“山寺鸣钟昼已昏，渔梁渡头争渡喧。人随沙岸向江村，余亦乘舟归鹿门。鹿门月照开烟树，忽到庞公栖隐处。岩扉松径长寂寥，唯有幽人夜来去。”从日落黄昏到月悬高空，从汉江舟行到鹿门山途，实际上是诗人从尘杂世俗到回归自然的隐逸之路的暗语，也是由“入世”到“出世”的心路折射。于是，在那“栖隐处”，“幽人”便重叠了诗人与庞公的双重影子。
孟浩然四十岁之前主要是闭门修性，可心远非静如止水。
他和有官位的人，游山玩水，饮酒赋诗，便常常在诗中流露出希望荐举之意：“犹怜不调者，白首未登科”“谁识躬耕者，年年梁甫吟”“今日龙门下，谁知文举才”。孟浩然如此不失时机地表白心迹，可见其用世之心了。
而当他有机会陪同张九龄丞相游荆州名胜时，自然更不会放过这样的绝好机会。《临洞庭上张丞相》这首诗就写得明明白白：“八月湖水平，涵虚混太清。气蒸云梦泽，波撼岳阳城。欲济无舟楫，端居耻圣明，坐观垂钓者，徒有羡鱼情。”诗中的“济”是关键所在，“欲济无舟楫”，也完全是一种心事的表白，那就是太平盛世，自己不甘闲居无事，希望有人能够助他一臂之力，以成就一番事业。由此可见，孟浩然所走的隐逸之路，本就不是他的原意，其实质是曲线求仕之路。
到了不惑之年，孟浩然便再也按捺不住他内心深处的真切渴望，决然向长安进发，应试进士。起初，他踌躇满志，可结果出乎他的意料。名落孙山的沮丧和幽愤也就跃然纸上：“北阙休上书，南山归敝庐。不才明主弃，多病古人疏。白发催年老，青阳逼岁除。永怀愁不寐，松月夜窗虚”。孟浩然曾自视“词赋亦颇工”，如今却落了一个“不才”。求仕情真，而宦途无望;鬓发已白，却功名未就。个中的滋味也只能积淀在一个“空”字上了，圆庐虚空，月夜虚空，仕途虚空，心绪虚空。