他住在相国寺，足不出户十五年。人们到他的住室去拜访他，他都以礼相待，唯恐招待不周。但是等到这些人一旦做了官，成为公卿贵人，他又从不去登门请求帮助。但也曾私下感到奇怪，他平生所交的都是当世贤杰，却未看到能有古人那样卓著的功业可青史留名的。于是他说，世人所称道的贤才，如果不能指挥军队长驱万里，在海外建立功勋，就应当辅佐帝王在明堂发号施令，执行赏罚。如果两者都做不到，就应当退出官场，不接受宠爱，也不接受侮辱，而是远离尘世，保持清高，绝不屈从。怎么能只贪图享受富贵生活而无所作为呢？他喝醉了酒就用这个来讥笑在座的人。而在座的人也这样回复他，说抛弃世俗，洁身自爱，在古人容易做到；如果奋进努力，碰上好的时代，就一定要能干出一番大事业，那即使是圣贤也难办到，这就是周公和孔子穷困和显达不相同的原因。现在你总生活在寺庙中，不被世用，侥幸没有走世人的穷困或顺利的道路，（怎么）却要拿古人已做到的事来要求今天的人一定要做到呢？不过尽管这样，惟俨傲然地退隐在寺庙的斗室之中，天下的大事，当世的利弊，听他说起来整日都不厌倦，可惜就这样快衰老了啊。
曼卿死后，惟俨也在京城的东边买了一块地准备养老，并收集他自己平时所写的文章数百篇，拿给我看，并说：“曼卿死之后，您已经为他写了一篇墓表。也请您替我为我的文章写一篇序言，但要让我有生之年能够看到这篇序言。”唉！惟俨不被当世所用，他的才能也没有在当世表现出来。如果考察他遒劲的笔墨、丰富飘逸的文章，也可以看出他的志向。庐陵人欧阳永叔作序。