他又顺应地势，将小径折成三段。松声迎风鸣于屋上，桃、李、梅、梨、梧桐、桂、辛夷这些花叶，掩映于径下，用曲直不一的木条做成栏杆，涂上了蚌壳灰，它的光泽便闪烁在林木之间了。
有人说：“筑屋于陡峭的山上，只要能遮蔽风雨就够了，季子却借债来布置，实在不值得。”也有人说：“大概季子的意志有些衰颓了吧，因而想过过安逸的生活。”
当季子南游的时候，车子奔驰在瘴气郁结的异乡，身冒不测的风险，远离朋友，独个儿无所作为，就此前往海南岛。到了那里，一夜之间大海风便将房屋吹毁，只得躺在露天之下。又碰到两次兵变，老百姓被乱兵搜寻到就遭杀害，刀剑之声响彻门庭，尸体堆积在大街上，鲜血流注于沟道。有的人把消息告诉家里，家里人吓得哭了，我却象平日一样谈笑吃喝。后来他又北游山东，恰巧逢到大荒年，灾民成群结队，煮人肉充饥。千里之内，连草根树皮都食尽了，家里人听到后，更加害怕，可是季子竟然还能到达河北。
有人责备我说：“您和季子是同胞兄弟，他又事事都听您的话，现在季子喜欢借债远游，常常受到意外的灾难，您为什么不加阻止？”我笑着说：“我原知季子是不会死的呀！我看季子的借债冒险而远游，和他的借债布置屋子是一样道理；而且人都以能实现自己志愿为舒畅。如果他只想毕生终老于内室之中，连走一步路也瞻前顾后、似进非进，盖上井盖才敢看井，系着腰舟才肯渡水，一见三尺宽的沟，立即大惊失色不敢跳越，象这样的人，我决不会强使他到江湖之上。反之，如果性喜纵情于奇山异水，寻访良朋好友，吸取各地不同的风土人情，把死在外地看作死在家里，死在变乱中看作死于疾病，死在江湖间看作死在床席上一样，象这样的人，我决不会强使他坐守在家里。孔子说：‘有志气的人是连死在山沟里也毫不顾虑的。’象这样的行动，我自己虽然做不到而子弟们却能做到，并且正是出于他们的志趣乐于做去，我连赞成都来不及怎么还能阻止呢？” 季子还对我说过：渡海时同船的人都被风浪颠簸得头晕心惊不敢起床，唯有他起而赏览海上月色，还作了一首《乘月渡海歌》。兵变时，他也镇定地闭门而坐，作了三十首《海南道中诗》。我听了，便暗笑自己幸亏没有象家里人那样吓得哭泣。
吾庐筑成后，易堂的各位人士，从我大哥以下都写诗纪念，各地文士得知后，也都以诗篇来聚会，我就写了这篇《吾庐记》。