建中辛巳，余始归赵氏。时先君作礼部员外郎，丞相作吏部侍郎，侯年二十一，在太学作学生。赵、李族寒，素贫俭，每朔望谒告出，质衣取半千钱，步入相国寺，市碑文归。相对展玩，自谓葛天氏之民也。
后二年，出仕宦，便有饭蔬衣綀，穷遐方绝域，尽天下古文奇字之志。日就月将，渐益堆积。丞相亲旧或在馆阁，多有亡诗、逸史，鲁壁、汲冢所未见之书，遂尽力传写，浸觉有味，不能自己。后或见古今名人书画，一代奇器，亦复脱衣市易。尝记崇宁间，有人持徐熙《牡丹图》求钱二十万。当时虽贵家子弟，求二十万钱岂易得耶？留信宿，计无所出而还之。夫妇相向惋怅者数日。
后连守两郡，竭其俸入以事铅椠。每获一书，即同共勘校，整集签题。得书画彝鼎，亦摩玩舒卷，指摘疵病，夜尽一烛为率。故能纸札精致，字画完整，冠诸收书家。余性偏强记，每饭罢，坐归来堂烹茶，指堆积书史，言某事在某书某卷第几叶第几行，以中否角胜负，为饮茶先后。中即举杯大笑，至茶倾覆怀中，反不得饮而起。甘心老是乡矣！
收书既成，归来堂起书库大橱，簿甲乙，置书册。如要讲读，即请钥上簿，关出卷帙。或少损污，必惩责揩完涂改，不复向时之坦夷也。是欲求适意而反取憀栗。余性不耐，始谋食去重肉，衣去重采，首无明珠翡翠之饰，室无涂金刺绣之具，遇书史百家字不阙、本不讹谬者，辄市之，储作副本。于是几案罗列，枕席枕藉，意会心谋，目往神授，乐在声色犬马之上。
至靖康丙午岁，侯守淄川。闻金人犯京师。四顾茫然，盈箱溢箧，且恋恋，且怅怅，知其必不为己物矣。建炎丁未春三月，奔太夫人丧南来。既长物不能尽载，乃先去书之重大印本者，又去画之多幅者，又去古器之无款识者，后又去书之监本者，器之重大者。凡屡减去，尚载书十五车。