钱谦益所藏多宋元旧刻，为此他不辞辛劳，四处奔走寻访，明王世贞不惜以一座庄园代价换得的《两汉书》后来因故散落於民间，即是钱谦益以数年时间追踪查询，最后终于以一千二百金的高价觅得。
钱谦益中年时曾构“拂山水房”藏其所收之书，晚年则居“红豆山庄”，新建“绛云楼”，取“真诰绛云仙姥下降”之意，名其书楼为“绛云楼”，中有宋刻孤本，秘册精椠较多。其藏书经重加缮治，区分类聚，分为73大柜，自称：“我晚而贫，书则可云富矣”。学者称“大江以南，藏书之富无过于钱”。又把平生所收籍重加缮治，分类编目，结果整整装满七十三大柜，贮于楼中。望着满屋书籍，钱谦益感慨地说："我晚而贫，书则可云富矣。"顺治七年(1650)，幼女与乳母在书楼上玩耍，蜡烛误落入纸堆中，起火被烧。自称绛云楼之火和梁元帝江陵焚书、李自成文渊阁焚书为“藏书三大厄”。据说书楼起火时，钱谦益指挥烈焰上，大叫："天能烧我屋内书，不能烧我腹内书。"事后又痛心疾首地说："甲申之乱，古今书史图籍一大劫也，吾家庚寅之火，江左书史图籍一小劫也。
钱谦益本饱学之士，对版本目录亦十分精通。曹溶《绛云楼书目题词》说："宗伯每一部书，能言旧刻若何，新版若何，中间差别几何，验之纤悉不爽，盖於书无所不读，去他人徒好书束高阁者远甚。"但同时也指出他藏书太偏执："一所收必宋元版，不取近人所刻及钞本，虽苏了美、叶石林、三沈集等，以非旧刻，不入目录中;一好自矜啬，傲他氏所不及，片楮不肯借出。"乃至"有单行之本，烬后不复见於人间"。这其中还有一段插曲：钱谦益与曹溶本相交甚厚，曹在京师时，堂上列书六、七千册，钱常去曹处看书，每见自家所乏，恒借钞，曹则希冀异日可因此借观钱氏之书。曹则问钱："先生必有路振《九国志》、刘恕《十国纪年》，南归幸告借、。""钱当下许诺，不料事后竟后悔道："我家无此二书。"及至绛云火，曹溶前来吊其灾，钱方后悔地说："我有惜书癖，畏因借辗转失之。子曾欲得《九国志》、《十国纪年》，我实有之，不以借子。今此书永绝矣。使钞本在，余可还钞也。"