唐陆羽的《灵隐寺记》说：“有僧于岩上周围镌罗汉佛菩萨。”自唐以后，五代、宋、元，特别是元代造像，数量之多，规模之大，使飞来峰成了汉族地区数量最多的喇嘛教密宗造像群。
从山洞里侧身进入石隙，可以找到元代书法家周伯温镌刻的《理公岩记》，它记述了元至元十六年（1279）元帅伯颜，在此“捐金庀工，载凿岩石，刻十佛及补陀大士像。”的情况。继伯颜之后，元人石刻也就多了起来。但欣赏元代石刻之余，不免被这些石刻的遭破坏而感到遗憾，除了自然的风化之外，人为破坏的痕迹也是很明显的。明朝张岱在《西湖梦寻》中就说：曾任礼部主事等职的田汝成“锥碎其一，余少年读书岣嵝，亦碎其一。”除此之外，田汝成在《西湖游览志余．板荡凄凉》中说：“飞来峰有石人三，元西僧嘉木扬喇勒智，闽僧闻、剡僧泽像也。盖其生时刻画诸佛像于石壁，而以己像杂之，到今三百年，莫为掊击。”所以嘉靖年间，杭州知府陈仕贤见到后很生气，说：“胡为遗恶迹以蔑我名山哉！”于是就命人将它们砸了。
赵翼的《廿二史札记》中说，嘉木扬喇勒智就是杨琏真伽。“嘉木扬”是琏真伽的前缀，杨琏真伽曾作为忽必烈的“江南释教总统”，他在飞来峰造了多闻天王等不少佛像，又在旁边刻有祝皇帝、真妃、太子等“万岁”、“千秋”等题字。像群中又夹杂了自己的像。但田汝成、张岱、陈仕贤都砸过他的像，未免也太多了。张岱在《岣嵝山房》中说了他砸像的经过：“一日缘溪走看佛，口口骂杨髡，见一波斯坐龙像，蛮女四五献花果，皆裸形，勒石志之，乃真伽像也。余椎落其首，并碎诸蛮女，置溺溲处以报之。寺僧以余为椎佛也，咄咄作怪事；及知为杨髡，皆欢喜赞叹。”但如此坐龙像的“波斯”像，就很可能不是杨琏真伽；八思巴文字勒石志之的，也可能是别的内容；寺僧们不再和他理论，也是因为主持具德和尚是他的族弟。既然高官、名人都在砸，就免不得有跟风者，正是“嗟乎谈宋事而至西浮屠”，特别是在那个明末清初民族情绪高涨的时候。
《癸辛杂识别集》记述过盗掘宋陵的详情：“杨髡发陵之事，起于天长寺僧福闻号西山者，成于剡僧演福寺允泽号云梦者。”福闻、允泽，就是田汝成所说的“闽僧闻、剡僧泽。”天长寺本来是埋葬魏宪靖王的地方，福闻为了讨好杨琏真伽，“遂献其寺。继又发魏王之冢，多得金玉，以此遂起发陵之想。”允泽则“一力赞成之。”然后“带同西僧及凶党如沈照磨之徒”闯入宋陵，“劫取宝玉极多”，其中“独理宗之陵所藏尤厚。”结果，杨琏真伽盗掘宋陵、侵吞官物被朝廷追究，从他家中抄出赃物仅黄金就有一千七百多。但元世祖忽必烈将他赦免了。所以顾炎武在《日知录》中就说：是元世祖纵容杨琏真伽发掘南宋帝陵，并说这件事是“自古所无之大变。”特别是杨琏真伽将发掘出的宋理宗头骨做成了饮器，让人难以接受。虽然“西番僧回回，其俗以得帝王骷髅，可以厌胜，致巨富，故盗去耳。”在西藏等地，以死人头骨做饮器，在过去是常见的事。
宋理宗头颅饮器的下落，在《明史》里记载：杨琏真伽“截理宗颅骨为饮器。真珈败，其资皆籍于官，颅骨亦入宣政院，以赐所谓帝师者。”洪武初年，以“驱除鞑虏”为号召的朱元璋，“御札相臣宣国公李善长，遣工部主事谷秉义移北平大都督府及守臣吴勉，索饮器于西僧汝纳，叫其以理宗顶骨来献。”最后又把它从南京天章寺，送回了重修的绍兴宋陵，此事才算告一段落。