1900年，八国联军攻占北京，清帝再次逃亡。在混乱中，圆明园又遭到附近驻军溃兵和匪民的趁火打劫。园内残存建筑除新宫门(绮春园宫门)有庄户保护外，全被兵匪推倒拆毁，拆卖砖瓦木料。园内的古树名木、木质桥梁以及建筑地基中的木桩，全部被劫运往附近的清河镇出售。经过这次洗劫，历经同治、光绪两朝修葺部分也荡然无存了。光绪三十年(1904年)裁撤了圆明园的部分官员。
清朝灭亡后的数十年里，圆明园遗址残料继续受到劫掠。园内的方砖、条石、石料、汉白玉雕刻、太湖石、青片石等建筑材料纷纷被军阀官僚运走修建私园和陵墓，圆明园虎皮石围墙被拆除修路。此外也有一部分圆明园遗物被安放于公共场所，如长春园门铜麒麟、安佑宫丹陛石、水木明瑟碑先后于1910年至1937年被移往颐和园;安佑宫华表、石麒麟、西洋楼线法桥和翻尾石鱼、梅石碑、莳花碑、文源阁碑被分别移至燕京大学和北京图书馆旧馆;兰亭八柱碑、远瀛观石栏杆和“青莲朵”等珍贵太湖石于1915年移往中山公园;长春园大东门石狮子及基座移至正阳门和新华门。西洋楼遗址的汉白玉及砖瓦也多被军阀官僚运走，或被各家石作坊买去，就地改刻为其他石料。1928年大水法遗址石料被拆走修建绥远阵亡将士碑。抗日战争日占时期，园内部分遗址在“奖励农业”的口号下被平山填湖，改为水田。
1950年，周恩来曾指示：遗址要保护好，地不要拨出去，以后有条件可修复。曾计划将中国科学院北京植物园定址于此，但1960年园内土地大多被附近生产队改为农田，大量人口迅速涌入，相继拆除了圆明园福海石驳岸、舍卫城残余城墙及地基、万春园三孔桥、运料门、长春园七孔闸等残存建筑，以及残留的全部园墙，并砍伐了园内残存的唯一一株花神庙古树。特别是1975年以后，各单位在园内大量平毁土山、填平湖泊、砍伐树木，修建工厂、养猪场、养鸡场，圆明园遗址原有山形水系和残存的古树植被彻底消失，尤其以绮春园被占用破坏的最严重。 袁腾飞曾发表评论：“英法联军是焚、抢，圆明园可没毁。你看1870年的圆明园照片，尤其是西洋的建筑还在，圆明园经历了三劫，火劫、石劫、土劫。火劫就是英法联军用火烧的，石劫就是那些达官贵人从里面拉石料，华表什么的，土劫是老百姓从里面拉土，围湖造田，这三劫彻底毁了圆明园，联军是第一劫，而且联军抢的同时，本国人也在抢，这皇上家的，不抢白不抢。”