在山东、河北广大地区流传着这样的民谣：“问我祖先来何处?山西洪洞大槐树。”这是说，自己的祖宗是从山西洪洞大槐树下迁移来的。
如果接着要问：为什么迁移呢?那就得从“燕王扫王”说起了。
燕王是明太祖朱元璋的四子，名棣，领重兵镇压守大都(即今北京)。朱元璋长子朱标早死，朱元璋死后，根据传长不传嫡的传统，朱标的大儿子朱允(火文)即皇帝位，年号建文。建文帝听从齐泰、黄子澄等大臣建议，大力削藩，剥夺分封全国各地的叔父们的兵权。燕王以讨齐、黄为名，起兵反抗，号称“靖难”。建文帝派兵平叛。于是在河北、山东一带，进行了长达三、四年之久的大战。史书上称之为“靖难之战”，民间传说则为“燕王扫北”。
在此期间，人民遭受战乱的破坏和自然灾害的袭击，“村庄毁去十之八九，民仅存十之一二”，“春燕归来无栖处，赤地千里少人烟”。史书上记载，河北这块地方 “青辚白骨”，“怵惊心目”，满目荒凉。而山西洪洞一带，却无兵荒马乱之苦，连年风调雨顺，四境安宁，人民生息繁衍，一片升平景象。
“靖难”之役，以朱棣的胜利而告终。1403年，燕王军攻占南京，建文帝于战乱中失踪。燕王即皇帝位，改年号永乐，是为明成祖。明成祖在历史上是一位雄才大略的皇帝。他大力发展生产，极力恢复河北一带经济。永乐初年，诏令从山西“分丁于真定、南官一带占籍为民。”于是，当时的中央政府便在洪洞县设立一个移民机构，专门办理移民事宜。相传此处有一棵大槐树。故山东、河北老百姓中有“要问祖先来何处?山西洪洞老槐树”的说法。