宋朝虽然已经建立起来，但是原先各地的一些割据势力仍还存在。当时除契丹建立的辽国以外，五代时期的十国，北方有占据太原的北汉，南方有南唐、吴越、后蜀、南汉、南平（荆南）等国。在湖南等地，也有人割据。
宋太祖稳定了内部以后，开始考虑怎样消灭这些割据势力。究竟先解决北方呢，还是先解决南方？宋太祖日夜盘算这个问题。他想先南后北，但一时拿不定主意。
一天，风雪交加，眼看天色已晚，鹅毛大雪还下个不停，宋太祖顾不得下雪，去赵普家中，跟赵普商议这桩大事。他跑到赵府门口，敲起门来。赵普开门一看，只见宋太祖正立在风雪之中。赵普惶恐不安，连忙拜了下去，请他进门。
宋太祖到了厅堂，赵普命人烧红炭火，在火上烧肉，同时让妻子出来倒酒招待。
宋太祖说：“大嫂，不必客气。”
饮过数杯以后，宋太祖故意试探地说：“我想削平诸国，先出兵太原，你看怎样？”
对这问题，赵普也早有考虑。他说：“北汉的西北，就是辽国。如果我们攻下太原，就会受到辽国的威胁。我看不如先削平南方诸国，再去对付北汉。那时候，像弹子那么大的一个北汉，能向哪里逃呢？”
宋太祖大笑说：“其实我正是这个主意，刚才不过故意试探一下你的意见罢了。”
赵普也跟着笑了起来。两人再商议了一番，宋太祖先南后北的方针终于确定下来了。
接着，宋太祖就用武力陆续平定了南平、后蜀、南汉。南方诸国已经只剩下南唐和吴越了。
南唐是江南的一个大国，但又是一个弱国。宋朝建立后，南唐国主唐元宗李璟自知不是宋朝的对手，便向宋朝屈服，派使臣送金银财宝前去，祝贺宋太祖即位。