次年正月，元军兵临临安，文武官员都纷纷出逃。谢太后任命文天祥为右丞相兼枢密使，派他出城与伯颜谈判，企图与元军讲和。文天祥到了元军大营，却被伯颜扣留。谢太后见大势已去，只好献城纳土，向元军投降。
元军占领了临安，但两淮、江南、闽广等地还未被元军完全控制和占领。于是，伯颜企图诱降文天祥，利用他的声望来尽快收拾残局。文天祥宁死不屈，伯颜只好将他押解北方。行至镇江，文天祥冒险出逃，经过许多艰难险阻，于景炎元年(1276)五月二十六日辗转到达福州，被小皇帝宋端宗赵昰任命为右丞相。
文 天祥对张世杰专制朝政极为不满。服毒自杀未遂，被张弘范押往崖山，让他写信招降张世杰。文天祥说：“我不能保护父母，难道还能教别人背叛父母吗?”张弘范不听，一再强迫文天祥写信。文天祥于是将自己前些日子所写的《过零丁洋》一诗抄录给张弘范。张弘范读到“人生自古谁无死，留取丹心照汗青。”两句时，不禁也受到感动，不再强逼文天祥了。
写《过零丁洋》20天后，南宋在崖山海战的惨败后，陆秀夫背着8岁幼帝赵昺跳海而死，南宋灭亡。张弘范向元世祖请示如何处理文天祥，元世祖说：“谁家无忠臣?”命令张弘范对文天祥以礼相待，将文天祥送到大都(今北京)，软禁在会同馆，决心劝降文天祥。
元世祖首先派降元的原南宋左丞相留梦炎对文天祥现身说法，进行劝降。文天祥一见留梦炎便怒不可遏，留梦炎只好悻悻而去。元世祖又让降元的宋恭帝赵显来劝降。文天祥北跪于地，痛哭流涕，对赵显说：“圣驾请回!”赵显无话可说，怏怏而去。元世祖大怒，于是下令将文天祥的双手捆绑，戴上木枷。关进兵马司的牢房。文天祥入狱十几天，狱卒才给他松了手缚：又过了半月，才给他褪下木枷。