文天祥对张世杰专制朝政极为不满，又与陈宜中意见不合，于是离开南宋行朝，以同都督的身分在南剑州(治今福建南平)开府，指挥抗元。不久，文天祥又先后转移到汀州(治今福建长汀)、漳州、龙岩、梅州等地，联络各地的抗元义军，坚持斗争。景炎二年(1277)夏，文天祥率军由梅州出兵，进攻江西，在雩都(今江西于都)获得大捷后，又以重兵进攻赣州，以偏师进攻吉州(治今江西吉安)，陆续收复了许多州县。元江西宣慰使李恒在兴国县发动反攻，文天祥兵败，收容残部，退往循州(旧治在今广东龙川西)。
祥兴元年(1278)夏，文天祥得知南宋行朝移驻新会崖山，为摆脱艰难处境，便要求率军前往，与南宋行朝会合。由于张世杰坚决反对，文天祥只好作罢，率军退往潮阳县。同年冬，元军大举来攻，文天祥在率部向海丰撤退的途中遭到元将张弘范的攻击，兵败被俘。
文天祥服毒自杀未遂，被张弘范押往崖山，让他写信招降张世杰。文天祥说：“我不能保护父母，难道还能教别人背叛父母吗?”张弘范不听，一再强迫文天祥写信。文天祥于是将自己前些日子所写的《过零丁洋》一诗抄录给张弘范。张弘范读到“人生自古谁无死，留取丹心照汗青。”两句时，不禁也受到感动，不再强逼文天祥了。
南宋在崖山灭亡后，张弘范向元世祖请示如何处理文天祥，元世祖说：「谁家无忠臣?」命令张弘范对文天祥以礼相待，将文天祥送到大都(今北京)，软禁在会同馆，决心劝降文天祥。
元世祖首先派降元的原南宋左丞相留梦炎对文天祥现身说法，进行劝降。文天祥一见留梦炎便怒不可遏，留梦炎只好悻悻而去。元世祖又让降元的宋恭帝赵显来劝降。文天祥北跪于地，痛哭流涕，对赵显说：“圣驾请回!”赵显无话可说，怏怏而去。元世祖大怒，于是下令将文天祥的双手捆绑，戴上木枷。关进兵马司的牢房。文天祥入狱十几天，狱卒才给他松了手缚：又过了半月，才给他褪下木枷。