不久，谢太后和赵显终于投降，他们绕过文天祥，另派贾庆余为右丞相去元营求降.文天祥仰天长叹，把贾庆余痛斥一顿，但南宋向元朝投降称臣已成事实. 但是伯颜并没有善待谢太后和赵显，反而将他们当俘虏押往元大都，并将文天祥也一同押去.途经镇江时，文天祥趁元兵不防备，同他的随从杜浒等十二人连夜逃脱.他们先到真州(今江苏仪征)，后过扬州，本想联络各地宋兵，抗元复国.
但因为当地宋将轻信元朝的挑拨，怀疑他是元兵的奸细，都不肯接待他，他才不得不继续往南奔走.最后到温州时，文天祥听说张世杰在福州拥立了新皇帝端宗赵昰(shì)，就又赶到福州.后来他作为朝廷的大臣，积极招募人马，组织抗元，连续转战于江西、福建各地，多次打败元军，先后收复了不少县城. 端宗死后，张世杰、陆秀夫、文天祥又拥立了赵昺(bǐng)，继续在南海一带抗敌.
公元1278年十二月，元军元帅张弘范大举攻打潮州，文天祥被迫率兵转移五坡岭.军中正在吃饭时，元兵突然来到.宋兵作顽强抵抗，最后全军覆灭，文天祥被俘. 元兵将文天祥押去见张弘范.张弘范钦佩文天祥的骨气，以礼相待，想让他降.但文天祥不理睬，于是他就把文天祥软禁在军营中.当时张世杰正领兵在山抗击，张弘范知道张世杰最钦佩文天祥，便叫文天祥写信招降张世杰.文天祥冷冷地回答说：“我自己无力救父母，难道可以教别人背叛父母吗？”张弘范厚着脸皮，反复地威胁利诱，文天祥便将船过零丁洋时所写的一首诗给了张弘范，诗中最后两句是：“人生自古谁无死，留取丹心照汗青.”张弘范读过诗后，苦笑一声，只好下令强攻山.
山被攻破后，元军中摆酒庆贺，张弘范又劝降文天祥说：“现在宋室已经灭亡，你文丞相已经尽忠尽孝.如果你能像对宋朝那样忠心对待元室，你还会当丞相.”文天祥沉痛地回答：“国家我无力救亡，为人臣者即使死了也还有罪，何况叫我投降，改事二主！”张弘范只好派人将文天祥送往元京大都.文天祥一路上绝食八天，以示必死信念. 当时，雄心勃勃的元帝忽必烈正在搜罗中原人才.他先派降臣王积翁去劝降，后来又亲自召见文天祥，问他还有什么愿望.文天祥回答说：“我受国家重托担任宰相，怎能又投降元朝，我的愿望就是赐我一死.”忽必烈不愿杀他，就将他囚禁在元都好多年.在牢房中，文天祥曾写下千古传颂的《正气歌》.他在诗中列举了历史上那些坚持正义的忠臣义士，认为他们都是正气的表现，是自己效法的榜样.其中有两句：时穷节乃现，一一垂丹青.公元1282年，民间的义士聚积了兵马数千人，扬言要打破大都，救出文丞相.
元世祖为绝后患，终于下令处死文天祥.临刑时，文天祥朝南跪拜，从容地说：“我的事情到此完结了.”然后慷慨就义，时年四十七岁.他的妻子为他大殓时发现，他的衣带中有一篇文章说：“孔子说‘成仁’，孟子说‘取义’，只有义尽，所以仁至.读圣贤的书，学到了什么？从今以后，我真正做到无愧于己了.”