元军虽然占领了临安，但江南许多地方还有抵抗军，元军首领伯颜想劝降文天祥投降，以用他的声望来尽快平定南方。文天祥宁死不屈，最后被押解往北方。当走到镇江的时候，文天祥趁看守不注意逃了出来，一路历经磨难，于景炎元年（1276）五月达福州。此时，南宋的大臣张世杰和陈宜中在这里拥立小皇帝赵?的哥哥——九岁的赵昰做了皇帝，继续打着宋朝的旗帜反抗元军。文天祥与朝中的张世杰和陈宜中意见相左，于是离开福州，到南剑州（今福建南平）率兵抗元。不久，文天祥又转移到汀州（今福建长汀）、漳州龙岩、梅州等地，和当地的抗元义军一起坚持抵抗。景炎二年（1277）夏，文天祥率军于江西打得元军大败，收复了不少州县。但随着元军更猛烈的进攻，文天祥兵败。为摆脱艰难处境，文天祥要求与朝廷会合，但遭到了张世杰的拒绝。同年冬天，元军大举进攻，文天祥兵败被俘。
此时，南宋小朝廷的军马集中到中厓山，元军首领张弘范押着文天祥来到这里，希望他写信招降张世杰。文天祥说：“我自己不能保护父母，难道还能教别人背叛父母吗？”张弘范仍是强迫文天祥写信，于是，文天祥将自己前些日子所写的《过零丁洋》一诗抄录给张弘范。张弘范读到“人生自古谁无死，留取丹心照汗青”的诗句时，大为感动，就不再逼文天祥了。在元军的猛烈攻势面前，张世杰等人没能坚持多久，大臣陆秀夫背着宋末帝赵昺投海而死，张世杰的船又被击沉，落水牺牲。至此，元朝统一中国，南宋正式宣告灭亡。