范仲淹镇守陕西几年，除延州外，还驻过庆州（今甘肃庆阳）、州（今陕西彬县）等地，很受当地羌人部落的尊敬。羌人因为范仲淹做过龙图阁直学士，都称他做龙图老子。
公元1043年，范仲淹由陕西调回京城，担任副宰相。
那时候，北宋政治非常腐败，封建官僚的特权大得惊人。做官全凭关系，升官更靠资历。只要一个人当了大官，家属亲戚都可以做官。结果大小衙门里塞满了多余的官员，好多官员又尽干坏事。
范仲淹早就看不惯这种状况。他担任副宰相后，决心改革，就大胆地向宋仁宗提出十项改革方案。这个方案的主要内容是：一、明确规定官吏提拔或者降职的办法；二、严格阻止凭借特权、关系等取得官职；三、改革科举制度；四、慎重选择官员；五、重视生产；六、加强武备；七、减轻劳役等。
宋仁宗正信任范仲淹，对范仲淹提出的方案全部接受了。因为范仲淹是在宋朝庆历年间提出这个方案并进行改革的，所以历史上称为庆历新政。
为了推行新政，范仲淹首先整顿官吏制度。他派一些官员担任监司（监察官），到全国各地视察，然后根据他们的报告，把各地的坏官从登记簿上除名，加以撤换。
有一次，和范仲淹一起推行新政的大臣富弼（ｂì），看到范仲淹在登记簿上勾掉坏官的名字，心里不忍，就上前劝阻说：一笔勾掉一个名字很容易，可是，被勾掉的一家人都得哭了。
范仲淹毫不动摇，斩钉截铁地回答说：一家哭总比一路（北宋的政区名称）的百姓哭好啊！
富弼听了，觉得范仲淹既有胆量，又有见识，心里非常钦佩。
新政在推行中，触犯了一些封建贵族的利益。许多保守的官僚纷纷起来反对，诋毁范仲淹和推行新政的人，说他们结成朋党，滥用职权。 宋仁宗动摇了。新政只推行了一年多，范仲淹就被降职，调到外地做官去了，新政也跟着失败了。
范仲淹虽然遭受打击，但他忧国忧民的信念却丝毫不变。不久，他到邓州（今河南邓州）去做地方官。这时，他的朋友滕子京也被降职，在岳州做地方官。滕子京在岳州重新修建岳阳楼，请范仲淹写一篇纪念文章。范仲淹答应滕子京的要求，写下了着名的《岳阳楼记》。文中反映范仲淹伟大抱负的先天下之忧而忧，后天下之乐而乐一语，已成为千古传诵的名句。
公元1052年，范仲淹又被调到颍州（今安徽阜阳）去当地方官。他在上任的路上生病死了。
范仲淹生前，生活非常节俭，但待人却很亲热厚道，乐于助人。他喜欢将自己的钱财赠送给别人，还设法救济同族的人。所以，他死后，人们都很悲痛。