并进一步指出进退近臣必须由皇帝自己把握，不能全委宰相吕夷简。史书记载，吕夷简看到《百官图》非常不高兴，但他隐忍并没有发作。
后来，契丹国的南侵野心加剧，范仲淹主张建都洛阳。
宋仁宗征询吕夷简的意见，吕以为范仲淹迂阔而不可信，特别注重追求自己名声而缺乏必要的政治才干，徒有虚名而已。
范仲淹闻之，上“四论”攻击吕夷简专权徇私，阴窃人主之柄。
吕夷简恼羞成怒于是以“越职言事”罪名，把他请出了京师，并且让人上书，请求在朝堂立一块“朋党榜”把范仲淹等人名字写上引以为戒。
范仲淹落职知饶州，秘书丞余靖、太子中允尹洙、馆阁校勘欧阳修三人为范仲淹鸣不平，皆坐贬。
景祐四年（1037），吕夷简也因朋党之争罢为镇安节度使、同平章事、判许州。这是景祐年间的吕范“朋党之争”，双方真刀真枪的斗了一回。
不过两位名臣的争斗尚属“明争”，并无“暗斗”，所论也属“国事”而非“私仇”，也透出一些君子之风。
吕夷简与轩辕恨月商议过后，次日朝会，吕夷简便与轩辕恨月一同上书仁宗，说明此时正值西夏攻宋，西北前线形势吃紧。
吕夷简不及较个人得失，以前的“私仇”，而联合轩辕恨月一同上书仁宗，推荐将范仲淹调至抗击西夏前线，官复原职，知永兴军。
吕夷简主动对宋仁宗说：“范仲淹是当世的贤臣，朝廷要任用他，怎么能只是官复原职呢？”
仁宗说道：“爱卿之言甚是，此时朝廷正值用人之际。”
于是任命范仲淹为龙图阁直学士、陕西经略安抚副使。
仁宗为还很感动，认为吕夷简有长者之风。
范仲淹也面谢吕夷简，对吕夷简说道：“吾先前因为公事触犯相公，没想到相公竟然这样奖励提拔我。”
吕夷简说：“我怎么敢再对过去的事念念不忘呢！”
千寻逐渐病愈，很是恨自己这副身子不争气。