赵普死后，朝局又进入了混乱时代。992（淳化三年）开始，吕蒙正独任宰相。果不出赵普所言，赵光义有点受不了吕蒙正的臭脾气。
吕蒙正的人生履历好比是一个人生逆袭小说的男主，他出身官宦家庭，父亲吕龟图任职六品起居郎，也就是皇帝身边起草诏书的秘书。仗着与皇帝走得近，吕龟图的日子过得很滋润，竟然娶了36房小妾。
吕龟图的正妻刘氏是一位大家闺秀，看丈夫这么沉湎淫乱，便经常劝他节制身体。吕龟图本来就嫌原配老婆太老了，现在更加厌恶，最终将刘氏和她年幼的儿子吕蒙正一纸休书赶出了家门。刘氏虽然是个女子，却一身傲骨，她发誓此生不再嫁人，吃糠咽菜也要把儿子拉扯大。
流离失所的母子住到了一口破窑洞中，靠着刘氏给邻居纺布，吕蒙正给别人打些零工，母子俩艰难地生存了下来。他们经常吃不饱穿不暖，但是也从不放弃让吕蒙正读书。在刘氏言传身教的教育引导下，吕蒙正渐渐成长为一个宽仁大气、才能卓绝的人。
在当时，吕蒙正被人们公认为“有侠气”，这不是那种动不动勾肩搭背、称兄道弟的市井任侠，正所谓“侠之大者为国为民”，吕蒙正那是真正心系国运、为民请愿的磅礴豪迈和正直。初入朝堂的时候，有人就在旁边讥讽他说“吕蒙正这破落户也能参政”，吕蒙正目不斜视地直接走过。同僚心中不平追查那人姓名，吕蒙正淡然摆手阻止，他说一旦知道那人姓名，就不会忘记，还是不知道的好，这让当时的人们都很敬佩他的气量。
按照定例，朝廷会册封宰相的儿子一定的寄禄官职，吕蒙正却上奏说自己的儿子还幼小、寸功未立，受封这样的官职是不妥的，坚决拒绝了恩赏，这就更让人们敬服。
吕蒙正在治国理政方面的能力也没的说，他非常善于识人用人，他看重的吕夷简、富弼等人后来都做到了宰相。在任用人员上吕蒙正也毫无私心，他还向朝廷推荐了经常说他坏话的老同学温仲舒等。
但是很快他就和赵光义有了矛盾，根本原因是行事做事的出发点不同。“大侠”吕蒙正的出发点是国家发展、百姓富足，而且他性格执拗、不知妥协；而赵光义是个政客，他的第一需求是控制，是对权力的掌控。这就导致两人经常意见相左，比如任用某人是能把事情办好、有利于国家的，但是赵光义觉得这人不太听话、不好管控，那就会坚决反对。
有一次，赵光义让中书省挑选出使辽国的使者人选，吕蒙正推荐了一陈姓官员，赵光义不喜欢这个人，就没有同意。第二天，吕蒙正又以此人呈上，再次被否决。第三天，他仍以此人呈上，气得赵光义把文书扔到地上：“你为什么这么固执呢？”
吕蒙正这时候就说了：“我不是固执，是这个人可以胜任差事，其他的人赶不上他。我不愿用阿谀献媚盲目听从皇上的意见，以致耽误国事。”此时，旁边的同僚们都吓得屏气不敢说话，赵光义也只好不情不愿地答应让这个人出使，果然后来这个人很好地完成了使命。
有一年在上元灯节的宴会上，赵光义向大臣们洋洋自得地夸赞自己功绩：“五代后周太祖郭威执政的时候，天上出现彗星，当时百姓都非常恐惧以为以后都没有太平日子了。直到我登基后亲自处理政务，天下才得到大治，看来治乱在于君主啊。”
就在群臣一阵附和的马屁声中，吕蒙正离开了座位开始谏言：“皇帝所到之处，必然士人百姓云集，看起来就显得国家昌盛。臣曾见过城外数里，冻饿之死的有很多，希望陛下能够知晓真正的民情，这是百姓的福气。”赵光义此时已经气得变了脸色，吕蒙正却是从容淡定地返回了座位。
淳化二年（991年）9月，仅仅过了一年多，赵光义就受不了这头倔驴了，随便找了个理由下旨罢免了吕蒙正的相位，让他只做吏部尚书。接替的还是那个听话懂事的李昉，朝局又不可避免地进入没人管事的懒政躺平时代。
就这么过了两年，淳化四年（993年）10月，实在是累疯了的赵光义只好又把吕蒙正弄了上来当宰相，让他赶紧干活，让没本事的李昉赶紧滚蛋。
从976年登基，到淳化四年这17年间，烦躁的赵光义来来回回换了八位宰相，其间赵普和吕蒙正这两人都是来了又走、走了再来。这可比他哥哥赵匡胤当皇帝的时候换得频繁多了，那为什么他会不停地换人呢？
这17年，从刚开始的踌躇满志，到后来的屡遭失败，赵光义不得不接受了一个残酷的现实——“失威”。
地位不正必然根基不稳，高梁河之战的失败又让他失去了威望，在群臣的眼里，他能做皇帝只是因为他是太祖的弟弟，而他本人并不配这个位置。他所渴望的那种像他哥哥太祖皇帝一样万众归心、令行禁止的场景并没有出现，他明显能看得到大家对他能力怀疑的眼神。
“不，这不是我想要的样子”，他在内心默默地大喊。渐渐地，他讨厌任何质疑的声音、任何不同的意见，讨厌任何有性格有脾气的下属，哪怕对方做得再好、说得再对。
他想要的是下属们都真真正正匍匐在他的脚下、从身体到内心都臣服于他的统治感。
但遗憾的是，你只要想好好执政，那就一定需要有能力的人，而大部分有能力的人都是有性格的，因为能力的提升是一件痛苦的过程，没有点执拗性格的人很难坚持下来，除非有什么特殊的人生际遇。
——赵光义也是郁闷，难道真找不到一个既能力卓越肯干事、又听话懂事的宰相人选嘛？