赵普三次上表恳切辞让，宋太宗赐他手写诏书说：
“开国旧勋，只有你一个人，与他人不能等同，不要再推让，等出发上路那天，我到你家来与你道别。”
赵普捧着手诏哭泣，于是请求带病与宋太宗面谈，宋太宗赐座与他面谈很久，多谈论国家大事，宋太宗赞许并采纳他的意见，赵普即将出发，宋太宗来到他家。
淳化元年，赵普请求致仕，遂为西京留守、河南尹、太保、中书令。
吕蒙正以宽简自任，政事多取决于王沔，王沔与张齐贤同掌枢务，关系很不好。
淳化三年，赵普三次上表以年老多病，请求告老，皇帝派出使者快速前来安抚慰问，并加太师衔、封魏国公，享受宰相待遇，让他在家中养病。
俟损日赴阙，仍遣其弟宗正少卿安易赍诏书赐之，又特遣使赐普诏曰：
“卿顷属微瑑，恳求致政，朕以居守之重，虑烦耆耋，维师之命，用表尊贤。
伫闻有瘳，与朕相见，今赐羊酒如别录，卿宜爱精神，近医药，强饮食，以副朕眷遇之意。”
是年七月十四日病卒于洛阳，终年七十一岁，宋太宗听到消息后非常震惊悲痛，对侍奉的大臣说：
“赵普侍奉辅佐先帝，和我也有旧交情，他果断能决断大事，之前和我有些不愉快，这是很多人知道的事情。
我即位以来，常常待他优厚礼遇，赵普也倾尽全力效忠于我，对国尽忠，是真正的社稷之臣，我失去他非常痛惜。”
于是痛哭涕泣，左右大臣都非常感动，太宗追赠赵普为尚书令，追封真定郡王，赐谥忠献。
次年二月，葬于洛阳邙山，宋真宗咸平元年追封韩王，咸平二年八月，赵普得以配飨宋太祖庙庭。
宝庆二年，宋理宗赵昀图二十四功臣神像于昭勋崇德阁，赵普位列其中。
一次，宋太祖问赵普：
“天下什么东西最大？”
赵普没有立刻做出回答，他的头脑正在快速地思考着，他想，当然不可能是某种有形的东西了。
那么，应回作父母最大呢，还是皇帝的皇权最大呢？就在赵普还没考虑好答案的时候，宋太祖又问道：
“世界上什么东西比其他物件都大？”
赵普又想了一会儿，回答说：
“世界上道理最大。”
宋太祖当即拍手称赞说：
“对，对，道理是人人都要遵守的，就是我当皇帝的，也要服从道理，你回答得妙极了。”
赵普出身小吏，比起一般文臣来，他的学问差得多，他当上宰相以后，宋太祖劝他读点书。
赵普每次回家，就关起房门，从书箱里取书，认真诵读，第二天上朝处理政事，总是十分敏快。
后来，家里人发现，他的书箱里藏的不过是一部《论语》，于是人们就流传一种说法，说赵普是靠“半部《论语》治天下”的。
宋太祖死后，他的弟弟赵匡义继位，史称宋太宗。赵普仍然担任宰相。
有一次宋太宗和赵普闲聊，宋太宗随便问道：
“有人说你只读一部《论语》，这是真的吗？”
赵普老老实实地回答说：
“臣所知道的，确实不超出《论语》这部书，过去臣以半部《论语》辅助太祖平定天下，现在臣用半部《论语》辅助陛下，便天下太平。”
后来赵普因为年老体衰病逝，家人打开他的书箱，里面果真只有一部《论语》，所以又有“半部论语治天下”的说法。
赵普性格沉稳有城府，虽然很爱嫉妒别人，但能够以天下为己任。
宋朝初年，当宰相的人大多心胸狭窄、因循保守，赵普刚毅果断，没有能与他相比。
宋太祖信任赵普，赵普也敢于在宋太祖面前坚持自己意见，有一次，赵普向宋太祖推荐一个人做官。
接连两天，宋太祖没有同意，第三天赵普上朝的时候，又送上奏章，坚持要求宋太祖同意他的推荐，这下可触怒了宋太祖。
宋太祖把奏章撕扔在地上，赵普脸色没有改变，跪在地上，不慌不忙地把扯碎的奏章拾起来，放在袖子里。
退朝回家以后，赵普把扯碎的奏章粘接起来，过了几天，又带着它上朝交给宋太祖，太祖方才醒悟，终于任用了赵普推荐的那个人。
再有一次，赵普要提拔一名官员，宋太祖不批准，赵普就像前次一样坚持自己意见，宋太祖说：
“我就是不准，你能怎么样？”
赵普说：“提拔人才，都是为国家着想，陛下怎能凭个人的好恶专断！”
宋太祖听了，气得脸色变白，一甩袖就往内宫走，普不能入宫，坚持站在宫门外，过了很久，太祖终于同意。
当初，宋太祖地位卑微时，赵普跟他交游，得了天下之后，赵普屡次谈起卑微时二人交往中的一些不足之处。
太祖性格豁达，对赵普说：“假如在尘土中就可以辨识天子、宰相，那么人人都可以去访求了。”从此赵普不再谈论。
赵普被誉为宋代开国元勋的功劳有二：
一是参与策动“陈桥兵变”，二是参与策动“杯酒释兵权”。
这两件事，从史料所记载的史实看，其主谋和决策者仍是赵匡胤自己，而赵普在其中的分量有限，尤其是关于“杯酒释兵权”，是否赵普的初衷？
除了朱熹将其完全归功于赵普之外，学界迄今看法不一，有人认为赵普是主张动用武力即杀戮解决赵匡胤对于重臣的猜忌的。
而朱熹将此归功于赵普，则旨在抬高《论语》的社会功能，但在“陈桥兵变”中，赵普确实是出了大力的。
然而，“陈桥兵变”不论从犯上作乱，还是从“兄弟相残”的角度说，都是与《论语》大义相悖的，因为《论语》开宗明义地反对“犯上作乱”。
主张“仁”尤其是“己欲立而立人，己欲达而达人”，把为赵匡胤出谋划策，通过发动“陈桥兵变”而获得天下，说成是“以半部论语辅太祖定天下”，岂不是对于《论语》大义的背离和亵渎吗！？
赵普要是真懂《论语》却说这样的话，那可真是大言不惭了！