洪武四年，李善长因病辞官归居，太祖赐临濠地若干顷，设置守坟户一百五十家，赐给佃户一千五百家，仪仗士二十家。
一年后病愈，太祖便命他负责修建临濠宫殿，将江南富民十四万迁徙濠州耕种，让李善长管理他们，留在濠州数年。
洪武七年，太祖提升李善长之弟李存义为太仆丞，李存义之子李伸、李佑都为群牧所官。
洪武九年，太祖以临安公主下嫁其子李祺，授为驸马都尉，初定婚礼，公主严修妇道，李家受宠显赫，时人极为羡慕。
李祺与公主结婚一个月后，御史大夫汪广洋、陈宁上疏说：“李善长恃宠自纵，陛下因病几乎十日不能上朝，他不来问候。
驸马都尉李祺也六日不来朝见，召他至殿前，又不认罪，这是对陛下极大的不敬。”
李善长因此获罪，被削年禄一千八百石，不久，太祖又命李善长与曹国公李文忠一起统领中书省、大都督府、御史台，同议军国大事，监督圜丘之工程。
洪武十三年，胡惟庸因谋反被诛杀，受牵连而处死者甚多，但李善长仍然如故。
御史台缺中丞，李善长暂理御史台事务，多次向太祖提出建议。
洪武十八年，有人告发李存义父子实为胡惟庸的党羽，明太祖下诏免死，将他们安置在崇明，但李善长没有表示感谢，太祖因而怀恨在心。
洪武二十三年，70多岁的李善长却与妻女弟侄七十余口，一起被冤斩，故居被抄毁，从此以后，李善长的故居与后裔成为未解之谜。
崇祯十七年，南明弘光帝追补开国名臣赠谥，获追谥“襄愍”。
洪武二十三年，李善长已经七十七岁，因为年老约束不了部下，曾想建造府宅，从信国公汤和那里借卫士三百人，汤和悄悄告诉他所听到的事。
四月，京城有百姓受株连而被发配到边疆，李善长屡次请求赦免其亲戚丁斌等，太祖大怒，将丁斌治罪。
丁斌以前在胡惟庸家做的事，他供出李存义等过去与胡惟庸互相交往的情况。
于是太祖下令将李存义父子逮捕审讯，他们的供词牵连到李善长，供词上说：“胡惟庸企图谋反，派李存义暗地里劝说李善长。
李善长惊叱道‘：你这么说到底为了什么？你们一定要慎重，否则九族都要被灭。’
不久，又派李善长的老友杨文裕去劝他说：‘事成之后，当以淮西之地封你为王。’
李善长惊骇不已，仍不同意，却又颇为心动，胡惟庸于是亲自去劝说李善长，仍然不同意。
过了一段时间后，胡惟庸又派李存义去劝说，李善长叹道：‘我已经老了，我死之后，你们好自为之。’”
有人又告发李善长说：“将军蓝玉率军出塞，到捕鱼儿海时，俘获胡惟庸私通沙漠使者封绩，李善长却匿而不报。”
于是，御史竞相上奏弹劾李善长，而李善长的奴仆卢仲谦等，也告发李善长与胡惟庸之间互相贿赠，经常偷偷私语。
这些证言显示，李善长虽是皇亲国戚，知道有叛逆阴谋却不揭发检举，而是徘徊观望，心怀两端，大逆不道。
当时正好有人说将要发生星变，会有灾祸发生，占卜的结果是灾祸应当降临在大臣身上，于是，太祖便连同其妻女弟侄等全家七十余人一并处死。
吉安侯陆仲亨、延安侯唐胜宗、平凉侯费聚、南雄侯赵庸、荥阳侯郑遇春、宜春侯黄彬、河南侯陆聚等人，都同时受胡惟庸牵连而死。
不久，被牵连的还有已故的营阳侯杨璟、济宁侯顾时等若干人，太祖亲自下诏罗列他们的罪状，加在狱辞里面，纂成《昭示奸党三录》，布告天下。
李善长之子李祺与公主被迁徙至江浦，过了一段时间后死去，李祺之子李芳、李茂，因公主之恩未被牵累判罪。
李芳任留守中卫指挥，李茂任旗手卫镇抚，但被取消世袭韩国公的权利。
李善长死后第二年，虞部郎中王国用上奏：“李善长与陛下同心，出生入死打天下，勋臣位列第一，生前封公，死后封王，儿娶公主，亲戚拜官，他作为人臣，名份已经到了极点。
即使他想自图不轨，尚且未曾可知，而今说他想帮助胡惟庸谋反，则是极为荒谬，大错特错了。
人们疼爱自己的亲生儿子，一定胜于兄弟之子，已经安享万全之富贵的人，一定不会去想侥幸获得万一之富贵，这是人之常情。
李善长与胡惟庸，仍然只是儿女亲戚，而对于陛下则像对子女一样的亲近。
假使李善长帮助胡惟庸谋反成功，也不过是位列勋臣第一而已，太师、国公、封王而已，娶公主、纳王妃而已，难道还会胜于今日吗？
而且李善长难道不明白天下是不能侥幸取得的吗？元朝末年，欲取天下者无限，却都莫不为此粉身碎骨，覆宗绝祀，能保全自己脑袋的有几个人呢？
李善长自己也亲眼所见，为什么还要在衰倦之年去重蹈覆辙呢？凡是去这么做的必然有深仇大恨促使着他，在大势已去的情况下，父子之间可能会相互扶持以求逃脱灾祸。
而现在李善长之子李祺与陛下有骨肉之亲，没有丝毫芥蒂，他何苦突然这么去做呢？
如果说天象告变，大臣受灾，杀了他以应天象，则陛下更加不能这样做。
臣惟恐天下百姓听说之后，会说像李善长这样的有功之臣尚且得到了如此下场，国家也会因此而分崩瓦解啊。
现在李善长已死，再说无益，但愿陛下将此作为将来的教训。”太祖收到上奏，竟然没有加罪王国用。
崇祯十七年，南明弘光帝追补开国名臣赠谥，李善长获追谥“襄愍”。
李善长是教书先生出身，他的加盟，对朱元璋意义重大，朱元璋称帝后，曾问群臣，谁的功劳最高？
大臣王国用上书道：“善长与陛下同心，出万死以取天下，勋臣第一!”朱元璋也称非常认同。