回到明朝的軌道上，明初朱元璋加強皇權的主要障礙有兩個，一個是當時的中書省和丞相製度，另一個便是當年和朱元璋一起打天下的那些功臣了。隨著胡惟庸被殺，丞相製度被廢，中書省被罷，皇權在政治製度上的限製已經被掃除了，剩下的就隻是那些功臣了。以胡惟庸被殺為契機，朱元璋便開始對那些和自己打天下的功臣下手了，這也就釀成了明初四大案中第一大案——“胡惟庸案”。在胡惟庸被殺的同年，朱元璋又處決了六部中依附胡惟庸的大小官員一萬五千多人，之後，朱元璋繼續擴大戰果，利用株連之罪開始把那些開國功臣中的一部分人給牽扯進來。
洪武二十三年（公元1390年），朱元璋正式對開國功臣進行反攻倒算。在這一年，先是李善長的家奴告發李善長曾和胡惟庸聯絡，導致李善長被朱元璋以“明明知道胡惟庸要謀反，卻首鼠兩端”的罪名誅殺，當時李善長已經快八十歲了，其全家男女老幼七十餘口也悉數被殺。其實早在十年前胡惟庸被殺時就已經牽連到了李善長，畢竟胡惟庸是李善長舉薦的，但朱元璋考慮到李善長是元勳皇親（李善長之子李祺於洪武九年迎娶朱元璋長女臨安公主，因此李善長也就和朱元璋成了兒女親家，變成了皇親，而李善長全家被誅殺之時，李祺因為駙馬身份被免死隻是和妻兒們一同被流放至江南），所以就沒有深入追究。
本來在經曆過胡惟庸之事後，李善長也看出了朱元璋的手段，開始謹言慎行起來，但是隨著時間的流逝，李善長看到“張昶、楊憲、汪廣洋、胡惟庸皆獲罪”，隻有自己什麽事都沒有，看出朱元璋是有意要放過自己了，便又開始放鬆警惕了。再加上洪武二十三年（公元1390年）有人上書朱元璋稱天象有變，占卜的結果是要由大臣來禳災。就這樣，在多方麵因素的影響下李善長及其全家老小被朱元璋誅殺。李善長被殺之後，吉安侯陸仲亨的家奴又舉報陸仲亨和延安侯唐勝宗、平涼侯費聚、南雄侯趙庸都曾和胡惟庸通謀。於是朱元璋將四人處死，並永久廢除他們的爵位。除此之外，滎陽侯鄭遇春、宜春侯黃彬、河南侯陸聚、靖寧侯葉升這些功臣也先後被劃定為胡惟庸黨被處死。除此之外，受到牽連的還有已故的營陽侯楊璟、濟寧侯顧時等若幹人。前前後後，共有一公二十一侯被牽連進“胡惟庸案”中導致身死、爵除、族滅。“胡惟庸案”前前後後持續十多年，前後共誅殺3萬餘人，這是對開國功臣的第一個重大打擊。