朱元璋漸漸發現，朝廷大臣對自己開始疏遠，反而更畏懼和聽從丞相胡惟庸的話，於是暗下決心要廢黜丞相職位。
胡惟庸此時也在收攏力量，尤其是軍隊將領。
吉安侯陸仲亨和平涼侯費聚平素在陝西和蘇州作威作福，終日酗酒胡鬧，深受朱元璋厭惡。胡惟庸利用朱元璋的威勢對二人恫嚇利誘，他們毫不猶豫地便倒向了胡惟庸，甘心做他的鷹犬。
陸、費二人聽從胡惟庸的命令暗中招兵買馬，準備調動之用。而胡惟庸又指示心腹陳寧利用其在中書省任職的便利，私下閱覽天下兵馬簿籍，將在京城的軍事將領都督毛驤等人收為心腹。此外，胡惟庸還暗中與倭寇和北部元朝遺民達成協議，準備來個裏應外合。
當然，胡惟庸篡權最重要的步驟，是暗中聯絡藍玉和李善長，尤其是要爭取李善長這位開國元老。胡、李兩家本來就有聯姻的關係，因此雖然李善長開始不同意，後來卻也明目張膽地替胡惟庸籠絡起官員來。
終於，胡惟庸與禦史大夫陳寧、中丞塗節等人做好了起事的準備。
此時正逢一個小國進貢，胡惟庸居然不給朱元璋通報，讓使臣等了幾個月之久。
朱元璋賜死了再次回到宰相崗位的汪廣洋，卻無意中發現汪廣洋的小妾陳氏是被沒入官中的婦女。按照慣例，這樣的女人隻能賜給功臣。
朱元璋開始起疑心了，胡惟庸阻撓進貢的事情也被發現。這時，曾經稱胡惟庸為“五百年來第一賢相”的塗節成了冒頭狀告胡惟庸的人。
最後，胡惟庸等一幫人被誅滅九族，順帶著，朱元璋開始大肆屠殺那些當年跟著他打天下的功臣。
胡惟庸案持續了十多年，共三萬多人受牽連被殺，連李善長、宋濂等人的家族也不能幸免。
另一個不能幸免的便是大將軍藍玉。