翻開洪武年間的曆史，人們會驚訝地發現這是一個充滿了權謀和殺戮的時代。沒有人是絕對安全的，即便位高如胡惟庸等人，也一樣丟掉了身家性命。在胡惟庸一案上，朱元璋不但誅殺了胡氏三族所有人口，更是將與其有關的一切朝臣全部掀翻下馬。這其中，受到最無辜牽連的人，當是上任丞相李善長。
李善長與胡惟庸本是同鄉，朱元璋稱王時，李善長便出任了右相國一職。在朱元璋南征北戰奪取天下的時候，李善長多次展現出與他職位相匹配的才幹。因此，洪武建號後，李善長也得到了左丞相的任命，職權位列朝堂第一位。當時，武將徐達任右丞相。朝堂之事本來應該由左右丞相二人共同商議決定，彼此之間還可以相互監督，但因為徐達常年領兵在外，所以朝堂百事實際上全部都由李善長一個人全權決定。李善長有一子，名李祺，後被朱元璋招為駙馬。如此一來，李善長的個人權勢更為顯赫，他實際上已經成為朝中淮西集團掌握實權的絕對首領。
自從建大明登基後，朱元璋就對淮西集團勢力的膨脹表現出了擔憂之態。而李善長的個人勢力幾乎可以觸碰到皇權了，這就更加引起了朱元璋的忌憚。於是在洪武四年（1371年），朱元璋便以年高有病為由，提前讓李善長告老還鄉了。而當時，李善長也不過五十八歲而已。
由於李善長與淮西集團的密切關係，朱元璋其實早就有意換掉他。朱元璋曾經秘密向劉伯溫谘詢此舉是否合適，劉伯溫卻回答說：“李善長是元勳舊臣，他在，可以調和諸將之間的矛盾，因此不適宜將其更換。”朱元璋反駁說：“李善長曾經多次在我麵前說你的壞話，你現在卻要為他說情嗎？朕本來是要命你任職右丞相的，以便與李善長相抗衡。”麵對朱元璋的試探，劉伯溫卻早已經看透了麵具之後的試探心理，他搖頭拒絕說：“臣並沒有這樣的才能，是沒辦法任職相位的。”劉伯溫之所以拒絕朱元璋，是因為他也深知自己並非淮西集團中的一員，即便自己坐在了相位上，也並不見得能夠調動得了這些開國大臣，而自己更會被夾在臣子與皇王之間兩邊不能得好。朱元璋不甘心，又相繼舉出楊憲、汪廣洋等人，詢問劉伯溫他們是否可以任職相位。在被劉伯溫一一否定後，朱元璋又追問胡惟庸此人是否合適。一聽此名，劉伯溫急忙回答說：“此人千萬不可。一旦重用了他，日後假如他與陛下產生矛盾，必定帶來難以收拾的禍患。”朱元璋一時間陷入了沉默，他沒有想到劉伯溫當日竟然一語成讖。