現在再說第二件事，劉伯溫如何幫朱元璋選擇宰相。
朱元璋建立大明王朝之後，任命的第一位宰相是李善長。這位李善長是朱元璋的安徽鳳陽老鄉。一同起義的老鄉中，李善長文化最高。開國後，他被封為韓國公，列為文臣第一。李善長當宰相時，劉伯溫的職務是禦史中丞兼太史令。這種安排很明顯地表現出朱元璋對劉伯溫生了戒心。劉伯溫是一流人才，學識與執政能力均在李善長之上。正因為如此，朱元璋才提防他。朱元璋離不開劉伯溫的學問，但又害怕劉伯溫用自己的學問來對付他。因此，他給劉伯溫的定位是：隻允許議政，不允許執政。所謂議政，就是當顧問。有事兒的時候，找你來問問見識；沒事兒的時候，你就一邊兒待著去，權力中樞那個密勿之地，叫你看得見摸不著。
當了皇帝後，朱元璋的猜忌心日漸嚴重，老害怕那些手握重權的開國功臣謀反。有一天，他把劉伯溫找來密談，就撤銷李善長宰相職務的事征詢劉伯溫的意見。劉伯溫當即表示了反對意見。他說：“李善長資曆老，又練達，能調和諸位大將及勳舊的矛盾，適合當宰相。”朱元璋聽了大惑不解，問道：“李善長多次構害於你，欲置你於死地，你怎麽還為他說話？”
朱元璋此話事出有因。卻說洪武元年，朱元璋率兵渡淮北狩，留皇太子監國。劉伯溫協助李善長處理政務。劉伯溫認為宋、元兩朝都是因為寬縱官吏腐敗嚴重導致失國，因此主張吏治從嚴。此時，恰逢有人揭發中書省都事李彬貪汙納賄。主持監察工作的劉伯溫派人調查落實後，便立即下令將其逮捕收監，並說服皇太子批準，將李彬誅殺。這件事在當時影響非常之大，蓋因李彬是李善長的外甥。劉伯溫執法不留情麵，李善長從此對他恨之入骨，一直在設法將劉伯溫弄死。若不是朱元璋對李善長起了疑心而阻止他的陰謀，劉伯溫恐怕早就沒命了。因此，他以為隻要把廢除李善長的想法告訴劉伯溫，劉伯溫就會拍手稱快，卻沒想到這個倔老頭子居然投了反對票。