根據史書記載，胡惟庸於1355年便投奔了朱元璋，曾經也是從基層幹起的優秀青年幹部。
大明建國後，胡惟庸擔任中書省參知政事。汪廣洋被免職之後，朱元璋一時竟覺得群臣中沒有人適合接替他擔任丞相。後來，朱元璋發現胡惟庸處事謹小慎微，加上李善長一個勁地推薦，於是朱元璋任命胡惟庸擔任右丞相，不久又升他為左丞相，成為百官之首位。
胡惟庸，定遠人。歸太祖於和州，授元帥府奏差。尋轉宣使，除寧國主簿，進知縣，遷吉安通判，擢湖廣僉事。吳元年，召為太常少卿，進本寺卿。洪武三年拜中書省參知政事。已，代汪廣洋為左丞。六年正月，右丞相廣洋左遷廣東行省參政，帝難其人，久不置相，惟庸獨專省事。七月拜右丞相。久之，進左丞相，複以廣洋為右丞相。（《明史》）
事實上，胡惟庸可不像朱元璋料想的那樣，是個謹慎克己的人。
胡惟庸擔任丞相的時間一長，便專橫跋扈起來，將朝廷官員生殺予奪的大權完全掌握在手裏，朝廷大事也不向朱元璋匯報便私自決定。凡是參奏他的奏章，胡惟庸都會暗中截留，然後指使黨徒將上奏的人清除掉；而那些熱衷投機鑽營的人，為謀求官職和爵位，則爭相給胡惟庸送金帛、名馬、好玩之物。
朝廷正直之士看到這樣的事後非常氣憤，比如大功臣徐達便一再向朱元璋揭發胡惟庸的所作所為，可是朱元璋卻置之不理。
胡惟庸更加囂張跋扈了，他甚至派人向開國大功臣劉基下毒，還與李善長勾結攀親，廣結朋黨。
這時候有一個大臣叫塗節，他向胡惟庸獻媚，竟然請求當他的義子，還恬不知恥地稱胡惟庸為“五百年來第一賢相”。對於這句話，胡惟庸心裏極為受用，從此他便以此自稱。
除此之外，還有人稱在胡惟庸遠在定遠的老家，看到從池塘水底長出了一根石筍，也有人向胡惟庸說，看到他們家祖墳附近有火光閃爍。