胡出生於中國中南部的一個農民家庭，14歲加入中國共產主義青年團，1933年加入共產黨。他第一次引起毛的注意是在與國民黨進行的國內戰爭期間充滿傳奇色彩的長征中，當時共產黨穿過11個省，遠征6000英裏即將到達陝西省的延安。盡管胡未從中學畢業，還不得不自學，毛在20世紀30年代派他到越來越重要的共青團崗位上去工作。1941年，胡遇到了鄧，當時兩人都在部隊任政治委員。隨著國民黨的失敗，胡晉升為共青團的領導。
毛於1966年發動他的災難性的“**”時，胡和鄧一樣，被貼上了“走資派”的標簽。兩個人都被剝奪權力將近10年。胡被流放到一個再教育營，在那裏他不僅被強迫放牧牛羊，還得和牛羊吃住在一起。
當鄧在1975年從流放中抬起頭來，他把胡從馬房中帶了出來。但當胡準備了一個報告，指責政府將科學家錯誤地使用為農業工人時，他又一次被“清除”了。他的報告被斥為“大毒草”。
隨著毛在1976年去世，胡又一次被鄧推上了權力的舞台。從1980年起，他一直作為總書記處理中央委員會的日常事務。
即使在中國也對胡的家庭所知甚少。據信有3個已經成年的子女，據說多年來他們所有的人都在他的領導下過著同樣儉樸的生活。