胡雪岩，出生在一個並不富裕的家庭裏，小時候家裏所有的經濟來源便是家裏的幾畝田地，父親胡鹿泉平日做點小本生意，剛剛能夠維持生活。胡雪岩在家裏排行老三，但是他從小就很懂事，盡管貧窮，父親還是送他去私塾讀書，這也是徽州人重視文化教育的一大特點。胡雪岩的家裏有一條規定：胡家的人可以讀書做生意，但不可以為官。至於以後胡雪岩不但生意做得大，官也做得高這一說法，隻是他順應了時局的大趨勢，能夠駕馭時政從而更好地發展商業，這也是有著非凡的意義。
胡雪岩在私塾很聽老師的話，也很認真地學習，所以老師經常在父母麵前誇這個幼小懂事的孩子，於是，父親給他起了個幼名叫做“順官”，就是既順又很乖的意思。
由於胡雪岩的家庭經濟狀況越來越不好，尤其是胡雪岩的兩個弟弟出生以後，生活更加拮據。由於父親的生意做得很小，而且幼小的弟弟也需要喂養，於是，胡雪岩在八歲的時候就給人家放牛。由此可見，年少的胡雪岩是多麽體貼父母，俗話說“窮人家的孩子早當家”，也正是如此。
胡雪岩從小就知道父母的不容易，也看得到家裏的經濟狀況，但是他沒有像別的小孩子那樣，討厭自己的家庭，憎恨自己的父母沒有能力，反而很看得開，而且還體貼父母，經常幫助父母做事情，鄉裏鄉親都很喜歡這個孩子，經常讚揚胡雪岩，說他是個懂事孝順的孩子。
孩子從小的品德很重要，如果一個孩子從小品德高尚，那麽他長大一定是個高尚明理的好人，從小孩子身上也足以看得到一個人的未來。從小機智、聰明、孝順的胡雪岩，長大以後，不管他多富有，卻依然還是那麽高尚和受人敬仰。
其實，胡雪岩的家庭很是不幸。胡雪岩的二哥很早就夭折了，這對於他的父親來說是個很大的打擊，加上在生意上的失意，使得胡鹿泉的身體每況愈下。後胡雪岩的兩個弟弟又相繼出生，家庭狀況更是不堪，父親的病也日益加重，家裏的重擔基本都落在了母親身上。在這樣艱苦的條件下，胡雪岩在放牛的同時，還不時地對父親進行無微不至的照顧。於是，幼小的他，身上無形地背負了很多東西，這些他都懂得承受和應對。不管從哪一方麵來講，胡雪岩都是一個懂事、孝順的孩子。在一連串的打擊和生計的壓力下，胡雪岩的父親在他12歲的時候去世了。