胡雪岩雖然事業上取得了前所未有的成功，但是在個人生活問題上卻是有著極其糜爛的作風，尤其是他晚年生活更是如此。
胡雪岩通過左宗棠的幫助和提拔，不但在官場上贏得了紅頂戴，在生意場上也賺取了高額的利潤。天命之年的胡雪岩在人生道路上可以說走得既長遠又平坦。但是，任何事情好像都有它既定的規則，一旦這個規則被破壞，那麽將會帶來嚴重的後果。
胡雪岩在名利雙收之後，便開始了他極度奢靡的生活。胡雪岩早在阜康錢莊做事的時候就已經娶妻成家，但是由於胡雪岩生意的不斷擴大以及經常去外地辦事的緣故，在他身邊的女人也越來越多。
胡雪岩是一個多情的人，對他鍾情的女子都知道他已有家室，卻也大都心甘情願歸順於他，並且為胡雪岩在生意場上做了很多重要的事情。可以說胡雪岩的成功，這些女人也起到了至關重要的作用。
胡雪岩平常看到漂亮的女子也不會罷休，都會想方設法娶到家裏來，有時候甚至為了一時的衝動而娶妾，娶回家後卻又馬上休掉。清代《南亭筆記》裏曾這樣記載：“胡嚐過一成衣鋪，有女倚門而立，頗苗條，胡注目觀之。女覺，乃闔門而入。胡恚，使人說其父，欲納之為妾，其父靳而不予，許以七千元，遂成議。擇其某日，宴賓客，酒罷入洞房，開尊獨飲，醉後令女裸臥於床。仆擎巨燭侍其旁，胡回環審視，軒髯大笑曰：‘汝前日不使我看，今竟如何？’已而匆匆出宿他所，詰旦遣嫗告於女曰：‘房中所有悉將取去，可改嫁他人，此間固無從位置也。’女如言獲二萬金，歸諸父，遂成巨室。”
胡雪岩在生意中遇到的這些女人，幾乎都是對他的事業有過幫助的人，有的後來被胡雪岩直接納為妾，而有的則為了胡雪岩而葬送了性命。比如，孫玉喜是胡雪岩的情人，她為胡雪岩在上海貸款成功起到了舉足輕重的作用，但是，最後也因此事而香消玉殞；另一個女人就是吳寶玉，當時上海著名的交際花，利用美人計幫助胡雪岩在匯豐銀行先後貸款六筆，最後被胡雪岩納為妾。還有的女子則成為胡雪岩用來交易的籌碼和工具。胡雪岩在和王有齡結交之時，曾經遇到過一位千金大小姐，但是因為其父親的罪行而深受牢獄之災，胡雪岩因憐香惜玉而救其父出獄，但是當時胡雪岩已經深深地意識到這位小姐並非一般女子，他覺得自己無福消受，於是就想到了自己的官場好友王有齡。胡雪岩是一個精明的商人，在用人方麵胡雪岩是一位精練的老手，於是他就順水推舟做了個人情，把這位千金小姐送給了王有齡。當時王有齡雖然已經有妻室，但是見到貌美的女子依然是仰慕至極，所以對於胡雪岩把貌美女子贈送於自己的事非常感激，而胡雪岩卻也正好利用這位小姐而牽製了王有齡。從此，對於王有齡的事情胡雪岩無所不知，同時也堅固了胡雪岩與王有齡的交情，使胡雪岩在以後的發展道路上越走越順。像這位小姐一樣被胡雪岩用做交換工具的女子還有很多，胡雪岩為了自己長遠的利益而不惜犧牲貌美的女子，已經成為他常用的一種方式，而這些女子卻都心甘情願地為胡雪岩付出。由此可見，胡雪岩也有溫柔癡情的一麵。