正當潘漢年在政治上飛速發展的時候，他個人的家庭生活卻使他陷入了極大的痛苦中！
潘漢年的原配夫人許玉文。是在他18歲那年由母親做主結婚的。潘漢年在“五四”風潮影響下步入文壇，而後又投筆從戎、棄文從政，成為中共在三十年代聞名上海的思想、文化戰線上的組織者和領導人。他不僅有著遠大的革命誌向，有著超乎常人的組織能力，而且一直崇尚個性解放，並極富有叛逆的性格。他的理想的伴侶，絕不是許玉文這樣封閉的農村婦女。因此，從他結婚伊始就埋下了悲劇種子。
許玉文也深知潘漢年不愛她。但她是在傳統的東方道德中長大成人的，所謂“嫁雞隨雞”、“嫁狗隨狗”、“從一而終”的封建觀念是根深蒂固的。她作為一個女人如何獲得情感的需要和解脫呢？唯有在冰冷的夫妻生活中向播漢年尋釁和宣泄。這樣，就必然陷入了夫妻吵架的惡性循環。就在他們結婚不久，潘漢年把許玉文帶到上海同居的時期，他們之間就吵得不可開交了。
播漢年是受“五四”風潮的影響，從封建家庭的束縛下殺入社會的。因此，他的思想和情感無不打上這一特定的時代的印證。他一方麵有著向封建堡壘宣戰的大無畏的勇氣，另一方麵又很難和傳統的倫理道德一刀兩斷。反映在他和原配夫人許玉文身上，也必然是雙重的性格：他一麵不愛這位沒有情感基礎的妻子，另一麵作為孝子又不敢悖逆母命，斷然和妻子離婚。其精神痛苦是可想而知的隨著他的學識的增長，地位的升遷，其精神越來越痛苦。
然而，潘漢年作為一個矢誌向前走去的革命者，他雖然從形式上難以割舍由母親包辦的這樁婚事，但他的靈魂必然是本能地要飛離自己的軀殼，尋求一種精神上的滿足。這就是時人―尤其是姚蓬子對潘漢年的私生活頗多微詞的由來。