三次參考，卻屢屢與金榜失之交臂，這令左宗棠大失所望，回頭看看自己一心追求的仕途、朝廷，對於自己是如此無情冷淡，而自己因忙於求知而疏於照料的妻兒，對自己卻是一如既往地關愛。對比之下，左宗棠決意效仿武侯，躬耕山田，農餘時節，讀書論典，思天下大事，依然不廢。
第一次會試後，左宗棠回到嶽父家，八月時節，長女孝瑜出生。其後兩年，又是連生兩個女兒，左宗棠心中苦悶，眼望著連襟張聲連生三個都是兒子，他不禁抱起聲的小兒子，笑著說道：“老天爺怎麽不把這兒子賜給我呢！”看著夫君求子若渴的心情，周夫人也通情達理，將自己陪嫁來的侍女張氏許給了左宗棠做妾。可惜張氏頭胎也生下女嬰，但畢竟周詒端是大戶小姐，素來體弱多病，有了張氏相助，夫妻倆的擔子也輕了不少。
第二次會試回來後，左宗棠花費了一年的時間研究地理，他認為前人編寫的地理文獻存在很多漏洞與不足，一些是通過二手資料得來的結果，一些記載由於年歲已久，而多年來山河衝蝕，原本的地理風貌早已走了模樣。於是他詳查古今史料，想要重新繪製一張地理圖本，於是，他自己作草圖，遇到自己不清楚的地方還會請教周詒端。左宗棠每作完一份草圖，周夫人就拿去描繪，這也為他後來行軍打仗作下了很重要的鋪墊。
一連生下四個女兒，左宗棠身上的擔子大大地加重了，為此，他不得不選擇外出教書，得點“束。道光十七年，應巡撫吳榮光的邀請，左宗棠赴醴陵淥江書院做主講。吳榮光本人重視教育，雖然學校不大，但有六十名學生在此住讀，因此還會給學生們發點微薄的夥食費。左宗棠在這裏的講課費也不多，初時甚至“幾無以給朝夕”。左宗棠在這裏教了兩年書，要求也非常嚴格，每日檢查學生的功課；因為是住讀學校，左宗棠在晚間還會查宿；對於那些不認真求學還說謊掩飾過錯的學生，如果累計兩次，左宗棠便將其除名，而省下來的課本費、夥食錢，又會加到那些用功讀書的好學生的名下。教授朱子理學的同時，左宗棠還帶領學生登山學習地理實學，這一點恰似三國名將鄧艾“每遇山川大澤，皆口指目劃，言何處可以屯兵，何處可以埋伏”。