幾個月後，喬治帶著28英鎊的存款回到了家中。他離開之時曾經將兒子羅伯特托付給一位女鄰居撫養，回來時卻發現那個鄰居已經嫁人了，孩子也被帶走了。這裏的一切，早已經麵目全非！
沒辦法，喬治隻好搬回老家和未出嫁的妹妹一起住，並把孩子找回來托給妹妹照料。羅伯特從此便一直由喬治的妹妹撫養直至成人，他一直都稱呼這位姑媽為蕾莉姑媽。
蕾莉比喬治小三歲，曾在愛情上受過打擊。她以前在倫敦一個富人家裏當傭人，後來她的男友寫信說要娶她，等她花盡積蓄回到泰恩河地區的家裏時，男友卻娶了另一個女孩。
蕾莉是虔誠的教徒，常帶著羅伯特去做禮拜，然而羅伯特對宗教卻沒有太大的興趣。蕾莉個性樂觀開朗，她時常帶著羅伯特到鄉間旅遊。羅伯特的姨媽嫁給了一個頗為富有的農民，生活很寬裕。羅伯特每次去她家時，她都十分寵愛他，給他家裏最好吃的和最好玩的。
從蘇格蘭回來後，喬治得知他的父親發生過一次意外。在一次修理蒸汽機時，一個工人不小心將蒸汽放出，喬治父親的眼睛受到了傷害，視力受損，再也無法做工了。
這次意外發生後，他父親負了不少債。喬治回到家，替他還清了債務，並將他與母親接到基林沃恩和自己一同生活。喬治的積蓄很快就用光了。隨後他又遇到了一件不如意的事，他被征入了民兵隊。
不列顛帝國這時正與拿破侖作戰，1808年，卡斯爾雷爵士下令每個城鎮都要征調民兵，他打算組織一支20萬兵力的軍隊。
海軍當局強迫人民服兵役，有時甚至花錢收買；陸軍則硬性向各鄉鎮攤派，如果被抽中，想要免去的唯一辦法就是花錢請人代替。
這次征兵，喬治不幸被抽中，他用他的最後一點積蓄雇了一個人代替入伍。這無疑是他極艱難抑鬱的時期，家庭遭遇變故，再加上在工程事業上的受阻。幸好，他幸運地恢複了在基林沃恩礦場的職位。這時的喬治還曾一度產生移居美洲的念頭。他說：“因為缺少學曆，在英格蘭不會有人相信我是個工程師，我決心要去美洲。”