我們的主人公終於降生了。可惜不幸的是，他一生下來，右腳就有點畸形。他的母親尋遍了名醫，也無法彌補這天生的缺陷。這個缺陷給他今後的生活帶來了不少痛苦，這可能也是拜倫特殊性格形成的主要原因。
1789年夏天，拜倫的母親帶著這個取名為喬治·戈登的兒子離開了倫敦，回到位於蘇格蘭的娘家。凱瑟琳之前拿自己的部分財產做了投資，現在每年可以有150英鎊的利息。這些錢足夠她和她的兒子平靜地生活下去。
不多久，約翰·拜倫再度山窮水盡，不得不去投靠他的妻子，他們在一棟狹窄擁擠的小屋裏住了下來。然而這位揮霍無度的紈絝子弟實在過不慣這種清苦、平淡的生活，當他從他的姐姐那裏借到一點錢之後，馬上就離開凱瑟琳母子，回到了上流社會的圈子。
拜倫的母親凱瑟琳·戈登
凱瑟琳對丈夫真是又愛又恨。當他要錢時，她氣得對他破口大罵，可是事情過後，又死心塌地地愛著他。她對自己的兒子也是如此。拜倫曾回憶說：
我的母親，當我頑皮地惹她發脾氣時，常常說：“唉！你簡直和你父親是一個模子刻出來的，一樣的可恨！”但是，過一會兒，她又會很懊悔地抱著我又疼又憐。
約翰·拜倫最後一次出現在凱瑟琳母子麵前，是1790年9月的事。為了讓他完成回到法國的心願，凱瑟琳隻好從自己母親的養老金中拿出100英鎊給他。這之後，他們再也沒見過約翰·拜倫。
1791年8月，法國方麵有消息說約翰·拜倫已經自殺身亡。他在遺囑上指定他的兒子——喬治·戈登·拜倫為他的財產繼承人以及債務和喪葬費的負責人。
這個消息經過證實後，差不多整條街的人都聽得到凱瑟琳的哭聲。這時，拜倫才三歲，後來他在寫給朋友的信上說：
我對我母親還留有深刻的印象，而且，因為親眼目睹了父母的婚姻狀況，我從小就對婚姻產生了恐懼感！