羅伯特·史蒂芬孫於1828年1月回到他在紐卡斯爾的蒸汽機車工廠，此後五年中他一直以工廠為重，這也是火車發展曆史上最重要的五年。每一種技術上的改進都有工程師的詳盡記錄，誰發明某一汽閥，誰發明某一進汽或排汽管或某一鍋爐，都有記錄可查，不再有爭論了。
在這段緊張的工程生活中，羅伯特也完成了他的婚事。從3月起他經常進出於城裏百老街的紳士約翰·山德森家去看他的女兒芬妮·傑佛瑞森。羅伯特在1828年8月間寫給朋友的信中說：
我覺得一個男人就要像一個男人，如果他不這樣，一切都會變得可笑。不要讓自己的性情被灰塵蒙蔽！倫敦一切如常。
芬妮並不是絕頂的美人，但人人都稱讚她的智慧。10月，羅伯特帶她去見自己的父親，喬治對她印象極佳。
羅伯特事後說：“我沒有先讓芬妮知道我要帶她去見我父親，我父親看到她時覺得她十分聰明伶俐。她一點也不緊張，這次會麵十分成功。”第二年的6月，他們在主教門教堂結婚。
羅伯特滯留南美時，他的工廠不但有財務困難，機車事業也是一蹶不振。喬治忙於利物浦鐵路工作，工廠的進行由喬治介紹的一位叫提姆·赫克華斯的工程師主持。機車的改進不多，舉例說，刹車方法仍不脫離原始方法，由駕駛人用腳直接壓住飛輪。
達靈頓鐵路線開放後，受人攻擊不斷。有的人誇大出事率，有的人即使是擁護興建火車，但還是抱怨火車既慢而又累贅，速度從沒有超過每小時四公裏，小孩子可以追上並且爬上爬下免費搭乘。
鐵路沿線的地主仍舊抱怨說，火車頭經過之處，白熱煤渣落下而造成損害，農作物被燒毀。公司宣布火車駕駛人以後如果再任意拋落煤渣，將受處罰並被開除。
1833年，斯多克頓－達靈頓鐵路還有用馬匹牽引的列車行駛，隻是乘客已經不多了，1832年時平均每周不超過520人，但各鐵路建築設計仍以用畜力牽引為原動力。