1823年，惠特曼4歲那年，他們一家搬到剛剛發展起來的布魯克林區。
布魯克林當時隻有七千多人，但它的繁榮速度快到令人炫目，到處都在大興土木，房地產生意十分興旺，投機獲利的機會幾乎超過了加州的金礦。可惜的是，不善理財的老沃爾特並沒有因此而發達，還是靠手藝吃飯。
惠特曼曾回憶說：“有一個基督教的長老與我父親簽約蓋房子，合約中的每一條都有利於長老。房子蓋好了，交屋的時候，不但好處全讓他占了，而他更是這兒刮一點，那兒減一筆，可憐我父親到最後，隻差腳上的靴子沒被他剝了去。”
老沃爾特總是做賠錢的生意，他決定自己貸款建房子出售。等到房子建好了，高昂的利息壓得他隻好把房子低價賣掉還債，而全家人隻好再選一處新地方，重新建一棟房屋。但每一次房屋售價都追不上高額利息，年幼的惠特曼便跟著家人不斷搬家，嚐盡了顛沛困頓之苦。
惠特曼在他簡單的敘述詩中記載著：我們1823年5月搬到布魯克林的前街，1824年搬到肯貝拉街，
1825年是約翰街……
1825年在詩人的童年記憶裏留下了光輝的一筆。當年，在美國獨立戰爭時給予美國很多幫助的法國老將拉法耶特舊地重遊，受到美國人民的熱烈歡迎。當時，拉法耶特侯爵也訪問了布魯克林。當日的歡迎儀式簡單嚴肅、古樸真誠，歡迎的隊伍中沒有警察和軍樂隊，隻有一排已經白發蒼蒼的老戰士。風雲一時的大將拉法耶特在兒子的陪同下，乘一輛敞篷的馬車，穿梭於布魯克林大街上，向歡呼的群眾示意。當時，惠特曼夾在一群學童之中跟著車跑，一路跑到老將軍要行奠基禮的圖書館門口。四周圍滿了人，小孩子夾在人潮中，什麽也看不見。好心的老將軍順手抱了好幾個孩子，把他們放在為奠基石所挖的地基內，好讓他們仔細地觀賞整個儀式。惠特曼最得意的就是，他也是被拉法耶特抱起又放下的幾個孩子之一，他還仔細描述道：“我被他緊緊抱起，在他把我放下之前，還重重地親了我呢！”