道光十九年（1839），龔自珍四十八歲，終於覺得在北京混不出什麽名堂了。
這種困頓官場無所施展的“一山突起丘陵妒，萬籟無言帝座靈”的感覺，他早就在詞中表現出來：
“縱使文章驚海內，紙上蒼生而已。似春水，幹卿何事？”“如夢如煙，枝上花開又十年。十年千裏，風痕雨點斕斑裏。莫怪憐他，身世依然是落花。”
現在，是到了他必須作出抉擇的時候了。或者，跟著同僚繼續在衙門混吃等死；或者，不再百無聊賴地呆下去。
無奈蒼狗看雲，紅羊數劫，惘惘休提起。客氣漸多真氣少，汩沒心靈何已？千古聲名，百年負擔，事事違初意。
於是，他決定辭官離京，回到家鄉仁和，也就是現在的杭州。
另有一說，龔自珍之所以南下，很大程度上是為了逃避風流債。一位大概有著蒙古血統的貴婦，一位令他驚豔不已的漂亮女人，一位十分欣賞他才華的女詩人，一位與他有了曖昧關係的上司老婆，使他欲罷不能，難舍難分。可是，桃色新聞從來就是不脛而走的，社會輿論從來傾向於正經，而不讚成浪漫，盡管那是相互傾心的愛情，第三者也會遭到譴責，何況那是有皇帝的封建社會。
據說，在友人的勸告下，我們的詩人卷起鋪蓋，倉皇出走。
我不大相信在詩文中惟恐不石破天驚的龔自珍，在個人感情生活上，會是這樣的孱頭。他怕嗎？大概不，如果他真的為了避禍，應該盡其可能地銷聲匿跡才是，可恰恰相反，他“猖狂”得很，肆無忌憚，自由來往。兩下杭州，兩返京師，一次是卸任以後，體會無官一身輕的滋味，一次是徹底罷了東山再起的念頭，將住在北京的家眷接回，當然也包括他那浪**兒子。
可以肯定，他絕非避禍而逃，而是厭倦了死氣沉沉的官場，才出走的。