決定了就得抓緊時間，尤其是在清軍僧格林沁部也正在著手加強營防的情況下，太平軍動手自然是越早越好，所以經過商議後，李開芳和吉文元決定當天晚上就出兵反攻被清軍搶走的出城，阻撓清軍加固工事，也乘機試探清軍的真正底細。
考慮到老對手吳超越的人品卑劣，太平軍沒敢一次出動太多兵力，僅僅隻是派遣了五百北伐前的老兵配合一千新軍出城，同時交代率軍出城的謝金生，讓謝金生萬不可把精兵全部用於攻堅，必須留下可靠預備隊潛伏在隱蔽處，專門用來對付清軍可能派出的援軍。同時為了在必要時接應出擊將士回城，李開芳還讓太平軍將士在城牆上準備了大量繩索，必要時可以用繩索幫助謝金生等人上城而不必冒險開啟城門。
初更剛剛過半時，謝金生率軍出擊，將精兵一分為二，一部分埋伏在東麵隱蔽處，另一半則在謝金生的率領下疾撲出城，開槍放箭射殺正在挖掘壕溝的天津鄉勇，天津鄉勇雖然鼓起勇氣迎戰，奈何武器裝備和戰場經驗都處於下風，很快就被太平軍殺散。太平軍將士乘機點火焚燒出城外的鹿角拒馬，守出城的清軍將領慶祺慌忙一邊向僧格林沁求援，一邊指揮兵勇開槍還擊，但黑夜中難以看清敵人位置，準確度本來就爛的火繩槍射擊精度更差，自然無法迅速殺退太平軍的進攻，太平軍將士乘機以噴筒火彈大肆縱火，逐漸引燃出城木牆。
聞知出城遇襲，僧格林沁沒敢在黑夜中冒險出動大批軍隊，僅僅隻是給慶祺派去千餘援軍，同時命令慶祺死守出城，絕不能輕易棄城——黑夜中棄城逃命，自然是你推我搡自相踐踏，死得隻會更慘。然而僧王爺派出的援軍抵達戰場後，雖然在一定時間內極大的緩解了出城的壓力，然而當太平軍伏兵突然殺出，猛攻援軍背後時，戰場局勢又被太平軍輕鬆扭轉，清軍很快又重新處於下風。