早在鹹豐年間，就爆發了震驚中外的太平天國起義。鹹豐帝決心鎮壓，先後派出的欽差大臣有林則徐、李星沅、賽尚阿、徐廣縉、向榮、琦善、陸建瀛等，均未奏效。太平軍一直從廣西桂平打到江蘇南京，在南京建都，改稱為天京。向榮部尾隨而至，在城外紮營，稱“江南大營”。琦善部在揚州紮營，稱“江北大營”。清政府以江南大營為第一道防線：另立臨淮軍，以袁甲三為欽差大臣，與江北大營一起，構成第二道防線；更以僧格林沁、勝保所部為遊擊之師，在華北構成第三道防線。以八旗兵、綠營兵為核心力量，層層設防，保衛京師。
此外，還號召有關地區興辦團練，輔助清軍。奉旨辦團的共有十省，任命團練大臣四十三人。在這幫人中，獨有曾國藩與眾不同，他認為要對抗太平軍必須建立新軍。他於鹹豐四年(1854)正月，建成湘軍，以衛道者自居，發表《討粵匪檄》,誓師出征。曾國藩攻陷武昌、漢陽，鹹豐帝喜形於色，賞給他二品頂戴，命他署理湖北巡撫。有一個大學士向皇帝進言，認為曾國藩不過是一名在籍侍郎，猶匹夫耳，登高一呼，從者萬眾，恐非國家之福。鹹豐帝不久便收回成命，不再讓曾國藩掌握地方實權。鹹豐七年(1857)二月，曾國藩之父病死，他憤然回籍守製。向鹹豐帝發牢騷，說他“雖居兵部堂官之位，而事權反不如提鎮”。要求擁有總督、巡撫的大權，直至鹹豐八年(1858)五月，經湖北巡撫胡林翼，湖南巡撫駱秉章極力奏請，曾國藩才又奉命複出。鹹豐帝已經愈來愈認識到要鎮壓太平天國就不得不依賴曾國藩、左宗棠等地主階級經世派了。鹹豐十年(1860),太平軍粉碎江南大營，欽差大臣和春，總督張國梁相繼死亡，鹹豐帝依賴八旗、綠營消滅太平天國的希望破滅，更堅決的依靠湘軍，啟用漢臣。以曾國藩為兵部尚書銜，署理兩江總督。曾國藩等了七年的地方大權終於到手。接著，便任命他為欽差大臣，督辦江南軍務，實授兩江總督。還任命毛鴻賓為江蘇布政使，李續宜為安徽按察使，嚴樹森為河南巡撫。