事實證明，李鴻章的擔心不是多餘的。祁門果然是絕地。曾國藩為了做大清的絕對忠臣，將自己置於如此危險的境地，並且不顧幕僚的一致反對，始終不肯離開祁門。這著實令他的那些幕僚們為他的安全感到非常擔憂。
為了鞏固祁門的東麵，曾國藩命好友李元度帶三千兵前往駐守。曾國藩之所以如此重用李元度，主要是因為李元度曾經多次在曾國藩困難之時給予他幫助。第一次是在曾國藩兵敗靖港之後。當時，湖南官場幸災樂禍，曾國藩處境非常困難。李元度前往安慰，曾國藩才渡過難關。第二次是在曾國藩兵困江西時。當時，曾國藩所部被太平軍圍困在南昌周邊，隨時都有覆滅的危險。李元度自告奉勇，回家鄉平江招募一支軍隊開往江西，雖然打的勝仗不多，但也為保證曾國藩的安全，做出了重要貢獻。
李元度帶兵太過寬厚，士兵違反紀律也不忍心按規矩處罰。長此以往，士兵們便不太遵守紀律，戰鬥力也就不強。曾國藩也知道李元度並非大將之才，但為了報答當年的恩情，仍舊選擇信任李元度。
李元度臨行之時，曾國藩向他麵授機宜：到徽州後迅速堅壁清野，一旦太平軍來攻，就憑借牢固的防禦工事與他們周旋，切不可貿然出戰。
1860年9月30日，李元度率部來到徽州府城。很快，太平天國侍王李世賢就率部對徽州發起攻擊。
李世賢知道李元度不是一個沉穩的人，於是想方設法激怒李元度，引誘他出城決戰。李元度果然上當，違背了當初曾國藩給他製定的戰略方針，主動出城作戰，結果剛一交戰，就遭遇大敗。徽州城也很快落入了太平軍之手。
李元度在亂軍之中逃出徽州。李元度這個人，書生意氣很濃，比較看重麵子，打了大敗仗的他拉不下臉前往祁門找曾國藩，於是四處晃悠。