五胡十六國時期，前秦統一了北方政權。南方由司馬睿建立起了東晉，盤踞江左一帶，南北雙方形成了對峙的局麵。公元383年，前秦與東晉在淮南淝水展開了一場“規模驚人”的大戰，史稱淝水之戰。在這場戰役中，前秦百萬兵馬居然輸給了東晉十萬兵馬，在曆史上頗為罕見。
前秦天王統一了北方各少數民族之後，就開始積極準備南征東晉。公元383年五月，苻堅不顧前秦丞相王猛臨終遺言以及群臣的反對，決意攻取東晉。苻堅甚至揚言，以此百萬強兵，“投鞭可以斷流”。八月，苻堅以苻融、張蠔、慕容垂等步騎25萬為前鋒南下，苻堅隨後率百萬兵馬從長安出發，全軍有步兵60萬、騎兵27萬，旗鼓相望，前後千裏，東西萬裏，水陸並進。崔鴻於《十六國春秋·前秦錄六》中記載，“八月戊午，遣……步騎二十五萬為前鋒。甲子，堅發長安，戎卒六十餘萬，騎二十七萬，前後千裏，旌鼓相望。”
麵對前秦的凶猛攻勢，東晉任命謝石為征討大都督，謝玄領北府兵為前鋒都督，與謝琰、桓伊等人共同率領8萬之兵抵抗秦軍，又另派將領胡彬領5000水軍增援壽陽（今安徽壽縣）。十一月，謝石、謝玄和劉牢之在謝安的指揮之下，由劉牢之率北府精兵5000人強渡洛澗，襲擊梁成軍營，臨陣斬殺梁成等10員將領，又分兵截斷退路的渡口。秦兵步騎一時崩潰，落水而死的就有15000人。繳獲了秦軍丟棄的大量軍資器仗，強渡洛澗取得大勝的晉軍乘勝追擊，水陸並進，聲勢大振。全軍推至淝水東岸，與秦兵隔河對峙。苻堅在壽陽城上目睹晉軍布陣嚴整，心中暗暗吃驚。又見淝水東麵八公山上草木搖動，以為都是埋伏的晉兵，不由連連感歎：“此亦勁敵也，何謂少乎？”。當秦晉兩軍夾淝水布陣之時，為速戰速決，謝玄便派人向苻融提議說：“兩軍隔河對峙並非長久之計，不如將軍往後退一步，讓我軍能渡過淝水，一決勝負如何？”苻堅認為我眾敵寡，如果乘晉軍渡江之時，向晉軍發動進攻，必能取勝。於是同意了謝玄的提議。但是當秦軍下令後退時，全軍軍心大亂，眾多秦軍將士都以為是前鋒戰敗，頓時間秦軍爭相逃命，自相踐踏。謝玄、謝琰、桓伊等率領晉軍渡河猛攻。晉軍一鼓作氣，追擊秦軍至壽陽30裏外的青岡。一路逃亡的秦軍聽到風的吹拂聲與鶴的呼叫聲，都以為是追兵到了，晝夜不敢停息，最後隻有10多萬人逃回北方。淝水之戰，以少勝多，從此揚名於中國軍事史。