東晉從立國江東以後，中央政府和荊州地方的軍人頗相猜忌，所以內外相持，坐視北方的擾亂而不能平定。當後趙滅亡時，荊州的桓溫曾出兵滅前蜀，並收複河南地方。然伐前秦、前燕都不利，河南亦複為前燕所陷。到苻堅南伐時，鎮江地方產生了一支精兵，謂之“北府兵”。靠著這一支兵，把苻堅打退。然而這一支兵的中心人物劉牢之，是個反複無常的人。此時桓溫的小兒子，喚作桓玄，閑住在荊州。實際頗有勢力。荊州地方反抗中央的人，都拉攏著他。中央政府，也給他一個地盤。後來荊州地方，遂盡為所並。有一年，荊州大饑，中央政府想趁此討伐桓玄，而劉牢之和桓玄勾通，桓玄就入都篡位。奪掉劉牢之的兵權。牢之要想反抗，而手下的人都可惡他反複，不聽命令，牢之遂自縊（yì）而死。然而北府兵的勢力，實際並未消滅。數年之後，軍中舊人劉裕等起兵以攻桓玄。桓玄敗死。晉帝複位。中央的實權，都入於劉裕之手。