就在北方動**，不是前秦殺後秦，就是後燕殺西燕，烽火連連，民不聊生的時候，東晉自己內部也亂，錯失了北伐的好機會。
謝安在淝水之戰後，看到了北方的混亂，正是北伐的好時機，當下上疏請求北征。
太元九年（公元384年）八月，謝安起兵北伐。此時的北方，混亂一片，沒有抵擋的能力。
東路的謝玄率領北府兵自廣陵北上，一路收複了兗州、青州、司州、豫州，中路和西路的桓氏則出兵攻克了魯陽和洛陽，並收複了梁州和益州。
至此，淝水之戰前，秦、晉是以淮河到漢水以及長江為界的，如今局麵改成了以黃河為界，整個黃河以南地區重新歸入了東晉的版圖。
謝安有著更大的目標，就是完全恢複北方的失地！他想著繼續北伐，收複更多的失地。可惜，東晉內部出現問題了，那就是皇帝擔心謝安的勢力壯大，重用起司馬道子來製衡謝安。
而司馬道子是不願意看到謝安立下更大的功勞，當下把奸諂小人所擅長的煽風點火本領拿了出來，開始捏造罪名，陷害忠良。
他這麽一通亂搞，孝武帝對謝安就產生了嫌隙。
一日，孝武帝召桓伊宴飲，謝安坐陪。孝武帝命桓伊吹笛，桓伊知道了孝武帝和謝安的矛盾，當下撫箏而歌唱怨詩：“為君既不易，為臣良獨難。忠信事不顯，乃有見疑患。周旦佐文武，《金朦》功不刊。推心輔王政，二叔反流言！”
他的歌聲慷慨激昂，俯仰可觀。
謝安被觸動心腸，不由為之落淚，眼淚將衣襟沾濕。
他越席來到桓伊的身邊，捋著自己的胡須說：“使君在此表現得很不一般！”
孝武帝聽了，麵露愧色，覺得自己實在不該對謝安起疑心。
謝安知道有司馬道子的掣肘，孝武帝的不信任，自己想要北伐成功是非常艱難的，當下主動交出手上的權力，自請出鎮廣陵的步丘，建築新城來避禍。