淝水之戰大勝，謝安獲得了空前高的聲譽，但這引起了司馬家對他的忌憚和部分官員對他的嫉妒。正在這個時候，謝安的女婿王國寶跳了出來，在皇帝司馬曜麵前搬弄起謝安的是非來。
王國寶是王坦之的第三個兒子，娶了謝安之女為妻。按說王國寶出身世家大族，應該會走正道，但他沒有很好地遺傳父親的基因，品行不端，善於諂媚，謝安很討厭他，所以不重用他，隻任命他為尚書郎。但王國寶自認出身豪門，想到可以決定官員前途的吏部任職，謝安不準，王國寶從此對謝安心生怨恨。
司馬曜的同母弟弟琅琊王司馬道子的王妃是王國寶的堂妹，王國寶敏銳地察覺到司馬家想壓製謝安，於是便投靠在司馬道子門下，並在皇帝司馬曜的麵前極力詆毀謝安。再加上之前一些對謝安不滿的政客搬弄是非，司馬曜對謝安的印象大不如從前，漸漸疏遠了他。
謝安非常喜歡音樂，和音樂高手、《梅花三弄》的作者桓伊關係要好。桓伊因為淝水之戰有功，被提拔為右軍將軍，封永修縣侯。司馬曜召集宴會，謝安和桓伊都在座，席間司馬曜命桓伊演奏，桓伊請求讓人和他合奏，得到批準，便彈著箏唱《怨詩》道：“為君既不易，為臣良獨難。忠信事不顯，乃有見疑患。周旦佐文武，《金滕》功不刊，推心輔王政，二叔反流言。”歌詞委婉淒涼，表達出曹植受到皇帝猜忌，無法排解憂傷的無限憤懣之情，這與謝安此時的處境非常相似。謝安感慨萬千，不禁淚濕衣襟，司馬曜也麵露愧色。
謝安正在思索怎麽避禍，碰巧這時候受到西燕攻擊的苻堅發來求救信，於是就請求帶兵前去救援，司馬曜同意了。謝安要出發，司馬曜親自到西池送行，並飲酒賦詩，表麵上依舊給足謝安麵子。謝安率軍進駐廣陵郡的步丘，興建了一座新城後居留在此。謝安一直懷有隱居東山之誌，不經意間在言語就會流露出來，這次他到新城，是攜全家男女老少一起來的，他準備帶他們一起過世外桃源的生活，遠離朝廷紛爭，過太平日子。他還命人打造出海工具，準備在局勢安定下來以後，就從水路東歸隱居。