桓溫去世後，晉廷任命謝安為尚書仆射，領吏部，加後將軍，和王坦之共同輔佐朝政，後王坦之到地方上擔任徐、兗二州刺史，鎮守廣陵，朝廷便下詔命謝安總管中書事。不久，朝廷晉升謝安為中書監、驃騎將軍、錄尚書事，謝安推辭軍銜。
謝安盡心輔佐朝政，他為人性格溫和，推行德政，任用文武大臣時從不吹毛求疵，而是看重此人的大義。朝臣們都將謝安和王導相提並論，並且認為謝安比王導更為文雅。
現在前秦統一了北方，下一個作戰目標就是江南了，謝安看得很明白，下令讓淮河以北的老百姓南移。
太元二年（377）八月，朝廷晉升謝安為司徒，謝安再次推辭，朝廷又任命謝安為侍中，兼都督揚、豫、徐、兗、青五州諸軍事（此時王坦之已經去世）。
八月二十五日，征西大將軍、荊州刺史桓豁去世。十月，朝廷任命桓衝為都督江、荊、梁、益、寧、交、廣七州諸軍事，兼荊州刺史，任命桓衝的兒子桓嗣為江州刺史。直到這時，重鎮荊州還牢牢掌握在桓家人手裏。
朝廷任命五兵尚書王蘊為都督江南諸軍事，兼徐州刺史。王蘊是司馬曜的皇後王法慧的父親，為人性情平和，他認為自己是沾了皇親國戚身份的光才受到重用，因此推辭不接受徐州刺史的職務。謝安勸王蘊道：“您是皇後的父親，地位尊崇，不應妄自菲薄，辜負了皇帝的恩遇。”王蘊這才前去赴任。
朝廷又任命征西司馬、南郡相謝玄為兗州刺史，兼廣陵相，監長江以北諸軍事。謝玄是我國曆史上著名的軍事將領，這裏對他做一介紹。
謝玄，字幼度，是謝安大哥謝奕的兒子，出生於建元元年（343），他自幼聰明，很受叔父謝安的器重。謝玄有個著名的才女姐姐叫謝道韞，我們以後還要講到她。少年時的謝玄喜歡佩戴紫蘿香囊，謝安對此感到憂慮，擔心謝玄會玩物喪誌，但又不想直接讓他取下來，因為這樣有傷謝玄的自尊心，於是就和謝玄打賭，謝玄賭輸了，謝安就把他的香囊取下來燒掉了。謝玄明白了叔叔的良苦用心，從此也就不再佩戴紫蘿香囊。