卻說晉征西大將軍桓溫，因石氏亂亡，已屢請經略中原，輒不見報。晉穆帝年尚幼衝，褚太後女流寡斷，一切國政，均歸會稽王昱主持，領司徒光祿大夫蔡謨，本已實授司徒，詔書屢下，終不就職。褚太後遣使敦勸，謨仍固辭，且自語親屬道：“我若實任司徒，必為後人所笑，義不敢受，隻好違命罷了。”雖是謙讓，但謂必貽笑後人，毋乃過慮。永和六年，複上疏陳疾，乞請骸骨，繳上光祿大夫領司徒印綬。有詔不許。會穆帝臨朝會議，使侍中紀璩，與黃門郎丁纂，召謨入商。謨自稱病篤，不能入朝。會稽王昱，謂謨為中興老臣，定須邀他與議，從旦至申，使人往返，幾十數次，謨終不至。殊太偃蹇。時穆帝尚隻八歲，不耐久持，顧問左右道：“蔡司徒尚不見來，究懷何意？臨朝已將一日，為他一人，遂致早晚不顧，豈不可恨？難道他不到來，今夕不能退朝麽？”左右轉稟太後，太後亦自覺疲倦，乃詔令罷朝。
會稽王昱，不禁懊恨起來，顧語朝臣道：“蔡公傲違上命，無人臣禮，若我輩都似蔡公一般，試問由何人議政呢？”群臣齊聲應道：“司徒謨但染常疾，久逋王命，今皇帝臨軒，百僚齊立，候謨終日，若謨願止退，亦宜詣闕自辭，今乃悖慢如此，自應明正國法，請即拘付廷尉，依律擬刑。”這番議案，尚未定奪，已有人傳達謨第。謨方才惶懼，率子弟詣闕待罪。當有一人趨入朝堂，厲聲大言道：“蔡謨今日，果無疾來闕麽？欺君罔上，應當何罪？宜置諸大辟，為中外戒。”朝臣聽他語言激烈，也覺一驚，連忙注視，乃是中軍將軍殷浩。當下互相討論，議久未決，浩尚與固爭，還是徐州刺史荀羨，私語殷浩道：“蔡公望傾內外，今日被誅，明日必有人借口，欲為齊桓晉文的舉動了，公何苦激成亂釁呢？”暗指桓溫。浩乃無言。大眾遂請由太後裁決，太後謂：“謨係先帝師傅，宜從末減，不忍驟加重辟。”乃詔免謨為庶人。