會稽郡內史謝琰是謝安的次子，謝安一共兩個兒子，長子謝瑤早逝，因此他很看重這個二兒子。會稽郡內史的位置是個肥差，能坐上這個位置，並不是因為謝琰才能出眾，而是因為他的出身門第。大敵當前，謝琰既不會動員人民，又不懂整飭軍隊，他手下有將領就勸他道：“賊寇就在不遠的海邊，他們不斷加強對我們的監視，我們應該采取懷柔政策，讓他們棄惡從善。”謝琰滿臉不屑，說道：“苻堅當年有百萬之眾，還不是慘敗淮南？孫恩隻是個小毛賊而已，當初敗逃海島，怎麽還可能再殺回來呢？即便他真過來了，老天爺也會要他的命。”
不久，孫恩帶兵攻破上虞，進軍到了邢浦。謝琰派遣參軍劉宣之迎戰，把孫恩打得大敗。謝琰哈哈大笑道：“我所言非虛，毛賊不堪一擊！”可是幾天之後，孫恩又來攻打邢浦，這次謝琰軍失利，孫恩乘勝前進。
隆安四年（400）五月三十日，孫恩率軍抵達會稽郡，謝琰正準備吃飯，聽聞消息，他放下碗筷，說道：“等我頃刻間消滅了這賊人，然後再來吃飯。”他跨上戰馬出城應戰，但被打得慘敗。這時候帳下都督張猛又臨陣倒戈，用刀砍傷了謝琰的戰馬，謝琰跌落馬下被殺死了，他的兩個兒子謝肇和謝峻也同時遇害。謝琰終究也沒能續寫父親謝安和堂兄謝玄的輝煌。
吳興郡太守庾桓害怕城中百姓響應孫恩，命人殺死數千百姓。孫恩率軍進攻臨海郡，朝廷得到戰報，十分震驚，派冠軍將軍桓不才、輔國將軍孫無終、寧朔將軍高雅之率軍討伐孫恩。
十一月，高雅之和孫恩在餘姚遭遇，兩軍交戰，高雅之不敵，屬下被殺死十之七八。朝廷見狀況不對，趕緊下詔，任命劉牢之為都督會稽等五郡諸軍事，率軍討伐孫恩。老將一出果然不同，孫恩不敵，再度逃回舟山群島。劉牢之到上虞駐紮，派劉裕率軍守衛句章（今浙江寧波市江北區慈城鎮），吳國（今江蘇蘇州市）內史袁山鬆修築滬瀆壘（竹柵），加強防護。