此時在廬州城內，已經危機四伏。
五月底，都督府對淮西大軍進行了整編。淮西的行營左護軍原有十軍，整編後變為六軍，淘汰了一批不稱職的將領。然而誰知道張浚前腳剛走，淮西大軍便開始動**不安。首先，右軍統製酈瓊上書呂祉，控告新任都統製王德於紹興六年煽動劉光世棄守廬州，並在巢縣大肆擄掠，殺死有婦之夫，且將其妻占為己有。
呂祉拿著酈瓊的狀詞，沉著臉問：“此事當真？”
酈瓊掏出一道書劄道：“右軍副統製趙買臣有證詞在此。”
見呂祉不語，酈瓊又道：“選鋒軍統製靳賽也可以做證。”
呂祉揮揮手道：“當職已然知曉，你去吧。”
對於行營左護軍的軍紀，呂祉早有耳聞，但敗壞到如此地步是他萬萬沒有想到的。自幼便飽讀聖人書的呂祉雖然自視清高，喜歡高談闊論，甚至好大喜功，但做人的道德水準還是具備的，對那些背離三綱五常的忤逆之舉深惡痛絕。待酈瓊走後，呂祉怒氣填膺，對參謀陳克道：“若非國家用人之際，這種軍賊理應送大理寺嚴懲！”
陳克原是都督府準備差遣，被呂祉舉薦為幕府參謀一同來到廬州，見狀勸道：“相公跟這種人生氣不值。”
呂祉長歎一聲道：“我哪裏是生氣！我是覺得與這種人為伍可恥！”
沒過幾天，王德也遞上一份狀詞。狀告酈瓊於紹興六年九月間，北上迎擊劉麟，與副統製趙買臣在安豐、霍丘二縣屠戮平民三千餘人，上報都督府邀功請賞。
呂祉一拍桌案喝道：“屬實嗎？”
王德一拍胸脯道：“有半個假字，砍我腦袋！”
酈瓊獲知王德狀告自己，當即找到呂祉，說王德的狀詞不實，是血口噴人：“若朝廷不處分王德，自家們將上呈都督府，請求調離左護軍。”
呂祉感到了事態的嚴重，七月下旬，他決定回建康麵見張浚，同時請教機宜。