江東、淮西宣撫使劉光世，由於平時驕惰逸樂，縱情酒色，以致得了風痹之症，所以他於紹興七年三月上疏奏請免除軍政任務。劉光世所統帶的軍隊，高宗最初打算交給嶽飛統領，並詔告劉光世的手下王德聽命於嶽飛。但張浚卻說嶽飛所統帶的部隊過於龐大，以後恐怕難以駕馭，高宗又詔命王德暫時聽命於都督府，並詔告嶽飛到都督府議事。
嶽飛於夏初抵達都督府，拜見張浚。張浚雖然已經把劉光世的部隊暫時分為六個分隊，但是還沒有找到統領的人，見嶽飛前來，就詢問嶽飛。
嶽飛說：“都督您應該是胸有成竹了。”
張浚說：“王德久在淮西，淮西軍必然畏服。我想以他為都統製，以酈瓊為他的副手，再由呂祉以都督府參謀名義予以統領，您覺得怎麽樣？”
嶽飛說：“淮西一軍大多是叛亡盜賊的人，反複無常，而王德與酈瓊平日也不和睦，如今一旦使王德位居酈瓊之上，酈瓊必定不服，而發生意氣之爭。至於呂參謀，終究是一個書生，不熟悉軍隊的事情，也恐怕難以服眾。”
張浚說道：“那你說怎麽辦呢？”
嶽飛說：“恐怕需要在大將中選擇可以勝任的人。”
張浚又問：“你覺得張宣撫怎麽樣？”
嶽飛沉思一會兒說：“張宣撫曾是我的舊日長官。張宣撫雖然是國家老將，隻是平日為人暴躁寡謀，估計不是很合適。”
張浚已經麵露不悅之色，緩緩說道：“楊沂中是後起之秀，你應當沒有意見了吧？”
嶽飛說道：“楊沂中、王德、酈瓊等人，都屬於一時的英雄，但沒有一個人能讓他們畏服。”
張浚臉色變得很難看，冷笑著說道：“我明白了，在你看來，除了你之外，再沒有人能統率這支隊伍了。”
嶽飛很生氣地說：“都督您以軍國大事問我，嶽飛我能不如實稟告嗎？而都督您反認為我想做統帥，這實在是對我的誤解!”他立刻上奏折請求解除兵權，讓張憲暫管軍事，自己回到母親的墳墓旁守孝去了。