不久之後，嶽飛奉命駐軍廣德，以牽製南下的金軍。在戰鬥的間隙，他抓緊時機進行修整。不斷的行軍和作戰，將士們極度疲勞，需要恢複體力。受損的建製需要恢複重建。隨時入伍、倉猝上陣的士卒需要訓練，尤其是減員的部隊需要補充。嶽飛真希望能夠有一年半載的時間，來對部隊好好整編一番，以便能更好的體現他的軍事意圖。但這在烽煙四起的時代根本就不可能。嶽飛隻能見縫插針地進行他的整訓計劃。主要是招募兵丁，可是嶽飛的兵實在是太少了。朝廷對於武將擁兵專橫的忌諱，根本就不讓嶽飛擁有太多的部隊，且常常釜底抽薪，借故抽調。這使他難以施展他全部的軍事才能。他隻能在不觸犯禁忌的前提之下，在力所能及的範圍內招募一些兵丁。不過這是很難的，老百姓討厭軍人如同討厭土匪。何況在戰火連綿的年代，壯丁大多已經被迫當了兵或土匪，剩漏的不是東躲就是西藏。嶽飛包括當時大多數的將領主要靠做“誤入歧途”的人的工作來補充兵員了。即所謂的招降納叛。不過這樣做所帶來的問題也是很嚴重的，使軍隊原有的匪氣更加變本加厲了，這會很快的腐蝕掉一支軍隊的戰鬥力。嶽飛當然深深的明白這其中的道理，所以，他不隻是單純的招募，而且還進行嚴格的教育和管理。他絕不容許他所率領的軍隊軍紀浼散和侵擾百姓，如果有人稍有觸犯，嚴懲不怠。有一句話在他的軍隊裏非常流行，就是：“凍死不拆屋，餓死不打擄！”這可不是一句單純的自我標榜、流於形勢的口號，而是一條被嚴格執行著的戒律，連嶽飛自己也不例外。
嶽飛有個舅舅姚某，平時就依仗嶽飛的聲勢，胡作非為，侵擾百姓。嶽飛知道之後，不便親自去責罰，就把這件事告訴了自己的母親，讓她出麵致意。但姚