姚氏本來想隨著自己的丈夫一起去，可是想起了丈夫的囑托，她便猶豫起來，她死很容易，隻需縱身一跳就可以了，可是她懷中的這個孩子怎麽辦，難道就任其自生自滅？那在這個滾滾洪流之中，這麽一個未滿一月的小嬰兒有可能會活下去嗎？所以她覺得她不應該死，而是應該活下去，把小嶽飛撫養成人，這樣她才能對得起生死未卜的丈夫。想到這裏，姚氏把嶽飛緊緊的摟在了懷裏，而小嶽飛也安靜了下來，躺在了自己母親的懷抱裏安然的睡去了。姚氏母子坐在木盆之內，隨勢飄蕩，任意東西，雖然屢經驚嚇，終於安然無恙，最後在河北大名府黃縣的境內，隨著一股水流漂向了岸邊，被偶然經過的人救起，這才得以僥幸逃生。在這場大洪水中，嶽家莊的人大部分都已經喪身水底，可是這嶽氏母子卻奇跡般的活了下來，或許是這種經曆太讓人感到不可思議了，所以聽說了這件事的人們不免傳出了嶽飛根本就不是肉身凡胎，而是天神下界。
嶽飛母子雖然僥幸逃生，但家道卻從此中落。這場滅頂的洪水，奪走了嶽家祖輩辛苦積累下來的豐厚的資財，以及建立在這些資財之上的社會地位，和富家子弟可以享受到的一切，這些嶽飛都享受不到了。也就是說嶽飛母子轉眼間就由比較富裕的莊戶淪為了貧雇農。這就使得生活變得驟然緊張起來，尤其是在天災人禍比較頻繁的時候。嶽飛母子被獲救以後，為一姓王的員外所收養，嶽母平日就靠為人做針線活來維持家計，靠這些來撫養嶽飛。就在嶽飛六七歲的時候，迫於生計，小小年紀的嶽飛就參加了一些國所能及的體力勞動，砍柴放獵，打水送飯。在年齡稍稍大了一些的時候，他還曾到大戶人家裏做莊客，打短工。在這種情況之下，他自然無法一心一意的求學讀書了，而且當時他也沒有這個條件。可是