天寶十載（749）以前，杜甫在長安一直住在客舍。天寶十載以後，杜甫才舉家搬到了少陵（今西安市南郊）。妻子之所以來長安，是因為她在天寶九載（750）左右生下了長子宗文。
全家搬來長安後，杜甫的生活負擔越來越重了。加上天寶十載發生大水，關中大饑，杜甫即使有“桑麻田”，也仍無濟於事。
天寶十二載（753）秋天，次子宗武出生。天寶十三載（754）秋天，降雨延續了六十多天，導致物價暴漲，人們當被褥換米。杜甫在《九日寄岑參》中，寫下了心中的悲痛：“籲嗟乎蒼生，稼穡不可救。安得誅雲師，疇能補天漏。”
唐玄宗見大雨不停，有心“補此漏”，便問楊國忠災情如何。楊國忠“取禾之善者獻之，曰：‘雨雖多，不害稼也。’”（《資治通鑒》卷二一七）唐玄宗聽完，又一次選擇相信。
因為唐玄宗信了大雨不害莊稼，百姓們隻能在怨聲載道中艱難度日。杜甫一家，無米糧下鍋，手中又缺乏金錢，他們隻能忍饑挨餓苦熬。孩子們不知世間疾苦，常在雨中、泥濘中玩樂。杜甫見狀，深知這樣下去不是辦法，於是秋雨後，杜甫把家人送往奉先寄居，而他獨自一人又回到了長安。這時，他的舅父崔頊任白水尉，白水為奉先的鄰縣，此後杜甫常常往來長安、白水、奉先三地。
天降大禍時，往往禍不單行。原本就營養不良的杜甫，此時患上了瘧疾，大病一百多天。
權貴好友，紛紛離杜甫而去，唯有一位叫王倚的朋友，見杜甫生命垂危便將他接到家中調理，他才躲過此劫難。病後，杜甫寫了一首《病後遇王倚飲，贈歌》相贈：
麟角鳳觜世莫識，煎膠續弦奇自見。
尚看王生抱此懷，在於甫也何由羨。
且遇王生慰疇昔，素知賤子甘貧賤。
酷見凍餒不足恥，多病沉年苦無健。