西晉滅亡之後，司馬睿，即晉元帝，其在建康建立了東晉政權，北方陷入了各族統治者的混戰中，北方各族統治者非常殘暴，他們任意燒殺擄掠，北方生產遭到嚴重破壞，人民不斷地起來反抗，他們到處建立塢堡，奪取城鎮，在反抗統治階級的鬥爭中，漢族人民和各族人民的命運密切結合起來了。
祖逖是這一時期的一位英雄，他是範陽(今河北涿州北)人，和劉琨是很好的朋友，他們倆在青年時代就很有抱負，他們每次談論到天下大勢、討論起當時的政局時，總是慷慨激昂、義憤滿懷，有時，甚至在在半夜裏，他們聽到雞叫，就披衣起床、拔劍起舞，來磨礪自己的誌氣，鍛煉自己的身體。
祖逖眼看到晉朝統治者相互爭戰，把中原鬧得烏煙瘴氣，心中非常難過。
祖逖說：“萬一天下大亂，豪傑並起的話，我們決不能老待在中原，沒有作為啊!”
劉琨說：“你說得對！我聽你的！”
匈奴貴族劉淵起兵以後，中原陷入了非常混亂的狀態，祖逖率領親族和部屬家人南下，後來到達了京口(今江蘇鎮江市)。
那時，東晉王朝中，以晉元帝為首的統治集團，隻把目光集中在鞏固江南的統治上，從來不想改革政治，也從來不做北伐的準備。誰主張北伐，誰就受到排斥和打擊，大臣周嵩勸晉元帝整頓軍事，加強武備，收複中原後再稱皇帝，幾乎被晉元帝殺死。
祖逖要求晉元帝允許他帶兵北伐，說：“各族統治者趁晉朝皇族自相殘殺，興兵擾亂中原，人民遭受殘害。如果讓我帶兵北伐，必定會得到天下的響應。”
晉元帝不好直接拒絕他，但隻給了他一個豫州刺史的空頭銜，一千人的食糧和三千匹布，要他自己去召募軍隊和製造兵器，在這樣艱困的情況下，祖逖絲毫也不灰心，他帶領隨從他的一百多人渡江到北岸去。