最初一次北伐是晉室南渡之初由大將祖逖領導的。這是一次悲壯的進軍。這之前則有劉琨的堅持敵後的鬥爭，而祖逖和劉琨則是好朋友。
祖逖，字士稚，範陽廼（今河北淶水）人。出生於官僚世家，他的父親祖武曾擔任過西晉的上穀太守。祖逖十四五歲時不好好讀書，父兄都為他擔憂。而劉琨也是一個紈絝子弟，他字越石，中山魏昌（今河北無極）人，出身士族，從小尚清談，好聲色，與石崇等諂事賈謐，是臭名昭著的“二十四友”之一。幸而他們長大後幡然醒悟，許身社稷。他們都輕財好俠，曾經一起為司州主簿，兩人一同就寢，半夜聽到雞叫，祖逖將劉琨喚醒曰：“此非惡聲也！”於是兩人起床舞劍。這就是所謂“聞雞起舞”，是一千七百餘年來的勵誌經典。
晉懷帝永嘉元年（307），劉琨受任並州刺史進駐晉陽後，在複雜的民族鬥爭中，苦苦撐持，先後和匈奴族的劉淵、劉聰鬥，和羯族的石勒鬥，時遭挫敗，不屈不撓。後被鮮卑段匹磾殺害。在囚禁中，劉琨自知必死，寫下風骨峻峭的《重贈盧諶》，後六句雲：
朱實隕勁風，繁英落素秋。狹路傾華蓋，駭駟摧雙輈。何意百煉鋼，化為繞指柔！
詩中說自己遭逢挫敗和艱險，有如繁英和朱實遭受秋風嚴霜的摧殘，也像有華麗篷蓋的馬車在狹路傾覆，轅折馬驚。後兩句追念既往，自己少年時“以雄豪著名”，自信具有百煉之鋼那樣堅強，沒有料到，而今竟然變得柔可繞指了。英雄失路，令人心碎！
同樣是悲壯的英雄，祖逖所走的道路與劉琨不同。應該說，青年時的祖逖不僅有大誌，而且有異誌。他從小就經常散穀帛以周貧乏，收買人心，因此不僅在宗族中威信很高，而且身邊也聚集了不少暴徒勇士。當時吳地遇到饑荒，祖逖的部下夜晚常常在南塘一帶做些掠奪盜竊的勾當，祖逖總是笑著問他們：“剛才幹了南塘一出沒有？”如果這些人被官府捉住了，祖逖還多方解救。他曾與密友劉琨議論世事，有時中宵起坐，說：“若四海鼎沸，豪傑並起，吾與足下當相避於中原耳。”細玩語意，除了表麵上用《左傳》“退避三舍”的典故外，未嚐沒有趁亂而起、逐鹿中原之意。大概唐代房玄齡也看到了這一點，他在《晉書·祖逖傳》的末尾加上了一段寓意深刻的“史臣曰”：