西晉末年，北方匈奴貴族占據了整個中國北方的版圖，讓西晉王朝不得不陷入隨時崩潰的局麵之中。當時一些有誌於北定中原的將領們，依然在堅持向北方宣戰，希望維護自己的國家主權。這其中表現最為突出的就是劉琨，生於官宦世家的他，不僅文才出眾、相貌俊朗，而且還是與陸機、陸雲齊名的“二十四友”。
永嘉二年（308），因為感受到了劉琨等人的決心，晉懷帝派遣劉琨北上收複河山，同時還任命他擔任了並州刺史、振威將軍以及匈奴中郎將等職務。
並州當時是一個非常混亂的區域，其中包括了西河國、太遠國、樂平國、雁門郡、新興郡、上黨郡。因為西晉朝廷勢力的喪失，讓這裏大部分地區的控製權失落了。在北部，拓跋鮮卑占據著雁門郡、新興郡；在西部，匈奴貴族盤踞在西河國。上一任並州刺史是司馬騰，他放棄了晉陽，早已逃亡到冀州去了。所以並州的局勢好像一盤散沙一樣，眼看著就要四分五裂。
麵對這樣的局麵，劉琨並沒有任何遲疑，他招募了千餘名壯士，率領他們朝著晉陽出發了。在多年戰亂的洗禮之下，前往晉陽的道路早就已經被摧毀了，而且沿途盜賊橫行，道路坎坷。劉琨帶著自己的部屬一路勇往直前，不斷和盜賊、敵軍戰鬥，終於來到了晉陽。
戰火帶來的摧毀力量是不可預計的，晉陽已經變得滿目瘡痍，全城的人加起來也不超過兩萬戶，而且大多數的房屋都已經倒塌毀壞，走在大街上，隨處都可以看到屍體。眼看著這一片焦土，劉琨心中不免生出一絲悲涼來，他製訂了計劃，首先幫助城中的百姓將親人的屍骨掩埋，修複房屋，讓大家不至於流離失所。然後，劉琨又組織大家將城池再次加固，在他的協調之下，晉陽的城防體係也逐漸恢複了，那些原本逃難的流民也開始紛紛回到自己的家鄉，投奔劉琨的人也越來越多。