晉的並州刺史劉琨孤懸漢趙後方，缺兵少糧，處境艱難，但他仍然堅持戰鬥，不向漢趙屈服。不斷有中原流亡人士輾轉來投靠他，劉琨均予以撫慰，但他擅長語言安撫，卻缺乏有效的留人手段，往往一天之內有數千人來投，但不久其中的很多人就又離開了。
當初，劉琨因深感勢單力孤，派人帶著金銀珠寶等豐厚禮物，言辭謙恭地出使拓跋鮮卑。與拓跋鮮卑的首領拓跋猗盧結拜為異姓兄弟後，劉琨上奏朝廷，請求封拓跋猗盧為大單於，並把代郡（今河北蔚縣）賜給他，封他為代公。這時候的代郡屬於幽州，劉琨也沒有和幽州刺史王浚商量，就擅自這樣奏請朝廷，這讓王浚很憤怒。王浚派兵阻攔拓跋猗盧，不讓他進入代郡，但被打敗。王浚被打得灰溜溜的，對劉琨更是怨恨。
拓跋猗盧覺得代郡距他的總部盛樂（今內蒙古和林格爾縣）太遠，要求朝廷改將陘嶺（即今雁門山）以北封給自己。這是劉琨的地盤，但對此劉琨也無可奈何，畢竟實力在那裏擺著。他把陘嶺以北五個縣的人遷到陘嶺以南，把這五個縣劃給了拓跋猗盧，從此以後，拓跋鮮卑實力更為壯大。
麵對國家危局，劉琨派兒子劉遵向代公拓跋猗盧請求發兵援助，然後又命高陽郡（今河北高陽縣）太守劉希到幽州招募流民，一時間來投靠的有三萬多人。對這件事，幽州刺史王浚氣不打一處來，他心想：你劉琨要幹什麽？上次讓拓跋鮮卑的人占領我的地盤，這次又到我地盤上來強奪人口，是可忍孰不可忍！劉琨依靠拓跋鮮卑，王浚則和慕容鮮卑交好，他依靠慕容鮮卑中最強悍的段部的幫助，力斬劉希，把之前劉希招募的三萬人全部留了下來。都這個時候了，劉琨和王浚還在搞窩裏鬥！
劉琨豪氣幹雲，向全國發布討賊檄文，約定在永嘉六年（312）十月在漢趙首府平陽會師，一舉消滅漢趙。