守備晉陽的乃是祖逖的好友，當年曾經一起“聞雞起舞”過的劉琨劉越石。劉琨是在六年前被司馬越任命為並州刺史，並加振威將軍號、領護匈奴中郎將銜的，他領著一千多人，自洛陽北上，迤邐而至晉陽。當時晉陽曆經兵燹，幾乎已成一座空城，全靠劉琨招聚流民、發展生產、修繕城防、募兵守衛，花了大概一整年的時候，才使其重獲生氣。
晉陽就在胡漢國首都平陽的北麵，如同一柄達摩克利斯劍一般，高懸在劉淵、劉聰父子的頭上，彼等自然不可能無動於衷。但是多次派兵攻打晉陽，卻全都铩羽而歸，這並不僅僅因為劉琨的軍事才能相當傑出，更重要的是，他聯絡上了更北方的鮮卑拓跋部，與其首領猗盧結為兄弟，所以每每能夠召喚鮮卑兵來抵禦胡漢軍。
但即便如此，劉琨也始終隻有防守之力，而無法趁勝發動反擊——否則胡漢軍就不可能坦坦地肆虐中原、圍攻洛陽了——主要原因按照史書上所寫，是因為劉越石“善於懷撫，而短於控禦，一日之中，雖歸者數千，去者亦以相繼……”說白了，這人雖然善於拉攏人心，對於機構組織方麵的能力卻很差，恩威兩道，徒有恩而已，短了個威字。裴該前世讀史，就因此覺得劉琨之能，遠不如祖逖。
倘若二人易地而處，估計祖士稚早就能夠組建起一支起碼在五萬以上的強軍，全得並州，甚至進而攻陷平陽了；而劉越石若轉戰兗豫，成績估計還不如祖逖的一半兒強。
所以劉琨雖然勢力並不僅僅在並州一隅，他還派侄子劉演領兵進入兗州，擊斬王桑，擊退趙固，駐軍廩丘，後來還打敗過石勒。但雙方隔著老遠，很難呼應，導致劉琨始終困守晉陽一隅，根本就打不開局麵來。
劉琨所署晉陽令徐潤是個小人，據說他是因為擅長音律，跟劉琨對了脾氣，才被引為心腹的，從此恃寵而驕，肆無忌憚。奮威護軍令狐盛勸劉琨除此小人，反倒被徐潤進了讒言，劉琨沒有仔細訪查，便將令狐盛給處死了。據說劉琨的老娘因此而責罵兒子，說你不能駕馭豪傑，反倒殺死比自己強的人，如此作為，必將釀成大禍！