永嘉三年（309）春季，有人在汾水得到一塊玉璽，上麵寫有“有新保之”四個字，有人識得，說這是王莽的玉璽，撿到的人於是又在上麵加上了“泉海光”三個字，呈獻給劉淵（字元海）。劉淵大喜，認為是自己的福兆，在境內大赦，改年號為“河瑞”。
晉左積弩將軍朱誕得罪了權貴，前來投奔漢趙，他向劉淵遊說，說洛陽城中混亂不堪，主弱臣強，太傅司馬越不得人心，軍民不服，應該抓住時機，一舉攻下洛陽。劉淵一聽大悅，決心進攻洛陽。他命朱誕任前鋒都督，讓滅晉大將軍劉景任大都督，率兵首先進攻重鎮黎陽（今河南浚縣）。漢軍順利攻克黎陽，又在延津打敗了晉朝的車騎將軍王堪。劉景為人殘忍，攻破城池後，他命令士兵把俘虜的晉朝三萬多名平民百姓全部趕入黃河淹死。
有探報把勝利的消息告訴了劉淵，劉淵摸著大胡子哈哈大笑，但又聽說劉景淹死三萬名百姓，頓時大怒：“劉景還有什麽臉麵再回來見我！上天豈能容忍這種殘酷的行為？我想要消滅的，隻是司馬氏一族罷了，平民百姓又有什麽罪？我要得天下，怎麽能失掉民心！”於是把劉景貶為平虜將軍。
到了夏季，天下大旱，長江、漢水、黃河、洛水等河流全都枯竭，甚至到了步行就可以穿過的地步。這個情況的幹旱是非常嚴重的，也是不可思議的，可謂是千年難遇。天災之下，晉朝軍民人心更為渙散。
八月，劉淵命楚王劉聰為主帥，帶兵進攻晉朝都城洛陽。晉平北將軍曹武率軍阻截，被劉聰打敗。劉聰遂**，直達宜陽——宜陽距離洛陽不足百裏。
這時候劉聰誌得意滿，覺得晉朝實力不過如此，自己一路過來勢如破竹，拿下洛陽也是指日可待，頓時放鬆了戒備。有天夜裏探子來報，說晉朝的弘農太守垣延來降，劉聰大喜：“識時務者為俊傑，快快迎接垣將軍！”可垣延是詐降，他率領部隊趁著夜色掩護，直入戒備鬆懈的劉聰大營，劉聰被打了個措手不及，隻能狼狽逃竄，大敗而回。