至正二十一年初，李察罕獲悉山東的紅巾軍群龍無首，陷入了自相殘殺的境地。李察罕看準時機，決定把自己跟孛羅帖木兒的恩怨先放到一邊，待平定了山東再說。
六月，李察罕拖著病體由陝西抵達洛陽，大會諸將，商議征討山東事宜。八月，一路高奏凱歌的元軍緊緊包圍了山東的東平城。
東平原是紅巾軍嚴密設防的一座重鎮，守將田豐等人都龜縮於城中，元軍隻要一番強攻，東平旦夕可下。可就在這時，老謀深算的李察罕考慮到田豐久據山東，軍民都對他甚為服膺，李察罕很想收服此人為己所用。他專門寫了書信去招降田豐，結果就坡下驢的田豐和王士誠等人便投降了李察罕。
之後，李察罕又繼續攻略山東其他地區，其中濟南在被圍三個月後終被元軍收複。為了表彰李察罕的卓越功勳，朝廷再次下詔拜李察罕為中書平章政事、知河南山東行樞密院事，陝西行台中丞如故。
到至正二十二年，山東地區已基本被李察罕平定，隻有孤城益都（今山東省青州市）還未拿下，但這隻是時間問題了。
其實早在李察罕攻取汴梁時，為了慎重起見，元璋便派出了使節到他那裏通好。李察罕對來使相當熱情，分明有拉攏之意，元璋評論道：“李察罕果然是阿瞞之流，我等正可利用之！”
眼見北線已可保暫時無虞，那麽就可以全力以赴進攻西線了。不過元璋明白，要沿著長江仰攻上遊，沒有一支強大的水師是無法奏效的，因此他不得不考慮起用廖永忠的問題，而且，要對付張定邊這樣的勁敵，恐怕還得依靠廖永忠這等雄才、奇才，所以元璋特意把他從常熟召了回來。
元璋知道，廖永忠不僅足智多謀，在練兵方麵也很有一手，甚至比徐達還要高明。徐達主要是訓練士兵的基本功，諸如劈刺、投射等，而在廖氏的部隊裏，不僅注重水軍所必須的遊泳和攀爬等技藝，廖永忠還會盡量保證士兵有足夠的飯食，讓大家務必吃飽吃好，有足夠的體力來完成最嚴格的訓練。為了鼓舞士氣，他還注重精神灌輸，鼓勵士兵建功立業，獎懲方麵他也力求公正，因此士卒都對他異常愛戴和敬服，甘願為他效死。