6月中旬，討伐段祺瑞奉軍的國民革命第4軍軍長兼第11軍軍長張發奎凱旋武漢，武漢國民政府因張發奎討奉有功，任命他為第二方麵軍總指揮。
在北伐時，擔任攻武昌城的葉挺獨立團屬於張發奎師。占領武漢後，陳銘樞師擴充為第11軍，張發奎師擴充為第4軍。寧漢分裂後，張軍傾向武漢，陳軍則傾向南京。張陳兩軍將領，皆出第4軍，而第4軍前身為廣東新軍第2師，師長為鄧演達之兄鄧鏗。不久，第11軍軍長陳銘樞隻身而去，把軍隊交給張發奎指揮。
張發奎的第4軍和第11軍合編為第四集團軍第二方麵軍，並把賀龍的一個師擴充為第20軍並入進去，同時還把中央軍事政治學校武漢分校也擴充進去。張發奎與語罕的關係比較近，特聘他為第二方麵軍總指揮部秘書長。
6月下旬，武漢國民政府開始實施“東征討蔣”計劃。汪精衛和國民革命軍第四集團軍總司令唐生智想通過“東征討蔣”，駕登國民黨“老大”的寶座和獲得國民革命軍總司令的頭銜，同時消滅共產黨的軍事力量。因此，決定把中共武裝力量相對集中的第四集團軍第二方麵軍作為“東征討蔣”的中路前鋒開往九江集結，再由九江、湖口向安慶進發。
武漢政府屬下各軍中，共產黨在第二方麵軍中的勢力最為雄厚，由共產黨直接控製的有第4軍25師兩個團、第11軍第24師（副軍長葉挺兼師長），還有親近共產黨的第20軍（軍長賀龍）。
第二方麵軍總指揮張發奎對共產黨的態度比較好，他有放棄“東征討蔣”聯共回粵的意向，中共中央也有利用“東征討蔣”、“依張回粵徐圖發展”的計劃。7月11日，葉挺率第11軍24師為“東征討蔣”的前鋒，向九江開拔。隨後，黃琪翔的第4軍、賀龍的第20軍也陸續向九江地區集結。
共產黨在第二方麵軍中組織嚴密，各軍有軍委，各師有師委，各團有團委，團委下麵有各支部與小組，而黨團幹事會為最高指導。黨團幹事會書記本為廖乾吾，因他專任第4軍軍委書記，故由語罕接替他出任黨團幹事會書記。