8月3日，根據中共中央的預定計劃，起義先頭部隊立即南下，準備占領廣東，取得海口，以求得國際援助，重建廣東革命根據地，再舉行第三次北伐。
參加起義的部隊約3萬人，整編為3個軍：第9軍副軍長朱德，第11軍軍長葉挺，第20軍軍長賀龍。還有若幹警衛部隊，蔡廷鍇師也從九江趕了過來。
蔡廷鍇手下有位參謀參加過廬山會議，中午請語罕單獨吃飯。他在館子裏說：“老蔡靠不住，他在廬山會議時說了一些話，簡直壞透了。現在對你們又是另一番話。你得告訴希夷（葉挺）和恩來，要防著他。”【注釋1】語罕立即把這個參謀的話告訴周恩來和葉挺。
8月5日，語罕他們從南昌開拔，軍隊分為三路：葉挺任中路，賀龍任右翼，蔡廷鍇任左翼。一位黃埔第3期學生當了團長，知道語罕走路不便，把他繳來的馬送了語罕一匹，並撥了一名馬夫照料語罕。
“八一以後，革命委員會任命我為秘書廳的秘書，我跟著走了幾天，摸不著頭腦，經理無人，飯吃不到嘴，我覺得沒有用處，遂請於革命委員會，許可我到十一軍去。”【注釋2】
語罕隨著葉挺的軍部一起走，又有馬騎，又有馬夫，還備了一個勤務兵。
軍中譚平山、林伯渠、方維夏、徐特立、高語罕、廖乾吾、薑濟寰和彭澤民八人年歲較大，人們稱為“八仙”。
8月的天空，連一片雲彩也沒有，部隊每天七八十華裏行程，真是又熱又累。在第一天行軍中，77團就中暑死了十幾個同誌。戰士每人背了兩支步槍、兩百多發子彈，加上背包、軍毯、水壺、飯匣、洋鎬、鐵鏟，有60斤重。另外，每班還抬一個大帳篷，每人還要照管一個挑著槍支的民夫。
行軍不到一日，葉挺便得到情報，蔡廷鍇把他的一個師帶跑了，賀龍一個營的炮兵也開小差走了。沿途群眾對過境大軍不明真相，害怕拉夫。再加上國民黨的反動宣傳，說起義軍實行公妻共產，沿途農民聞風而逃。宜黃縣城原有2萬人口，等軍隊到時，全城僅留有48個60歲左右的老人。【注釋3】