張國燾一臉的嚴肅，說道：“餘同誌，現在已經有充分的證據證明你是第三黨分子，是你串通各位師長，準備叛變投敵。”
餘瑞祥馬上明白過來了：原來張國燾果然在背後搞了一些小動作。
雖說張國燾處心積慮要修理他，他無論怎麽辯解，張國燾都不可能放過他；但是，餘瑞祥還是要辯解。
張國燾隻需要輕輕一句話，就讓餘瑞祥的一切辯解全部歸於無用：“你是第三黨，因為你跟鄧演達一塊商討過組織第三黨。鄂豫皖根據地存在的第三黨勢力，都是你一手造成的。難道你不應該對此負責任嗎？”
國民黨左派鄧演達的確很想組織一個超越於國民黨和**黨之外的第三黨，也的確因為跟餘瑞祥關係很好，試圖讓餘瑞祥和他一塊組織第三黨。可是，餘瑞祥婉言謝絕了他。現在竟然被張國燾拿出來當作餘瑞祥是第三黨的證據，真是欲加之罪何患無辭。
餘瑞祥不想辯解，說道：“我可以接受你強加給我的任何罪名，可是，我還是要以一個**黨人的名義提醒你，鄂豫皖根據地得來不易。中原混戰已經結束，蔣介石已經對江西紅軍實施了圍剿，不久以後也會圍剿我們，請你不要神經過敏，不要搞得鄂豫皖根據地人人自危，要保持戰鬥力，才能應付敵人。”
張國燾成功地將餘瑞祥排擠出了鄂豫皖根據地的領導層以後，就根據中央的指示，對紅軍實施了一場規模宏大的人事變動，將第四軍和由七十三師基礎上發展起來的二十五軍統一起來，合編為第四方麵軍，任命了新的軍事領導班子。
紅四方麵軍組建完畢以後，在徐向前等人的領導下，不斷地在根據地周圍東征西討，使得根據地的麵積擴大了許多。
這時候，張國燾親自來到關押餘瑞祥的地點，說道：“今天，我是放你出來的。你應該明白，以你的罪行，我完全有理由將你殺掉。可是，我一向不喜歡殺人，特別是像你這樣一個辛亥革命時期的臨時總指揮，就更不能殺了。我要讓你親眼看一看，鄂豫皖根據地現在是多麽的紅火。”