一旦將上海這個中國最大的城市收入囊中，蔣介石就動起了擺脫武漢國民政府的控製、建立由自己主導的國民政府的念頭。在暗中，他依靠白崇禧出謀劃策，先後跟留守廣州的李濟深、四川軍閥楊森等人結成**同盟，預備一同揮舞大刀，砍向中國**黨人的頭顱。
終於，四月十二日，在蔣介石的指令下，上海幫會頭目指揮流氓地痞以各種各樣的名義，誘殺了由**黨人組建起來的工人糾察隊負責人，隨後解散了工人糾察隊，屠殺了大量**黨人。
與此同時，李濟深采取同樣的辦法，在廣州大肆搜捕、屠殺**黨人。
消息傳到武漢，國民政府的左派軍政要員大驚失色，**黨人憤怒不已，民眾滿腔悲憤，譴責蔣介石、李濟深背叛革命的聲音迅速高漲。不過，武漢國民政府仍然沒有放棄幻想，呼籲蔣介石迅速糾正錯誤立場，回到正確軌道上來。四月十八日，蔣介石竟然在南京建立了新國民政府，推選胡漢民為國民政府主席，拉開了跟武漢國民政府公開對抗的大幕。為此，武漢國民政府不得不做出決議：開除蔣介石、胡漢民等人國民黨**，譴責其為叛逆。
“什麽國民政府！原來它的本來麵目跟北洋政府沒有兩樣，都是爭權奪利的小人。”王俊林心裏說道。
在十幾年的軍旅生涯中，王俊林悟出了一個道理：越是混亂的當口，越是可以找到達成目的、成就夢想的機會與途徑。武漢政府跟南京政府公開決裂了，武漢政府所能使用的軍隊就越發顯得不夠，為了繼續北伐也好，為了掃**南京政府也好，必定會在今後大肆擴充軍隊，他壯大武裝的機會很快就會來臨。為此，他要先做準備，讓餘瑞祥為他提供大批軍官。
見到了餘瑞祥，他說道：“現在，蔣介石既然公開背叛革命，我們就要大量擴充軍隊，跟蔣介石戰鬥到底。在這個時候，我越發希望加入**黨。”