他曾經想到過要成立**黨，隻是沒有人願意跟他一塊成立這樣的組織，而且對**黨的宗旨以及性質也知之不多，就沒有真正付諸行動。後來，到了廣州，才知道中國已經成立**黨組織。他很是佩服那些成立**黨的創始人，決計要離開國民黨，另外投靠**黨。
很快，機會來到了他的麵前：**黨人在**國際的幫助下，要跟國民黨人展開合作，以便推動北伐的大業。他終於認識了**黨人，通過跟**黨人的交談，真正懂得了**黨的主張，從此以後，加入**黨就在他心裏生了根。
他向李大釗提出了加入**黨的要求。李大釗已經和陳獨秀一道介紹林伯渠加入了**黨，現在，國民黨中最有影響力的人物也要加入**黨，當然十分高興，便準備援引林伯渠的例子，讓餘瑞祥成為秘密黨員。國共合作了，**黨的主張在某種程度上跟國民黨的主張有類似的地方，餘瑞祥希望公開加入**黨。
畢竟，餘瑞祥從一開始就不是國民黨人。曆經挫折和痛苦，他來到廣州，準備幫助孫中山從事軍事鬥爭準備，受到了孫中山的熱烈歡迎，孫中山甚至親自要求他參加中國國民黨。餘瑞祥不願意參加國民黨，卻盛情難卻，勉為其難地加入了國民黨，成為了孫中山最信任的人之一。此後，餘瑞祥在廣州輾轉騰挪，為孫中山打出了很大一片天下，卻深切地感受到了國民黨內部的許多弊端足以致使這個政黨難以達成其想達成的目的。他向孫中山先生全麵匯報了自己的看法，卻許多事情，孫中山先生也無能為力。他感到了失望。現在，既然已經認定**黨才是拯救國家的希望，他就一定要成為公開的**黨人。
他說道：“我不希望在暗地裏為**黨工作。我要成為公開的**黨人。至於孫中山先生那邊，我會向他說明參加**黨是我一生的願望。”