在國民黨上海執行部，毛澤東擔任組織部秘書，代理文書科主任。
當時曾在國民黨上海執行部任職的羅章龍在《椿園載記》裏回憶說：
國共合作具體執行時，中共曾多次鄭重地進行討論，各次會議均有國際代表參加。中央局會議曾做出決定，對於國共合作問題中共中央采取下列原則，即：
（一）中共保持獨立自主原則，中共黨報及中共各級刊物對國民黨施政得自由批評，不受限製。
（二）中共領導的工農群眾組織不受國民黨及其政府幹涉，工會、農會享有集會、結社、罷工、糾察自衛之自由。
（三）中共黨員（包括團員）加入國民黨，在國民黨任群眾工作，但一般不做國民政府官吏。工人運動領導者及中共所屬工會會員不得加入國民黨。
（四）在組織方麵，自1923年7月起，中共中央由仲甫代表中共出席國民黨最高會議。黨組織自中央到省市各級按係統派遣黨員分別協助國民黨進行改組工作，包括在全國範圍內建立黨部及基層組織，訓練幹部，整飭宣傳機構，協助國民黨工作，扭轉該黨在民眾中的不良影響，幫助國民黨改善軍事教育訓練，建立革命軍隊等。
根據上述原則，中共中央政治局派政治局委員（時稱中央局常委）王荷波、毛澤東、羅章龍三人參加國民黨執行部，協助國民黨進行改組事宜，後又續派中委李守常、譚平山等協助國民黨在北方及廣東的改組工作。中共各省委、市委分別派遣中共黨員參加當地國民黨省市委會的改組工作及軍隊改建工作。
1924年1月，國民黨中央決定設置國民黨執行部於上海法租界環龍路44號，作為國民黨最高執行機構。執行部內主要設立組織、宣傳、工人農民等部及秘書處。國民黨派定胡漢民、汪精衛、戴季陶、於右任、葉楚傖、茅祖權等分任各部部長。中共方麵由中央政治局決定毛澤東、羅章龍、王荷波、惲代英四人參加指導執行部工作（惲代英係代表團中央參加執行部工作），遇有特別重大問題則由國民黨總理孫中山與中共中央書記陳獨秀協商決定。同時，中共中央又決定派幹部沈澤民、邵力子、瞿秋白、施存統、鄧中夏、向警予、楊賢江、沈玄廬、張秋人、李成、劉伯倫等參加執行部各部門宣傳與組織的基層工作。當時上海社會傳稱環龍路44號為“國共群英會”。