在上海期間，毛澤東的另一項重要工作，是擔任中共中央局秘書。在《中國共產黨中央執行委員會組織法》中規定：“秘書負本黨內外文書及通信及開會記錄之責任，並管理本黨文件。本黨一切函件須由委員長及秘書簽字。”
高菊村等著《青年毛澤東》一書寫道：
國民黨“一大”後，毛澤東於1924年2月中旬從廣州到上海。他同蔡和森、向警予、羅章龍等，住在閘北香山路三曾裏中共中央機關內，以主要精力從事中共中央局秘書工作。5月10日至15日，中共中央執行委員會擴大會議在上海召開，毛澤東參加了會議。會議肯定了國共合作5個月以來的成績，同時指出中共三屆二次執委會對國民黨右派“取敬而遠之的態度”和“一切工作歸國民黨”的方針有右傾偏向。會議通過了《共產黨在國民黨內的工作》等決議案，糾正了我們黨隻注重國民黨的組織工作，忽視宣傳工作，忽視共產黨組織的獨立性的錯誤；強調共產黨要在國民革命運動的根本問題上指責國民黨右派政策的錯誤；要對國民黨不斷加強反帝反封建的宣傳，使之扶助工農運動；要介紹革命分子加入國民黨，增強左派的勢力；要注意把國民黨與共產黨的組織分開，共產黨是獨立的秘密的組織，共產黨的主要負責人不兼任國民黨組織的主要領導。會議強調以國民黨“一大”宣言中的革命政綱為標準區分國民黨左右派。會議提出共產黨要加強自身的教育、組織工作。會議指出產業工人是共產黨的階級基礎，要在產業工人中大力發展共產黨的組織，建立和擴大工會組織，發展勞動運動，堅持黨對工人運動的絕對領導權，防止國民黨右派插手工人運動。這次會議正式決定中共中央分設宣傳、組織、工農、婦女部，毛澤東任中共中央組織部長。