蕭瑜在武漢留下—他在武漢有些事要辦，毛前往上海法租界的一個秘密地點去開會。中國的激進分子試圖建立政治組織的企圖一般都受到地方政府或軍閥警察的追捕。而上海比其他城市安全，因為它由西方列強統治，中國的拘捕令在這裏行不通，但即便如此也要避免被外國巡捕發現。中國共產黨第一次代表大會是在上海一個馬克思主義先驅家的臥室裏舉行的，這間房子隻夠坐參加會議的15個人。大部分代表都住在附近的女校裏。女校當時是空的，隻有一個廚師每天為他們做飯，兼放哨。他們在晚上8點鍾開始開會。
他們連續花了3個晚上討論新創建的黨的基礎和黨章。但第4天晚飯後，當他們準備照常開會時，突然進來一個穿長衫的人，假裝說是找錯了門。共產國際代表馬林警惕地說，這一定是密探，我們必須馬上轉移，換個地方開會。於是，他們都分散走了。他們剛走，一隊15名法國巡捕和武裝警察就來搜查房子，但撲了個空。
毛回到住處，發現他的朋友蕭瑜已辦完武漢的事，到上海來了。毛告訴蕭，他們決定在上海外邊的旅遊地南湖的一艘船上繼續開會，以擺脫警察的追蹤。蕭同意單獨活動。毛已被指定為大會起草報告兩個人中間的一個，但這並不是很重要的差使，毛對決定這次大會的主題並沒有起多大作用。毛在這時幾乎還沒有讀過列寧的任何重要著作，新黨的領袖陳獨秀可能把他看做是代表湖南省的一個地方民族主義者。他在長沙為共產黨和青年團吸收的成員幾乎都是他的同學、學生、前任老師、密友以及他的家人。他和湖南的無產階級或農民還沒有建立起任何真正的聯係。但他的派係的核心成員都來自這些私人關係，也正是他們最後統治了整個中國。
出席這次成立大會的其他一些代表記下了他們對毛的印象。張國燾，後來成為毛的政治對手，把毛描繪為“一位較活躍的白麵書生，穿著一件布長衫”，“也脫不了湖南的土氣”，“他的常識相當豐富，但對於馬克思主義的了解很少。他健談好辯，在與人閑談的時候常愛設計陷阱，如果對方不留神而墮入其中，發生了自我矛盾的窘迫，他便得意地笑了起來”。