在創建井岡山革命根據地的鬥爭中，毛澤東特別重視軍隊建設。1927年9月，毛澤東領導湘贛邊界秋收起義時，就要求部隊官兵對待人民群眾說話和氣，買賣公平，不拉夫，不打人，不罵人。10月，秋收起義部隊到達江西遂川荊竹山，由於長途跋涉，饑渴難忍的戰士隨手挖了當地老百姓的紅薯吃，針對這些損壞群眾利益的現象，毛澤東提出了三條紀律：
第一行動聽指揮；第二不拿群眾一個紅薯；第三打土豪要歸公。言簡意賅的“三條紀律”頒布之後，大家照著做，但是具體落實起來卻出了不少問題。
1928年1月，部隊進駐遂川縣城，在分散到縣城周圍農村發動群眾時，針對有戰士在百姓家住宿時借的門板還錯了、把睡覺時用過的稻草亂放等問題，毛澤東提出了六項注意：(1)上門板；(2)捆鋪草；
(3)說話和氣；(4)買賣公平；(5)不拉夫，請來夫子要給錢；(6)不打人不罵人。以此將三條紀律具體化，更有利於隊伍執行與管理。
同年3月，為接應湘南暴動的朱德部隊，毛澤東帶領隊伍來到湖南南部的桂東縣沙田鎮，發現這個擁有幾百家店鋪，平日裏人來人往的鎮子，竟然戶戶店門緊閉，街道空寂無人。原來，以前到過該鎮的部隊大都燒殺搶掠，無惡不作。再加上反動派大肆宣傳，汙蔑工農紅軍殺人放火，搶奪財物，無惡不作。深受兵匪之害的群眾聽信了謠言，紛紛逃往深山老林以“避難”。
看到這樣的狀況，毛澤東夜不能寐。他深刻反思著，自己帶領的隊伍與老百姓深入接觸過程中曾發生過哪些損害群眾利益的問題。同時，他也在反複思索軍隊建設的一個重要問題：中國曆史上爆發過大大小小上千次農民起義，被“逼上梁山”的農民或被殘酷鎮壓，或成為封建統治者的鷹隼，他們的命運令人扼腕。而這支以農民為主的工農紅軍該怎樣避免重蹈覆轍?該怎樣真正獲得人民的支持，成為“人民的軍隊”?於是，根據革命形勢發展和軍隊成長的需要，毛澤東對宣講過但未係統成為條例的軍隊紀律反複地斟酌，進行了逐項修改與補充。