魏瑪共和國時期，警察由各州政府控製，有關警察的組織、任務、職權範圍等，概由各州自行掌握，聯邦內政部隻作一般性的監督，並沒有形成全國統一的警察力量。負責打擊“謀反事件”的政治警察，同樣置於各州警察局的管轄之下。然而，這一狀況既不符合納粹當局要在全國實施專製統治的要求，更是嚴重違背了納粹主義的一元化統治理念。全國統一的秘密警察的誕生，表麵上看是希姆萊大肆攬權的結果，實質上卻是納粹統治日益強化的必然歸宿。
“蓋世太保”最早產生於普魯士和巴伐利亞兩州。1933年納粹黨執政後，戈林以普魯士州內政部長的身份接管州警察局，開始著手組建特種政治警察，形成一支強有力的監控與鎮壓力量。他把政治警察、諜報警察和刑事警察中的政治特別部門合並，組成州的“秘密警察”（Geheime Staatspolizei，縮寫Gestapo，中文音譯“蓋世太保”），作為警察的獨立部門搬離州警察總部，在柏林的埃爾布萊希特大街8號獨立辦公，直接隸屬於州內政部。與此同時，希姆萊於1933年3月先後兼任慕尼黑市警察局代理局長和巴伐利亞州內政部政治司司長，他立即在州內政部裏設立“巴伐利亞政治警察辦公室”，把州政治警察和其他警察機關的政治部門從普通警察機構中分離出來，成為一個獨立機構。
在把全國的警察合並成一支統一力量的過程中，戈林、希姆萊和全國內政部長威廉·弗裏克發生了激烈的爭權鬥爭。希姆萊作為黨衛隊全國領袖，一直希望全盤控製全國的監控與鎮壓機構，其中包括統一的警察力量。弗裏克從鞏固單一製中央集權國家出發，要求把各州的警察主管權收歸中央政府的內政部掌管。但兩人的設想遭到戈林的反對。後者於1933年11月30日以普魯士州總理身份頒布法令，規定普魯士蓋世太保的控製權從州內政部進一步轉移到州總理（戈林）手中，從而保持了蓋世太保的獨立地位。於是，弗裏克同希姆萊聯合，利用自己擔任全國內政部長的權力，從1933年10月到1934年2月間，先後任命希姆萊擔任除普魯士以外的各州政治警察首領，從而在事實上統一了各州的政治警察。1934年2月19日，弗裏克向各州發布一項命令，由他統一掌握“德國各州警察的直接指揮權”。戈林則針鋒相對，重申自己已經接管了普魯士州警察的最高領導權。