中國曆史上的改革，涉及機構精簡者頗多，北宋的慶曆新政與王安石變法，精簡都是其重要內容。對於任何政權機構而言，精簡問題的核心就是一個行政效率與政治穩定間的平衡。而政府機構的精簡的真正實行，有賴於經濟的近代化、市場體係的建立與完善，有賴於在此基礎之上的政治民主化。
（一）效忠原則與權力平衡
但凡有點作為的君主，都很痛恨行政效率低下和辦事拖遝、推諉與層層扯皮的官僚習氣，常常會在整飭吏治的詔書中加以痛低。但是奇怪的是，傳統官製的設置與安排，卻恰恰與提高效率的要求相反，首先考慮的是效忠原則和防止專權和叛離傾向的權力平衡，為了能夠維持體係的穩定，寧願犧牲效率。隻有在少數的情況下，效率才會與效忠並列被重視，如戰爭年景或者像戰國那種高度競爭的時期。而在傳統社會的常態（即所謂太平年景），官製上的一職多官，多頭負責，相互牽製的現象幾乎可以說是普遍性的。秦與西漢為政尚簡，但相權已由三公分享，東漢已明顯地出現三公與尚書台的分立，中樞相權再度分散，以凸現皇權的分量。魏晉南北朝時期，中書省與門下省與尚書台三足鼎立，分掌中樞，原來的三公九卿成為虛銜，三省的地位較卑的長官及屬曹，成為圍繞皇權的決策與行政實施的官員，三者之間的相互牽製，使大權旁落成為更加困難的事。
隋唐製度，進一步完善了三省體製，具體分工的六部出現。但是原來作為與君權起平衡作用的相權繼續被削弱，原來作為當然宰相的三省長官如不加“中書門下三品”銜，就不算宰相，而非三省長官，倒有可能行宰相之職，宰相之多寡，全由皇帝之意，多的時候可能有十餘人，少的時候就一二人而已。
宋代將這種集權宰相製與中央政府的相互牽製機能發展到極致，政出多門，冗官冗吏成為一大痼疾。而且，鑒於唐代藩鎮割據的教訓，“杯酒釋兵權”之後，中央禁軍分設樞密院與三衙來管理統轄，三衙有統兵之權但無調動之權，而調兵之權則由皇帝認可後由樞密院發出。樞密院長官有多人，而三衙（殿前司、侍衛馬軍司、侍衛步兵司）職權也相互參差，各自內部也有牽製功能。地方軍製以文官為經略安撫使掌軍，以武將總管、鈴轄、都監等職實際管理軍隊，實行文武相互牽製。結果，終宋之世，大權旁落和地方割據之事是消失了。但行政機構臃腫、軍隊無戰鬥力，使得北宋以積弱積貧聞名後世，在北方少數民族的入侵打擊下，隻有招架之功而無還手之力，最後連招架之功都喪失了。