為何要將備考場設置在香山呢？首先是出於安全考慮，香山一帶與西山相連，有著得天獨厚的地形條件，有利於防空，易於警衛。其次，是有利於順利過渡。黨的幹部長期處於農村環境，對城市生活從思想上、習慣上都需要一個熟悉和適應的過程。最後，是能基本解決辦公和生活用房問題，且不擾民。
早在1949年1月，北平和平解放前，中共中央就著手遷往北平事宜，中央直屬機關供給部副部長範離和劉達等人被派去選擇駐地。
當時的備選有頤和園、香山、八大處等地，但他們最滿意的是香山。
在當時北平市軍管會主任兼市長葉劍英給時任中央辦公廳主任楊尚昆的信中可窺一斑：“範、劉二同誌偵察和研究的結果，我們認為地區的選擇，以西山為適當，隻需牽動一家（慈幼院），就可基本解決。”(5)
1月31日，北平和平解放。為確定中央駐地，2月3日，中央又派社會部副部長李克農一行13人赴北平全麵調查。2月5日，李克農等到達北平後與北平市警備司令員程子華一起去香山勘察，十分滿意，次日便給楊尚昆寫了一份報告:“昨與平警備司令程子華去香山一帶看住址，已決定駐該地。”
當時的香山慈幼院荒廢已久，但其3000多間房子可以基本滿足中央各機關辦公居住需要，並且所處位置也較偏僻，樹木繁茂適合隱蔽，最高峰“鬼見愁”則方便防空部署。
經過反複勘察和確認，黨中央批準香山作為中共中央機關和人民解放軍總部駐地，為了保密，中央機關對外用代號，對外稱“勞動大學”（簡稱勞大）。設立三個臨時辦事處：第一站設在城內弓弦胡同15號，稱“勞大籌備處”；第二站設在城外青龍橋，稱“勞大收發處”；第三站就是香山駐地，稱“勞大招待所”，中央機關分駐在香山，中央軍委機關分駐在西山一帶，人員出入香山要佩戴印著“七一”字樣的勞動大學證章，章呈圓形，正麵為“七一”字樣，反麵有編號。