我國境內迄今發現的最早的人類是元謀人，其次是北京猿人，北京猿人距今大約有70萬年。他們的生活方式是白天製造工具、采摘果實、獵取野獸，晚上回到山洞裏休息。這些山洞都是天然洞穴，所以現在也稱這種居住方式為“穴居”。這樣的洞穴在北京、遼寧、貴州等地都有發現，也證明了這是早期人類的主要居住方式。
經過漫長的歲月變遷後，我國廣大地區進入原始社會晚期——氏族社會。這個時期的建築方式發生了很大改變。現今，人們考古時發現了大量氏族社會時期建造的房屋遺址。由於各地氣候、地理、材料等條件的不同，這些建築的方式也多種多樣，其中最具代表性的房屋遺址主要有兩種：一種是分布於長江流域潮濕地區的幹闌式建築，另一種是黃河流域的木骨泥牆房屋。
幹闌式建築是一種底部架空，高出地麵的房屋，是由巢居發展而來的。這是中國古代一種非常獨特的建築樣式，不但可以防範野獸侵襲，還有利於通風、防潮，因此，很適合在潮濕多雨的中國西南部亞熱帶地區建造。這種建築主要分布在我國廣西、貴州、雲南、海南、台灣等地區。長江流域幹闌式建築的典型代表是浙江餘姚河姆渡遺址。河姆渡人，距今約有七千多年，是生活在長江下遊的古人類。目前遺址中發掘出的一處木架建築遺址，長約23米，縱深約8米，據推測原來應是一個體積很大的幹闌式建築。另外，值得一提的是，河姆渡人建造的房屋是我國已知的最早采用榫卯技術建造的木結構房屋。
黃河流域的木骨泥牆房屋是由穴居發展而來的。黃河流域遍布豐厚的黃土層，土質中含有石灰質，牆壁不易倒塌，很適合挖作洞穴。因此，在黃土崖壁上挖穴而居是這一地區普遍的居住方式。隨著原始人不斷積累建造經驗和技術，地麵上的木骨泥牆房屋便漸漸取代了窯洞式的穴居。原始社會晚期，黃河中下遊經曆了仰韶文化和龍山文化兩個時期。這兩個時期的房屋所呈現的建築方式略有不同。