秦始皇陵的建造是一個係統工程，既包括頂層設計、統籌安排，也包括直接的工程建設，如工程的督修、工程部門的管理協調以及施工部門的具體運作。
我們先看最底層的這70萬修陵人。
劉邦曾從沛縣向酈山陵押送修陵的徒工，由於徒工路上不斷逃跑，這位身為亭長的小官吏不得不匿隱於芒碭山中。類似沛縣這樣的基層小縣，秦36郡或48郡共有700多個，都要向酈山輸送勞工。秦始皇陵陵園旁邊數百米外的趙背戶村，20世紀70年代發現了一批修陵人的墓地，這些墓葬規模很小，小到僅能容納一具屍體而已。他們也沒有什麽隨葬品，有些白骨上還帶著刑具。偶爾，有的墓葬中會出土一塊瓦片，瓦片上以潦草的秦小篆刻著死者的爵位、籍貫、名字，這些文字表明葬在這裏的刑徒來自東海、贛榆、修武等東方地區。因為他們有一定的爵位，所以還有一片瓦文墓誌。大多數勞工則葬在遠離陵園的姚池頭村一帶，這裏曾經發現過幾個亂葬坑，大量的無名刑徒在這裏化作累累白骨，沒有留下絲毫個人信息。
製作兵馬俑的勞工的境遇也不比這些人好多少。
2002年，在兵馬俑坑東側的陶窯、作坊附近發現了一座大型的亂葬坑，共出土近百具人骨。他們或許可以與近百個在陶俑身上發現的名字對應起來，可能是製作兵馬俑的勞工。這些人有的來自秦國的宮廷，他們技藝精湛，製作的陶俑也較精致，他們的名字是宮彊、宮係（係）、宮得、宮欬、宮藏、宮頗、宮朝等。另外，還有來自民間的工匠，他們可能在宮廷工匠的指導和管理下，也能製作出合格的陶俑，但他們隻能偷偷地在未幹的陶俑身上、在不引人注意的部位刻上自己的名字。這些人大多來自鹹陽，是秦國本土的老秦人，如鹹陽衣、鹹陽賜、鹹陽危、鹹陽午、鹹陽野、鹹陽行、鹹陽敬、鹹陽慶、鹹陽高等，還有人隻留下鹹陽這個故鄉之名。