近60年的考古工作，不斷有發現證明秦始皇陵曆經了大規模的破壞，不僅有自然的破壞，更多的是曆史上的人為破壞。
自然力是這個世界上我們最不可抗拒的力量。現在我們看到，秦始皇陵的各種地麵設施大多隨著時間的推移而坍塌、風化，消失或掩埋於層層黃土之下。明代時，可能還有一部分設施在地麵上殘存。江南才子都穆到秦始皇陵時，就看到陵南有兩個大土丘，還有石質的門樞露出來，當地人就告訴他這是始皇陵的南門。現在這個南門還殘留有兩米多高的遺址。除了南門，陵園的西南部還殘存著一段內城牆垣，仍舊高出地麵，發掘與調查時還發現牆麵保留著一些粉色的牆皮。
因為大量的牆垣、門觀、宮室建築兩千多年來被侵蝕殆盡，人們也想當然地認為那巨大的封土在秦代應該比現在要高大許多。事實上，現代考古調查發現，比始皇陵稍晚的西漢帝陵的高度與文獻記載差距不大，這說明兩千多年來的自然切削並沒有人們想象的嚴重。
秦始皇陵現在的封土海拔高度為531.4米，比北側的秦代地麵高55米左右。這麽著名的陵墓隻有50多米高，顯然令很多人大失所望。於是，有人找出《漢書·劉向傳》“上崇山墳，其高五十餘丈”的記載，漢代的50丈折合現在115米左右，可以認為秦代時這座陵墓遠比現在高大很多。現在的55米，隻不過是兩千多年來風吹雨淋的結果。實際上，古代人包括劉向所說的高度其實都是計算出來的，而不是精確的實測。2013年，我們發現了由北側進入陵園的大路，這條大路北起麗邑上麵的塬邊，南到陵園外城北門，相對平坦，海拔高度為420米左右。這也是漢人包括劉向進入陵墓的路線。在這條大路上運用勾股定理，測量計算出陵墓的封土高度為113米。這就解開了劉向說陵墓高50丈之謎。