那個時期經常發生地震，有時一年一次，有時一年兩次。發生一次大地震，就會影響好幾十個郡，城牆、房屋發生倒坍，還會死傷很多人畜。當時的封建帝王和百姓們都把地震看作是不吉利的征兆，有的還趁機宣傳迷信、欺騙人民。
但是張衡卻不信神、不信邪，經過對記錄下來的地震現象細心的考察和試驗，他發明了一個測報地震的儀器，叫“地動儀”。
地動儀是用青銅製造的，形狀有點兒像酒壇，四周刻鑄著八條龍，龍頭分別向著八個方向伸著。每條龍的嘴裏都含了一顆小銅球，在龍頭下麵，蹲了一隻銅製的蛤蟆，對準龍嘴張著嘴。如果哪個方向發生了地震，朝著那個方向的龍嘴就會自動張開，把銅球吐出來。銅球掉在蛤蟆的嘴裏，發出響亮的聲音，給人發出地震的警報。
公元138年二月的一天，張衡的地動儀正對西方的龍嘴突然張開，吐出了銅球。按照張衡的設計，這就是報告西邊發生了地震。
可是那一天一點兒也沒有地震的跡象，也沒有聽說附近有哪兒發生了地震。大夥兒議論紛紛，都說張衡的地動儀是騙人的，甚至有人說他有意造謠生事。
過了幾天，有人騎著快馬來向朝廷報告，離洛陽一千多裏的金城、隴西一帶發生了大地震，連山都崩塌下來了，大夥兒這才信服。
可是在那個時候，朝廷掌權的全是宦官或外戚，像張衡這樣有才能的人不但不被重用，反而還被打擊、排擠。張衡做侍中的時候，因為與皇帝接近，宦官怕張衡在皇帝麵前揭他們的短，就在皇帝麵前講了張衡很多壞話。張衡便被調出了京城，到河間去當國相。
張衡一生中努力學習，刻苦鑽研，毫不倦怠和自滿。不論是在知識領域的哪一方麵，他的造詣都是廣博而精深的。這些豐富而珍貴的業績，在我國和全世界的科學史上都具有崇高的地位。由於他的貢獻突出，聯合國天文組織將月球背麵的一個環形山命名為“張衡環形山”，太陽係中的1802號小行星被命名為“張衡星”。