聽覺中樞包括聽神經和大腦皮層顳葉。
聽神經通路主要由三級神經元組成。第一級神經元是螺旋神經節的雙極細胞，雙極細胞的短突進入螺旋器(柯蒂氏器)，長突參與組成聽神經並進入延腦的耳蝸神經核。由耳蝸神經核起始的是第二級神經元，它將延腦與丘腦內側膝狀體和中腦聯係起來。由內側膝狀體起始的是第三級神經元，它把神經興奮從丘腦傳向大腦皮層。一側聽神經或耳蝸神經核損害可引起感覺神經性聾，可致全聾。腦幹部分的病變也可致聾。腦幹病變包括膠質瘤、變性和血管疾病。腦幹病變引起的聾大多是很嚴重的，大多侵犯雙耳，呈對稱性。
聽覺的中樞部位在大腦皮層顳葉的上部，相當於大腦外側裂區域，其中顳橫回有特別重要的作用。皮層結構損害特別是顳葉損害引起的聽功能異常，稱為皮層性聾。開始表現為全聾，對言語或非言語的聲音無反應，多數伴失語甚至因大腦半球嚴重病變而啞。顳葉病變可產生比較細微的聽紊亂，表現為對側不能進行聲定位，不能鑒別兩個時間間隔很近的聲音。例如，不能鑒別間隔100毫秒以下的兩個短音，而正常人能鑒別間隔30毫秒以下的兩個短音。
聽覺中樞的病變還有可能導致聽覺性認識不能。在神經科學中，認識不能是指不能識別有意義的刺激和指出它的意義，而且不能用感覺減退或言語缺陷來解釋。主要表現為能聽到聲音，但不能辨別是什麽聲音，或者不能從一個聲音聯想到它的名稱或意義。