伯牙是春秋時期著名的琴師，據說，伯牙在彈琴的時候，水裏的魚會躍出水麵傾聽，正在吃草料的馬會仰首聆聽。這些描述都體現了伯牙的演奏技術非常之高。
伯牙年輕時，跟隨師父成連學琴，共學習了3年。伯牙勤奮努力，將師父的彈琴技巧全部掌握了，但讓他煩惱的是，即便是細心鑽研琴技，還是達不到精妙的地步。師父成連見伯牙鬱鬱寡歡，決定帶他去見自己的老師，於是把他帶到了蓬萊山，成連將伯牙留在山上，自己則乘船離開了。
伯牙獨處山上，周圍沒有一個人，隻能聽到海上波濤起伏的聲音，山林間群鳥嘰嘰喳喳的叫聲，此時，伯牙感歎道：“原來，老師是讓我把情感積聚起來，將其轉到琴聲之中。”於是，他把所見所聞全部融入自己的情感之中，令他驚訝的是，韻律與心神果然合而為一。至此，伯牙便悟得琴之妙趣，成為聞名天下的妙手。
在蓬萊仙島上，伯牙學到了高超琴藝，隨後被周天子封為司樂太師。伯牙奉命編修樂譜，專程去楚地采風。
一天，伯牙帶著琴童來到了長江口，突然狂風大作，烏雲密布，頓時驚濤駭浪湧起，把伯牙所乘的船顛得左右搖擺。伯牙等到風住雨停後，來到船頭一看，隻見月兒初升，懸掛半空，風清氣爽，樹葉上殘留的雨滴濺落，杜鵑啼鳴，非常幽靜。他看到此景，不禁觸動樂思，琴癮大作，隨即回到艙艙，開囊取琴，對著當空的明月和浩**的江水彈了起來。但一曲尚未彈完，突然琴弦斷了一根。按當時的說法，隻有遇到懂得音樂並理解彈琴人心境的知音，琴弦才會崩斷。伯牙立即走出船艙，真的見到了一個頭戴鬥笠的樵夫，他手裏拿著一把斧頭，地上放著一捆柴。
伯牙心想：原來此人就是我的知音啊。他興致勃勃地請那位樵夫到船艙中聽琴。伯牙換好琴弦後，彈了一首《高山》，琴音剛落，樵夫就大讚道：“太美妙了!泰山是如此巍峨啊!”