當時齊國的宰相晏嬰和鄭國的子產、吳國的季子被稱為“三賢”。晏嬰也是隨齊景公訪魯的時候認識了孔子。
晏嬰，字仲，諡平，習慣上多稱其為平仲。他富於機智，口才極好，“橘生淮南則為橘，橘生淮北則為枳”的故事流傳甚廣。晏嬰平時與人交往時，推心置腹，謙和有禮，很夠交情，所以深受人們的尊敬。孔子曾經讚譽他說：“晏平仲善與人交，久而敬之。”
就是因為齊國有高昭子和晏嬰這兩位老朋友，孔子才來到齊國。他希望能夠在齊國實現自己的政治抱負，並協助魯昭公返國，恢複過去的秩序。如今一看，齊景公實非明君，孔子不由得生出了離開齊國的念頭。
另外還有一個重要因素使孔子下定決心離開齊國，那就是晏嬰對他的妒忌和排擠。
關於晏嬰排擠孔子這件事，前人的史書中一直存疑。錢穆的《孔子傳》中也認為此事不足信。
無論如何，孔子知道自己在齊國是很難有所作為了。不過，孔子在齊國期間，也有一些值得一提的收獲。
其一是，高昭子對他的友誼。孔子決定要離開齊國時，高昭子曾挽留說：“您一心想要輔佐魯君，即便不能稱雄天下，也希望可以成為諸侯中的強國。這樣的理想很偉大，我非常欽敬您。但是目前魯國的形勢實在是難以讓您實現理想。我聽說三桓已經擁立新君繼位，稱定公，他毫無實權，隻是主管一些祭祀的事，徒具虛名而已。
“其實就您的先祖而論，宋才是您的祖國。可惜，宋國自襄公以來，國勢漸弱，如今還不如魯國，隻怕更沒有什麽作為了。依我看，您如果想成就功業，還是留在齊國最為合適。齊國自管仲助桓公稱霸以來，國勢日強，府庫充足。您輔佐景公成就霸業，可謂易如反掌。不如您再多考慮一下。”