離開魯國後，孔子首先來到了衛國。一向安於逸樂的衛靈公為了向世人表示他禮賢下士的氣度，比照孔子在魯國任大司寇時的俸祿，也致贈六萬鬥的粟米給他。
其實孔子隻是希望能有實現政治理想的機會，對俸祿多少根本不在意，可是衛靈公對孔子所提的種種改革建議總是推三阻四，甚至考慮都不考慮一下。且有人在衛靈公麵前誣陷孔子，孔子擔心自己會獲罪，隻住了十個月就離開了。
孔子本想到陳國去，誰知在經過匡城時，由於孔子和幾年前陰謀作亂造成無數人流離失所的魯國季氏家臣陽虎長得很像，匡人誤以為陽虎又來了，竟將孔子一行人團團圍住，想報當年的毀家大恨。
一連被圍困了幾天，弟子們又害怕又氣憤。為了安撫眾人躁動不安的情緒，孔子教子路擊劍作歌，大家跟著引吭高歌。
嘹亮的歌聲不僅使弟子們忐忑的心緒沉靜下來，就連包圍他們的匡人，也被這正氣凜然、氣勢磅礴的樂音所感動，相信孔子不是陽虎，紛紛散去。
經過這場波折，孔子打消了去陳國的念頭，又聽說晉國正內亂不斷，想來想去，又返回衛國。
衛靈公的夫人南子是個聲名狼藉的女人，她聽說孔子回來了，便派人傳話給孔子，想和他見見麵。
孔子本來推辭不去，但想到自己是衛君的臣屬，依禮不該拒絕，隻好勉強去見她。誰知竟有人拿這件事大做文章，說孔子想以南子作為做官之階，就連他門下的弟子們也有不少人發出怨言。孔子很無奈地說：“若是我做錯了什麽，老天爺自會厭棄我的！”
又有一回，衛靈公和夫人南子同車出巡，卻叫孔子坐後麵的車子。孔子搖搖頭，感歎地說：“我從沒見過有哪個君主能夠敬重賢德就像喜愛美女那樣急切的啊。”
失望之餘，孔子再次黯然離去。