孔子把諸事交給伯魚照顧，自己帶領弟子往西而去，目的地是衛國。
當他們到達魯國邊境，準備停下來歇息的時候，幾匹馬飛奔揚塵，從後麵追趕上來。原來是季桓子派人前來挽留，來人說：“季卿聽說夫子棄官出走，立即命我問問究竟。夫子，並沒人得罪您啊，為什麽要離開呢？”
孔子回道：“我可以唱首歌，作為答複。”
於是，孔子撫琴而歌之：“彼婦之口，可以出走；彼婦之謁，可以死敗。蓋優哉遊哉，維以卒歲。”
這段詞的大意是說：那些迷惑人的婦人，可以逼走大臣和親信；那些迷惑人的婦人，足以敗國亡身。我已盡力，無法力挽狂瀾，倒不如悠閑地度過餘生。
來人一聽孔子唱完，一陣心酸，不禁潸然淚下。他知道孔子去意已決，根本無法挽留，隻好含淚和孔子珍重道別。
孔子周遊列國的第一站選擇去衛國是有理由的：第一，衛國有一位孔子非常推崇的賢人蘧伯玉；第二，當時衛國國君靈公治理衛國三十餘年，社會非常安定；第三，也是最主要的，子路的嶽父家在衛國，他的妻兄顏濁鄒可以對孔子一行人加以照顧。
顏回提出了反對意見，他說：“衛君不能重用蘧伯玉，可見也算不得是一位賢君。再說衛夫人南子，素有醜聞，可見衛國必定教化不良。常言道：良禽擇木而棲，賢臣擇主而事。夫子為什麽一定要去衛國呢？”
孔子說：“衛國確實有不少賢臣，例如史如這個人，極為正直。邦國有道，他是如此；邦國無道，他仍是如此。至於蘧伯玉沒有出來做官，也許是未曾受到推薦的緣故。南子是宋國的公主，後來嫁到衛國，關於她的醜聞是由很多因素造成的，我們不能一口斷定是因為衛國教化不良。”
衛國的疆域大概在今天河南省的北部，是當年周武王的弟弟康叔的封地，算起來，衛、魯兩國也有姻親關係。