但是，季孫肥並沒有馬上召回孔子，正如司馬遷所說的，孔子的一生，“諸侯害之，大夫雍（障礙）之”[8]。當季孫肥準備聽從父親遺訓要召回孔子時，一個叫公之魚的人阻止了他。
公之魚對季孫肥說：“以前你的父親用孔子，卻不能堅持到底，最終被諸侯嘲笑。現在，你再用孔子，又不能堅持到底，那不是還要被諸侯嘲笑嗎？你一家兩代都要因為孔子而在諸侯那裏丟臉了。”
季孫肥一聽，想：“對啊。這個孔子，罵過我爺爺，傷過我父親，如果我把他召回來，再忤觸了我，我季孫一家三代的英名都要毀在他一個人手裏了。”於是，季孫肥打消了召回孔子的念頭。
問題是，公之魚為什麽如此自信地說季孫肥用孔子，也會如同他父親一樣，會有始無終呢？很簡單，他知道孔子的政治追求、政治立場和“三桓”不同。“三桓”不會放棄自己的利益，孔子也不會放棄自己的立場。
大人有大人的思路，小人有小人的心思。小人的心思有他自身的邏輯，從他那個立場看，有他的合理性。小人的說法往往比君子的道理更能打動人，是因為小人的說法往往更能觸及人內心的私念，從而一拍即合，暢通無阻。而小人暢通無阻的地方，君子也就雍塞不行了。
孔子此次終於沒能回到魯國。一個小人的一番話，就讓孔子回國的希望破滅了。
但是，不召孔子回國，季孫肥要擔不順父親遺命的罪責。所以，他們采用了一個折中的辦法：召回孔子的弟子冉求。
孔子有那麽多弟子，為什麽一定要召回冉求呢？因為，在他們看來，冉求有兩個特點：
第一，冉求是財政專家，可以幫助季氏斂財；
第二，冉求比較聽話。
雖然魯國政府使者帶來的不是召他回國的消息，而是召冉求回國，孔子不免失望，但是，孔子還是為冉求高興，他對弟子們說：“這次魯國政府召冉求回國，不會是小用，一定是大用。”