魯定公九年，孔子五十一歲，剛過知天命之年的孔子，被魯國政府任命為中都宰。
中都是魯國西北部的一個城邑，在今山東汶上縣西約四十裏。這是一個小邑。
根據《孔子家語·相魯》的記載，孔子用禮的方法來治理中都。一年後，中都的男子在道路右邊行走，女子在道路左邊行走；馬路上丟失的財物，沒有人拾取，所用的生活用具也樸實無華，實用而不講究形式和包裝，人民的日常生活和生養死送都有禮有節。而且，根據人的才能大小，授任不同職務。當地的社會風氣煥然一新，四方的諸侯都紛紛效仿。
多年以後，孔子的弟子言偃（子遊）在魯國的一個小城邑武城任行政長官，孔子去看望時，和他開玩笑：
子之武城，聞弦歌之聲。夫子莞爾而笑，曰：“割雞焉用牛刀？”子遊對曰：“昔者偃也聞諸夫子曰：‘君子學道則愛人，小人學道則易使也。’”子曰：“二三子，偃之言是也。前言戲之耳。”[14]
孔子到了武城，聽見彈琴唱歌的聲音。孔子莞爾一笑：“殺雞哪裏用得著宰牛刀呢？”子遊沒有聽出老師的玩笑之意，不服，回答說：“過去我言偃聽老師說：‘君子學了道，就能惠愛百姓；老百姓學了道，就容易使喚。’”孔子轉身對身邊的人說：“各位，言偃的話對啊。我剛才是跟他開個玩笑啊。”
孔子為什麽和子遊開玩笑呢？因為他的心情特別好。為什麽呢？因為他的弟子、武城的行政長官言偃正在武城實踐著他的以德治國的理論呢。聽著滿城飄來的弦歌之聲，好像他所向往的古樸民風又回來了，他能不高興嗎？
說不定，孔子也想到了自己初仕中都宰的經曆吧。中都也是一個相當於武城的小邑，而且，他就是從那個小地方著手，做出了大成績。於是，我們就能明白孔子此時和子遊開玩笑的深層次原因了——他自己在當時不是一把更大的牛刀嗎？他就用牛刀殺雞，而且效果很好。