自從曹操退兵以後，劉備便在小沛住了下來。要說劉備為啥要住在小沛呢？首先，劉備已經是豫州刺史了，當然要住在豫州；第二，這裏離徐州彭城很近，能與陶謙守望相助；第三，小沛豫州、徐州、兗州交界之處，距離徐州、兗州邊界均不足五十裏，地理位置優越，向南能掌控豫州，向西能威脅兗州，向東自然利於入主徐州。而陶謙同意讓劉備住在小沛，一則是二人可以互為犄角抵禦曹操，二則是希望劉備作為徐州的外圍防線。
劉備一邊在小沛厲兵秣馬、招攬人才，準備大展拳腳，成就一番事業，一邊盤算著如何在兗州、豫州、徐州這塊土地上分上一大塊兒蛋糕。運氣來了擋都擋不住，今年秋天曹操剛打完徐州回去，本就垂垂老矣的陶恭祖連嚇帶病，終於一命嗚呼了。都說知子莫如父，這陶謙對自己的兒子太了解了，就算沒有和曹操結仇，他們也守不住徐州的基業，更何況此時徐州已經亂成了一鍋粥。與其讓兒子繼承個爛攤子，將來被人殺死，不如做個順水人情，讓別人來保護自己的兒子。於是，陶謙在臨死之前對別駕糜竺說：“要想使徐州安定，隻有劉備一人能做到。”
陶謙這邊剛死，糜竺便帶著州裏大大小小的官吏來到了小沛，請劉備入主徐州，主持大局。要說劉備想不想擁有一州之地，當然想太像啦，可是劉備沉吟片刻，婉拒了，沒敢當時就答應。畢竟自己初來乍到，人生地不熟，不知道這些人是真心擁戴自己做首領呢，還是想把他架空做個傀儡呢？另一方麵，自己手裏資本太薄了，不敢滿口答應。於是便對眾人道：“備初來乍到，對徐州未有尺寸之功，怎敢居於高位。且陶公有二子，理應繼承州牧之位。”
糜竺就不同意了，反駁道：“陶公生前就說過，兩個兒子都不能守住基業，唯有劉使君能安定徐州。且州牧並非爵位，哪兒有父子相繼的？”