卻說劉備問計於孔明，孔明說：“可以趕緊離開樊城，去襄陽。”劉備說：“可是百姓跟著我多年，我不忍心丟下他們。”孔明說：“那就叫人告訴百姓，有願意一起走的，可以跟著。”於是，先派關羽在漢江岸上準備船隻。又叫孫乾、簡雍在城中宣告說：“現在曹兵要來，百姓願意跟隨的，就一起過江。”百姓都願意跟著，於是扶老攜幼，將男帶女，滾滾渡河。
過河就是襄陽，劉備來到城門前，勒馬大叫說：“劉琮賢侄，請打開城門，讓老百姓進去。”劉琮聽說是劉備，嚇得不敢出來。蔡瑁、張允來到敵樓上，叫軍士亂箭射下。劉備連忙躲閃。這時候，城中有一個將官，帶著幾百人衝上城樓，大喝：“蔡瑁、張允是賣國賊。劉使君是仁德的人，為什麽不給開門。”一看，這人身長八尺，麵如重棗，是義陽人魏延，字文長。魏延掄刀砍死守門將士，開了城門，大叫：“劉皇叔快領兵進城，一起殺賣國賊！”就見城內一將飛馬而出，大喝：“魏延無名小卒，安敢造反。認得我大將文聘麽！”魏延大怒，挺槍躍馬，就來交戰。兩邊人馬在城邊混殺，喊聲大震。劉備說：“本來想保護民眾，這樣卻害了民眾。我不進襄陽了。”孔明說：“江陵是荊州要地，可以去江陵，在那裏抵抗曹操。”
劉備說：“正合我意。”於是帶著百姓，向南朝江陵而去。魏延與文聘交戰，手下士兵都戰死了，魏延於是撥馬就走，卻找不到劉備，於是去投奔長沙太守韓玄去了。
劉備帶著軍民十幾萬，大小車子數千輛，眾將都說：“民眾太多，一天隻能走十幾裏，這樣會被曹操追上。帶著這麽多百姓，怎麽迎敵？不如暫時舍棄百姓。”劉備說：“做大事者必須以人為本。現在人家跟著我，我怎麽拋棄他們。”百姓聽說劉備這話，無不傷感。於是劉備帶著百姓，緩緩而行。孔明說：“追兵不久就要到。可以派關羽水軍從漢江去到江夏，向劉琦求救。”