江蘇徐州，是位於鐵路幹線樞紐的一個城市，國民黨的兩位主要將領劉峙和杜聿明及其指揮部就駐紮在這裏。淮海戰役期間，在徐州的東部、西南部和西部先後進行了四次重要戰鬥。在前三次戰鬥中，每一次國民黨軍隊都有大約10萬人被殲滅。第四次戰鬥中，國民黨又有兩個兵團遭到了同樣的下場。在這四場戰鬥中，共產黨的策略是，當國民黨軍隊輕率地離開其據點來到開闊的鄉村時，就立即包圍他們。一些國民黨部隊堅持抵抗，直到彈盡糧絕；另一些則在嚴酷的戰鬥剛一開始就繳槍投降了。國民黨軍隊曾一度完全掌握了製空權，卻無法使用他們的空中力量重創共產黨軍隊，也不能向自己被包圍的部隊補充充分的食品與彈藥。同時，他們也沒能有效地利用自己的裝甲部隊，盡管這場戰役是在開闊的平原地區展開，並且是在冬季，天寒地凍、土地相當堅硬，十分有利於裝甲部隊作戰。
蔣介石本人常常對作戰計劃進行幹預，並親自坐陣指揮戰事，但這隻能給他的戰地指揮官們造成混亂。加之後勤供應短缺、情報失靈及通訊係統不完善等，也嚴重地妨礙了他們的指揮。他們一再遭到襲擊，而且被迫在共產黨挑選的時間與地點作戰。他們為此付出了慘重的代價。杜聿明和另一個兵團司令被俘，另外兩個兵團司令陣亡，大約有55萬國民黨軍隊被消滅。
國民黨的失敗意味著共產黨打開了通往南方的道路，也意味著國共雙方和談的條件將由共產黨說了算。在淮海戰場最後一批國民黨軍隊投降之後的第四天即1949年1月14日，毛澤東發表了一個聲明，要求國民黨軍隊全麵投降，還包括廢除國民黨政府，懲辦包括蔣介石在內的“戰爭罪犯”，將國民黨武裝改編為人民解放軍以及建立一個“民主聯合政府”以取代“南京國民黨反動政府”等。蔣介石拒絕接受這些條件，但在此後卻馬上辭去了中華民國總統的職務。原來的副總統李宗仁—北伐的幸存者之一，同時也是很少的幾個在抗日戰爭中曾打過勝仗的國民黨將軍之一—成了代總統，並且開始與北平的共產黨談判，這時北平已經落入共產黨的手中。但是共產黨毫不讓步。4月，李宗仁的談判代表不得不帶著一份和平協議草案回到南京，這個草案包含了毛澤東最初所提的全部條件。4月20日，李宗仁表示拒絕接受這個協議草案。第二天，共產黨對此作出了回答：他們在數百公裏的戰線上強渡了長江。