從6月26日起，日軍主帥橫山勇的精神便處於亢奮狀態。近一個月來，他指揮的八個多師團攻城略地，如入無人之境，其驕人的戰績令這位學者型戰將漸漸忘形起來。他決定隻動用68、116兩個師團參加攻城，把其他六個師團擺在衡陽外圍阻截援軍，至於攻占衡陽城的時間，橫山勇認為，三天之內足矣。
橫山勇的計劃不是沒有道理，因為守長沙的張德能第4軍比起方先覺的第10軍，無論從裝備到兵員都要強得多，僅從炮兵火力上計算，第4軍有火炮七八十門，其中還有一半是大口徑火炮，而方先覺的第10軍隻有十二門口徑較小的火炮。第4軍的兵員有24000多人，而第10軍隻有17000多人，況且衡陽市區的麵積要比長沙小得多，才兩平方公裏。擔當主攻任務的日軍68師團是11軍的精銳，向來以攻堅見長，並且進行過嚴格的攻城訓練，既然攻占長沙用了三天，那麽攻占衡陽也給三天時間，這應該沒有問題。
橫山勇認為自己對參加攻城的部隊有些過於寬容，攻占一個小小的衡陽城居然給了他們三天時間。
68師團師團長佐久間為人中將也很樂觀，他認為拿下這座城市根本用不了三天，司令官給三天時間完全是出於對部下的體恤。
佐久間為人中將口氣很大地向橫山勇作出保證：“請司令官放心，三天足夠了，三天之後我們在方先覺的指揮部見！”
這兩位中將並不認為自己的判斷有誤，事情是明擺著，占領衡陽城應該是一場一邊倒的戰鬥。
6月26日，日軍對衡陽城發動了第一次大規模攻勢。
日軍兩個師團順利完成了對衡陽城的鉗形包圍，68師團在南麵，116師團在西麵同時發動強攻，一個炮兵聯隊共60餘門野戰炮協同40架轟炸機對衡陽城內外陣地開始進行飽和轟炸，一時間城內外濃煙蔽日，牆倒屋塌，熊熊烈焰燃燒了半個城區。