朝廷正在謀劃和談之時，越南的清軍卻士氣高漲，氣勢如虹。文淵沒費一槍一彈就收複了，因為法人從鎮南關退下來的當天就全部撤到了諒山。
諒山位於淇江南岸，雖是省城，卻不過是個方圓三四裏的小城。當初援越桂軍把這裏作為指揮部，徐延旭和潘鼎新都駐在這裏。後來尼格裏占據這裏後，也把這裏作為司令部，醫院、彈藥庫、電報房都設在這裏。
與諒山隔江相望的是驅驢墟，這裏地勢險要，當初清軍曾建有堡壘，尼格裏占據這裏後，又將堡壘加固修整，配備成左中右三處火力點。從鎮南關敗下來後，他把全部人馬和火炮都部署在這裏，嚴陣以待，希望能在此固守待援。
王德榜率部猛追，一直追到諒山。當初他也曾在驅驢墟駐兵，對這一帶地形很熟悉，所以毫無顧忌。來阻擋他的主要是越南軍隊，並無多強戰鬥力，與他一觸即潰。王德榜率軍一直追到驅驢墟前，看著法軍和越南軍倉皇逃進去，他不待多想，便督促部眾咬住敵軍跟進。沒想到驅驢墟左中右三處堡壘一齊開火，他們猝不及防，許多人紛紛倒地。王德榜想退也退不回去，要攻又抬不起頭來，眼看著部眾被當成活靶子卻毫無辦法，急得直跺腳，直恨自己沒腦子，中了法夷的誘敵之計。
這時，法軍的炮火突然向右翼集中。
“將軍你看，是萃軍！”一個屬下大叫道。
果然，萃軍在馮相榮的帶領下猛攻敵軍右翼的堡壘，王德榜命令部下立即撤離。
右翼是法軍的弱點，馮相榮帶人猛攻，中間堡壘的法軍在一名軍官的指揮下前往支援。馮相榮指揮部眾向法軍射擊，硬是把他們壓了回去。見王德榜部眾撤了出來，馮子材才下令撤軍。王德榜縱馬來到馮子材麵前，抱拳道：“多謝馮軍門，不然末將可真要全軍覆沒了。”