世上之事，總是一物降一物，重騎兵時代的來臨，便促使他們的對手千方百計想出一個應付的招數來。
這件兵刃，還真是深受騎兵之苦的南方人想出來的，最初的製造者可能是江淮一帶的工匠。《新唐書》說，隋末的江淮起義軍杜伏威，手下有個猛將，姓闞名棱，長相就很雄壯魁梧，他所擅長的兵器，就是一種長一丈、兩刃的刀。戰場之上，他一揮動這把刀，就殺死數人，幾乎是戰無對手。後來杜伏威歸降了唐朝，闞棱也跟隨歸唐，做官做到越州都督（紹興軍區司令）。等到江南梟雄輔公祏打著杜伏威的旗號反唐，闞棱便被派去鎮壓叛亂，結果他中了反間計，被李世民的堂哥李孝恭處死，一直到李世民即位，才得以平反。
可能就是這個時期，闞棱擅用的這把刀，便傳到了北方，得名陌刀。可是為什麽叫這個名呢？難道是北方人覺得這把刀看上去很陌生？又或者按照“陌”的本義，是指田間東西方向的道路，引申為生疏不熟悉？而這把刀叫陌刀，很可能就是“開路之刀”的意思。
從曆史事實來看，唐朝軍隊，確實是將陌刀作為開路大殺器來用的，隨後更發現拿這種兵器來對付漠北騎兵，頗有奇效。裴行儉就組建了一支陌刀部隊，用於壓製突厥的騎兵優勢。《資治通鑒》記載，裴行儉聽說突厥襲擾唐軍的運糧道，就組織了一支假運糧隊，每輛運糧車上埋伏五個壯士，使用的兵器就是陌刀加弩。突厥人果然上當，大呼小叫衝過來搶糧食。於是就在他們接近糧車之際，士兵拿起陌刀，對著突厥人就是一頓亂砍——據說當場斬殺數千人，使突厥人很久都不敢再來做這種偷雞摸狗的勾當。
唐明皇開邊的那個年代，陝西有個大力士叫李嗣業，長得人高馬大，後來就從軍去了安西都護府，也就是這個時候，陌刀傳到了西北地區，李嗣業還就適合用這件兵器，每次戰鬥都拿著一把陌刀，衝鋒在前，殺敵無數，慢慢地就有了點名氣。天寶六年（747年），高麗人高仙芝擔任安西行營節度使，攻打當時的小勃律國（今克什米爾），任命李嗣業做他的左陌刀將，也就是專門使用這種大刀開路的行動隊長。結果他半夜裏渡河，帶領步兵爬上高山，往下推石頭砸擊敵軍，敵軍意想不到，掉下山崖的十有八九，李嗣業立下大功獲得提拔，當上了右威衛將軍。