建安十六年（211），魏、蜀、吳三國鼎立的局麵已形成。曹操控製了中原，西涼馬超不除，終是他的一大後患，然而用兵關中，又師出無名，因為馬超以及韓遂等關中各部，在名義上是受曹操統轄的。為了達到出兵關中的目的，曹操用激將法命鍾繇討伐漢中張魯，暗中卻命大將夏侯淵出兵河東，與鍾繇會師關中。曹操的行動激怒了馬超。“是時，關中諸將疑繇自襲，馬超遂與韓遂、楊秋、李堪、成宜等叛”（《三國誌·武帝紀》），這就是曆史上的馬超反西涼。馬超等人謀反，曹操討伐他們就有了借口。
馬超反叛後，屯兵潼關。曹操懾於馬超的勇猛和多謀，不敢與之硬戰，命令部下：“關西兵精悍，堅壁勿與戰。”（《三國誌·武帝紀》）同年七月，曹操暗中派遣徐晃、朱靈從蒲阪津（今山西永濟）夜渡黃河，立營河西，以截斷馬超的退路，但馬超對此早有預防，他提出對曹“宜於渭北拒之，不過二十日，河東穀盡，彼必走矣”（本傳裴注《略典》）。然而，馬超的這一良策，為韓遂所阻，未能實施。後來曹操得知馬超之策後，曾驚呼：“馬兒不死，吾無葬地也。”（本傳裴注《山陽公載記》）在徐晃、朱靈暗渡黃河的同時，曹操也親自從潼關北渡渭水，馬超在岸上追曹操舟楫，縱騎以箭追射，矢如雨下，曹操幾乎命喪於箭鏃之下。曹操渡過渭河後，“連車樹柵”“循河為甬道而南”，堅壁不戰，使善習長矛的西涼兵“不得以刺”。馬超求戰不得，割地不成，軍心遂漸驕而渙散。最後，曹操使用“離間計”，挑起馬超與韓遂互相猜疑，使關中諸將力量大大削弱，曹操乘機擊敗了馬超。馬騰及其宗族二百餘人後來也遭曹操“所誅略盡”。
馬超戰敗後，退還隴上。曹操也因北方有事，引軍東還。西涼冀城（今甘肅甘穀）楊阜素知馬超驍勇，曾對曹操說：“超有信、布之勇，甚得羌、胡心，西州畏之，若大軍還，不嚴為之備，隴上諸郡非國家之有也。”（《三國誌·楊阜傳》）曹操兵退之後不久，建安十七年（212）初，馬超果然率領西涼各路武裝攻打隴上郡縣，“隴上郡縣皆應之”。建安十七年八月，馬超占據冀城，並“自稱征西將軍，領並州牧，督涼州軍事”。同年九月，楊阜同薑敘、梁寬、趙衢等合謀以圖馬超。“阜、敘起於鹵城，超出攻之，不能下，寬、衢閉冀城門，超不得入。進退狼狽”，馬超見大勢已去，不得已去漢中投奔張魯。