曹操在南征孫權、劉備於赤壁失敗後於209年七月自渦水、淮水出兵到達合肥，想攻取合肥，卻不想又敗於孫權之手，曹操感到向南實在難以發展，於是他便目光轉向了東麵的關中、涼州及漢中。關中、涼州是馬騰和韓遂的勢力範圍，雖然馬騰和韓遂表麵上臣服於朝庭，馬騰與先前入鄴城作為人質的馬鐵、馬休二子又入朝為官，韓遂也派兒子到鄴城作為人質，但實際上關中、涼州仍是馬騰與韓遂的割據範圍，並不完全服從王化，所以，曹操便想先取關中、涼州，再去取漢中及至益州。
關中地區的部隊是由十個大小軍閥組成的聯合體，馬騰和韓遂隻是這個聯合體的兩個頭領，平時他們分散割據於自己的地盤，但在有外敵入侵時他們會集中起來共同對敵。
此前馬騰與韓遂因部曲間的矛盾發生衝突，韓遂殺掉了馬騰的妻子，兩人連年交戰，互不服氣，208年，曹操派司隸校尉鍾繇和韋端前去勸和，加封馬騰為前將軍，改屯於槐裏，封為槐裏侯、假節，同年，張既勸說馬騰放棄部隊入朝為官，曹操表馬騰為衛尉，其部隊由長子馬超統領。
馬騰帶著家屬遷往鄴城，與先前在鄴城為人質的次子馬休、三子馬鐵住在了一起，曹操又表馬休為奉車都尉、馬鐵為騎都尉。
曹操有心想取關中及涼州，但是曹操對外卻隻字不露，畢竟鄴城內還有馬騰父子及韓遂的兒子，曹操隻說要去取漢中。但要去取漢中，曹軍必須要經過馬超和韓遂所控製的關中地區，在舉行的軍事會議上，曹操闡明了自己的想法：借關中道路去取漢中，丞相倉曹屬高柔諫道，“丞相，如果借關中道路去取漢中，馬超和韓遂必定生疑，甚至會舉兵阻攔，以我看，丞相不如先取關中，如果關中平定，丞相隻要一封書信到達漢中，漢中張魯必會舉城投降。”