曹操麾下“謀臣如雨，猛將如雲”，謀臣之首當推荀彧，猛將之雄則為張遼。
張遼字文遠，並州雁門郡馬邑（今山西朔州）人。張遼生在邊郡，長於騎射，武力過人，年輕時為郡中小吏。東漢末年，並州刺史丁原受詔將兵入京，任張遼為從事。丁原被部下大將呂布殺害後，部眾均歸呂布。呂布殺董卓，張遼升任騎都尉。後呂布戰敗，東奔出關，張遼追隨之。
在呂布與曹操爭奪兗州、徐州的長期戰爭中，作為重要將領的張遼屢立戰功，使曹操吃了不少苦頭。呂布據徐州時，張遼被任為魯相，時年方二十六歲。
曹操擊滅呂布後，張遼降操，被任為中郎將，封關內侯。後遷為裨將軍。
張遼與關羽是知心密友，在關羽被迫降曹操後，曹操懷疑關羽無久留之意，讓張遼探問之。關羽對張遼談了自己的心事，說：“吾極知曹公待我厚，然吾受劉將軍（劉備）厚恩，誓共生死，不可背之，吾終不留。”張遼欲將此事告訴曹操，又怕曹操因此即殺關羽，則負朋友，不告，則負曹操，三思後乃歎曰“公君父也，羽兄弟耳”，於是告之。
官渡之戰後，曹操派張遼平定魯國諸縣，並與夏侯淵等率兵圍叛將昌豨於東海郡。昌豨據險固守，曹軍攻數月不克，糧盡。諸將商議，欲引軍還。張遼對夏侯淵說：“數日以來，每行諸圍，豨則屬目視遼，又其射矢更稀，此必豨計猶豫，故不力戰。遼欲挑與語，倘可誘也。”於是，張遼單身上昌豨所據之三公山，入其家，拜其妻子，動員昌豨降曹，並保證曹會赦其罪。昌豨為呂布舊部，知張遼為人忠誠，於是歡喜放心投降。之後，張遼又陪昌豨見曹操，曹操赦之遣還。
後來，張遼又參加了討伐袁尚、袁譚的戰爭，屢立戰功，行中堅將軍。建安九年（204），從曹操攻破袁氏都城、河北重鎮—— 鄴城。此期間，張遼又率別軍先後討平陰安、趙國、常山、海濱等地，戰功卓著。故其平海濱，還鄴時，曹操親自出城迎接張遼，並且與張遼同坐一車，以示嘉獎。