最終，董卓立下了救駕的大功，回京後，便掌握朝中大權。
由於何進已死，張遼作為大將軍何進的直屬部下之一，便像何進的其他部屬一樣，統兵從屬於董卓。後來，董卓敗亡。張遼統兵從屬於呂布，遷任騎都尉。
張遼雖然“以兵屬呂布”，但他以北地太守或魯相的名義，在呂布軍中仍保持相對的獨立地位。
由於涼州軍人是董卓舊部，主持朝政的王允打算削弱涼州軍人的權力，於是，涼州軍人在李傕、郭汜、樊稠的帶領下紛紛造反，攻打長安，擊敗呂布，殺死王允。
北地太守張遼（北地位於涼州，在呂布向東逃亡之前，張遼就已經被朝廷授予此職）跟從呂布向東奔逃，所以張遼是並州人，起先根本不是呂布的直係屬下。
而呂布是一個典型的“劍客”（東漢遊俠一種，不一定使劍），在得到老鄉王允的支持後，他火拚了董卓。
王允利用皇甫嵩招降了部分涼州軍，但拒絕了皇甫嵩成為涼州軍首領的建議，對餘下的涼州軍各個頭目一副趕盡殺絕的態勢。
在這種情況下，李傕郭汜等人帶著剩餘的涼州軍外加白波軍餘部殺入了關中，擊敗了呂布、張遼手下的數千並州軍。
呂布不得不帶著部下四處混飯吃，他以老袁家的恩人自居，想投奔袁術、袁紹兄弟。
袁術本人是氣俠，對呂布很看不上眼，因此呂布隻好投奔了袁紹。
袁紹的氣度看起來比袁術好，呂布帶著手下數百精銳騎兵多次擊敗張的黑山軍。
呂布也有了老子天下第一的念頭，放縱手下在冀州搶劫，這激怒了袁紹。
袁紹派遣刺客刺殺呂布不成，呂布帶著並州軍隻好再次出逃，盡管出逃的很狼狽，呂布照樣嚇得袁紹關閉了鄴城大門。
天下雖大，呂布卻似乎走投無路。他得罪了李傕郭汜為首的涼州軍集團，李傕郭汜起兵攻打長安時就殺死了隨軍的數百並州士兵，對他這個挑起並州、涼州之戰的禍首發出了追殺令。