公孫瓚，字伯珪，遼西令支（今河北遷安西）人。他雖然出身於二千石的名門望族，但因其母身世卑賤，故青年時隻做了郡丞書佐（秘書）的小官，很不得意。但他聰慧銳敏，又是一表人才，因此得到遼西郡侯太守的賞識，做了侯門女婿。侯太守介紹公孫瓚到涿郡大名士盧植門下讀經，在那裏結識了劉備。兩人同窗，情同手足。這一淵源對於兩人後來的經曆，都有極大的影響。
公孫瓚完成學業後歸郡做了郡吏。漢末清議盛行，士人注重名節。公孫瓚的頂頭上司劉太守坐事下獄，在押送京師洛陽途中，公孫瓚親自駕車護送。劉太守被判充軍日南（今越南北部），公孫瓚具辦酒食，在洛陽北芒山下為太守餞行，替他祭祀祖先，慷慨激昂，於是獲得好名聲，被舉為孝廉，提升為遼東（今遼寧南部、東部）屬國長史，帶兵禦邊。
公孫瓚頗有勇力，敢於衝鋒陷陣。一次巡行邊境，他率數十騎與數百鮮卑騎兵狹路相逢，隻得退入空亭中。他向左右大呼：“我們若不一鼓作氣衝出去，那就全都要困死在這裏。”他帶頭向胡騎猛衝，重創數十人，殺開一條血路，突圍而去。自此，鮮卑不敢輕易入塞侵擾。事後，公孫瓚被提升為涿（今河北涿州）縣令。
在征伐塞外少數民族時，公孫瓚常騎著渾身雪白的高頭大馬，身先士卒，奔馳於草原。他每戰必勝，久而久之，烏桓、鮮卑都嚐到了騎白馬者的厲害，互相轉告：“若有騎白馬者追來，一定趕快避開，否則性命難保。”既然烏桓、鮮卑害怕白馬，公孫瓚為了加強對他們的威懾作用，專門精心挑選白馬數千匹，由剽悍騎士組成一支戰鬥力極強的騎兵隊伍，號曰“白馬義從”。每次征戰，一聲令下，沉寂的塞外高原喊聲震天，塵土飛揚，白壓壓一片鋪天蓋地而來。烏桓、鮮卑兵士聞風喪膽，逃之夭夭。於是，公孫瓚威名大振。