衛青原籍平陽（今山西省臨汾市西南）。父親叫鄭季，在平陽侯家做事，和府裏一個姓衛的侍妾有了私情，生下他。由於他的父母並不是正式的夫妻，他隻好跟著母親姓衛，取名叫青，字仲卿。
衛青稍微長大後，就被送回父親身邊。但父親並不怎麽關心他，總是派他去牧羊。異母兄弟們也都瞧不起他，老是把他當奴仆使喚，不承認他是兄弟。
有一回，他跟著哥哥們到甘泉宮當差。當時有個身戴枷鎖的囚犯看見衛青，立刻叫住他，驚喜地告訴他：“你這相貌，是貴人之命，將來一定大富大貴，裂土封侯！”
衛青聽了苦笑著說：“我現在過的日子，比一個奴隸還不如，能夠少受點鞭打責罵就心滿意足了，哪裏還敢妄想裂土封侯？”
那囚犯卻信誓旦旦地向衛青保證：“相信我，我絕不會看錯的，再過不久就會應驗了。”
衛青的同母姐姐衛子夫長得花容月貌，美麗動人，被漢武帝看中，召進後宮，衛青也跟著進宮當差。
當時的皇後是大長公主的女兒，眼見自己的地位就要被衛子夫奪去，又嫉又恨，竟把怒氣發泄到衛青身上，借故逮捕衛青，準備將他處死。幸好摯友公孫敖極力奔走，才把衛青救出來，使他幸免於難。
漢武帝知道這件事後，就提拔他做建章監，不久又升他為侍中。衛子夫被封為夫人後，衛青也跟著升為太中大夫。
元光五年，衛青被任命為車騎將軍，奉命帶兵到上穀（今河北省張家口市一帶），與自雲中出兵的輕車將軍公孫賀、自代郡出兵的騎將軍公孫敖、自雁門出兵的驍騎將軍李廣，一起征討匈奴。
衛青一到龍城，就與匈奴發生激戰，殺死匈奴兵數百人。可是騎將軍公孫敖卻折損了七千名士兵；而李廣也被匈奴俘虜，幸而又逃了回來。按照律令，他們本該處斬，漢武帝念在兩人以前都立過汗馬功勞，免了他們死刑，將他們貶為平民。