其實衛青本不姓衛，本姓鄭，後改的姓衛，乃是河東平陽人。衛青其實乃是衛子夫的母親與別人私通才生下來的孩子，在生下來的時候還差點兒死於非命！
衛青的父親鄭季原本是平陽侯曹壽府裏的一個小差役。在這其間，平陽侯的女仆衛媼因為死了丈夫，就與鄭季私通，不久就生下了衛青，所以衛青小的時候又叫鄭青。在剛生下來的時候，鄭季害怕被人恥笑，就想把這個孩子扔掉，誰知道被接生的老媼給攔住了，老媼說道：“請聽老婦一言，老婦接生過的孩子無數，可是從來都沒有見到過一個像這個孩子一樣的，像這孩子麵目紅潤，聲音圓爽，胞衣紫綠，也許將來有出息也未可知呀？”鄭季聽完之後，覺得有道理，就把這個孩子留了下來。
又過了幾年鄭季離開了平陽侯府，回到了自己的老家，不過他走的時候也把小衛青也帶上了。其實鄭季的家裏已經有一房妻室了，並且還生了幾個子女，所以當妻子滿心歡喜的歡迎丈夫歸來的時候一見丈夫身旁還帶著一個小孩子的時候，她實在是難以接受，對自己的丈夫是又氣又駭，從此以後除了平時對鄭季總是以白眼相待外，還經常把氣撒在小衛青的身上。
俗話說六月的日頭，後娘的拳頭，毒著哩！鄭妻白天要小衛青上山去放豬，晚上就把小衛青關在豬圈旁的小屋子裏。平時鄭季另外的幾個小孩子經常是衣著光鮮，手裏還拿著一些精美的食物到處去玩樂，可是小衛青經常是衣不蔽體，食不裹腹，即使這樣，還經常要遭到鄭妻的責罵和毒打。連鄭家另外的幾個小孩子都不拿小衛青當人，都一致把小衛青當成外人，當出氣筒，動不動就拳腳相加，把小衛青打得躺在地上半天也爬不起來。有的時候小衛青也像自己的父親訴苦，可是他父親的日子也比他好