《漢書·百官公卿表》中有這樣的記載： “太尉，秦官，金印紫綬，掌武事。”
秦代白起、繚曾任國尉，即太尉。漢建立後，還置太尉官一職，例如高帝二年，盧綰為太尉；高帝十一年，絳侯周勃為太尉；惠帝六年置太尉，以周勃複為太尉；文帝元年十月，將軍灌嬰被任為太尉；景帝三年，周亞夫為太尉等。
漢武帝建元元年，曾以田蚡為太尉，次年罷免。“太尉，武帝建元二年省。元狩四年初置大司馬，以冠將軍之號。” “至武帝罷太尉，始置大司馬以冠將軍之號，非有印綬官屬也。”可見大司馬隻是在將軍名號一個稱號，實際“非有印綬官屬”,不能開府治事。
從建元二年省太尉以後，漢武帝時實際上沒有管理軍事方麵的最高官員。武帝任命的大將軍、驃騎將軍、大司馬又冠以侍中頭銜，成了武帝的左右親信，他們就成了直接隸屬於武帝的軍事將領。武帝本人才是軍事方麵的決策者、指揮者和最高統帥。
漢武帝在任命軍事將領方麵，有唯才是舉的一麵，同時又十分注意這些將領與皇室的關係，以保證將領們忠誠可靠、無二心。從漢武帝選擇重要將領上可以看出其特點。
衛青、霍去病先為侍中，侍從武帝左右，後任命為將軍，戰功顯赫，有卓越的指揮才能，被授大司馬稱號。衛青為皇後弟、霍去病為皇後外甥，他們為皇帝忠心效力，這就是武帝信任他們的一個因素。
公孫賀被重用，除“賀少為騎士，從軍數有功”,武帝為太子時，賀為太子“舍人”為武帝所了解等因素外，和他是衛皇後的姐夫有關。
公孫敖為騎將軍、合騎侯，除別的條件外，也和他對衛青有救命之恩有關，《漢書》卷五十五《衛青傳》載衛青姊衛子夫“入宮幸上”,遭陳皇後妒，陳皇後母大長公主(武帝姑姑)“囚青，欲殺之，其友騎郎公孫敖與壯士往篡(奪取)之，故不得死”, “公孫敖由此益顯”。公孫敖一生，四為將軍，與大將軍衛青的提攜是分不開的。這是武帝提拔起來的一類將領的情況。