張居正於嘉靖四年（1525年）五月初三在荊州府江陵縣出生，而他的祖籍卻並不是在這裏。張居正的家譜十分簡單，隻能向上推算到元末。張居正在他回憶父親的一篇文章裏記載，張家族譜上的遠祖是張居正的七世祖，名為張關保。張關保是南宋抗金名將張浚的後人，家住鳳陽府定遠縣，就是現在的滁州。張關保與明太祖朱元璋是同鄉，與明朝的開國名將李善長也是同鄉。在元朝末年張關保加入了紅巾軍的隊伍，和鄉親們一起造反。在這期間，張關保一直追隨朱元璋打天下。
據張居正的記載，張關保是一個非常忠厚老實的人，一直踏踏實實地做一名小兵，以至於在徐達以及湯和做了開國元勳後的很長一段時間內，張關保還一直是徐達麾下的小兵。後來，張關保在一次戰役中立下了軍功並得到了封賞。那是在一次渡江戰役中，徐達及其麾下成員的目的是要占領采石磯，在攻占的過程中，張關保非常英勇，率先衝入敵陣勇猛殺敵，最後成功地占領了采石磯。戰役結束後，張關保得到了封賞。在後來的戰役中，他又屢屢立功，受到了非常多的封賞。張居正在《先考觀瀾公行略》中也為張太保的功績感到自豪。張居正說：“張關保，國初以軍功授歸州安禦千戶。”就這樣，張關保因軍功而被授予了軍職並分配到了荊州府的歸州，也就是現在的湖北秭歸。
當時的明朝實行軍分區的軍事製度，和現在的軍分區是一個性質，就是在各府的要地設立衛，而衛就是指整個的一個軍分區。衛下設立五個千戶，每個千戶直接管轄一千二百多人。由此看來，當時的地方軍事將領的勢力非常大。另外，那個時候千戶是一種世襲的榮耀，可以代代相傳。而張關保的千戶榮耀隻傳到了後輩第四代，到了張居正那一代便更無緣了。