張居正少年老成不苟言笑，這一點既贏得尊重也讓人忌憚。他回到京城仍在翰林院供職。三十六歲時，由於徐階的推薦，張居正由翰林院編修升右春坊右中允，並兼管國子監司業事。
應該說，張居正的仕宦生涯，到此才有一個明顯的轉折。右春坊是專門負責太子學習的教育機構，當了這裏的右中允，名義上就是太子的老師了。而國子監則是國家唯一的大學，又稱太學，司業是主管教育的二把手。張居正同時兼任這兩個職務，便為日後的晉升打下了堅實的基礎。
世宗皇帝生過三個兒子，但到張居正擔任右中允的嘉靖三十九年，他隻剩下了一個兒子，餘下兩個皆病死。這個兒子即是後來成為隆慶皇帝的朱載垕。因為世宗不肯立太子，朱載垕當時的身份是裕王。張居正這個右中允，就是充當裕王的老師。
裕王是個寬厚的人，但一生嗜好酒色而不喜念書，他比張居正小六歲。張居正給他當老師時，已經三十歲了。這個年紀早已不是潛心讀書一心治學的最佳時候，何況裕王因為沒有太子的身份，名義上還不是儲君，因此老是擔驚受怕鬱鬱不樂。不過，徐階心中明白，大明江山遲早要交到裕王的手上，早早安排張居正當他的老師，怎麽講對張居正來說都絕無半點壞處。果然，六年以後世宗駕崩裕王繼位，是為穆宗。作為裕邸舊臣的張居正，一下子就進入到權力的中心。雖然，他此時的官階隻有五品，但已擔任首輔的徐階對他信任有加，特別援引他參加世宗遺詔的起草工作。穆宗一登基，張居正即被提拔為翰林院侍讀學士、掌院事。
五個月後，張居正又升任禮部右侍郎，一個月後，又升為吏部左侍郎兼東閣大學士，進入內閣參與機務，再過兩個月，又升任禮部尚書兼武英殿大學士。至此，剛滿四十二歲的他，成為朝廷裏最為年輕的內閣輔臣。他從六品官升任五品官用去了整整十二年，從五品官升任四品用去了五年，從四品官到二品卻隻用了九個月。