進入內閣後，張居正並沒有得意。這個時候的明朝非常混亂，土地兼並現象嚴重，流民四處逃散，朝中國庫空虛。北方韃靼經常騷擾中原，南方的土司也借機爭奪權力，尤其是岑猛叛亂使“兩江震駭”，東南部的倭寇又趁機作亂，騷擾東南沿海，民不聊生。
而讓張居正最擔心的是朝廷內閣中的內部矛盾以及鬥爭。嘉靖四十一年（1562年）嚴嵩被扳倒後，徐階被任命為首輔大臣。從那時起，徐階就和張居正一起起草世宗的遺詔。遺詔糾正了世宗時期的各種弊端，並為含冤而死的忠臣恢複了官職，這些做法都受到了朝廷與民間的廣泛好評。
但是徐階也不是十全十美的人，他也有失誤的時候。在扳倒嚴嵩、自己當上輔政大臣之後，他極力提拔一些清廉的官員，其目的是改變嘉靖時期的腐敗狀況，可是徐階的疏忽卻引發了一場十分激烈的朝政矛盾。而這場政治矛盾不僅使徐階斷送了自己的仕途，甚至也將張居正推入了洪流。
嘉靖四十五年（1566年），裕王繼位後，徐階極力推薦高拱，於是高拱被任命為禮部尚書兼文淵閣大學士並進入內閣參與朝政。在穆宗麵前，高拱十分圓滑，深得穆宗信任。在這種情況下，他漸漸地變得清高自負，對於那些不肯依附自己的大臣采取了打壓的手段，很多官員都因被打壓而辭官回鄉，因此那個時候高拱得罪了很多人，其中包括徐階。
高拱與徐階之間的矛盾積累了很久。早在嘉靖年間，高拱就因為直言不諱得罪了徐階。那個時候，世宗皇帝經常住在西苑，若要商討朝政之事也隻是差人傳來一些大臣問話，而那些被傳喚的大臣都會因此而驕傲。一天，世宗皇帝又一次傳來大臣並對他們說：“現在很多大臣都在西苑務事，但是文淵閣卻沒人照看，應該有一個人長期照看文淵閣。”高拱聽到後卻對徐階說道：“您年紀已經大了，因此您應該一直留守在文淵閣，一旦有事情我們會過來跟您匯報。”徐階聽到這些話後非常生氣，因為很多比徐階資曆老的大臣都對他畢恭畢敬，隻有高拱似乎不買賬。