一直扯順風旗弄得山呼海嘯的張璁，終於嚐到了罷官的滋味。當他來到通州張家灣，在此上運河船返回故鄉時，寫了《舟發張家灣》一詩：
離家十三載，入閣四五年。
冠裳叨一品，禮樂際三千。
遇主真明聖，為臣愧不賢。
明農何敢望，尚有舊耕田。
想到自己將要回家當田舍翁了，張璁心有不甘，卻又無可奈何。一路行來，不覺到了天津。忽然，有快馬來到碼頭，一人跳下馬來登上張璁的歸船，傳達世宗的旨意，要他即刻返棹回京。
九月一日，張璁回到京城。卻說張、桂二人免職後，世宗又後悔起來。他內心中對桂萼的以權謀私已產生了厭惡，但對張璁仍有好感。兩人離京後，他下旨將告狀的三位給事中下法司審問，然後派人去把張璁追回來，而桂萼則聽憑其去。這兩人雖然是一條繩上的螞蚱，但人品確有不同。桂萼性貪，張璁卻保持清廉。桂萼陰謀多，張璁所作所為雖有小人行跡，但出的招數都是陽謀，這也是他最終獲得世宗獨寵的緣由。
張璁八月十四日離開內閣，九月一日回來，前後相差半個月，世宗不但親切地接見了他，還給他送了一個特大的禮包：首輔的烏紗帽。
在張璁回來之前，楊一清因屢遭張、桂同黨攻擊而申請退休，世宗準了他，這也是招回張璁的原因之一。
研究世宗朱厚熜與閣臣張璁的性格，有很多相似之處：世宗執拗，撞到南牆不回頭；張璁倔強，睚眥必報。世宗當皇帝，如同一場白日夢；張璁當首輔，如同天上掉餡餅。這兩個人弄到一處，是另一類的風雲際會，猶如大戰風車的唐·吉訶德有了一個忠心耿耿的仆人桑丘。但是，兩人除了惺惺相惜，有時也爭得麵紅耳赤。世宗一急了，就以罷官來威脅；張璁不高興了，就以辭職來要挾。從嘉靖八年到十四年這六年時間內，張璁三次被免職，最短一個月，最長達到一年。在三起三落中，張璁我行我素。滿朝文武在看慣了張璁可恨的一麵後，也看到了他可愛的一麵。