大唐至德二載（757）夏，鳳翔行在皇帝李亨在宣布將諫議大夫張鎬擢為中書門下平章事的同時，罷除了原宰相房琯中書門下平章事的職務，另拜房琯為東宮的太子少師。太子少師位居東宮“三少”之首，階高二品，比宰相還高一品，但是沒有實權，職責是輔導太子讀書，位高職閑，是德高望重之輩養老的官位。
房琯被罷黜宰相職位，無論是在鳳翔還是在成都，兩個行在朝廷都引起一場軒然大波。有人說該罷，有人說不該罷。住在成都行宮的太上皇李隆基認為，兒皇罷黜房琯是項莊舞劍——意在沛公，一連多天食不甘味，臥不安席，唉聲歎氣，暗自垂淚。鳳翔行在新皇帝李亨心想，若不是礙於太上皇的麵子，恨不得將房琯一撤到底，貶為庶民，甚至殺了他都不解心頭之恨。
房琯是武則天時的宰相房融之子，生於武後萬歲通天二年（697），曾在伊陽山埋頭讀書十年，學富五車，滿腹經綸，常設宴聚友，高談闊論，對朋友也十分熱情真摯，因此名噪朝野。房琯先由門蔭入為弘文館學士，後又參加才可宰百裏堪任縣令科製舉，被授為盧氏縣令。開元、天寶年間，因不願媚附李林甫和楊國忠，數次入朝又數遭貶謫，在地方一幹數十年，任過許多地方的縣令和太守。房琯為官清正廉明，善於體恤百姓疾苦，是位極受百姓擁戴的親民之官。天寶十三載陰雨連綿，老天爺一氣下了幾個月的雨。玄宗擔心水澇毀了莊稼，常憂心忡忡，坐臥不安。楊國忠為了粉飾太平，下令嚴禁地方官員奏報災情，同時派人找了幾棵長得好的禾苗拿給李隆基說：“雨雖多，但未傷莊稼，陛下何憂？”房琯時任扶風郡太守，眼見大片田地漬水，莊稼顆粒難收，民遭饑荒，路有餓殍。一麵開倉賑災，一麵連續多次向皇帝上書，強烈要求朝廷免除扶風郡民這年的租稅，為此差點被楊國忠整死。