貞觀二十三年（649），唐高宗李治登基稱帝。
剛消停沒多久的高陽公主又成為太極宮的常客，每次見到李治，她就跟怨婦一樣，喋喋不休，揚言大伯哥房遺直待他們夫婦不公，希望李治可以出麵幹預，將梁國公的爵位封賞給房遺愛。
房府的那點兒事，已經鬧得滿城皆知。李治和老爹一樣，不可能為了高陽公主的私欲去破壞老祖宗的製度，因此隻是冷淡對待，充耳不聞。
李世民死了之後，高陽公主的地位一落千丈，就連曾經示弱的房遺直也開始硬氣起來。
房遺直：你是公主又怎麽樣，想要繼承權，沒門！
高陽公主：房遺愛，你親自去和皇帝說。
永徽三年（652）十一月，房遺愛和房遺直因為繼承權的事兒，再次鬧到了李治的跟前。這一次，李治看高陽公主不在場，立馬就發飆了：“你們家這點事鬧了多少年了，身為功勳之後，朝廷的臉麵都讓你們給丟盡了！你們給朕滾遠點！”
“陛下，滾到哪兒去呢？”
李治：“房遺愛，你去做房州刺史（今湖北省十堰市房縣），房遺直，你去做隰州刺史（今山西臨汾市隰縣），朕眼不見心不煩。”
消息一出，高陽公主蒙了，她實在是沒想到，慈眉善目的李治也有這麽狠的時候，這下可怎麽辦，偷雞不成蝕把米啊！如果房遺愛被貶到外地，她一個人在長安還能翻起什麽大浪來？
高陽公主坐不住了，她馬上跑到太極宮，在李治的麵前撒嬌賣萌，在李治不買賬的情況下，高陽公主最終放出了大招：房遺直這小子想非禮她！
好囂張的家夥啊！連皇家的公主都敢侵犯？隻能說，侵犯的是高陽公主的身體，卻是李世民和李治的尊嚴，這絕對不能忍。
當時，房遺愛和房遺直還沒有離開長安，李治迅速派人扣押了房遺直，想要證實高陽公主的話。麵對皇帝的詰問，房遺直徹底寒心了，家門不幸啊，既然你不仁，也別怪我無義了。