楊國忠府上有四座香閣。這四香分別是：沉香、檀香、麝香、乳香。樓閣用沉香木製作，欄杆用檀香木，把麝香和乳香分別摻和在泥裏用來抹牆，和這四香造成的樓閣清氣怡人，香飄四季，就連皇宮裏的沉香亭都比不上楊國忠家的四香閣。每年春天花開季節，楊國忠都邀請一些人來他府上做客賞花，客人們坐在四香閣中分不清撲鼻而來的清香是花香還是樓閣本身散發的香氣。看到楊玉環的親人們如此張狂，如此仗勢欺人，這是為什麽呢，還不是因為楊貴妃的原因，如果沒有楊貴妃，他們能得到這一切嗎？
而玉環對玄宗的感情也日益加深，希望玄宗隻寵愛她一個，已經容不得半點移情別戀，但再卿卿我我的生活也會遇到摩擦，更何況玄宗又是個風流天子呢？因此，在玄宗和玉環之間的感情生活中也曾先後出現過兩次小小的不愉快。第一次不愉快是發生在天寶五年，貴妃受到玄宗的責備，被送出宮。據說這次是因為一個叫梅妃的娘娘。
梅妃本姓江，是莆田縣人。父親江仲遜，世代當醫生。梅妃九歲的時候能朗誦《詩經》，對父親說：“我雖然是個女子，但期望把這種吟詩作賦作為自己的誌向。”她這番話令她的父親感到很驚奇。開元年間，高力士出使福建之時，梅妃已經到了盤發的年紀。高力士看到她年輕漂亮，把她選中，帶回皇宮，服侍玄宗。她得到了玄宗的寵幸，長安的大內、大明、興慶三宮
，東都洛陽的大內、上陽兩宮，幾乎有四萬嬪妃、宮女，自從得到梅妃之後，玄宗把她們都看成塵土一樣，宮中的美女也自認為及不上梅妃。
梅妃善於寫詩作文，把自己比作東晉的謝道韞。素淡的化妝，雅致的衣服，姿態明媚秀麗，用筆畫描繪不出來。梅妃生性喜歡梅花，在她住處的欄杆、門檻旁都種著幾樹梅花。玄宗還曾經在匾額上題寫《梅亭》二字。在梅花開放時，就作賦賞梅，到了半夜還留戀在花下，不願離開。當時，長期太平，天下沒有戰爭，玄宗對兄弟之間，都很友好親密，每天在一起閑聊的時候一定有梅妃在身邊侍候。玄宗明她切開橙子，去賜給各位親王，到了漢王麵前，漢王偷偷用腳踩梅妃的鞋，梅妃立刻退回閣樓裏。玄宗連續命令召她出來，梅妃回答說道：“正在穿鞋，珠子脫落，穿完珠子就來。”過了好長時間，玄宗實在忍不住了，就親自去命梅妃出來，梅妃拖著衣服迎接皇上，說道：“臣妾胸疾發作，不能前去了，請陛下見諒。”玄宗一見如此，也隻得作罷了。