宣帝太子劉奭立，為元帝。他所信任的臣下有自宣帝朝繼承而來的外戚（史高、史丹，丹亦為元帝做太子的有侍從）以及自己做太子時的師傅（蕭望之、周堪）與侍從（金敞），兩者兼有的王商，後還增加蕭、周與金推薦的宗室劉向。其中史高、蕭望之與周堪為宣帝臨終前確定的輔政大臣[32]，不過，史氏父子與王商之外的四位很快就在權勢爭奪中落敗，為時不過一年左右。元帝一朝大部分時間中受信任的乃是自宣帝時便任職宮中的宦者中書令弘恭、石顯（先任中書仆射，恭死任中書令）與五鹿充宗（先為尚書令；後為少府，前38-前33年在任）三人。弘、石與史高三人，宣帝朝便均在宮中為官，應早就熟識，因蕭、周頗受元帝器重，史高備位，故漸生矛盾（漢81/3332），與弘、石聯手打壓欲排除同為宦者的蕭、周等[33]，元帝態度曖昧，終迫使蕭望之自殺（初元二年十二月），此時元帝即位不過兩年。
石、弘與史氏合力與蕭、周等鬥爭的具體過程，詳見《蕭望之傳》及《劉向傳》。據史傳，很多情況下，元帝頗受蒙蔽與牽製，當近事實。[34]諸多爭鬥細節，恐非參與者之外的時人所能知曉。宣帝遺詔由史丹、蕭望之與周堪三人輔政，應是昭告天下，明白扁書鄉亭市裏顯見處，朝野百姓盡人皆知。[35]兩年中，蕭望之官職、地位迭有變動，最後竟自殺身亡，不能不使時人對朝中格局感到迷惑，敏感者自會一探究竟。弘、石與史氏專勢擅朝之狀很快就會為大臣所了解。隨即發生了賈捐之與長安令楊興聯合上書薦舉石顯，實則希望將其排擠出內廷，結果為石顯所聞知。兩人下獄，捐之棄市，楊興減死為城旦，此事當發生在初元五年（前44年）至永光元年（前43年）薛廣德任禦史大夫間或之後[36]。此前，兩人均一度獲得元帝的信任，或是“數召見，言多納用”，或是“以材能得幸”（漢64下/2835），但為時不過二三年。