當遼穆宗“酗酒怠政”、失去人心之時，遼世宗之次子耶律賢卻在暗中悄悄培植自己的政治勢力，為日後奪權作著準備。
耶律賢生於天祿二年（948年），《遼史·景宗紀》稱其名賢，字賢寧，小字明扆，但《契丹國誌》《東都事略》等文獻稱其契丹名為明記，後改漢名作賢。當耶律賢四歲時，正遇到察割之亂，目睹父母親遼世宗、蕭皇後以及祖母皇太後被殺。當時察割還打算殺死耶律賢以斬草除根，但耶律賢得到了禦廚、尚食劉解裏的保護，劉解裏用氈毯將耶律賢裹起，藏在柴薪之中，僥幸得免。遼穆宗繼位後，為籠絡人心，便將孤兒耶律賢撫養在永興宮內。耶律賢漸漸長大，看到天子酗酒、遊獵無度，吏治敗壞，心中甚有想法。當時耶律賢常與自己交往密切的“宮分人”韓匡嗣、女裏等人交遊，言論或有譏諷時政、政要的。擔任護衛的右皮室詳穩耶律賢適為保護耶律賢，常常勸說耶律賢適宜早點疏遠這些人，並斷絕往來，以免遭不測。有一天，耶律賢又與韓匡嗣談及時事，當即被耶律賢適所製止，耶律賢悟，不複言論。因此，不少宗王因各種理由遭到遼穆宗的誅殺、囚禁或流放，但耶律賢終於未被天子所疑忌，耶律賢適起到了重要作用。
所謂“宮分人”，是指在宮帳中服務皇帝、皇後的侍應之人。宮帳亦稱斡魯朵，又寫作斡裏朵、斡耳朵、兀裏朵、窩裏朵等，皆為契丹語中宮殿、宮營等詞的對音。《遼史·營衛誌》說天子“居有宮衛，謂之斡魯朵”，《遼史·兵衛誌》曰天子“入則居守，出則扈從”是斡魯朵法的最基本內容。可見遼朝斡魯朵作為天子的親衛侍從，要扈從天子四時遊徙，故其亦被稱作行宮。契丹慣例，新皇帝即位後，都要建立屬於自己的斡魯朵，即劃分部分州縣土地與部族作為皇帝的私屬，以提供皇帝生活所需的物品及仆役等。同時，皇帝在世時，從所屬的部族中選拔丁壯充任扈從宿衛；而皇帝死去以後，其宮帳之屬民則擔當起守護皇陵之責。這些屬於宮帳之人，即稱之為宮分人。整個遼朝共有斡魯朵十三座，其中九位皇帝各設一宮，兩個攝政日久的皇太後述律太後、承天太後（即蕭燕燕）各設一宮，在遼聖宗時權勢盛極的皇太弟耶律隆慶設一宮，加上在遼聖宗朝聲勢煊赫、地位直逼人主、被賜國姓的漢人大宰相韓德讓“擬諸宮例”所設的一府，計有十二宮一府：遼太祖的弘義宮、遼太宗的永興宮、述律太後的長寧宮、遼世宗的積慶宮、遼穆宗的延昌宮、遼景宗的彰湣宮、承天太後的崇德宮、遼聖宗的興聖宮、孝文皇太弟耶律隆慶的敦睦宮、遼興宗的延慶宮、遼道宗的太和宮、遼天祚皇帝的永昌宮，以及韓德讓的文忠王府。由於諸宮帳隨從天子遊徙、居止，耶律賢幼年被養於遼太宗的永興宮中，也就等同於生活在遼穆宗的身邊。因此，遼穆宗讓永興宮養育這位前皇帝之子，亦不無就近監視之意，這也當是耶律賢適勸說耶律賢疏遠女裏、韓匡嗣的原因所在。