隆安二年（398）四月，北涼王段業命鎮西將軍沮渠蒙遜攻擊後涼，生擒了後涼的西郡太守，呂光的侄兒呂純。後涼的敦煌郡太守孟敏獻出城池，投降了北涼，段業任命他為沙州（州府在敦煌）刺史，任命李暠（hào）為效穀縣縣令（今甘肅瓜州縣西）。
李暠，字玄盛，小字長生，出生於永和七年（351），隴西郡隴西成紀（今甘肅天水市秦安縣）人。李暠年少時非常勤奮好學，長大後性情沉靜，聰明謙和，有度量。他博覽經史，擅長文辭，熟讀《孫子兵法》，精通武藝。他自稱是西漢名將李廣的十六世孫，廣泛結交社會賢達，這些社會知名人士都對他讚譽有加。
李暠曾經和郭黁（nún）及異父同母弟弟宋繇在一個院子裏生活。郭黁也是個當時的名士，又擅長看相算命，有一次他對宋繇說道：“你將來一定會做大官，位極人臣，但你的哥哥李暠會更了不起，他會成為一國之主。當母馬生下額頭上有白毛的小馬的時候，就是應驗的時候。”
李暠性情溫和寬厚，施政手段寬鬆，縣內百姓安居樂業，深得上級的稱讚和縣內百姓的擁戴。孟敏在沙州刺史任上去世，敦煌護軍郭謙和沙州治中索仙聯名向段業推薦李暠為敦煌太守。李暠正在犯難，恰好在北涼朝廷任中散常侍的宋繇從京師張掖回家探親，他對李暠說道：“段王謀略不足，注定要失敗，兄長難道忘了郭黁說過的話了嗎？白額小馬已經出生了！”李暠思考了一下，接受了弟弟宋繇的話，派人請求段業下達任命文。
段業也早就聽說李暠的名聲，準備任命他為敦煌太守，右衛將軍索嗣是敦煌郡人，和李暠關係要好，深知李暠胸懷大誌，因此勸段業道：“李暠在敦煌的號召力很強，不能讓他在這個地方久待，要防止他做大。”段業於是改任索嗣為敦煌太守，給他撥付五百名騎兵護送他上任。