拓跋燾滅了北燕之後，開始親征北涼！
這個北涼，最早建立者是漢人段業，可是，最後落在了匈奴人手。
公元386年，呂光稱帝，建立後涼，任段業為尚書、建康太守（不是南京，而是甘肅高台）。
公元397年二月，呂光因西秦乞伏乾歸出爾反爾，數度叛離，決定出兵消滅他。
呂光派他的庶長子、太原公呂篡攻克金城，弟弟天水公呂延帶著大將、沮渠部落酋長沮渠羅仇、沮渠麹粥兄弟攻克臨洮、武始、河關，後因呂光的弟弟呂延麻痹輕敵，兵敗被殺，涼軍也被迫撤退。
呂光見弟弟被殺，埋怨沮渠羅仇、沮渠麹粥護衛不力，以敗軍之罪殺了沮渠羅仇、沮渠麹粥二兄弟。
沮渠部是匈奴的一支，其先祖世為匈奴左沮渠王，他們以部落為姓。呂光征西域的時候，沮渠羅仇歸附了後涼，被呂光任命為西平太守，沮渠麹粥被任命為三河太守。
沮渠羅仇兄弟被殺之後，沮渠羅仇的侄兒，時任沮渠部落酋長，以及在段業部下為將的沮渠蒙遜，在二位伯父的靈柩運回故鄉臨鬆安葬之日，鄉親好友與諸部落一萬多人參加。
沮渠蒙遜當眾大哭道：“呂王昏耄，荒虐無道，豈可不上繼先祖安時之誌，使二父懷恨黃泉？”
在場眾親友聽了，無不痛恨呂光。
於是，沮渠蒙遜與眾盟誓，共討呂光。
他在一個月時間內，就有一萬多人前來投奔。
沮渠蒙遜就此起家，率領隊伍左衝右突攻陷臨鬆，斬殺了呂光的中田護軍馬邃和臨鬆令井祥，屯兵於金山。
沮渠蒙遜的堂兄，時任後涼晉昌太守的沮渠男成也起兵響應，率部進軍建康，同時勸說建康太守段業起兵反涼。
段業與呂光手下的尚書王祥、侍中房咎等權臣關係不好，這次出任建康太守就是被他們所排擠。