居住在張掖郡（今甘肅張掖市）的盧水匈奴部落酋長是沮渠羅仇，他的祖先是匈奴的左沮渠，所以就以官名作為姓氏。盧水，一說今天的甘肅省黑河，一說在今天的石羊河，這兩條河是河西走廊上的兩大水係。
先前，後涼王呂光任命沮渠羅仇為尚書。沮渠羅仇和弟弟三河郡太守沮渠麹（qū）粥率軍隨呂光一起討伐西秦乞伏乾歸，但戰事不順，呂光的弟弟呂延戰死。
沮渠麹粥對沮渠羅仇說道：“主上年老昏庸，放縱子弟，親近小人，聽信讒言。這次軍事行動失利，親信大將戰死，主上肯定要找替罪羊，我們兄弟必定會受到猜忌。與其被殺，不如率領本部人馬進攻西平郡，闖過苕藋（tiáodiào，今甘肅永昌縣），到時我們振臂高呼，不愁涼州不能平定。”
但沮渠羅仇拒絕出走，他說道：“你說得不錯，但是我們家世代都以忠孝聞名一方，寧可人負我，不能我負人。”
果不其然，呂光聽信小人的讒言，把軍事失敗歸結於沮渠羅仇和沮渠麹粥兄弟，把他們斬首了。
沮渠羅仇的哥哥沮渠法弘曾任前秦苻堅的中田護軍，他的兒子沮渠蒙遜博覽史書，對天文學非常有研究，具有雄才偉略，統領了父親留下的部眾。他護送兩位叔叔的靈柩返回張掖郡，宗族內來參加葬禮的有一萬多人。
沮渠蒙遜一把鼻涕一把淚地對眾人說道：“當年漢室衰微，我們祖先輔佐竇融（東漢名臣），使河西一帶得到安寧，人民安居樂業。如今呂光老邁昏庸，荒**無道，濫殺無辜，我準備為兩位叔叔報仇，恢複祖宗大業，你們意下如何？”這話一出，眾人紛紛舉雙手表示讚同，大呼萬歲。他們殺死了後涼的中田護軍馬邃和臨鬆縣令井祥，進行盟誓，然後用十來天的時間，聚集起了近萬人的隊伍。
隆安元年（397）四月，沮渠蒙遜領兵攻克了臨鬆郡。呂光派遣太原公呂纂帶兵攻打沮渠蒙遜，沮渠蒙遜不敵，逃進大山之中。