搞定西突厥之後，隋煬帝便將目光轉向了吐穀渾。
關於吐穀渾的前世今生，實在是一件很有趣的事兒，不得不說。
事實上，吐穀渾最初並不是地名，而是一個人的名字，叫作慕容吐穀渾。慕容是遼東鮮卑族的複姓，慕容吐穀渾是鮮卑慕容部首領慕容涉歸的庶長子。
鮮卑族的規矩和中原一樣，都是以嫡長子作為權力繼承人，慕容吐穀渾身為庶子，在部落裏麵根本就沒有發展前途可言。不過，老爸慕容涉歸很疼他，給他賞賜了一千七百戶鮮卑族家庭，讓他自立山頭（靠這些人來養他）。
接下來的幾年，慕容吐穀渾在大本營附近選了塊地方，帶著族人過起了安穩的日子。西晉太康四年（283），慕容涉歸死掉了，嫡子慕容廆接管了慕容部落。
據史料記載，慕容吐穀渾的地盤和弟弟慕容廆離得非常近，每逢放馬畜牧，馬兒便會經常竄到一起玩耍，可能是因為馬匹爭奪配偶之類的問題，兩個部落的馬經常打架，而慕容廆的馬經常受傷。
慕容廆心裏不平衡了，指責哥哥說：老爹已經讓你自立山頭，大家各過各的日子，你為什麽要把馬放到我這裏來，還傷害了我的馬。
慕容吐穀渾非常不服氣，馬就是畜生啊，到了春天，它們因為爭奪**權而發生衝突，不是很正常的事兒嘛，你憑什麽對我大吼大叫？既然這樣，那我就離你一萬裏地，永遠看不見你。
兩個兄弟脾氣都挺火爆，互不相讓，慕容吐穀渾一言不合就離家出走了。當時，慕容吐穀渾也不知道去哪裏，於是帶著族人一直向西放牧，一天走八十裏地。
幾天之後，慕容廆後悔了，趕緊派伯父乙那樓前去勸哥哥回來。
誰知道，慕容吐穀渾的脾氣比驢還倔，拒絕回家，說什麽也不行。他最後直接放話出來：伯父，我是因為這些馬才出走的，你現在把我的馬往回趕，如果它們肯回去，我就跟著你回去。