耶律楚材是契丹貴族的後裔，遼朝東丹王突欲的八世孫。其父耶律履在金章宗時位至副宰相——尚書左丞，死後“諡曰文獻”,其漢化程度已經很深。直到耶律履花甲之年，楚材降生。深通“術數”、會相麵算命的耶律履曾對親人說： “吾年六十而得此子，吾家千裏駒也，他日必成偉器，且當為異國用。”於是他根據《左傳》“楚雖有材，晉實用之”的典故，給自己的小兒子起名為“楚材”,字為“晉卿”,似乎他早已看到金朝必亡，自己的小兒子則會成為異國的名臣。實際上，這不過是修史者為楚材降蒙辯護，故意將他投靠成吉思汗看作是天命安排。
耶律履作為金章宗時的宰相，他很難預見幾十年後金朝會滅亡，即使他看到一點苗頭，也不會對別人講這種大逆不道的話。其實耶律履的話也可以從另一個角度理解，契丹族的後裔為金朝所用，也可看作是楚材晉用。
楚材三歲喪父， “母夫人楊氏誨育備至。稍長，知力學。書無所不讀，為文有作者氣”。成吉思汗建國稱尊的1206年，耶律楚材17歲。“金製，宰相子例試補省掾。”楚材不願靠父親的特權做官，希望與其他士人一樣參加科舉。 “章宗詔如舊製。問以疑獄數事，時同試者十七人，楚材所對獨優，遂辟為掾。”24歲時被授為開州同知。在他25歲那年，金宣宗南逃，蒙軍圍攻中都。楚材之兄辨材、善材皆扈駕。楚材奉命留中都，被丞相完顏承暉選拔為尚書省左右司員外郎。楚材從小博覽群書，尤通經史，旁及天文、地理、律曆、術數及釋老、醫卜之說。在童年和青年時代，他目睹了連年戰亂給人民帶來了巨大的苦難，因此在中都被圍期間他拜萬鬆老人為師，皈依佛教，企圖從佛教理論中尋找精神寄托。
正如他事後在文集中所說： “予既謁萬鬆，杜絕人跡，屏斥家務，雖祁寒大暑，五日不參。焚膏繼晷，廢寢忘餐者幾三年。誤被法恩，謬膺子印，以湛然居士從源目之。”27歲“受顯訣於萬鬆老人”,成為一個佛門教外弟子，自稱“湛然居土”,法號“從源”。萬鬆老人主張“以儒治國，以佛治心”,這一主張恰恰符合耶律楚材的思想實際。