身為長兄的範仲淹，不僅對自己嚴加要求，還對弟弟們承擔教導的責任。但是朱文瀚的兩個親生兒子則完全和範仲淹相反，不知節儉、浪費無度。範仲淹勸誡他們，起初他們還敷衍了事，後來實在厭煩了，就向範仲淹說：“我用的是我們朱家的錢，跟你什麽關係？”
範仲淹聽到這話後震驚不已，他忙去詢問可能知道他身世的人。人家告訴他，他原本是姑蘇（蘇州吳縣）範氏子弟，因為父親早逝，母親帶著他改嫁朱氏。範仲淹不得不接受自己不是朱家子弟的事實，他決定自立門戶。雖然朱家並沒有虧待過他，但是心懷大誌的範仲淹不願意再寄人籬下，何況當時他已經23歲，到了可以出去成就事業的年齡。這時的範仲淹對朱家的感情非常的微妙，一方麵他感激朱家將他養育成人，給他提供讀書條件，另一方麵朱家兄弟的話沉重打擊了他，使他十分清晰地感受到這個家的疏離感。
範仲淹下定決心後，就立刻收拾好行囊，佩了琴劍，就要前往應天府。這時，聞訊而來的母親想要阻止他離開，範仲淹跪倒在地，流著淚懇求母親不要阻攔他，並承諾將來功成名就時會來接她。謝氏見他心意已決，就不再勉強。範仲淹拜別了母親，到應天府去求學。
宋朝的應天府就是現在的河南商丘。當時，宋朝政府還沒有在地方設立教育機構。國家性質的學校隻有中央設立的國子監。國子監有兩個功能，一是作為權力機關，是主管學校教育的機構；二是國家最高學府，又稱為國子學。必須是七品以上的官員子弟才有權利進入國子學讀書，是名副其實的“貴族”學校。但是國子學的學生往往徒有其名，他們大都善於吃喝玩樂，並沒有多高的學識。
因為官學要求身份地位，地方上就產生了民辦的教育組織——書院。當時比較著名的四大書院有：江西九江的白鹿洞書院、湖南長沙的嶽麓書院、河南登封太室山南麓的太室書院（後經範仲淹改名為嵩陽書院），還有一個就是河南商丘的應天書院。應天書院是離範仲淹所在的朱家最近的一個書院，這是他選擇到這裏讀書的原因之一。還有一個很重要的原因是，書院的學生食宿費是全免的，對不願再接受朱家錢財而一貧如洗的範仲淹來說，這解決了他麵臨的最大問題。