朱熹的交遊，張栻、陸九淵之外，還有呂祖謙，而尤以祖謙為最親密。祖謙字伯恭，婺州人，學者稱東萊先生。他是一世家子。自唐末五代以來，大門第陸續失蹤了，宋代隻有韓家、呂家屈指可數的幾家。而南渡後呂家，尤稱為得中原文獻之傳。統計呂氏一門先後，載入全祖望《宋元學案》者，共七世十七人。這樣一個家學淵源，對祖謙影響自然會極大。
最先是呂公著，字晦叔，東萊人。夷簡子，封申國公。自少講學，即以治心養性為本。平居無疾言遽色，於聲利紛華，泊然無所好。時稱其簡重清靜，識慮深敏，量閎而學粹。他和王安石、司馬光同時，倶為兩人所推敬。
公著長子希哲，字原明，居京師，為河南人。少時不名一師，初學於焦千之，可稱是歐陽修的再傳。又從胡瑗、孫複、邵雍，並學於王安石。他和程頤在太學為同舍生，年相若。後來心服頤學問，首先師事。但最要還是他幼年時的家教。公著居家，簡重寡默，夫人亦性嚴有法度，雖甚愛希哲，然教之事事循規蹈短。甫十歲，祁寒盛暑，侍立終日。不命坐，不敢坐。日必冠帶以見長者。平居雖天甚熱，在父母長者側，不得去巾襪縛袴。出門不得入茶肆酒肆。市井裏巷之語，鄭衛**靡之音，未嚐經於耳。不正之書，非禮之色，未嚐經於目。他自幼所受家教如此。少長又盡交天下賢豪長者以為師友，但晚年卻喜從高僧遊。嚐說：“佛氏之道，與吾聖人脗合。”他習靜功深，雖驚恐顛沛，未嚐少動。嚐過山陽渡橋，橋壞，轎人倶墜，浮於水，他安坐轎上，神色不動。過了十年，他卻說：“那時轎壞墮水，還是覺心動。數年前大病，已稍稍勝前。今次疾病全不動了。”他又說：
治人事天莫若嗇，修養家以此為要術。然事事保慎，常令有餘，持身保家安邦之道，不越於此，不止養生也。老子之論，亦當於理。