為共同抗日，李四光來到了廬山參加會議；而為摸清當局的基本態度，他首先去見了汪精衛。其實早在日本留學和孫中山組建南京臨時政府期間，他就認識汪精衛，打過多次交道，彼此之間比較熟悉。
見到汪精衛，他免去客套與寒暄，單刀直入地分析目前形勢，最後提出堅決抗日的主張。他說：“打，一定要打！現在不打，別無出路！”
“老兄，不要激動嘛。”汪精衛知道李四光是直來直去的硬漢子，又是揚名國際的大科學家，耐心聽完之後，狡猾地講了一通“打不得”的歪道理，妄圖說服李四光。
兩人在客廳裏針鋒相對辯論起來。汪精衛辯不過李四光，最後不得不擺出領袖的官架子，怒道：“你是書呆子，懂得什麽？”
李四光氣憤得一拍桌子站起來，衝著汪精衛大聲喊叫：“好！讓事實證明，看誰說得對！”李四光頭也不回地走出了客廳。出來後，他直接來到老朋友李一平在廬山創辦的交廬精舍。
“忘年之交”李一平比李四光年輕15歲，原任國民革命軍總政治部社會科科長。他借助當時廣東省主席陳銘樞的關係，奔走於國民黨上層人士之間，呼籲結束軍閥割據的混亂局麵，被稱為“政壇怪傑”。然而，軍閥混戰、政局動**日益加劇，他痛感自己回天無力，於1930年稱病，脫離了國民黨軍政界，在廬山創辦學堂，實踐“教育救國”的誌願。
交廬精舍原是外國人開的旅館，停業後出售，李一平和林森、陳銘樞、李四光等好友集資買下來辦學校，取名“交廬精舍”，意思是朋友交往的好地方，也含有佛經典故——李一平後來還擔任過中國佛教協會常務理事一職。先期重點培養的是陳銘樞的八個晚輩，包括陳銘樞的長子陳廣生。授課上，先教《四書》、《五經》，然後是數理化，皆用中、英文教學。李四光因為常來甚至常駐廬山，也一度教過他們化學。八位學子皆有所成，陳廣生後來去英國求學，再後來成為天津冶金研究所的總工程師。其他各位，有的成為科學家，有的追隨國民黨去了台灣，有一位去了延安，解放後成為國務院一位副部長。