陸遊因為得罪了孝宗的親信曾覿、龍大淵，被主和派排擠，在隆興府通判任上被罷官，回到老家山陰。從乾道二年（1166）的五月起，他開始了長達四年的閑居生活。三十四歲才獲得“就業”機會的陸遊，在四十二歲的中年，又變成了等待再就業機會的“下崗人員”。
除了罷官的打擊，乾道二年還發生了一件事，也讓陸遊傷心不已，這就是他最尊敬的老師曾幾的去世。一年之內連受兩大打擊，即便是像陸遊這樣堅強的鐵漢子，也開始產生了一些消極退隱的想法。我們可以從兩個方麵來了解一下陸遊的這種退隱的心態。這兩個方麵一是陸遊做的事，二是他寫的詩。首先來看看陸遊在再次“待崗”的這幾年都幹了些什麽事兒呢？這裏我隻舉一個例子。那就是陸遊開始在老家營建別墅了。
也許有人會覺得奇怪，陸遊建別墅？他哪來的錢啊？別說憑陸遊的性格，做官肯定是清官，他總共才做了八年的官，最高官銜不過是八品，而且基本上都是在清水衙門裏做官，估計“灰色收入”不可能太多，“黑色收入”更不可能有，他就算想貪隻怕也沒機會貪啊！其實呢，要解釋這個問題並不難，這就要提到宋朝的一個好處了——宋朝重文輕武的國策。對於這個政策，我們要一分為二地看待。重文輕武當然有弊端，片麵的“輕武”，埋下了宋朝三百年來不斷的內憂外患的種子。宋朝從皇帝開始，普遍就怕打仗，可越是怕，就越是要受人欺負。在北宋，先是遼國，後來是金國，時不時在邊疆上鬧騰那麽兩下子，就把個宋朝上上下下弄得雞犬不寧，人心惶惶，最後把大宋王朝的半壁江山都送給了金國；剩下的半壁江山也保不住，最後又都送給了氣勢洶洶的蒙古人……
可是另一方麵，“重文”也有好處：文官地位特別高，待遇又優厚。“高薪養學”是當代多少文人的夢想啊，宋代就做到了。所以，宋代文人可以安安心心地做學問，寫文章，弘揚中華文化。國學大師陳寅恪就說過這樣一句話：“華夏民族之文化，曆數千載之演進，造極於趙宋之世。”（《鄧廣銘宋史職官誌考證序》）中華民族的文化經過了上千年的演變後，在趙宋王朝算是達到了登峰造極的地步。所以很多人都說：要做文人，那就得做宋代的文人。宋代文人隻要當了官，第一是地位高。有人說，在宋代，就是在前線打了大勝仗的將軍，他們凱旋的時候，那種氣派和榮耀，甚至還比不上一個狀元及第的風光[32]。此外，文人不是都有好發議論的“毛病”嗎？宋代文人是可以想說什麽就說什麽的，當然“說錯”了也可能會犯罪，但是犯了罪不會殺頭，大不了丟官嘛。隻要死不了，丟了官還是可以東山再起的。第二是薪水高。官當到一定的位置，除了養活自己的妻室兒女，再養一大幫歌兒舞女都不成問題；多出來的錢還可以用來蓋別墅建莊園。第三就是學問好。有了錢和地位做堅強後盾，出去做人挺得起胸，回家也不用看老婆的臉色，可不就能一門心思“之乎者也”、鑽研學問了嗎？北宋當了大官的範仲淹，晚年就曾經寄詩給自己老家的鄉親，大意是這樣的：你們別看我現在衣錦還鄉，前呼後擁的，派頭大得很，其實我當初還不是跟你們一樣，也就是一個身無分文的窮小子？所以啊，你們都別羨慕我了，趕緊好好讀書吧。讀好了書，考上了學，你們都會像我一樣，好車子會有的，好房子也會有的，享不盡的榮華富貴啊[33]！