公元七十六年二月，就在耿恭成功回到漢朝的一個月以後，漢朝突然爆發超大型牛瘟，地震以及旱災。
一時之間，無數的存糧從各個未受災的郡縣運送了出去，洛陽國倉的糧食以肉眼可見的速度瘋狂減少。為此，校書郎楊終在朝會之上當著滿朝文武的麵和漢章帝道：“近年來，我大漢在北匈奴和西域方麵用兵不斷，國家財政因為這兩個地方消耗不少。如果要是平時也就算了，可現在國家正經曆天災，所以微臣覺得，我漢朝是不是不應該再在這兩個地方有所投入了呢？”
話畢，第五倫也站出來道：“陛下，微臣也和校書郎持同一想法。臣認為，西域三十六國的含金量是隨著時間的推移而產生變化的。如今，所謂的西域三十六國對我們大漢不能起到任何作用，反而因為北匈奴的關係不斷派兵出擊，不斷耗費國家財物。長此以往，國家必入不敷出，所以微臣希望陛下能夠撤銷西域都護府，不再去管西域的事情。”
可就在這時候，鮑昱卻站出來道：“司空的說法微臣並不認同。我漢朝以儒家治天下，正所謂‘孝子無改為父之道’。討伐北匈奴，在西域設置都護府，那都是先帝所決定的事情，絕不應該改變。”
這一次，第五倫沒有再次向鮑昱低頭，而是反過來道：“非也，當初秦始皇修築長城，大建阿房宮，消耗了無數的人力物力。秦二世繼位以後，非但沒有及時製止改正，反倒是過分擴建阿房宮，以至於秦朝丟了天下。這都是有前車之鑒的，所以國家的治理，不能隻遵循無為和孝道，應該隨著事態的變遷而不斷變化。現在，國家正是危難之時，天災頻頻，人禍不斷，使得國家財政不斷緊縮，這個，司徒大人您不會不知道吧？”
鮑昱：“這~~”。
第五倫：“所以，臣也和校書郎一樣，建議陛下撤銷西域都護府，不再去管西域的事情，而是全力發展本國內政，讓百姓過上幸福的生活。”