《續漢書·百官誌三》敘述禦史中丞的沿革時說：“禦史中丞一人，千石。本注曰：禦史大夫之丞也。舊別監禦史在殿中，密舉非法。及禦史大夫轉為司空，因別留中，為禦史台率。”①“因別留中”一句，盡管很是含混②,卻暗示此時禦史大夫已不在“中”。所謂"中",漢代基本是指皇帝起居生活的區域，但有宮中、殿中、禁中(省中)等不同的說法③,所指的範圍也不同。這裏所說的“中”就難以確定所指，且認為遷出的時間是在改名為司空時，即漢成帝綏和元年(前8年)④,亦偏晚。
關於西漢後期禦史大夫辦公地點遷到未央宮外，《漢書·酷吏·嚴延年傳》的一段描述提供了有力的證據。該傳雲：
宣帝初即位，延年劾奏(霍)光……後複劾大司農田延年持兵幹屬車，大司農自訟不幹屬車。事下禦史中丞，譴責(嚴)延年何以不移書宮殿門禁止大司農，而令得出入宮。於是覆劾(嚴)延年闌內罪人，法至死。延年亡命。會赦出，丞相禦史府征書同日到，延年以禦史書先至，詣禦史府，複為掾。宣帝識之，拜為平陵令，坐殺不辜，去官。⑤
嚴延年劾奏大司農田延年事當發生在宣帝元平元年(前74年)七月即位到本始二年(前72年)春之間。據《漢書·宣帝紀》,二年春“大司農陽城侯田延年有罪，自殺”。①嚴延年因此反遭禦史中丞的劾奏亦在本始二年春之前，他隨後逃亡。史載“會赦出”,據《宣帝紀》,當指本始四年三月(前70年),立皇後霍氏，赦天下。②丞相府與禦史府征召他的文書同日到達，而因禦史書先到，延年到禦史府為掾。
仔細考訂嚴延年這段經曆發生的時間，延年應征禦史府一事足以證明，至晚到宣帝本始四年三月之前，禦史大夫寺已經自未央宮的司馬門內遷到宮之外，並改稱禦史府。