歐陽家在鳳尾胡同的新宅並沒有保住，原因不過是孝宗皇帝無心的一語。據宮中大太監戴權所言，五皇子去湯山和皇帝請罪的時候，萬歲爺還笑眯眯的安撫了五皇子幾句，要五皇子別放在心上，曆朝曆代，若外戚的本事太過強大，反而會叫皇家傷腦筋，像歐陽家中呆呆笨笨的，時不時鬧出個小笑話，也無傷大雅。
當時恰好幾位尚書大人在行宮與孝宗商議殿試的事兒，眾人見孝宗非但沒有責備五皇子的意思，反而低聲安慰，忙陪送了許多好話。程子墨更是當著孝宗的麵兒，幾乎沒把正德誇到天上去。孝宗樂不可支，沒出兩天，程子墨一個心腹因被禦史彈劾的事兒就不了了之。
這其實後話，隻說幾位大人才出行宮殿門，孝宗就沒了好臉色，與戴權抱怨歐陽家的不識好歹。簡簡單單“不識好歹”四個字，就像飛出去的信鴿，一下子傳進了百官耳中。歐陽家斷乎沒有不知道的可能，等聽了這，歐陽老太太徹底死了心，立即吆喝人收拾行禮家當，拖著孱弱病軀，當天就讓出了鳳尾胡同這處宅院。
許還是怕丟人，歐陽家特趕了個黃昏時分悄悄搬走，據說當時狼狽倉皇的模樣，比戚家當年流放也體麵不了多少。
歐陽老太太領著兒子孫女，三十來口人委委屈屈的擠進了二老爺在條子巷的那處私宅。二老爺新得寵的小妾直接被老太太用三百兩銀子發賣給了牙行。二老爺連個“不”字都不敢有，任憑那小妾鬼哭狼嚎一路被牙行的婆子拖拽出條子巷。
當日在歐陽家大門口撒潑胡鬮的胖子當晚就抖著一身肥肉，好不得意的向四鄰炫耀，且高聲揚言，誰家出的起親自，這宅院就雙手奉上。一時間也惹來不少打聽之人。
頭一個便是僉都禦史袁可立家，可惜一問價立即沒了下文，這胖子好貪的心，竟比歐陽家當年從戚家購買時翻了不止兩倍。