洪武八年，廖永忠遭朱元璋冷落，廖永忠幹脆把大門一關，大門不出二門不邁，在自己府中做起了富貴閑人。但是即使他不過問朝政，總還會被胡惟庸抓住把柄。
如果說做官有不貪的，這是假話，廖永忠也貪財，不過沒有胡惟庸、李善長他們貪的厲害。在與廖永忠來往的人中，有一個做絲綢生意的商人，一次得空拜訪廖永忠，送給廖永忠大批布匹，就是這批布把廖永忠送上了斷頭台。
這批布中有一批是那種龍鳳相間的花紋布匹，當胡惟庸得知後，在這批布上大做文章，一大早上朝的時候把廖永忠收藏龍鳳布匹的事情稟報給朱元璋，並說廖永忠有謀反之心。因為小明王韓林兒的事情，朱元璋已經對廖永忠有看法，如今經胡惟庸這麽一說，朱元璋立馬派人徹查此事，廖永忠暫時被軟禁在自己府中。
使臣把從廖永忠府上搜出來的布匹全部帶進宮，朱元璋征詢禦史大夫汪廣洋有什麽看法，汪廣洋並不知道胡惟庸的用意，於是實話實說，“臣以為，僅僅以一些布匹不足以定罪。”
朱元璋又把這件事交給汪廣洋查辦，汪廣洋以為得到重用，受寵若驚的跪下來謝恩。拜訪廖永忠時，廖永忠正在自己府中大吃大喝，見廖永忠有這麽好的胃口，汪廣洋打趣說，“不想到了這種地步，侯爺還有心思吃喝玩樂。”
廖永忠瞪著汪廣洋，“禦史大人，別來無恙啊。”
汪廣洋側身坐在廖永忠對麵，廖永忠心裏不爽，雙臂一掃，把桌子上的美味佳肴打翻到地上。
汪廣洋驚叫道，“侯爺，這是何故？”
廖永忠怒目瞪著他，質問道，“皇上讓你來查我，你們究竟想查我什麽？”
汪廣洋回答說，“有人舉報侯爺有謀反之心。”
“謀反？”廖永忠大笑，“如果我要謀反早就反了，還會給你們機會來查我？”