劉基畢竟是位有血性、嫉惡如仇的人，雖然不願自己出麵，還是要兒子劉璉不經過中書省，直接向皇帝上奏章，報告這件事。這時胡惟庸正以左丞相主管中書省，。俗話說君子報仇，十年不晚，看來胡惟庸還是位君子。以前劉基在朱元璋麵前說了他的壞話，沒有讓他當丞相的一箭之仇，這下正是報複的時機。於是他指使其黨羽弄部尚書吳支彈劾他，誣陷他與百姓爭奪淡洋，隻是因為淡洋位居山海，有王氣，劉基想辟之以為墓地，圖謀不軌；百姓不肯讓給他，他就指派巡檢司，借官軍的名義逐趕居民，以致激起民變。吳雲的彈劾奏文呈上朝廷之後，胡惟庸借機公報私仇，請求皇上加以重辟，並要逮捕劉基的兒子。朱元璋知道這件事之後，覺得劉基也太過分了，皮膚有所動，隻是想到劉基是開國元勳，功勞太大，不忍心加罪於他，隻是象征性的處分一下，取消其傣祿，並移文傳達給劉基，使他知道了這件事。劉基接到了朱元璋的移文後，即刻入朝麵見朱元璋，由於心裏害怕，不敢辯護，怕進一步惹起太祖的不快，隻是引咎自責，請辦其罪，也不敢提回家的事。這樣一折騰，劉基終於病倒了。
不久之後，胡惟庸被提升為丞相，病中的劉基，在京師聽說了這件事之後，痛心疾首，悲傷地說道：“胡惟庸為相，定會出大禍，國家必然會大亂，生靈又將遭受屠戮。假使我的話不應難，那是因為蒼生民眾有天大的福份；如果我的話應驗了，這些芸芸眾生怎麽辦呢？”劉基悲憤交加，積憂成疾，臥床不起，洪武八年三月，朱元璋看到劉基行將就木，大發測隱之心，親自製表賜給劉基，並派使者護送劉基回鄉。回家後，劉基病得更厲害了，隻過了一個月，他就帶著無限的憂愴，滿腹的怨氣，離開了人世，終年六十五歲。一代謀士，卓越見識的劉基就這樣淒涼