胡惟庸的囂張，李善長看在眼裏，怎麽說胡惟庸能有今日是他李善長提拔的，早年李善長收了不少胡惟庸的好處，洪武十年時朱元璋讓其與李文忠一起幹涉中書省大權，從而牽製中書省的特權。胡惟庸的任意妄為，李善長對此睜一隻眼閉一隻眼，而胡惟庸照舊對李善長恭恭敬敬，可是心裏卻不服氣，他覺得李善長縱容他是應該的，因為李善長從他這裏收了很多錢財和珠寶。胡惟庸也一直覺得他與李善長是拴在同一根繩子上的螞蚱，盡管他們隻是各取所需，同船不同心，隻是這份平靜，皆因胡惟庸的小氣被打破。
每次在朝堂上，朱元璋誇獎李善長時，胡惟庸在心裏就會嗤之以鼻，朱元璋說李善長是開國元老，年事已高仍為朝廷盡心盡力，胡惟庸心裏於是不屑的說，原來你朱元璋也不過於此。每個人都是自私的，加之李善長也非心胸寬廣之人，當利益上與胡惟庸有衝突時，他還是會想方設法證明自己與胡惟庸沒有關係給朱元璋看。一次又一次，胡惟庸心裏火了，心裏開始咒罵李善長，現在朱元璋對胡惟庸越發的不信任，胡惟庸都把責任推到李善長身上，所以他要報複。
胡惟庸找來李善長的弟弟李存義，這李存義因為李善長的關係有過與胡惟庸來往，算是比較熟悉。胡惟庸心懷鬼胎的問李存義，“你的兄長是諸公之首，又深受皇上器重，那為何你現在還是小小的太仆丞呢？”
李存義解釋說，“我本來就是一愚夫，正是靠著皇上對家兄的寵信，這才有機會做了官。”
胡惟庸幹笑道，“你倒是容易滿足。”
李存義憨憨的笑，“知足常樂。”
“不過依我看韓國公（李善長）並沒有把你當兄弟。”
“這怎麽講？”李存義不解。
胡惟庸說，“你與韓國公是同根生的親兄弟，都說一人升天，全家人都跟著富貴，可是你看呢，跟著他享福的都有哪些人？他自己的兒子貴為駙馬，而你的兒子卻隻是個府州官員，這地位相差懸殊，恐怕說出去，沒有人會相信駙馬爺與一個小小的府州官員是堂兄弟吧？”