再說呂布，在袁術那裏沒有找到出路，隻好再去投奔袁紹，在他的心目中關東諸侯勢力最大、最有可能成事的就是二袁。
袁術不接納呂布，袁紹也有同樣的想法。袁紹很忌諱呂布，怕把呂布留在身邊對自己不利，因此不僅不想收納呂布，甚至想殺死他。袁紹的手下生怕呂布來之後影響到自己的地位，也極力攛掇袁紹除掉呂布。謀士郭圖想到一石二鳥、借刀殺人之計。
郭圖對袁紹說：“主公剛剛取得冀州就與公孫瓚大戰，現在軍馬疲憊，還要提防公孫瓚再次來襲。現在黑山軍又經常騷擾冀州，何不讓呂布去征討黑山軍，兩人無論誰勝誰敗，對我都有百利而無一害。等他們打的差不多的時候，我們大軍也已經休整完畢，到時候我們想怎麽樣就怎麽樣。”
盡管郭圖最後說的很含蓄，袁紹一聽就明白，拍手叫好。於是袁紹派郭圖去見呂布，並象征性的撥付一點有限的糧草，沒有派給呂布更多的兵馬。
郭圖見到呂布，充分發揮他能言善辯的本領，對呂布說道：“溫候初來冀州，對冀州很不了解，袁將軍剛剛接領冀州牧並與公孫瓚交戰，現在冀州百廢待興，他抽不出時間見你，所以派我來。袁將軍和我都非常了解溫候的本領，他時常誇獎你勇猛無敵，聽說你來投奔非常高興，想委以重任，然而冀州的將軍們對你還不了解，縱使袁將軍說服他們，卻難保這些人心中不滿，所以請溫候體諒袁將軍的苦衷。”
呂布眯著眼看著郭圖，說道：“誰要是不服，可讓他來找我，我們比試一下。”哼，我專打各種不服！
“這恐怕不妥，現在大家都是一家人，刀槍無眼，莫要傷了和氣。溫侯知道，我軍剛剛戰勝不可一世的公孫瓚，這些將軍都是有功之人。”
“那你是什麽意思？”呂布有點不高興，這是想要用軍功壓製我嗎？