所以，當宋徽宗聽到哈密嗤說道“上房抽梯”的話，猶如芒刺在背，道：“李愛卿，哈軍師說的不無道理啊！”就連膽小怕事的張邦昌，也生怕李剛與金國使臣鬧僵，道：“李相，金宋兩國互派人質，不曾傷及威儀。”
李剛義憤填膺道：“張邦昌，你身為一國之宰相，位極人臣，竟然做出送皇子當人質的苟合之事。我來問你，商紂押文王，幾曾太平；韓國押異人，戰事紛爭，我朝送皇子當人質，豈能久乎？”
“吾皇萬歲，李相說得對，不能送皇子當人質，這樣有損大宋龍脈。”樞密副使宗澤出班跪倒。張邦昌再次跪倒，道：“吾皇萬歲，自梁山、太湖亂匪以來，各地皆有盜匪而起，此時與大金國互結友好，正好可以騰出手以絕內患。然，臣不遺餘力促成金宋之和好，卻有李剛之流橫加阻撓，不得願矣，他日若再起紛爭，臣無能為力耳！”
宋徽宗一聽張邦昌說到“他日再起紛爭”的話，耳根發炸，頭皮發麻。此時，張邦昌的朋黨王時雍、吳拜、莫儔、範瓊等人紛紛跪倒，高呼：“吾皇萬歲，張相乃大宋之蓋國忠良，句句都是金玉良言，實為大宋千秋萬代之基業著想，還望吾主萬歲明鑒。”宗澤、韓世忠、張俊等武將站在李剛一邊，但從人數上還是張邦昌壓倒多數。
宋徽宗不耐其煩，道：“好了，各位愛卿就別爭了，互派人質、共修盟好之事，朕主意已定，派九殿下趙構前往大金國作人質，並加封為康王，著太子趙桓、宰相張邦昌全權處置。”
李剛一看，大勢已去，心中氣憤之極，道：“萬歲，大宋自太祖以來，何曾有過交換人質之事，今陛下此舉，有辱趙氏先祖，乃國人所不齒也。”
“嘟！大膽李剛，你竟敢咆哮龍庭，辱沒聖卿。傳朕旨意，廢黜李剛右相之職，改任員外郎，轟出朝堂。”宋徽宗大怒道。