虞常受盡種種刑罰，隻承認跟張勝是朋友、隻跟張勝說過話，拚死也不承認跟張勝同謀。衛律向單於報告，單於大怒，想殺死蘇武，被大臣勸阻了。單於又叫衛律去逼迫蘇武投降，蘇武一聽衛律叫他投降，就說：“我是漢朝的使者，如果違背了使命，喪失了氣節，活下去還有什麽臉見人。”說完又拔出刀向脖子抹去。
衛律慌忙把他抱住，而蘇武的脖子已劃傷，昏了過去。衛律趕快叫人搶救，蘇武才慢慢蘇醒過來。單於覺得蘇武是個有氣節的好漢，十分欽佩他。
等蘇武的傷痊愈了，單於又逼蘇武投降，就派衛律審問虞常，讓蘇武在旁邊聽著。衛律先把虞常定了死罪殺了，接著又舉劍威脅張勝，張勝貪生怕死，投降了。
衛律對蘇武說：“你的副手有罪，你也得連坐。”
蘇武說：“我既沒有跟他同謀，又不是他的親屬，為什麽要連坐？”
衛律舉劍威脅蘇武，蘇武不動聲色。衛律沒有辦法，隻好把舉起的劍放下，勸蘇武說：“我也是不得已才投降匈奴的，單於待我好，封我為王，給我幾萬名的部下和滿山的牛羊，讓我享盡富貴榮華。先生如果能夠投降匈奴，明天也能跟我一樣，何必白白送掉性命呢？”
蘇武怒氣衝衝地站起來說：“衛律，你曾經也是漢朝的臣子，你忘恩負義，背叛了父母，背叛了朝廷，還有什麽臉來和我說話？我決不會投降，怎麽逼我也沒有用。”
衛律碰了一鼻子灰，回去向單於報告。單於把蘇武關在地窖裏，不給他吃的喝的，想長期折磨逼他屈服。這時候正是入冬天氣，外麵下著鵝毛大雪。蘇武忍饑挨餓，渴了就捧一把雪止渴，餓了就扯一些皮帶、羊皮片充饑。過了幾天，他居然沒有餓死。
單於見折磨也對他沒用，就把他送到北海邊去放羊，跟他的部下常惠分隔開，不許他們通消息，還對蘇武說：“等公羊生了小羊，就放你回去。”公羊怎麽會生小羊呢？這不過是說要長期監禁他罷了。