匈奴自從被衛青、霍去病打敗以後，和漢朝好幾年都沒有打仗。他們口頭上表示要跟漢朝和好，可實際上還是隨時想進犯中原。
匈奴的單於一次次派使者來求和，可是漢朝的使者到匈奴去回訪，有的卻被他們扣留了，所以漢朝也扣留了一些匈奴使者。公元前100年，漢武帝想出兵攻打匈奴，匈奴卻派使者來求和，還把漢朝的使者都放了回來。
漢武帝為了回報匈奴的善意，就派中郎將蘇武拿著旌節，帶著副手張勝和隨員常惠出使匈奴。蘇武到了匈奴之後，送回扣留的使者，送上禮物。蘇武正等單於寫個回信讓他回朝，沒想到就在這個時候，出了一件倒黴的事兒。
蘇武沒到匈奴之前，有個在漢朝為官的胡人叫衛律，在出使匈奴後投降了匈奴。單於特別重用他，封他為王。衛律有一個部下叫虞常，對衛律很不滿意。虞常跟蘇武的副手張勝之前是朋友，就暗地裏跟張勝商量，想殺了衛律，劫持單於的母親，逃回中原去。張勝表示同意，沒想到虞常的計劃沒成功，反而被匈奴人逮住了。單於大怒，叫衛律審問虞常，還要查問出同謀的人來。
蘇武本來不知道這件事，到了這時候，張勝怕受到牽連，才告訴蘇武。蘇武說：“事情已經到了這個地步，一定會牽連到我。如果讓他們審問過後再死，不是更給朝廷丟臉嗎？”說罷，就拔出刀要自殺。張勝和隨員常惠眼快，奪去他手裏的刀，把他勸住了。