扣留在汉朝的匈奴使者，并赠送给单于许多财物，以报答他的好意。苏武与副使汉中郎将张胜以及临时兼任使者属吏的常惠等人招募士卒、斥候一百多人同去匈奴。到达匈奴后，陈设财物赠送给单丁。单丁更加傲慢，完全不像汉朝所期望的那样。

单于正要派使者护送苏武等人返回，正赶上缑王和长水虞常等在匈奴谋反。缎王是昆邪王姐姐的儿子，曾与昆邪王一起投降汉朝，后来随同漠浞野侯讨伐匈奴，兵败而降。他们与随从卫律投降的人暗中策划，要劫持单于的母亲板氏返回汉朝，恰巧苏武等出使匈奴。虞常在汉朝时和副使张胜关系一直不错，就暗中拜访张胜，说：“听说汉朝皇帝非常怨恨卫律，我能为汉暗设弓弩杀死他。我的母亲和弟弟在汉朝，希望他们能得到我为汉朝立功的赏赐。”张胜表示同意，并送给虞常财物。一个多月以后，单于出去打猎，衹有板氏及其侍从在家。虞常等匕十多人准备下手，但其中一人晚上逃走，向单于告密，单于及其部下派兵与虞常等展开激战，缑王等都在战斗中被杀。虞常被活捉。

单于任用卫律审理这一事件。张胜听到这个消息，恐怕以前与虞常密谋之语被泄露，就把情况告诉给苏武。苏武说：“事情已发展到这个地步，一定会牵涉到我。受到侮辱之后才死，将更加对不起国家。”于是便要自杀，张胜、常惠一起把他劝住。虞常果然供出张胜。单于大怒，召集匈奴贵族商议，要杀死汉朝使者。左伊秩訾说：“如果有谋害单于的，该如何加重处罚？不如让他们全部投降。”单于便派卫律召来苏武审问。苏武对常惠等人说：　“使自己的节操和国家的使命受到屈辱，即使不死，还有什么脸面回到坠朝？”拔出佩刀自杀。卫律大吃一惊，亲自抱住麸武，派人骑马跑去找医生。医生在地上凿了一个坑，放进媪火，使苏武伏卧在火坑上，用手叩击他的背使淤血从伤口中流出。苏武昏死过去，很久才苏醒。常惠等人哭着把他抬回营帐。单于非常佩服他的气节，派人早晚探问他的病情，并拘捕了张胜。

苏武的伤势Et渐好转，单于派使者劝他投降，又共同审判虞常，想藉此机会迫使苏武投降。用剑杀死虞常之后，卫律说：“汉朝使者张胜谋杀单于亲近的大臣，罪当处死，不过单于招募投降的人，赦免他的罪过。”举剑要杀张胜，张胜请求投降。卫律又对苏武说：　“副使有罪，你应当与他连坐。”苏武说：“我本来没有参与密谋，又不是他的亲属，为什么要与他连坐？”卫律用剑比划着要刺苏武，苏武毫不动摇。卫律说：“苏先生，我卫律从前背叛汉朝，归降匈奴，幸而承蒙单子恩德，赐给我王号，使我拥有部众数万，马畜满山，富贵如此。您今日投降，明天也会这样。否则被杀，白白葬身于荒野之中，有谁知道你为汉朝而死？”苏武不予理睬。卫律又说：“您藉助我而投降，我与您结为兄弟；今天不听我的话，以后再想见到我，还有可能吗？”苏武痛斥卫律说：“你作为汉朝臣民，不顾恩义廉耻，背叛皇帝和亲人，投降蛮夷，我见你干什么？况且单于信任你，让你裁决人的生死，你却不出于公心，主持平正，反而要使两国之主相互争斗以坐观双方混战所造成的祸乱。南越杀汉使者，被夷平成为汉朝的九个郡；大宛王杀汉使者，他的头颅已被悬于汉宫之北阙；朝鲜杀汉使者，立即遭到减顶之灾。惟独匈奴未发生这种事。你明知我不投降，如果想让两国相攻伐，匈奴的祸败将从杀我开始。”

卫律知道最终不能威胁苏武投降，就把情况汇报给单于。单于越发想使苏武投降，便把他囚禁在大窖襄，断绝向他供应饮食。天降大雪，苏武就卧在地上，吞食雪团与毡毛，得以好多没饿死。匈奴以为他是神人，就把他迁徙到北海没有人烟的地方，让他放牧公羊，直到公羊产乳生仔，才允许他回来，并把他与属吏常惠等分开，分别安置在不同的地方。

苏武被流放到北海以后，匈奴不供给他粮食，他只好挖掘野鼠所贮藏的草籽充饥。拄着汉朝节牧羊，时时刻刻把汉朝节带在身边，以致节上的旄都脱落了。过了五六年，单于的弟弟于轩王下海打猎，因苏武会制做猎网和箭缴，校正弓弩，于轩王很喜欢他，送给他衣服和食物。又过了三年多，于轩王病了，就赠送苏武牲畜、酒酪器皿和毡帐。于轩王死后，他的部众也都走了。这年冬天，丁令人偷走了苏武的牛羊，苏武再一次陷入了困境。