，使其难以忍受不得不降。于是遣人将苏武安置于北海上的无人之处，使其牧养羝羊并且说道：“须是羝羊生子方得放归。”羝系牡羊向不产子。又将官属常惠等分别安置他处，使之不得相见。
苏武于是一手执使节，一手挥羊鞭，在这个人迹罕至的苦寒之地当起了牧羊人。
苏武在北海没有人供应粮食，只能自己动手丰衣足食。他很快掌握了一些鲁滨逊的技能，比如学会了挖掘田鼠窝，从中发现被它们搜集的果实。
为了提示自己不忘初心牢记使命，苏武无论起居手里都紧握着使节。时间长了，使节上面的牦牛毛都掉光了，苏武仍不肯放下。
不知不觉过了五六遍寒暑，苏武心想自己可能就要老死此处无望生还了。
谁知一日远远望见一大队人马簇拥而来，苏武久不见人，今得相逢，不问是胡是汉心中都觉欢喜。及至走近，乃是单于之弟于靬王，他听说北海禽兽甚多，于是率众前来射猎。见了苏武，知道他是汉使不降者。苏武虽然面上难掩苍老，但是眼神清澈，眉宇间透着一股执拗。苏武平淡地跟他讲了这些年自己的经历，还让于靬王看了看那个光秃秃的使节。于靬王敬其忠义心生怜悯。于是就张起毡帐驻在北海之上，日常领众四出射猎。苏武相聚日久彼此熟悉，闲时便替他们矫正弓弩，修理种种猎具。于靬王见其甚有才艺愈加爱重，便供给其衣食，苏武这才脱下身上破旧衣服换上新衣，弃却野鼠草实来食膻肉酪浆。
光阴迅速，又过了三年余，于靬王忽得一病自知不起，他怕自己死后无人供给苏武，便拨出许多牛羊用具等赐与苏武。于靬王不久身死，他部下果然移居他处，苏武依然剩得一人，邻近北海的丁灵人听说苏武牲畜众多，便率众前来偷盗一空。苏武的生活又复穷困。
武帝探闻苏武消息后，遂命李广利领兵三万往击匈奴。又召骑都尉李陵随军征进。李陵字少卿，乃李广之孙，其父李当户早死，遗腹生陵。少为侍中建章监，善骑射，爱人下士，众皆称之。武帝以为有李广之风，曾使他带领八百骑深入匈奴二千余里，不见胡骑而回，武帝拜为骑都尉。这次武帝召见李陵于武台，命他为李广利押送辎重。李陵叩头自请道：“臣所领兵队皆荆楚勇士，力能扼虎，射必命中，愿得一队以分单于兵力，不使专与贰师对敌。”武帝道：“你莫非不愿为人属下，但是我发兵已多，并无马队与你。”李陵道：“不用马队，臣愿以少击众，自率所部步兵五千人直入单于之庭。”武帝见其胆勇过人也就依允，于是另