却说西迁的大月氏与匈奴有世仇，但苦于无人相助。汉武帝便决定沟通西域，联合大月氏夹攻匈奴，“断匈右臂”。公元前139年，张骞率领一百多名随行人员，以匈奴人堂邑父为向导，从长安出发前往西域，西行进入河西走廊。这一地区自月氏人西迁后，已完全为匈奴人所控制。当张骞一行匆匆穿过河西走廊时，不幸碰上匈奴的骑兵，他们全部被抓获。匈奴骑兵立即把张骞等人押送到当时的军臣单于面前。军臣单于得知张骞欲出使月氏后，一脚踩断他的使节，大声质问道：月氏在吾北，汉何以得往使？吾欲使越，汉肯听我乎？也就是说，汉使欲通过匈奴人地区出使月氏。就像匈奴使者欲穿过汉区到南方的越国去一样。可能吗？张骞没有说话，只是默默捡起地上的使节抱在怀里。军臣单于将张骞一行扣留和软禁起来。
为了软化、拉拢张骞，打消其出使月氏的念头，军臣单于进行了种种威逼利诱，但均未达到目的。张骞“不辱君命”、“持汉节不失”，始终没有忘记汉武帝交给自己的神圣使命，在匈奴一直留居了十年之久。张骞的性格得到匈奴单于的肯定，并将匈奴一位美丽的女子嫁与张骞，这个女子在张骞十多年的匈奴生活中给了他巨大的温暖。
前129年，匈奴监视渐有松弛，张骞趁匈奴人不备带领妻儿与随从逃出了匈奴人的控制区。由于匆匆出逃，物资准备又不足。张骞一行风餐露宿，备尝艰辛。大戈壁滩上，飞沙走石热浪滚滚;葱岭高如屋脊，冰雪皑皑寒风刺骨。沿途人烟稀少，水源奇缺。干粮吃尽了，就靠善射的堂邑父射杀禽兽聊以充饥。不少随从因饥渴倒毙途中。张骞到达大宛后，向大宛国王说明了自己出使月氏的使命和沿途种种遭遇，希望大宛能派人相送，并表示如能返回汉朝，一定奏明汉皇送他很多财物酬谢。大宛王早就风闻东方汉朝的富庶，很想与汉朝通使往来，但苦于匈奴的阻碍未能实现。汉使的意外到来使他非常高兴，张骞的一席话更使他动心，于是满口答应了张骞的要求，热情款待后，派向导和译员将张骞等人送到康居，康居王又遣人将他们送到大月氏。
不料，这时的大月氏人由于新的国土十分肥沃，物产丰富，并且距匈奴和乌孙很远，外敌寇扰的危险已大大减少，就改变了态度。当张骞向他们提出建议时，他们已无意向匈奴复仇了。而且他们认为汉朝离月氏太远，如果联合攻击匈奴，遇到危险恐难以相助。张骞等人在月氏逗留了一年多，始终未能说服月氏人与汉朝联盟夹击匈奴。在此期间，张骞曾越过妫水南下，抵达大夏的蓝氏城