匈奴单于为软化、拉拢张骞，打消其出使月氏的念头，进行了种种威逼利诱，还给张骞娶了匈奴的女子为妻，生了孩子。但均未达到目的。他“不辱君命”、“持汉节不失”，始终没有忘记汉武帝所交给自己的神圣使命，没有动摇为汉朝通使月氏的意志和决心。张骞等人在匈奴一直留居了十年之久。也没有动摇他一定要完成任务的决心。他住在匈奴的西境，等候机会。
至元光六年（前129年），敌人的监视渐渐有所松弛。一天，张骞趁匈奴人的不备，果断地离开妻儿，带领其随从，逃出了匈奴王庭。
这种逃亡是十分危险和艰难的。在匈奴的十年留居，使张骞等人详细了解了通往西域的道路，并学会了匈奴人的语言，他们穿上胡服，很难被匈奴人查获。因而他们较顺利地穿过了匈奴人的控制区。
但在留居匈奴期间，西域的形势已发生了变化。月氏的敌国乌孙，在匈奴支持和唆使下，西攻月氏。月氏人被迫又从伊犁河流域，继续西迁，进入咸海附近的妫水地区，征服大夏，在新的土地上另建家园。张骞大概了解到这一情况。他们经车师后没有向西北伊犁河流域进发，而是折向西南，进入焉耆，再溯塔里木河西行，过库车、疏勒等地，翻越葱岭，直达大宛（费尔干纳盆地）。路上经过了一次极为艰苦的行军，大戈壁滩上，飞沙走石，热浪滚滚；葱岭高如屋脊，冰雪皑皑，寒风刺骨。沿途人烟稀少，水源奇缺。加之匆匆出逃，物资准备又不足。张骞一行，风餐露宿，备尝艰辛。干粮吃尽了，就靠善射的堂邑父射杀禽兽聊以充饥。不少随从或因饥渴倒毙途中。
张骞到大宛后，向大宛国王说明了自己出使月氏的使命和沿途种种遭遇，希望大宛能派人相送，并表示今后如能返回汉朝，一定奏明汉皇，送他很多财物，重重酬谢。大宛王本来早就风闻东方汉朝的富庶，很想与汉朝通使往来，但苦于匈奴的中梗阻碍，未能实现。汉使的意外到来，使他非常高兴。张骞的一席话，更使他动心。于是满口答应了张骞的要求，热情款待后，派了向导和译员，将张骞等人送到康居（今乌兹别克斯坦和塔吉克斯坦境内）。
由大宛介绍，又通过康居（今哈萨克共和国东南），到了大夏。大夏在今阿姆河流域。又遣人将他们送至大月氏。
大月氏在伊犁河畔受到乌孙的攻击，又一次向西迁徙。乌孙，63万人，也是个“行国”，曾在敦煌一带游牧，受过大月氏的攻击。后来匈奴支持乌孙远袭大月氏，大月氏被迫迁到阿姆河畔，而乌孙却在伊犁河留住下来。自从大月氏到了阿姆河，不仅用武力臣服了大夏，由于新的国土十分肥沃，物产丰富，并且距匈奴和乌孙很远，外敌寇扰的危险已大大减少，改变了态度，逐渐由游牧生活，改向农业定居，无意东还，再与匈奴为敌。当张骞向他们提出联合对付匈奴时，遭到了拒绝。
张骞在大月氏逗留了一年多，得不到结果，只好在元朔元年（前128年），动身返国。归途中，张骞为避开匈奴控制区，改变了行军路线。计划通过青海羌人地区，以免匈奴人的阻留。于是重越葱岭后，他们不走来时沿塔里木盆地北部的“北道”，而改行沿塔里木盆地南部，循昆仑山北麓的“南道”。从莎车，经于阗（今和田）、鄯善（今若羌），进入羌人地区。但出乎意料，羌人也已沦为匈奴的附庸，张骞等人再次被匈奴骑兵所俘，又扣留了一年多。
元朔三年（前126年）初，军臣单于死了，其弟左谷蠡王自立为单于，进攻军臣单于的太子于单。于单失败逃汉。张骞便趁匈奴内乱之机，带着自己的匈奴族妻子和堂邑父，逃回长安。这是张骞第一次出使西域。从武帝建元三年（前138年）出发，至元朔三年（前126年）归汉，共历十二年。
张骞出使时带着100多人，历经13年后，只剩下他和堂邑父，还有他的匈奴妻子三个人回来。这次出使，虽然没有达到原来的目的，但对于西域的地理、物产、风俗习惯有了比较详细的了解，为汉朝开辟通往中亚的交通要道提供了宝贵的资料。
汉武帝对张骞这次出使西域的成果，非常满意，特封张骞为太中大夫，授堂邑父为“奉使君”，以表彰他们的功绩。
张骞回来以后，向武帝报告了西域的情况。这就是《汉书·西域传》资料的最初来源。之后，由于张骞随卫青出征立功，“知水草处，军得以不乏”，被武帝封为“博望侯”。
元狩四年（前119年），张骞第二次奉派出使西域。这时，汉朝业已控制了河西走廊、积极进行着对匈奴最大规模的一次战役。几年来汉武帝多次向张骞询问大夏等地情况，张骞着重介绍了乌孙到伊犁河畔后已经与匈奴发生矛盾的具体情况，建议召乌孙东返敦煌一带，跟汉共同抵抗匈奴。这就是“断匈奴右臂”的着名战略。同时，张骞也着重提出应该与西域各族加强友好往来。这些意见得到了汉武帝的采纳。
张骞率领300人组成的使团，每人备两匹马，带牛羊万头，金帛货物价值“数千巨万”，到了乌孙，游说乌孙王东返，没有成功。他又分遣副使持节到了大宛、康居、月氏、大夏等国。元鼎二年（前115年）张骞回来，乌孙派使者几十人随同张骞一起到了长安。此后，汉朝派出的使者还到过安息（波斯）、身毒（印度）、奄蔡（在咸海与里海间）、条支（安息属国）、犁轩（附属大秦的埃及亚历山大城），中国使者还受到安息专门组织的二万人的盛大欢迎。安息等国的使者也不断来长安访问和贸易。从此，汉与西域的交通建立起来。
张骞的伟业在前，华夏如今如何能够止步不前，张骞以区区数十人，历经十多年，凿空西域，各族势力纷纷归附汉朝，西域就已经被纳入汉朝疆域，为丝绸之路的兴盛发展做出了卓越贡献，现在的丝绸之路被奥斯曼阻断已经几百年了，北线被华夏重新打开了，南线现在接着也要被华夏打通，为时不晚！