双方在岷江支流越溪河畔相遇，杨顒先遣人打探，得知南中军中除了百余个用黑布笼罩的大笼子，以及拉着辎重车的驮兽十分古怪之外，其余并无异常，军中虽有不少马匹，却都是矮小的滇马，根本无法上阵冲杀，与高大的羌马对阵。
当下杨顒心中大定，即挥军前来与李恢对战，双方在越溪河和岷江之间的平坦地面上排开阵势，杨顒见南中军除了有百余头大象当做驮兽之外，其余滇马果然矮小，军士多是步兵，当下笑道：“我曾经听说南中蛮夷有驯养大象为兵的，翻山越岭如履平地。然则大象虽然高大，但数量稀少，而且行动迟缓，如何能与战马相比？南中山野之民，未曾见过精锐骑兵，只将象兵当做了宝贝。今日便叫他知道厉害！”
于是杨顒令步兵居中，持弓弩压阵，骑兵居于两翼，准备侧击敌军的象兵。
李恢则命木鹿大王将兽兵分为三队，木鹿大王指挥象兵居中，其四子则指挥豺狼虎豹等兽兵分居左右，带来洞主率领其余滇军居左，兀骨突率领藤甲兵居右，李恢自率五千仆从军居中，大军徐徐往蜀军压了过去。
杨顒见南中军主动进击，当下命两翼骑兵冲阵，步兵弓弩手则坚守阵型，只等象兵进入射程，便即万弩齐发，覆盖射击。
双方迅速接近，就见木鹿大王将手中兽铃一摇，其四子纷纷命族兵将兽笼打开，顿时数百只豺狼虎豹被放了出来，众族兵口中发出异声指挥各种猛兽往蜀军冲去，顿时就听象吼虎啸，豹嘶狼嗷之声此起彼伏地响了起来，大象踏地的轰隆声震耳欲聋，猛兽吼叫之声摄人心魄。
敌人从“矮小虚弱”的人变成了无数嗜血的猛兽，这让蜀军尽皆惊呆了，首先做出反应的是羌兵们的战马，个个受惊之下，疯狂地抛着蹶子往后退，任凭骑手如何鞭打都无济于事，骑兵阵营瞬间大乱。
随后做出反应的杨顒率领的步军弓弩手，眼见敌军兽兵杀来，杨顒努力镇定心神命令众军放箭，然而箭矢射入象兵之中，却仅仅只能够对大象造成破皮伤害而已，几乎无法致命。而象兵骑在象背上，有圆盾遮挡身体，象奴虽是步行，却也有战象高大的身躯做掩护，因此伤亡都不大。
眼见战象居然刀枪不入，蜀军步兵顿时大惊。此时左右两翼的羌骑已经在兽兵和滇兵、藤甲兵的冲击之下崩溃，而正面的象兵又已经杀到了蜀军步军之前，战象速度虽慢，但那股无可抵挡的气势却是让人顿生渺小之感。
顷刻之间，蜀军便战意全失，纷纷转身逃跑。
蜀军阵势完全无法维持，杨顒见状，只得长叹一声，下令撤军。
李恢挥军从后掩杀，追杀四十里方回，蜀军慌不择路，自相践踏以及被南中军杀伤俘获者极多。
战后李恢清点战果，因正面交战时间太短，自家损失不多，仅只伤亡了五六百人，但在追击之中所取得的战果却极为辉煌。羌将隗渠、李求承被临阵斩杀，击杀蜀、羌联军近四千人，俘虏五千余人，缴获战马二千七百余匹，其余军械无数。蜀、羌两军逃散者极多，杨顒退到南安之后，清点兵马，仅得蜀兵二千人，羌兵五千人而已，且多有伤在身，都已是惊弓之鸟，短时间内难以再战了。
李恢领得胜兵回到僰道，将抓获的战俘压到马良营寨之前示威，马良麾下蜀军见状，知道援兵大败，自己短期内难以再得到增援了，当下士气大跌。
不过马良率领的都是老兵，虽然心中担忧，但在马良的疏导之下却也还都能稳得住。当下马良更不敢出营与李恢决战了，只一心守营，同时派人传令给杨顒，叫他再次征调兵马，固守南安，切莫再给南中军以可趁之机。
面对谨守营寨的马良，新胜之后士气旺盛的李恢也没有太好的办法，只好也在泸水便扎营，水陆两军相互呼应，继续与马良对峙，同时命越儁太守雍常派人去汉嘉与羌人联络，试图说动羌人弃蜀归己。
此时，在巫峡地区，张任看着吕岱、诸葛虔二人发来的战报，沉默了许久，这才叹了口气，对旁边的刘敏、成何等人道：“吕岱冒进，在武陵山口处被赵融伏击，折兵二千余人。幸得诸葛虔在后闻听消息，杀出营救，这才保住了性命。如今他们已经退到了利川。这一路兵马大败，挫折我军锐气，想要再攻巴东，恐怕是难了。”
众将闻言，尽皆沉默。正在此时，忽听武陵太守潘濬有书信送到，张任拆开一看，只见上面写道：“武陵太守潘濬拜上张任将军：近闻将军奉命西征，受阻于巫峡山道，吕岱将军又战败于武陵山口，此我军势弱，贼焰猖獗之时也，正可示敌以弱，然后出奇制胜。我自归陛下，舔居武陵太守之职，至今十年矣！多年来别无建树，唯深入蛮境，颇知地理。前者神医张仲景入武陵群山之中寻药，得青蒿者，在酉水上游之酉阳之地也。其地乃蛮民所居，是荆、益之交界。我私下探查，确定其实与益州巴郡之涪陵县相接也。在武陵山和方斗山南麓，大娄山北麓之间，实有崎岖山道相连，又有一条乌江流过。此虽人迹罕至之地，却也有少量未开化的巴蛮与武陵蛮部落散居其间，若能以熟悉地理的五溪蛮为向导，并以钱帛粮盐利诱沿途生蛮，以之引路，或可成功进抵涪陵，然后沿着乌江而下，直取江州，则我军直接到巴东敌军后方矣。将军岂有意乎？若有此意，可暗调兵来。我当起武陵之众相助。”
张任看了书信，顿时大为惊喜，当下沉吟了许久，随后招来五溪蛮精夫相炜，问道：“武陵郡太守潘濬说酉阳以西与巴郡的涪陵县相连，有小路可通，是否确实？”
相炜闻言，当下招来酉溪蛮首领覃飞，就听覃飞道：“巴郡与酉阳、迁陵之间的确有小路相通，只是这条路十分深险，便在我等山民看来也宛如绝境一般。只在乌江沿岸至武陵山南麓山口有十数个小部落散居于此，每个部落不过数百人，离群索居，除了偶尔与山外的部落交换些盐、铁之外，再不与外人相通。这条路十分隐秘险要，外人莫知，却不知张将军是如何知晓的？”
张任笑道：“是当年神医张仲景入山寻药，武陵太守潘濬派人协助，因此无意中发现的。却不知这条路可以行军么？”
覃飞皱眉道：“实不相瞒，我也从未走过这条路。不过虽未亲见，但人迹罕至的绝域之中，道路会有何等艰险却也是可以想象的。张将军若要从此路过，恐怕还需做好万全的准备才是。”
张任笑道：“有路就好，我军粮草充足，军医众多，士卒也都惯于翻山越岭。只要确定有路，何愁不能过去？”
当下张任沉吟了片刻，便即从自家军中抽调文布领兵二千前去与吕岱会合，然而二将合兵一处，合计三千人，一起去武陵太守潘濬处，由潘濬安排着走涪陵道入川。