如意元年（692年），吐蕃酋長曷蘇率領部落貴川部與党項種三十萬，請求歸附武周，朝廷任命右玉鈐衛將軍張玄遇為安撫使，領精卒二萬迎接。六月，周軍到大渡水西邊，曷蘇歸附武周的事情洩露，被吐蕃人擒拿。別部酋長昝捶率羌蠻八千餘人歸附武周，張玄遇將他的部落安置在萊川州後，以昝捶為刺史，在大度西山勒石紀功而還。延載元年（694年）十月，嶺南獠人反叛，朝廷任命容州都督張玄遇為桂、永等州經略大使以討伐。

萬歲通天元年（696年）五月十二日，營州契丹松漠都督李盡忠、歸誠州刺史孫萬榮起兵反武周，攻陷營州。五月二十五日，武則天派遣左鷹揚衛將軍曹仁師、右金吾衛大將軍張玄遇、左威衛大將軍李多祚、司農少卿麻仁節等二十八將討伐。周軍到達黃麞谷，契丹人派老弱兵民前來投降，故意在道邊丟棄老牛瘦馬。曹仁師等便留下步兵，領騎兵前進。八月二十八日，與契丹黃麞谷之戰，周軍大敗。契丹人設下埋伏從側面攻擊，李楷固用飛索將張玄遇與麻仁節絆倒，將他們生擒。契丹人獲得周軍印信，便偽造文書讓張玄遇等簽名，通知總管燕匪石、宗懷昌等說官軍獲勝，催促他們前進。燕匪石等得到通知，晝夜兼程，士卒馬匹都很疲勞；結果被契丹人在中途埋伏截擊，全軍覆沒。