生平
王玄谟年幼时就已经显得不平凡，伯父王蕤有鉴赏人才的能力，常常笑称：「这个孩子高尚忠正，有太尉彦云(王凌)的风范呀。」后来被刘裕辟为徐州从事史。元嘉元年（424年），谢晦外任荆州刺史、南蛮校尉，请了王玄谟为南蛮行参军、武宁太守。元嘉三年（426年），宋文帝出兵讨伐谢晦，谢晦兵败被杀，王玄谟因非主帅而获免罪，后担任长沙王刘义欣的镇军中兵参军，领汝阴太守。
元嘉七年（430年），宋文帝派到彦之北伐，但因失利退还；次年滑台亦为魏军所陷。王玄谟此时就上疏文帝，认为北伐不成主因是士兵不欲远征，建议在鲁阳县及南乡县出兵攻关中及洛阳，而非以江东军队远道进攻。接著的日子多次向文帝进献北伐策略，一直有心北伐的宋文帝也听得很心动。后王玄谟任徐州刺史、兴安侯刘义宾的辅国司马、彭城太守。元嘉二十五年（448年），刘义宾去世，王玄谟表称彭城是水陆要塞，求以皇子外镇徐州，文帝遂命武陵王刘骏任徐州刺史。
元嘉二十七年（450年），宋文帝再度北伐，以王玄谟为宁朔将军，受辅国将军萧斌节度，率主力进碻磝，碻磝守军退走后玄谟转攻滑台（今河南滑县东），围城两百馀日不下。围攻初期城内有很多茅屋，有人建议用点火的箭烧掉它们，但玄谟认为这会损耗城破后能俘获的军需品而拒绝，但城内不久就将茅屋都撤去了。他又一直固执拒谏，坚持以自己想法行事，屡加杀戮；更乘机营高利，卖布给当地人竟索八百个梨，因而大失人心。及后魏太武帝率军来救，兵众请以车营抵抗北魏骑兵；垣护之知魏军来到，亦急请王玄谟不计伤亡也要攻下滑台以取得据点抵抗魏军，可是王玄谟都一概拒绝。最终魏军攻至，他趁夜色而逃，士兵溃散，伤亡惨重。回到碻磝后萧斌想处死他，但被沈庆之谏止。后萧斌率众南退历城，玄谟自请留守碻磝。次年，魏军兵至瓜步山后退军，江夏王刘义恭以碻磝并不可守，召王玄谟率众弃守南还，但玄谟就遭到魏军追击，玄谟军大败，手臂更中箭受伤，但还是能撤回历城。
元嘉三十年（453年），太子刘劭发动兵变弑父继位，以王玄谟为冀州刺史。不久，刘骏起兵讨伐刘劭，玄谟也派了垣护之领兵支持。刘骏登位后调玄谟为徐州刺史，加都督。孝建元年（454年），丞相、南郡王刘义宣联同江州刺史臧质及鲁爽等起兵反叛，王玄谟获假授辅国将军，拜豫州刺史，与柳元景联手讨伐臧质。玄谟率众屯梁山，并在河两岸修筑偃月垒，以水陆之势等待敌军。臧质大军到后攻破了玄谟西垒，玄谟遂向留屯采石的柳元景请求增兵助守东垒，元景留弱兵自守，将精兵全数派往支援玄谟，玄谟军见元景援军旗帜甚盛，以为是来自京师的援军，军心都安定了。接著臧质率军攻东垒，玄谟亲督诸军抵抗，终击败臧质，义宣等亦溃退，不久即被平定。
战后玄谟获加都督、前将军，封曲江县侯。但后来中军司马刘冲之奏报玄谟兴义宣通谋，宋孝武帝就命人弹劾玄谟多取财货，虚报战利品数目，与垣护之皆被免官。
孝建二年（455年）王玄谟复任豫州刺史，讨平了夏侯方进，八月转青冀二州刺史，十一月再迁宁蛮校尉、雍州刺史，加都督。玄谟因应雍州多有侨居人民，建议实行土断，可是因为百姓反对而作罢；接著玄谟又下令九品以上人士都要缴租税，令得人们不论贫富都得交缴，更令境内士人不满。因此，当时民间就有流言称王玄谟要谋反，时任新城太守的柳僧景因其兄柳元景在朝中的势力，自令南阳、顺阳、上庸及新城诸郡出兵讨伐玄谟。玄谟下令境内外如常活动，图解众人对其谋反的怀疑，他亦上书向皇帝啓奏，陈述事情起因，终令孝武相信谋反之事并非事实，并派主书吴喜公安抚。后玄谟转金紫光禄大夫，领太常。后又以本官加领起部尚书及北选。大明三年（459年）任郢州刺史。后又转平北将军、徐州刺史，加都督。玄谟任内因应北境爆发饥荒，于是捐出十万斛谷及一千头牛去赈灾。大明八年（464年）入为领军将军。同年宋孝武帝去世，王玄谟与义恭、柳元景、沈庆之及颜师伯皆受顾命，玄谟主理外监军务。宋前废帝接著即位，然因王玄谟严肃正直，不为当时朝政多门之风所容，故很快就外调为青冀二州刺史，加都督。永光元年（465年），刘义恭、柳元景及颜师伯等人密谋发动政变废前废帝，沈庆之将此事向前废帝告发，前废帝将他们都诛杀，并残酷解刘义恭，自后更多对百官拳打脚踢，表现更为狂悖。当年，王玄谟受诏入为领军将军，子侄们都建议玄谟称疾不要去，但玄谟却说：「我受过先帝这么大的恩，又怎可以怕死求苛活呢。」坚持要去。玄谟多次向前废进谏，并曾哭请废帝不要施刑行戮，弄得废帝大怒。时沈庆之亦屡谏废帝，为废帝所忌，遂被废帝杀害；而时亦有传言称王玄谟也被诛了，玄谟当时其实也相当恐惧。蔡兴宗曾对玄谟亲信包法荣表示王玄谟可以藉废帝因出猎而召去玄谟五百旧部曲入宫的机会发动兵变，藉由王玄谟大将的威望得朝廷支持，从而取得成功；可是包法荣将此计告知玄谟后玄谟却不敢做。同年，湘东王刘彧联结阮佃夫、寿寂之等人弑杀宋前废帝，自登帝位，即宋明帝。宋明帝对王玄谟相当礼敬，以其为车骑将军、江州刺史，并因应邓琬举晋安王刘子勋为帝对抗宋明帝朝廷，以玄谟为大统率领水军，让其担任司徒、都督征讨诸军事建安王刘休仁的副手。泰始二年（466年）转左光禄大夫、开府仪同三司，领护军将军，同年转车骑将军、南豫州刺史，加都督。泰始三年罢南豫州，王玄谟为特进、左光禄大夫、护军将军。
泰始四年二月乙巳日（468年4月7日），王玄谟去世，享年八十一岁，諡为庄公。
性格特徵
• 王玄谟为人严苛少恩，军中士兵曾说过：「宁作五年徒，不逢王玄谟。」不过将军宗越对手下更是苛刻残酷，兵士又说：「玄谟犹自可，宗越更杀我。」他也不会随便笑，当时人就说玄谟眉头从未舒展过。
佚事
• 前废帝在位时王玄谟恐惧非常，直至明帝继位后对其礼遇有加，他对亲信郭季产和女婿韦希真埋怨当日自己处于危难时他们都没有帮他提过意见。郭季产却重提当日蔡兴宗的计划，指既然王玄谟说大事难以实行而不做，他多言亦没甚么益处。玄谟听后面有愧色。
• 孝武帝喜欢戏玩群臣，柳元景、垣护之和王玄谟一样是北方人，但只有王玄谟被视为「老伧」，更曾为玄谟作诗：「董荼供春膳，粟浆充夏飧，瓟酱调秋菜，白醝解冬寒。」
家庭
子女
• 长子王深，早卒
• 次子王宽
• 三子王瞻。王瞻负气傲俗，好贬裁人物，常自恃为三公之子，对他人肆意评论，于宋末贬低过萧道成长子萧赜，萧赜记恨在心；479年南齐建立后，身为太子的萧赜趁机报仇，找藉口杀掉了王瞻，萧道成派人对太子说：「儿阿，这哪需要计较？」，王瞻却已被杀死，萧道成只好默然无语。
外甥
高法昂，高聪父，官至员外郎
