《晋书·谢玄传》
年长后，有治国才略，朝廷屡次征召而不应。后来与王王旬一 同被桓温召为属官，并受到礼遇和器重。转任征西将军桓豁司马、领南郡相、监北征诸军事。当时前秦苻坚强大，多次侵犯东晋边境，东晋朝廷寻求可以镇守北方边 境的文武良将，谢安便举荐了谢玄。中书郎郗超素来与谢玄不和，闻知此事却加以赞叹，说："谢安不顾众人指责而举荐亲属，是明智的。谢玄必定不辜负举荐，因 为他确有才干。"当时众人都不以为然。郗超说："我曾与谢玄在桓公府里共事，见他施展才能，即使在穿着木屐时也能干大事，所以了解他。"于是谢玄被召回 朝，任命为建武将军、兖州刺史、领广陵相、监江北诸军事。
其时苻坚派兵围攻襄阳，车骑将军桓冲率军抵抗。朝廷诏令谢玄征发三州人丁， 派彭城内史何谦率兵在淮水、泗水间流动作战，以减轻襄阳的威胁。襄阳陷落后，苻坚部将彭超进攻据守彭城的龙骧将军戴逯。谢玄率东莞太守高衡、后军将军何谦 驻扎在泗口，打算派使者伺机报知戴逯，好让他知道救兵已到，可是无法通过敌兵防线。小将田泓请求前往，于是田泓潜水而行，将至彭城时，被敌兵抓获。敌兵厚 礼贿赂田泓，让他向城内喊话，说"援军已败"。田泓假意应许。不久来到彭城外，向城内大喊道："救兵已到，我独自来送消息，被贼兵抓获，你们努力吧！"于 是田泓遇害。当时彭超把辎重安置在留城，谢玄便扬言派何谦等人去攻打留城。彭超听说，急忙回留城保护辎重。何谦乘势猛攻，解除了彭城之围。
彭超又率部南侵，苻坚部将句难、毛当从襄阳赶来与彭超会合。彭超将幽州刺史田洛围困在三阿，兵力有六万。东晋朝廷诏令征虏将军谢石率水军进驻涂中，右卫 将军毛安之、游击将军河间王司马昙之、淮南太守杨广、宣城内史丘准进驻堂邑。不久盱眙城陷落，高密内史毛藻战死，毛安之等大惊失色，便各自率部回撤，朝廷 为之震动。谢玄于是从广陵向西进军讨伐句难等。
何谦解除田洛之围，进军占据白马，与贼军大战，击溃贼军，斩杀伪将都颜。又乘胜进攻， 再次击败贼军，斩杀伪将邵保。彭超、句难率部溃退。谢玄率何谦、戴、田洛乘势追击，与贼军战于君川，又大败贼军。谢玄属下参军刘牢之破毁贼军浮桥及战船， 督护诸葛侃、单父县令李都又破毁贼军运输船只。句难等相继率残部北逃，仅以只身逃脱。于是东晋完全解除了前秦军队对彭城、下邳二城的威胁。朝廷诏令殿中将 军前往慰劳谢玄，封谢玄为冠军将军，兼徐州刺史，回镇广陵，论功封为东兴县侯。
后苻坚亲率大军进驻项城，号称百万，而凉州之师刚刚抵 达咸阳，蜀汉之军顺流而下，幽州并州之军接踵而来。苻坚先派苻融、慕容日韦、张蚝、苻方等进至颍口，梁成、王显等驻扎洛涧。朝廷诏令谢玄为前锋、都督徐兖 青三州扬州之晋陵幽州之燕国诸军事，与叔父征虏将军谢石、堂弟辅国将军谢琰、西中郎将桓伊、龙骧将军檀玄、建威将军戴熙、扬武将军陶隐等迎战，共八万之 众。
谢玄先派广陵相刘牢之率五千精兵直捣洛涧，临阵斩杀梁成及梁成之弟梁云，敌步兵骑兵全线崩溃，争渡淮水。刘牢之率兵猛追，活捉苻坚部将梁他、王显、梁悌、慕容屈氏等，缴获其军械粮草。苻坚进驻寿阳，面临淝水列阵，谢玄军马无法渡水。
谢玄派人对苻融说："足下远道来我晋地，而临水列阵，这是不打算速战速决。请诸位稍稍后撤一步，好让我方将士有一块周旋之地，鄙人与诸君骑马缓步从容观赏士卒渡水，难道不快乐吗？"
苻坚的部从都说："应当封锁淝水，不让晋军上岸。敌寡我众，一定要掌握万全之局势。"苻坚说："只管后撤一步，让晋军渡水，我军可以乘机以数十万铁骑杀 向淝水，一举歼灭晋军。"苻融也以为然，便命令士卒后撤，一后撤军心慌乱无法控制。于是谢玄与谢琰、桓伊等率八千精锐士卒渡过淝水。
谢石率兵抗击张蚝，稍有不利。谢玄、谢琰继续前进，与敌决战淝水之南。苻坚身中流矢，苻融阵前被斩。苻坚部众仓惶溃逃，自相践踏投水溺死者不可胜计，淝水 为之阻塞不流。残余兵士弃甲夜逃，听到风声鹤唳，都以为晋军已到，行军露宿于荒野，加上饥寒交迫，死者达十之七八。谢玄等缴获了苻坚的乘舆云母车，仪服、 器械、军资、珍宝堆积如山，牛马驴骡骆驼达十余万只。朝廷派遣殿中将军前往慰劳，晋封谢玄为前将军、假节，谢玄坚辞不受。朝廷又赐给谢玄钱百万、彩绢千 匹。
不久谢安上奏朝廷，认为苻坚新近败丧，应乘有利时机，以谢玄为前锋都督，率冠军将军桓石虔直指涡、颍，经略旧都。于是谢玄又率部 进驻彭城，遣参军刘袭攻打苻坚的兖州刺史张崇于鄄城，赶走张崇，派刘牢之据守鄄城。兖州平定后，谢玄忧患水道险阻不通，运粮艰难，便采纳下属的建议，筑土 坝拦截吕梁之水，树立栅栏，合七埭为一支流，承接两岸的流水，以利于漕运，从此公私两便。又进军讨伐青州之敌，所以将这一工程称之为青州派。
他又派遣淮陵太守高素率三千人马出击广固，迫使苻坚的青州刺史苻朗投降归顺。又进军讨伐冀州之敌，遣龙骧将军刘牢之、济北太守丁匡据守确磝（今山东茌平 西南），济阳太守郭满据守滑台，奋武将军颜雄渡过黄河建造营垒。苻坚之子苻丕遣部将桑据进驻黎阳。谢玄命刘袭夜袭桑据，桑据逃走。苻丕惶恐不安，打算降 晋，谢玄答应请求。
苻丕告饥，谢玄送给苻丕二千斛军粮。又遣晋陵太守滕恬之渡过黄河据守黎阳，三魏之地皆归降东晋。朝廷因兖、青、司、豫四州均已收复，便任命谢玄都督徐、兖、青、司、冀、幽、并七州军事。
谢玄上疏朝廷，认为刚平定河北之地，幽州冀州必须专设总督，司州辽远，应归豫州统管。朝廷论功封谢玄为康乐县公。谢玄请求把他先前所封东兴侯的爵位赐予 侄儿谢玩，朝廷许可，并加封谢玩为豫宁伯。谢玄又遣宁远将军竂演讨伐占据魏郡的申凯，击败了申凯。谢玄打算让豫州刺史朱序镇守梁国，自己坐镇彭城，北可以 巩固河北之地，西可以援救洛阳，内可以捍卫朝廷。