崔玄日韦，博陵安平人。父崔行谨，曾为胡苏县令。崔玄日韦，本名晔，因字的下体华为武则天祖父的名，于是改为玄日韦。少年时代学习就很好，为叔父秘书监崔行功所器重。龙朔年中(662)，参加明经科考试中举，任库部员外郎，他的母亲卢氏曾训诫他说“：我见姨兄屯田郎中辛玄驭说‘：儿子做了官，有人来说再不会贫穷了，这的确是喜事；但听到他钱财充足，轻裘马肥，这又是担忧的事。’我很重视这句话，认为这是很实在的看法。近来看见亲表中做官的，多将钱物来交给父母，父母只知喜，竟不问此物从何而来。如果定是俸禄中所用之剩余，这也确实是大好事；如果是非理所得，这与盗贼又有什么区别呢？纵容子女这样，这就是大错，难道不有愧于心吗？孟母不受赠送的鲜鱼，大概就是为的这一点吧！你现在食俸禄，荣幸已多，如果不能忠正清廉，怎么好意思立足于天地？孔子说：‘虽每天杀三牲养父母，仍然不能算孝。’又说‘：父母担忧的是子女的毛病。’这些话特别提醒人要修身洁己，不要辜负了我的这番心意。”崔玄日韦遵奉母亲的教导，做官以清谨见称。不久，崔玄日韦授天官郎中，又升迁观阁舍人。
长安元年(701)，越级升天官侍郎，他每处事严正不移，严于律己，杜绝来拜见拉关系的人，很为执政者所忌恨。又调任文昌左丞。经过一个多月，武则天说“：自卿改职以来，选司大有罪过。有的人接受令史之职就设斋自庆，这是欲望太盛成为贪婪。卿今要恢复旧职。”崔玄日韦又任天官侍郎，并赏赐绸七十段。长安三年(703)，崔玄日韦拜鸾台侍郎，代理宰相，兼太子左庶子。长安四年(704)，迁任凤阁侍郎，加荣誉职银青光禄大夫，继续主持政事。在此之前，来俊臣、周兴等诬陷善良人，达到自己升官封爵的目的，被诬陷而造成没收家中所有人财的达数百家。崔玄日韦坚持陈述他们的冤屈，武则天才感悟，才得到赦免。
武则天末年，宋王景检举张昌宗谋图不轨，崔玄日韦也多次直言，武则天才令法司审理他们的罪行。崔玄日韦的弟弟崔升当时任司刑少卿，又请求判他们的重罪。他们俩兄弟均如此坚守正道。这时，武则天患病，宰相经常累月得不到召见。等到病好，崔玄日韦又奏道“：皇太子、相王仁明孝友，完全可以亲侍汤药，宫禁很重要，愿不要让异姓出入。”武则天说：“深领卿的厚意。”不久，因参与诛张易之兄弟有功，升任中书令，封博陵郡公。中宗欲授方术之士郑普思为秘书监，崔玄日韦恳切地提反对意见，但未被采纳。不久，晋爵为王，赐实封四百户，检校益州大都督府长史，兼管正都督事务。其后，多次被贬，授白州司马，在赴任途中死去。建中初年(780)，赠太子太师。
崔玄日韦与其弟崔升很是友爱，诸子弟孤贫的，大多亲自抚育教养，当时很为人赞扬。崔升，官至尚书左丞。崔玄日韦少年时善于诗赋，晚年认为这不是自己专长，就不再写诗赋，一心一意读经籍，著述自己的看法，所撰写的书有《行己要范》十卷，《友义传》十卷，《义士传》十五卷，训注《文馆辞策》二十卷。