李峤，字巨山，赵州赞皇人，幼年时父亲就死了，他侍奉母亲非常孝顺。还是孩子时，梦见有个人送他一对笔，从此文章就写得好。十五岁时就通晓《五经》，受到薛元超的赞赏。二十岁时科试考中进士，开始时，补任安定县尉。又应制科考试得甲科，于是迁居长安。当时京城官场中以文章知名的还有骆宾王、刘光业，以李峤年纪最轻，名气却与他们同。
李峤升任监察御史。那时，岭南邕州、岩州的首领反叛，高宗发兵讨伐，诏令李峤去监军事。李峤进入獠人洞穴，宣谕朝廷意旨，招降了他们，因此罢兵而回。逐渐升官至给事中。那时来俊臣诬陷狄仁杰、李嗣真、裴宣礼等三人下了狱，将要被诛杀了。武后令李峤与大理少卿张德裕、侍御史刘宪复核。张德裕心中明白他们是冤枉的，但因怕得罪来俊臣，不敢提出不同看法。李峤说：“哪有明知他被枉判而不为之申明的呢？孔子说‘：见义而不为，是为无勇。’”于是和他们两人一同列举事实，说明其冤枉。
为此而违背了武后的旨意，被贬出为润州司马。很久以后，召回任凤阁舍人。
朝廷每有文册大号令，都特令李峤撰写。
那时刚开始设置右御史台，巡察州县官吏的善恶，考查风俗的得失。李峤上疏说“：禁令颁布宜于粗疏，法令条例宜于简单。简单，法令就容易执行而不烦杂；粗疏，就能包罗广泛而不苛碎。臣曾见垂拱时，诸道巡察使所奏的条目有四十四条，至于另外敕令察访的，又有三十条。巡察使一般都是三月出都，十一月底回来奏事。每道所要考察的文武官员，多的二千多人，少的也有一千左右，都需要品量他们的才能、业绩，然后加以褒贬。现在给的时间迫促，到达每一个地方都要匆匆忙忙，哪里还能详细考察他们的能力和工作呢？这不是右御史台敢马虎不尽职，而是才能有限，力量达不到啊！臣希望能衡量其工作量及行程，然后加以指挥节制，使工作能完成得圆满，力量用在需要的地方。这样地方官吏的得失可以精确查核。”又说“：现在所要查核的，按照汉朝制定的六条，再推而广之，那就无所不包了。不需要多列条目。且朝廷日常事务，并非无事。麻烦需处理之事，常在四方。所以出京处理事务的连续不断。现在既然设置专使，那就把外州的事全都交付，传驿就可减轻负担了。恳请一般十个州设一位御史，以一年为期，让他们亲自到属县，入闾里，督察奸邪和伪谬，采集民风和习俗，然后才能算是完成任务。而且御史出入天禁，能激励自己修养道德，与其他官吏相比，有百倍的动力；查访奸邪，揭发欺瞒，与其他官吏相比，有十倍的效果。陛下若能采纳臣言，选择有才能者委任此职，无人会不尽力效命的。”武后觉得他说得很对，下制，分剖天下为二十道，选择能当此任的人，但被众人的议论所阻而作罢。
后来，让李峤管理天官侍郎事，晋升麟台少监、同凤阁鸾台平章事。不久，转为鸾台侍郎。那时，天官侍郎张锡入朝辅政，李峤是他的外甥，即转任成均祭酒。不久，检校文昌左丞，留守东都。长安三年(703)，又以本官为平章事，管理纳言事。第二年，升为内史，李峤坚持辞去繁重事务，再复任成均祭酒，平章事则依旧。
长安末年，武后准备在白司马坂建大佛像。李峤上疏劝谏“：造像虽说是由僧尼出钱，但若无州县的承办也不能成功，所以说名义上不要百姓出钱，但实际上要出。臣计算天下在编户口，贫弱者多。有卖房子押田地以交纳劳役的。造像的钱现积储到十七万缗，若将此钱救济穷人，一家给一千，就可解决十七万户百姓的饥寒之苦，功德不可计了。”武后不采纳。
张易之事败，李峤因为附会张易之兄弟受连累贬为豫州刺史，还未行，改贬通州。几个月以后，召回任吏部侍郎。
不久，升为吏部尚书。神龙二年(706)，代韦安石为中书令。
李峤在吏部时，心里很想借一时的声望来恢复宰相的地位，于是奏请设置员外官几千人。后来官僚多而滥，府库支出增多虚耗。于是上书引咎辞职：“元首是国家的至尊，居处要有重门及巡更的守卫，出外要有清道警戒的路禁，这是为了防备突发情况，消除不轨之想。是绝对不可以随便改变举动，疏于防护的。陛下不喜欢高高在上，不重视尊严威仪，常常暗中便服出游，入闾里，过街市，以致市井中窃窃私议，朝廷内惶惶不安。万一发生意外事件，即使不爱惜自己，又怎样对得起宗庙及百姓呢？
“另外，分职务设官吏，不可以滥。
《传》中说：‘官不必很多，只要用人恰当。’自从帝室中兴以来，以随意赏官封爵来表示恩宠。于是有越级提升的，朝升夕改的，正中不够用，再加以员外职的。这样一来，对内的薪俸支出增加，府库渐空；对外赋税征收增加，百姓愈穷。
这不是寻求贤能、辅助治国的办法。希望能爱惜官位的尊荣，平息不敬的议论。
今文武官员六十岁以上的，均敬恤而留任；老而病已退休还乡的，又返回授官；过去补为员外已经遣返的，又再次留下。
这种做法恐怕不能匡正时弊、扭转局面。
恳请下令有司选拔可用之人任官，不可用之人遣回。再有，远方的夷人没有治国才能。国家过去是为安抚才任他们为官。若不是立功的酋长，只不过白白浪费薪俸罢了。也恳请研究衡量非可用必要的夷人，一律放还。
“《易》上说：‘如何守好职位呢？要靠仁爱的道德；如何招致人民呢？那就要有财物。’现在的百姓穷困，生活困难，谈不上官员守好职位；仓储空虚，财力枯竭，做不到招致人民。山东有水涝灾害，江左运输困难。国家空乏，人民窘困。
如果边界疏于戒备，可能逃到境外的人会越来越多，各地盗贼蜂起，哪有财力来招募他们？哪有人力来遏止他们？又大建寺庙道观，人才财力均耗费极大。现在山东年年饥荒，糟糠都吃不饱。在民生极其艰难之际，还要收用税赋及劳役，用哀叹怨愤之物来增添寺观的崇丽，恐怕会使三灵(天地人)之神结怨，会使四海之民生恨。
“又刻正要征召戍丁，但不少人为躲避征戍、逃脱租税而藏身在寺观中。如今私下收受的道人几乎有几十万，其中不少是多男的大户、狡黠的商家。他们并非真心出家，而是伪装。何况国计军防都仰仗于男丁。如果男丁都出家了，兵壮都入道了，那么，征戍租赋，又从何得来？
“另外，不少人重金贿赂权贵近臣，以买得官爵，移易没籍之产，将州县的甲等改为下户。以致驿道边的城镇几乎连牵驿马的人都没有。劳役派及小弱者，其家即刻破亡。望能允许十道使访察，使奸邪狡猾者无处可隐。
“再有太常乐户已不少，又去访求散处各地的乐人。现在单举持大鼓者已有二万人。希望能量才留用，其余的都让他们各自回乡，以杜塞浪费。”
中宗认为李峤身为宰相，能自陈失政，并请处分罢官，不将错误转嫁他人，下诏慰谕，批评他请罢官的事。李峤惶恐不安，仍然管事。
神龙三年(707)，加修文馆大学士，封爵赵国公，以特进同中书门下三品。
睿宗立，罢免政职，出京为怀州刺史，不久，告老退休。当初，中宗驾崩，李峤曾有密表，建议相王的儿子们不宜留在京师。及至玄宗即位，在宫中发现李峤所上的表。有人说该杀了李峤。张说说“：李峤虽不能明辨顺与逆，但也是为当时出的计谋，排斥对当时主子不利的人。不必追究。”天子也赦免了他，只是贬为滁州别驾。且听任他随儿子虔州刺史李畅赴任。改为庐州别驾，死时年七十岁。
李峤才思敏捷，他写的文章常被人传诵。武后时，汜水中找到一块瑞石，李峤当时是御史，写了一篇《皇符》献上，遭到世人的鄙薄。他在做官以前，与王勃、杨盈川交往，任官时，与崔融、苏味道齐名。晚年时，当时的文人都不在了，他成了文坛宿老，当时的学者都向他学习，取法于他。