高俭，字士廉，渤海..县人。曾祖父名飞雀，在北魏被追认为太尉。祖父名岳，在北齐官至侍中、左仆射、太尉、清河王。父亲名励，别名敬德，在北齐官至乐安王、尚书左仆射，在隋朝官至洮州刺史。
高士廉年轻时有才识、度量，广泛涉猎文艺、史学。隋朝的司隶大夫薛道衡、起居舍人崔祖浚都是老前辈，与高士廉结为忘年之交，因此很多公卿跟他交往。炀帝大业年间，任治礼郎。高士廉的妹妹先前嫁给了隋朝的右骁卫将军长孙晟，生了儿子长孙无忌和一个女儿。长孙晟去世后，高士廉把妹妹和外甥们接回家来，他们情谊深挚。他见尚未显贵时的太宗具有超常的才德，所以把外甥女嫁给太宗为妻，就是后来的文德皇后。
隋军征讨高丽时，当时的兵部尚书斛斯政逃亡到了高丽，高士廉因为是他的朋友而株连获罪，贬谪为朱鸢主簿。他是有名的孝子，由于岭南常有恶性传染病，母亲不能一起到朱鸢去，就留下妻子鲜于氏伺候奉养，补贴经费的不足。又想到妹妹没有着落，就卖掉大住宅，买了小住宅安顿妹妹住下，把剩下的钱分给母亲和妹妹，自己带上简单的行李走了。紧接着天下大乱，朝廷的消息完全断绝，交趾郡太守丘和委任他为司法书佐。高士廉长期在岭南，不知道母亲的情况，回家的心情越来越急切。有一次午睡，梦见母亲跟自己交谈，完全像是坐在母亲身边，醒后热泪纵横。第二天果然得到了母亲的音讯，人们认为这是孝心的感应。
当时钦州的宁长真率领人众攻打交趾郡城，丘和准备出城迎接他，高士廉建议说“：宁长真人马虽然很多，但孤军深入，内部关系松散外部环境紧迫，不能坚持多久。再说城里的精干兵力足以抵御他，为何准备接受他的约束？”丘和听从他的建议，任命他为行军司马，水路陆路一齐进军，迎头打败了敌军，宁长真只是自己逃掉了，其余的兵众全部投降。在平定萧铣之后，高祖李渊让高士廉在岭南拓展地盘。
高祖武德五年(622)，高士廉与丘和呈递奏表回到唐朝，被提升为雍州治中。当时太宗担任雍州牧，由于高士廉是文德皇后的舅父，一向具有才智名望，非常亲近敬重他。准备除掉隐太子李建成时，高士廉和他的外甥长孙无忌一起参与秘密谋划。武德九年(626)六月初四，高士廉带着属吏兵卒释放在押囚犯，发给武器，赶到芳林门，准备配合太宗。太宗立为太子时，高士廉任太子右庶子。
太宗贞观元年(627)，他被提升为侍中，封为义兴郡公，赐给收纳九百户租税的实封。高士廉洞察事理很有口才讲究仪容举止，他所提出的见解，朝臣们没有谁不重视。当时黄门侍郎王王圭有密封奏表托付高士廉呈递给太宗，他却扣留下来，因此获罪被遣出京城担任安州都督，后调任益州大都督府长史。蜀地民俗轻薄，人们害怕鬼怪讨厌病人，对病情危重的父母，大多不亲自伺候，用棍棒挑着食物，站得远远地递给他吃。高士廉因势诱导，风俗很快改观。战国秦昭王时的蜀郡守李冰，疏浚汶江，创造了灌溉农田的便利，直到如今汶江两岸的农田，一顷价值千金，有钱有势的人家，经常相互强占争夺。高士廉就在老渠之外另行开挖新渠，蜀地百姓得到了很大利益。又用空闲时间组织诗文辞赋之会，还让信奉孔子学说的人研讨儒家经典，勉励青年学生，蜀地的学校又蓬勃兴办起来。
蜀地有个叫朱桃椎的人，清心寡欲，不愿做官，身披破衣腰系草绳，在民间消磨时光。窦轨镇守益州时，听说后就召见他，送给他衣服，强求他担任乡正。朱桃椎始终一言不发，把衣服丢在地上，逃进深山，在溪流边搭了间茅棚，夏天赤身露体，冬天裹上树皮，有人赠送东西，都不接受。常常编织草鞋，摆在路上，看到的人说“这是朱隐士的草鞋”，就拿去换米放到原处，朱桃椎到夜晚才去拿米，始终不跟别人见面。人们认为他是三国时代魏国河东的隐士焦先式的人物。高士廉刚到任时，按照礼仪去邀请他，他来后，以平民身份跟他交谈，朱桃椎全不应声，头也不回地走了。高士廉经常派人去问候，朱桃椎看见来人，就跑进树林躲藏起来。近年来，多数人轻视隐士，高士廉单单给予尊重，蜀地把这当作美谈。
贞观五年(631)，回京任吏部尚书，晋封为许国公，还有一个儿子被封为县公。他善于鉴别人的才行品级，非常熟悉人的门第关系，凡是他任用的人员，无不各适其所。高祖逝世时，高士廉代理司空职务，筹办丧葬礼仪，事毕以后，授予特进、上柱国官衔。
当时，朝廷舆论认为山东的人士喜爱自吹自擂，虽然早已世代衰落，还是依仗他祖辈的地位，女儿嫁给外族，一定多要聘礼。太宗讨厌这种事情，认为严重妨害教化，就诏令高士廉与御史大夫韦挺、中书侍郎岑文本、礼部侍郎令狐德芬木等人校正姓氏谬误。于是责成全国族谱书籍，根据史书记载考核它的真假，忠诚贤良的予以表彰提拔，违乱忤逆的予以批评废除，编写成《氏族志》。高士廉再按等级划分类别呈递给太宗。太宗说：“我与山东的崔、卢、李、郑四个姓氏宗族，从前并无成见，而他们世代衰微，完全没有官吏，还要自称是士大夫，定婚嫁女时，就多要财物。他们才智学识平庸低劣，却心安理得地自高自大，靠着出售墓地发财显贵。我不理解民间为何抬举这样的人？只因北齐仅仅占有河北，南梁、南陈占有边远的江南，当时虽然出现过有影响的人物，但都是偏僻小国，不值得尊重，至今还把崔、卢、王、谢四姓看得很高贵。大唐平定天下，全国统一，凡是朝廷官员，都有显著功绩，有的忠孝值得颂扬，有的学识技艺渊博，所以提拔任用。现在三品以上的高级官员，想和前朝旧族联姻，即使多送财物聘礼，还要遭受轻慢。我现在特地制定宗族姓氏等级的目的，是要提高本朝官员的地位，为什么还要把崔干排在头等？昔日汉高祖只是山东的一名普通百姓，因为他平定天下，所以君主至尊臣子显贵。诸位阅读汉代历史，看到过他的德行功业，至今世人当作美谈，怀着敬重情感。诸位不看重我的官职爵位吗？不要讲究数代以前的门第，只以现在的官爵高低作为等级。”于是把崔干排在第三等。书编成了，共一百卷，诏令颁发全国，赏给他千段绢帛。接着授予同中书门下三品官衔。
贞观十二年(638)，同长孙无忌等人由于辅佐登基的功劳，一起世袭刺史，封申国公。当年，任尚书右仆射。官职待遇日益提高后，他写了很多奏折，禀奏完毕后就烧掉了，别人不知道具体内容。代理太子少师，特地委任他主管选用官吏的事。贞观十六年(642)，授予开府仪同三司的头衔，不久上表要求退职，太宗同意免去了尚书右仆射官职，命令他以开府仪同三司的身份仍旧代行中书门下职务。又以他为主接受诏令同魏征等人招集博学的文士，编写《文思博要》一千二百卷进献给太宗，赏赐千段绢帛。贞观十七年(643)二月，诏令绘制肖像陈列在专为表彰功臣建造的凌烟阁上。贞观十九年(645)，太宗御驾亲征高丽，皇太子李治在定州代为处理国政，高士廉代理太子太傅，仍旧掌管朝廷事务。皇太子下令说“：代理太傅、申国公高士廉，是德高望重的朝臣、国家的杰出人才，是百官的楷模，我辱居监国负责处理国政，实际上靠他老人家教导。近来处理政务，经常委屈他老人家同坐一张榻几，以便请教商议，稍微除去我的蒙昧困惑。只是靠着桌案对答交谈，我心里感到不安，已经讲好不要再客气了。太傅的教诲极为深远，我要求只以正式太傅的常礼对待我，他老人家不愿免去有关礼仪，还是恭敬顺从。有关部门也应另设一套桌案供太傅使用。”高士廉坚决推让不愿接受。
贞观二十年(646)，高士廉患病，太宗登门看望，他谈起自己的一生经历，老泪纵横哀叹抽泣着做了诀别。贞观二十一年(647)正月初五，他在长安崇仁里家中逝世，享年七十二岁。太宗又命令驾车准备去吊唁，司空房玄龄认为太宗刚刚服药，不能吊丧，上表极力劝谏，太宗说“：我这次去，哪里只是为尽君臣的礼节，还因为老友的情感深厚，亲戚的关系重大，您别再说了。”太宗带着几百名骑士走出兴安门，到了延喜门，长孙无忌飞马赶到太宗的马车前头，劝谏说：“服药之后吊丧，药书上明确地写着禁忌。陛下养育黎民，应为朝廷国家珍重自己。我已故的舅父高士廉知道病症无药可治，嘱咐我说：‘皇上的恩德天高地厚，无论富贵贫贱都不遗漏，我死之后，也许要亲自上门吊唁。我想自己才智平庸，对朝廷没做什么事情，怎能死去之后，还惊动圣上的车驾，如果真有灵魂，我会愧疚自责。’陛下对老友恩德深厚，也请体谅他的赤诚之心。”他的言词非常恳切。太宗还是不听。长孙无忌就趴在马车前头的地上痛哭流涕，太宗这才回宫。追认高士廉为司徒、并州都督，安葬在太宗为自己预先建造的昭陵墓地，谥号为文献。高士廉的祖父、父亲和本人都官至仆射，儿子任尚书，外甥长孙无忌任太尉，当时非常荣耀。他有六个儿子：履行、至行、纯行、真行、审行、慎行。当灵柩从横桥出来时，太宗登上老城西北楼目送痛哭。高宗李治登位后，追认高士廉为太尉，同房玄龄、屈突通一起在太宗祠庙里设灵位陪享祭祀。
儿子高履行，太宗贞观初年任祠部郎中。母亲去世时，悲伤过度。太宗派遣使者开导他说：“孝子的原则，哀伤但不迷失本性。你应该勉强进食，不要超过礼仪规定。”守孝期满后，提升为滑州刺史。他娶太宗的女儿东阳公主为妻，授予驸马都尉。贞观十九年(645)，任户部侍郎，授银青光禄大夫头衔。不久，父亲高士廉逝世，又以竭尽孝道闻名，太宗亲手写给诏书敦促开导说“：古人规定丧礼，哀伤但不损害身体。听说你不进饮食，过于背离事理，希望节制摧肝裂胆的悲痛感情，排遣危害生命的忧伤。”很快复职提拔为卫尉卿，晋升金紫光禄大夫，继承申国公爵号。高宗永徽元年(650)，授予户部尚书、检校太子詹事、太常卿。高宗显庆元年(656)，离京任益州大都督府长史。从前，高士廉担任这个职务时，才名显著，到现在高履行继承这个职务，也有优异政绩，深受百姓和下属的称赞。显庆三年(658)，因与长孙无忌是亲戚而牵连获罪，贬为洪州都督，调任永州刺史，死在任上。
高履行的弟弟高真行，官职做到右卫将军。他的儿子典膳丞高岐因与章怀太子密谋造反事情败露获罪，高宗诏令交给高真行自己惩罚以示警戒。高真行就亲手杀死了他，还把他的尸体丢在大路上。高宗知道后很鄙视他，把他贬为睦州刺史，死在睦州。