李百药字重规，定州安平人，是隋朝内史令、安平公李德林的儿子。因生来体弱多病，祖母赵氏因此给他取名百药。百药七岁懂得做文章。
父亲的朋友齐中书舍人陆父、马元熙曾到李德林家中聚宴，读徐陵的文章，说“：收获完了成周的粟子，将要收获琅笽的稻谷。”都不知道说的什么事。百药当时侍立在旁边，走上前说：“在传上说‘禹阝人藉稻’，杜预注解说‘禹阝国在琅笽开阳’。”陆父等人感到非常惊奇。
开皇初年(581)，百药被授封为东宫通事舍人，调任太子舍人，兼东宫学士。有的人嫉妒他的才能而毁谤他，百药就托病辞去官职离开了东宫。开皇十九年(599)，进入仁寿宫，隋文帝命百药承袭父爵。左仆射杨素、吏部尚书牛弘很赏识他的才华，被推荐为礼部员外郎，皇太子杨勇又重新召他为东宫学士。诏令他修订《五礼》，制定刑律法令，撰《阴阳书》。尚书省的奏议文表，大多是百药所撰写的。当时隋炀帝出镇扬州府，曾经征召过百药，百药托病不应他的征召，隋炀帝大怒，到他即位，就把李百药贬为桂州司马。那以后，废州设郡，百药因此就解职还乡了。
大业五年(609)，李百药被授为鲁郡临泗府步兵校尉。大业九年(613)，担任防守会稽的职务。不久被授为建安郡丞，赴任途中走到乌程县，适逢江都发动叛乱，被卷入沈法兴部下，暂任一个小官。恰好遇到沈法兴被李子通打败，李子通又令李百药为中书侍郎、国子祭酒。到杜伏威攻灭李子通，又任用李百药为行台考功郎中。有人暗地诬陷百药，杜伏威把他囚禁起来了，百药撰写了《省躬赋》用来表达自己的情怀，杜伏威也知道他没有罪，就令他复职。
杜伏威已经占据了江南，唐高祖派使者招抚他，百药劝杜伏威进京接受招抚，伏威答应了，派他的行台仆射辅公礻石与百药留守，就到京师长安去。等到渡江到丹阳，心中狐疑而中途后悔，准备加害百药，于是送石灰酒给百药饮，百药因此大泄而旧病都由此而去掉了。伏威知道百药没死，于是写信给辅公礻石命令他杀死百药，依靠杜伏威养子王雄诞的保护才得幸免。辅公礻石起兵反唐，又任百药吏部侍郎。有人在唐高祖面前诬陷百药，说百药开始劝杜伏威降唐，又与辅公礻石一起反唐。唐高祖非常震怒。到辅公礻石被平定，查得杜伏威令辅公礻石害百药的书信，唐高祖怒意稍息，于是将百药发配流放到泾州。
唐太宗看重李百药的才名，贞观元年(627)，李百药被太宗召回长安拜为中书舍人，赐爵安平县男。受诏修定《五礼》和刑律法令，编撰《北齐书》。贞观二年(628)，任命百药为礼部侍郎。
朝廷议论准备分封诸侯，百药上《封建论》说：
“臣听说治理国家保佑人民，是君王永恒的职责；尊敬君主使朝廷安定，是人情的根本道义。考虑治国安邦的规划，用来弘扬永世的基业，是万古不变的规矩，尽管有各种各样的谋虑，但都是为同一个目的。然而天命历数有长短的差别，帝王之邦、大夫之家有治和乱的不同，纵观典籍上的记载，论述这些是够详尽的了。都说周朝超过了它的历数，秦朝没有达到应有的期限，存亡的道理，在于周朝采用封国制，秦朝推行郡县制。周朝从夏朝、商朝的长久得到借鉴，遵循黄帝、唐尧建国的榜样，使诸侯如磐石拱城，朝廷从根本上得到巩固，虽然国政荒废，由于枝与干互相扶持，所以使得叛逆现象没有发生，宗庙祭祀没有断绝。秦朝背离了师法古人的训戒，抛弃了先王的法则，跨越华山恃仗险要，废除王侯设置郡守，子弟没有尺土的封地，百姓缺乏共同平安的忧患，所以一人在大泽乡发出反秦号召，秦朝的七庙就被毁断绝了祭祀。
“臣认为自古皇帝君王，坐位天下，没有不是受命于上天，扬名于皇帝注册的，建国遇到兴王的气数，遭难接着开启圣明的时代。虽然魏武帝出身于宦官养子之家，汉高祖出身于押运役徒的小吏，不是他们有称帝的非分想法，就是想推也推不掉啊。假如狱讼不归，精华已完，即使像尧帝一样光照四方，像舜帝一样上齐日月五星，不是诚心让位，就是想守也守不住啊。凭着唐尧、虞舜的圣德，尚且不能使他们的后人昌盛。从这可以看出帝位长短，肯定在于天时，国政的盛衰，与人的活动有关。昌盛的周朝占卜可传三十代、可传七百年，虽然相率沦丧到极点，而文王武王传下的帝位依然存在，这说明长久的国运，已是在极早之前就事先确定了。以至于周昭王南巡不返，周平王躲避犬戎东迁，国家危机如线，国都附近不得安宁，这是衰败的过程，牵连到分封诸侯。残暴的秦朝国运短暂，多次遭到厄运。受命于天的秦始皇，德行比不上夏禹、商汤；继承皇位的秦二世，才干比不上禹的儿子启、武王的儿子诵。假使李斯、王倌等人大大开拓了四方的领土；将闾、子婴等人都建立起千乘之国，难道就能阻挡君主的突然兴起，改变帝王的本来命运吗？
“然而得失成败，各有原因。而记载评述的人，多守常规，在感情上没有不忘记古今的差异，在道理上不明白治世乱世的风气厚薄不同，欲在百王的末世，实行夏商周的治国办法。天下王畿以外的地方，都封给诸侯；天子与诸侯的领土之间，都是卿大夫的封邑。这是用上古结绳记事的一套在虞、夏朝代推行，用上古穿不同颜色服装为刑的法规来治理汉、魏，法纪与政纲已经紊乱，确实可以知道。刻舟求剑，没有见过能达到目的的；胶柱鼓瑟，只会增加更多的迷惑。只知道有人想图谋帝位，会害怕霸王的军队；国家将亡，再没有周围诸侯的援救。不明白秦二世在望夷被杀，没有超过后羿、寒浞的灾难；高贵乡公曹髦被司马昭所杀，难道与申国、缯国的灭亡有什么不同。是君主自己洞察昏乱，转危为安，根本不是守宰公侯等人，能造成兴亡。况且数世以后，王室渐渐衰弱，分封时当作屏障的诸侯，转化成仇敌。大夫之家习俗不同，诸侯之国政事各异，强的欺凌弱的，人多的侵犯人少的，这里那里都是战场，战事日益增多。狐骀的一场战争，使妇女都梳上守丧的发髻，回师崤山的军队，连一只车轮也没回营。这只是略微举个例子，其余的事数也数不清。陆士衡才小心地说‘：继承王位的人放弃一统天下，凶狠的诸侯占有自己领地，天下安乐，以治待乱。’这种说法是多么的荒谬啊！而设置官吏分清职责，任用贤人能人，对依法办事的人才，委派他们承担治理的任务，分赴郡县，哪个朝代缺乏这样的人才。结果使得大地呈现丰收，上天赐降吉祥，百姓称官为父母，政事清明得如同神在治理。曹元首还得意地说‘：与人共享欢乐的人，别人一定会以他的忧患为自己的忧患；与人同享安乐的人，别人一定会拯救他的危难。’哪里能容忍分封为诸侯，才与君王同安共危；任命为州县的长官，就不与君王同忧共乐呢？这种说法多么错误啊！
“分封诸侯建立国家，凭借门第的资历，忘掉了先辈创业的艰难，轻视自然造化的高贵，没有不世世代代更加淫糜残暴、骄矜奢侈的。从建造离宫别馆，高耸入云，到有时肆意地使用刑罚，有时邀请其他诸侯共同淫乐。陈灵公君臣间互相违背礼仪，都遭到徵舒的侮辱；卫宣公父子陷于禽兽之行，宣公之子寿、朔终遭杀害。还说为自己谋求治世，难道就是像这样的吗？内外的群官，由朝廷选任，从世族与平民中挑选，明镜般地考察他们，任职多年而有劳绩就提升官阶，考核政绩明确职务的升降。盼求进取事情迫切，经受磨难感情深切，有的甚至当官的收入不进私人腰包，妻和子不到官府中来。能颁布条律的刺史，吃饭不生火；朝廷任命的地方大臣，穿衣打补钉。南阳的太守，破布裹在身上当衣裳；莱芜的县长，盛饭的瓦甑上积满了灰尘。说他们做官就是为了贪图利益，完全说错了。总而言之，爵位不是世代相传，启用圣能的路才宽广；国家没有稳定的君主，笼络百姓的感情不牢固。这个道理不论智士愚人都能懂得，哪里会迷惑呢？至于像灭国杀君，违犯常规纲纪，春秋时期二百年来，几乎没有安宁的年头。次睢的诸侯相同，就用曾阝子祭祀睢水之神；鲁国的道路平坦，常举行诸侯间淫乱的衣裳之会。就是西汉哀帝、平帝之际，东汉桓帝、灵帝之时，下属的官吏淫乱残暴，也不会到这种程度。为政的道理，可以用一句话来概括。
“皇帝您掌握纲纪统治天下，承受天命启迪圣智。拯救亿万百姓于水火之中，扫荡妖气在环宇之内。创建基业传于后世，功德可与天地相匹配。发号施令，都是极万物之妙的言辞。帝心最为明察，总是怀念古时，准备恢复公、侯、伯、子、男五等爵位和分封诸侯的旧制，以亲族为诸侯建立众多的邦国。我个人认为汉、魏以来，分封诸侯带来的祸害没有消去，尧、舜已去，绝对公正的道路已经改变。况且晋氏失去控制后，天下分崩离析；北魏乘机立国，汉族与夷人杂居在一起。加上关河阻拦，江南远隔，学文的人学合纵连横的本领，习武的人都是比武打仗的心事，尽是狡猾奸诈的阶梯，更加助长轻薄的风气。隋文帝在位，凭借外戚的势力。驾驭群臣，靠的是无比的猜忌和权术；坐着时世就向前推移，不是战胜敌人的功绩。在位超过二十四年，百姓没有见到德政。到了隋炀帝即位，世道更为凶乱，身边的各种人才，一时丧失将尽，纵使上天派来神明英武的人，来削平暴乱，战事不能停息，劳碌得不到休养。
“自陛下谨遵父命，继承帝位，心情深切盼望天下大治，综合考察前代君王。虽最高的道德没有具体的标志，但言辞图象所记载的，大略描述了它的轮廓，您实在差不多达到了至德的程度。深深地爱下敬上，劳碌而不厌倦，这是大舜的孝行。向宦官询问父母的健康，亲自品尝皇帝的饮食，这是文王的德行。每当刑部议罪，尚书上奏案件，大案小案必定察明，冤枉之处一概纠正，废除断去脚趾的刑罚，更改死刑，仁义之心见人遭祸有所不忍，在暗中和明处都体现出来，这像大禹见了罪人而哭泣。对于严厉的直谏，虚心接受采纳，对粗陋迟钝人的意见不轻视，对于割草打柴人的意见不抛弃，这是尧帝征求意见的作风。奖励儒学，鼓励学子，已经选拔精通经术的人为高官，还将提升大儒至卿相，这是圣人善于诱导的行为。群臣因皇宫中闷热潮湿，陛下睡觉吃饭都不舒服，请求陛下迁到高爽明亮的地方，建造一座小阁。由于爱惜家人的财产，最终拒绝了群臣的请求。不躲避温热的侵袭，在低矮简陋的宫室安居。去年灾荒欠收，天下闹起饥荒，战乱刚刚过去，粮仓没有积储。圣上心怀怜悯，尽力给予赈救。使得没有一个人流离失所。尚且吃野菜，废音乐，谈话满脸悲伤，容貌日见瘦弱。周公旦为不通的语言辗转相译而高兴，夏禹为边远民族秩序井然而自豪。陛下每当四夷诚心归附，万里之内尽依明主，还进也反省退也反省，聚精会神地思考，生怕白白地劳累国中，来使远方服事，不希求流传万古的英名，来完成一时的实迹。心里悬挂着忧劳，行迹断绝了游乐，每天早晨上朝，处理事务从不感到疲倦。智慧遍及万物，大道利于天下。退朝以后，召进名臣，讨论是非，肝胆相照，一谈到政事，再没有不同意见。才到太阳偏西，诏命有才学的人，赐给清闲，围绕典籍高谈阔论，穿插作文咏诗及玄妙的谈论，到二更时分还不知疲倦，半夜还不去就寝。这四种做法，独自超过了以往，这实在是有百姓以来，一人而已。弘扬这种风俗教化，向四方显示，确实可以在一月之间，包罗天地。然而淳厚质朴之风还受到阻碍，虚浮欺诈之风还未改变，这是由于积习长久，难以一下更新。请陛下等到用朴质代替雕饰，用朴实代替文采，搁置刑罚的教化一施行，登泰山行封禅之礼已经结束，然后再拟定治理土地的规章，讨论高山大河的封赏，时间也不算晚啊！《易经》说道：‘天地的变化，都是随着时间而消长，更何况是人事的变化呢？’这话说得真美啊。”
太宗最终接受了他的意见。
贞观四年(630)，授予他太子右庶子的官职。贞观五年(631)，与左庶子于志宁、中允孔颖达、舍人陆敦信在弘教殿陪伴太子、讲论经书。当时太子学习五典三坟很用心，然而闲散下来，过度地游戏玩乐。李百药做《赞道赋》来劝告太子，然而太子最终还是因不醒悟而被废去。贞观十年(636)，因他完成了《北齐书》的撰写，加封散骑常侍，履行太子左庶子的职责，赐给他绢绸四百段。不久授予他宗正卿。贞观十一年(637)，因他完成了《五礼》的撰写及“律令”的修定，晋升为子爵。过了几年，李百药因年老坚决请求辞官退休，太宗同意了。贞观二十二年(公元646)去世，年八十四岁，死后封号为康。
李百药是名臣的后代，继承了父辈的才德品行，四海名流，没有不推崇景仰他的。文辞深沉，尤其擅长五言诗，就是砍柴童子放牛娃，也会诵读他的诗。性情喜欢扶植年轻人，提携鼓励从不厌倦。所得的俸禄，大多散发给亲族。又保持天性超过了一般的人，早年办父母丧事回到家乡，赤着脚穿着单衣，行数千里，守孝多年，容貌憔悴，被当时人所称赞。等到辞官告老，欣然自得其乐。挖水池筑假山，著文饮酒，谈论鉴赏，来抒发平生的志向，有文集三十卷。