李抱玉是武德年间的功臣安兴贵的后代。世代住在河西，因善于喂养好马，受当时人称赞。他的侄儿们，有的迁居京城，成了儒生，和儒士结成了亲家，逐渐受到了儒士的影响。李抱玉从小在西州长大，喜欢骑马射箭，经常在军营任随从，沉着、坚毅、有计谋、忠诚并细心谨慎。
乾元初年，太尉李光弼命他任偏将，多次立有功绩，因此出了名。乾元二年(759)，从特进官、右羽林大将军、知军事，升任鸿胪卿员外置同正员；持节郑州诸军事兼郑州刺史，代理御史中丞，郑、陈、颍、亳四州节度。当时史思明攻陷了洛阳，李光弼据守河阳，叛军兵力正强，李光弼对李抱玉说：“您能替我守两天南城吗？”李抱玉说：“过了两天怎么办？”李光弼说：“过了两天没有救兵来，可以放弃城池。”叛军元帅周挚率安太清、徐黄玉等先抵达南城，要攻城，李抱玉就骗他们说：“我军粮食吃完了，明天就投降。”叛军很高兴，收兵等他们投降。李抱玉因此能修好守卫设施，第二天，他坚守城墙求战。叛军因被骗发怒而猛烈攻城。李抱玉乘敌兵没防备进攻，内外夹攻，杀死了很多敌军，周挚军退却了。李光弼亲自率军守中贖城，周挚放弃南城进攻中贖城，没获胜，就整顿军队要攻北城。李光弼率军出城进攻，大败叛军。固守河阳，收复怀州，他的功劳都最大，因此升任泽州刺史、兼任御史中丞。唐代宗登基，提升他为泽潞节度使、潞州大都督府长史、兼任御史大夫，兼管陈、郑两州，升任兵部尚书。李抱玉上书说：“我的籍贯是凉州，本来姓安，因为安禄山反叛，我不愿与他同姓，至德二年(757)五月，承蒙皇帝赐我姓李，现请求改籍贯为京兆府长安县。”皇帝同意了，从此全族都姓李了。
广德元年(763)冬天，吐蕃进犯京城，皇帝逃到陕州，各军散兵和各地亡命之徒聚集成为草寇，京城南边子午等五条山谷的草寇对人民危害较大，皇帝派薛景仙率军任五谷使征讨，几个月都没有获胜，于是下诏命李抱玉为凤翔节度使讨伐草寇。李抱玉探听到匪首住处，先派兵分别驻守各条山谷，又出奇兵暗暗派几百名精兵从洋州进攻草寇。匪首高玉正和众匪首聚会，突然被几十名精兵抓获，于是又大举搜捕匪首，把他们都杀了，其余匪徒不攻自散，十天以内五谷都平定了。因此升任司空，其他职务和过去一样。
当时吐蕃每年进犯边境，皇帝认为岐阳是国家西边的大门，靠李抱玉镇守，对他无比宠信，提升他为同中书门下平章事，又兼任山南西道节度使，河西、陇右、山南西道副元帅、判梁州事，同时兼任三道节度，又掌管凤翔、潞、梁三大府，官任三公。李抱玉认为职务太高，坚持上奏恳切辞让司空官职和山南西道节度、判梁州事，又请求辞去兵部尚书。皇帝赞赏他的谦逊礼让，同意了。李抱玉镇守凤翔十多年，虽然没有打破敌军的战功，但禁绝强暴安抚百姓，很受当时人赞扬。大历十二年(777)，他去世了，皇帝非常悲痛，为此停止上朝三天，赠官为太保。