郑余庆字居业，荥阳人。祖父郑长裕，官至国子司业，死时为颍川太守。郑长裕之弟郑少微，为中书舍人、刑部侍郎。兄弟俩当时均有名。父郑慈，与元德秀相友善，官至太子舍人。
郑余庆少时勤于学习，善做文章。大历年间应举进士。建中末，山南节度使严震召他为从事，后屡次擢升官至殿中侍御史，因父丧而停职。贞元年间入朝，历任左司、兵部员外郎、库部郎中。贞元八年(792)选为翰林学士。贞元十三年(797)六月，调任工部侍郎，知吏部选事。当时有一玄法寺僧法凑被寺内众僧投诉，万年县尉卢伯达断其还俗，后法凑又复为僧，卢伯达上表论说此事。诏命中丞宇文邈、刑部侍郎张..、大理卿郑云逵等三司长官与功德使判官诸葛述共同审理。一时朝臣议论说诸葛述不过办事小吏，不应与大臣等同入省理事。郑余庆上疏辩说，得到人们一致称赞敬重。
贞元十四年(798)，拜中书侍郎、平章事。郑余庆通晓《六经》之深弘意旨，当廷奏对之时，常借古代经义帮助说理。与度支使于丕页素来相好，于丕页每奏事郑余庆皆表赞同。没多久，于丕页因罪遭贬。时值岁旱人饥，德宗与宰臣商议，将赈济禁卫六军。事未施行，被中书省官吏泄露，郑余庆因此贬为郴州司马。在郴州共六年。顺宗登极，召郑余庆入朝拜尚书左丞。
宪宗嗣位那个月，郑余庆又擢升守本官平章事。不久，遇夏州守将杨惠琳阻挠朝命，宰臣等上奏议论，多主张动兵。郑余庆又据古代经义上奏说，夏州军士皆仰赖圣上养育，又有“介马万蹄”之语。舆论认为郑余庆虽博雅好古但不合时宜。有主书滑涣，长期主管中书省文书档案，与宦官典枢密刘光琦私情颇好。宰相议事，凡与刘光琦意见不同的，只要让滑涣转达意思，没有不能达到目的的。宰相杜佑、郑纟因都姑息他，人们谈论说杜佑私下称呼滑涣为滑八，四方书信财礼，聚集到滑涣门下，其弟滑泳官至刺史。及至郑余庆再入中书省，与同僚会集议事，滑涣指着郑余庆陈说是非，郑余庆恼怒他僭越身份，叱责他。不久郑余庆即被罢相，贬为太子宾客。那年八月，滑涣贪赃之罪被揭发，赐死。皇上逐渐听说郑余庆叱责滑涣之事，很敬重他，便改授他国子祭酒。不久拜河南尹。元和三年(808)，任检校兵部尚书，兼东都留守。元和六年(811)，正式拜兵部尚书。
郑余庆两度为相，被罢免均非因有大过，尤以清廉节俭为时人所称道。至于朝内外勤勉司职，更是德高望重，评议朝政得失，其言成为准则。当时，京兆尹元义方、户部侍郎判度支卢坦，都因授勋官之前职位至三品，据律令应立门戟，所以各自申请立门戟于宅第。此时元义方正以加授上柱国、卢坦正以先前任宣州观察使请立门戟。近代立戟之臣，都有银印青绶之官阶，而元义方只凭勋官名号，主管官署不详加复查即予批准，人们议论都认为不对。恰值郑余庆从东都来，发议论认为绝不可以。于是，台司发下文书责问礼部，左司郎中陆则、礼部员外郎崔备皆罚俸，撤除元、卢的门戟。
郑余庆奉诏撰写《惠昭太子哀册》，文辞甚精巧。有医工崔环，从淮南小将升为黄州司马。敕令下至尚书省，郑余庆扣下封还，认为诸道散将无故授以正员五品官，是开侥幸之路，而且并无缺职可供。言辞有些过分，因此触犯当权者，改派为太子少傅，兼判太常卿事。当初德宗自山南还宫，畿辅边关有李怀光、吐蕃叛乱之忧，京都惶恐，于是诏令太常寺集乐取消大鼓。至此，郑余庆才奏请复用大鼓。
元和九年(814)，郑余庆官拜检校右仆射，兼兴元尹，充任山南西道节度观察使，三年均受代理官职。元和十二年(817)，授太子少师。不久以年已七旬请求退休，诏令不许。当时屡屡有仰赖皇上恩赦授予官阶的事，及至天子亲临郊庙谒拜，行事官员等皆得倚圣恩授三品五品，不再进行考核，那些使府的幕僚属吏，又十有八九靠了军功借机赐命服而后入朝拜官。因此，在朝官员著绿衣者很少，郎官谏官也有著紫服垂金鱼袋的。又丞、郎入朝谢恩及郎官出使，朝廷多半赐予章服，以示加恩，于是显示恩宠之章服满朝皆见，一时不以著章服为尊贵，便诏令郑余庆详拟条令订立制度，逐条奏报。
元和十三年(818)，拜尚书左仆射。自兴兵以来，处于皇上左右出谋划策之位者多不称职，及至郑余庆以名臣之风范执政，民情趋于美善和睦。宪宗因郑余庆谙熟典章，朝廷礼乐制度有不合先例的，全权交付郑余庆参酌施行，于是任用他为详定使。郑余庆又奏请刑部侍郎韩愈、礼部侍郎李程为副使，左司郎中崔郾、吏部郎中陈..、刑部员外郎杨嗣复、礼部员外郎庾敬休一同充任详定判官。朝廷仪制、吉凶五礼，都有所增减。后郑余庆改任凤翔尹、凤翔陇节度使。
元和十四年(819)，兼太子少师、检校司空，封荥阳郡公，兼判国子祭酒事。因太学荒毁日久，生员欠缺，郑余庆奏请用文官俸禄修缮两京国子监。
及至穆宗登极，凭着师傅的旧情，擢升检校司徒，礼遇甚优。元和十五年(820)十一月去世，诏令说：“故金紫光禄大夫、检校司徒、兼太子少师、上柱国、荥阳郡开国公、食邑二千户郑余庆，始以衣冠礼乐之识，闻名于山东，尽力习作文章，终成矢志之学。出朝入朝清廉近人，资历长达五十年。两度执掌大政，屡次分担军务。凡所任职，无不竭力尽心。贵而能以贫贱处之，卑以自强不息。正直坦率享誉于朝廷，柔顺和睦脱化于闺门。受命有颍考父之恭谨，待士如公孙弘之宽宏。焚书逸礼，皆可口传；古史旧章，如出匠心。朕赖禀奏咨问，绝无昏聩逾礼。神将断我贤臣，朕心无比伤痛。既已不能聆听其言，助丧之赐宜优，可赠太保官职。”时年七十五，谥号为“贞”。
郑余庆建树美名、磨砺品行，不失儒者风范，清廉节俭坦率素朴，始终不变。四朝处将相之位，朝内外为官长达五十年，所获俸禄及赐赏，总是分给亲族，自己家境却近于贫寒。自至德以来，朝廷任命方镇守官，必派太监带着旌旗节旄到宅第宣赐，受命者皆送丰厚的钱财给太监。热衷献媚者惟恐所送数额不大，所以宣旨太监来一次，有获钱数百万的。郑余庆每受方镇之任，天子必告诫宣旨宫使说：“郑余庆家贫，不得妄有求取。”郑余庆一心想振兴儒学，对前来谒见的后生一概以经学训导，而能周济他人急难，理家理身，极其俭薄。至于办理公务，则喜欢广开用度。镇守凤翔一年，所办军务可观。又创立儒宫，以招徕学者。虽然郑余庆力求使自己的行为成为表率，却往往近于矫情求誉，所以当时舆论并不全都赞扬他。皇上因他家境素来清贫，不办丧事，宣旨主管官署特别发给相当一月俸禄的物资作为助丧之赠，以示褒奖。郑余庆有文集、表疏、碑志、诗赋共五十卷，刊行于世。
兄郑承庆，官职不高。弟郑膺甫，官至主客员外郎中、楚怀郑三州刺史。次弟郑具瞻、郑羽客、郑时然，皆官至县令宾佐。郑余庆之子名遆。