牛僧孺字思黯，是隋仆射奇章公牛弘的后代。祖父牛绍，父亲牛幼简，官职低下。牛僧孺考中进士，应试贤良方正科目被录取，被派任伊阙县尉，后提升为监察御史，转殿中省任职，历任礼部员外郎。宪宗元和年间(806～819)，改任都官，主管台阁杂官，不久换任考功员外郎，充任集贤直学士。
穆宗登基，牛僧孺以库部郎中官职主管拟制诏令。长庆元年(821)，宿州刺史李直臣犯贪赃罪判死刑，李直臣贿赂有权势的宦官为他申辩，牛僧孺坚持执法不改。穆宗当面对他说：“李直臣行事虽有过失，但此人有经营规划的才干，可委派他去边疆任职，朕想放宽对他的执法。”牛僧孺回答说：“平庸的人没有才干，只不过是保持禄位讨好上司罢了。帝王立法，约束奸雄，正是因为他们多有才干。安禄山、朱氵此因有过人的才干，才搅乱了天下。何况李直臣只是小才，又何必枉法迁就呢？”穆宗赞扬他严守法纪，当面赏赐他金符紫服。次年正月，委任他做户部侍郎。长庆三年(823)三月，他以本官任同平章事。
起初韩弘进入朝廷任职，因他任宣武节度使时的旧事，流言蜚语颇多；他儿子韩公武用家财以重礼贿赂帝王宠幸的权臣及诽议多的人，同在朝班的官员尽都受到他的馈赠。不久，韩弘和他儿子都去世了，遗孙年幼，穆宗担心他的家财被仆役盗窃，便派宦官到他家，查阅他的家产簿册，将它交给族中长者。在簿册上都记有受贿人的处所，只有牛僧孺的官衔旁用红笔写着：“某月某日，送牛侍郎财物若干，他不收，全部退回。”穆宗审阅簿册后十分高兴。过了不久，朝廷商议任命宰相的人选，穆宗首先认可对牛僧孺的提名。
敬宗登基后，牛僧孺升官为中书侍郎、银青光禄大夫，封爵奇章子，食邑五百户。同年十二月，他被提升为佩金符著紫衣的三品官阶，晋封为郡公、集贤殿大学士、监修国史。宝历年间(825～826)，由不正派的宠臣决定朝廷政事，大臣依附勾结他们，牛僧孺对众小人无可奈何，三番四次呈递奏章请求免职，敬宗说：“等我祭祀天地的大礼完毕就放你走。”穆宗举行完向祖庙报德的祭祀后，牛僧孺又上奏陈请退职，朝廷便在鄂州设立武昌军编制，委任牛僧孺为检校礼部尚书、同中书门下平章事、鄂州刺史、武昌军节度，鄂、岳、蕲、黄四州观察等使。江夏城的土性不粘，难砌城墙，每年加筑，都征收青茅草袋盛土加层。地方官吏借此巧取，侵吞修城资财年复一年。牛僧孺到任后，计算草袋、修筑费用，每年十余万贯，便改征土砖，用以抵偿应征的草袋、修筑费。前后五年，城墙全部筑得如同井壁，侵吞征收资财的事从此根除。文宗登基，就牛僧孺原职加授检校吏部尚书衔，镇守江夏共五年。
太和三年(829)，李宗闵辅佐皇帝主政，屡屡举荐牛僧孺有才，不宜任地方官。太和四年(830)正月，将他召回朝廷，代理兵部尚书、任同平章事。
太和五年(831)正月，幽州范阳军队骚乱，兵马副使杨志诚驱逐了主帅李载义。文宗认为李载义对朝廷忠心，骤然听说该州失去这样的主帅，大惊，紧急召见宰相等大臣说：“范阳兵变怎么办？”牛僧孺回答说：“这不值得烦劳圣上忧虑。范阳的得或失，不关系到国家的安危祸福，自安史之乱以来，翻来覆去都是这样。先前刘总将范阳地域归附中国，朝廷耗费钱财百万，却始终未得范阳的尺布斗粮入收国库，不久又成为祸害。现今的杨志诚也就是以往的李载义，只需因势安抚他，使他抵御奚和契丹不让他们入侵，这才是朝廷的利益所在。给予他朝廷的符节，他必定施展才能效力国家，毋需以叛逆、顺从的问题对付他。”文宗说：“我起初未审慎思考，你说得对。”当即派遣宫中使臣前往宣旨抚慰。不久，牛僧孺被提升为门下侍郎、弘文馆大学士。
太和六年(832)，吐蕃派使臣论董勃义来朝与中国建立亲善关系。不久西川节度使李德裕奏报：吐蕃的维州守将悉怛谋献城归降。李德裕还陈述利害关系说：“如派羌兵三千人，出其不意，烧掉十三桥，直捣其心腹要地，就可达到降服吐蕃的目的了。”文宗对此事疑惑不定，下令尚书省商议，众大臣陈请照李德裕的计策办。牛僧孺进言说：“这种议论不对。吐蕃的疆域，四周万里，丢失一个维州，无损于它的势力。况且论董勃义刚回去，刘元鼎还未到，近来两国修和，约定停止用兵。中国防御西戎，应以遵守信义为重，军事对敌在次；而今一旦失信，西戎就能以此为口实用兵。听说吐蕃首领正在茹川一带牧马，蛰伏在秦、陇附近。如若他向东袭击陇坂，直奔回中要道，不用三日即抵达咸阳桥；如果我朝派兵抗拒，势必使京都震骇。事情如若到此地步，纵然得到一百个维州，又有何用呢？”文宗说：“对。”于是诏令西川不得接纳维州降将。牛僧孺一向与李德裕有仇怨，虽是商议边防公事，而依靠李德裕的人们认为牛僧孺是妒忌李德裕建立功业，指责牛僧孺的议论沸腾一时，文宗也认为这不公平。这年十二月，牛僧孺任检校左仆射、兼平章事、扬州大都督府长史、淮南节度副大使，主持节度事务。
这时护军中尉、宦官王守澄当权，大量收纳小人，私下妄议朝政，内宫事情秘密，不知他们说些什么。一天，在延英殿召见宰相询问对策，文宗说：“天下怎样能达到太平，卿等留心过这个问题吗？”牛僧孺说：“臣等愧任宰相，无能安民济世，但臣想太平也没有法式。现今四方异族不来交相侵犯，黎民百姓不至于流离失散，在上位者没有滥施暴虐，处下位者没有忿恨怨言，仕宦门中没有强梁之家，公众议论不受阻止梗塞。即使未至太平盛世，也还可称小康景象。陛下如若另求太平，不是臣等力所能及的事。”回到中书省，牛僧孺对同列的大臣说：“我等任宰相，天子如此督责，哪能久处此地呢？”十天内，他三次奏请辞职，文宗不许。适逢李德裕一党得势，即将入朝主持政事，牛僧孺因此获准辞职。文宗已经接受近身侍臣的邪说，急于求得“太平”，奸佞之徒窥得其意向坚定，因此李训、郑注得被重用。几年时间，几乎危及社稷安全，而牛僧孺按一定准则求进退，为议论者称道。
文宗开成初年(836)，士大夫丧失道义，众宦官把持权柄，牛僧孺厌弃位处重要藩镇，请求返回自己的封地任个闲职，屡屡奏请，未得获准，共在淮甸任职六年。开成二年(837)五月，牛僧孺加封检校司空衔，食邑二千户，兼任低于他本官的东都尚书省事、东都留守、东畿的汝州都防御使。牛僧孺见识远器量大，心在尘世事务之外，不把小事放在心上。在洛都的归仁里建造了府第。在淮南任职期间，他就在庭院亭台间，布置美树奇石，房舍居室清幽美丽，竹丛树林幽雅深邃。常和诗人白居易在这里吟咏诗歌，不再有仕途进取的意念。
开成三年(838)九月，朝廷征召委任他为左仆射，接着就派左军副使王元直带着委任凭书前往宣布赐予他的官职。按惯例，地方长官入朝任职，没有宫中使臣宣布诏书的先例；因怕牛僧孺推辞，以此促使他入朝。牛僧孺不得已入朝。适逢庄恪太子李永刚刚去世，牛僧孺到延英殿向文宗致谢任用之恩，谈到太子的事，便恳切陈述父子君臣的道义，尊卑长幼的常规，不可轻易更改皇储的道理，文宗听后为之潸然泪下。这时的宰辅大臣都是牛僧孺的故旧同僚，但他从不登门拜会；文宗频繁召见，他以脚有毛病推托。时间久了，文宗对杨嗣复说：“僧孺称说有病，不能上朝趋拜，不可就此听其自便。”开成四年(839)八月，又任命他为检校司徒、兼平章事、襄州刺史、山南东道节度使，将他的食邑增至三千户。辞行之日，文宗赏赐他觚、散、樽、杓等金银古器，并派宫中使臣告诉他说：“因为你廉洁正派，赐予这些古器，望你暂留一时。”牛僧孺启奏说：“汉南水旱灾害之后，流民亟待治理，不宜停留。”经再三请求放行，文宗才同意他走。
武宗登基，就牛僧孺原职加封检校司徒。会昌二年(842)，李德裕当权，免除了牛僧孺的兵权，征聘他为仅有荣衔的太子少保，后晋升为太子少师。宣宗大中初年(847)，牛僧孺逝世，追赠他太子太师衔，谥号文贞。
牛僧孺年轻时与李宗闵同科试，尤为李德裕憎恶。武宗会昌年间(841～846)，李宗闵被贬斥，死在郴州任所。牛僧孺多次遭李德裕指摘，李德裕想加罪于他，但因牛僧孺素来正直，受人敬仰，无从寻其漏洞。李德裕被贬到南方，所撰著的《穷愁志》，援引民间牧童的谶语指斥牛僧孺，还称他为“太牢公”，对他憎恨到如此地步。