桑维翰，字国侨，洛阳人。父亲名拱，在河南尹张全义手下做客将。桑维翰身材短小面部宽长，非常人之形，成人以后，每每对着镜子自己叹息说：“身高七尺的人，哪比得上脸长一尺的我！”因此慨然有做三公辅相的志向。
后唐庄宗同光年间，考中进士。后晋高祖石敬瑭统领河阳，桑维翰被征召做书记官，历经几个城镇他都跟随着，到石敬瑭在太原登上帝位，桑维翰首先参与谋划，石敬瑭又派他写信向契丹请求援救，契丹果然答应了请求。不久因为赵德钧也派使节去问候契丹，晋高祖害怕契丹改变计策，就命桑维翰到契丹幕帐去，阐述始终如一利害相关的道理，那盟约才确定下来。晋高祖建立国号，诏令桑维翰任翰林学士、礼部侍郎，主持枢密院事务，不久改任中书侍郎、平章事、集贤殿大学士，担任枢密院使。高祖驾临夷门时，范延光占据邺地反叛。张从宾又从黄河、洛河举兵向都城进攻，人心浮动纷乱。当时，有人监视着桑维翰。桑维翰从容自若，谈人论事，和悦如常。人们都叹服他的气量胆识。
到杨光远平定邺地，朝廷担心骄兵难制，桑维翰请求赶快分散他的兵马。不久调杨光远镇守洛阳，杨光远因此此怏怏不乐，上奏疏指斥桑维翰背公徇私，任免不当，又在两都之地营建宅邸市铺，与老百姓争夺财利。高祖正迁就朝外将领，事情不得了结，只好任桑维翰为检校司空、兼侍中，出任相州节度使。当时是天福四年(939)七月。在此之前，相州管区内凡抓获盗匪贼寇，全都没收他们的财产，说这是河朔原有旧例。到桑维翰担任镇守，因法律条款无此明文规定，便废止这一旧例并上奏朝廷。高祖诏令：“桑维翰辅佐皇帝功高，面临战事可寄重任，废除一地的旧事，符合天下的通规，况且对盗匪贼寇的处罚，法律条令都有记载。如若为了安抚万民百姓而使各地安定，岂可忍心因加罪一人而连及破毁一家。听从文武百官的美好计策，可以成就国家的大事，这既佐助了王道的实现，又切合人们的心愿。今后，凡有贼匪一律按照法律条款定罪。不得没收缴纳他的家财，全国各州都按此处理。”从此，抢劫犯的家庭，都免除没收财产的处罚，这是桑维翰的功劳。过了一年多，调任镇守兖州。
这时，吐谷浑都督白承福被契丹威迫，率领徒众入关，依附后晋，高祖正与契丹往来和好，拒绝吐谷浑的归附不予接纳。镇州节度使安重荣担心契丹的强大，图谋袭击契丹，往来于真定一带契丹的军队，都被他暗地里消灭，秘密与吐谷浑深厚交往，到这时，安重荣接纳了白承福，并且使他朝见了高祖。接着，安重荣上表请求讨伐契丹，并且说这是吐谷浑的请求。这时，安重荣手握强兵，占据重镇，仗恃他的勇猛，逞专横跋扈之势。高祖看表后，犹豫不决。桑维翰知道安重荣已心怀奸计，又担心朝廷违逆了他的意志，于是秘密地上疏进言。疏奏送到，高祖不予公布，召唤使者入内，对桑维翰传达秘旨：“我近来北面称臣侍奉契丹，心中愤懑不快，现在细读了你的奏章，心中愤懑解开就像睡醒了一样，我的计谋已经决定，你不必担心了。”
七年(942)夏天，高祖驾临邺都，桑维翰从兖州前来朝拜，改任晋昌军节度使。少帝石重贵即位，征召拜为侍中，监理编修国史，不断上书请求与契丹和谈通好，被上将军景延广所否定。第二年，杨光远与契丹结怨，在澶渊发生战争，凡进攻敌军，下达命令，都出自景延广。桑维翰与各位宰相没有参与的机会。等到契丹败退，桑维翰派受少帝宠幸的亲信秘密地推荐自己说“：皇上要想制服北方戎狄安定国家，非桑维翰不可。”少帝于是命景延广出守洛阳，让桑维翰担任中书令，又任枢密使、弘文馆大学士，接着，封为魏国公。事情无论大小，全部委托给他，几月之间，百事渐趋治理。然而权力地位显赫以后，各地贿赂馈赠的东西，都汇集到他的门下，所以，连着一两年之内，聚积的财货无数，因此，那些轻薄浮躁的人得以借机兴起诽谤。不多久，内客省使李彦韬、端明殿学士冯玉都因为任用亲朋故旧，与桑维翰不相协和，离间之言逐渐进入皇帝耳中，桑维翰渐渐被疏远猜忌，将要被罢免斥退，全靠宰相刘日句，李崧上奏“：桑维翰立过大功，并且没有大的过错，不应该轻易贬退。”少帝才作罢。不久，任用冯玉为枢密使，以此削弱桑维翰的权力。
后来因少帝稍有不适，桑维翰曾经暗地里派遣宫廷使者向太后表达心意，请求为皇弟石重睿选择老师来教育辅导他。少帝因此怀疑桑维翰怀有异心。不久以后，冯玉做了宰相，与桑维翰都在中书省，正好碰上舍人卢价任职期满，冯玉就提笔委任卢价为工部侍郎，桑维翰说：“文官出任这种官职要稍稍慢些，恐怕外界有所议论。”因此不予签名。接着桑维翰休假，冯玉终归任命了卢价，自此桑维翰与冯玉更加不相协调。不久少帝把石重睿选择老师的事告诉了冯玉，冯玉于是用言语刺激少帝。少帝不多久就派桑维翰出任开封府尹，桑维翰称脚有病，很少参朝晋见，不与宾客往来。
这一年，秋雨下了一月不停止。一天，桑维翰走出府宅大门，由西街进入内城，到了国子门，乘马忽然惊恐奔跑，驾车的人不能控制，桑维翰掉进水中，过了好长时间才苏醒过来。有人说他的私人官邸也多有鬼怪，亲近他的人都为此忧心忡忡。到契丹国主打到中渡桥，桑维翰因国家危在旦夕，才到执政处提出他的异议，又求谒见少帝，得不到准允。桑维翰回家，对他亲近的人说：“如果以国家的命运而论，天命是否改变，不是我们所能知晓的，如果以人事而论，晋朝将不会再存在了。”
开运三年(946)十二月十日，后晋的军队已经投降契丹，十六日，张彦泽率领前锋骑兵攻陷了都城，契丹国主派使者送信给太后说：“可以先让桑维翰、景延广远道来迎接，这是很好的事。”这天凌晨，都城下的军队发生骚乱，宫殿里大火突发。桑维翰当时正在府宅，左右侍臣劝他逃跑躲避，桑维翰说：“我是国家大臣，逃到什么地方去呢？”便坐在那里等候命令。当时，少帝已经接受了契丹国主安抚慰藉的诏命，正考虑保全自己之计，因而想到桑维翰担任相国时，多次进献计谋策划，请求与契丹通好，担心如果契丹国主到达京都后追究这事，则要显露自己的过错，所以打算杀掉桑维翰灭掉口供。因此叫人去干这件事。张彦泽接受少帝的密旨之后，又贪图桑维翰的家财，于是声称少帝下令召见桑维翰。桑维翰系上腰带乘马前去，走到天街，与李崧相遇，两人交谈之际，有个军官在马前指请桑维翰去侍卫司，桑维翰知道不可违抗，回头对李崧说：“侍中主持国政，今天国家灭亡了，反让我为此去死，这是为什么？”李崧很感愧疚。这一天，张彦泽派兵看守他，十八日夜晚，被张彦泽杀害，当时年仅四十九岁。张彦泽用衣带系在桑维翰脖子上，报告给契丹国主说桑维翰上吊自杀了。契丹国主答复说：“我本无心害桑维翰，桑维翰不该自杀。”契丹国主到了京城，派人验证他的尸体，下令把他的灵柩安放在私宅里，优厚地抚养他的家属，所有田园宅府，一起赏赐给他的家人。到后汉高祖登基，下令追赠为尚书令。
桑维翰年轻时居住的地方，常有鬼怪出现，家里人都惧怕。桑维翰常常被鬼怪偷窃了衣服，取走洗沐用具，他却不曾改变面容。在两朝执掌国政，把上将杨光远、景延广全部贬出镇守洛川。还曾经一次奏议任命节度使十五人，各任军职，没有谁不屈服他的。治理安阳时废除民间陋习二十多件，在兖州、海州一举擒获一千多豪强贼寇，亦称得上是寇恂、尹翁归一类的人物了。
开运年间，朝廷任命他的长子桑坦为屯田员外郎，次子桑埙为秘书郎。桑维翰对同僚说“：汉代三公的儿子封郎的体制废除已经很长时间了，近来偶或又实行这种体制，很易引起外面的议论。”于是上表抗命，坚决推辞不受，不久，改任桑坦为大理司直，桑埙为秘书省正字，舆论认为这件事办得好。
当初，高祖在位的时候，下令废除翰林学士院，因此把内外制合并归入阁下，让舍人掌管内廷，几年之间，特别重视舍人的选拔，到桑维翰再处相位时，一两天间，上奏再设置学士院，大凡任命的官职，都是他的亲朋故友，当时舆论认为桑维翰为相的业绩一向高尚，是众望所归，虽然任官有些偏颇，也就不怪罪他了。