武元衡字伯苍，河南缑氏人。曾祖武载德，是天后堂弟，官至湖州刺史。祖父武平一，善作文，死时官至考功员外郎、修文馆学士，事迹载于《逸人传》。父武就，为殿中侍御史，因武元衡权位显贵，追赠吏部侍郎。武元衡应举进士登第，屡次被使府征召，官至监察御史。后为华原县令。当时京畿的镇军督将有人倚凭朝廷恩宠或仗恃功劳，经常侵扰官吏和百姓，武元衡颇感苦恼，便称病辞官。好长时间，他都纵情政事之外，沉溺宴饮歌咏之中。德宗闻知他的才干，召授比部员外郎。一年后，调任左司郎中。人们因其行事周全而称赞他。贞元二十年(804)，调任御史中丞。曾经在延英殿应对完毕后，德宗以目相送，指着他对左右侍臣说：“元衡真正是宰相的材料啊。”
顺宗即位，因病不能亲理政事。王叔文等派党徒用权力引诱武元衡，遭到武元衡拒绝。时逢护送德宗遗体葬于山陵，武元衡为仪仗使。监察御史刘禹锡，属王叔文一党，请求充当仪仗判官，武元衡不允许。他们一伙越发不高兴。数日后，贬武元衡为右庶子。宪宗即位，当初册封为皇太子时，武元衡为赞引，所以宪宗认识他，及至登极，又拜武元衡为御史中丞。他为官公正无私，严守纲纪律条，人们很敬重他。不久升户部侍郎。元和二年(807)正月，拜门下侍郎、平章事，赐紫服金鱼袋，兼判户部事。皇上为太子时，了解他为人处事坚守正道，至此用为宰相，对他很是尊重和信任。
当初，浙西节度使李钅奇请求入朝晋见，于是授为右仆射，命他入朝，既而李钅奇又称病，请求延期到年底。皇上问宰臣意见，郑纟因请求按李钅奇奏请处理，武元衡说：“不可。李钅奇自己请求入朝，诏令已准许他，马上又称病，这就是说行或不行都是李钅奇说了算。现在陛下新登宝座，天下人侧耳拭目以待，若使奸臣得以顺遂其私欲，那么圣命威严从此消失了。”皇上认为言之有理，立即追令李钅奇入朝，李钅奇终于计穷而返。
在此之前，高崇文平定蜀乱，因而被授以节度使。高崇文治军有方，却不懂州县政务。皇上认为难有替代者，于是派武元衡去替代高崇文，拜武元衡检校吏部尚书，兼门下侍郎、平章事，充任剑南西川节度使。将行之时，皇上驾幸安福门亲临慰问。高崇文离开成都时，将军用物资、金银财帛、娈幕、歌伎乐工、工艺精品尽数装车运走。武元衡到任后，凡事节约，办事务必任用行家里手。三年之后，无论公家或私人都稍许宽裕一些。他安抚蛮夷，又以明文相约束，使其不致时常生事。武元衡为人沉稳端直，行事慎重谨严，虽淡于待人接物，但开府治事，却是当时最佳人选。元和八年(813)，征召还朝。行至骆谷，诏令重拜门下侍郎、平章事。
当时李吉甫、李绛感情不和，各自在皇上面前诉说事理曲直。武元衡处在中间，对谁也不表示反对或赞同，皇上称赞他是长者。及至李吉甫死去，皇上正征讨淮、蔡，便将朝廷机要事务都委托武元衡处理。这时王承宗派使者上奏，请求赦免吴元济。使者向宰相请示，言辞倨傲无礼，遭到武元衡的呵叱。王承宗因此迅疾奏章诋毁武元衡，彼此深结仇怨。武元衡宅第在静安里，元和九年(814)六月三日，正欲上朝，出了静安里东门，忽有人暗中呵叱令熄灭蜡烛，他叱骂贼人，贼人用箭射中他的肩膀。又有隐匿之贼从树荫下冲出，以棒击武元衡左股。武元衡的侍从已被杀散奔逃，贼人便拉着武元衡的坐骑，往东南行十余步将他杀害，砍下头颅放入怀中而去。及至众人齐声呼喊而至，只见武元衡已倒在血泊之中，正当武元衡宅第东北墙隅外。此时天色未明，街道上有许多骑马的朝官及行人，巡逻兵卒连声呼喊十余里，都说是盗贼杀了宰相，喊声直达朝堂。百官议论纷纷，不知死者是谁。一会儿，武元衡的坐骑跑到，遇见的人辨认了出来。死者已弄清楚，皇上驾临紫宸门，主管官员将武元衡遇害之事奏报皇上，皇上震惊，退朝而坐延英殿，召见宰相。皇上久久地凄伤悲痛，两餐不食。册封武元衡为司徒，赠丧葬用布帛五百匹、粟四百石，停止坐朝五日，定谥号为“忠愍”。
武元衡善做五言诗，被好事者传诵，而且往往配上乐谱歌唱。
当初，元和八年(813)，武元衡自蜀中归来再辅朝政，此时天像太白犯相星，又经罚星。占者说：“现今三位宰相皆不利，始轻末重。”过了月余，李绛因足疾而免职。次年十月，李吉甫暴病身亡。至此，武元衡被盗贼杀害，年五十八。起初是武元衡与李吉甫同年，又同日为宰相。及至出京镇守，二人分领扬、益两州。等到李吉甫再度入朝，武元衡也回到朝中。李吉甫先一年在武元衡出生之月死去，武元衡后一年在李吉甫出生之月遇害。吉凶之命数，正如符卦所示。先是长安谣谚道：“打麦麦打三三三”，接着旋舞长袖说“舞了也”。解悟者称：“打麦”，指打麦时节；“麦(默)打”，指暗中突出；“三三三”，指六月初三；“舞(武)了也”，指武元衡之死。自此京师大恐，城门加添卫兵，细察出入之人，查寻可疑者。那些身材魁伟、服饰异常、口吐燕赵之音者，多被扣押审讯。
武元衡之堂弟名武儒衡。