舒元舆是婺州东阳县人。他家贫贱，不能与士人并列。他开始学习时，就机敏聪明。后到江夏客居，节度使郗士美对他的突出才能感到惊异，多次推荐他。
元和年间，他去考进士，看见考官监管苛刻，在尚书省考试时，即使水和木炭、蜡烛和餐具，都是各人自己拿着，官吏一叫名字才能进去，用荆棘围住，铺席子坐在屋檐下，就上奏说：“从古以来被选择的人才没有比这更受轻视的，何况宰相大官都通过这提拔，宰相大官不是贤才不会选送，但考官把考生当奴仆看待，实在不合礼敬贤才的用意。用荆棘拦住怀疑他们做假，又不合选择忠诚正直人才的办法。写诗、赋是次要的才能，标点讲解儒经和注释，又不能看出礼制教化的才能。我担心贤人为逃避羞辱会躲开，不贤的人反被皇上任用了。现进贡珍珠、贝壳、金、玉器物，有关部门用竹器、毛皮和绸缎托着，怎么这么看轻贤人，而看重金、玉器物呢？”他又说“：录取人才不应限制人数，现考官一年多时取三十人，少时只取二十人，假使这年有一百名才子，却说我规定只取二十名，能说是求贤吗？这年有才学德行的人才几个，却说一定要取二十名，充数的竟超过了一半，说他们合标准行吗？”
不久他考进士中了优等，被任命为户县尉，有能干的名声。裴度任命他为兴元掌书记，文章豪放遒劲，当时人都推崇他。后任监察御史，追究深藏的坏人从不放过。两次升官后任刑部员外郎。
他自恃有过人的才华，急于升官。
大和五年(831)，他将文章献给皇帝，没有回音，他又上奏表白自己说：“马周、张嘉贞帮人写奏章，被从宾客提拔起来，终于成了有名的臣子。现我在朝廷任职，自己呈报文章，过了五个月没有一次答复，我自认为才能不比马周、张嘉贞差，但没机会表现，不能显露才华，就始终没有发挥才干的时候。汉代主父偃、徐乐、严安以老百姓的身份上奏章，早上呈报晚上就受到召见，我呈上的文章有八万字，那文章千锤百炼，涉及到几千年的典籍，选择分析，凡是可以帮助治理的都没遗漏，搜集的材料都像犀角、象牙样珍贵，难道是主父偃等人可以比得上的吗？
圣明的时代难遇到，还是自己爱惜自己的才干吧。”唐文宗看了奏章，赏识他振奋昂扬的精神，拿出来给宰相看，李宗闵认为他轻浮放肆不能任用，调他任著作郎，掌管洛阳分署。
当时李训在洛阳服丧，和他特别要好。到李训掌权，他两次升官后任左司郎中。御史大夫李固言推荐他任知杂事。李固言任宰相，他代理御史中丞。
遇上皇帝审查囚犯的罪状，他奏报分析详明，不到三个月就转为正式职务，又兼任刑部侍郎。他一心依附郑注，郑注讨厌的人，他就将他们全部治罪驱逐。这月中旬，又在本职上加任同中书门下平章事。他诡计多端，每天和李训勾结在一起，败坏国家的事务，都是他们两人干的。他们对过去的大臣很敬重，用来收买人心。此前，裴度、令孤楚、郑覃都受掌权人的排挤，放到闲职上，到这时都重任高官了。
舒元舆写了一篇《牡丹赋》，当时人称赞他写得好。他死后，皇帝观看牡丹，靠着宫殿栏杆吟诵这篇赋，为他流下了眼泪。
他弟弟舒元褒、舒元肱、舒元迥，都考中了进士。舒元褒又考中了贤良方正，任司封员外郎时去世了。其他的都被处死了。