元行冲，河南人，后魏常山王素连的后代。少年时死了双亲，为外祖司农卿韦机抚养。博闻多学，尤其擅长音律和训诂的写作。考取进士，多次转为通事舍人，狄仁杰非常器重他。元行冲性情耿直，多次进言规诫，曾经对仁杰说“：下奉事上，就好比用自己积蓄来充实皇上的积蓄。如贵家的积蓄，脯腊月奚胰作为饭食用，参术芝精作为预防疾病用。我想门下宾客，可以充作好味者多，希望用小人备做一种药物。”仁杰笑着说“：这是我的药中宠物，怎么可以一日没有呢？”九次迁为陕州刺史，兼陇右、关内两道按察使，又授予太常少卿。
元行冲认为本族出于后魏，但没有编年史，于是撰写《魏典》三十卷，事情详细而文笔简练，为学者称道。初魏明帝时，河西柳谷瑞石有牛跟在马后的形象，魏收旧史认为晋元帝是牛氏的后代，冒姓司马，用来应证石文。行冲追根究底，认为后魏昭成帝名犍，继晋元帝后受命，考正谣谶，特著论以明确这件事。
开元初年(713)，自太子詹事出朝任岐州刺史，又充任关内道按察使。行冲自己认为书生不可以担负搏击责任，因此辞去按察使。让宁州刺史崔琬代替。不久又入朝为右散骑常侍、东都副留守。当时嗣彭王志目柬同父异母的哥哥志谦被人诬告谋反，审问之下，被迫承认了自己的不实之罪，就关进狱中等待判罪，十多人受牵连，行冲察明此事是冤案，一起将原情上奏。四次迁为大理卿。当时扬州长史李杰遭侍御史王旭陷害，皇上命令由大理卿评判，行冲认为李杰从政期间清白正直，不应该白白地被谗言陷害，又上奏请求按分列条目来从轻处理。当时虽不被采纳，却深为一时的舆论所赞誉。不久又坚持辞去刑狱官，求为散职。七年(719)，又转为左散骑常侍。九次迁为国子祭酒，一月后，被授予太子宾客、弘文馆学士。多次被封为常山郡公。
先时，秘书监马怀素召集学者来接续王俭的《今书七志》，左散骑常侍褚无量在丽正殿校写四部书，事未成而马怀素、诸无量就死了，皇上下令行冲总代其职。于是行冲上表请求通撰古今书目，名为《群书四录》，命学士..县尉毋..、栎阳尉韦述、曹州司法参军殿践猷、太学助教余钦等分部修检，一年多后书成，献给皇上。皇上又特令行冲撰御所注《孝经》疏义，在学馆陈列。不久因为衰老缘故停止主持丽正殿校写书的事务。
当初，有左卫率府长史魏光乘上奏请求通用魏征所注《类礼》，皇上即令行冲召集学者撰写《义疏》，准备陈列在学馆。行冲于是召引国子博士范行恭、四门助教施敬本研讨削减，缩成五十卷，十四年(725)八月献给皇上。尚书左丞相张说反驳说：“今天的《礼记》，是前汉戴德、戴圣编录，历代传习，已近千年，为经典著作，不可刊削。到了魏代孙炎开始改旧本，以类相比，有同抄书，与先人所编的不同，终究没有采用。贞观年中，魏征根据孙炎所致，使之更加有秩序，并为之注解，先朝虽厚加赏赐，但书终究也不予采用。现在行冲等人去除魏征所做注解，缩成一家，然而与先人比较，章句隔绝，如果要采用，我担心不行。”皇上认为张说是对的，于是赐给行冲等人二百匹绢，将书贮存在内府，最终不得在学馆陈列。行冲不满众儒排挤自己，辞去官职，著论以排解郁闷，名为《释疑》。
元行冲不久又多次上书请求做官，皇上应允了。十七年(729)逝世，终年七十七岁，追封礼部尚书，谥号叫献。