马怀素，润州丹徒人。家住江都，年少时从师于李善。家境贫穷点不起灯，白天采集柴草，夜晚点燃用来看书，博览经史，擅长写文章。考取进士，又应考制举，荣登文字优赡科，提为..尉，四次升迁为左台监察御史。
长安年中(701)，御史大夫魏元忠被张易之诬陷，发配至岭表，太子仆崔贞慎、东宫率独孤..之在郊外为之饯行。易之生气，派人诬告贞慎等人与元忠同谋，则天命令怀素审讯，并派遣中使催促，暗示使其构成罪，怀素刚正不受命。则天生气，诏见怀素亲自质问，怀素上奏说“：元忠犯罪流放，贞慎等人以朋友亲情相送，确实可以责备，如果认为他们是谋反，我不就在欺骗神明吗？当年彭越由于谋反被杀，栾布在其尸首旁上奏陈事，汉朝对他不定罪，况且元忠的罪和彭越不同，陛下怎么能追加罪状呢。陛下手握生死权力，若想追加其罪，这取决于圣上的心愿就可以了。如果托付给我审讯，我能敢不遵守陛下的法律吗？”则天明白其意，贞慎等人由此获免。当时夏官侍郎李迥秀倚仗张易之的权势，接受贿赂，怀素上奏请求将其弹劾，迥秀于是被罢免官职。怀素多次升为礼部员外郎，与源乾曜、卢怀慎、李杰等人充任十道黜陟使。怀素处事公平宽待，为当时人所称道。使令完成归来，升为考功员外郎。当时达官贵戚恣情放纵，互相推诿职责公然进行，怀素无所阿谀逢迎，处事公平得当，提升为中书舍人。开元初年(713)，为户部侍郎，加银青光禄大夫，多次封为常山县公，多次提升为秘书监，兼昭文馆学士。
怀素虽然身居吏职，却非常喜爱学习，手不释卷，谦恭谨慎，极为玄宗所尊敬，令其与左散常侍褚无量一起作为侍读。每次从旁门进来，都要他们坐着大轿。皇上居住在别馆，由于路远，则令可在宫中乘马，有时候亲自送迎，以表尊师之礼。这时秘书省的典籍散落，条目无法叙述，怀素上疏说：“南齐以前的典籍已埋入土里，王俭编的《七志》很陈旧。以后的著述，数量很多，也未必详悉。近来发行的有些书，以前史志缺乏的又没有编入，有些是近人相传，浮词浅鄙却还记载。如果不编录，则难辩淄、渑。希望括减近来书籍的篇目，增入以前史志所遗缺的，续编王俭的《七志》，将其珍藏在秘府。”皇上于是诏令研究此方面的学者国子博士尹知章等人，分部撰写，并且刊正经史，粗创首尾。此时怀素病死，年龄六十岁，皇上特意为他举哀，停止上朝一天，赠予润州刺史，谥号文。