薛怀义，京兆..县人，本姓冯，名小宝。以卖台货为业，身躯魁梧，强健有力，在洛阳做买卖，得以遇见千金公主的婢女。千金公主了解他后，进宫说：“冯小宝有非同寻常的资质能力，可以让他充当近身侍者。”因而得到武则天召见，对他的赏识厚待日甚一日。武则天想隐蔽他的行迹，便于他在宫中进出，于是将他剃发为僧人。还考虑到薛怀义不是世家大族出身，于是将他改姓为薛，让他与太平公主的夫婿薛绍联为一族，叫薛绍把他当自己最小的叔父侍奉。从此薛怀义便与洛阳德高望重的僧人法明、处一、惠俨、眣行、感德、感知、静轨、宣政等在宫内道场念经诵法。薛怀义进出宫廷都乘坐宫廷马厩的马，由宦官随身侍从，武氏在朝中有权势的众显贵官员，都匍伏在地行大礼谒见他，民间称呼他为“薛师”。
武则天垂拱初年(685)，薛怀义劝说武则天在故洛阳城修复原白马寺，薛本人总领兴修；白马寺修复完成后，他自任寺院主持。薛怀义极其倚仗武则天的宠爱狂妄横行，他的下属犯法，没有人敢于议论。左台御史冯思勖多次据法弹劾他；薛怀义在路上碰到冯思勖，命令随从人员殴打他，几乎致死。他又在建春门内的敬爱寺里面，另建庙堂殿宇，将敬爱寺改名为佛授记寺。垂拱四年(688)，武则天拆毁乾元殿，在这块地基上建造宣明政教的明堂，薛怀义担任这项工程的使臣察督建造，共计役工数万人。拖一根大木头须上千人，安排领呼号子的头目一人，领号头目一声大喊，千名役工齐声应和。所建明堂共有三层，总计高达三百尺。又在明堂北面建造一座天堂，面积与所建的明堂相当。薛怀义论功授予左威卫大将军官职，封为梁国公。永昌元年(689)，突厥首领默啜率军侵犯边境，武则天派薛怀义任清平道大总管，领军攻打默啜军，追至单于台刻石记述功绩才返回。再加授辅国大将军官职，晋升左卫大将军，改封为鄂国公、柱国，赐给帛两千段。
薛怀义与法明和尚等编撰《大云经疏》，陈述符谶预言，称武则天是弥勒佛转世，做中华及东方诸国君主，李唐王朝运当衰微。因此武则天改朝换姓立朝称“周”；薛怀义与法明和尚等九人一并封为县公，各赏赐不等的财物；一概赐予紫袈娑、银龟袋。他们随心所欲编造的《大云经疏》颁发天下，每个寺院各藏一本，命令各寺主持高僧登上法坛宣讲解说。武则天将要改朝换姓之前，大肆诛杀李唐宗族各藩王，惟有千金公主凭巧言谄媚善于奉承一家独存；她又上疏奏请以武则天为自己母亲，因而获得武则天曲意给予偏宠，将其封号改为延安大长公主，加授实征赋税的食户，赐她姓武。让她的儿子李克..娶魏王武承嗣的女儿为妻；准许她进内宫参谒问候，不受早晚限制；见到武则天，她就竭力迎合，博取欢心。长寿二年(693)，突厥的首领默啜再次侵犯边塞，武则天又让薛怀义担任代北道行军大总管，派李多祚、苏宏晖充任他的手下将领。尚未启程，又将薛怀义改任朔方道行军大总管，派内史李昭德担任他的行军长史，凤阁侍郎、平章事苏味道任他的行军司马，由他率领契絆明、曹仁师、沙吒忠义等十八名将军去讨伐默啜。尚未出征，默啜退军，于是停止了这次出征。
后来，薛怀义厌倦再进宫中，平时大多居住在白马寺，刺血绘画大佛像；又挑选体力强健的平民将他们剃度为僧，人数上千。侍御史周矩怀疑他心怀奸谋，上奏弹劾他，武则天不准奏；周矩坚持奏请弹劾，武则天说：“你暂且退下，朕立即命令他离去。”周矩回到御史台，薛怀义也来到这里，骑着马顺着台阶下来，然后袒露胸腹仰卧在床榻上。周矩叫来御史台吏役，准备制止他，薛怀义突然骑上马离去。周矩将以上情况一一奏报武则天知道，武则天说：“这个和尚的疯病发作，无法深究。他所剃度的僧人任凭卿审问论罪。”周矩审讯他们，将审得的情状全部禀报给了武则天，众僧人全部发配到边远的各州郡。武则天提升周矩为天官员外郎，最终，周矩遭薛怀义构陷，投入监牢，免去官职。
后来，有个叫沈南趚的御医得到武则天的宠爱，对薛怀义的恩遇渐渐衰减，薛怀义极为怨恨恼怒。证圣元年(695)，宫殿失火，火烧新建的宣布政教的明堂、天堂，两座殿堂全部化为灰烬，武则天心中有愧但隐瞒了这件事，又让薛怀义担任使臣监督兴修；并在再建的明堂下安放了九州鼎，用铜铸成十二生肖塑像，分别放在与自己本命星相应的干支辰位上，各生肖铜塑都高达一丈。薛怀义亲自做呼喊号子的头人率领役工安放生肖铜塑。此后，薛怀义更加骄纵傲慢，武则天对他厌恶起来，叫太平公主挑选体力强健的宫中妇女数十人，对他严密防范，考虑如何对付他。有人告发了薛怀义的阴谋，太平公主的乳母张夫人命令强壮的卫士捆住薛怀义并将他勒死，然后用车子载着他的尸体送到白马寺。薛怀义的近侍僧众，全都流窜逃亡到遥远荒僻的地方。