牛存节字赞正，青州博昌人。原名礼，做河阳诸葛爽部下，爽死，存节对部众说：“天下大乱，应当择英雄而事之。”于是率众十余人归梁太祖。存节为人坚强忠实谨慎，太祖很喜爱他，赐名，叫他当小军官。
张日至攻汴州，存节连破两寨。梁军攻濮州，战南刘桥、范县，存节立功最多。李罕之把张全义包围于河阳，全义向梁求援，太祖因为存节熟悉河阳地形，知道捷径，派他为前锋。那时饥荒，军队缺粮，存节用金帛交换农民的干桑葚以供军食，击走罕之。太祖攻魏，存节攻取黎阳、临河，杀魏一万二千人，与太祖在内黄会合。升滑州牢城遏后指挥使。
梁兵攻郓，存节叫都将王言把船藏在郓西北隅濠中，计划中午渡兵过濠猛攻。恰好营中火起，郓军登城望火，王言伏地不敢动，与存节失去原来约定的攻击时间，存节单独攻破郓西北城门，夺取濠桥，梁兵全部进城，击破朱宣。跟随葛从周攻淮南，从周在氵卑河战败，存节收拢败卒八千归来，升为亳、宿二州刺史。朱瑾逃到吴，率吴兵攻徐、宿，存节定计说：“淮兵必不先攻宿，然而宿沟垒很坚固，一定能御敌。”于是连夜率兵赶往徐州城下，瑾兵后至，望见尘土飞起，大惊说：“梁兵已经来了，为什么这样快呀？”不敢进攻而去。不久太祖使者到，所授军机与存节的意思一样，因此众将都佩服他的才能。升任潞州都指挥使。太祖攻凤翔，派使者召存节。存节为将，法令严而善得士心，送别时很多潞州人都哭了。累升为邢州团练使、元帅府左都押衙。
太祖即帝位，升任右千牛卫上将军。跟随康怀英进攻潞州，为行营排阵使。晋兵已经攻破夹城，存节等人率兵归，走到天井关，听说晋兵攻泽州，存节对诸将说“：我虽然没接到命令，然而泽州是要害之地，不可失掉。”众将都不想去救。存节叫士卒休息，不久又说：“危急时候不敢上，能说勇敢吗？”赶马先奔，士卒随后跟来。刚到泽州，州人已焚烧外城，准备投降，听说存节到，才稍安定。存节入城，帮助守城，晋军挖地道来攻打，存节选勇士数十，也挖地道，双方在隧道激战，敌人不得入，晋军只得解围而去。升任左龙虎统军、六军都指挥使、绛州刺史，又升..州留后。
同州刘知俊叛变，逃奔凤翔，于是升存节当匡国军节度使。友皀即位，朱友谦叛梁降晋，西连凤翔，存节东西受敌。同州水咸而无井，知俊叛梁是因为渴得不能守而走，所以岐兵合围很久，想用饥渴使他们疲乏，存节祷告后择地挖井八十个，水都甘甜可饮，友谦久攻不下。
末帝立，加同中书门下平章事，移镇天平。蒋殷在徐州反叛，派存节讨伐，因功加太尉。梁、晋在河上对峙，存节头痛病发，但梁、晋正在苦战，存节忠愤充满激情，治军督士，从来不说自己有病。病重，召回京城，快死了，对儿子知业说：“忠孝，才是我的儿子啊。”没说其他话就去世了。赠太师。