大顺元年(890)，改任滑州左右厢牢城使。与诸将征讨时溥，多次打败贼军。景福元年(892)秋天，改任遏后都指挥使。在进攻濮州的战役中，领军率先登上城墙，于是占领敌人营垒。二年四月，攻下徐州，杀死时溥，牛存节奋力战斗，他的功劳最多。乾宁二年(895)，被授予检校工部尚书。三年夏天，太祖东讨郓州，牛存节领军驻扎故乐亭，扼守要道，都指挥使庞师古驻扎在马颊，牛存节暗中与都将王言筹划攻占郓州城。十二月，牛存节派王言在夜晚埋伏勇士在州城西北，用船渡过濠沟，搭梯子登上矮墙。后来王言不能攻进州城，牛存节独自率领埋伏的部队背负梯子驾着攻城战车攻破州城西边的瓮城，夺取了濠桥，各路军队一齐奋进。四年四月，攻陷郓州城，旋即与葛从周一同降服攻下兖州，被加封为检校右仆射。

那年秋天，梁军大举进攻淮南吴国，到濠州东面，听到先头部队在清口失利，各路军队都退到淠河，溃乱不成队伍。牛存节断后，各位将领都放弃坐骑，徒步格斗，使各军逐渐得以渡过淠河，收聚部下败兵共八千多人，到达淮河水边时，已有四天没有进食了。牛存节训导激励各部，以抵御追击的敌寇，才得以回师。五年，任亳州刺史，不久迁任宣武军都指挥使，改任宿州刺史。第二年，淮南吴军大举攻到彭城，牛存节于是领部下士兵连夜出发，直奔彭门，淮南人惊讶他的神速，震怖惊恐而退，各将都佩服他的智略胆识。

光化二年(899)，罢归，又复任左衙大将兼马军步军教练使。天复元年(901)，任潞州马军步军都指挥使，法令严整，军民安定。到前往皇帝出行所在地时，士卒们哭泣相送，不绝于道。加封金紫光禄大夫、检校司空，改任滑州左衙步军指挥使，管理邢州军政事务。天。。元年(904)，任邢州团练使。当时邢州兵士才二百人，晋人知悉后，率领大军前来侵犯。太祖在邺城，发长直兵二千人奔赴支援，牛存节率勇健壮士出战，用私家财产赏赐激励战士，并州晋军紧急进攻，七天不能获胜，就退走了。太祖召来牛存节，慰劳他很久，厚赐给金钱布帛鞍马，加封为检校司徒。冬天，撤军，暂任元帅府左都押衙。四年，太祖接受禅让的帝位，任牛存节为右千牛卫上将军。那年秋天，进攻潞州，以牛存节为行营马军步军都排阵使。

开平二年(908)二月，自右监门上将军转任右龙虎统军，驻守洛下。这年朝廷军队在上党战败，晋人乘胜挺进逼近泽州，州城即将陷落。河南留守张全义召来牛存节共谋，牛存节即率本部军士及右龙虎军、羽林军等前往接应上党。军队开到天井关，牛存节对各位将领说：“此次出征，虽然不是奉行皇上诏旨，但泽州为要害之地，不可让它失去。”这时晋人刚获胜利，兵势强盛，牛存节领军向前，连夜疾行暗至泽州，恰逢守卫矮城的人已经放火呐喊，以响应城外晋军，刺史保守衙城，不知怎么办。牛存节才进城，晋军就来到了，牛存节于是分兵把守。晋军四面进攻，开掘地下通道以入城，牛存节也用隧道来对付，在地下迎战，晋军不能前进。牛存节又用强弓射击他们，中箭者都洞透身体，历时十三天，晋军伤亡众多，便焚烧军营而退，泽州得以保全。太祖多次赞叹奖励他。五月，迁任左龙虎统军，充任六军马步总指挥使。十月，任绛州刺史。

开平三年(909)四月，任。。州留后。六月，刘知俊据同州反叛，牛存节旋即任同州留后，不久，加封检校太保、同州节度使。乾化二年(912)，加封检校太傅，进封开国公。牛存节严整军旅，总像大敌将至。在这以前，同州井水咸苦，人不能饮用，到并州人、岐人前来逼攻州城时，有人认为兵士干渴困乏，陷落将在旦夕。牛存节于是谨肃叩拜虔诚祷祝，选择地方开凿八十多口井，井水味道都甘淡，因此人马饮用洗涤有余，大家都认为是牛存节的至诚感动了神灵。从乾化二年八月到来年春末，人马未曾卸下铠甲，直到敌寇退走。接着加封为同平章事，召赴京城，末帝召见慰勉，赏赐甚厚。十一月，加封开府仪同三司，食邑一千户，任郓州节度使。四年，加封淮南西北面行营招讨使，控制扼守淮河岸边，边境安宁。