天，率领部下两千人投降梁太祖，即暂任军校。刘知俊披上铠甲跨上战马，抡起刀剑杀敌陷阵，勇敢胆略比其他将领都强。太祖命令左义胜军和右义胜军都归隶刘知俊指挥，不久又任用他为左开道指挥使，所以当时人都叫他“刘开道”跟随太祖讨伐秦宗权以及进攻徐州都立有战功，接着补任徐州马步军都指挥使。刘知俊进攻海州并夺取了它，太祖奏请皇上授刘知俊为海州刺史。天复初年，历任怀州、郑州主管，跟从太祖平定青州，因为战功奏请皇上授以同州节度使。天。。三年冬天，率领五千士兵在美原击败岐下六万士兵。从此接连攻克。。、延等五州，于是加封为检校太傅、平章事。开平二年(908)春三月，任命为潞州行营招讨使。刘知俊还没有到达潞州时，两边的营寨已经陷落，晋人领着军队正在进攻泽州，听说刘知俊来了，才撤退。不久就改任西路招讨使。六月，在幕谷大破岐下军队，被俘和被杀的敌军数以千计，李茂贞仅仅只身一人逃脱。三年五月，加封为检校太尉，兼任侍中，被封为大彭郡王。

这时刘知俊的威望日益高涨，太祖的猜疑之心也日益强烈，恰遇上佑国军节度使王重师无罪而被太祖诛杀，刘知俊坐卧不安，于是凭据同州反叛太祖，并对李茂贞表达诚意。刘知俊又分兵进攻雍州、华州，雍州节度使刘捍被擒获，送到凤翔李茂贞处被杀害了，华州蔡敬思受伤而得免于一死。太祖听到刘知俊反叛，派遣身边的亲信告诉他说：“我对待你非常优厚，为什么要背叛我呢？”刘知俊回话说：“我并不是背叛你对我的恩德，我只是怕死罢了！王重师没有对不起陛下的地方，然而招致了灭族的灾祸。”太祖又派遣使者对刘知俊说“：我没有料到你会这样做。以前王重师获罪被诛，是因为刘捍说他私下勾结。。州、凤州，终将不被国家所用。我现在虽然已经知道是冤枉滥杀，但是后悔已经来不及了，致使你变成这样，我内心非常遗憾悔恨，是因为刘捍误了我的大事呀，刘捍一死仍然不能解脱他的罪责。”刘知俊不做回答，而是分兵据守潼关。太祖命令刘寻阝领兵进攻讨伐，攻击潼关，占领了它。当时刘知俊的弟弟刘知浣是太祖亲卫指挥使，听到刘知俊反叛，从洛阳奔到潼关，被刘寻阝抓获，杀死了他。不久皇室大军接着开来，刘知俊于是带着全家逃奔到凤翔府，李茂贞优厚地接待他，任为伪检校太尉、兼任中书令，因为李茂贞盘踞的疆土不广，没有藩镇可用来安置他，因此只是供给他优厚的俸禄而已。接着命令他领兵攻击围困灵武，想得到牧圉一带地方。灵武节度使韩逊派使者来向太祖告急，太祖命令康怀英带领军队救援他，部队驻扎在。。州长城岭，被刘知俊半路拦截袭击，康怀英被打败逃回。李茂贞大喜，命刘知俊暂任泾州节度使。又命令他带领部队攻打兴元府，进军围住蜀国西县，恰逢蜀军援兵来到，刘知俊才撤退。

不久刘知俊被李茂贞身边的人如石简。。等人挑拨离间，李茂贞罢免了他的军政大权。刘知俊寓居于岐下，闭门不出有好几年。李茂贞的侄子李继崇镇守秦州，趁来问候拜见李茂贞的机会，诉说刘知俊的困顿，说不该因谗言嫉妒而被怀疑，李茂贞于是诛杀石简。。等人来抚慰刘知俊的心。李继崇又请求让刘知俊携带家眷住到秦州，以接受丰厚的俸给，李茂贞答应了他。不久，。。州动乱，李茂贞命令刘知俊讨伐。。州。这时。。州都校李保衡效忠于朝廷，梁末帝派遣霍彦威率领部队先进入。。城，刘知俊于是围住。。城，半年都不能攻下。逢上李继崇将秦州投降了蜀国，刘知俊的妻子儿女都被带去了成都，于是刘知俊解除。。州的围兵回到岐阳。因为自己的一家人都去了蜀地，到底担心被猜疑顾忌，因而与亲信一百多人夜晚杀出城门投奔蜀国。