，汉高祖将自己骑的马给石敬瑭骑，自己骑上石敬瑭断了铠甲的马，不慌不忙地留在后面断后，石敬瑭感激他，认为他很勇敢强壮。明宗登上帝位时，石敬瑭任北京留守，因为高祖从前有保护援救自己的功劳，奏请明宗将高祖调到自己帐下，担任牙门都校。后唐应顺初年，石敬瑭镇守常山，唐明宗传召他到京师来，碰上闵帝逃奔，与石敬瑭在路上相遇，于是一同到卫州，在传送文书的人所住的邮亭中歇息。闵帝身旁的人想谋害石敬瑭，高祖悄悄派卫士石敢在袖子里藏着铁锤站在石敬瑭后面，到发生变乱时，石敢拥着石敬瑭躲进一间屋子里，用大木头将门顶住，石敢不久被杀害了，高祖率领众人全部杀死闵帝身边的人，才使石敬瑭免于被害。

后唐末帝清泰元年(934)，石敬瑭再次镇守河东。三年夏天，调任镇守汶阳。高祖劝石敬瑭起义称帝，辅佐他成事，密谋策划，改朝换代的初期大事，里里外外都依靠他。晋高祖任他为北京马步军都指挥使。契丹出动全部兵力同晋军一起与后唐末帝决战，在晋阳城下大败唐军张敬达部队，有投降的士卒一千多人，石敬瑭将他们交给自己的侍卫部队处理，高祖全部杀掉了他们。晋国初建时，加封高祖为检校司空，兼任侍卫马步都指挥使，暂时管理随驾六军和负责侍卫工作，不久改任陕州节度使，兼任侍卫亲军马步军都虞候。契丹国主送别晋高祖到上党时，指着高祖对晋高祖说：“这位都军特别勇猛，没有大的缘故不可遗弃他。”晋高祖进入洛阳，委任高祖巡逻警戒，大城小邑秩序井然，没有人敢于违背法令。

天福二年(937)夏四月，加封检校太保。八月，改任许州节度使，像以前一样主管军队。三年夏四月，加封检校太傅。冬十月，授任侍卫亲军马步军都指挥使。十一月，调任宋州节度使，加封检校太尉。十二月，加封同平章事。这时高祖与杜重威一同接受晋高祖施恩加职的诏命，高祖以与杜重威同列为耻而烦闷不乐，恳切推辞不接受诏命，几天闭门不出。晋高祖生了气，传召宰相赵莹等人商议罢免高祖兵权，让他回家。赵莹等人认为这样做不妥，于是派端明殿学士和凝到高祖的住处宣读谕旨，高祖才接受诏命。五年三月，改任邺都留守兼侍卫亲军马步军都指挥使。九月，接受诏令到京师，晋高祖驾临他的住所。六年七月，任北京留守、河东节度使。七年正月，加封侍中。这时天下发生大蝗灾，而蝗虫偏偏不进入河东境内。六月，晋高祖在邺宫驾崩，晋少帝即皇帝位，加封高祖为检校太师。八年三月，提升为中书令。

开运元年(944)正月，契丹南下，契丹国主率领大军直抵澶州，派蕃将伟王领兵进入雁门关。朝廷以高祖为幽州道行营招讨使，高祖在忻口大破伟王。旋即又接受诏令移兵奔赴土门，军队到达乐平时，契丹已经退兵，于是就回来了。三月，封为太原王。七月，兼任北面行营都统。二年四月，封为北平王。三年五月，加封太尉。同月，高祖诛杀吐谷浑白承福等五支部族，共四百人，以另一部族的王义宗统领五族中其余的人。九月，契丹进犯边塞，高祖亲自率领牙兵到朔州南部的阳武关，大破契丹军队。十一月，契丹国主率领蕃族汉族大军从易州、定州抵达镇州，杜重威等将领在中渡桥驻军以抵御契丹大军。十二月十日，杜重威等人带着全军投降契丹。十七日，相州节度使张彦泽接受契丹命令，攻陷京城洛阳，将少帝掳掠到汴州。高祖得知后大为震惊，分兵把守边境，以备敌寇进犯。

天福十二年(947)春正月一日，契丹国主进入东京汴州城。十九日，晋少帝在封禅寺被褫夺了帝位。二十九日，少帝被挟持到北方。二月一日，契丹国主具办汉族的礼制衣服，登上崇元殿接受朝拜，诏令改晋国为大辽国，大赦天下，称年号为会同十年。同月，高祖派牙将王峻持降表到契丹，契丹国主赐给诏令褒扬嘉奖，称高祖为儿子。又赐给一根木拐。按契丹礼法，贵重的大臣才能得到这种赏赐，就像按汉族礼仪赐给几杖一样。王峻拿着木拐，契丹人望见他都纷纷到路边避让。当王峻回到太原后，高祖得以知悉契丹政治混乱，于是商议建立国号。同月，秦州节度使何建将秦州土地人民归降蜀国。十二日，河东行军司马张彦威与他的文武将吏等，认为中原没有主人，高祖的威望日益隆盛，众心所归，写信劝他登上帝位，高祖谦让不答应，此后众官三次上书，诸军将吏、贵臣耆老，一个接一个地恳切陈请，才发布文告应允。