，唐明宗和大臣们商议，都打算把他们归还契丹，惟独杨光速不同意，说：“荆剌等都是北狄善战的人，他们失去蓟剌等人就像失去了手脚一样；而且他们在这里住了很久，熟知中原的情况，送他们回去难道对我们有利吗？”唐明宗说：“蕃人看重盟约，既然已跟我们和好，难道会对不住我们？”杨光速说：“我怕后悔来不及啊！”唐明宗赞赏他的意见，最终没有送回蓟刺等人。

杨光速从易州刺史升任振武军节度使。

清泰二年，调任镇守中山，兼北面行营都虞候，在云、应二州之间抵御契丹c＼晋高祖在太原起兵，唐末帝派杨光速协助张敬达，任太原四面招讨副使，被契丹打败，退守晋安寨。

契丹包围他们几个月，人食马料都光了，就杀马来吃，马杀光了，就杀掉张敬达出来投降。

耶律德光见到了他们，奚落说：“你们真是恶漠儿。”杨光速和将领们开始不懂得他在讥诮他们，还用谦恭的话回答他，耶律德光说：“不吃盐和奶酪，吃了一万匹战马，难道不是恶汉儿吗！”杨光速等人羞惭得低下头，耶律德光阀道：“怕不怕？”都说：“很怕。”问：“怕什么？”网答说：“怕你带我们进入蕃地（＼”耶律德光说：“我的国家没有土地官爵安置你们，你们盎力事奉晋吧，，”晋高祖任命杨光速为宣武军节度使、侍卫马步甲都指挥使，、杨光速进见，假装问闷不乐的样子，像足有所追憾，晋高祖疑心他有什么不满足的，派人间他，回答说：“我对富贵没有什么不满足，只是不如张生铁死得其所，为此我常常羞愧罢了！”因此晋高祖认为他忠诚，十分亲近信任他。

，范延光反叛，任命他为魏府部招讨使，很久不能攻克，晋高祖就用别的计策降服范延光()而杨光速自己觉得手握重兵在外，以为晋高祖惧怕自己，开始放肆骄横，，晋高祖每每宽容他，挑选他的儿子杨承祚娶长安公主，他的次子杨承信等都越级拜授官爵，恩宠无比。

枢密使桑维翰讨厌他，多次谈论他的不是（＼杨光速从魏府前来朝拜，一再指责桑维翰专权难以控制。

晋高祖迫不得已，将桑维翰免职外放相州，也将杨光速调任西京留守，兼镇河阳，剥夺他的军权()杨光速开始十分怨恨起来，暗中用财宝笼络契丹，诉说自己被晋疏远排斥／）他养的军队一千人，在河、洛间违法犯禁，比寇盗还厉害。

天福五年，调任镇守平卢，封为束平王。

杨光速请求让他的儿子随行，于是拜任杨承柞为单州刺史，杨承勋为莱州防御使，父子一起束去，车骑相连几十里。

晋出帝登位，拜为太师，封为寿王。

这时，晋的马少，靠搜括天下马匹充实军队，景延广请求取回杨光速以前借的官马三百匹，杨光速发怒说：“这些马是先帝赐给我的，怎能又拿回去，这是怀疑我反叛！”于是策划作乱。

而杨承祚从单州逃回，晋出帝就任命杨承祚为淄州刺史，派使臣赐给玉带、御马安慰他，杨光速更加骄横，于是反叛。

招引契丹进犯，攻陷贝州。

博州刺史周儒也叛降契丹。

这时，晋出帝和耶律德光在澶、魏二州间相拒，郸州观察判官窦仪在军中商计事情，出谋说：“现在不用重兵大将把守博州渡，假使周儒得以引契丹束遇黄河和杨光速会合，河南就危险了！”晋出帝于是派李守贞、皇甫遇率兵一万沿黄河而下。

周儒果然引契丹军从马家渡横渡黄河，正在修筑营垒，李守贞等人猛攻他们，契丹大败，龄是和杨光远隔绝。

耶律德光听说黄河上军队大败，就和晋在戚城决战，也被打败。

契丹北去后，晋真，：帝又派李守贞、符彦卿束讨杨光速，杨光速据城坚守，从夏到冬，城中人吃人差不多快吃完了。

杨光速北望契丹，叩头呼叫耶律德光说：“皇帝误了我杨光速啊：”他的儿子杨承勋等劝他出去投降，杨光速说：“我在代北时，曾用纸钱祭天池，投进去就沉了，人们说我该做天子，姑且等待时机，不要随便议论。”杨承勋知道不行，于是杀掉节度判官丘涛、亲将杜延寿、杨瞻、白延祚等人，劫持杨光速把他幽禁起来，派人送降表等待治罪。

杨承信、杨承祚都到京城自己请罪，杨光速也上章请求一死。

晋出帝任命他的两个儿子为侍卫将军，赐给杨光速诏书，许诺不处死他，臣子们都认为不行，于是下令让李守贞随意处置。