去，赵构却并不希望满朝都是秦桧党羽，极力挽留道：“卿昨面叱秦桧，举措如古人。朕退而叹息，方寄卿以腹心，何乃引去？”但李光自知与秦桧相争，哪里有立足之地，遂再三上表求去，赵构无奈，只得让他领了资政殿学士虚名，却赴外任了个绍兴知府的实职，最后又拗不过秦桧，再召李光回临安任提举洞霄宫的虚职才罢。可是当年岳飞狱成，李光哪里坐得住，遂在临安城中四处奔波，为岳飞求告，言语中颇忤秦桧与万俟禼等人，深为两人所恨，遂由万俟禼上奏李光有“阴怀怨望”之罪，授建宁军节度副使，藤州安置。数年后又因秦桧之意贬于琼州，遂与王兰同舟。

王兰听罢，虎目含泪，拱手躬身道：“老大人如此为国，尚且远放天边，临安城污浊可想而知，此去琼州，在下有幸随行，必不令大人有失，只是在琼州府中一切皆须小心在意，若有何急难处，着人寻晋城商号，或者可以襄助一二！”

李光扶起王兰道：“将军大事在河北，如何到了这等海外蛮荒之地？”

王兰遂将杨再兴大计托出，李光听罢，捋须点头：“近年来杨神枪举动，江南士子颇有非议，谓杨神枪只晓得阿堵物，于恢复大计只怕生疏了，若非年内取了潞州，还不晓得有何种说法，老夫却早早料定杨再兴非是等闲之辈，昔时在临安城中之举，也不过聊以自晦而已，且看岳案一成，杨神枪飘然而去，仗手中枪在河北开创偌大局面，岂是一众短智竖子可比？江南士子未免眼界太小，容不下真英雄！便是此番令王将军赴琼设分号之事，也不无布局之意，老夫倒还小瞧了杨神枪！”

王兰闻李光对杨再兴如此高的评价，也是大悦，却道：“杨大哥一片忠心，天日可表，只是那秦桧直如此容不得人，才逼得大哥救岳二公子上太行，如今虽四面是贼，反而过得自在些，谅那河北地面，兀术尚不敢捋大宋神枪虎须，余子何足道哉，只等兵精粮足，便是用兵之时，眼下虽行商贾之事，却是为大业积蓄，大哥岂会与竖子一般见识！倒是李大人如此知己，若有机缘与大哥一晤，或者知之更深。”

随后附耳对李光道：“眼下洪皓洪先生便在晋城泽州府衙中措画大事，便是看不得临安城中污浊，才行此计，岂不胜于隐居葛岭百倍？”

李光一愕，却是若有所悟，苦笑道：“怪道葛岭好大火！老夫在藤州，只恨秦桧赶尽杀绝，却原来有这等安排，杨神枪好计！却是便宜了洪皓小子，才返江南，又逃回江北，岂不谬哉，当日便不该离晋城而南下，如今去而后返，徒增关节。”