没有王安石等这些沉浮宦海多年的老怪来得深刻，自己现在已经是风光独好，难免会遭到攻击，老是仗着两代皇帝对自己的宠信来过关，这样的把戏是玩不转多久的，最佳的方式莫过于一进一退韬光养晦，尽管这种方式并非是他所愿，但只要自己能够保持对大宋统治高层有着强大的影响力，这些小的损失不算什么。不过王静辉虽然觉得自己可以隐居民间来做些更加实在地事情来慢慢改变底层建筑。但他绝对不会允许自己如同王安石那样“负天下大名三十年”就算他年轻也经不起这样大的损失，此去江南也是以退为进把王安石推上前台来对大宋的保守势力进行破坏一番，自己好借着这个机会潜心发展，待到他日皇帝赵顼和现在对自己意见日益增大的保守派终究会想起自己来收拾残局。

对于自己去江南与妻子暂时过上一段隐居的生活。王静辉心中还是有些打算地，他也想整顿江南的官场，抓几个贪官来立威，但常规的做法不过是写几封奏章进行弹劾，远没有老丈人给的玉佩来得有效，这可以省去自己不少麻烦事，太上皇赵曙给他这方玉佩，当他动用的时候。

基本上就是这名官员罪名做实了，只要自己的奏折连同犯事官员送到大理寺去审判，基本上就是削官发配的问题了，所以感谢老丈人的话是发自他内心地。

大宋熙宁元年（公元1069年），皇帝赵顼发布了圣旨，免去了王静辉的一切官职。只保留了其驸马都尉的虚衔和爵位，同时任免了年仅十八岁的新科状元李慎知杭州。大宋官员在得知这一有些诡异的圣旨后，心中都不免有些惊奇，但大宋统治高层的几名重要大臣对此毫无疑义，圣旨顺利通过了中书省和门下省。

御史台、知谏院等大宋“清流”谏官对此任命却并不买皇帝赵顼和众位大臣地丈，一时间反对和赞同并且弹劾驸马的奏章纷纷堆满了皇帝赵顼的御案，王安石、司马光等大臣也不得安生。几位参知政事的大门差点儿被来访者给踏破门槛。

皇帝赵顼对这些关于驸马的奏章自然也有一笔小账再盘算，对于弹劾驸马的奏章，陈词滥调已经使他厌烦，他甚至不用看这些奏章便可以知道自己的谏官再写些什么。不过他虽然没有看弹劾驸马地奏章，但对那些反对驸马去职的奏章非常重视，只是默默的把奏章上名字记了下来。由于中书省和门下省的态度坚决，皇帝赵顼地圣旨还是最终落实了，这样有些诡异的任命在外人眼中是十分不解的，中间最为强烈的便是还滞留在汴都的党项和谈使节阿里提。在得知这一消息后，阿里提甚至以为大宋的君臣脑子都出了问题，不过更令他懊悔的是这一切来得都太晚了。自己已经签署了和谈条约，他甚至再想只要自己能够多坚持几天，自己的谈判对手会被大宋自己给收拾了，根本用不着受那份气，怀着非常郁闷地心情，阿里提非常遗憾的离开汴都，踏上了返回西夏的路途。

阿里提是非常郁闷的，但比阿里提更为郁闷的便是弹劾驸马王静辉的那些御史谏官了…按理这道圣旨反应出了皇帝与驸马之间肯定发生了什么不愉快的事情，不过自己递上去的弹章如同泥牛入海毫无反应，并且皇帝这几天一反常态，召见驸马的次数居然不减反增，就在圣旨出来的第二天，皇帝赵顼居然四次召见驸马来问对，太皇太后两次来催皇帝进膳，直到深夜才把驸马放出皇宫，这那里是驸马被贬的现象，简直就是想要再升驸马的官职嘛！