，志在求得广远，没有闲暇，所以没有在成都阅兵，与公孙述斗力。如果公孙述侵犯汉中、三辅，我很想借用将军军马，与他一决胜负。如能这样，那就是蒙老天赐福，也就是智士计功割地论功行赏的时候了。管仲说过‘：生我的是父母，助我成事的是鲍叔。’自今以后，你我之间可用手书互相沟通，不要轻信旁人挑拨离间的谣言。”从此以后光武对他恩礼更加隆重。其后公孙述几次出兵汉中，遣使以大司空扶安王印绶授隗嚣。隗嚣认为自己曾经与述是敌国，感到做他的臣是可耻的，就斩了来使，出兵攻击，连破公孙述军，所以蜀兵不再北出。这时关中将帅几次上书，说蜀攻击的情状，帝将这些意见转示隗嚣，并要他出兵讨蜀，以考验其可否信用。隗嚣就遣长史上书，极言三辅兵力单弱，又有卢芳在旁边，不宜伐蜀。光武知隗嚣想脚踩两边船，不愿天下统一，于是稍稍降低对隗嚣的礼遇，正君臣礼仪。起初，隗嚣与来歙、马援相好，所以帝几次派来歙、马援奉使往来，劝隗嚣入朝以重爵相许。隗嚣不愿归东，连连遣使带着深表谦辞的奏章入见，说自己没有功德，要等到四方平定，再告退回乡。五年，帝再次派来歙说服隗嚣派儿子入侍，隗嚣听说刘永、彭宠都已经破灭，就派遣长子隗恂随来歙到京晋谒，被封为胡骑校尉，封镌羌侯。而隗嚣将领王元、王捷常常以为天下成败还是未知数，不愿一心一意归顺光武。王元就对隗嚣说“：过去更始西都长安，四方响应，天下景仰归向，说是天下太平了。一旦更始失败，大王几乎没有安身之所。现在南有公孙述，北有卢芳，江湖海带，有张步、董宪等王公十多位各据一方，而想迁就马援的意见，放弃千乘的基业，寄居作客于危险的国度，以求万全，这是循着覆车的轨道而进，不是好计啊。现在天水完整富裕，兵马最为强盛，北攻西河、上郡，东收三辅之地，按照秦的旧迹，外山内河互为表里。王元请以少数兵力为大王扼守险要函谷关，这是万世一时的良机。如果现在不能采用此计，那么暂时畜养兵马，据险自守，坚持下去，以等待四方的变化，即使图王不成，退一步也足以称霸一方。总之，鱼是不能脱离深水的，神龙失去了依托，就与蚯蚓没有两样了。”隗嚣心里赞成王元的计划，虽然派遣了儿子入朝当了人质，还是想凭藉其地理条件的险要，自己独霸一方。于是一些游士长者，逐渐离开了他。

六年(30)，关东都平定了。帝因久苦兵事，以隗嚣有儿子作为内侍，公孙述远据边陲，于是对诸将说：“暂时把这两个小子搁置在一边吧。”因此几次传书隗嚣和公孙述，告以祸福。隗嚣的宾客、掾史多是文学士，每次上书言事，当世士大夫都朗读背诵，所以帝有所辞答，他们尤为重视。隗嚣再次派遣使者周游到京，先到冯异营，周游被仇家所杀。帝派遣卫尉铫期带着珍宝缯帛赏赐隗嚣，铫期到郑遇到盗，珍宝财物都被盗走了。帝常称隗嚣为长者，想方设法想把他招来，听到消息后叹道“：我与隗嚣的事很不顺利，他派来的使者被杀，我赐给他的财物也在路上被盗光了。”恰逢公孙述遣兵侵犯南郡，光武就下诏书令隗嚣从天水伐蜀，想以此来分化瓦解其心腹。隗嚣再次上书说“：白水地势十分险阻，山路悬险，栈木为道。”又多方强调困难。帝知隗嚣终不肯为他所用，于是便想加以讨伐。就西到长安，派遣建威大将军耿。。等七将军从陇道伐蜀，先派来歙奉玺书晓谕隗嚣。隗嚣疑惧，即率兵相拒，使王元据陇坻，砍下树木堵塞道路，想杀掉来歙，来歙逃归。诸将与隗嚣战，大败，各引兵退走。隗嚣因此派王元、行巡侵掠三辅，被征西大将军冯异、征虏将军祭遵等击破。隗嚣于是上书谢罪说：“部下听说大兵猝到，惊恐自救，臣隗嚣不能禁止。所获战利品，不敢废臣子之节，亲自追还，以前虞舜事父，父以大杖责打他时他逃避开，父以小杖打他时就让他打。我虽然不敏，不敢忘记这个礼义。现在我的事，全在本朝发落，要杀就杀，要加刑则加刑。如果蒙恩宽赦，更得洗心革面，则死骨不朽。”官吏们以隗嚣出言傲慢，请求把他儿子隗恂杀掉，帝不忍心，再派来歙到。。，以书信赐隗嚣说：“以前柴将军与韩信书说‘：陛下宽仁，诸侯虽有叛变后又回来的，还是恢复他们的位号，不加杀害。’以你隗嚣是个文官，懂得义理，所以赐书给你。说得清楚一点，显得不够客气，说少了事情又难于决断。你现在如果住手，像过去送你儿子隗恂到我这儿来一样，那么爵禄将全获得，有大福可享。我年快四十，在军中十年，讨厌那些浮语虚辞。你如果不愿意，就不要回报了。”隗嚣知道帝已经看出他的奸诈，于是派遣使者向公孙述称臣。第二年，公孙述以隗嚣为朔宁王，遣兵往来，作声援态势。秋，隗嚣率步兵骑兵三万，侵犯安定，到达阴，冯异率诸将抵抗。隗嚣又令别的将领下陇，攻击祭遵于。。，都不利，于是退兵而还。帝因令来歙以书招王遵，王遵就与家属东到京师，被拜为太中大夫，封为向义侯。

王遵字子春，霸陵人。父为上郡太守。王遵年少时就为人豪侠，有辩才，虽然是与隗嚣一起举兵，但时常有归汉的意向。又多次劝隗嚣派遣儿子入朝侍奉，前后对隗嚣辞谏很恳切，隗嚣不从，所以王遵离隗嚣而归顺光武。