向受隗嚣的尊重，可他没法让隗嚣打消做皇帝的念头。于是他借了个安葬父母的因头告假回乡。杜林也因为兄弟死了，要求隗嚣让他送灵柩回老家去，隗嚣答应了。杜林走了以后，隗嚣就反悔了。他认为杜林是个有才能的人，自己没法留住他，要是他去帮助别人，这不是搬起石头砸自己的脚吗？他马上派了一个叫杨贤的刺客去杀死他。杨贤追到了陇山，正好看见杜林亲自推着车，车上装着他兄弟的灵柩。杨贤心里琢磨了一下，他认为在这个兵荒马乱的年头，杜林不做大官去推兄弟的灵柩，实在太难得了。要下手杀害这么一个好人，实在对不起良心。杨贤暗中保护杜林离开陇地，自己就逃到别的地方去了。
班彪、马援、郑兴、杜林都走了。隗嚣的部将王元催他即位。王元说：“天水是个好地方，人马又强，至少可以自立为王，何必去听别人的指挥呢？”隗嚣听了很得意。可是申屠刚起来反对，他说：“连一个平民都要讲信义，说了话就得算数，何况将军！要是背叛了汉帝，不但对不起国家，也对不起自己的儿子！”隗嚣听了申屠刚的话很不乐意，可他惦记在洛阳的大儿子隗恂。他不敢马上做皇帝，就派他的心腹周游上洛阳去，假意讨好光武帝刘秀。
周游先到关中去拜见征西大将军冯异，没想到周游在冯异的军营前面被他的仇人杀了，凶手又没逮住，大家就说是冯异杀的。于是陇右和洛阳之间又多了一层隔阂。
冯异在关中三年多了，当地的人都挺佩服他。有人向汉光武告发，说他权力太大要做咸阳王。冯异得知消息后马上上书要求调到洛阳来。汉光武派使者去安慰他说：“我和将军，从国家来说是君臣；拿情义来说，好像父子一样。我怎么会怀疑你呢？请你不必顾虑。”冯异还是想回来。他又上书要求入朝。
汉光武为了陇、蜀两边的事，也想跟冯异商议商议，就答应了。冯异见了汉光武向他磕头认错。汉光武对大臣们说：“他是我起兵时候的重要帮手。替我平定关中功劳很大。”说着叫左右拿出珍宝、衣服和钱帛来当场赐给冯异。冯异拜谢以后，汉光武就跟他商议怎么去对付隗嚣和公孙述的了。如果真的像他们想的那样三分天下的话，天下的人民怎么受得了。