听到昭宗在华州(今陕西渭南)对着父老哭诉“朕不复为汝主矣“，这位铁石心肠的将军也不禁心中落寞不已。可是他效忠朱温多年，早已打上了朱温的烙印，对此只能唏嘘。
公元906年，朱温又任命徐怀玉为左羽林统军，不久又转右龙虎统军，亲率手下劲旅开赴泽州。
徐怀玉据守泽州不久，晋军向泽州发起了猛攻。两军反复拉锯，互有胜负。晋军见正面攻击不成，就拿出了土拨鼠的本事，企图通过地道穴攻。徐怀玉发现河东军的意图后，逆向掘穴，并成功切入晋军所掘地道，将正在高高兴兴掘穴的晋军斩杀一空。
公元907年，朱温终于登上了梦寐以求的皇位。他大封功臣，加封徐怀玉为曹州刺史，加检校司徒。可是徐怀玉在曹州还没安生一年，就被朱温一纸调令调回晋州，又一次回到与河东对峙的前线。年初朱温还在为李克用的死心头窃喜，哪知道继任的李存勖，本事一点儿不比老爹小，不仅很快平定了内部隐患，还就势大破潞州,当年秋天又派军进攻晋州。关键时刻徐怀玉豁出去了，亲自挑选五十名最能打的亲从，呐喊着杀向晋军。城头上的其他梁军见主将玩命，也发一声喊拼死向前，最终梁军将杀上城头的晋军赶下城去。晋军丢下一地死尸含恨退去。
公元909年，徐怀玉升任鄜坊节度使、特进检校太保，成为一方镇帅。
公元913年正月，越老越荒淫的朱温死在自己的儿子手里.朱友珪出身不好，人缘更不好，后梁的地方实力派大多对他不买账。朱温的干儿子、冀王朱友谦就是一个大刺头。他据守河中拒不承认朱友珪这个皇帝。不仅如此，朱友谦还派兵偷袭鄜州,将正在州中的徐怀玉抓个正着。就在徐怀玉不知所措之际，朱友珪受不了了，心说：“老爹的那些亲儿子还没反，你一个干儿子着什么急啊？既然你非要冒出头来找事，那就别怪我这个弟弟了。“于是派大将康怀英讨伐河中。朱友谦一面全力应付康怀英的大军，一面请人将徐怀玉押来，然后开始忽悠他,劝徐怀玉跟自己一起谋反。哪知徐怀玉根本不吃这一套：“你当我傻，我不知道谁是亲的，谁是干的？你凭什么占据河中谋反，还偷袭老子，老子忠于先皇，郢王是先皇亲子，老子凭啥反他？“话不投机半句多，朱友谦知道徐怀玉不会为己所用。索性一不做二不休，将他杀死在河中。
朱友珪糊糊涂涂地过了半年，已是乾化三年元旦，友珪朝享太庙，返受群臣朝贺。越日祀圜丘，大赦天下，改元凤历。