林势力正如日中天，同年底，王永光迫于压力，称病辞职。
天启四年，东林党在和魏忠贤的斗争中倒台，几乎完全被赶出朝堂。
因为王永光和东林党有仇怨，所以被阉党看好。
王永光得到阉党魏广微、崔呈秀的提携于天启五年三月被起用为南京兵部尚书。十月，北京的兵部尚书高第出任辽东经略，王永光被点用为兵部尚书。
这也是，他和阉党有牵连的原因。他确实是阉党提拔进天启朝中枢的。
但是，他也不能说是阉党成员。后来他利用王恭厂大爆炸事件，试图劝说天启皇帝对树倒猢狲散的东林党网开一面，没有获得皇帝的批准。
天启六年三月，王永光请求熹宗加封魏忠贤之侄魏良卿，将魏忠贤比作晚唐贤宦张承业和严遵美。另一方面，他反对按照魏忠贤的意思派遣镇守太监，但未能阻止。
其后又以王恭厂和朝天宫火灾为由，再次力谏熹宗修省，停止大兴土木，对东林党网开一面。
熹宗不听，反加驳斥。这一次，引起魏忠贤不快。七月，王永光又一次称病辞职。
到了崇祯朝，尽管他保护过东林党，虽然事情没有做成，但至少说明他不是阉党。但东林不仅不领情，还要借着清理阉党整他。
但是，王永光也是个老运动员，早已提前烧冷灶，和信王暗通曲款。所以，到了崇祯朝，他的地位稳如磐石，雷打不动。
崇祯没上台前，就非常关注王永光，上台后更是迅速提拔他。
崇祯元年三月，王永光以太子太傅起用，改任户部尚书。后在户科给事中瞿式耜的建议下，崇祯帝在五月九日调任他为吏部尚书。
对于他的复起，东林十分不爽，当年秋天就开始弹劾他和阉党同流合污。
南京户科给事中陈尧言、御史李长春弹劾王永光曾有依附魏忠贤的劣迹，不宜任六部尚书，被崇祯帝拒绝。王永光受到弹劾，请求辞职，崇祯帝坚决不允。
既然和东林彻底闹翻后，既然撕破了脸皮，他也不装了。
其后在钱谦益会推一案中，他暗中支持温体仁，反对钱谦益入阁。此外，他在主持崇祯二年京察与拟钦定逆案的过程中，也包庇过一些和东林矛盾很深的阉党党羽。
这导致了大批阉党没有被清算。阉党的势力仍然在朝堂中占有一席之地。
因此，他被东林党视为“四凶”之一。几乎成了眼中钉肉中刺。