这时他看上了“殿脚女”吴绛仙，当即纳为嫔妃。杨广靠着门帘对身边的大臣们说：“古人说秀色可餐，吴绛仙真的可以疗饥啊！”
这时隋朝将亡的民谣在坊间流传开来，后来竟传人炀帝行宫。有宫女禀告萧皇后说：“我在外听人说桃李子，有天下。又有人说杨氏将灭，李氏将兴。”萧皇后说：“你快去奏报陛下。”宫女就向杨广禀告。杨广听后大怒道：“这不是你该说的话！”于是将宫女处斩。
后来又有人向萧后报告：“外面有人谋反。”这回皇后自己也看淡了：“天下事一朝至此，还跟皇帝汇报什么呢，算了，别去烦他了，让他默默接受亡国的命运吧。”
却说李渊奉命前进，适值大雨滂沱，不便行军，只得在贾胡堡驻扎。偏偏大雨浸淫不止，李渊日夜望晴，未见天霁，心中很是焦烦。
忽由军校呈入檄文，急忙取阅，但见文中写道：“魏公李密谨以大义布告天下：杨广罪恶滔天！即使罄南山之竹，书罪无穷；决东海之波，流恶难尽。愿择有德之人为天下君，仗义讨贼，共安天下。。。。。”
原来蒲山公李宽之子李密官至左亲侍，隋炀帝见他额头棱角突出，眼睛白多黑少，就说他眼神诡异，把他的官罢了，李密逃入瓦岗山投奔翟让。
李渊看毕自语道：“好大的胆量！”言未毕，二子李世民趋入，李渊将檄文递示。李世民看毕檄文后禀白道：“儿闻李密略取河洛，瓦岗寨盗贼奉他为主，自称魏公，现在有众数十万，为我军计，不如暂与联络，免得东顾。”李渊点头称善，便回书与李密约为同盟，书成后遣使持去。
隋炀帝赶走李密后又怀疑到盛郕公李浑身上，先是诬陷他谋反，接着杀身灭族。不久听说李渊深得将士之心，于是又猜疑起来，派使臣传召李渊。李渊因为李浑被灭族，不免兔死狐悲，现在突然奉诏，料定隋炀帝不怀好意。李渊无奈之下，便装出一副病容接见来使，私下里又拿出大量金银财宝贿赂使臣，说是自己病重，等病好之后马上到朝廷觐见。使臣得了金银，乐得做个人情，到了行宫后便替李渊说了很多好话。
李渊有个姓王的外甥在后宫当差，有一天被隋炀帝撞见，隋炀帝突然问他：“你舅舅为什么好几个月不来见朕啊？”王某慌忙答道：“恐怕是病体尚未痊愈吧。”隋炀帝微笑道：“干脆死掉算了。”王某担心舅舅安危，连忙写了封密信寄给李渊。李渊看完信后惊魂不定，可又想不出避祸的良策。
却说瓦岗军的创建者是东郡人翟让。