光阴迅速，皇曾孙渐已成人。张贺见他生得仪容俊伟举止非凡，更兼足下有毛卧处有光，种种神异愈觉惊奇。暗想此人将来定然大贵，何不以女嫁之，遂对其弟张安世夸说皇曾孙如何好处，并露许婚之意。此时正在元凤四年，昭帝方行冠礼，张安世为右将军，与霍光同心辅政。每听张贺赞美皇曾孙，张安世便行阻止，他认为少主在上，不宜称病已皇曾孙，恐涉嫌疑。又闻张贺欲以己女嫁之，不觉发怒道：“皇曾孙为卫太子后裔，但得衣食无亏也好知足。我张氏女岂堪与他相配！以后请不必再提此事。”张贺见安世不肯，只得罢论。
又过一时，皇曾孙年已十六岁，张贺便想为之娶妻成立家室，也算报答卫太子一番知遇。但自己既不便将女许配，只得就外间留心撮合。张贺本意想觅得富贵人家结亲，谁知满朝公卿列侯不少，却无人肯招他为女婿。皇曾孙名目虽然赫赫，无奈人情大抵势利，见他失势身为庶人，更不将他放在眼里。张贺又是一个宦官，所以做媒也不得力。其弟张安世现掌政权，偏又极力反对此事。
却说有个暴室啬夫名叫许广汉，昌邑人，他也是一位罪臣，但他获罪却不是因为违法，而是因为倒霉。许广汉曾是皇家侍从官，他受命跟随汉武帝出游，这本是一个好差事，但许广汉却误将他人马鞍当成自己的，于是将它放在自己的马背上。有人检举许广汉，他最终被定为盗窃，当处死刑，许广汉选择受宫刑才免于一死。上官桀谋反以后，许广汉参与搜索罪犯，他却因运气不好错过罪证，他再次获罪，被发配到掖庭听差。
许广汉生有一女，叫作许平君，已许欧侯氏之子为妻，尚未成婚。欧侯氏儿子一病身亡，婚期中断，许平君仍然待字闺中。张贺与许广汉同为宫役，两人时常晤面，免不得杯酒相邀互谈衷曲。
张贺听说许广汉现有一女尚未择配，有次二人一同喝酒，饮到酒酣，张贺停杯说道：“皇曾孙年已长成，将来不失为关内侯。闻君有女待字，何不配与他呢？”许广汉已有三分酒意，慨然应允。张贺十分欢喜。
许广汉次日回家，将此事告知其妻，其妻听了大怒道：“女儿是我辛苦养育，汝欲许配与人，应先与我商量，如何轻易答应，此事我不承认。”
不过许广汉已面允张贺，一言既出驷马难追。况张贺现为掖庭令，是个长官，我为暴室啬夫乃他属员，一经承诺更难翻悔。于是对妻子好言安慰，且将皇曾孙的履历说得如何尊贵如何光荣，万不至误了女儿。妇人家听说有许多好处，于是依了