然而两夫妻生下四个孩子后，这卫父就在一次出外的路上死掉了。从此卫媪就拖拉着四个小孩子长大，当夫君的朋友郑季来看望他们一家时，卫媪连一杯茶水都拿不出来招呼。郑季见她姿色还可以，于是就和她私通偷情，居然又生一男，取名为青。卫媪养青数年，又将郑青送还郑季。
卫子夫自小容貌秀丽，头发尤美，色黑而长，光可以鉴，因为其母的缘故，遂为平阳侯家歌女。
武帝带着卫子夫并驱入宫，希望夜间再续欢情重谐鸾凤，偏有一位贪酸吃醋的大贵人在宫候着，冤家碰着对头，目光一瞬，早已看见卫子夫。急忙问明来历，武帝只好说是平阳公主家奴，入宫充役。谁知她竖起柳眉翻转桃靥，说了两个好字，掉头竟去。这人是谁？就是皇后陈阿娇。武帝心想皇后不是好惹的人物，从前由胶东王得为太子，由太子得为皇帝，多亏皇后的母亲长公主一力提携。况幼年便有金屋藏娇的誓言，怎好为了卫子夫一人撇去好几年夫妻情分？于是把卫子夫安顿别室，自往中宫与皇后温存，从此卫子夫锁处宫中，有一年多不见天颜。陈后渐渐疏防不再查问，就是武帝也放下旧情蹉跎过去。
因为宫女过多，武帝欲察视优劣分别去留，一班闷居深宫的女子巴不得出宫回家，好另行择配免误终身，所以情愿见驾冀得发放。卫子夫入宫以后，本想陪伴少年天子专宠后房，偏被正宫妒忌不得相见，起初似罪犯下狱，出入俱受人管束，后来稍得自由，总觉得天高日远毫无趣味，还不如乘机出宫，仍去做个歌女快活，便粗整乌云薄施朱粉，出随大众听候发落。武帝亲御便殿，按着宫人名册一一点验，有的准令出去，有的仍然留住。当看到卫子夫时不由触起前情，俄见卫子夫冉冉过来，人面依然不过清瘦了几分，惟长发依然漆黑生光。及拜倒座前逼住娇喉，呜呜咽咽地说出一语，愿求释放出宫。武帝又惊又愧又怜又爱，即忙好言抚慰命她留着。子夫不便违命，只好起立一旁，待余人验毕，应去的即出宫门，应留的仍返原室。子夫奉谕留居，没奈何随众退回，是夕尚不见有消息。到了次日夜间，才有内侍传旨宣召，子夫应召进见亭亭下拜。武帝忙为拦阻揽她入怀，重叙一年离绪。子夫故意说道：“臣妾不应再近陛下，倘被中宫得知，妾死不足惜，恐陛下也有许多不便！”武帝道：“我在此处召卿，与正宫相离颇远，不致被闻。况我昨得一梦，见卿立处旁有梓树数株，梓与子声音相通，我尚无子，莫非应在卿身，应该替我生子么？”说着即与子夫携手入床，再图好事。