四人皆修道洁己非义不动，当日见秦始皇作事暴虐，知天下将乱，相约隐居不仕，同人商山之中。高祖既得天下，闻四人之名，下诏征之。四人知高祖待人侮慢，遂逃入终南山中，不肯来见。
当日吕释之依着张良之计往聘四人，四人起初不肯到来；后见使者来意甚诚，只得勉强从命。
四人到了长安，即住在建成侯吕释之家中，太子盈待之甚是恭敬。忽有警报传来，说是淮南王英布造反。淮南王英布本是楚将，项羽封之为九江王，后来叛楚归汉，与韩信、彭越共灭项羽，高祖仍将九江故地封给他为淮南王。英布称心如意频年来朝，君臣之间毫无猜忌。到高祖十一年春正月，听说淮阴侯韩信为吕后所杀，英布开始恐惧。
公元前196年的一天，英布正在打猎，忽报高祖遣使到来颁赐礼物，英布接到礼物后十分高兴，当他打开后发现是肉酱。英布问是什么肉，使者说是反贼彭越的肉，英布一听犹如惊弓之鸟，一下子瘫坐在地上爬不起来，过了很久才缓过神来，他无奈地想道：刘邦已经开始清洗功臣了，不久就会轮到我头上，与其到时束手就戮，不如早为布置先发制人，于是密令部将加强警戒，等待时机预备起事。此种秘密举动，高祖自然不知。
却说英布有一爱姬偶患疾病，出门到医家诊治。此医家正与中大夫贲赫家对门，贲赫见王姬日日往来医家，心中急生奇想。想起自己身为侍中，便与王姬相见也无妨碍，况闻此姬为王宠幸，若是蒙她赏识在王前提拔数句，一定可以将我升官。贲赫想到此处甚是高兴，于是逐日前往医家等候王姬到来，出门迎送，奔走奉承异常恭敬，连随来人马都给与饮食。又不时觅得奇珍异宝献上。王姬见贲赫十分殷勤，更兼受他厚礼，心中甚喜。知他是王之近臣，也就不甚避忌与之问答，不消几日彼此渐熟。贲赫见王姬病已痊愈，遂办了一席丰盛酒筵，恭请王姬一同入席。王姬也不推辞，到得酒散王姬回宫，便将贲赫记在心上。
一日英布入宫，王姬在旁侍奉，说话中间偶然提到贲赫，称赞他是个好人，英布听了十分诧异，便含怒问道：“你如何知他是个好人？”王姬见英布动怒吓了一跳，自悔出言冒昧，见英布追问甚急，便将前事说了一遍。
英布一听便怀疑二人有私情，逼问王姬。王姬抵死不认，英布又遣人往召贲赫来质证，贲赫一听十分恐惧，推称患病不敢入见；又想英布召他不到定然发怒，不如及早逃走，于是整理行装偷得使节，到了馆驿诈称奉着王令，有紧要公事前往长安，吩咐驿吏预