汉光武用武力平定天下后，又尽力搜罗知名之士，利用他们的名望来巩固自己的政权。他打发使者到各地方去邀请当时的名人，可是名人有名人的脾气，他们愣不来。汉光武也有他的怪脾气，人家越不肯来，他越要人家来。太原人周党顶不住使者的催促，只好坐着车马来了。他穿着旧衣服，戴着破头巾，到了朝堂上气呼呼地往地下一趴，怎么也不肯磕头，更别说叫“皇上”了。汉光武请他做大官。周党说：“我是乡下老百姓，不懂得政事，请放我回去吧！”汉光武拗不过他的倔强劲儿，就下了一道诏书，说：“自古以来就是贤明的君王也有人不肯做他的臣下。从前伯夷、叔齐不吃周朝的粮食，今天太原周党不接受我给他的俸禄，各人有各人的主意。赐给他四十匹帛，让他回去吧。”
周党不愿意做官，总算还来了一趟。其他名人有的假装害病干脆不来，有的隐姓埋名逃到山林里去了。这些名人之中最出名的一个要数严光，也叫严子陵，他跟汉光武还同过学，两从小就挺好。汉光武即位以后老想念他，可又不知道他在哪里。他找来一个画工，把严子陵的相貌说了一遍，就吩咐画工画他的像。画工按照汉光武说的画了个大概。汉光武一看还有点像。他又叫画工再修改几下。嗬！简直就是真的严子陵。有了这一张，再画就方便了。汉光武派人把这些画像分送到各郡县，叫官吏和老百姓寻找严子陵。
这种画形图影的办法还真顶事，齐国上书给汉光武，说有个男子披着羊皮，老在河岸上钓鱼，相貌跟画像有几分像，不知道是不是他。汉光武马上准备好上等的车马，派使者到齐国去接他。
使者见了严子陵，奉上礼物请他上车。严子陵推辞说：“你们看错人啦。我是打鱼的，不是严子陵。礼物拿回去，让我安静地过日子吧。”使者哪里肯听，死乞白赖地把他推上了车，飞一样地送到京城宾馆。汉光武亲自去看他，严子陵脸朝里躺在床上，不理他。汉光武走过去摸着他的肚子说：“喂，子陵，你怎么啦？不愿意帮帮我吗？”严子陵翻过身来盯着汉光武说：“人各有志，你逼我干吗？”汉光武叹了口气说道：“子陵，我真的不能收服你吗？”严子陵听后更加不理他了。他宁可收几个弟子教书，也不愿意做汉光武的臣下。
汉光武请他搬到宫里去，对他说：“朋友总还是朋友吧。”严子陵这才答应他到宫里去走一趟。那天晚上，汉光武跟他睡在一起。严子陵故意打着呼噜，把大腿压在汉光武身上。汉光武就让他压着。第二天汉光武问他：“我比从前怎么样？”严子陵