江陵之战后，孙权进军九江郡的行动虽然虎头蛇尾，被蒋济一封书信吓退，但是却与盘踞在庐江的袁术旧部勾结，曹操于是发兵征讨，夏侯渊指挥诸将于天柱山大败并斩杀陈兰梅成，雷绪率部逃走，庐江平定。
七月，雷绪率部曲男女老少数万人穿过江夏来投刘备，刘备便拜雷绪为中郎将，将他们安置在武陵郡。
刘备将雷绪安排在武陵是有意为之，因为武陵太守金旋常常与许都有书信来往，加之他曾经试图上书让朝廷再派一位荆州牧，他的立场值得怀疑，刘备此举正是试探。
“阿爹，前方就到武陵了。”
“嗯，来之前左将军已经交代过了，让前面的人注意，小心一些。”
雷绪带着数万男女老幼，远远看上去就像是逃荒的队伍。
话刚说完，不远处的山上突然站出来一队人马拦住了去路。为首闪出一员大将，厉声喝问道:“你们是什么人？来我武陵何事？”
来者不善啊！雷绪与儿子雷蒙交换了一个眼神，雷蒙立刻上前道:“我们是从扬州投奔左将军而来，受命前往武陵安身，还请行个方便，放我们过去！”
来将却并不打算让路，道:“我们太守说了，没见到左将军的文书，不能安置你们，你们回去吧！”
雷绪摇了摇头，刘备的文书就是当着他的面写的，写完又派人加急送到了武陵，而太守一面说没见过文书，一面又派人来此拦截自己，说明他一定是见到了文书，但却并不想奉命。
雷蒙从怀中摸出一个令牌高高举起，喊道:“左将军令牌在此！请将军行个方便！”
那将军对刘备的令牌却视若无睹，高声喊道:“我说了！我们太守没见过文书，你们回去吧！武陵不是你们该来的地方！”
说罢，那将军也不再解释，右手一挥，士兵们迅速列阵，随时可能会杀过来。
雷绪手下的战士也多有久经战阵之人，一见对方动了杀心，迅速上前列阵对峙，将妇孺保护在身后。
“阿爹，这样打起来我们会吃亏的。”
雷绪皱着眉摇了摇头，道:“我们走，妇孺先撤，你带着兵马断后，尽量不要起冲突。”
见到雷绪带着人马开始撤退，对面的将军挥手制止属下的行动，没有前来追赶，雷蒙盯着敌军，直到妇孺们已经走远，这才指挥队伍撤退。
雷绪退回江陵，第一时间来找刘备，将武陵太守的态度告诉给了刘备，刘