听闻刘备大军到达襄阳，又分了一路人马前来益阳，孙权心中大惊，这样一来攻取益阳就更加困难了。
数日后，曹操大军后撤的消息又传了过来，江东大军上下人心惶惶，强如曹操也对刘备退避三舍，何况是江东？孙权自知攻不下益阳，又担心援军一到战况于己方不利，于是萌生了退军的念头。
但孙权转念又一想，自己从合肥撤军转到荆州，什么便宜没占反而被张辽来了一波骑脸输出，那不就等于千里迢迢跑过来伸脸让人家扇了两个耳光吗？要是自己就这样灰溜溜地走了，岂不是颜面扫地？日后还怎么统领江东？孙权非常纠结，于是江东大营中便弥漫着一股尴尬的气氛。
“主公，”张昭进言道:“此时刘备援军已经在路上，据闻已过了江陵，不日便可到益阳。如今我军连攻数次不能破城，士气低沉，将士们皆无斗志，不如先退兵保存实力，他日再图荆州不迟！”
孙权心中暗喜，张昭给递了台阶，正好就可以就此下台，这样日后也可以说是重臣劝阻，并非自己怕了刘备。
按捺下心中的喜悦，孙权轻咳了一声，故作姿态道:“岂有此理！我十万大军远道而来，岂能怕刘备的援军？我军数次攻城，城中损失亦不小，我看再用不了多久便可攻破益阳，这个时候退军，他们还以为我怕了刘备呢！”
凌统亦进言道:“主公不可意气用事，兵法云:主不可怒而兴师，将不可愠而致战，曹操闻刘备援军到，尚且退避三舍，主公若再不退军，刘备将主力转向长沙，恐于我军不利啊！”
妙极，妙极！
不仅军中重臣，就连刚刚提拔了中军都督也一起来劝自己，孙权心情十分舒畅，假意沉吟片刻后，道:“既然众将都觉得应当撤军，那我们就撤吧！”
凌统闻言，拱手道:“那臣就下去安排撤退事宜。”
说罢，凌统就往帐外走去，却被孙权叫住:“公绩，让子布先生和公苗等人率大军先行，我亲率诸将断后！”
什么？凌统愣了一下，哪有主公断后的事情？转头看了看张昭，二人劝道:“主公万金之躯，岂能犯险？还是由子明断后吧。”
孙权大手一挥，自信满满道:“无妨！你只管下去安排，何况我与诸将断后，又不是孤身一人。”
“这”
凌统二人再三相劝，孙权只是不许，于是也就只好由着他去了。
次日，江东大军陆续撤离，孙权与诸将留在旧营中