大军并未就此止步，李靖令部将守长沙，以苏胡儿，王仁寿为先驱，南下衡阳，准备剿灭林士弘。
林士弘和萧铣争斗多年，早已式微，几次反攻都没能夺回长沙，龟缩于南边的零陵，衡阳，桂阳等郡苟延残喘。
这些年他和南边的山蛮交往颇多，麾下多出了不少蛮族的身影，而且还娶了几位蛮王的女儿为妻。
诸侯的位格已经离他远去，义军也不再与他沾边，倒更像是一位山大王。
大军破衡阳，林士弘领败军南窜，破夷陵，捉住了他的两个儿子和几个义子，李靖毫不犹豫的杀了他们，并令降人传信给各部蛮夷，警告他们莫要跟随林士弘为乱，不然一定砍下他们的头颅，把他们的妻儿都变成奴隶。
效果不大，在大军追至桂阳时，苏胡儿领兵破蛮族，林士弘联军两万余，却又被林士弘趁乱逃脱。
此时大军已经深入蛮苗地界，天气变得阴湿而又寒冷，山间遍布瘴气蛇虫，诡异的传说也令人毛骨悚然了起来。
李靖和众人商议了几番，知道是到了该徐徐图之的时候了，大军经过半年的征战，已经疲惫不堪，加上水土不服，军中病倒的士卒越来越多，若再深入，很可能会被兔子一样的林士弘拖垮在群山之中。
于是留五千健勇之士于桂阳，令他们督促降军搜剿山蛮，以及林士弘残部，自己则率大军主力回转江陵休整。
随后他便上书朝中，认为南边道理崎岖，山蛮盘踞，不利于统治，不如多多修建道路，与山民互通有无等等。
他倒是很有些前瞻性，只是以大唐如今的国力，哪里修得起道路，南边山林间的寨子，自古以来就很封闭，他们很多人甚至都认为自己是蚩尤的后代，很不好打交道。
中原王朝历来对他们的态度都很明确，地盘是我们的，你只要不来捣乱，那大家就相安无事，若是闹出乱子，便杀上一些，山蛮们也就会老实一段时间。
如此轮回不休，也就种下了很多仇恨，于是广大的岭南地区就成为了中原王朝流放犯人的最佳场所。
一些官员得罪之后，被贬于岭南的也有不少，大部分受不了当地的天气，病殁在了这些地方。
林士弘就没有逃脱这个定律，这一年的冬天，被人追的抱头鼠窜，流窜到了九嶷山附近，连气带吓，终于病倒在流亡途中，不久便死了。
大唐元贞三年初的时候，有人把他的人头送到了江陵，作为江右最后一位反王，他的