程名振、刘伯英等率兵分道东出。
从隋朝东征高句丽开始，大军粮草基本都是从山东经海路送往朝鲜半岛，因此，作为新任青州刺史，刘仁轨要负责筹集军粮，为出征的唐军提供后勤保障。
这可给了李义府一个再次修理刘仁轨的机会。
趁着黄海、渤海一带进入海上风暴季节，李义府以宰相的身份下达命令，要求刘仁轨即刻组织运粮船奔赴前线，以饷全军。刘仁轨深知此刻出海凶多吉少，遂紧急请示朝廷，要求暂缓执行该项命令。但他的奏疏一到洛阳就被李义府压了下来。在李义府的授意下，朝廷的加急令越催越急。刘仁轨实在没办法，只好安排民夫及运粮船按时出海。结果全在李义府的意料之中——运粮船队在海上遭到风暴袭击，军粮因船体侧翻都被倒到海里去了。
意外发生，刘仁轨难辞其咎，唐高宗遂令监察御史袁异式跟进此案。
袁异式临出发前，李义府找到他暗示说：“君能办事，勿忧无官。”
袁异式是个聪明人，此话的弦外之音自然明白。因此他见到刘仁轨后就开诚布公地说：“你在朝廷里得罪了谁，你自己心里清楚。他叫我来办你，你自己看着办！”暗示刘仁轨自尽，这样对大家都好。
刘仁轨知道李义府死咬着他，无非就是想取他性命。可大唐律法里并未规定官员犯错必须畏罪自杀，故刘仁轨直接反驳道：“仁轨当官不职，国有常刑，公以法毙之，无所逃命。若使其自决以快仇人，窃所未甘！”
刘仁轨不愿自尽，袁异式也没办法，只好将问题上报廷议。
廷议时李义府始终坚持“不杀刘仁轨，难安天下”的观点。由于其身份特殊，朝臣大多附和。但刑部尚书源直心认为，“海风暴起，非人力所及”，刘仁轨固然有错，但罪不至死。
源直心是唐高宗的亲信，他的话等于救了刘仁轨一命。识相的刘仁轨也表示，自己可以不做官，但求为国效力。于是唐高宗将他贬为庶民，发配至辽东军前效力。
李义府虽然不太满意朝堂的决议，但他认为刘仁轨既已参军，那就可以用军法杀他，这反而更便于自己发泄心头之恨。于是，刘仁轨刚上路，李义府就派人密令镇守泗沘城(今韩国扶余郡)的名将刘仁愿想办法以军法弄死他。
刘仁愿从前是弘文馆的学生，又做过唐太宗的亲卫，能文能武且为人正直。李义府这些年在朝中陷害忠良的事他有所耳闻。对于刘仁轨花甲之年尚到军中效力，刘仁愿既感动，又