是有必要将淮西军并入其他四人之中任何一军吗？以目前情况看来，不管加入谁的部队，都将使那个人实力爆增，凌越他人甚多，形成尾大不掉的局面，从根本上完全违反祖宗传下来的规矩。

於是张浚赶快去找高宗，将自己的想法告诉他；两个人稍为讨论了一下就决定，淮西军还是一支的部队，将统制王德升任都统制，由都督府直接统领。

总之，一切都没变，只是五大军事力量之中，淮西军一支的大帅由刘光世变成张浚。

对於岳飞来说，从一开始就没有觊觎刘光世的部队，甚至连朝廷想罢黜他都不知道；是高宗与张浚主动告诉他要把淮西军并入岳家军，等到岳飞的雄心壮志受到激发，热情高昂後又浇他一盆冷水，当然会有被耍的感觉。

因此，岳飞於邵兴七年三月怀着极端灰心失望的情绪离开建康，溯江西上回到庐山东林寺旁他的居第中去。岳飞实在按捺不下心中的不平，便写了一道奏章给朝廷，只说因为与宰相张浚议事不合，请求解除兵权，留在庐山，为他的母亲补满守孝的时间。

高宗收到岳飞的奏章，一方面马上退回不准，希望他复出治事，一方面又接受张浚的建议，委派兵部侍郎张宗元前往鄂州去担任宣辅判官，暂时接替岳飞掌理军务。

张宗元是张浚的亲信，张浚安排他充任这个职位，既可就近观察岳飞是否有与部属连络？还可监视他们的反应与行动。万一岳飞与高宗真正闹翻，他更可直接接收岳飞的部队。

高宗连续下了三次命令给岳飞要他复出，岳飞都坚持不理之後，高宗只好故技重施，用三省枢密院的名义下了一道《省劄》给鄂州宣抚使司的参议官李若虚和统制王贵，命他们一起前往庐山敦请岳飞回到鄂州管理军务。如果岳飞违抗此令不予遵行，李若虚与王贵等都要接受军法处置。

李若虚与王贵，一文一武，等於是岳飞的左膀右臂；他们马上启程往庐山东林寺去见了岳飞，说明朝廷的恳切敦请之意。想不到岳飞还是坚执不肯接受。

李若虚眼看好话说尽都没有用，只好以严厉的口气说道：「岳帅是一个军人，如此坚执不听从朝廷的旨意绝对不是好事。而且一而再，再而三，难道不怕朝廷上有人产生疑虑，怀疑岳帅是否想g什麽？」

李若虚又说：「岳帅原本只是河北的一个农夫，受到皇上这样的信任，如今担任一军统帅，难道您以为可以和朝廷相抗吗？您这次若仍坚持不肯回鄂州军营，我们这些手下势将受刑而Si，我们究竟有哪里对不起岳帅，您又何忍把我们置之Si地呢？如果真的走到这步田地，难道您对我们都没有一点愧悔之心吗？」

类似这样的谈判持续了五天，当天夜里岳飞实在睡不着，起来坐在凉亭上一个人想了很久。