紹興六年九月，劉光世因為怯戰(zhàn)勾結(jié)趙鼑欺騙朝廷，將軍隊從廬州前線撤退到長江沿岸的當(dāng)涂，若不是張浚明察秋毫，即時出面力挽狂瀾，差一點就把淮右一帶斷送給偽齊，甚至威脅到朝廷的安危。
這個事件受到朝野人士越來越嚴(yán)厲的指責(zé)，首當(dāng)其衝的趙鼑、折彥直等人都被逼相繼離開朝廷，出任地方官去了。至于當(dāng)事人劉光世，大家都說他臨陣退縮，幾乎釀成大禍，后來雖然還是打了勝仗，似乎可以補過，但是這種心態(tài)卻絕對不適合繼續(xù)擔(dān)任大將，掌握重兵。
有一批專門喜歡落井下石的人，紛紛說他的軍隊一向軍紀(jì)很差，將校士兵都蠻橫不講理，不容易指揮節(jié)制。身負全國最高軍事統(tǒng)帥「都督諸路軍馬」的張浚，自淮西歸來之后，也說劉光世沉溺酒色，不關(guān)心國事，所以必須馬上解除他的兵權(quán)，藉以警惕其他的將領(lǐng)。
在這層層聲浪的壓力下，高宗當(dāng)然也很想罷黜劉光世，只是接替的人選還未決定。所以他命三省樞密院一再以《省札》傳達旨意，要岳飛前來行在所奏事，表示岳飛至少應(yīng)該是他考慮中最合適的人選之一。
岳飛一直到紹興七年三月才在建康晉見高宗。這次見面地點還是在御書房。
高宗正在書房練習(xí)書法，當(dāng)了皇帝之后他就不再練武，所以除了女人之外，這就是他最大的興趣；除非像逃難時不得已，否則他每天都要練練字。
行過君臣拜見之禮后，高宗讓岳飛看他所寫的，原來只是「李馬泥馬」四個字而已。
「朕一生中最自豪的幾件事，像是博聞強記、可挽強弓，結(jié)果都輸給你；幸好還有一項書法勝過你，聊表欣慰�！垢咦谛χf：「不過朕還有一項專長，很少讓人知道；朕很會相馬，好馬壞馬，只要讓我聽一聽牠的馬啼聲，即使隔著一面墻看不到，朕也可以分辨出來。」
高宗又問岳飛：「對你們武將來說，一定要擁有一匹好馬，打起仗來才能得心應(yīng)手啊！是嗎？」
岳飛說：「臣曾有兩匹馬，很難伺候，每天要吃幾斗的飼料，喝十斗的泉水，而且必須挑精美乾凈的才吃；若是披上鞍轡奔跑，起初沒有很快，等跑了一百里才開始快速奔跑，從中午到黃昏，還可以再跑二百里，卸下鞍轡之后，不喘氣也不流汗，好像沒事的樣子。不幸這兩匹馬接續(xù)死了。我現(xiàn)在所騎的馬就簡單多了，每天吃的不多也不挑食，喝水從不選擇泉水，繮繩還沒拉好，就跳起來急速奔跑，才跑一百里，就用盡了力氣而流汗喘氣，幾乎快要死的樣子。」
高宗點了點頭說：「你現(xiàn)在所騎的就是標(biāo)準(zhǔn)的劣馬，牠好駕馭，又吃得少，容易滿足，躍躍欲試愛表現(xiàn)，可是很容易力氣衰盡無法持久，偏偏一般人卻喜歡這種才能低下的劣馬。至于你以前那兩匹，表面上看起來爆烈難馴，不好駕馭，而且十分挑食很難滿足，可是只要讓牠順服就是一匹持久耐勞的好馬啊�！�
「皇上是在教臣下如何用人吧�！乖里w笑著說：「臣岳飛瑾受教誨�！�
「彼此彼此，朕也正在慢慢琢磨體會�！咕純扇讼嘁曇谎�，不約而同哈哈大笑。
笑了一陣子之后，高宗問岳飛說：「說正經(jīng)的，你對朕的一切都清楚不過，你認(rèn)為朕這個皇帝當(dāng)?shù)萌绾�？�?br />
「當(dāng)年你一個剛滿二十歲的小伙子，突然遭逢國破家亡，整個天下大任全部落到你的肩上。你只能號召四散的文臣武將來維持國家的運作，剛開始幾年還要不斷逃避金人的追殺；經(jīng)過十年擁有這個局面，我打從心里佩服你，我以你這個朋友的成就為榮。」
岳飛慢慢地說，前塵往事一幕幕迅速地掠過高宗眼前，累積多年的心酸霎時籠罩了他的心頭，眼淚不禁奪眶而出。
「所以你絕對有資格說，如果沒有岳飛，沒有李馬，就沒有今天的朕；但是我也可以說，如果沒有朕，就沒有今天的岳飛──至少沒有今天的岳太尉。」
高宗招了招手，韓誠就不知從哪里搬來一大疊帳冊，隨意抽取一本翻開，上面記錄著某年某月某日，發(fā)給岳家軍軍器、糧草、軍費、布匹等各若干細目等等。
「皇上說你岳家軍屬于指標(biāo)性部隊，又打著絕對不搶掠擾民的口號，所以將你的后勤補給特別交給我最優(yōu)先辦理，就算其他單位都缺糧，獨獨不準(zhǔn)缺你的糧。所以只要碰到短缺時期，你都不知道我置辦得多么辛苦？尤其這幾年你人數(shù)快速增加到超過十萬，不管是鄂州還是襄陽府都在上游，東西備齊還需籌船隻逆流而上，所以有時候稍慢一點還請多多包涵。」
岳飛對于補給不足只好放棄北伐之事，本來想大發(fā)一頓牢騷，這時也只好忍住，依例叩頭謝恩。
臨別之前，高宗突然冒出一句話說：
「劉光世掌管的二十萬淮西軍，朕想把他收回來，只是還沒決定交給誰，如果交給你，你覺得如何？你先研究一下，以后再作決定。」
劉光世自己知道待不下去，便向朝廷送上奏章，自請解除淮西軍兵權(quán)。高宗收到奏章之后，跟左右的人說道：
「劉光世對于軍隊的訓(xùn)練，遠遠不如韓世忠、張俊等人，更別說與岳飛相比了。他這支部隊的素質(zhì)，本來是全國數(shù)一數(shù)二的精銳之師，極為驍勇善戰(zhàn)，可惜主將過于怠惰，每個月耗費了那樣多的銀錢米糧全是民脂民膏，卻由于缺乏訓(xùn)練、無法奮戰(zhàn)建功，實在太可惜了!總之，將帥絕對不可驕惰，更不可沉迷酒色�！�
三月十四日，岳飛收到兩份公文。
第一份是諸路軍事都督府張浚發(fā)來的，其中依次列舉了淮西軍所有將領(lǐng)的名字，以及各人帳下官兵與馬匹的數(shù)量，希望岳飛看了之后隱密收藏，而且暫時不要跟屬下說起這件事�！�
第二份是，高宗寫給淮西軍的部將王德等人的一道《御札》，要他們在今后聽受岳飛的節(jié)制，希望經(jīng)由岳飛轉(zhuǎn)交給王德等人。
從這些公文看來，高宗與張浚似乎已經(jīng)商量好，要把劉光世所統(tǒng)領(lǐng)的人馬全部併入岳家軍。
岳飛一生最大的愿望就是實現(xiàn)宗則的遺志，率軍北伐，驅(qū)逐胡虜，收復(fù)所有的失土。之前三次北伐，幾乎都只有岳飛帶領(lǐng)幾萬人孤軍深入，前面的箭頭部隊要攻城制勝難免會有死傷，一路上又要分兵留守，人馬根本不夠分配；如果真的能夠合併淮西軍，他們?nèi)藬?shù)多，素質(zhì)又不差，只要稍加訓(xùn)練，加強一下軍紀(jì)，馬上就可以上戰(zhàn)場。
若真的擁兵三十萬，依據(jù)以前宗帥所訂三路北伐之計，不但是恢復(fù)中原，就是進攻燕、云，直搗黃龍也都不再是空幻的夢想了。
岳飛越想越興奮，一心盼望著正式的公文早日發(fā)布。
高宗與岳飛兩人，當(dāng)初一個是毫無實權(quán)的空心小王爺，一個是默默無聞的習(xí)武年輕人，在半開玩笑的情況下，一個說如果當(dāng)上皇帝，另一個也說萬一當(dāng)上他的大將軍，誰知老天爺特別眷顧，今日居然一切成真，而且似乎還超出當(dāng)時的夢想！所以高宗一時興起想玩得更大一些，加上一直期待北伐的張浚在旁敲邊鼓，所以隨口說出將淮西軍併入岳家軍的事來。
其實在岳飛離開之后，韓誠馬上表達了反對之意。
南宋的財政狀況一直沒有踏上軌道，只能不斷挖東墻補西墻。岳飛的部隊軍紀(jì)好，除了他治軍嚴(yán)明，謹(jǐn)守原則之外，更大的原因是高宗交代，無論多么困難都以岳家軍后勤補給為優(yōu)先，所以才能對百姓們秋毫無犯。
如果將淮西軍撥歸岳飛，人數(shù)突然暴增三倍，韓誠直言絕對供應(yīng)不上，尤其是馬上發(fā)動這三十萬人，分兵北上去跟偽齊、金人作戰(zhàn)，保證撐不了兩個月補給線就會出事。
被北伐勝利沖昏頭的張浚，稍微冷靜下來分析一下當(dāng)前的軍事力量佈署，發(fā)現(xiàn)在長江中下游有韓世忠、張俊與劉光世等三人各據(jù)要塞，再來是長江中上游有岳飛與吳玠兩人，兵力雖然較少但是與將帥關(guān)係密切，戰(zhàn)斗力也比較高。雖說要穩(wěn)定時局不得不倚重軍人，但是由五大軍事力量劃分各自的戰(zhàn)區(qū)，終究是宋朝立國以來最不想看到的局面。
劉光世不適任必須罷黜，這一點毋庸置疑；但是有必要將淮西軍併入其他四人之中任何一軍嗎？以目前情況看來，不管加入誰的部隊，都將使那個人實力爆增，凌越他人甚多，形成尾大不掉的局面，從根本上完全違反祖宗傳下來的規(guī)矩。
于是張浚趕快去找高宗，將自己的想法告訴他；兩個人稍為討論了一下就決定，淮西軍還是一支獨立的部隊，將統(tǒng)制王德升任都統(tǒng)制，由都督府直接統(tǒng)領(lǐng)。
總之，一切都沒變，只是五大軍事力量之中，淮西軍一支的大帥由劉光世變成張浚。
對于岳飛來說，從一開始就沒有覬覦劉光世的部隊，甚至連朝廷想罷黜他都不知道；是高宗與張浚主動告訴他要把淮西軍併入岳家軍，等到岳飛的雄心壯志受到激發(fā)，熱情高昂后又澆他一盆冷水，當(dāng)然會有被耍的感覺。
因此，岳飛于邵興七年三月懷著極端灰心失望的情緒離開建康，溯江西上回到廬山東林寺旁他的居第中去。岳飛實在按捺不下心中的不平，便寫了一道奏章給朝廷，只說因為與宰相張浚議事不合，請求解除兵權(quán)，留在廬山，為他的母親補滿守孝的時間。
高宗收到岳飛的奏章，一方面馬上退回不準(zhǔn)，希望他復(fù)出治事，一方面又接受張浚的建議，委派兵部侍郎張宗元前往鄂州去擔(dān)任宣輔判官，暫時接替岳飛掌理軍務(wù)。
張宗元是張浚的親信，張浚安排他充任這個職位，既可就近觀察岳飛是否有與部屬連絡(luò)？還可監(jiān)視他們的反應(yīng)與行動。萬一岳飛與高宗真正鬧翻，他更可直接接收岳飛的部隊。
高宗連續(xù)下了三次命令給岳飛要他復(fù)出，岳飛都堅持不理之后，高宗只好故技重施，用三省樞密院的名義下了一道《省札》給鄂州宣撫使司的參議官李若虛和統(tǒng)制王貴，命他們一起前往廬山敦請岳飛回到鄂州管理軍務(wù)。如果岳飛違抗此令不予遵行，李若虛與王貴等都要接受軍法處置。
李若虛與王貴，一文一武，等于是岳飛的左膀右臂；他們馬上啟程往廬山東林寺去見了岳飛，說明朝廷的懇切敦請之意。想不到岳飛還是堅執(zhí)不肯接受。
李若虛眼看好話說盡都沒有用，只好以嚴(yán)厲的口氣說道：「岳帥是一個軍人，如此堅執(zhí)不聽從朝廷的旨意絕對不是好事。而且一而再，再而三，難道不怕朝廷上有人產(chǎn)生疑慮，懷疑岳帥是否想干什么？」
李若虛又說：「岳帥原本只是河北的一個農(nóng)夫，受到皇上這樣的信任，如今擔(dān)任一軍統(tǒng)帥，難道您以為可以和朝廷相抗嗎？您這次若仍堅持不肯回鄂州軍營，我們這些手下勢將受刑而死，我們究竟有哪里對不起岳帥，您又何忍把我們置之死地呢？如果真的走到這步田地，難道您對我們都沒有一點愧悔之心嗎？」
類似這樣的談判持續(xù)了五天，當(dāng)天夜里岳飛實在睡不著，起來坐在涼亭上一個人想了很久。
自己與高宗的擊掌立誓，旁邊只有一個馬屁精韓誠，這次自己被耍的來龍去脈頂多又多一個老狐貍張浚知道，當(dāng)初他們倆人主動說要把淮西軍給我的時候，千叮嚀萬囑咐要我絕對不能把這件事告訴任何人，所以現(xiàn)在全天下人大概都認(rèn)為一定是岳飛仗著戰(zhàn)功彪炳要奪淮西軍權(quán)，因為沒有得手才老羞成怒，耍小孩脾氣。甚至連自己的部下，應(yīng)該也都是這么想的吧。
王貴這傢伙，跟上輩子王英比起來武功雖然長進不少，但是膽小怕事，眼光短淺，唯利是圖的毛病卻一點沒變，從來不會站在別人的立場思考，有這種反應(yīng)十分正常；李若虛在自己營中算是很有見地的人，平常對自己也很敬重，這次連他都會說出這種重話，可見自己應(yīng)該是因為北伐的美夢破碎，一時太過惱恨，沒有完全想清楚就鑽進了牛角尖。
趙構(gòu)你這傢伙，竟敢負我！難道不怕老天有眼？對了，他那時不是有立誓嗎？他趙構(gòu)若負我岳飛，老天就讓他──絕后！如今他會這樣做，是否代表說：「反正我已經(jīng)確定絕后，負不負你岳飛又如何？」媽的，你趙構(gòu)真不是人！
岳飛含著眼淚，仰天大笑。
第二天他就收拾行囊，跟著部下回返軍營。