百姓聞訊，攔阻在岳飛的馬前，哭訴說擔(dān)心被金兵秋后算帳：「我等戴香盆、運糧草以迎官軍，金人全部都知道。岳帥這么一走，我們大家哪還有活路？」岳飛無奈，含淚取詔書出示眾人說：「皇上命令我絕不能擅自決定留下來。」于是哭聲震野，人心絕望。
岳飛決定留軍五日，以便當(dāng)?shù)匕傩针S軍南遷，不料愿意跟著南遷的人太多，所以緊急上奏朝廷，以漢上六郡間田來安置他們。
岳飛班師途中，前幾天連發(fā)的捷報才陸續(xù)到達臨安，滿朝上下都知道這一次陰錯陽差，因為訊息往來費時造成的資訊時間落差，同時又不信任前線大將，導(dǎo)致失去中興的大好良機。可是因為此事是由高宗與秦檜主導(dǎo)，沒有人膽敢揭他們的瘡疤。
高宗深覺懊惱，于七月二十五日命令楊沂中的殿前司軍從臨安府開赴淮南西路北上待命，併發(fā)手詔，改令岳飛不必急著趕來覲見，暫時留在京西觀察金人的動向。
楊沂中的殿前司軍于八月中到達宿州，以五千騎兵夜襲柳子鎮(zhèn)，卻不見金兵蹤影�；爻淘庥鼋疖姷闹乇穹唤佑|就不戰(zhàn)而潰。金軍乘勝奪回宿州，并因為當(dāng)?shù)厝嗽?jīng)歡迎過宋軍而進行報復(fù)性屠城。所以岳飛根本連這份手詔都沒接到。
總之，在岳飛前往臨安途中，不斷接到高宗的手詔，表示他在接到后續(xù)戰(zhàn)報時的心情一直起伏不定；其中更夾雜著秦檜以三省、樞密院名義遞發(fā)的省札，其內(nèi)容經(jīng)常自相矛盾，顛來倒去，顯然有其個人意圖在內(nèi)。不過到最后則是趨于一致，命岳飛以最快速度前往覲見。
岳飛還沒到達臨安，就聽說金兀朮原來已經(jīng)拋棄汴京北逃，有一位書生騎著快馬去追他，告訴他岳飛奉旨班師的事，他才又回到汴京主事。
岳飛不禁苦笑著跟身旁的人說：「這種賣國求榮的臭蟲，充斥在我們左右，我們才這么舉步維艱啊�！�
這時驛館的人正好傳來最新消息，楊沂中兵敗中原，宿州再度淪陷，岳飛頓時感到自己的心在絞痛淌血，只能長嘆：「天��！將士們用性命奪回的土地州郡只是一場空！江山社稷中興無望！乾坤世界也沒有機會恢復(fù)正常！」
岳飛的第四次北伐，就這樣莫名其妙地半途而廢，宣告失敗。
岳飛氣沖沖地走進高宗書房。高宗馬上搶先說：「我是皇帝，無論如何都要先讓我說完三點聲明。第一，這次會造成這種結(jié)果，我也十分懊惱，但是只能說是造化弄人，因為最主要的原因是時間差；第二，連發(fā)十二道金牌以及上面那些嚴(yán)厲的措詞，都是秦檜他們搞的，跟我無關(guān)；第三，韓誠跟我說他手中的東西都給你了，若要繼續(xù)下去可能隨時又要斷糧了�！�
岳飛本來滿肚子氣，一進來被擋住，接著又聽高宗說完，突然覺得不知從哪里開始說起。
「你既然覺得那么有把握，為何不派馬成回來說個明白？」韓誠說：「從朱仙鎮(zhèn)到臨安兩千多里路，他不用三天就可到達，只要你能打下汴京，把金兵趕到黃河以北，整個局面就漂亮多了�！�
「那時不巧正好讓他去河北連絡(luò)義軍，根本不在；而且一切都十分順利，沒打過任何一場敗仗，哪里會想到你們會發(fā)出班師詔，而且還這么急？」
「都已經(jīng)聲明過這是秦檜他們干的，跟我無關(guān)了。」高宗咄咄逼人地說：「而且這只能怪你自己，抗旨違令的前科累累，怎能責(zé)難別人？」
「難道被好朋友耍陰吃了暗虧，也不能藉故發(fā)一發(fā)小脾氣嗎？」
「那個絕對不是耍什么陰招，所有的來龍去脈待會兒再說給你聽�！垢咦谡f：「第一次你說要為母守孝，以表你的孝心，這一點可以理解，即使連續(xù)拒受詔命，因為你后來還是以國事為重復(fù)出視事，大家也都不太計較。但是后來這一次，你再度以為母守孝來抗命就不高明了；全國上下都知道，你是因為我不準(zhǔn)你合併淮西軍才擺臉色給我看。我早就知道你的脾氣，早晚會耍出這一招，所以才寫郭子儀的傳記給你看，我當(dāng)時告誡你的話你都忘了嗎？」
「好吧，你就說一說淮西軍一事最后變卦的原因吧�！�
「我跟張浚一開始都是希望將它併入岳家軍，所以才會主動去跟你說；你想想我們總不致于那么無聊，先去撩起你的興致，然后再拒絕你，故意惹你生氣吧？」高宗說：「可是看你事后那么生氣，又耍小孩脾氣，似乎認(rèn)為我們是存心耍你，實在是太小看我們了�！�
「其實主要是我的意見，」韓誠接著說：「以你們現(xiàn)在十馀萬人的規(guī)模，后勤補給大概可以支撐三個月，之后就要勉強拼湊，但是頂多也只能再多撐一個半月。如果合併淮西軍，由于他們本來的糧餉就有打折，若併進來之后改發(fā)全額，一但全部動員北伐，我根本撐不了兩個月�！�
「再說你們?nèi)绻蟻阃瓿�，岳家軍總�(cè)藬?shù)可能達到三十萬人，且不說你那小心眼的老上司張俊會怎么說，你認(rèn)為韓大叔也會樂見其成嗎？」高宗又說。
「好了，不說了，」岳飛說：「總之我一張嘴說不過你們兩張�！�
岳飛將郾城與穎昌大捷的過程簡單敘述給高宗、韓誠聽，順便告訴他們，這兩個戰(zhàn)役對女真族絕對已經(jīng)造成重大的傷害！我估計他們至少一二十年之內(nèi)無法彌補回來。
「你的能耐，我與皇上還不清楚嗎？我統(tǒng)計過，你這一生有參與指揮的大小戰(zhàn)役共一百二十六場，未嘗一敗。這其中包括對陣戰(zhàn)、野戰(zhàn)、攻堅戰(zhàn)、防御戰(zhàn)、山地戰(zhàn)、水戰(zhàn)等，此等成就，絕對是千古未有啊�！鬼n誠說：「其實也沒甚么好奇怪，你是武曲星轉(zhuǎn)世，一般凡人當(dāng)然打不過你�！�
高宗靜靜地聽著，一句話都不說。
「皇上有心事喔�！�
高宗說：「剛才說岳帥的孝心天下皆知，朕呢？朕的孝心有人知道嗎？太上皇已經(jīng)駕崩了，我的母后還在北方受苦。如今我註定絕后，母后是我唯一倖存的親人。根據(jù)秦檜之前與金人的協(xié)議，他們答應(yīng)今年之內(nèi)便會將我母后與太上皇的靈柩還給我。可是經(jīng)過這一仗絕對又會變卦，成為朕遙不可及的夢想。岳帥，你愿意盡量幫朕達成愿望嗎？」
高宗取出一盒象棋與一塊棋盤。
他把紅方的帥、仕、相、俥、馬、砲、兵都按位置排好。
接著排黑方，他取了「將」排在中央：「這是朕�！�
接著在「將」的左右各排上「士」：「這是韓世忠�！�
接著在「士」的左右各排上「象」：「這是四川吳璘。」
然后擺上五個「卒」：「這是張俊、楊沂中等廢物�！�
最后安安穩(wěn)穩(wěn)擺上一個「車」：「這是岳帥。」
高宗伸手把紅方的兩個「俥」都拿掉：「不錯，我認(rèn)同當(dāng)今全天下只有岳帥一人當(dāng)?shù)牧恕很嚒贿@個角色；岳帥的確縱橫天下，無堅不摧，全金國無人能敵，但是士象只能防守，卒的力量薄弱，朕雖擁有一隻車，可惜孤掌難鳴，棋界早有名言曰『單車不殺鬼』；意思是說沒有馬與包，只有一隻車絕對無法取勝，最多只能勉強求和。還要遭受對方雙馬雙砲的攻擊，如果出錯還會輸。你說朕我手上這盤棋，朕到底應(yīng)該怎么下呢？」
岳飛看著棋盤，仔細(xì)核對現(xiàn)實狀況，最后只感到全身無力，幾乎連站都站不穩(wěn)。
「朕知道你箭頭所指攻無不克，但是朕沒有人可以去守，勉強派了也守不住，所以北伐至少在目前沒有任何意義。
「但是你目前所完成的工作太重要了，朕所希望的正好就是這種狀況；你動搖了金國的根本，使他們中短期都沒有能力再大規(guī)模作戰(zhàn)，需要休養(yǎng)生息。所以雙方都不想再啟戰(zhàn)端，相安無事，讓之前和議的程序繼續(xù)走，朕把母后接回來奉養(yǎng)，朕所要的就只有這樣而已。」