李成聞訊大怒，吩咐馬進留守江州，親自領兵出戰(zhàn)。他派遣部將商元，在洪州奉新縣樓子莊的草山依據(jù)山險設置伏兵。這個布置被岳飛的踏白軍事先偵察得知，岳飛的前軍經(jīng)由小路衝上山頂，將伏兵解決，反而獲得險隘之處的主控權，完全破壞了李成的布署。這一役使張俊得到了「張鐵山」的外號，其實這完全是託岳飛的福。
樓子莊戰(zhàn)役之后，李成的精銳主力折損太多，再無還手之力。于是張俊和岳飛兵分兩路，張俊往東北方向收復江州，岳飛往西北方向追擊李成。李成逃到洪州武寧縣，不巧碰到修水的水位暴升，賊眾還來不及渡河，岳家軍已如神兵天降，只得四散奔逃，潰不成軍。
李成不敢在江南逗留，從獨木匆忙渡過長江退到淮西路的蘄州。岳飛從武寧縣率兵繼續(xù)東進，到江州與張俊會師。至三月末，江南已沒有李成匪寇的蹤跡了。
張俊大軍卻因為缺乏軍糧，在江州耽誤了四十多天，等軍糧到了才渡過長江持續(xù)討伐李成。李成在淮西還擁有都統(tǒng)領胡選所部，號稱十馀萬人，企圖進行最后的垂死掙扎。
宋軍直抵蘄州黃梅縣，李成賊眾在石幢坡占守山險，準備了大量檑木滾石用以阻擊宋軍前進。最后張俊大軍進行強攻，大破賊軍，并且殺死馬進、孫建等將領。李成勢窮力盡，只好逃奔劉豫的偽齊。
張俊大軍乘勝收復被李成占領的淮西各州縣，并在舒州太湖縣捕獲李成的謀士李雱。
張用脫離杜充之后，與馬皋、王善等人不合；最后與曹成率領大批人馬，流竄淮北各地，然后盤據(jù)了淮西的壽春、舒城一帶地方。
建炎四年秋，張用帶著最親信的部下一、二千人，脫離了曹成等人所率領的大部隊游寇，獨自跑到漢陽軍去。在漢陽又擄捉了許多強壯的兵丁，以擴充自己的隊伍，并且接受了鄂州路安撫使李允文的招安，駐扎在鄂州城中。
紹興元年春，朝廷對李成進行征討之前，曾下令張用去援救被包圍的江州，張用沒有聽從。后來因為李允文密謀消滅張用，雖然最后沒有成功，但是曹成也移軍到漢陽，一再相逼，張用只好又把部隊移到咸寧縣去。表面上他雖然與李允文互為聲援，私底下卻仍然與曹成等所率游寇藕斷絲連�？傊褪遣豢贤耆爮某⒌闹笓]和號令。
紹興元年六月，討伐李成的工作大致完成之后，張俊的大軍已經(jīng)壓在鄂州境上；這時另有一支游寇孔彥舟，因在潭州被馬友屢次打敗，所以向北流竄到漢陽；這么一來，在鄂州的李允文腹背受敵。張俊便把握住時機，奪取了李允文的軍權。
當張俊的大軍進入鄂州境時，馬上讓張用感到極大壓力，只得離開咸寧渡江南下，移屯江西的分寧縣冷家莊。曹成也率部跟隨而來，駐屯在與冷家莊相距三十多里的吳仙鎮(zhèn)。在張俊設計收奪李允文兵權的同時，也派遣岳飛到分寧去招降張用。
岳飛不但是張用的師兄，兩人在東京附近還不只交手過一次，對于岳飛個人的武藝，以及他專門以少勝多的神奇戰(zhàn)績，張用應當是再清楚不過了。岳飛目前的地位以及部隊的實力已經(jīng)大非昔比，現(xiàn)在朝廷又派他帶領人馬前來施加壓力，進行招安，張用當然必須慎重加以考慮。
當天晚上，張用下令給駐屯在附近的游寇，次日一律要往吳仙鎮(zhèn)集合，并且告訴他們可能要對岳飛的部隊進行抗拒。
第二天，游冦諸軍果真匯集到吳仙鎮(zhèn)時，張用卻帶領自己的五萬人馬，在冷家莊軍營中接受了張俊的招安。
八月八日，張俊在瑞昌縣的丁家洲檢閱張用的人馬。張用被留在張俊軍中擔任統(tǒng)制。他所帶的兵眾五萬，強壯者都留在張俊軍中，老弱者一律解散，任其自尋生路。這些所謂老弱者最后大都分別投入岳飛、韓世忠或曹成軍中。