在这次濠州之战，赵构本来也任命岳飞参战，但是岳飞对朱仙镇一事耿耿于怀，早已经心灰意冷了。接到圣旨之后，他先以粮草不是为名，驻兵在淮西不肯出兵，后来又否定了赵构将金人挡在长江以北的方略。
岳飞希望由自已带兵或长驱京、洛，直捣金军空虚的后方；或自蕲州、黄州绕到敌军背后，与张俊等三路大军形成夹攻之势，把金军围歼于江、淮之间。
赵构一开始并不同意岳飞的方略，无奈岳飞坚持自己的建议，反复申辩，赵构连续催促他十七次也不肯出兵，这无疑是违抗君令。但赵构正值用人之际，最终只得强压下心头之气，被迫答应了岳飞的要求，同意岳飞由靳州、黄州绕到敌后，与张俊夹击金军。
赵构为了让岳飞解燃眉之急，还亲降下手札：“社稷存亡，在卿此举。”
固执的岳飞此刻才同意出兵，但因为耽搁得太久，以至延误了军情。直到金军全部从濠州撤走，岳飞的军队才来到蕲州境上。
由于濠州惨败，张俊和秦桧因此非常痛恨岳飞见死不救，赵构也觉得岳飞的存在对自己有极大的威胁，从此荫生了欲杀岳飞的想法。
濠州之战虽然以宋军战败告终，但自此次兀术渡淮河南侵以来，连吃了顺昌、郾城、颖昌和石柘皋这几次败仗，在军事上来说还是宋军占了上风。但在这一系列的战役中，岳飞几次抗命，都是连下了十几道谕令之后，朝廷的意图才得以执行。这让赵构感到非常的不安，他生怕会再次发动兵变，感到要收回兵权的迫切性。
在这期间，翰林学士汪藻也曾上书提醒了赵构道：“自古以来，兵权交给别人太久就没有不成祸害的。放权容易收权难，枢密院已经指挥失灵了，皇上万不可掉以轻心。”
监察御史张戒也和赵构商谈过兵权太重的问题，建议以提拔偏将的方式削弱诸大将的兵权。
御史中丞勾龙如渊还特意提醒赵构，如果三大将在议和问题上不予合作，可能会带来很大的问题。不只岳飞一再违抗圣命，韩世忠等将也确有过违逆圣意，蓄意破坏和议的举措。
赵构见朝廷正值多事之秋，诸将屡次抗令，他都只能忍了，因为时机还未成熟，他还没有切实感到来自三大将的威胁。但岳飞的几次抗命，使赵构第一次明确地意识到自己的权威受到了严重的挑战，收回兵权之事再也不能再延拖了。他将这件令人头痛的事，交给了秦桧看手实施。
秦桧接旨之后也觉得此事十分头痛，他意识到这是一件十分棘手的事情，弄得不好，极有可能会闯出大祸。他一时之间也无从落手，连忙召集心腹大臣暗中商议。
给事中范同向秦桧献上了一条妙计，要秦桧以朝廷论功行赏为名，召张俊、韩世忠、岳飞三人赴行在，以明升暗降的方式剥夺他们的兵权。
赵构当即发出了圣旨，召回三大将赴行在论功行赏。诏书发出了之后，张俊和韩世忠都如期而到，唯有岳飞却迟迟未到。
秦桧本来就对岳飞极不放心，岳飞这次奉诏不来，更叫秦桧寝食难安。他生怕精心布署好的计谋出现了纰漏，倘若引起了岳飞的猜忌，就会功亏一篑。秦桧提心吊胆地过了几天之后，无法定下忐忑不安的心，只得召来参议知政事王次翁暗中商量。
王次翁又向秦桧献计，以公开设宴款待张俊、韩世忠为名，先消去了岳飞心中的疑忌，岳飞见真是论功行赏后，一定会到来的。秦桧闻言大喜，欣然采纳了王次翁的建议。
四月，杨柳依依，紫燕呢喃，在平湖如镜的西子湖上，出现了几只雕花漆木、鎏金涂彩的大船，在宽敞明亮的船舱里，莺歌燕舞，笙箫不断。秦桧正在船中大摆筵宴，款待张俊和韩世忠，专候岳飞的大驾。
岳飞不到，秦桧夜间辗转反侧，无法入眠。但在太白天，他却强行撑起了精神，以一种淡定闲暇的姿态出现在众人的面前，谁也看不出他的葫芦里究竟卖的是什么药。
丰盛的酒宴一直摆了六、七天，直到四月二十二曰，岳飞才来到了行在。岳飞的到来，秦桧悬起的心头大石，此刻才放了下来。
二十四日，论功行赏的仪式在西子湖上举行。庆功宴上，粉黛起舞，丝竹悠扬，在轻歌曼舞之中，岳飞渐渐放松了心中的警戒，开怀畅饮。
正在众大臣举杯畅饮之际，秦桧宣读了赵构的三道圣旨：升韩世忠、张俊为枢密使，岳飞为枢密副使。
并宣布从任命即日起，各枢密使、副使立即赴本院上任。也就是说，从宣布圣旨的那一刻起，张俊、韩世忠、岳飞三人连返回军队向后任交接职责的权力都没有了。
赵构的圣旨是金口玉言，绝无更改的可能。张俊、韩世忠、岳飞三人隐隐觉得似乎都上了赵构的大当，但事已既至，已无力挽回，三人只得接旨，当场受拜。
赵构收回了三员大将的兵权之后，沾沾自喜，再也没有任何顾忌了。吴芍芬在一旁侍候他就寝，却忧心忡忡。无奈后宫不得干政，她也不敢多言，只能做好份内之事。
次日，赵构召见三大将，还冠冕堂皇地道：“朕昔日委卿等一路宣抚之权，实在是大材小用。现朕委卿等以枢府本兵之权，望卿等团结一心，勿分彼此。似这样各路宋军拧成一股绳，如兀术之类，何足挂齿？”
二十七日，赵构正式下诏，取消各路宣抚司，明令如遇出兵事宜，一律临时向朝廷请旨。所谓朝廷也不仅仅是本该署理军务的枢密院，而是由三省和枢密院共同署理。
赵构同时还下旨，各宣抚司的统制官等将校都加“御前军”的头衔，各率一军，至不统属。所谓“各率一军，互不统属”，其实质是大大加强了这些将校们的权力。众将校获得此意想不到的好处，无不欣然受命。因此，朝廷完全割断了三大将与原属将士的联系，根本上消除了发生兵变的隐患。
朝廷剥夺三大将兵权的举措，就在这样不动声色地在明升暗降的转换中完成。赵构对秦桧的所作所为非常满意。六月，拜秦桧为左仆射，同中书门下平章事兼枢密使，并晋封为庆国公。
升了岳飞等人的职，其实只是收回兵权的第一步，在秦桧的建议中，朝廷彻底收回兵权的第二步又开始了。
七月十六日，御史中丞行铸首先发难，上本弹劾岳飞，说岳飞在淮西时，肆意抗旨，不按时发兵，结果造成张俊等军濠州大败，要求朝廷罢免岳飞枢密副使一职。
岳飞在援淮西的问题上，的确过于偏激，一再抗命，以致延误军情，令很多大臣都心生蒂结，赵构也对其极为不满。但赵构曾经同意过岳飞的方略，虽在群臣的面前公开指责了岳飞，但却没有提及到淮西的战事。
赵构的表态明显就是一种暗示，于是朝廷中对岳飞的谤议一时因起。
岳飞纵然赤胆忠心，但总是英雄无用武之地，他对朝廷已经彻底失望了，心中早已有功成身退的想法。虽曾几次不辞而别，却皆因赵构一再挽留而留在任上。此次见赵构流露出诸多的不满，心灰意冷，再一次上表请辞。
赵云桦在苏州得知赵构采纳了秦桧的建议，解除了岳飞、张俊、韩世忠的兵权后，生怕朝政发生变动，马不停蹄地从苏州赶到了临安。
赵构早已料到了赵云桦会插手此事，当即在福宁殿中召见了赵云桦。见了君臣礼之后，赵构下令内侍奉上了香茗。
赵云桦轻呷了一口香茗道：“皇上，三大将的兵权撤不得，会天下大乱的。”
赵构淡淡地道：“此乃朝廷大事，请皇兄不必插手。”
赵云桦道：“沿途之上，臣就听到了不少关于岳少保的流言，听说皇上要免岳少保枢密副使一职，是否属实？”
赵构道：“岳飞屡次违抗圣令，导致濠州兵败，不撤其职，难堵悠悠之口。”
赵云桦道：“臣多次与岳少保并肩作战，相信他的赤胆忠心，他绝非见死不救之人，淮西之战大败，不能全然怪他。”
赵构勃然大怒道：“若非他延误军情，濠州又岂会失陷？岳飞恃宠而骄，绝不能姑息。”
赵云桦大急，连忙站了起，忽觉全身酸软，身不由己地又跌坐在椅子上。他不由脸色大变，暗运内力，却提不上真气，始知中了赵构的计。说道：“这茶……”
赵构道：“茶中下的是金国的独门软筋散，只要每天服下解药，皇兄便不会有性命之忧。”
赵云桦闻言，脸色顿时变得雪白，完颜部阿骨打所配制的“软筋散”非常厉害，当年李紫瑕就曾被迫服下过，耶律莹消耗了很多的内力，才能将“软筋散”排出李紫瑕的体内。没想到今日赵构竟然用来对付他，足见赵构已经下定了决心要对付岳飞了。
赵云桦功力全失，颓然地道：“皇上意欲何为？”
赵构道：“朕只是不想皇兄插手此事，人来，将云王押到南园，小心伺候。”他接受秦桧的建议，设下让赵云桦服下了“软筋散”，暂时将赵云桦软禁在宫中。
与此同时，六岁的赵伯琏在云王府中突然被几名御林军掳走，押入了宫中交由吴芍芬看守。吴芍芬知道赵构的心意，当下也不敢多言，只得将赵伯琛、赵伯琏一起送到了南园，与赵云桦关在一起。
李紫瑕大惊失色，孤身闯入宫中见驾。赵构在紫宸殿接见了李紫瑕，威逼恫吓地说后宫不得干政，劝她不要轻举妄动，否则赵伯琛、赵伯琏的性命不保。李紫瑕心痛这双儿子，果然不敢反抗，含泪退出了皇宫。 赐婚