吕颐浩于是命检正黄龟年，另外写了诏书，颁布下去。胡安国不满，因此托病辞职。吕颐浩劝赵构降旨谴责胡安国，将他降职，只命他为提举仙都观。秦桧三次上奏，请求留下胡安国，都没有得到回复。侍御史江跻、左司谏吴表臣等二十余人，上奏说朱胜非不能用，胡安国不应该受到责备。吕颐浩却把他们都视为秦桧一党，这些人都遭贬职，朝廷为之一空。
吕颐浩自镇江都督府还朝，谋划赶走秦桧，就以朱胜非为助手，任命黄龟年为殿中侍御史、刘棐为右司谏。黄龟年弹劾秦桧专主和议，破坏恢复，结党专权，不会长久，并把秦桧比作王莽、董卓。秦桧也擢用胡安国、张焘、程瑀等名人，委以要职，以图排挤吕颐浩。
于是赵构免去了秦桧的相位，张榜于朝堂，表示永不再用秦桧。赵构又进朱胜非为右仆射，兼知枢密院事。朱胜非本来和张浚有旧怨，因此天天说张浚的短处。赵构于是派遣王似为川、陕宣抚处置副使，名义上是辅佐张浚，实际上是在监视他。张浚开始不安心于位，上疏请求辞职，还说自己能力不足，不胜任其职。有吕、朱两人当宰相，自然容不了张浚。
赵构于是召张浚到临安，说是要他担任枢密使。等到张浚奉命南回，就有中丞辛炳，侍御史常同等人，上奏弹劾张浚丧师失地，跋扈不臣诸罪。赵构竟然偏听偏信，把张浚免职，奉祠居住福州。赵构还安置刘子羽于白州，张浚自然是蒙受了冤屈，刘子羽尤则更加冤枉。
赵构又擢升王似为宣抚使，卢法原为副使，与吴玠一起，镇守川、陕。不久辛炳、常同，又连论吕颐浩的过失。赵构于是把吕颐浩罢为镇南节度使，提举洞霄宫。又命赵鼎参知政事，还加授刘光世为江东、淮西宣抚使，屯兵于池州，韩世忠为淮南东路宣抚使，屯兵于镇江，王为荆、湖制置使，屯兵于鄂州，岳飞为江西南路制置使，屯兵于江州。
这时刘豫的部将董质，带着虢州归降了宋朝，赵构派统制谢皋接收。刘豫自然不甘心，于是派遣李成来攻打虢州，谢皋猝不及防，竟被抓去。谢皋指着腹部对李成说道:“我腹中只有赤心，不像你们这些鬼蜮。”说完，他自破心腹，肠出而死。李成接着攻破了邓州、襄阳府，刘豫还派兵攻陷伊阳，并与金人合兵一处，图谋西北。
熙河总管关师古交战落败，竟然举洮、岷二州投降了刘豫。刘豫又联络洞庭湖的杨么，令他与李成合军，自江西直奔江浙。
杨幺名太，龙阳祝家岗人。他出生雇工，幼时读私塾两年，辍学后在商船上佣工糊口。建炎四年二月，他跟从钟相扯旗造反，因他在首领当中的年龄最幼，土语称幼为幺，故呼杨幺。钟相是鼎州武陵人。钟相在家乡利用宗教活动组织群众，凡加入他的乡社农民要交一点钱粮，社内实行互助共济，因此都能“田蚕兴旺，生理丰富”。
钟相宣称道:“法分贵贱贫富，非善法也。我行法，当等贵贱，均贫富。”钟相因此受到百姓的拥护，被称为“老爷”或“天大圣”。周围数百里的贫苦农民加入乡社的不计其数。经过二十余年，他的影响力扩大到了洞庭湖周围各县。
靖康二年初，钟相组织民兵三百人，命长子钟子昂率领北上勤王。这支队伍没有与金兵接触，就被刚即位的赵构命令遣返。钟相于是以这支队伍为基础筹划起义。金兵渡江南犯，所过残破，官兵和溃兵到处烧杀抢掠。宋朝官吏横征暴敛，“政烦赋重”，南方百姓陷于水深火热之中。
建炎四年二月，钟相在金人屠潭州、孔彦舟军队犯澧州、鼎州危急之时，率众而起，保卫家乡。他建国号楚，年号为天载，钟相自称楚王，立儿子钟子昂为太子，设立官属。钟相的军队焚烧官府、城市、寺观、神庙及豪右之家，杀死官吏、儒生、僧道、巫医、卜祝及有仇隙之人，并占据地主的土地归为己有。
钟相他们把杀官吏等称为“行法”，把平分这些人的财产称为“均平”，斥责宋朝国法为“邪法”，对于“执耒之夫”和“渔樵之人”，则加以保护。凡是参加他们军队的人，一律免除赋税差科，不受官司法令的约束。他们的主张和行动受到百姓热烈拥护，很快得到了鼎、澧、潭、岳、辰等十九个州县百姓响应。
建炎四年三月，钟相遭到宋朝溃军流寇孔彦舟部的攻打。他们奋力抗击，初战获胜。后来因为孔彦舟派遣奸细，混入了造反军队中作内应，钟相没有防备，结果被俘杀。钟相死后，杨幺立钟相的少子钟子义为太子，自号大圣天王。杨幺联络龙阳的夏诚、杨钦、杨广及慈利陈寓信、松滋李合戎、澧阳英宣等数十名首领，继举义旗，集结了八万将士他们伐木为船，垒土成寨，坚持战斗。沿湖一带，寨栅林立，声威复振。
鼎澧镇抚使兼知鼎州程昌寓率军进剿，于鼎口被杨幺水寨义军击败。程昌寓焦燥不安，偶然间得到了水手木匠高宣献的车船图样，于是令按图打造。同时他扩充水军，召募辰、沅、靖等州的洞丁刀弩手，合为一军，专习水战，想报鼎口之辱。
绍兴元年，程昌寓率领新造车船及海鳅船队径攻下沚江夏诚水寨。夏诚寨位于下沚江口，唯西南面临陆，其余皆环水，寨内重城重壕，寨外设陷马坑，夏诚所部已经有备，严守以待。程昌寓不顾下沚江窄狭，江水涨落不定，急欲炫耀车船威力，督军疾进。
到了寨前，夏诚大开寨门。官军莫测，惧不敢入攻。刚好此时阴雨纷飞，众兵淹没泥淖数日。等到天晴，人马早已疲惫不堪。程昌寓于是想撤军，无奈下沚江水渐落，沚江口滩浅，车船不能出来。这时突然遭到夏诚军奋力冲杀，官军大败。
不久，杨幺再败程昌寓，缴获官军车船及督料匠手高宣，并为所用。各寨利用鼎州、德山、澧州、钦山、药山、夹山盛产的松杉樟楠等木材，改制创新十余种车楼大船，以轻便海鳅船配合，出没于洞庭湖区。这些战船高两三层楼，可容纳近千人。舱内装车轮，踏车击水，往来飞快。又设拍竿，长十余丈，上放巨石，下安辘轳，顶系绳索，遇敌船近，一拉绳索，便可飞石击船。更添木老鸦、鱼叉、弩拿子等投掷武器和长兵器，官船无法接近。他们踏动车船沿湖作战，势力伸向环湖各州县，朝廷更加惶恐。
赵构于是启用李纲为帅，四路合击杨幺。杨幺被洞庭湖各军推为总首领，封夏诚为军师、左仆射，杨钦为军马太尉。设总寨于宝台山，关口要隘分置水寨七十多个，李纲的"四路围剿"被粉碎。赵构于是改派龙图阁直学士折彦质，及荆南制置使王燮率兵镇压。军事上的节节胜利，使他们的控制范围日益扩大。
杨幺执行钟相的等贵贱，均贫富的政策，并采用"陆耕水战"、"兵农相兼"的政策，豁免钱粮赋税，发展生产，深受百姓拥戴。势力东越岳阳，西至鼎澧，北抵公安，南至长沙界内，席卷洞庭湖区七州十九县，拥众二十多万。
王躞统领所部三万禁兵，以及御前统制崔增、神武后军统制高进部五千人，并调来韩世忠等部舟船五百只、携5带了五个月的粮食随行。他还节制荆潭制置司水军统制吴全所部的战船数百、士兵一万余人，前往镇压。
王躞率水军至岳州，自水路下游进兵。他派遣统制官右世达率两千兵直奔鼎州，会合程昌寓于上游，企图两面夹击。十月二十九日，王躞率军出击，与杨幺车船水军短兵激战，舟船矮小不敌车船，乃败退桥口。接着他亲自率神武前军万余人，陆行趋鼎州，转从上游进剿，并留崔增、吴全等设伏岳州蝙山、洞庭湖口、牌口等处，令以待候上游逼逐，拦截掩杀溃退杨幺军。
杨幺洞察其谋，将计就计，预先将上游诸寨民众、牲畜转移至酉港隐蔽。杨幺还以部分水军牵制上游宋军，遣数千人潜乘车船数只，偃旗息鼓，放流东下，诱歼下游宋军。十一月十二日，王躞、程昌寓率三万步骑及鼎州水军，出下让江口，水陆并进，对沿湖杨幺的水寨逐个围剿，所至皆为空寨。时崔增、吴全伏兵待候日久，遣人探望，见湖中飘流数只车船，以为是被杨幺军溃败，即率所部乘舟船数百，争相入湖，蜂踊而进。将至阳武口，水面宽阔，杨幺军队突然擂鼓呐喊，踏车回旋，横冲直撞，将宋军舟船全部撞沉，尽歼崔增、吴全及属下万余人。接着杨幺班师酉港，集中车船水军再败王躞等军。此战，杨幺巧施疑兵，利用车船水上优势，大获全胜。
伪齐李成率兵大举南下，看到杨幺势力壮大，便遣使引诱，许以兵士三万，增车添船等丰厚条件，要杨幺配合伪齐军队，联合攻宋。