自从逃离扬州之后，赵构除了派杜时亮出使金国外，还曾派洪皓、崔纵、张邵等臣出使金国议和，但全部都被吴乞天扣押在金国，有去无回，而金人的南侵则越发猖獗。

　　离开了建康之后，赵构在杭州没住上几天，又被迫漫无目的地四处躲避金军，过着居无定所的逃亡生活。

　　吴药芬道：“皇上，如此躲避下去，也不是办法，难道我们就不懂得反抗吗？”

　　赵构见吴芍芬言之有理，赵构在恐惧之余，又暗起了反抗的念头，毕竟南宋朝廷还有几十万大军，又有长江作为天险，的确应该反抗，不能一味忍让。他决定御驾亲征前往平江，抗击金人，吴芍芬也表示愿意与他同生共死，一同随驾前往。

　　十一月二十五日，赵构与吴芍芬从越州出发，签书枢密院事周望和韩世忠、张浚率兵紧随左右，当晚就住在了钱清堰。

　　吴芍芬端来了丰盛的饭菜，赵构又困又饿，很快就吃了个精光。正在此时，忽然有人前来禀报杜充弃建康而逃走的消息。这突如其来的坏消息把赵构和吴芍芬都吓得目瞪口呆，半晌都说不出话来。

　　吴芍芬愤愤不平地道：“杜充临阵逃脱，该杀！”

　　赵构铁黑着脸，抛下了一句道：“后宫不得干政，做好你的本份，等待朕的消息。”他边说边走了出去。

　　杜充弃城而逃的消息沉重地打击了赵构的反抗意志，他犹如被人兜头泼了一盆冷水，浑身惊震，大惊之余连忙召来文武百官到府堂上共同商议对策。

　　赵构道：“近来坏消息不断，杜充镇守长江不利，陈淬战死，王燮拥兵南逃，金国人马必来浙西追袭，事情很紧急，众卿以为该如何做？”

　　众大臣见时势迫人，都面面相觑，所有眼光都投向了吕颐浩。吕颐浩身为百官之首，自然不能推卸责任，当务之急，乃是赵构的安全，所以谁都不敢首先发言，只是静静地等待宰相的说词。

　　吕颐浩道：“以目下的形势看，再西行迎敌恐有不妥，臣有一策，望皇上仔细斟酌。”

　　赵构连忙问道：“什么计策？”

　　吕颐浩道：“金人以骑兵取胜，而我们由于有皇族、百司、官吏、兵卫及家小，人数太多。如果从陆路行走，不仅行走速度慢，一旦遇到不好走的路，粮运不畅，还极易生变。金人既入浙江，必分遣轻骑追袭，如此一来，我们必然十分被动。如果我们乘船走水路，敌骑的优势就没有了。江浙一带夏季炎热，敌人不能久留，我们可以等金人退走之后，再返江浙，敌进我退，敌退我进，此正是兵家所谓的奇计。”

　　赵构听完，顿时龙颜大悦道：“此计可行，你们几位大臣先讨论一下，明天召侍从台谏等来都堂一同决策。”

　　赵构返回了后宫，吩咐吴芍芬赶紧收拾行装，明天一早重返越州。吴芍芬见他忧心忡忡，当下也不敢多言，连夜收拾好衣物。

　　二十六日，赵构一行重新返回了越州，连城都都没有进去，赵构就连夜召来了侍从官们到河边的亭子里商议对策。

　　赵鼎道：“眼下局势是寡不敌众，无法与金人直接对抗，应避敌为上。”

　　吕颐浩道：“以眼下来看，避敌一事恐无异议，现在最要紧的是商量如何避敌，是否该航海避敌。”

　　郑望之极力反对，说道：“自古以来，还从未有一位皇帝要乘船漂泊海上以避敌，实在闻所未闻，不可思议。”

　　权户部侍郎叶份却非常赞同吕颐浩的建议，说道：“如果有别的办法当然更好，否则不走海路如何才能确保皇上的安全？”

　　赵构也另有打算，说道：“昨夜朕也想了一个晚上，航海避敌一事势在必行，卿可速寻海船准备航海。”他立即作出了决定，速往明州，准备航海避敌。

　　吕颐浩又道：“海船有限，乘船人数不能太多，望皇上允许暂时遣散侍从官以下的官吏随从，允其自寻生路。”

　　赵构不解地道：“士大夫当知义理，哪能不扈从皇帝？如无人扈从，朕这个皇帝和林间草寇又有什么区别？”

　　虽然赵构心中很是不悦，但事实情况确实不能带上太多的人，他也只带上吴芍芬和部分官员，一起航船直赴明州。

　　兀术攻下了建康之后，于十二月七日沿水路直杀到杭州，一路四处打听李紫瑕的消息。他并不知道，李紫瑕此刻正在苏州云王府中待产，赵云桦担心她再有闪失，不敢再冲锋陷阵，正郁郁不乐地留在了府中。

　　沿途的百姓听说有大军向杭州进发，还以为是朝廷的溃兵，于是向广德军知军事周烈禀报。

　　为了不让这些乱军骚乱百姓，危害社稷，周烈连忙派人与兀术联系。兀术非常狡猾，当下将错就错，假意答应了下来。快到广德军时，兀术才派人下通关文牒，要周烈投降。

　　毫无准备的周烈顿时大吃了一惊，在慌乱之中，他来不及行兵布阵与兀术交锋，火速冲到了马厩，牵过来一匹健壮的快马，策马扬鞭而逃。

　　兀术早已有了防备，如何能让周烈逃走？他连忙弯弓射箭，向正在逃跑的周烈发出了一箭。周烈躲闪不及，后心中箭，跌下了马，金军蜂拥而至，将周烈五花大绑绑住，押到了兀术的面前。

　　周烈连忙求饶道：“四太子饶命。”

　　兀术道：“李紫瑕何在？”

　　周烈并不认识李紫瑕，也不知道她就是云王妃，当下摇了摇头。兀术见他毫无利用价值，便下令手下将周烈斩首示众。周烈被杀之后，广德军失陷。

　　十二月十一日，兀术进军来到湖州附近，浙西安抚使康允之也是以为是溃兵游寇，连忙遣派主将带兵前去迎敌，两阵交锋，打得难分难解。在混乱之中，宋军杀死了两名骑兵，并带回了他们的头颅前来邀功。

　　康允之一见到头颅，顿时大吃了一惊，才知道是误杀了金军，当下来不及细想，带兵弃城而逃。

　　兀术的大军杀到，湖州竟然无一兵一卒前来抵御，从杭州来到湖州，对于金军来说，有惊无险，已是一片坦途。

　　十二月十五日，天上下着倾盘大雨，赵构正在明州。赵构告诉众执政道，杭州、湖州已经失陷，他已经决定前去定海县登御船航海，要众执政随行。

　　十二月二十七日，兀术大军追逐赵构来到了明州附近，再无退路的宋军终于奋力反抗。浙东制置使张俊派统制官刘宝率主力与兀术大军战于明州，统制官杨沂中、田师中，统领官赵密配合刘宝全力以赴，与兀术决一死战。主管殿前司公事李质得到消息后率舟师前来助战，知州刘洪道也率州兵射金军们翼。

　　兀术大军自南侵以来，从未遇到过抵抗，早已心浮气躁，十分轻敌，万万没有想到会遭此重创痛击。兀术一时间竟然手是无措，金军伤亡数千兵马，血流成河，尸横遍野，兀术见势不妙，连忙带着残兵大败而逃。

　　张俊的明州之捷，是自靖康以来宋金交战史上的第一次胜利，宋军士气也为之一振，金军不败的神话就此被破灭了。

　　建炎四年正月初一，已经登上了御船的赵构闻到捷报后非常高兴，立即下旨每个有功之人连升七级。

　　但这只是一次偶然的胜利，张俊在宋军大捷之后，并未乘胜追击，扩大战果，而是见兀术大军撤退之后，也撤兵出了明州。

　　正月十五日，兀术重新重理了阵容，带兵复攻明州，不久明州也失陷了。

　　赵构从此开始在海上漂泊，过着担惊受怕的日子。幸而有吴芍芬在旁不停地用吉言相慰，他的心情才会好过一点。 赐婚