李纲、宗泽都主张组织义兵，作兴复中国的基本力量。赵构一类人却最仇视他们这个主张，多方阻挠，不使成功。义兵失去他们二人的领导，虽然始终据山水寨抗敌，虽然数量并不大减，可是势孤力散，仅能自保，本身发展成正式军队的可能消失了。
赵构、黄、汪斥逐李纲，实现了他们“弃河东、河西、河北、京东、京西、淮南、陕西七路生灵（人民）如粪壤草芥，略不顾惜”（宗泽语）的主旨，从南京逃到扬州，金兵南侵，宗泽号召义兵，击退强敌，他们却乘机在东南搜括甚至武力掠夺财物和妇女（吕颐浩说），一面派使向金乞和。当时宗室赵子砥从燕京逃回，奏称“金人口头讲和，实际用兵，我国敛兵拱手，坐等和议的成功。前时契丹主和议，女真主用兵，十余年间，竟灭契丹。现在中国又踏契丹的旧辙。譬如怕虎，割肉喂它，吃完肉一定连骨也吃去。只有设陷阱杀虎，才能保存自己的生命”。赵构听了装没听见，命赵子砥做外官去，免得在朝廷妨碍和议。宗泽死后，金人又决计南伐，赵构深信和议必成，对黄、汪说：“潜善做左相，伯彦做右相，我还怕什么大事不济呢？”黄、汪二人叩头谢恩。赵构正在高兴，宗翰率兵长驱直攻扬州，沿路守将望风溃逃，赵构大惊，顾不得黄、汪左右二相，单骑狂奔渡长江到镇江。据宋人笔记，他那一天（建炎三年二月初三日）在宫中白昼行房事，突闻惊报，骑马就逃，因为惊慌过度，得了阳痿症，从此不会生儿女。他跑到镇江，百官卫士狼狈陆续赶来，扬州城里积储无数金帛财物，全被金军虏去，连东京运来的祖宗神主也失掉了。其实来袭的金军只有二三百人。