李纲、宗泽都主张组织义兵,作兴复中国的基本力量。赵构一类人却最仇视他们这个主张,多方阻挠,不使成功。义兵失去他们二人的领导,虽然始终据山水寨抗敌,虽然数量并不大减,可是势孤力散,仅能自保,本身发展成正式军队的可能消失了。
赵构、黄、汪斥逐李纲,实现了他们“弃河东、河西、河北、京东、京西、淮南、陕西七路生灵(人民)如粪壤草芥,略不顾惜”(宗泽语)的主旨,从南京逃到扬州,金兵南侵,宗泽号召义兵,击退强敌,他们却乘机在东南搜括甚至武力掠夺财物和妇女(吕颐浩说),一面派使向金乞和。当时宗室赵子砥从燕京逃回,奏称“金人口头讲和,实际用兵,我国敛兵拱手,坐等和议的成功。前时契丹主和议,女真主用兵,十余年间,竟灭契丹。现在中国又踏契丹的旧辙。譬如怕虎,割肉喂它,吃完肉一定连骨也吃去。只有设陷阱杀虎,才能保存自己的生命”。赵构听了装没听见,命赵子砥做外官去,免得在朝廷妨碍和议。宗泽死后,金人又决计南伐,赵构深信和议必成,对黄、汪说:“潜善做左相,伯彦做右相,我还怕什么大事不济呢?”黄、汪二人叩头谢恩。赵构正在高兴,宗翰率兵长驱直攻扬州,沿路守将望风溃逃,赵构大惊,顾不得黄、汪左右二相,单骑狂奔渡长江到镇江。据宋人笔记,他那一天(建炎三年二月初三日)在宫中白昼行房事,突闻惊报,骑马就逃,因为惊慌过度,得了阳痿症,从此不会生儿女。他跑到镇江,百官卫士狼狈陆续赶来,扬州城里积储无数金帛财物,全被金军虏去,连东京运来的祖宗神主也失掉了。其实来袭的金军只有二三百人。