当时，农民起义已遍布全国，政局非常动乱。到七月，李渊一切准备就绪，趁着瓦岗军在李密领导下与困守洛阳的王世充激战方酣时，迅速率师南下。临行前，李渊还特意召开了一个殿前誓师大会，由长史裴寂宣布隋炀帝的三大罪状，然后在将士们群情激奋中向南开拔。
李渊少时便神勇过人，曾经带着十二个兄弟击败草贼毋端儿三万之众，待稍长，更怀济世之略，有经论天下之心。他与人相处，不论贵贱，一双慧眼，最能识人。对天下大事，他了如指掌，蓄谋反隋，早有打算。事到如今，他早已是胸有成竹。
“如今我们虽然控制了太原及附近地区，处境却不容乐观：北面突厥，虽暂时和好，但在刘武周的鼓动下，仍有南侵的可能；就近的太原辽山令高斌廉，西河郡高德儒均愚忠隋帝，都会与我们抗衡。”临行前，李渊还曾将三个儿子召唤到跟前，透彻地谈自己对时局的看法：
“从全国来看，现有相当势力的，仍然是隋王朝的三大势力：一是隋炀帝在江都的御林军，人虽不多，都是骁勇善战之士；二是炀帝镇守在东都洛阳的皇子，兵强马壮，有大将王世充统领，战斗力很强，好在他们现在得全力去对付不断进攻的李密；三是炀帝镇守长安的另一王子杨侑，刚满13岁，软弱无能，但拱卫京师的名将屈突通，却是有勇有谋，加之其兵多将广，不可小视。”