吕嘉见南越王赵兴、樛太后及南征汉军相继被杀，有些得意忘形，他将汉使者的凭信——使节包好，连同一封“好为谩辞谢罪”的信，置于汉越交界的边塞上，又发兵据守南越各个关塞，准备与南下汉军决一死战。
吕嘉的行动，使汉武帝极为震怒，同时也认识到了南越国的实力。他一面抚恤死难者的亲属，一面下达征伐南越国的诏书。为了吸取上次人单势寡的教训，汉武帝下令调遣部分粤人及江淮以南楼船将士十万人于元鼎五年秋分兵五路进攻南越。这五路大军的进攻路线分别是：
一路以卫尉路博德为伏波将军，从长沙国境内出桂阳下湟水，从湖南经萌渚岭而入连州一线，再沿江到石门；二路以主爵都尉杨仆为楼船将军，出豫章，下横浦，从江西大庾岭入南雄一线；此两路均取北江而下，直至番禺都城。两路大军共计六万人马，是攻打南越的主力军。