当燕、赵对秦做最后挣扎时，根本无暇顾及塞外，而始皇初并六国忙着辑绥内部，也暂把边事抛开，因此胡人得到了复兴的机会。旧时赵武灵王取自匈奴的河套一带，现在复归于匈奴了，而始皇三十二年，甚至还出现了“亡秦者胡”的谶语。于是始皇派蒙恬领兵三十万北征，不久就收复了河套，并且进展至套外，始皇在新得的土地上设了九原郡。为谋北边的一劳永逸，始皇于三十三至三十四年间，又经始两件宏大的工程：其一是从河套外的九原郡治起，筑了一条长一千八百里的“直道”，直通关内的云阳（今陕西淳化县西北，从此至咸阳有泾、渭可通）；其二是把燕、赵北界的长城，和秦国旧有的西北边城连接起来，大加修葺，傍山险，填溪谷，西起陇西郡的临洮（今甘肃岷县境），东迄辽东郡的碣石（在渤海岸朝鲜境），这就是后世有名的“万里长城”。
始皇经营北边，有一半是防守性质，但他开辟南徼，则是纯粹的侵略。
现在的两广和安南，在秦时是“百越”（越与粤通）种族所居。这些种族和浙江的於越大约是同出一系的，但文化较於越远为落后。他们在秦以前的历史完全是空白。在秦时，他们还过着半渔猎、半耕稼的生活，他们还仰赖中国的铜铁器，尤其是田器。他们还要从中国输入马、牛、羊，可见牧畜业在他们中间还不发达。不像北方游牧民族的犷悍，也没有胡地生活的艰难，他们绝不致成为秦帝国的边患，但始皇却不肯放过他们。灭六国后不久（始皇二十六年？），他即派尉屠睢领着五十万大军去征百越，并派监禄凿渠通湘、漓二水（漓水是珠江的上游），以便输运。秦军所向无敌，越人逃匿于深山丛林中。秦军久戍，粮食不继，士卒疲饿，越人乘机半夜出击，大败秦军，杀屠睢。但始皇续派援兵，终于在三十三年把百越平定，并在他们的土地上，分置南海郡、桂林郡和象郡（南海郡略当今广东省，桂林郡略当广西省，象郡略当安南中北部）。百越置郡之后，当时中国人所知道的世界差不多就完全归到始皇统治之下了。琅琊台的始皇纪功石刻里说：