戰國時期,居住在中國北部的匈奴,已經進入奴隸制社會,占有今內蒙古、寧夏一帶的廣大草原地區。此時中原各國忙於徵戰,無暇北顧,匈奴經常襲掠與其接壤的秦、趙、燕三國北部邊地。
秦始皇兼併六國後,為解除匈奴對秦的威脅,命蒙恬率30萬大軍北擊匈奴。三十三年春,蒙恬統主力軍從上郡(郡治膚施,今陝西榆林市南)北出長城攻其東;楊翁子率偏師由肖關(今寧夏固原東南)出長城攻其西,匈奴敗逃。秦遂取河南地(今內蒙古烏加河以南及伊克昭盟地),沿河置44縣,移民墾守。
因匈奴不斷來攻,次年秋,秦始皇復命蒙恬軍又北渡黃河,取高闕(今內蒙古狼山中部計蘭山口),攻占陽山(今內蒙古烏加河北的狼山、陰山)、北假(今烏加河以南夾山帶河地區)。匈奴不敵,向北遷徙。
為鞏固河南地區,秦置九原郡(郡治九原,今內蒙古包頭市西北)。為防匈奴南下,蒙恬奉命徵發大量民工在燕、趙、秦長城基礎上,修築了西起臨洮(今甘肅岷縣),東到遼東的萬里長城,對鞏固秦北部邊地發揮了重要作用。