公元前200年，汉高祖刘邦被匈奴冒顿单于的铁骑团团围困在平城白登山上。505年以后，冒顿单于的后代、匈奴人刘渊在山西左国城宣布自己是汉高祖的后代，建国号为汉。
唐朝的诗人曾经写下了“但使龙城飞将在，不教胡马度阴山”的诗句。无数飞将军曾经阻挡了胡马的南下，但一部分匈奴人却迁入了中原，并且最终融合在汉族之间。
秦始皇死后，原来驻守在北部边境的大将蒙恬被迫自杀，边防松懈。不久反秦起义爆发，秦军忙于镇压，不再顾及北方边疆。匈奴趁机南侵，移民大多逃亡。在没有军队守卫的情况下，秦始皇耗费了大量人力物力筑起的万里长城根本无法阻挡匈奴的骑兵。在这样有利的形势下，匈奴出现了一位强有力的领袖——冒顿单于。他继位后，率领匈奴各部东征西讨：攻灭了东胡，将其残余的乌桓和鲜卑赶到了大兴安岭；击败了月氏，迫使月氏人从河西走廊的西部迁往中亚；征服了北部的丁零、坚昆等部，扩展到贝加尔湖一带。匈奴不仅全部收复了被蒙恬夺取的土地，而且继续南下，进入战国时秦、燕、赵的旧地。匈奴号称拥有“控弦之士(能挽弓作战的士兵)三十万”，盛极一时。
秦汉之际，楚、汉和各诸侯忙于争夺天下，无暇北顾。等刘邦消灭项羽，匈奴的威胁已经相当严重。高祖六年(前201年)，匈奴围攻马邑(今山西朔州市)，驻守那里的韩王信投降后，依仗匈奴的势力南下太原(今山西中部)，攻至晋阳(今山西太原市西南)城下。七年冬，刘邦率大军亲征，击败韩王信和匈奴联军，乘胜追击。当时连降大雪，天寒地冻，有的士兵连手指都被冻掉。刘邦为了了解实际状况，不断派使者进入匈奴地区观察。冒顿将计就计，故意将精锐部队和肥壮的牛羊隐藏起来，沿途只留下一些老弱残兵和瘦弱的牲口，十几位使者回来后都说匈奴不堪一击。刘邦又派刘敬(娄敬)去复查，他的报告独持异议：“两国交战，一般都要壮大声势，但我只见到了老弱的士兵和牲畜，肯定是故意造成假象，将精兵埋伏了起来。我以为匈奴打不得。”但这时三十万汉军已经越过句注山(今山西代县西北恒山山脉)，争先恐后地北上了。刘邦认为刘敬是动摇军心，将他拘押在广武(今山西代县西南)，自己率领骑兵到达平城(今大同市东北)。但汉军大部分是步兵，远远落在后面，只有一部分赶到平城。这时冒顿出其不意，以大量骑兵将刘邦团团包围在平城东北的白登山，并且切断了刘邦与后续部队的联系。整整七天七夜，汉军无法突出重围，几乎弹尽粮绝。刘邦派人突围找到阏氏(单于的夫人)，送给她丰厚的礼物，让她在单于面前说好话。正好韩王信的部将王黄、赵利等在约定的时间内没有到达，单于怀疑他们与汉军合谋，于是在包围圈上网开一面，刘邦冲出包围，与大军会合，匈奴军队也撤退了。
但匈奴仍不时侵扰北部边境，刘邦苦于应付，听从刘敬的建议，实行和亲。所谓和亲，就是将汉朝的公主(实际上大多是以宗室的女儿或宫女代替)嫁给单于，并馈赠大批物资礼品。和亲在一定程度上缓和了匈奴的入侵，但汉朝正忙于巩固内部，加上不断有汉将叛逃，成为匈奴的帮凶。如燕王卢绾带着万余部众投降匈奴后，上谷以东(今河北北部、辽宁西部一带)就经常成为匈奴侵扰的目标。
吕后时，冒顿自恃兵力强盛，有意挑衅，给吕后送去一封信，大意说：“我孤零零生活在荒野地方，很想到中国游玩。陛下是寡妇，想必也很寂寞。大家都不快乐，何不互通有无？”吕后大怒，召集群臣商议，准备杀匈奴使者，出兵问罪。她的妹夫樊哙请战：“给我十万军队，我可以横行匈奴之中。”季布却说：“樊哙应该杀头。当年三十二万汉军出征，樊哙是上将军，高祖被围在平城，樊哙不能解围。到今天伤病者刚刚复原，百姓还在唱着纪念平城士兵的哀歌，樊哙却要让天下震动，胡说用十万军队去横行，不是当面欺骗你吗？况且匈奴人本来就像禽兽一样，听了他们的好话不必高兴，对他们的坏话也犯不着生气。”吕后明白汉朝的实力，就派张泽送去一封复信：“我已年老气衰，头发牙齿都掉了，走路也不成样子，单于不知哪里听了传闻，实际上完全不必降低身份来找我。敝国没有什么过错，应该能得到你的宽大。奉上御车二辆，骏马二匹，供你日用。”冒顿也派使者致歉，表示自己不懂得中国礼仪，请求原谅，还回赠了马匹，双方恢复和亲。
文帝时(前180-前157年)，冒顿单于击败月氏，控制了西域的大部分地区，兵力更加强盛；而汉朝经济尚未恢复，又受到内部分裂割据势力的牵制，军事上处于劣势，只能尽可能维持和亲。例如文帝三年，匈奴右贤王入侵，文帝亲赴太原，派丞相灌婴率八万车骑迎击右贤王。但济北王兴居发动叛乱，企图袭击荥阳(今河南荥阳市西北)，文帝只得召回灌婴的军队，镇压内乱。第二年，冒顿单于致书文帝，表面重申和亲，实际却宣扬灭月氏的战绩，宣称“诸引弓之民并为一家”(所有使用弓箭的百姓已完全合并为一家)，提出“皇帝如不想匈奴靠近边塞，就应该命令你的吏民迁得远远的”。
尽管如此，匈奴还是不时入侵。文帝十四年(前166年)，匈奴老上单于(冒顿单于之子)率十四万骑兵进入萧关(在今甘肃固原县南)，派出巡逻和侦察的骑兵到达雍(今陕西凤翔县南)和甘泉(旬邑县南)，逼近首都长安。汉军紧急动员，单于在塞内留驻月余才撤退，汉军只能眼睁睁地看着匈奴军队出塞，却无法消灭敌人。匈奴更加肆无忌惮，每年入侵边境杀人掠夺，受害最严重的云中(在今内蒙古呼和浩特一带)和辽东(在今辽河下游和辽东半岛)二郡每年要损失万余人口。
汉朝一方面仍然只能争取与匈奴和亲，另一方面也加强了边境的防卫和报警。文帝后元六年(前158年)，匈奴分两路侵入云中和上郡(今陕西北部)，各有三万骑兵，文帝派三支军队分别把守北地(今甘肃东部)、句注山和飞狐口(今河北蔚县南)，又调集军队驻守长安郊外。匈奴军一度直逼句注山，报警的烽火直达甘泉、长安。数月后，汉军推进到边境，匈奴军也退回塞外。
在景帝和武帝初年，汉朝始终执行和亲政策，在与匈奴的边境贸易中实行优惠，给匈奴不少好处，长城沿线成为汉匈奴间交易的场所。自单于以下的匈奴贵族、首领都喜欢与汉朝交往，长城下人员来往络绎不绝。但匈奴小规模的杀掠依然不断，汉朝内部的阴谋分子也想利用匈奴的武力。景帝即位后，赵王遂暗底下与匈奴勾结。吴楚七国之乱时，赵王企图引匈奴兵入境，但因汉军很快平息叛乱，赵王被围自杀，匈奴才停止行动。
在平定了吴楚七国之乱后，从汉初以来长期制约着中央政权的诸侯割据危机彻底消除，朝廷可以腾出手来全力对付外患了。加上经过几十年的休养生息，经济得到恢复和发展，积累了充足的物质基础，人口也增加了一倍有余，对匈奴发动反击的条件趋于成熟。
元光二年(前133年)，雁门豪富聂壹向武帝献计，引诱单于入塞，以重兵围歼。于是武帝派聂壹假装私自出塞贸易，引诱单于夺取马邑城(今山西朔州市)，单于贪图马邑的财富，亲自率领十万骑兵进入武州塞(在今山西左云县)，三十万汉军已经埋伏在马邑四周，只等单于进入伏击圈。在离马邑百余里的地方，单于见牛羊遍布，却不见有人放牧，觉得可疑，就袭击了汉朝一个亭，抓住了正在巡视的雁门尉史(边境巡视员)。怕死的尉史将汉军的部署一五一十告诉了单于，单于大惊，立即退兵，汉军一无所获。从此匈奴断绝和亲，经常攻打边塞，入侵杀掠。但匈奴已对来自汉朝的物资产生了依赖性，还是要来边关购买，汉朝也利用贸易缓和局势，双方的边境贸易继续进行。
马邑之围虽然没有成功，但汉军并未受损，经过几年训练准备，已经具备了打击匈奴的实力。元光六年秋，四位汉将各率一万骑兵向关市下的匈奴人发动袭击，并攻入匈奴境内。但第一仗打得并不顺手，除了上谷一路的卫青获得杀死、俘虏七百人的战果外，公孙贺无功而返，公孙敖损失了七千人，李广还被匈奴俘获，好不容易才逃脱。元朔元年(前128年)，匈奴二万骑兵分几路入侵，武帝派卫青率三万骑兵出雁门郡，李息出代郡，主动攻击匈奴，结果消灭数千人，取得初步胜利。第二年，卫青从云中出击，直至陇西(今甘肃东部)，又杀、俘匈奴数千人，收复河套地区，设置了朔方郡(治所在今内蒙古杭锦旗北)。汉朝整修了蒙恬所筑的长城的关隘，恢复了秦朝的边境线。当年还在内地招募了十万移民，迁入新设的朔方郡。
元朔三年，匈奴军臣单于死，其弟左谷蠡王伊稚斜自立为单于，军臣单于之子於单被打败，投降汉朝。匈奴又接连在边境入侵杀掠，河套一带本是右贤王的属地，所以他不断在朔方缘边杀掠。元朔五年，卫青率六将军共十万军队出朔方高阙(今内蒙古杭锦后旗东北阴山)，深入六七百里后，出其不意地包围了右贤王。右贤王虽然逃脱，但其部属一万五千人被俘，再也不能对朔方构成威胁。第二年，卫青又率六将军与十万骑兵从定襄出击，杀、俘匈奴一万九千多，但汉军也损失了三千多骑兵，前将军赵信被俘。赵信本来是降汉的匈奴小王，熟悉双方情况，他建议单于将主力后撤，引诱汉军长途出击，以便待汉军疲劳后捕捉战机。
元狩二年(前121年)春，武帝封年轻骁勇的霍去病为骠骑将军，率一万骑兵从陇西向河西走廊进军，一路杀、俘八千余人，还缴获了休屠王祭天的金人。当年夏天，霍去病又从北地出击，过居延泽(在今内蒙古额济纳旗东、北)，南下至祁连山，前后杀、俘三万余人。单于因休屠王、昆邪王损失惨重，准备召来杀掉，休屠王与昆邪王闻讯后准备降汉，汉朝派霍去病率军迎接。昆邪王杀死临时变卦的休屠王，合并了他的部众，四万余人一起降汉，使汉朝获得了整个河西走廊。河西走廊是匈奴的重要畜牧基地，走廊中段的焉支山出产的颜料是匈奴妇女的化妆品，它们的丧失引起匈奴人极大的哀伤，他们唱道：“亡我祁连山，使我六畜不蕃息；失我焉支山，使我妇女无颜色。”第二年，关东大水，汉武帝将七十二万多灾民迁至西北边疆和河西走廊，以后陆续设置了酒泉、武威、张掖、敦煌四郡。汉朝稳固地占有河西走廊后，隔断了匈奴与羌人的联系，打开了通向西域的大门。
元狩四年，汉朝出动十万骑兵，由卫青、霍去病率领，分别从定襄、代郡出发远征，约定在沙漠以北会师。由于汉军接连获胜，百姓纷纷随军出征，以便建功立业，出塞的私马有十四万匹，还不包括装运粮食的。单于撤退了辎重，率精兵在漠北迎战，被卫青一路汉军包抄，仅与数百骑突围而逃，部众一万九千人被杀、俘。霍去病一路也杀、俘了数万匈奴人，在狼居胥山(今蒙古国肯特山)举行了祭祀仪式，直到接近瀚海(今贝加尔湖)才返回。这次战役迫使匈奴远离，大漠以南不再有匈奴的王庭，汉朝的疆域扩展到朔方以西至张掖、居延海一带，在那里设置田官，组织五六万军人屯田。但汉军也付出了巨大代价，损失万余人和十余万匹马。汉朝一时无法增加战马，加上霍去病于元狩六年逝世，对匈奴的战事停顿了多年。
由于汉军无法在匈奴地区久驻，匈奴的流动性又大，所以汉匈间战事仍不时发生，但规模不太大，对汉朝没有什么威胁。太初三年(前102年)，汉朝派徐自为在五原塞外数百里至千余里间修筑了一系列防御设施，派路博德在居延泽边建筑障塞。当年秋，匈奴就大规模入侵边境，将徐自为筑的城障全部破坏。此后，汉军仍不断出击，但多次失利，损失不小。征和三年(前90年)，贰师将军李广利兵败投降匈奴，汉军损失数万，元气大伤，不再出兵。经过汉军二十多年的持续打击，匈奴人畜大减，加上天灾，濒于困境，自单于以下都希望与汉朝恢复和亲。
昭帝始元二年(前85年)匈奴狐鹿姑单于死，子壶衍革单于立，左贤王、右谷蠡王不服，不参加每年的祭天大会，匈奴势力更加衰落。由于汉朝边境已建起完整的防卫系统，烽火台报警及时，匈奴的入侵难以得逞。
昭帝末年，匈奴转而攻打西域的乌孙国，声称要得到汉朝嫁去的乌孙公主，公主向汉朝求援。宣帝本始二年(前72年)，汉朝大规模征发士兵，派范明友、赵充国等五位将军率二十余万军队分路出击匈奴，救援乌孙。乌孙也派五万军队，由西向东接应。匈奴闻风而逃，汉军战追至一二千里之外。派驻西域的常惠与乌孙军队攻至右谷蠡王庭，俘获单于亲属及将士近四万和大批牛羊，从此匈奴更加一蹶不振。当年冬天，单于为了复仇，率万骑进攻乌孙，俘获一些老弱人员，可是在归途遇到罕见的大雪，人畜冻死，返回的不足十分之一。于是乌孙、丁零、乌桓从西、北、东三方合力进攻，匈奴无力招架，在天灾人祸的打击下，匈奴的人口只剩下十分之三，牲畜损失一半。汉朝出动三千骑兵就能俘获数千匈奴人返回，匈奴也不敢进行报复。
宣帝神爵二年(前60年)，匈奴虚闾权渠单于死，内部分裂，日逐王先贤掸率部众降汉。匈奴内乱不止，两年后分裂为五部，各自拥立单于，相互攻击。呼韩邪单于一再受到攻击，甚至被其弟郅支单于逐出了单于庭，所属左伊秩訾王劝他向汉朝称臣，寻求支持。甘露元年(前53年)，呼韩邪与大臣商议，大臣们一致反对：“我们匈奴的风俗一向崇尚武力，鄙视降服，靠马上战斗立国，所以能威震各族。战死是壮士的光荣。现在兄弟争国，不是兄胜就是弟胜，就是战死了也有威名，子孙还能当各国的将帅。汉朝虽然强大，也无法吞并匈奴。何必违背古制，臣服于汉，使先单于受到侮辱，让各国耻笑！这样就算能得到安定，怎么还能领导各族呢？”左伊秩訾力排众议：“不然！一个国家有时强有时弱是正常的，现在汉朝正强，乌孙等西域各国都当了它的属国，而从且鞮侯单于以来匈奴一天天削弱，无法恢复，就是这样也没有一天能安稳。现在臣服汉朝就能安全生存，否则就会灭亡，还有什么更好的办法呢？”争论了很久，呼韩邪决定听从他的意见，率领部众南下至汉朝边塞附近，派儿子右贤王到长安侍奉皇帝(充当人质，以示忠诚)，并准备到长安朝见。郅支单于闻讯，也将儿子送到长安。
第二年，呼韩邪从五原塞入境，宣帝派车骑都尉韩昌专程迎接，沿途七个郡出动两千多骑兵在大道列队迎送。甘露三年正月一日，呼韩邪在甘泉宫朝见，宣帝作了特殊安排，让他享受诸侯王以上的隆重礼仪，并给予大量赏赐。呼韩邪在长安居留月余后回国，要求率部众驻守光禄塞(今内蒙古包头市西北)附近，一旦有急可以利用汉朝的受降城(今内蒙古乌拉特中旗西北)自保。宣帝派长乐卫尉董忠和韩昌率一万六千骑兵，又征发边郡的数千人马，送单于出塞，董忠等留在那里维护呼韩邪的统治地位，资助的粮食多达三万四千斛。
元帝初元二年(前47年)，韩昌与光禄大夫张猛将呼韩邪留在长安的侍子送回，并消除了单于的误会。他们见呼韩邪的部众日益强盛，足以自卫了，不必再畏惧郅支单于，而塞下的资源已满足不了他们的需要，大臣们也劝呼韩邪北归。他们恐怕呼韩邪北归后难以约束，就与单于、大臣们登上诺水(今内蒙古艾不盖河)东山，杀白马，饮血酒立下誓盟：“从今以后，汉与匈奴合为一家，世世代代不得相互欺骗和攻击。有进入对方盗窃的，互相通报，将盗贼杀死后赃物归还对方。一方受到侵略，另一方发兵相助。谁先违背盟约，将受天的惩罚。让子子孙孙都遵守。”不久，呼韩邪单于率部众回到蒙古高原今乌兰巴托一带的单于庭，部众逐渐增加，国内安定。韩昌、张猛回长安后，公卿大臣认为他们与匈奴结盟超出了职权，并且降低了汉朝的地位，损害了国家利益，应该派使者去重新祭天，解除盟约，两人犯了大逆不道的罪，应处死刑。元帝减轻的韩昌、张猛的罪名，只处以罚款，命令维持与匈奴的盟约。
竟宁元年(前33年)，呼韩邪单于入朝，表示愿意当汉朝的女婿，元帝以后宫女嫱(昭君)相赐。呼韩邪十分感激，表示愿意永远替汉朝守卫从上谷至敦煌的边疆，建议撤销边塞，以节省人力物力。元帝让大臣商议，大家都认为可行。只有熟悉边境情况的侯应反对，并向元帝详细说明了十点理由：塞外的阴山有重要的战略地位，如放弃防守就使汉朝失去了屏障；匈奴一旦强大了还会骄横，这是它的本性，要安不忘危；中国有礼义刑法，愚民百姓还会犯法，单于难道就能完全约束他的部下？边防并非单为匈奴而设，也为了防止其他属国的降民逃亡；羌人移居塞下，与吏民已有冲突，也需要防止；以往军队中有不少因被俘或投降留在匈奴的人，他们的贫困子孙想去投奔；边疆地区的奴婢想逃亡匈奴；盗贼罪犯如远处躲藏，如能逃亡出境，就不易对付；边防线建设了百余年，所用人力物力不计其数，一旦废弃就再也无法恢复；真的让单于替汉朝守边，他一定会对汉朝居功，不断提出新的要求，要不满足他，后果就不堪设想。
元帝听后，下诏不再讨论此事，并派前任大司马、车骑将军许嘉为特使向单于通报：“单于的好意我毫不怀疑，但中国四方都设置关塞，并不单是防御匈奴，也是为了不使中国内部的罪犯歹徒出来害人，以便严格执行法律，统一民心。”单于表示自己考虑不周，接受了元帝的解释。直到王莽代汉，边境牛羊遍野，人口繁衍，城门经常到很晚才关闭，三代人听不到战争警报，百姓不必再服兵役，汉匈间保持了六十年的和平局面。
郅支单于见呼韩邪归附汉朝，无法取胜，于黄龙元年(前49年)西迁坚昆(今俄罗斯叶尼塞河上游一带)，以后又迁至康居，建昭三年(前36年)在康居东部郅支城(今哈萨克斯坦江布尔)被汉将陈汤、甘延寿所杀。
绥和元年(前8年)，成帝的舅父王根执政，有人向他建议：“匈奴有一块土地突出，插入张掖郡，出产上等木材，适合制箭杆，如能得到，可以增加边境的财富，国家扩大了领土，您也建了大功，名垂千古。”王根让夏侯藩出使匈奴索取，单于两次推辞，最后上书朝廷报告此事，朝廷只得表明是夏侯藩擅自盗用朝廷名义索要土地，已予处罚。平帝(前1年-5年)初，因匈奴接受了西域车师后王等叛逃者，引起汉朝不满，特意颁布了四条规定：匈奴不得接受汉朝、乌孙、西域佩汉朝印绶诸国和乌桓的降人。原来匈奴向乌桓收皮布税，汉朝监护乌桓的官员让乌桓人不要向匈奴纳税，匈奴兴师问罪，俘虏了不少乌桓人。这些都给汉匈关系蒙上了不祥的阴影。
公元8年王莽代汉后，派五威将王骏等出使匈奴，将汉朝颁发给单于的“匈奴单于玺”收回，另发“新匈奴单于章”。收回旧印后，因恐怕单于发现印文不同后会索回，当天就用斧头将旧印砸坏。单于认为将“玺”改为“章”是把他的地位降到了诸王一级，大为不满，上书要求恢复旧印。同时以送回乌桓人为名，调集一万骑兵，陈兵朔方塞下。第二年(10年)，西域车师后王企图逃往匈奴，被汉西域都护但钦所杀，其兄率二千余人投奔匈奴。驻在高昌壁(今新疆吐鲁番市东南)的戊己校尉刀护被部属陈良等人杀死，陈良等劫持吏士和家属二千余人，在匈奴骑兵的接应下到达单于庭。于是王莽下令更名匈奴单于为“降奴服于”，又宣布将匈奴分为十五部，派人携带珍宝至塞下招引呼韩邪单于子孙当各部单于。从此，匈奴不断入塞杀掠，雁门和朔方郡的太守、都尉被杀，被掠的牲畜和财物不计其数。王莽派遣十二名将军，征集三十万军队，准备分十路对匈奴发动全面进攻，为部队筹集的粮食、物资由江淮、海滨运往北部边疆，弄得天下骚动。为了同时出兵，先到的部队驻在边境等待，但等了几年，部队还没有集合起来，边境一片萧条。
东汉初，割据安定的卢芳在匈奴支持下占据五原、朔方、云中、定襄、雁门等郡，使匈奴乘势南侵。光武帝无力对抗，不得不放弃了河套至今山西、河北北部的疆域，将当地行政机构和百姓内迁。
建武二十二年(46年)，匈奴发生严重旱、蝗灾，赤地数千里，人畜大量死亡。建武二十四年，匈奴南边八部大人共议立呼韩邪单于之孙比为南单于，仍用呼韩邪称号。他们派人至五原塞向东汉表示“愿永为藩蔽，捍御北虏”，得到接受。同年冬，比自立为呼韩邪单于，匈奴分裂为南北二部。建武二十五年，南匈奴袭击并俘虏了北单于之弟左贤王，又攻至北单于帐下，俘获万余人、五千匹马、上万头牛羊，北单于不得不退却了千余里地。南单于的地位初步稳定，汉朝也将内撤的八个郡迁回旧地，汉匈奴边界恢复到西汉后期的态势。南单于派使者去洛阳，寻求汉朝的支持，请求恢复汉宣帝与匈奴的协议。建武二十六年，汉朝中郎将段郴等去南匈奴，立单于庭于五原(今包头市西)西部塞八十里处，并允许其部众迁入云中(今内蒙古托克托县一带)，朝廷调运去大批粮食和牛羊给予救济，还派了常驻联络官员。由于南匈奴的实力还抵不住北匈奴的攻击，当年冬，又将单于庭南迁至西河郡美稷县(今准噶尔旗西北)一带，段郴和副校尉王郁留驻监护，设立了行政机构，每年由西河郡派二千骑兵和五百名由缓刑犯充当的士兵担任卫护。南单于接受汉朝的监护，同时助汉守边，将部属分别派驻在北地、朔方、五原、云中、定襄、雁门、代郡(约自今宁夏、甘肃至河北北部)，为当地政府充当耳目，汉朝每年供应南匈奴大量财物、粮食、布帛、牛羊。
北匈奴控制着西域，不时侵扰河西和北方边境，掳掠南匈奴和汉人。南匈奴中也有些人与北匈奴勾结。为了断绝南、北匈奴间的交通，汉朝设置度辽将军，在五原曼柏(今内蒙古达拉特旗东南)一带屯兵。永平十六年(73年)，汉军分四路出击，窦固、耿忠一路追至天山、蒲类海(今新疆巴里坤湖)，夺回伊吾(今哈密市西)。北匈奴四面受敌，南匈奴从南面作正面攻击，丁零在北边抄它的后路，鲜卑和西域各国从东、西两面左右夹击，加上接连发生饥荒和内乱，不断有人南下投汉。
永元元年(89年)，汉将窦宪、耿秉率军大破北匈奴，北单于逃遁，降者二十余万，汉军一直推进到燕然山(今蒙古杭爱山)，刻石纪功而还。第二年，汉军夺回了由北匈奴据守的伊吾卢，并派兵与南匈奴军一起出鸡鹿塞(在今内蒙古杭锦后旗西)，进攻匈奴，北单于受伤后只身逃遁。永元三年，耿夔率汉军围北单于于金微山(今阿尔泰山)，单于率一部分部众逃往乌孙，北匈奴彻底溃败，从此离开蒙古高原西迁。4世纪70年代，匈奴出现在欧洲，建立了强大的匈奴帝国。
但东汉的北部边境并没有因为北匈奴的溃败和西迁而安宁，另一个游牧民族——鲜卑很快填补了匈奴留下的空白，成为蒙古高原的新主人，他们与汉朝的冲突也随之开始。
从中国有可靠的历史记载开始，中原的农业民族与北方牧业民族之间的冲突从来就没有停止过，所不同的只是激烈程度和冲突范围而已。以往人们往往把冲突的出现归咎于牧业民族的野蛮落后、侵略好战，或者认为是农业民族软弱无能所致，是相当片面的。
在生产力低下的情况下，牧业民族只能“逐水草而居”，具有很大的流动性。黄河流域曾经是东亚大陆最适宜生产和生活的地区，牧业民族曾经与农业民族一样生活这一地区。但随着农业民族人口的增加和生产能力的提高，牧业民族的生存空间不断被压缩，到战国后期已被挤出了黄河中下游，迁到了秦、赵、燕三国的长城之外。
在正常情况下，牧业民族的迁移范围并不大，所谓“逐水草而居”，主要是季节性的或周期性的。但在发生严重的自然灾害或外敌入侵的条件下，他们的迁移范围必定会扩大。一般说来，要获得了足够的生存条件或有了充分的安全后，他们的迁移才会告一段落。
秦始皇筑起万里长城以后，匈奴的生存空间被限制在阴山山脉以北的蒙古高原。尽管北方还有大片处女地，但由于气候寒冷，匈奴人不可能扩展到贝加尔湖以北。公元前3-2世纪开始，气候逐渐变冷，严寒、干旱、大雪、蝗灾成为蒙古高原上的主要灾害。东西向的迁移往往同样难以躲避由北而来的灾害，还会遇到其他游牧民族的抵制，向南方的迁移就成为他们最合理的选择。如果他们的迁移受到限制，殊死的搏斗就不可避免。由于牧业民族的生产技能——为放牧和狩猎需要锻炼出来的骑马和射箭——非常容易转化为军事需要，在与农业民族的战争中他们拥有天然的优势，尤其富有攻击性和机动性，使他们稳操胜券。
在占有农业民族的土地的同时，牧业民族往往也夺得了粮食、纺织品、生产工具、其他物资、妇女和劳动力。这些战利品不仅使他们顺利地渡过了灾难，而且使他们轻而易举地提高了生活水平，甚至有了积蓄。这使他们意识到，用武力从南方农业区掠夺物资和人口是趋避灾害、获得财富最容易的手段。而与其他游牧民族的争夺，付出的代价很大，收获却很少。在这种情况下，只要南方农业区缺乏有力的防卫，牧业民族就会经常性地进行袭击性的掠夺。每当秋高马肥，牧业民族的战斗力最强，又最需要准备过冬的粮食和物资，这类掠夺也最频繁。
无论是正常的交换，还是掠夺所得，一旦牧业民族开始消费粮食、食品、纺织品，使用更先进的生产工具和更适宜的生活用具，就会产生更大的需求，逐渐形成依赖性。原始的牧业民族可以完全依靠畜产品为生，但在食用粮食，穿上纺织品，使用了铁制工具或武器后，就再也无法断绝。当茶叶传入牧业民族以后，也很快变成了他们的生活必需品。
但牧区不能生产这些物资，至少不能全部满足他们的需要，所以他们将这些物资的供应视为生命线，中原王朝的供应、在边境开设的“关市”、“互市”对他们来说至关紧要，甚至不可或缺。中原的统治者不了解牧业民族的需要，或者故意将这些物资的供应作为对付他们的手段，往往成为战争的导火线。
地理环境的不同导致农业民族和牧业民族的生产和生活方式的巨大差异，尽管的确存在着先进和落后，但从本质上说，各个民族的文化是与各自所处的地理环境和物质基础相适应的，没有优劣之分。但处于东亚大陆中心、地理条件相对优越的农业民族——华夏诸族(以后的汉族)中很少有人认识到这一点，发达的农业文明使他们在很早就形成了一种民族优越感，在春秋时就集中表现在儒家的“夷夏之辨”——中原的农业民族、华夏诸族是夏，周边的牧业民族和非华夏族是夷；夏是中心，是文明，是先进；夷是附庸，是野蛮，是落后；夏和夷的界线绝不能混淆。正因为如此，汉朝从皇帝到臣民都很难理解和同情匈奴人，汉朝和匈奴也不容易建立起正常的睦邻关系。
汉文帝时一位宦官中行说在出使匈奴时投降，他留在匈奴后，对双方的情况都有了比较深入的了解，以后代表匈奴与汉使作了一场有意义的辩论(今译)：
汉使：“匈奴的风俗不尊重老人。”
中行说驳斥道：“那么就说汉朝的风俗吧！如果家里有人轮到戍边或当兵出发时，老人和长辈难道不是将自己暖和的衣服脱下来给他们穿，把自己的好食品给他们带着吃吗？”
汉使：“是呀！”
中行说：“匈奴人明确以战斗进攻为主要任务，年老体弱的人没有战斗力，就将自己质优味美的食品给强壮的人吃，也是为了自己能得到他们的保护，这样父子双方都能获得长久的安全，怎么能说匈奴人轻视老人呢？”
汉使：“匈奴人父子睡在一个帐篷中。父亲死了，儿子娶自己的后母。兄弟中有人死了，就娶他的妻子。没有衣冠服饰，也没有宫廷礼节。”
中行说：“匈奴的风俗，大家吃牲畜的肉，喝它们的奶，穿它们的皮。牲口根据水草条件，随时转移。所以情况紧急时人人都能骑马射箭，平时大家就喜欢随随便便。因为没有什么约束，所以容易管理。国君与臣子的关系很简单，全国的政务就像一个人指挥自己的身体一样方便。父子兄弟之间相互娶对方死后留下的妻子，是为了防止种族灭绝。所以匈奴再混乱，也要尽量保存自己的后代。你们汉朝的礼法制度虽然详细，父兄死了子弟不娶他们的妻子，但亲属疏远一点就互相残杀，甚至灭绝宗族，干的都是这类事。况且礼法制度太繁琐了，上下都不满意；宫室盖得太好了，劳动力消耗就大。你们通过耕地栽桑获得粮食和衣服，修筑城墙作为防卫，所以百姓一有紧急情况也不会作战，平时却整天忙于劳动。可怜你们这些住在土屋子里的人，虽然衣服穿得整齐，帽子戴得漂亮，嘴里夸夸其谈，又有什么用处？”
中行说的话虽不无强词夺理之嫌，却比汉使更加理直气壮，他懂得了站在汉人立场上所无法理解的道理：匈奴的风俗、习惯、生活方式、政治制度和价值观念适应了匈奴的自然条件和生产方式，绝不能用农业民族的标准来衡量，而汉人的风俗习惯和生活方式并不是完美无缺的，汉朝的政治制度更不适应匈奴的条件。可惜当时懂得这样的道理的人太少了，特别是在汉朝方面。
中行说也明白匈奴文化的弱点：他们也要追求物质享受，但本地的产品无法满足他们的需要，所以汉地产的“缯絮食物”对匈奴贵族有相当大的吸引力。中行说向单于建议，将来自汉地的丝织品放在棘草地上践踏，衣服都撕破，以表明它们不如匈奴的裘皮耐久实用；将汉地运来的食品统统扔掉，以证明它们不如匈奴的奶酪味美；以免匈奴人的生活方式发生变化，产生对汉人的依赖性。在这一点上，中行说显然没有真正理解匈奴人，他的建议自然是徒劳的。
所以，在当时的历史条件下，汉朝与匈奴的战争是不可避免的。匈奴入侵汉朝，在边境杀掠，当然是侵略，是非正义的，但并非不可理解，在某些情况下有其不得已的一面。汉朝防卫自己的边界完全是正义的，适当予以回击，以保证边界不受侵犯，也有其必要。即使对匈奴的打击超出了防卫的限度，同样有其不得已的一面。
在汉匈之争中，汉朝还有一个致命的弱点。
匈奴人的生存条件比汉民差，汉民无法适应牧区的生活，而匈奴人却完全可以生活在农区，尤其是在黄河流域的农区。牧区大多无法辟为农区，而农区一般都能变为牧地，匈奴人南下后可以将农牧界线南移，汉人北上后却不能将农业区向北扩大。在当时的生产力条件下，阴山山脉已是农业区的极限。
在秦汉之际、两汉之际，匈奴人都曾占有过阴山以南的土地，他们照样可以在那里放牧和生活。而汉朝的军队尽管曾一次次深入蒙古高原，甚至已将匈奴人驱逐到蒙古高原之外，却无法在那里久驻，更不能将那里变为自己的疆域，设置郡县等行政区域。因为军队或移民都无法就地生产自己需要的粮食，他们所需要的粮食和物资全部要从遥远的后方运来。在匈奴人与他们的牲畜全部转移后，他们既没有统治的对象，也没有作战或掠夺的目标。即使是给匈奴以重创的战争，实际损失往往是汉朝一方面更大。
所以，在汉匈奴冲突中，汉朝往往只能取守势，匈奴却往往采用攻势。匈奴的每次入侵，都会给汉朝造成很大的损失，汉朝的反击倒经常是得不偿失，因为在匈奴远遁时，汉军出兵再远，也不会有任何战果，却要赔上大量粮食、物资和人员的损失。在汉朝的军事实力不如匈奴的情况下，采取“和亲”政策，不失为一种明智和现实的政策，能够以较小的代价换来和平，避免更大的损失。
我们应该肯定汉武帝反击匈奴入侵的贡献，这一努力巩固了西汉的疆域，也为以后的和平局面奠定了基础。但还应该注意到，真正给边境带来持久和平和安宁的是汉宣帝的正确方针。当呼韩邪单于兵败投降时，他不仅没有趁机消灭匈奴政权，而且给予基本平等的政治待遇和充分的物资供应，使匈奴能享受体面的和平。汉元帝继承了宣帝的政策，并且承认了使者未经授权与匈奴立下的平等盟约，支持呼韩邪返回匈奴故地复国。否则的话，六十年的安定是不会出现的。在汉朝四百年的历史中，与北方游牧民族保持长达六十年的安定局面是空前绝后的，其意义于此可见。
在西汉与匈奴的战争中，大批匈奴人因被俘或归降而被迁入汉境，大部分被安置在边疆地区专门为他们而设置的“属国”中，“因其故俗”，依然过着游牧生活。少数被安置在内地，逐渐融合于汉族。有的还担任汉朝大臣或将领，如受汉武帝遗命辅佐昭帝的金日磾，就是匈奴休屠王的太子，以后金氏繁衍为著名的士族。不过，多数迁入内地的匈奴人都没有留下进一步的记录，他们融入了汉人的汪洋大海。
东汉时入居塞内的南匈奴，一度有34000户、237300人，还有很多散居各地的南匈奴人和北匈奴降俘人员未列入统计。长期定居后，匈奴人开始从事农业，以后又渡过黄河进入今山西省，在汾水流域定居。匈奴的上层人物迅速接受了汉族文化，到东汉末年已与汉族士人无异；而底层贫民则被作为奴婢，大量掠买到中原各地。建安二十一年(216年)，曹操将迁入河东的匈奴部众编为五部，又在并州刺史的治所晋阳(今山西太原市西南)设匈奴中郎将，监护五部，因此匈奴不少上层人士迁居晋阳，其中一些人以后又迁至曹魏和西晋的首都洛阳。汉化了的匈奴贵族为了证明自己的高贵，以汉高祖刘邦曾与匈奴冒顿单于和亲为由，自认为刘邦之后，取刘氏为姓。这一支匈奴人中的刘渊以西晋末年建立汉国，刘曜建立赵(前赵)。
匈奴是“乱华”的“五胡”之首(匈奴、鲜卑、羯、氐、羌)，而刘氏匈奴又是匈奴中首先建立政权的一支。但如果我们不抱任何偏见的话，就不得不承认，这支“乱华”的匈奴人在文化上与被“乱”的华夏族其实已经没有什么本质上的差别。据《晋书·载记》所载，刘渊(元海)七岁遭母丧后，“擗踊号叫，哀感旁邻，宗族部落咸共叹赏。时司空太原王昶等闻而嘉之，并遣吊赙”。“幼好学，师事上党崔游，习《毛诗》《京氏易》《马氏尚书》，尤好《春秋左氏传》《孙吴兵法》，略皆诵之，《史》《汉》和诸子，无不综览。”哪里还有一点匈奴人的痕迹？就是他习武，也不是继承了匈奴尚武风尚的结果，而是研读《史记》《汉书》受到了启发。他对同门的朱纪、范隆说：“吾每观书传，常鄙随、陆无武，绛、灌无文。道由人弘，一物之不如者，固君子之所耻也。二生遇高皇帝而不能建封侯之业，两公属太宗而不能开庠序之美，惜哉！”(我每次阅读史书传记，常瞧不起随何、陆贾缺乏武艺，周勃、灌婴没有文化。道是由人来弘扬的，有一方面不如别人，当然是君子的耻辱。随、陆二人遇到汉高祖而不能建功封侯，周、灌二位在汉文帝时代却没有崇教兴学，真是太可惜了！)从此他开始习武，并达到“妙绝于众，猿臂善射，膂力过人”的水平。刘渊之子刘和，“好学夙成，习《毛诗》《左氏春秋》《郑氏易》”。另一个儿子刘聪，“年十四，究通经史，兼综百家之言，《孙武兵法》靡不诵之。工草隶，善属文，著述怀诗百余篇、赋颂五十余篇”。刘渊的族祖刘宣是五部匈奴的“左贤王”，但也是“好学修洁。师事乐安孙炎，沈精积思，不舍昼夜，好《毛诗》《左氏传》”。
如果说，这些记载可能出于后人的溢美或蓄意“汉化”的话，我们不妨看一下刘渊即汉王位时发布的文告，这是不可能作假的：
昔我太祖高皇帝(汉高祖刘邦)以神武应期，廓开大业。太宗孝文皇帝重以明德，升平汉道。世宗孝武皇帝拓土攘夷，地过唐日。中宗孝宣皇帝搜扬俊，多士盈朝。是我祖宗道迈三王，功高五帝，故卜年倍于夏商，卜世过于姬氏(周朝)。……我世祖光武皇帝诞资圣武，恢复鸿基，祀汉配天，不失旧物，……自和、安已后，皇纲渐颓，天步艰难，国统频绝。……董卓因之肆其猖勃，曹操父子凶逆相寻。故孝愍(汉献帝)委弃万国，昭烈(刘备)播越岷蜀，冀否终有泰，旋轸旧京。何图天不悔祸，后帝(刘禅)窘辱。自社稷沦丧，宗庙之不血食四十年于兹矣。
完全是以刘氏汉朝的继承人自居，一副为祖宗报仇，兴复汉室的姿态。刘渊称汉王，追尊刘禅为孝怀皇帝，立汉高祖以下三祖五宗神主。当然，刘渊这样做是出于政治目的，但显然已为本族所普遍接受，至少已为上层人士所认同。
由于匈奴曾经活动于东北亚至中西亚的辽阔地带，征服过很多民族，其他一些民族的人口也随匈奴而内迁，如丁零、鲜卑、羯和西域诸族。建立后赵的羯人石勒、建立魏国的丁零人翟氏，他们的先人都是这样迁入中国的。
迁入中原的匈奴人和其他各族，最终都自觉不自觉地接受了华夏文明，与华夏(汉)族相融合，成为中华民族的源头之一。这是当年汉匈双方都想不到的结果，却是中国历史和中华民族史上值得珍视的光荣一页。
