出去十多天，方才从匈奴营中回来，刘邦带领诸将亲自迎接，汉军帐内，君臣叙礼完毕，刘邦这才问道：“今匈奴情况是否如前几个探兵所说的那样？”
娄敬略作思考，很认真的回答道：“确实如此，但依臣愚见，两国交兵，并非这般怯弱，反而该显示自己的长处，但现在我去那里，只看到瘦弱的牲畜和残弱的士兵，这一定是故意显露自己的短处，而埋伏奇兵来争取胜利。”
“因此臣愚见，匈奴目前是不能攻打的，不若再行观测，想必匈奴见我军不动，自会撤军，何必急于一时。”
然娄敬回来的时候，汉朝军队已经越过了句注山，二十万大军已经出征。刘邦听了娄敬的话非常恼怒，不顾众人脸面，当即对着娄敬骂道：“你这个齐国的下贱人士！凭着两片嘴捞得官做，现在竟敢胡言乱语阻碍我的大军，是何居心，前些时日，派出诸多探兵，都说可以攻打，唯独你张口闭口不能出战，当真该死。！”
然而念在他是功臣，再说大军出发，杀人影响士气，于是就用镣铐把娄敬拘禁起来押在广武县，准备凯旋后进行处罚。
因此，刘邦觉得前几人说的有道理，便亲自率骑兵先到达平城，然而汉军分为骑兵和步兵，虽然骑兵已经赶到，但汉军步兵还未完全赶到，全部滞留在后方，冒顿单于见汉兵蜂拥赶来。只有骑兵，心中大喜，便在白登山设下埋伏。
刘邦等人以为匈奴只有老弱病残，也就未等待步兵，首先带领兵马进入白登山入口，而匈奴士兵发现刘邦进入白登山之后，冒顿单于马上指挥数万匈奴大军，先截住汉军步兵，将刘邦的兵马围困在白登山。
使得汉军内无粮草、外无援兵，不能相救，刘邦发现被包围后，心中惶恐，当即组织防守，召集诸将议事，虽然汉军步兵在外，但是丝毫不敢轻举妄动，毕竟老大在山中，群龙无首，匈奴右贤王当下便带兵，竟将汉军冲散，多数逃回中原，从而使得刘邦心中万念俱灰，犹如当年雎水被围一般。
帐内的刘邦心中略有悔意，没有听从娄敬之言，使得汉军被围，“今汉军如此，诸将有何办法？且天寒地冻，若不赶紧出去，恐怕士卒十不存一。”
夏侯婴见状，首先出列道：“启禀陛下，臣愿意带领士兵突出重围，开出一条逃生之路，还望陛下恩准。”
然而此刻的刘邦并无他法，只得依言而行，便给了夏侯惇五千骑兵，说来当时情况也算恶劣，匈奴境地飘起大雪，夏侯惇虽然有几次冲出白登山，但四周皆是白雪，难以寻找出路，饶了一圈，只能又回到白登山，而且这几次下来，损失汉军骑兵数千人。
刘邦见夏侯婴能够冲出突围，心中大喜，遂自己带兵欲要冲出匈奴包围，可是经过几次激烈战斗，也没有突围出去。
原因很简单，当初夏侯婴穿的是将军服侍，匈奴首领冒顿单于并不是很重视，由他左冲右撞便是，反正只要刘邦在山中，你身为臣子，出去又能如何，而且夏侯婴出去之后，没有半点用处，让冒顿单于也没有想到，他这小子来回几次，又回到山中去了。
之后几次，冒顿单于也曾率领骑兵从四面进行围攻，大致阵型就是，四面匈奴骑兵，西为清一色白马，东为清一色青马，北为清一色黑马，南为清一色红马，企图将汉军冲散。结果，双方损失很大，于是乎，冒顿便只围不攻，与汉军僵持。