秦军第一路进展顺利，出兵当年就攻下东瓯和闽越地区，秦始皇随即在此地设置了闽中郡。
但是，其余四路由于山高路险，河道中断，秦军在行军及军粮运输上都出现了极大的困难，因此战争相持了三年也未能取胜。
<div class="contentadv"> 当时的百越自然比现在南越大得多，环境也更恶劣，是真正的蛮荒之地，原始森林密布，人烟稀少，能出战的越人估计只有秦军的十分之一。
秦军虽然在兵力上和装备上都占有绝对的优势，但是艰苦的环境令秦军产生了前所未有的压力，这些来自西北的秦军不适应南方炎热的气候，在远征时又遇到瘟疫在军队里横行，部队的战斗力大打折扣。
而百越军以西瓯军为主力，他们在百越部落联盟首领译吁宋的率领下进行顽强的抵抗，与秦军相互进行了极其惨烈的激战，导致秦军举步维艰，迟迟不能进入西瓯（广西）之地。
甚至在译吁宋战死后，百越军又马上选出新的首领桀骏，这是一位善于山地作战的游击将军，他充分发挥地理优势，敌疲我扰，敌进我退，敌驻我打，率领百越军全线进入山地和丛林与秦军继续作战。
屠睢面对百越军的顽强抵抗，极为生气，秦始皇也很生气，各种压力之下，屠睢对百越部族的政策是残酷的血腥镇压，全部杀死……
这一切的一切，更激起了百越人的愤怒，他们甚至不惜与野兽为伍，放弃家园，隐蔽与山林中，时不时的偷袭秦军，让人防不胜防，更切断秦军的粮道，使秦军的处境越发困难。
战争的转折点出现了，秦始皇二十五年（公元前216年），在某一个寻常的夜间，屠睢率军深入西江畔的三罗地域（今乐昌曲江一带），途经一片大树林时，被早已埋伏在树林里的土人一阵乱箭狂射，屠睢身中两支毒箭，从马背上跌落，当场阵亡。
由于秦军失去统帅，他们顿时大乱，百越军乘机返攻，大秦士兵节节败退，被射杀了许多，几乎快要全军覆没，这一仗，秦军“伏尸流血数十万”。
《淮南子·人间训》中说，迫使秦军“宿兵无用之地，进而不得退”，惶惶不可终日。
秦军在首次出征百越的战争中，阵亡的人数大概在三十万上下，剩下的二十万人在屠睢阵亡后，全部退到了两广的北部边界一带。
第一次征服百越的战争，以大秦的完败而告终……
“我知道你们担心什么，可我大汉不是大秦，南越也不是百年前的百越，想当年我和霍哥带领上万骑兵，就横扫河西，被敌人围追堵截，浑邪王再追，休屠王也再追，我们只剩下3000士兵，几次差点全军覆没，不一样过来了，怕啥？什么场面我没有见过，就这样决定了。”
他能丢霍去病的脸吗？不能，坚决不能。
“诺！”几人无奈答应。
于是，几路大军都留下副将，分别装作猛攻三关，吸引正面的南越大军，而其他人都带着几千人开始穿插，向着番禺围攻而去。
不仅如此，刘瀚还一路让人散播番禺已经被攻破，南越王赵建德和丞相吕嘉被诛杀的消息，一时间南越人心惶惶。