而更让他失败的是对于赤眉的傲慢、轻视和排斥。
当初，樊崇同郡的逄安，东海人徐宣、谢禄、杨音都各自起兵，合计数万人全部前来投靠樊崇，接着一起攻打莒州，结果没能攻下来，于是又跑到附近的姑幕县进行劫掠。
<div class="contentadv"> 不久竟将王莽所封的探汤侯王况大军击败，斩杀新朝军马一万余人，然后北进青州，放胆在各郡县大肆劫掠，接着又回到泰山郡境内，最后驻留在南城，以为大本营。
起初，樊崇等人因为困穷起事，并没有攻城掠地之计，没想到后来兵马越来越多，为了严明军纪，才颁布了法令：“杀人者死，伤人者自伤以偿！”
但当时只是口头上传令，并没有文书、令旗等仪仗。各地义军最为尊者也只是自称为“三老”（乡长），相互之间泛称为“巨人”，相当于现代的“大佬”。
王莽得知山东一带盗贼猖獗，于是命平均公廉丹、太师王匡率大军征讨，樊崇一时非常兴奋，认为如果这次能够击败朝廷大军，那等于将自己的名号远播于天下四方。
但是面对麾下这些未经战阵的乌合之众，他又不免十分担忧起来，后来他就想了一个办法，传令让所有义军将士把眉毛染成朱红色，于是就打出了“赤眉义军”的旗号。
接着赤眉军与新朝大军决战，新朝军见樊崇兵马皆赤眉如鬼魅一般，吓得魂飞魄散，大败亏输，四下逃散，樊崇阵斩廉丹，又率众杀敌一万余人，追至无盐县，王匡拼命狂奔才得了逃脱，从此樊崇与赤眉军威震天下。
这时赤眉军人马多达十余万人，樊崇挥兵围攻之前久没攻下的莒州，打了几个月还是没有攻下来，部下有人见他骑虎难下，就对他说道：“莒州，本来是大王的父母家乡，何苦要反复攻之呢？”
樊崇自然借坡下驴，赞扬他说的对，于是解围而去。
当时海上女豪杰吕母病死了，她的部众分别投效了赤眉、青犊、铜马三路义军，樊崇得到吕母的人马，高兴得跳了起来，认为这是如虎添翼，后来出兵攻入东海郡，与新朝的沂平府尹交战，结果被打败，死了数千人。
这个时候，樊崇非常沮丧，引兵退去，又流窜到楚郡、沛郡、汝南、颍川四地进行劫掠，而后进入陈留郡，攻下了鲁城，再转入濮阳。
当时南方的绿林义军拥立了刘玄为帝，号为“汉更始帝”，已经攻下了东都洛阳，并遣使招降樊崇。
樊崇本想自立为王，可听闻绿林军人马居然能借着“兴复汉室”之名，攻下了洛阳这样“顶级”的大都市，而自己带着这些乌合之众连一个小小的莒州都搞不定。
于是决定向更始帝刘玄靠拢，便将兵马留在山东，自己带着麾下二十余名将领，随着使者来到洛阳向刘玄朝贺称臣。
在那个群雄并起的年代，关于天下大势其实流传着这么一句话：“得不得在河北，谐不谐在赤眉”，意思就是，得河北者得天下，但是江山坐得安稳不安稳却取决于赤眉军。
一语成谶，这句话提到的两点均在不久后相继被验证了。在河北发迹的刘秀取得了天下，赤眉军被消灭前也确实把当时的局势搅得天翻地覆。
更始政权其实也一帮见识短浅的泥腿子在当政，他们对赤眉军表现出了极其明显的冷漠与傲慢，表示自己是他们高攀不起的，只封樊崇等20几人为列侯，无权无禄。
好家伙，我不远千里来投靠你，伱不给我封个王就算了，连封国也没有，权力也没有，就一个空头的列侯，都是泥腿子出身，你丫看不起谁呢？
再加上，不久山东有人来报说他的部众有很多人已经叛离，这可把樊崇急坏了，樊崇意识到洛阳不能久留，于是不辞而别跑回了山东老家大本营，稳定了军心，接着带兵再次攻入颍川。
在颍川，樊崇又把部众分为两拨，樊崇与逄安自带一支人马，徐宣、谢禄、杨音率领其余人马。
樊崇人马不久攻下长社，又南下重镇宛城，斩杀了宛城县令。而徐谢、谢禄所部也拔取了阳翟，接着杀入大梁，将河南郡太守击杀。
赤眉军两路人马都接连大胜，然而军中厌战情绪却高涨起来，大多数人都是走投无路才加入义军的种地农民。
他们只想夺回自己的耕地，却不想到处疲于奔命，成为亡命之徒，军营之中日夜都有哀愁哭泣声，此起彼伏，很多人都在想着如何回到山东老家。
当然，迟昭平，或者说阿依妹也带人来了洛阳，结果得知刘秀不在洛阳，已经去河北了。
徐异卿询问起来，“将军？那现在怎么怎么办？在洛阳，还是跟着赤眉？”
“先回去，整顿军队，咱们去河北。”
“去河北干什么？”
“投靠刘秀，此人可得天下，刘玄目光短浅，放任手下专权，虽然是有意，但他控制不住，他不是汉武帝，没有那个能耐，手下烧杀抢掠，军纪涣散，难成大事，更不好好笼络樊崇的赤眉，简直是自寻死路。
至于樊崇，也是只知道抢，没有固定的地盘，目光短浅，成不了大事，他们纵容能猖狂一时，但过不了多久，必然会被灭掉的，大浪淘沙呀。”
张子实雀雀欲试，“那将军不如带领我们自己杀出一条路来？”
“难呀，目前可有女子当天子乎？你们能接受，你手下的人能接受？而且我志不在此，刘秀我是必须看，看是不是他。”
阿依妹的目光望向北方，幽幽的美目之中带着沧桑。
“他是谁？”
“一个故人，一个能让汉武帝害怕的人。”
阿依妹没有多言，带人离开长安了，回头望了一眼长安，心中喃喃自语：“长安啊，长安呀，我会回来的，兰陵侯府已经是废墟了，我重建就行，可我们回得回去吗？”
人呀，有时候，总是失去才感觉后悔，得到了反而不屑一顾！