后来有人对王允说：“凉州兵素来害怕袁绍，畏惧关东官兵，如果派关东官兵去收编，凉州兵人人都会担心性命不保，很容易引起兵变。不如任命皇甫嵩去担任凉州兵统帅，并长期留在凉州，以便安抚军心。”
王允坚决反对：“这样绝对不行。关东官兵是反董卓义军，与我们同一战线。现在董卓已死，如果董卓旧部继续屯驻险恶之地，虽然安抚了凉州军队，但关东官兵将领会疑为慢待，以至心灰意冷。”
李傕、郭汜、张济、樊稠等董卓旧部率兵屯驻陈留、颍川诸县，闻董卓死讯，回到陕西。
牛辅已死，无所依从，又闻长安城中凉州人尽被诛杀，只得拥兵自守，却又不见朝廷赦免诏命，便使人到长安上表求赦。
王允说：“董卓之所以如此张扬跋扈，都是因为有这四个人相助。今虽大赦天下，唯独不能赦免这四个人。”
李傕闻报：“请求赦免不允，不如解散，各自逃生。”
谋士贾诩说：“若解散单行，仅就一个亭长之力就可擒获。不如传言凉州，激起民愤，再加上本部军马，杀入长安替太师报仇。如能成事，拥戴朝廷以正天下；如果失败，再解散逃生不迟。”
李傕采用贾诩建议，广泛散布流言。
凉州百姓听到王允想解散凉州军队风声，便到处传言，说王允要杀掉所有凉州人。
一时之间，整个凉州人心惶惶，一片惊慌。
凉州军队将领本来就成了惊弓之鸟，对自己的前途深感忧虑，当他们得知王允要削夺他们军权，解散凉州军队消息后，更是惊慌。
绝望的凉州将领寻思：反正都是一死，不如死个痛快。
于是迅速召集所属军士，严阵以待，准备见机起事，并且互相传告：蔡邕只不过受了董卓的一点厚遇而已，王允便不分青红皂白把他杀了。对于我们，不仅没有丝毫赦免意思，反而想置于死地。除了联合起来，别无选择。
李傕、郭汜见时机成熟。将所有凉州兵集合起来，共有十余万众，杀奔长安。
王允慌忙派遣胡轸、徐荣在新丰（今陕西临潼东北）组织长安保卫战。
可惜由于朝廷刚刚平息内乱，仓促间不能有效抵抗拼死一战的凉州军，徐荣战死新丰，胡轸率众投敌。
李傕、郭汜率兵直至长安。
东汉官兵不堪一击，十日内长安便被攻陷。
吕布慌忙领兵出逃，在青锁门外碰到王允，招呼一同逃走。
王允断然拒绝：“安定国家，是我最大夙愿。如果先帝及祖先在天有灵，能赐福社稷，保佑国家平安无事，吾就心满意足了。若不如愿，当奉献生命，以死来报效朝廷。今皇上年纪幼小，少不更事，依靠我等辅佐。朝廷大难临头，如果弃下皇上，只顾自己逃命，决不能为。吾身为重臣，不仅不能使国家平安无事，反而导致逆贼反叛，责任重大啊！请你出城以后，多多鼓励关东豪杰，常常念及皇上，以国家为念。”
说完，便扶汉献帝逃到宣平城楼躲避。
李傕、郭汜杀入长安，屯兵南宫掖门，诛杀太仆卢馗、大鸿胪周奂、城门校尉崔烈、越骑校尉王颀及不可胜数的官吏百姓。
李傕等来到宣平门望见黄盖，约住军士，口呼“万岁”，跪拜叩头。
献帝依偎在门楼上问：“卿没有宣召，擅入长安，放兵纵横，作威作福，意欲何为？”
李傕说：“董太师乃朝廷社稷大臣，忠于陛下，而无端被王允、吕布谋杀。臣等只是前来报仇，不敢叛逆造反。只要见到王允，为太师报仇，臣便退兵，并到廷尉那里领罪，接受惩处。”
王允在献帝身旁，闻听此言对献帝说：“臣为了国家杀了董卓。事已至此，陛下不必顾惜为臣，耽误国家大事。臣请下去见贼。”
献帝徘徊不忍，只听王允大呼一声“王允在此”，即从门楼上跳下。
李傕、郭汜按剑怒叱：“董太师何罪被杀害？”
王允说：“董贼罪恶，罄竹难书。被诛那天，长安士民皆相庆贺，难道没有听说吗？”
郭汜说：“太师有罪，我等何罪？却不肯赦免。”
王允大骂：“王允只有一死，逆贼何必多言。”
李傕、郭汜愤起，把王允诛杀楼下，抛尸于市，又诛杀妻儿宗族十余人，长安城中士民多为之痛哭流涕。
罗公引史歌赞王允说：“王允运机筹，奸臣董卓休。心怀家国恨，眉锁庙堂忧。英气连霄汉，忠诚贯斗牛。至今魂与魄，犹绕凤凰楼。”