此时，曹操认为董卓焚烧宫室，劫迁天子，海内震动，应当趁机与之决战，遂独自引军西进。
曹操行至荥阳汴水，与董卓大将徐荣交锋，不敌，大败，士卒死伤大半，自己也被流矢所伤，幸得堂弟曹洪所救，因此幸免于难。
回到酸枣后，曹操建议诸军各据要地，再分兵西入武关，围困董卓，关东诸将不肯从。
关东诸军名为讨董，实则各怀鬼胎，意在伺机发展自己势力。
不久，诸军之间发生摩擦，相互火拼，联军至此解散。
初平二年（9年），曹操在东郡大败于毒、白绕、眭固、于扶罗等。
于是，袁绍表其为东郡太守。
初平三年（92年），青州黄巾军大获发展，连破青州、兖州治下的郡县，阵斩兖州刺史刘岱。
济北相鲍信等人便迎曹操出任兖州牧，曹操和鲍信联军进攻黄巾，鲍信战死。曹操设下埋伏，昼夜会战，终于将黄巾击败。
当年冬天，曹操获得降卒三十余万，人口百余万。曹操收其精锐，组成军队，号“青州兵”。
随后，曹操又帮助袁绍，打败公孙瓒部将单经，以及陶谦诸军。
自此，曹操崛起于中原，成为了一方实力派诸侯。不仅获得了兖州作为地盘，还拥有了一支强大的军队。
期间，曹操又提拔于禁、乐进、典韦、许褚等人于行伍，又得到了诸如程昱、戏忠等名士的效力。
初平四年（93年）春天，曹操在匡亭六百里进行大追击，大破袁术、黑山军、南匈奴的联军。
徐州牧陶谦率军攻入兖州南部的任城，曹操率军击退陶谦，又进兵徐州，向东南扩展势力，并攻克徐州十余城。
兴平元年（94年）春天，曹操的父亲曹嵩和弟弟曹德在前来投奔曹操的途中，被陶谦派兵杀害。
夏天，曹操准备替父弟报仇，再征徐州，略地至东海。
曹操征徐州期间，所过之处多有屠戮，杀害男女数十万人，鸡犬不留，泗水为之断流。
东郡太守陈宫因此对曹操不满，于是与陈留太守张邈、张邈之弟张超、从事中郎许汜及王楷等同谋叛乱，迎吕布为兖州牧。
当时，整个曹操的治下，只有鄄城和东郡的范县、东阿尚在曹操的掌握之中，分别由司马荀彧和寿张令程昱、东郡太守夏侯惇等坚守，形势异常危急。
曹操从徐州赶回，听说吕布屯于濮阳，遂进军围攻濮阳。
两军相持百余日，又蝗灾大起，于是双方停战，曹操退回鄄城。
此时，曹操失去了兖州，又军粮尽失，陷入了事业的最低谷。袁绍便派人来劝说想让曹操投靠他，让曹操举家迁到邺县当人质。曹操本打算答应袁绍，多亏程昱劝阻，曹操这才打消念头。
这一时期，曹操的地盘只剩下三城，军队疲惫，粮草不足，幸好手下还有一群对他忠心耿耿的文武，一直陪伴曹操左右。