壶关的高干发现自己被围攻了，立刻心慌的选择了撤退，向北撤到了铜鞮县，过涅县，返回太原郡。
高干之前一直都在太原郡，所以他第一时间就选择北上逃回太原郡。
曹操和张郃合兵一处，紧跟着高干杀入了太原郡，在祁县停留下来。曹操派出将张郃、乐进派出去攻打晋阳。
高干之前一直在太原作威作福，很多人都很不满，一路都有人投降。于是曹操的军队势如破竹，直接就进攻到了晋阳城下，高干的军队在逃回来的时候就消散了大半。一路上都有人在投降给曹操，高干只剩下七八千人，而且这些人也都不愿意给他卖命。
乐进指挥攻城，很快就攻破了晋阳。高干只好带着心腹部队再一次逃离了晋阳，向西逃去。
高干的威胁已经清除了，曹操就决定返回邺城，留下乐进和张郃清除并州。他返回邺城之后，立刻派出了黑山张燕进军并州，帮助清扫山匪。并州多山，张燕很有山地作战的经验，所以曹操才将他派过去。
张燕的号称黑山贼，不过这个黑山并不是特指某一座山，而是很多常山、赵郡、中山、上党、河内等郡的山的统称。张燕的黑山军就是这些地方的山贼的统称，是他们的联合体。在曹操攻下邺城的时候，张燕就投靠曹操了，被封为平北将军。不过一开始曹操对张燕并不是很信任，让他带兵驻防邺城，这里面有让张郃监视张燕的意思。
经过一年多的观察，曹操才算对张燕有了一定的信任。这和张绣还是有一些关系的，曹操手下属于一方势力的投降者有不少，但是就张绣和张燕最特殊，因为他们投降之前都是诸侯。张绣之前的表现非常好，也给张燕争取了不少印象分。
张燕进入了太原郡，和乐进、张郃一同攻略并州。乐进去追击高干，张郃也向西进攻西河郡，张燕北上雁门郡。
高干一路西逃到了南匈奴王庭，向南匈奴的单于呼厨泉寻求庇护。
呼厨泉自从河东被打败之后，就对曹操心存畏惧。他虽然对曹操没有什么忠心，但是却惧怕曹操找他麻烦。所以他就拒绝了高干，高干没有办法，只好再一次逃跑。
这一次高干选择了像荆州逃跑，他的消息有点落后，还以为荆州是刘表的地盘。刘表和袁绍是有交情的，之前还派人劝说过曹操，并且给袁尚、袁谭写过信，劝阻过两兄弟相争。
到了河东郡濩泽的时候，正好赶上张白骑进攻东垣县，于卫固、张晟响应，和河东太守杜畿对抗。高干和卫固、张晟攻打杜畿，僵持不下。这个时候张既再一次向马腾求援，和钟繇的兵马和在一起，打败了高干等人，擒杀了卫固、张晟。
高干兵败，再一次南逃，结果被司隶校尉王琰擒杀，首级被送到了许昌请功。