大历十一年（776年）八月，都虞侯李灵曜在汴州（今河南开封）叛乱，他杀死兵马使、濮州刺史孟鉴，并勾结外部势力田承嗣，企图控制汴州、宋州。<r/>
<r/>
九月，朝廷诏命淮西、永平、河阳三城、淮南、淄青五镇出兵讨伐李灵曜。<r/>
<r/>
永平节度使李勉令刘玄佐率领永平军主力前去平叛，刘玄佐进兵神速，他趁李灵曜身在汴州并无防备，偷袭宋州（治宋城，今河南商丘）得手。<r/>
<r/>
至此，李灵曜所控制的汴宋二州已失其一。李灵曜连战失利。十月，即被诸镇兵围困于汴州城内。<r/>
<r/>
外部势力田承嗣见李灵曜危在旦夕，即派田悦率兵火速救援。田悦率兵南下，于刘玄佐老家匡城击败永平、淄青两镇兵，并乘胜向汴州挺进。<r/>
<r/>
不料在汴州城北安营后，夜间遭淮西裨将李重倩率轻骑数百袭击，大杀一阵，营内惶恐不安，此时刘玄佐率永平军赶到，与淮西节度使李忠臣、河阳三城使马燧合兵一处乘机进攻，田悦军不战而溃，损失惨重。<r/>
<r/>
李灵曜绝望无救，连夜出逃，逃跑中被俘，被送往京师处斩。次年，也就是大历十二年（777年）朝廷将宋州隶属于永平军辖下，经李勉奏请，授刘玄佐为宋州刺史。<r/>
<r/>
唐德宗建中二年（781年），刘玄佐又被加封为御史中丞、宋亳颍节度使、宣武节度使，建号宣武军。<r/>