元丰八年（1085年），宋神宗去世，其幼子宋哲宗继位，反对变法的高太皇太后垂帘听政，旧党因此被启用。因为曾经攻击市易法，曾布复官为翰林学士，又升为户部尚书。
司马光执政后，令曾布改变役法，曾布推辞说“免役法的法令条文都出自于我，如果让我来立刻改变，从道义上讲绝不能做。“曾布因此贬官外放。
宋哲宗执政期间，曾布极力支持章惇继承新法的主张。
章惇处罚那些旧党成员，曾布也在其中多有陷害。
章惇为获得士大夫的支持，推荐名士彭汝砺、陈瓘、张庭坚等人，又请求恢复被削夺的司马光、吕公著的赠谥，并保护二人的坟墓和墓碑，曾布却加以反对并认为这是无益之事。
可以说曾布对司马光的仇恨不比在场的其他人来得少，但是他引用了司马光的话来证明自己的话，就犯了一个很大的错误。
蔡京抓住了这一点，来对曾布进行猛烈地攻击，说他其实就是隐藏在新党中的旧党分子，又拿出当年曾布背叛新党，曾经攻击市易法一事大说特说。
曾布也是不甘示弱，背叛新党，你蔡京又不是没干过，将当年蔡京被司马光拉进自己的小圈子一事重提，展开了反击。
既然都展开了人身攻击，双方都对着对方的痛处捅去。
现任工部侍郎的何执中乃是蔡京亲信，更是当众指责曾布人品有问题。
据何执中所言，当年曾布在海州怀仁做县令时，其手下有一位姓张的监酒使，他家的女人死得早，家里仅有一个年仅七岁的女儿，一个男人拉扯个女孩子，自然没有那么精细，小女孩那种怯生生的模样看着让人心疼。
这个女孩儿虽然身世可怜，但看着聪慧可爱，曾布的夫人魏玩一见这个女孩儿，就喜欢上了这个姑娘，她将之收为义女，并教她诗书识字，而这个小女孩儿也十分好学，渐渐地她也能够开始吟诗作赋起来。