张柬之等畏惧武三思的谗害，因平时见考功员外郎崔湜对武三思也有所愤慨，切责的言词还颇为激烈，便引为知己，作为耳目，让他去暗中探听武三思的动静，以便采取相应对策。
结果，这个崔湜却见李显对武三思很亲密，而倒向武三思，将张柬之等人的情况全部告诉了武三思，成了武三思的一条忠实走狗，并为武三思引荐为中书舍人，成了皇帝的近臣。
而后，武三思又与韦后相谋，要除掉张柬之等几名重臣。
因张柬之官位高，权力大，又受到李显的信任，在社会上又有重大的影响，武三思一开始感到不知从何处下手。
可后来，他手下的谋士郑愔献计道：“您可建议朝廷，以他们四人拥戴复位之功，册封为王，夺其实权。他们一旦手中失去权力，就可以任凭摆布了。”
武三思深以为然，便与韦后按照郑愔所献之计，日夜在李显面前巧舌如簧，诋毁张柬之等人。
武三思向李显说道：“张柬之等人自以拥戴有功，就居功自傲，大权在握，独断专行，将对社稷不利。”
由此李显对四人起了疑心，不再信任。
武三思与韦后二人便进一步向李显建议：“不如封张柬之等人为王，不让他们再参与朝政，这样在外表上是尊重功臣，避免他们的不服气及人们的议论，实际上又夺去他们的权力，不致再专权用事。”
李显这个软耳朵，对武三思、韦后之言无不听从，于是下诏书，封张柬之为汉阳王，敬晖为平阳王，桓彦范为扶阳王，崔玄暐为博陵王，袁恕己为南阳王。
同时免去他们“知政事”，即宰相参政的权力，赐金银绸缎及鞍马，只须于每月初一、十五两日入宫朝拜一次，其余时刻不许进京。
这样一来，张柬之一党在朝中的影响力被削弱大半，对武三思再也构不成威胁了。
而后，武三思又与兵部尚书宗楚客、将作大匠宗晋卿、太府卿纪处讷、鸿胪卿甘元柬等人互相勾结，操纵朝政。
对武氏的祖先，按帝王祖先的礼仪进行祭祀，对武氏祖先的坟墓，按帝王陵墓一样，派官员管理，阴怀篡逆。当时的民间甚至将武三思比为曹操和司马懿。