徐树铮太跋扈了，和他共事也实在是太难，就连张国淦这样能够忍让的人，也无法和他相处。张国淦于民国五年八月一日坚决辞去总统府秘书长的职务，由丁佛言继任。
丁佛言（1878—1931），原名世峄，字桐生、息斋、芙缘，号迈钝，别号黄人、松游庵主、还仓室主，黄县宋家疃人。近代著名书法家、古文字学家、社会活动家。
他自幼聪颖好学，酷爱书艺，十九岁为县庠生员、补廪生。戊戌变法失败后，他痛心疾首，趋向革新。自剪辫子，动员妻子放足，遭父训斥。负气出走，一九零四年就读于济南省师范学堂（今山东省师范学校）。一九零五年八月官费东渡日本，当年十一月入东京法政大学速成科学习，为第四期学生，与沈钧儒同学。一九零七年五月学成归国。后执教于山东法政学堂。
一九零八年积极参与了同盟会领导的山东保矿会，反对德国侵占山东矿区。一九零九年(宣统元年)当选山东省咨议局议员，开始从政。
武昌起义爆发，同盟会山东支部主盟人徐镜心等草拟山东独立大纲七条，要求山东响应共和，脱离清廷，宣布独立，丁佛言积极参与。
时年十一月七日省城同盟会员等革命党人与绅商学各界人士集会，宣布取消省咨议局，成立山东省各界联合会，作为省立法和监督行政的最高机关，推举夏莲居为会长，丁佛言为秘书长。
中华民国成立，南京临时参议院迁北京后，他当选为北京临时参议院议员，为庶政委员会委员。正式国会成立后，又被推举为第一届国会参议院议员。丁佛言程参与了《天坛宪草》的起草工作。进步党成立，被选为党务部长。后脱离进步党，成立民宪党。主编《中华杂志》。
以笔名“善哉”撰文针砭时政，反对专制，为袁世凯所忌恨，被誉为为新闻界三杰之一（另两名为黄远生和刘少少），他的文章有较大影响的是《民国一年来之政党》、《民国国是论》。
丁佛言本是个强硬之人，霸气纵横，笔锋锐利，又素喜打抱不平，早就看不惯黎元洪这个总统被人欺。鉴于张国淦的教训，对徐树铮采取寸步不步的态度，一上任便提出府院办事手续草案。
建议：“大总统得出席阁议发表意见，但不得参加表决；大总统对国务自由行使其职权。如用人不同意，得拒绝盖印。阁员应随时向总统面商要政，国务会议前须将议事日程陈报，会议后须将议事纪录呈阅。”
黎元洪和总统府自丁佛言入幕后，声势一振。一直忍气吞声的总统府人员，如哈汉章、金永炎、黎澍、蒋作宾等，也强硬了起来，都群起而呼应丁佛言。
段祺瑞本来因黎元洪时不时的过问一些事就烦得要死，怎能受得了这一套。便撂起了挑子，请假不视事。
后经徐世昌等说和，段祺瑞才稍稍做出让步，于八月廿六日手谕徐树铮：“本院呈请大总统核阅文件，应责成该秘书长躬自递呈，用印后赍回，无论风雨黑夜，不得假手他人，以昭慎重而免差异。”
同时有文呈报黎元洪：“逐日文件，均由树铮躬递。该员伉直自爱，不屑妄语，其于面对时，凡有声明为祺瑞之言者，祺瑞概负责。”
对有关府院权限问题，亦议定折衷办法如下：
（一）国务会议议事日程先期呈阅，事后送呈议事纪录；
（二）国务会议散会后，推国务员一人入府报告议决事项；
（三）每星期五，国务员齐集总统府会商政务。举行聚餐；
（四）总统对国务会议议决案如有认为不合者，得命总理及主管阁员说明其理由，如仍认为不合，得交复议一次；
（五）未经国务会议议决之命令，总统得拒绝盖印。
府院职权因此明确划分，这样一来，总统府和国务院的矛盾，得到了一定的缓解。
徐树铮不只和总统府秘书长对立，在国务会议中也引起了极大的麻烦。在第一次阁议中，内务总长孙洪伊就和徐树铮吵了起来。这便是我们前边提到过的“阁潮”，
照法理讲，国务院秘书长只能列席内阁会议，并无发言权。那次阁议中，讨论到广东李烈钧和龙济光的纠纷，徐树铮主张电令闽、粤、湘、赣四省会剿李烈钧。孙洪伊主张去电和解，其他阁员皆赞成孙的主张，不过为了段的面子，没有制止小徐发言。
徐树铮竟于阁议后，将会剿李烈钧的电报拍发，待四省复电国务院，阁员们才知其事。孙洪伊遂在阁议席上指责小徐，小徐也反唇相讥，两人几乎拍桌吵闹。后因段祺瑞袒护小徐并主动承担责任，阁员们顾及段的面子，才未过于追究。
总统和国务院职权划分后，国务院大权几乎集中于徐树铮之手。不止孙洪伊不满，其他阁员也不满意。不久发生了任命郭宗熙为吉林省长和查办福建省长胡瑞森案，遂使内阁的火.药气氛接近爆炸。
这两案都是徐树铮擅行决定，得段同意办理，既未经阁议审查，又没有主管内务总长副署，徐即以国务院名义径行咨复国会。