靳丈二金刚摸不着脑袋，一叠声喊冤枉，他说：“我怎么会求助外力，我绝不是这种忘恩负义的小人。”
段听了更为生气，就在抽屉中把张作霖的来信拿出来，大声说：“你说没有，这是什么东西，还要在我面前撒谎。”
靳接过来一看，正是自己亲家的来信，信中是替自己讲话，不是求助外力是什么？便哑口无言。
段则怒冲冲地说：“你告诉张作霖，他是什么东西，越来越不成体统了，公然敢干涉北洋派的家事，他配算是北洋派的人吗？他是什么出身？他怎么有的今天？他不过是个马贼，我不提拔他就能有今天吗！简直不知轻重，越来越不像样了。”
靳站在段的面前，走也不是，坐也不是，一直等段骂够了才鞠躬而退。
段祺瑞这次真的动了肝火，他不只对靳云鹏生气，甚至连徐树铮也不接见，避居团河，宣称此后不再过问内阁的事。
三月二十七日张作霖在沈阳作寿，同盟各省的督军均派代表前往祝寿，同时开了一次秘密会议，决定三点：
（一）拥靳云鹏留任国务总理，不反对段祺瑞。
（二）安福系卖国祸国，应予解散。
（三）安徽督军倪嗣冲久病不能视事，推荐张勋为安徽督军（张勋亦是张作霖的亲家）。
到沈阳寿的各省督军代表外加张作霖的代表，在沈阳会议结束后一同前来保定，来到曹锟的大本营。他们名义上是参加保定举行的追悼直军阵亡将士会，而实际上则是应曹之召，参加保定会议。
保定会议与沈阳会议大同小异，也决定了三点：
（一）拥靳云鹏留任国务总理，不反对段祺瑞。
（二）赞成直军撤防北归，但须责成吴佩孚与南军有一默契，保证直军撤退后，南军不乘机前进。
（三）宣布安福系卖国祸国的罪状，勒令解散。
从沈阳会议和保定会议的决定中，可以看出奉系和直系虽然联盟，但在各自利益上并不互相支持。张任霖想支持其亲家张勋重回安徽，扩大自己的势力，曹锟则关心直军撤防问题。
段祺瑞避居团河后，闭门谢客。他在北京时，徐世昌和靳云鹏感到事事段都要过问，不胜其苦。现在他去团河不问一切后，徐、靳又感到极为不方便。因此再三再四邀请他回到府学胡同私邸，以便就近承教，段坚决谢绝。
徐世昌只好请在正定隐居的北洋元老王士珍到北京来调停政潮。
四月四日王士珍去团河访段，王对段说：“靳翼青（靳云鹏）是你的人，他们拥护靳内阁，岂不就是拥护你，你生什么气呢！”
段听了觉得也有道理，四月七日曾一度回到北京来。什么事都没干，反而一直被安福系的人包围，报告他的都是一些恼人的消息，一气之下他于八日又回了团河。
奉系和直系虽然口里不讲倒段，但他们深知，不搞倒段祺瑞他们将一事无成。而要倒段就要付诸行动，就要有实际行动者，这个使命自然而然地落到吴佩孚身上。
吴佩孚的第一步行动就是撤防北归。
三月上旬，吴佩孚派人把他部队的眷属七百余人护送北归，下令禁止兵士不得无故请假，不得向商人赊欠，不许擅取民间一草一木。并电请张敬尧准备派兵接收直军的防地。其实他已暗中和湘军有约，一俟撤防，就由湘军来接防。
段祺瑞知道此事态严重，三月十八日他秘密地来到保定，请曹锟制止吴佩孚自动撤防。
同时又授意北京附近的驻军五个师长曲同丰、陈文运、魏宗瀚、李进才、刘询等联名通电，借口营房不足，拒绝直军吴师移驻北京。
这时吴佩孚已派参谋王伯相到北京，料理驻兵地点。王伯相到北京后便把实际情形电吴，所有兵房都被边防军驻守，吴为之大愤。
吴佩孚衡阳撤防是个极重大的事件，不但对当时国家局势的走向影响极大，对吴本人的人生也具有决定性作用。
当时局外人都替吴担心，认为他孤军久戍，要从数千里外冒险北归，实在是一个大胆的尝试。可是他却从容不迫，就像关云长千里走单骑。
其实对于撤防问题，吴佩孚是经过缜密的考虑的。由衡州到保定虽然是一条漫长的路，但只有张敬尧的地盘属皖系的势力范围，而吴佩孚根本不把张敬尧放在眼下。由长岳过湖北到河南，是王占元和赵倜的地区，王、赵都已加入八省同盟，一般不会遭人算计。