就任吏部郎之后不久，也就是嵇康被害后不久，山涛很快辞职不干，并且从史书上消失了。在舆论纷扰的时候，他明哲保身地带着对老朋友的怀念过了一段隐居生活，暂时淡出政坛是为了更好地回来：山涛做了一个决定，在禅代不可阻挡地来临之后，他顺从社会的潮流，但是他要和而不同。他要选择一个合适的伙伴，划清他和贾充之流的界限。
山涛再次出山，是司马昭亲征攻打在蜀国叛变的邓艾，派给了山涛看家的任务，以从事中郎的职位加了一个行军司马的头衔，给了五百个兵，让他去邺城看着曹氏的王族。
看着是对山涛委以重任，实际上是在试探山涛投靠的忠诚度。司马昭亲征邓艾，首都的亲曹派有可能从邺城的王族中扶持一个傀儡出来打着拨乱反正的名义武装政变。司马昭的意思很明白：给你五百兵，给你和姓曹的们行一个方便，反不反随你。实际上对于山涛的不敢，捏了个稳瓶：山涛不会反。五百个士兵，根本不管用。司马昭父子篡权靠的是皇家禁卫军，掌内军的中领军，中领军手下有五校、武卫、中垒三营。在曹魏最后的小皇帝曹奂时代，司马昭把都督外军的中护军和中领军的职责合并，负责软禁小皇帝和割断他和邺城王族的联系。
此时，担任中领军的是羊祜。羊祜是司马师老婆羊徽瑜的亲弟弟。所以，真正坐镇的是司马家自己的人，而山涛不过是为了曹家的人心里好受些被派过去做吉祥物的。这点山涛心里也明白，于是老实规矩地完成了工作。司马昭回来之后很赞赏老老实实没干坏事的山涛，在接下来的立储一事上询问了他的意见，标志着山涛进入了政治的核心圈。
司马昭亲征回来不久就晋升为晋王，最后一步从王到皇，他似乎并不急于完成。他倒是很着急立储的事情——焦点落在了储君到底选择大儿子司马炎，还是选择过继给司马师的二儿子司马攸。司马攸的人气很旺，因为司马师曾经说过，我的这个位子，将来是小攸的。司马攸的行事很正统，温良恭俭让，符合书生们的口味。按自己的喜好，山涛会选司马攸。
但是，揣摩一下司马昭的想法，事情不那么简单。司马攸名义上是儿子，但其实是侄子，没有谁愿意把侄子举在肩头送上皇帝的宝座，留儿子在下面干看着。司马师可以高风亮节把位子传给弟弟司马昭，司马昭也能发扬风格把位子传给侄子司马攸，但是司马攸呢？也传给哥哥司马炎，造成一个诡异的之字传位法？传给哥哥，司马昭那么多儿子，凭什么司马炎当得皇帝，别人当不得？传给儿子，司马炎要心里不平衡。必然的结果就是大家打得你死我活，这是西晋惠帝时代发生八王之乱的根本原因，司马炎犹犹豫豫没把事情做绝，结果惹出大祸事。
围绕着立炎还是立攸，朝上又差点打起来，何曾、裴秀都主张立炎。最激烈的是何曾，颇有不立炎就回家种田的决绝。这几个人，都是贾充一派的，事功集团的老顽固，专打小名士。山涛却又一次低眉顺眼地从了充党，他的意见冠冕堂皇却又包含了这些潜藏的考量：立长是古训。似乎，昔日的名士山涛在进入司马氏政府之后立刻融入圆滑与权宜中，销声匿迹了。山涛的“窝囊废”行为颇使名士们不满，但是不久，他们的注意力很快就转移了，名士阵线又有了新的代言人，羊祜。这个司马师的小舅子，重情义，有风仪，因为在司马氏的禅代过程当中执掌禁军，立了大功，晋朝建立后很快升到了尚书左仆射的位置，与此时任尚书令的贾充几乎势均力敌。他们两人本来都是司马氏的死忠派，但是在到底要不要攻打吴国的问题上，产生了巨大的分歧。羊祜主战，贾充死不肯战。所以，羊祜和贾充的针锋相对，让原先指着山涛替他们出气的名士们通通转移到了羊祜门下。山涛太“怂”，他们摇摇头，不再对山涛抱有任何期望。
但羊祜在中枢任职时间很短，尚书左仆射的位置坐了不到一年就被派到南方去准备伐吴军事。司马炎看似积极准备南下伐吴，但是贾充在朝中依然没有放弃劝他停止的努力。贾充近水楼台好吹风，羊祜显然占不到优势。但奇怪的事情发生了：在羊祜外任的这些年，朝廷里反对贾充的浪潮像是有严密的准备似的，一波接着一波。
先是陕甘一带被匈奴骚扰，司马炎有点紧张。门下省的头儿任恺这时候建议说，要选一个聪明又有威望的重臣去压阵，顺便安抚一下少数民族。司马炎一想，不错。问人选，任恺马上说，没有谁比贾充更合适的了——谁让贾充总是反对羊祜伐吴，每回都说，陕甘一带老是吃败仗，没条件两面开战。司马炎一想，如果贾充能解决这个问题就再好不过了，同意。于是任命贾充都督秦凉二州诸军事，并西镇长安。贾充这下哑巴吃黄连，聪明反被聪明害。但是公务员得有公务员的职业道德，总不能说我不去吧？赶紧找他的好朋友荀勖商量，荀勖给他出了个狠招：太子不是要选媳妇吗？让你女儿去竞选嘛，选上了总不能这边办喜事那边国丈公出去打仗吧？贾充于是在这事情上下了大功夫，终于把贾南风给顺利地送进了宫，也化解了自己被任恺踢出政治中心的进攻。
这之后，任恺和贾充暗地里的互掐没有停止，没过多久，在一次酒宴上，一个叫庾纯的人忽然撒起酒疯问贾充：“高贵乡公何在？”“高贵乡公”就是被贾充指使人杀死在大街上的小皇帝曹髦。这等于指着鼻子骂他无父无君。贾充很生气，立刻就把庾纯抓住了。要不是司马炎的发小羊琇护着庾纯，贾充当即就想把他砍了。后来事情闹到庾纯被贾充逼着辞职回家的地步，还是司马炎出来打了圆场，说庾纯是酒后失言，醉话不能算话，才算蒙混过关。但是大家心里都明白，庾纯的气是为任恺撒的：当初贾充指使小宦官成济杀掉高贵乡公曹髦的时候，任恺和庾纯就都记下了这一笔，心里一直不爽，就等着找机会发火呢。
这件事情过去之后，贾充开始报仇了。任恺是侍中，天天待在皇帝身边，实在是大威胁。于是贾充建议说，把任恺调到吏部去搞人事工作吧，管选举。司马炎乐得看他们互掐，行呗，就这么着。不久之后，任恺就被贾充找了个“奢侈”的理由弹劾了。
在经过了背景和贾充比较接近的卢钦的过度之后，下一任吏部的部长谁来做，成了个大问题。皇帝于是想到了山涛。任恺调任吏部尚书之前，这个位置司马炎本来就准备留给山涛的，但是山涛却借着母亲去世的理由跑回乡下去了。
看看他这些年的经历，简直就像是躲着官，生怕一不小心被套上乌纱帽似的：他先是在外省兜兜转转的又是做冀州刺史，又是在曹魏旧都邺城做市长，这样过去三年，山涛被召回首都做侍中，跟着皇帝做秘书。他又先后被任命为尚书、太常卿，但是都没到任，最后因为母丧回了老家。这些年正是任恺和贾充打得不可开交的时候，也是羊祜在前线练兵的时候。本来名士们的领袖山涛羊祜好像约定好了似的集体失踪，却不妨碍朝中掀起了一轮又一轮的政争，让人不得不怀疑，山涛这些年在外面兜兜转转，是有意避嫌，显示他不偏不倚的立场，让当政的贾充找不到挑剔他的理由。
在任恺被贾充逼得败退的时候，山涛终于就任吏部尚书，回到了帝国的行政中枢。
这时候，朝中除了争论已久的打不打吴国的问题之外，又冒出来一个到底是选司马炎的傻瓜儿子司马衷做太子，还是让原先差点挤掉司马炎做太子的司马攸如愿以偿的大问题。但不管争论的是什么问题，总会分成贾充一派，反贾充的一派。在这些本来应该就事论事的问题上，延续了党争的一贯风格——你反对的我赞同，你赞同的我反对，没有什么道理，就是看你不爽。在平衡两党实力对比方面，管选举的吏部尚书是个关键位置。可是吏部尚书山涛又“怂”了：一遇到人员空缺他就拟好几个人的名单交给皇帝陛下审阅，皇帝陛下会拉着贾充一起商量一个人选。他这个众望所归的吏部尚书窝囊得让名士们恨不能踹他几脚。
可是谁也没注意到，悄悄的，朝廷里的人员变动忽然热闹了起来。因为和贾充吵架被免官的庾纯又悄悄地去国子监做了祭酒，掌管了皇家读经学院。被贾充搞下台的吏部尚书任恺到了首都所在的洛阳去做了河南尹。大家慢慢对山涛的推荐名单琢磨出一点道道来，他的推荐似乎处处都是针对着贾充。
处处示弱的山涛这会儿显示出了“怂”之外的本色，不显山不露水地达到自己的目的。山涛从他竹林朋友们的遭遇中得到了一个启发：必须按着政治游戏规则来，反小人不反皇帝，争取最大程度的舆论自由。山涛这招很高明，当整个政府都由名士一派的人卡位的时候，他们的追求也就会成为主流，皇帝是谁都没有关系。在主管吏部的这九年里，山涛竭尽所能地把原先被遗忘在政治舞台之外的名士们塞进政府。先是许允的儿子许奇，再是嵇康的儿子嵇绍，搭着司马炎平反冤假错案的政策顺风车，山涛恰到好处的提名成功率很高。
同时，山涛也免不了要提防着贾充的暗箭冷枪，比如说咸宁四年山涛提名阮咸做吏部郎的事情。
这件事情之前，山涛一路升官，从尚书右仆射一路升到左仆射，主管选举，风光正好。面对名士阵线在选举事情上越来越强的实力，贾充决定必须安插一个人在吏部。山涛提名阮咸做吏部郎的时候，贾充提名了另一个人：陆亮。
烫手山芋又抛到了司马炎的面前。这个时候司马炎还真有点为难，一方面要团结一切可以团结的力量，而另一方面，伐吴的准备正紧锣密鼓地进行，这一仗是一定要打的，所以必须驳一驳贾充的面子。但老是打压贾充难免让名士们得意忘形。况且这个阮咸，喝起酒来比他叔叔还要疯狂，虽然山涛力保他说这个人简朴又没有私心，但也不知道到底能不能做好。干脆就先卖给贾充一个面子吧。
于是陆亮成了吏部郎。
山涛看见这个结果，心里面非常不爽。对于这种事情，山涛有他自己的准备：他随时准备着辞呈，贾充惹到山涛的底线，山涛就跟皇帝要求回家。每次都有让皇帝没法拒绝的理由。这回，山涛立刻上书，说他侄子媳妇死了，要回去。
司马炎当然明白山涛的意思：只要他不想干了，他家里就一定有人死了要他辞官回家。先是母亲，这回七大姑八大姨连侄子媳妇都出来了。皇帝赶紧下书，劝了一下，不给走。山涛不肯卖皇帝这个面子，坚持要辞职。来来回回十多趟，丞相白褒看不下去了：山涛不干就算了，没人要逼着你。要求皇帝准山涛回家拉倒。但是皇帝是绝对不能让山涛走的，一走这好不容易的平衡就又打破了。于是司马炎下诏说，山大人年纪大了，遭逢这样的事情太辛苦，体力不好，所以才迟迟不上班。你们去看看他，如果还没恢复的话，就把他用车子接去办公室吧。
山涛虽然罢官抗议没成功，但是也在皇帝这里搬回一局，输得不难看。况且下一年晋国伐吴，贾充在一堆主战的大臣间被司马炎赶鸭子上架做了总指挥，大家各有输赢，也不丢人。
名士阵线和礼法阵线的斗争一直持续到贾充去世。这之后，大家几乎都接受了玄学家们的生活态度，悠然深远。但是却又开始往虚无的深渊滑下去，未必是嵇康他们所期望的活法。
对于一直活到太康四年的山涛来说，正始年的腥风血雨，魏晋禅代路上的无数浅滩，他都安地站对了地方。还能够在泰始和咸宁年间为自己的朋友们做一些立身保命的事情。想想景元三年死在司马氏刀下的嵇康，他总算对得起他。