完成迎袁专使的使命后，蔡元培回到南京，回到了他热爱的教育事业的任上。
南京政.府建立后，所有与新政.府有关的人纷纷跑来，找关系托人情，想谋个一官半职。蔡元培北上迎袁期间，教育部的次长景耀月代理部务。景耀月是同盟会员，平日里热衷党务，对教育很少过问。
此人有封建的打江山坐江山的思想。所谓有权不用过期作废，趁总长不在，他私自开列了七十多个人的名单，分别冠以司长、科长、秘书的职务，报请总统府颁发委任状。名单上的人多和他有私交，但是跟教育行当没什么关系。
蔡元培回来后，马上发现了这一情况。他耐心地同景耀月讲，这样做的话，真正的教育专家就被排斥在教育部外了。而且如果下一任部长对这些人事不满意，一概革除，反而让这些人难堪。蔡元培入情入理地做了一番工作之后，总统府又将这批委任申请退还了教育部。
1912年3月底，唐绍仪内阁成立，蔡元培留任教育总长。
民国定都北京后，1912年4月26日，蔡元培领衔的新的教育部接手原清廷的学部。蔡元培给部员们讲了一番话：“前清办学之种种靡费，其细情不外奢、纵二字……国家无论如何支绌，教育费万难减少。无已，惟有力行节俭，以为全国倡。”
在人事安排上，蔡元培力邀非同盟会派系的共和党人、曾在清末担任学部参事的教育家范源濂做了教育部的次长。
他两次登门，诚恳地对范源濂说：“现在是国家教育创制的开始，要撇开个人的偏见，党派的立场，给教育立一个统一的智慧的百年大计……教育是应当立在政潮外边的。我请出一位异党的次长，在国民党里边并不是没有反对的意见；但是我为了公忠体国，使教育部有全国代表性，是不管这种反对意见的。听说你们党里也有其他看法，劝告你不要自低身份，给异党、给老蔡撑腰；可是，这不是为国民党或我个人撑腰，乃是为国家撑腰。我之敢于向你提出这个请求，是相信您会看重国家的利益超过了党派的利益和个人的得失以上的。”
范源濂为蔡元培的真诚和以民国教育为重的精神所动，不顾他所在的共和党的反对，接受了蔡元培的邀请。事实证明，他们的合作是成功的。后来，范源濂在蔡元培去职后任教育部长，力邀蔡元培担任北大的校长。
新建的教育部有部员七十余人，差不多都是蔡元培、范源濂二人推荐。蔡推荐的多为欧美及日本的留学生，范提名者，大多富有教育管理经验。
如蔡元培“自述”所说：民国“元年我在教育部时，请范君静生相助，我偏于理想，范君注重实际，以他所长，补我之短”。
有了儒雅的蔡元培做首脑，民初的教育部内上下融洽，全无暮气。
乃至于鲁迅后来曾说出“说起民元的事来……当时我也在南京教育部，觉得中国将来很有希望”这样的话来。
范源濂也这样忆及当年在教育部与蔡元培共事的情景，“在我们合作期间，部里的人都是知无不言，言无不尽，讨论很多，却没有久悬不决的事。一经决定，立刻执行。所以期间很短，办的事很多”。
4月底，蔡元培在与部员谈话中提出：鉴于目前各校程度参差不齐和请末办学的“奢、纵”之弊，“拟将中学以上官、公、私立学校，严加归并，淘汰冗员，严定章程，以便早日开学。”表达了其整顿教育的决心。
5月初，他通令将北京大学堂易名为北京大学校，提名启蒙思想家严复出任校长。
接下来，他在参议院发表施政演说时明确表示：总长之职“既勉强担任，断不敢存五日京兆之心”，就教育方针、设施、行政权限、派遣留学生及少数民族教育等问题发表了意见。特别强调：“在普通教育，务顺应时势，养成共和国民健全之人格；在专门教育，务养成学问神圣之风气。”
毫无疑问，这充分表达了蔡元培投身教育的理想和信念。
1912年7月10日，当时的中华民国教育部，发起召开了有各地教育专家参加的，全国教育临时会议。
蔡元培在大会的开幕词中言道：“今日之临时教育会议，即中华民国成立以后第一次之中央教育会议。此次会议，关系甚为重大，因有此次会议，而将来之正式中央教育会议，即以此次会议为托始。且中国政体既然更新，即社会上一般思想，亦随之改革；此次教育会议，即是全国教育改革的起点。此次议决事件，如果能件件实行，固为重要关系；即使间有不能实行者，然为本会已经议决之案，将来亦必有影响。诸君有远来者，即或在近处者，亦是拨冗而来，均以此次会议系重大之故。