百福殿偏殿，君臣继续谈话，议题仍旧与府兵有关。其实早在开皇十年，杨坚就对大隋军队和府兵进行了一次大改革。杨坚之所以在这时候改革军事制度，是有周到考虑的，因为在此之前要加强军事力量，完成统一国的大业，不便匆忙改革军制，以免影响统一大业的顺利进行，南陈现在亡国了、国家统一了，杨坚认为很有必要裁减军队、休养生息。
杨坚于是下诏说「魏末丧乱，宇县瓜分，役车岁动，未遑休息。兵士军人，权置坊府，南征北伐，居处无定。家无完堵，地无包桑，恒为流寓之人，竟无乡里之号。朕甚闵之。凡是军人，可悉属州县，垦田籍账，一与民同。军府统领，宜依旧式。罢山东、河南及北方缘边之地新置军府。」
这道诏书回顾西魏、北周实行府兵制以来的历史背景，并在新的历史条件下对府兵进行改革，令府兵士兵「垦田籍账，一与民同」，使府兵与农民同属州县，并从法律上将兵民分治改为军民结合，最终完成了兵农合一，使府兵制与均田制结合起来，成为均田制度下的军事制度。而在府兵的统帅方面，杨坚又沿用西魏、北周的十二大将军遗制，以十二卫为中枢掌管军事的管理机构。
十二卫分掌天下府兵、十二卫大将军为府兵最高将领，皆直接隶属于皇帝。十二卫大将军虽然是从西魏、北周的十二大将军之制演变而来，但是在杨坚手上又有重大改革：一是将禁兵、常备军纳入十二卫系统，通称「禁卫兵」，从而与西魏和北周时期府兵、禁军各自成为一体有所不同。二是把西魏和北周时掌握军队实权的上柱国、柱国、上大将军、大将军、大都督、都督等等职务变成有名无实、高高上在的勋官，实际上是剥夺了他们的军权，从而使天下军队直接由皇帝掌握；虽然这是表面上的军权归中枢、实际并没有将军权部收回，可却形成了一套完善而高效的军事管理政策，从而使大隋军队体系得到了规范。
这项重大的改革，在当时虽然表面大于实际，但是杨坚对府兵的改革、新体制的建立，却使府兵制和均田制紧密地结合起来，落实了兵农合一，而大隋王朝的武装力量也得到加强；在制度上，也实现了军事统率权集中于皇帝一人的目的，为日后的步步为营打下了基础。而杨坚所打下的政策基础，又被杨广继承和进一步创新。
杨广平定杨谅之乱、坐稳皇帝宝座以后，许多与杨谅眉来眼去的关陇贵族子弟都遭到了清算，而他们的家族生恐杨广对他们算总账，尽皆人心惶惶、惊惶失措，甚至有些人暗中联手，企图用暴力手段与杨广抗衡；然而占据主动的杨广在这个时候，却忽然戛然而止。把清算转成军事上的改革。
他不再刺激那些在威压下即将暴力的关陇贵族，而是在大业元年对官制进行轰轰烈烈的大改革，军事上的十二卫上将军、大将军如同三省主官一样，尽皆被他给虚化了，实权分别落到各卫的左右将军手上。当然了，杨广也不是部虚化干净，比如说兼任左候卫大将军的兵部尚书段文振、李景、来护儿、吐万绪等心腹大将，仍旧是名符其实、大权在握的大将军；便是杨集的右卫上将军之职也是一个实职，只不过杨集长期在凉州任职，自己又不想管中枢军队，故而被他自己给虚化了。
关陇贵族各个门阀整体实力虽然强大，但是他们没有一个有能力驾驭一切的领袖，便处于一盘散沙的局面，当三大派各大门阀眼见杨广没有进一步的清算意思，便默认了杨广的改革。而杨广当年受限于紧张时局、同时又要迁都，便没有进一步刺激关陇贵族，所以他正式确立的十二卫四府制和杨坚的军改一样，同样是流于表面、并没有落实到位，甚至就连具体的职责和职权范围也没有明确起来。
但是大业元年借势创立的「十二卫四府制」这项制度，却如同温水煮青蛙一般，早已被人们授受，
朝堂上的重臣、地方上的将领对些，也早已习以为常了。
鉴于原十二卫府的上将军、大将军、将军品级高得不正常，杨广便又采用了「改州为郡」的办法，把左右卫改为左右翊卫、左右备身府改为左右骁卫、左右武卫府改为左右武卫、左右领军府改为左右屯卫、左右武侯府改为左右侯卫，加上新增的左右御卫，合称十二卫；而四府则为左右监门府、左右备身府（原左右领左右府）。
而在更名契机，「新」成立的十二卫四府的上将军品级从从一品调为从二品、正二品大将军调为正三品、从二品将军调为从三品，下面的中郎将、郎将品级也各降一级。与此同时，十二卫四府的职权范围也被他借机明确了，此后的十二卫分领天下府兵，而且十二卫「嫡系军」还肩负着宿卫京城的使命，至此以后，十二卫和皇帝掌控的骁果军正式进入居中御外、卫戍京师的阶段。
至于四府则不统府兵，他们主要是环绕在皇宫四周、保护皇帝和皇宫的安，其中的左右备身府负责侍卫皇帝、左右监门府分掌宫殿门禁，加上兼领「内军」（亲、勋、翊三卫）的左右翊卫，日后的「四府两卫」构成皇帝嫡系中的嫡系。
与十六卫府职能相类似的是负责东宫宿卫、听命于太子的十率，东宫十率分别是左右卫率、左右宗卫率、左右虞侯率、左右内率、左右监门率，每一率的常备兵力定额是三千人。前面的六率和十二卫一起，分掌天下六百五十七个军府的府兵。
而东宫十率经过杨广这么一安排，杨昭这个太子的军权比起前太子杨勇和杨广都要重。这其实也是杨广鉴于自身成长所给予太子的锻炼的机会，要是太子连兵都不会带，日后如何继承大隋江山？又如何制约得那种桀骜不驯的将军？
听完杨广提出的整改方案，包括杨昭在内的所有人，都不约而同把目光看向了杨集，认为又是他所折腾出来的方案。
迎着一双双看过来的眼睛，杨集心说关我卵事啊！不过他也知道自己臭名远扬，哪怕出声否认，想必也是没有人相信。
然后他也索性和大家一样，摆出一副惊讶表情。
事实上，杨集也蛮惊讶的，从今天早朝以及刚才的表现来看，杨广这些改革分明就是临时起意的手笔，然而就在这个短短的时间之内，他竟然立刻拿出一个十分完善的方案，他这份心智和急智，着实是让人佩服之极。当然了，杨广也许早就有了这个打算，只不过缺乏的是一个宣布的契机，而现在，显然是正当其时。
正如杨集所料，杨广觉得单靠十二卫府遥指天下府兵是不够的，而且「十二卫府」职权不太明确、各自掌控的军府过多，这很不利皇权的稳定，于是决定正式把「十二卫府」增改为「十六卫府」。而经过他这么一改、一明确，那么四府就正式从十二卫剖离出来了。
事实上的八卫管天下府兵的实情，也因此暴露于大众之下。在这时候，他再增设左右御卫、拆分原左右领左右府、扩大东宫六率的权力，那么府兵的顶级机构就等于多出十个。
裴矩暗呼一声「厉害」，杨集仅仅只是提出府兵的优劣之处，皇帝便立刻窥准时机，以「新」成立的「四卫府」、「东宫六率」来分「八卫」的军权，掌管府兵的军权也从之前的八份分成十八份。日后的东宫六率所掌管的骠骑将军府或许不如十二卫多，然而即便是各掌三五个，那也是夺了权的。而太子一旦正式接手那些统辖下的骠骑将军府，他又怎么可能不把骠骑将军、车骑将军换成自己人？
只要太子和他的幕僚深谙皇帝之意，提议把骠骑将军、车骑将军换成非关陇贵族将领，那么对于关陇贵族而言，就是巨大的损失。
「对于十二卫、东宫六率掌控府兵之事，诸卿可有话说？」杨广见到大家都在默默的思索
着，便出声问道。
「圣人，臣十分赞成，并无丝毫异议。」这里并不是正式的朝堂，更没有什么品级高先发言的讲究，眼看着高颎有说话的打算，裴矩便站了起来，他先是认同了杨广的设想，接着又说道：「正如卫王之前所言，骑骑将军府吃空额、骗赋税之事，比比皆是；而造成这个问题的关要是骠骑将军府过多、分得过散，居中坐镇、遥掌天下府兵的八卫出现纰漏、无法兼顾局，其实是件很正常的事情。然而对于朝廷来说，却不是什么好事。所以日后用十二卫、东宫六率掌管天下府兵，诚乃利国利民之事。」
众将官闻言，尽皆无语：「……」