自出仕以来，杨集处处与世家门阀为敌、处处在掘世家门阀的根基，仿佛一天不与世家门阀斗一斗，就活不下去似的，于是又让他有了“灭‘世’神刃”、“灭‘世’毒匕”等绰号，以五姓七宗为首的山东士族对于杨集的戒备、敌意显而易见。但是由于杨集的没有什么可以攻讦的黑料，而且他那个又硬又稳的后台、没有底限的支持和信任杨集，这便使他们不仅对付不了杨集，反而在一次次斗争中，折了许多许多已然出仕的子弟。
其中最惨的，无疑便是二崔了，代表山东士族的崔仲方当初发起了令，希望杨坚将泛滥的纸书禁止掉，然而在朝堂他们斗不过杨集之后，还被张瑾坏了大事，导致所有要求的官员都被罢免为民了。事后，杨集把崔氏的犯官名单公诸于众，其中一些人是犯了事以后，被崔氏带回去清理门户了的，然而不久，他们又换个名字出仕。
当杨集把这些一一罗列出来，世代簪缨的崔氏名声大跌，从高高的云端被打落尘埃；此之以后，但凡某个世家把犯事子弟清理门户、革除族籍，人们便以崔氏为例，然后对那个世家的做法嗤之以鼻。而崔氏的“公关危机”非但解决不了问题，反而因为一次次成为反面教材，使他们曾经的做法让更多人知道、让更多人谩骂。
后来，崔仲方虽然又复出了，可是不久，又被杨集拿下了，并被皇帝打发到博陵养老去了，看这样子，这辈子是再也没有复出的机会了，毕竟年纪摆在那儿。
杨集的作为令山东士族损失惨重，不过山东士族虽然对外是一个整体，而且他们之间彼此联姻，于较量竞争之余，也有相互照拂的义务和情谊，但是杨集几次针对二崔的事实，又有谁会解读为这是对整个山东士族的威胁和挑战呢？
没有，一个都没有。
恰恰相反的是，当二崔的名声被杨集弄臭之后，卢氏一跃成为四大高门之首，人才辈出的陇西李氏则是首次进入四大高门；而崔仲方第二次失势之时，李子权接了崔仲方空出来的代表山东士族的相位，使赵郡李氏意外的成了大赢家。他们或许不会因此感激杨集，但受益的世家门阀至少不会对他心生敌意；而卢氏便是如此。
唯一让卢氏顾虑的，便是杨集这个“灭世毒匕”的灭世观念，然而一经接触，卢赤松和卢长谐却发现杨集非常好说话、非常好接触，根本就不像传说那么霸道。甚至还真知灼见的说世家门阀“野火烧不尽，春风吹又生”；与此同时，他还说世家新不如故。
这下子，卢氏放心了。
当谈话刚一结束，卢赤松和卢长谐便召来卢长谐的长子卢大宝和次子卢大玉；卢恺之子卢玄成、卢义方，以及卢氏子弟卢延祚、卢延寿等十人，令他们立刻带人去把那些受元氏残害的苦主、人证一一召集起来，然后集中在涿郡蓟县卢家府邸，以便杨集能够及时使用。
而杨集和裴矩等人则是被卢家热情的挽留下来。宴会从酉时开始，一直持续到戌时方才结束，由于裴矩还要与卢家高层叙旧，而且他的居所和杨集所住的独立院子也在不同方向，所以宴会一结束，杨集便在卢长谐卢延庆的引领下，回到卢氏给他安排院子。
卢延庆以前是遒县军府的团主，团主这个职务相当于校尉，手下有两百名府兵，后来率军参与了杨集为首的契丹战役、辽东战役，因功升为骠骑将军；由于这个军府是中等军府，所以在他麾下的府兵有一千两百人。
早在几天前，卢延庆接到幽州刺史李子雄之命，将遒县府兵集结起来，随时待命出征。如今杨集这个主帅自己送上门来，其祖卢长谐第一时间就把他从军营里叫了回来，让他见一见杨集，同时给他争取到了出征的机会。
世家门阀多数子弟都比较自律、守礼，尤其是在自己家中，更不会失礼于人，卢延庆知道杨集亲兵之中掺有女卷，眼见此时天色已暗，心知自己不宜入院，于是将杨集送到院门口，便拱手而去。
杨集喝了不少酒，缓缓走进这个院子之中，举目所及，只见黄昏西下的庭院打理得井井有条，哪怕是一丛修竹、一株花树，都匠心独具，让院落充满了整齐有序的气息。而关陇贵族各个门阀的风格恰恰与此相反，他们都喜欢放任自流。
大概，这与规则、风格、生存法则有关。关陇贵族是将门之风极重的军武世家，所以他们骨子里有着武人的粗犷、豪气、大气，不会把时间花在布置庭院这种细小的事物之中，感觉怎么舒服、怎么顺眼就怎么来，便是杨集家里也是如此。
而山东士族传承千余年，远比关陇贵族知礼、守礼，并用森严的等级来管理枝繁叶茂家族，而子弟们从小生活在一个个大圈子小圈子里，时时刻刻被层层规矩和制度约束着，所以自然而然的体现在庭院的布局之上。
杨集也不知道为什么看到这院中野趣盎然的风景时，会突然比较起了关陇贵族和山东士族不同，当他绕过一丛翠滴的修竹，一眼就看到一名作男装打扮的女子走来。到了近处，但见她眉目如新月、鼻尖似玉锥，俏美的脸蛋有几分胡人的色彩，不过这妹子美则美矣，手上却提着一把大宝剑。
此女正是杨集新纳的侍妾之一鲜于芳，她的父亲是鲜卑人、母亲是汉人，所以她便有了混血儿的长相、混血儿的身材，而且她的力气大得惊人；在诸女之中，便是同为混血儿慕容弦月也不如。
这次远行，朱雀卫以张出尘为主，慕容弦月和鲜于芳、柳絮为辅，张出尘和慕容弦月已经早早被杨集打发去了涿郡，所以身边只剩下鲜于芳和不以武艺见长的柳絮。
鲜于芳等人临行之前，就被萧颖安排入门之礼，此刻不仅有了名分、诰命，甚至就连身子也是杨集的了。她本来就是一个大美人儿，如今成为人妇的时间不久，整个人容光焕发、散发着动人风姿。一见杨集回来，便喜滋滋的快步走来：“公子，回来了？”
她已沐浴过了，一到近前，便带起一阵澹澹的香草芬芳，虽然若有似无，却怎么都没有消失，仿佛香气发自骨子之中。杨集看着浓眉大眼、欢欣雀跃的小妾，眼神闪过一抹宠溺和欣然之色，随口问了一句：“回来了！你们吃过了没有？”
“吃过了。”鲜于芳却是蹙起了眉头，小巧的鼻子像小狗似的嗅了嗅，滴咕着说道：“怎么喝了这么多酒啊！”
杨集很是无奈说道：“我也不想喝，但是酒桌文化就是这样，很多事情就是在酒桌上谈妥的，面对人数众多的主人家，我能有什么办法？”
在卢家举办的接见宴上，卢家很多嫡系子弟都出席了，虽然他们每个人只敬杨集一杯，可是如此一轮下来，杨集喝就有些飘飘然了。值得一提的是，他在宴会上见到了一个意想不到、潜力无穷的大人物，此人即是大名鼎鼎的房乔、房玄龄。
房玄龄是齐郡历城县人，和秦琼是同县人，而且他们的先祖、父辈都为北齐效力过；当北齐政权被北周消灭，秦家和房家也沦为失败者，虽然没有遭到清算，却也失去了权力、沦为地方豪强。时至今日，影响力仅限于齐郡一域。