周围的人，不管是他的妃嫔还是宫人或是侍卫，听见他这话，立马跪在地，战战兢兢地应是，谁敢把皇帝被戴绿帽的事说出去？他们又不是嫌命长……
这个时候，这些人才后知后觉地意识到自己目睹了皇帝妃子偷情的现场，是撞见了稍不注意就会被灭口的秘密啊！想到这一点他们立马吓出了一身冷汗，后怕不已，幸好皇帝还算仁慈，不是嗜杀狠毒之人，才只想要他们闭嘴，而没有要他们的命。
其实皇帝对自己也有些懊恼，因为他之前被愤怒冲晕了脑袋，才会忘了要保密，带着这么多人目睹自己妃子跟人偷情的场景，等处理完温从韵和她那女干夫之后，他才意识到这隐秘之事被太多人知道了，便忍不住头疼，连忙亡羊补牢，希望能让这些人守住这个秘密。
忙碌了大半夜，芳韵宫的火虽然扑灭了，但大家心里清楚，这件事还没有完全过去呢，毕竟芳韵宫的主人还活着，虽然已经打入了冷宫，这辈子大概没有活着出来的可能了，除非……她的儿子三皇子当了皇帝。
然而，三皇子可能当皇帝吗？自从大家看到温从韵跟陌生男人躺在同一张床之后，那三皇子的身世就已经存疑了：他是皇帝的亲生儿子吗？
这是大家内心里忍不住暗戳戳猜测的问题，而皇帝自己也非常关心这个问题，所以把大家赶走之后，他便特意去看了依旧昏迷着的三皇子。
然而三皇子如今才三岁多，模样更像他的母亲温从韵，看不出与皇帝相似的地方，再加皇帝因为温从韵给他戴绿帽的事，对他有了先入为主的怀疑，于是越看三皇子越觉得他跟自己毫无相似之处，更像温从韵那个女干夫，因此皇帝愤怒地冷哼一声，再也不看三皇子一眼，脚步匆匆地离开了。
其实三皇子等到长大之后才会跟皇帝长得越来越像，但谁让三皇子如今还没张开，跟温从韵更像呢？所以只能算他自己倒霉了。
皇帝怀疑三皇子的身世，对他便十分厌恶了，不但再也不管他那天吸入烟雾过多导致的病弱，甚至就连偶尔有人提起三皇子，都会被皇帝迁怒，于是不用多久，大家就都知道皇帝厌恶三皇子了。
那天去了芳韵宫知道温从韵之事的妃嫔们对原因心知肚明，并且乐于见到三皇子被皇帝厌弃，她们便也跟着皇帝的喜好来，时不时地表达出对三皇子的不喜，于是三皇子的日子就非常难过了。
皇宫里的人向来最会捧高踩低，也最会察言观色，更会讨好主子，于是三皇子遭了殃，被迁去一个更偏僻破旧的地方居住，伺候的人也只剩下两三个木讷寡言的宫人，一个五六十岁的老宫女、一个三十多岁瘦弱瘸腿的太监和一个十二三岁的愚笨小太监。
在这种情况下，三皇子很快就开始了忍饥挨饿的日子，饭菜是馊的，量少还难吃，衣服也没人洗，老宫女没力气又洗得不干净、住着的地方床褥又薄又脏……很快，三皇子就成了又脏又瘦的小可怜。