面对群臣的消极，赵昺很气愤又很无奈。当工部尚书戚亚卿在朝会上奏请对临安城进行改造，以减少对城市的污染时，立刻引发了争论。他们以为此举太过扰民，不宜打动干戈，可以对城中的河道进行清淤，垃圾清理即可，而非对整体进行改造。
除了这些进行修修补补的意见外，有人以为当前财政状况刚刚好转，便耗费巨资对临安城进行改造，实是劳民伤财之举；还有人认为既然‘收复中原，驱逐鞑虏’是当前的主要任务，那么还都汴京是必然的，再对行在进行大规模的整修，根本没有必要；另有人甚至眼，当年高宗皇帝定行在于杭州，是经过高人指点的，山水、建筑皆有说法，不可轻易变动。
大家其实也知这是小皇帝的主意，但是不敢针对赵昺，便转向了工部尚书戚亚卿，纷纷上奏弹劾。言其好大喜功，为成就自己之名，蛊惑皇帝修城。而这还是客气的，有臣僚直言其是以造福于民为名，实则是为中饱私囊，从中收取好处。更有甚者弹劾其是此举包藏祸心，欲借此挑动民心，陷皇帝于不仁不义，乃是朝中奸佞。
好在几位执宰及众臣还算清醒，他们当然清楚收复中原非是一朝一夕的事情，即便三两年之内能够做到，但是选定新都，营造宫室，再到入住也需要漫长的时日。而临安城已经如暮年的老者，已经无力承受城市的发展所带来的日益沉重的负担，堪待需要整修。但他们更倾向于对局部进行整修，可对城中的手工作坊进行搬迁，对河流就像疏浚，对‘过当拆屋’还是持保留意见。
而执宰们给出的原因也难以让赵昺反驳。一者大规模的改造花费甚重，可当下既要支撑长江防线，又有援西和征大理两场仗要打，但国库积蓄甚少，不足以支持，所以改造可以分步进行；二者如此大的工程必然要调动人力，则不免会影响到夏收夏种，进而加重百姓的负担。
第三点他们虽然没有明说，可意思赵昺也明白。清理侵街，朝野皆知阻力非是来自民间，其实是朝中的官员和权贵。所以‘过当拆屋’就是个地雷，谁踩伤谁。且本朝的皇帝几次欲做，结果铩羽而归，因此劝他也就不必再去碰钉子了，倒是弄得他下不来台不说，还给自己树敌。
赵昺觉得话都是好话，可听着就不入耳。而本应主持此事的工部尚书戚亚卿也是顾虑重重，自己现在不仅成了朝野上下的公敌，且连番被弹劾，弄得他身心疲惫，可又不敢违逆他，急火攻心之下犯了病，请假在在家养兵。赵昺明知道其得的心病，意在规避此事，可他也无可奈何，自己总不能逼着个‘病人’工作吧！
眼看着自己绘制的‘蓝图’还未定稿便有被束之高阁的危险，赵昺能不恼火吗？可上上下下的对此事都消极怠工，又让他觉得众怒难犯。要是真因为此事与众臣翻脸，强力推行自己的‘善政’，又显得有些不值当，还会让人以为自己是孩子，行事不够稳重，喜欢意气用事，成了日后他们敲打自己的小棍儿。
既然打定注意，赵昺又岂肯是轻易放弃的人，既然众臣以‘过当拆屋’扰民，易激起民变为由阻止改造，而对工坊外迁和疏浚城中的河流没有多大意见，那么他就决定先易后难，逐步启动改造工程，他不信自己就治不了这帮人了。当下正是雨季，截留对城中的河流疏浚显然不是最好的时候，且是新币开始发行的当口，也不宜进行拆迁，那么就以工坊拆迁为开幕战。
至于人手不是问题，他早就想好了。黄海之战中俘虏了二万多敌军还圈在江口外的小岛上进行改编，而按照惯例这些俘虏军是不会被编入战斗部队的，一般会被编成辎重军从事‘急难险重’的任务，比如开矿、冶炼、晒盐、修造及兴修水利等劳役等工作，现在正好能派上用场。
至于资金问题，赵昺当下确实手紧，而指望朝廷拨款，他也不敢奢望，即便户部尚书是自己人，可在众人反对的声浪中，宰相们哪个也不会副署的，那么自己的诏书就等于废纸一张。且实际情况户部确实也没有余钱，夏税虽开始征收，但为了应对新币发行可能产生的情况，已经下旨缓缴，自然没有闲钱。
没钱是寸步难行，但是办法总是人想出来的。赵昺突然灵光一闪，自己可以卖地啊！按照他所想，皇城虽然已经被毁，但是土地照理应该还属于自己。当下他将军营、太学机构等都迁入皇城安置。要知道皇城占地可是占了临安城近四分之一的地方，那么自己就算吃点亏，也可以算是土地置换，将过去城防区、太学及将作院和少府等机构占据的土地给了自己，只要将土地换成钱，自己岂不是便有了启动资金了。
有人会问，有人买吗？赵昺可以明确告诉你，不仅有人买，而且还得抢着买。要知道据有关学者研究，宋朝的城市化率达到了百分之二十二，而这个水平放在现代都是有的吹的。城市化的提高按照现代观点就是经济模式的改变，城市经济超过乡村经济，商业比重超过农业比重。
赵昺记的还有学者对临安城市规划进行研究后发现，临安城市中心为资本和商业集中地，皇宫反倒偏居一隅，这与现代城市的空间结构非常类似，无疑是宋代城市革命的结果。而他现在的北宫范围更小，虽处闹市之中，日夜可闻商贩吆喝声，可谓寒酸，但是还不知后人给个啥说法。所以说临安城已经具备现代城市的特点，按分类怎么也算一线城市了，自然是人口聚集之地。
不过临安城说起来真的不大，人口也不算多，尤其是在赵昺这个现代人眼中。据他入城后进行的统计，属于杭州城区的县有两个，一个仁和县，一个钱塘县。这两个县的人口，包括郊县农村人口有七十万左右。还都之后，随着大批中央官员和军队的涌入，加上流动人口也就在九十万上下，居住在城区的则在三十万以上，仍没有恢复到历史上一百五十万人的巅峰期。