隋炀帝不惜花费重金，雇了数百人，通过京杭大运河，艰难地将其从太湖运至洛阳虎牢关附近。正当隋炀帝准备一鼓作气，将此石运回他的行宫时，宇文化及在扬州造反将其杀害。这块巨石遂被弃在路旁。洛阳乡民认为此石不吉利，称其为“败家石”，从此无人问津。
到了高宗一朝，高宗皇帝从泰山封禅回来，天后武曌在虎牢关时看到了这块奇异的大青石，就问武三思：“这块奇石，为何弃置路旁？”武三思很会揣度天后的心思，见她看上了这块山石，就说：“这是在太湖发现的一块灵石，他想运回洛阳，但是这块灵石知道隋炀帝天数已尽，就蹲在虎牢关不走了。”
天后武曌听说山石有灵，只有天命所在之人才配享用，就传下懿旨，叫文官下轿，武将下马，用香火参拜，将此石运回洛阳。
那时候，洛阳紫微城的院墙已经修好，巨石太大，只有拆门才能运入。高宗皇帝知道此事后，认为败家石本就是不祥之物，要是再破“门“而入，就更不吉利了。于是，命人将其投入洛水。高宗皇帝不喜欢此石，天后武曌不敢违拗，但是看着这块灵石被扔入洛水，甚不甘心。
后来，唐睿宗垂拱三年，武曌下诏拆除乾元殿，于其地造明堂，明堂是紫微城的大朝正殿。
垂拱四年，明堂落成，号称“万象神宫”，是唐神都洛阳的地标。武曌又命薛怀义铸大像，大像的小指也可以容纳数十人。同时，于明堂北起五层高的天堂来收纳大像。建宫的花费达到以万亿计，朝廷财政为之枯竭。
武承嗣知道武曌对这块巨石念念不忘，于是花费重金从洛水中将其打捞出来，偷偷命人凿石为文曰：“圣母临人，永昌帝业。”号称在洛水中发现，献给武曌。
武三思说这块巨石形似灵芝，会给武家增添瑞气，象征着千秋万代，江山永固！放置在明堂前，最为适宜。
武曌大喜，为石取名为“宝图”还命大臣们题字写诗，都刻在石上。之后武则天加尊号为“圣母神皇”。
从此，这块大青石就名扬天下了。
载初元年七月，东魏国寺僧人法明等撰《大云经》四卷，称武曌是弥勒佛化身下凡，应作为天下主人，武曌下令颁行天下，并将佛教的地位提高在道教之上。
载初元年九月间，官民、宗戚、四夷首领、沙门、道士请求改国号为周，赐皇帝姓武。不久，群臣奏称“凤集上阳宫，赤雀见朝堂”。
武曌于九月九日亲临则天门，大赦天下，改唐为周，改元天授。定都洛阳（神都），以长安作为陪都。同月乙酉，上尊号曰圣神皇帝，“以李旦为皇嗣，赐姓武氏”。丙戌，又在神都立武氏七庙。”
说到这里，徐太傅叹道：“其虽滥以禄位收天下人心，然不称职责，寻亦黜之，或加刑诛，挟刑赏之柄以驾御天下，政由己出，明察善断，故当时英贤亦竞为之。”