Архитекторы и историки десятилетиями пытались разгадать, кто же был автором необычного проекта дома и усадьбы? Одни утверждали, что так строили в XVIII веке в городе Вольске, откуда родом был Расторгуев. Существовала также мрачная легенда о бессрочном каторжанине, лишённом имени. Будто опального зодчего Расторгуев нашёл где-то в Сибири, тайно привёз в Екатеринбург, пообещал по окончании строительства выхлопотать помилование… Однако недавно было установлено подлинное имя зодчего. Это был Томмазо Адамини. Родился в Италии, работал в России. По его архитектурным проектам построено несколько зданий в Петербурге (см. книгу Л.И. Зориной и В.М. Слукина «Улицы и площади старого Екатеринбурга»).
Роскошный дворец строился более десяти лет, а вместе со службами и устройством сада – почти двадцать. Почему так долго? Дело было не в средствах – деньги у Расторгуева водились. Но кроме видимого глазу сооружались прочные тайные подвалы, переходы, подземные тайники, приспособления под тюрьмы и казематы.
Это не мифы, это реальность. Это подтвердили исследователи – один из тайных ходов под винным погребом в саду довелось обнаружить в 2000 году даже съёмочной группе телесериала «Екатеринбургские тайны». Мы ходили по оставшейся, уже малой части подземных помещений, притронулись к тому, что сохранилось, что не было замуровано в результате провалов или при перестройке здания. В подвалах таинственно, эхом отдаются шаги, почему-то хотелось говорить шепотом. Всё огромное гулкое здание до сих пор по ночам жило тайной жизнью, полной звуков, шорохов…
Родовое гнездо было центром семейного клана. Худая слава о нём пошла ещё при жизни Расторгуева. Но тихая жизнь здесь закончилась с появлением в семье зятя – Петра Яковлевича Харитонова, богатого купца и золотопромышленника, человека необузданного нрава, жестокого, любителя шумных кутежей и развлечений, стоивших иногда жизни кому-нибудь из дворовых. В доме день и ночь играла музыка, в карты проигрывались целые состояния, пьяные гости мыли шампанским лошадей. Вместе с новоявленным родственником Григорием Зотовым Харитонов творил расправы над непокорными, вместе же они «прятали концы в воду» и в землю.
В конце концов, главным образом за казнокрадство, Харитонова и Зотова сослали на каторгу, на вечное поселение в Кексгольм – в Финляндию. Это произошло практически перед посещением Екатеринбурга цесаревичем. Только, думается, покой Александра не омрачался подробностями злоключений бывших владельцев роскошных апартаментов. В просторных залах шли балы, роскошный парк каждый вечер освещали фейерверки. Молодой цесаревич нескучно отдыхал.