Итак, Андрей Федорович испытал беду вовсе не один, а вместе с выдающимся реформатором, главнейшим советником (с 18.08 года) Александра I графом Михаилом Михайловичем Сперанским. Тем самым, что был в свите императора во время свидания его с Наполеоном в Эрфурте, а через два года стал инициатором создания Государственного Совета. Дерябина в полной мере озарили лучи славы «его сиятельства», но граф же и невольно потянул уральца в омут царской немилости.
Дерябин приблизился к Сперанскому благодаря своему земляку и однокашнику по тобольской семинарии П.А. Словцову, впоследствии другу и сослуживцу графа. Сперанскому сразу полюбился по-европейски образованный уралец, такой же смелый реформатор горнозаводской промышленности, как он сам — в масштабах всей России…
И вдруг вечером 17 марта 1812 года всесильного реформатора отправляют в ссылку в Нижний Новгород, а через полгода — в Пермь. Тамошний городничий А. Грен, чуть ли не ежедневно является к опальному графу для надзора. Через четыре года после высылки Сперанского крутая опала настигла и его протеже. Андрей Федорович отправился в Гомель на должность «управителя фабричных заведений», принадлежащих Государственному канцлеру графу Николаю Петровичу Румянцеву.
