Несмотря на свои довольно высокие официальные должности, особенно в последующие годы, уже после отъезда из Вологды, Алябьев, видимо, придерживался довольно прогрессивных взглядов. Его жена, Анна Андреевна, была близкой родственницей известного просветителя Н. И. Новикова. В семье Алябьевых увлекались литературой, музыкой и другими искусствами.
В Перми, где А. В. Алябьев служил вице-губернатором, он проявлял заботу о жизни горнорабочих, стремился облегчить их тяжелый труд и их участь. В Тобольске, где после Перми он занимал высокий пост губернатора, Алябьев покровительствовал ссыльному, «государственному преступнику» Александру Радищеву, содействовал развитию искусства и культуры в Сибири.
В Тобольске в многодетной семье Алябьевых в 1787 году родился сын Александр, будущий известный композитор, автор всемирно известной песни «Соловей» (на слова Дельвига) и множества других сочинений
