Долгие годы Пелым оставался самым безопасным путем в бескрайние сибирские просторы, поскольку южнее, на Чусовой и Исети, безобразничали башкирцы, проходили набегами татары, да и местные вогулы с остяками пришлых не жаловали. Пелымский городок в эти годы процветал. Наполняли его служилые государевы люди, авантюристы без роду и племени и многочисленные инородцы, принявшие для вида христианство, но не забывшие языческие обряды, многочисленных божков и духов. Каждую весну и лето у деревянных стен Пелымского острога появлялись новые искатели приключений и удачи. До того, как попасть к берегам Тавды, они проделывали долгий и тяжелый путь. По Каме и Вишере поднимались к перевалу через Камень, так тогда называли Уральские горы, здесь перетаскивали свое снаряжение и лодки в верховья Пелыма, и вниз по Пелыму, через огромное озеро Пелымский Туман, добирались до острога. Ниже устья Пелыма начинался путь в Сибирь. К осени все повторялось в обратном порядке, только возвращались к родным очагам далеко не все: кто-то оставался служить при Тобольском и Сургутском острогах, а кто-то, сраженный вогульской стрелой или порубанный татарской саблей, навсегда обретал покой в сибирской земле. Упадок Пелымского городка наступил после открытия Артемием Бабиновым сухопутной дороги от Соликамска до Верхотурья. Водный путь в Сибирь сместился на юг, на реку Туру, сюда же устремились казачьи дружины, купеческие караваны, а вслед за ними — русские поселенцы, монахи и работные люди. Пелым остался не у дел, укрепленного городка не стало, а берега реки затихли, оставшись во владении кочующих вогулов да русских промысловиков.
