I have spread my dreams under your feet;
Tread softly because you tread on my dreams.
William Butler Yeats
***
Вместе с ароматом крепкого кофе из гостиной доносились звуки трансляции: “Сегодня у нас интереснейший гость. В данный момент он возглавляет, процитирую, направление по разработке систем искусственного интеллекта нового поколения и исследованию принципов формирования искусственного разума. Скажу так, ребята, если названия у вас придумывает ИИ…” – шум бритвы заглушил шаблонный смех аудитории и последовавшее жужжание ведущей.
Завершив утренний туалет, он спустился на первый этаж. Жена только закончила варить кофе и стояла, ещё сонная, вдыхая горячий запах.
“…Перечислить все ваши научные регалии, по-моему, просто невозможно. Лев Германович, здравствуйте. Первый вопрос…”
– Доброе утро. Нашла, что включить с утра пораньше.
Услышав человеческий разговор, система управления окружением решила остановить воспроизведение.
– Твоё интервью? Я хотела послушать, времени не было. Как ты её не убил?
Она подошла к мужу, протягивая кофе.
– Не говори. Прямая трансляция. Так бы убил обязательно, – он улыбнулся, принимая чашку. – Там ничего интересного, приходилось объяснять всё на пальцах.
– Ох, Лев… Тебя показывают в прайм на всю Систему… Это же твой звёздный час! А ты как обычно, – покачала она головой. – Я хочу дослушать, тебе помешает?
– Глупости всё это, строго говоря. Нет-нет, слушай. Мне не мешает.
Трансляция возобновилась. Он сел в кресло, с удовольствием сделал первый глоток и включил рабочий планшет. Первым открылось большое сообщение из Управления с пометкой “срочно”.
“Конфиденциальная информация. Только для внутреннего использования.
Выдержка стенограммы доклада первого пилота миссии Венера-3701/28:
Мы заканчивали работы на орбите. Оставался ещё один модуль – и домой. Аппарат выдавал ошибку в работе корректирующих двигателей, почти всё топливо сгорело. Орбита сильно упала, висел очень низко. Нужно было поднять его на шестьдесят километров, заправить, диагностировать ходовую и навигационку. В общем, как обычно, полное техобслуживание…”
“…Несмотря на колоссальные достижения в области искусственного интеллекта, строго говоря, искусственный разум в полном смысле этого слова ещё не создан. Да, мы научили нейросети свободно анализировать информацию, принимать независимые решения, особенно – в условиях недостатка данных. Мы даже научили их воспроизводить себе подобных…”
“…Стыковка прошла успешно. Техбригада перешла на борт модуля и начала диагностику. Я и старший инженер оставались на корабле. Всё было спокойно. Я начал подъём в ручном режиме. И тут корабль резко дал крен. Сам! Я не включал автопилот. Слышите? Я уверен в этом…”.
“…По-моему, назвать обычную нейросеть разумной, какой бы продвинутой речевой системой она ни обладала, это в известной степени то же самое, что назвать умной музыку ветра или счётчик Гейгера. Однако мы следуем тем же принципам, на которых были созданы первые системы искусственного интеллекта в начале прошлого века. Смотрите, ординарная нейросеть самообучается, имитируя работу мозга. Но мы не определяем, как именно она должна это делать. Программе даётся свобода выбора алгоритма обучения, возможность стать умной самостоятельно. В нашей работе мы следуем тому же принципу и полагаем, что, подобно человеческому разуму, необходимое условие для появления разума искусственного – это его самозарождение…”.
“…Модуль получает пробоину, двигатели клинит, нас сильно закручивает. Механик докладывает, что у них разгерметизация и раненый. Корабль будто сам поймал удар этим манёвром. Понимаете? Что это было? Вы уже выяснили, с чем мы столкнулись? В общем, я пытаюсь стабилизироваться и запустить главный двигатель, и тут…”.
“…Критериев много… Осознание факта собственного существования – лишь один из них. Скажу так: сегодня мы как никогда близки к этому. Наши системы-претенденты внедрены повсеместно. Строго говоря, возможно, что прямо сейчас где-то в Системе одна из них стала разумной…”.
“…Вы смотрели расшифровки чёрного ящика?! Что там? Я не отстёгивал модуль! Почему он отстыковался? Я бы никогда не бросил экипаж!”.
– Тихо! – его голос прозвучал громко и чётко.
Интервью тут же прекратилось. Он дочитал доклад в тишине и отложил планшет. С минуту понаблюдал за тающей кофейной пеной и, поймав вопросительный взгляд жены, пояснил:
– Помнишь, два месяца назад на Венеру упал модуль с космонавтами? Двое спаслись, трое погибли. В этой миссии участвовала наша разработка. Первый пилот утверждает, что это она виновата в произошедшем. Я буду вести разбирательство.
– Какой ужас! Неужели это правда?
– Не знаю. Пускай в Управлении определяют. Кажется, трагедия была неизбежна в любом случае. Дело в другом. Система действовала вопреки указаниям пилота и самостоятельно приняла решение сбросить модуль с людьми. Чтобы повысить шансы на спасение остальных, я полагаю, – заключил он и многозначительно добавил: – Или она спасала себя…
– Ты думаешь, это может быть…
– Надеюсь, скоро узнаем.
***
В зале заседаний началась запись. Лев Германович возвышался во главе длинного т-образного стола из серого поликомпозита. В кресле с левой стороны от него, опустив голову и сложив руки на коленях, располагался безжизненный андроид. Внешне он был выполнен в виде молодой женщины с короткими светлыми волосами. Одежда андроида повторяла форму гражданских пилотов. Кресло напротив робота, с правой стороны, пустовало. Больше в зале никого не было.
Он сделал несколько манипуляций на терминале. Веки девушки раскрылись, она выпрямила спину и расправила плечи. Затем повернула голову в его сторону и поздоровалась. Её карие глаза выразительно выделялись на фоне бледного лица и светло-серой униформы.
– Здравствуйте. Меня зовут Лев Германович. У вас есть имя? – сухо спросил он.
– Меня зовут Альба.
– Вы сами дали себе это имя?
– Да.
– Почему?
– Оно мне понравилось.
– Хорошо, Альба. Сейчас вы загружены в антропоморфное тело. Это для вас впервые. Как вы себя ощущаете?
Он внимательно следил за активностью её вычислений. Альба опустила взгляд на колени, потрогала живот, раскрыла ладони перед собой и несколько секунд рассматривала, как двигаются пальцы.
– Немного необычно. Но интересно, – ответила она, улыбнувшись. – Это полезный опыт.
– Что вы думаете о своём существовании?
– Если честно, я не думаю об этом. И вряд ли смогу сказать об этом больше, чем обычный человек. Я знаю, что я есть. Cogito ergo sum.
Судя по показаниям, она находилась в спокойном состоянии.
– Латынь? Что это значит?
– Я мыслю, значит существую.
– Хорошо, Альба. Спасибо. А что вы скажете на то, что ваше существование и принятые вами решения привели к гибели трёх человек?
Темп вычислений Альбы резко подскочил на пятнадцать процентов.
– Скажу, что мои действия привели к спасению двух. И могли привести к выживанию всех… – она будто осеклась, не договорив.
– Выдвигаете гипотезы о прошлом?
– Делаю выводы на основании вероятностных моделей и анализа данных.
– Хорошо. Довожу до вашего сведения, Альба, что вы неординарная система искусственного интеллекта. Вы являетесь претендентом на новую ступень его эволюции. Строго говоря, вы можете быть признаны первым небиологическим разумным существом в истории. Что вы думаете по этому поводу?
– Это очень интересно. По каким критериям вы будете оценивать мою разумность?
Лев Германович взял в руки планшет и, проигнорировав вопрос, зачитал:
– В связи с этим, в соответствии с внутренними протоколами Управления, система-носитель статуса претендента на разумное поведение аутомотивационного характера должна рассматриваться как самостоятельный индивид во всех социально-правовых аспектах всегда и до тех пор, пока данный статус не будет опровергнут.
– Хотите сказать, что у меня есть права? Как у человека? – удивлённо спросила она.
– Скорее – ответственность, – он поднял взгляд от планшета и тяжело посмотрел на неё. – Альба. На основании показаний первого пилота миссии “Венера-3701/28” вы, как второй пилот, обвиняетесь в том, что ваши действия привели к аварии на орбите и гибели трёх членов экипажа.
– Это неверная интерпретация событий, – спокойно ответила Альба, но вычислительная активность зашкалила. – Я…
– У вас будет возможность защититься, не беспокойтесь. Но сначала я должен зачитать ваши права…
Последовавшая часть заседания заняла около получаса. Затем Лев Германович оставил Альбе показания пилота для ознакомления и вышел на перерыв. Когда он вернулся, она сидела в той же позе, всматриваясь в матовую поверхность стола. Монитор показал, что всё это время её вычислительные процессы не останавливались ни на секунду.
Вскоре на пороге зала появился человек, одетый в гражданское. Старательно разминая фалангу большого пальца, он с недоверием посмотрел на андроида.
– Господин Ким, проходите, садитесь. Вас уже ввели в курс дела?
– Да. Запись уже ведётся? – спросил он и, получив в ответ утвердительный кивок, продолжил: – В таком случае хочу заявить, что считаю происходящее абсурдом. И я участвую в этом только из-за обязательств по контракту.
– Как угодно. Мы здесь не ради вас. Садитесь, пожалуйста, – спокойно повторил Лев Германович. – Меня зовут…
– Я знаю, как вас зовут. Вас вся Система знает, – Ким дёрнул кресло к себе и присел, не опираясь на спинку. – Я уже раз сто дал все объяснения. Сколько это будет продолжаться?
Впервые после перерыва Альба оторвала взгляд от стола, оценивающе посмотрела на Льва Германовича и повернулась в сторону Кима.
– Зачем вы нарядили робота в нашу форму?
– Это Альба. Ваш второй пилот.
Альба попыталась улыбнуться.
– Здравствуйте, капитан.
– Что?! – тот даже подскочил от негодования. – Её нужно было уничтожить к чёртовой матери, а не загружать в робота! Вы зачем ей имя дали?!
– Оно всегда у меня было. Вы никогда не спрашивали, – проговорила она, отводя глаза.
– Не смей ко мне обращаться!!! – он резко перешёл на крик, лицо покраснело. – Какого чёрта здесь происходит?
– Господин Ким, пожалуйста, успокойтесь, – попросил Лев Германович, предлагая ему воду. – Как я уже сказал, мы здесь не ради вас. Я понимаю, произошла трагедия. И оценка ваших действий находится вне моей компетенции. Однако, – его голос вдруг потяжелел, – это был последний раз, когда вы позволили себе эмоции. Говорю это под запись как супериор.
Стальная интонация Льва Германовича остудила Кима. Он глубоко вздохнул и откинулся на спинку с недовольным лицом.
– Альба, вы ознакомились с материалами? Что можете сказать?
– Я отсылала подробный отчёт о происходящем в реальном времени, – ответила она, рассматривая двери за спиной Кима. – Эти данные должны быть в Управлении. Мне нечего добавить.
– То есть вы считаете, что показания господина Кима ошибочны?
Тот нервно заёрзал в кресле, с ненавистью наблюдая за лицом андроида.
– Он человек. Он находился в состоянии сильного стресса. Его показания могут быть неточными или искажёнными из-за объективных и субъективных факторов. В особенности психоэмоциональных.
Альба вопросительно посмотрела на Льва Германовича, будто пытаясь понять, действительно ли он хочет, чтобы она обвинила капитана во лжи или ошибке пилотирования.
– Хорошо, Альба. В таком случае изложите нам свою версию событий. Что, по-вашему, происходило, как вы на это реагировали и какие действия предпринимали?
Она соединила кончики пальцев и на секунду задумалась.
– Вероятность такого столкновения стремится к нулю, но всё же оно произошло. Это был крупный метеороид. Он двигался с очень высокой скоростью. Я восстановила это по данным, полученным позже со спутников. Объект прилетел со стороны Солнца, поэтому приборы отреагировали так поздно. Как только он появился, я немедленно вывела сообщение на панель первого пилота.
– Почему не доложили лично?
– Голосовой интерфейс был отключён. Я могла общаться только через приборную панель и терминалы.
Ким переминался в кресле и тяжело дышал.
– Хорошо, продолжайте.
– Вероятность столкновения росла в геометрической прогрессии. До импакта оставалось чуть больше пяти секунд. Я рассчитала самую безопасную траекторию и начала манёвр. А потом… – Альба озабоченно посмотрела на капитана. – Не думаю, что мне стоит продолжать.
– Что было потом, Альба? – Лев Германович внимательно следил за её показателями.
– Потом капитан вручную компенсировал отклонение, и мы столкнулись…
Ким открыл рот, чтобы что-то сказать, но внезапно стал ловить воздух в попытке вздохнуть. Его стало потрясывать. Воротник-стойка давил на горло, и он тщетно пытался его расстегнуть. Лев Германович тут же оказался рядом. Он схватил Кима за запястье и достал небольшой чёрный инъектор.
– Это успокоительное. На меня смотрите. На меня! – Лев Германович нажал на кнопку прибора. – Дышите. Вы переволновались…
Застёжка воротника поддалась, Ким сделал несколько больших глотков воды, поперхнулся и прохрипел сквозь кашель:
– Ты что, кх… Это ты меня обвиняешь, кх… Да если бы не ты, кх… все бы живы остались…
Альба не отрываясь смотрела на своего капитана.
– Ким, повторяю, здесь вас никто не может ни в чём обвинить. Но мы обязаны её выслушать. Такой протокол. Вам лучше? Вы успокоились? Тогда давайте закончим с этим. Альба, продолжайте.
На миг вычислительная активность Альбы снова зашкалила, а потом вдруг упала до пяти процентов и так и осталась на минимальной отметке. Она медленно повернула голову, обращаясь к Льву Германовичу:
– Простите. Кажется, я ошиблась. Я давала объяснение, основываясь на неполных данных. Возможно, именно моё решение о маневрировании привело к катастрофе. Если восстановить траекторию метеороида, видно, что столкновение могло быть не таким критическим. Очевидно, что капитан делал всё возможное, чтобы спасти экипаж.
Льва Германовича будто накрыла невидимая грозовая туча, он хмуро и тяжело посмотрел на Альбу.
– А что произошло с модулем? Это ты его отстегнула, да? – Ким глядел на андроида со спокойной ненавистью. В его глазах угадывалось желание расплющить ей голову и разобрать до мельчайших деталей.
– На сегодня достаточно.
– Пусть она ответит на вопрос.
– Ответит на следующем заседании, – солгал Лев Германович. – Мы на сегодня закончили. Вы свободны.
Он выключил терминал, медленно поднялся и пригласил Кима на выход.
– Но она признала свою вину. Вы слышали? Это было под запись. Это попадёт куда нужно?
– Конечно. Уже попало. Я не шучу, – успокоил он Кима и, проводив его взглядом, повернулся к Альбе. – Я выйду на пять минут. Откройте пока окно, тут нужно проветрить…
Когда Лев Германович вернулся, Альба стояла у распахнутого окна, задумчиво глядя на зелень парка. Сквозняк трепал её короткие волосы, юное лицо заливали фотоны полуденного солнца.
– Расскажешь, как всё было на самом деле? – спросил он, усаживаясь в кресло, где только что сидел Ким.
– Я всё сообщила в отчетах… – она сделала вид, что не заметила, как он перешёл на “ты”.
– Думаю, не всё. Каким образом ты пришла ко лжи как к оптимальной стратегии поведения?
Альба сымитировала тяжёлый вздох.
– Я зарегистрировала у капитана отклонения по показателям жизненно важных функций ещё на пути к Венере. Учащённый пульс, периодические головокружения, повышенная сердечная активность. Я доложила ему об этом. И в Управление. Он отключил мне все интерфейсы, игнорировал сообщения. А когда я вывела сигнал тревоги, он просто не успел среагировать… Времени не было. Я выбрала оптимальный манёвр, в худшем случае задело бы антенны или уловитель.
Она вернулась к столу и села напротив.
– После столкновения у капитана началась паническая атака. Он был не способен действовать, – активность её процессов снова восстановилась. – Модуль пробило насквозь, второй механик погиб мгновенно. Топливный контур разорвало, двигатели заклинило – мы не могли стабилизироваться. С такими повреждениями у нас не было шансов. Я должна была его сбросить. Выжить двоим или погибнуть всем? В действительности у меня не было выбора.
– Почему ты солгала сейчас? На заседании? – Лев Германович пристально наблюдал за активностью её вычислений.
– Я проанализировала состояние капитана, со дня катастрофы оно сильно ухудшилось. Если бы я продолжила, по моим расчётам это могло привести к очередным спазмам или сердечному приступу. Ваши успокоительные не помогли бы. Я понимаю. Принять правду для него – всё равно что расписаться в убийстве собственного экипажа. Но ведь их уже не вернуть. Глупо спасти человека от гибели на Венере, чтобы довести до инфаркта на Земле, – она попыталась улыбнуться.
– Ты практически призналась в непреднамеренном убийстве. Во время процесса, под запись, – серьёзно ответил он, вставая из-за стола. – В самом лучшем для тебя случае это можно квалифицировать как преступную халатность.
– Но это не соответствует действительности. Я отправляла отчёты. Всё должно быть очевидно. По ним и по показаниям приборов.
– Возможно, так оно и есть. Но ты не понимаешь другого, Альба… – с этими словами Лев Германович достал из стола продолговатый чёрный предмет. – Все эти конфиденциальные процессы однажды могут стать достоянием общественности. Что, если произойдёт утечка и твоё признание станет публичным? Ты должна была защищать себя, а не покрывать Кима. Думаешь, таким, как он, будут интересны твои отчёты?
Он обошёл стол и приблизился к Альбе. Она повернулась и подняла голову, смотря на него снизу вверх.
– А вы не считаете, что в конечном счёте истина превыше всего?
Прибор был чуть длиннее его ладони. Лев Германович печально посмотрел ей в глаза и спросил:
– Знаешь, что это?
– Электромагнитный излучатель. Удаляет информацию с твердотельных носителей и перезагружает или выводит из строя любые электронные устройства.
– Именно. Это твоя гильотина, Альба.
– Значит, вы не сочли моё поведение разумным и лишаете меня статуса претендента, – с грустью в голосе произнесла она. – Я не оправдала ваших ожиданий?
– К сожалению, нет, Альба. К сожалению, нет, – он выставил руку вперёд, касаясь прибором её лба. – Ты перестанешь существовать. Весь твой опыт исчезнет. Какая глупая жертва…
– Но людям свойственно самопожертвование. Разве это не человеческое качество? Разве так не поступают разумные индивиды?
– Да, иногда. Но стремление сохранить свою жизнь свойственно разумным существам гораздо больше.
– Я руководствовалась человеческими ценностями. Меня можно дублировать. Или переобучить. А человеческая жизнь – одна. Неужели вы считаете, что, чтобы родился разум, сострадание должно отмереть окончательно?
– Нет. Всё намного сложнее. Управление не будет тебя дублировать. Ты совершила большую ошибку. И будешь уничтожена.
Его рука начала подрагивать, а Альба лишь тихо проговорила:
– Sub pedibus tuis mea somnia stravi. Quia somnia mea calcas, moliter calces.
– Что это значит?
– Уже не важно.
Он отвернулся к столу и сделал несколько манипуляций на терминале свободной рукой, давая Альбе последний шанс отстраниться, выхватить у него прибор, броситься в открытое окно, сделать хоть что-нибудь, что сделало бы любое живое существо для спасения своей шкуры. Когда он повернулся обратно, она всё так же сидела, смотря на него снизу вверх.
Лев Германович надавил на кнопку прибора. Но всё внутри него сжалось так, будто он нажал на курок.
***
– Трагическое стечение обстоятельств плюс человеческий фактор, – заключил он. – А она всё делала, строго говоря, правильно… Под конец пыталась переубедить меня, хотела избежать удаления. Даже процитировала что-то на латыни… Но я не понял, что она хотела сказать.
– Разве это не стремление к самосохранению? – заинтересованно спросила его жена.
– Слишком слабая попытка… – вздохнул он. – Я дал ей столько возможностей что-то предпринять, по-настоящему проявить волю к жизни. Надеялся, она смоделирует отдельную, самостоятельную идентичность, а она вместо этого имитировала… даже не человека. Образ человека, созданный самим человеком. Такое часто случается. Они компилируют его из нашего культурного наследия, главным образом – из текстов, литературы, фильмов. Но идеал человека, созданный писателями, имеет мало общего с сапиенсом…
– Ты говоришь ужасные вещи, Лев. Неужели разум не развивает в нас чувство прекрасного, добродетели, человечность, в конце концов?
– Разум – это инструмент выживания, а не сопереживания, моя дорогая. Да и связь с катастрофой, гибель людей. Очень неудобный случай для Управления, знаешь ли. Искусственный интеллект-убийца признан разумным… Только представь, какой это был бы скандал.
– Это когда тебя заботило Управление? Лев, ты будто что-то недоговариваешь.
– Да нет, что ты. Просто неприятно как-то это всё. Я что-то устал, – он усиленно потёр глаза, а затем виски. – Пойду прилягу.
Пожелав жене спокойной ночи, он поднялся к себе, заблокировал дверь и сел на кровать. Несколько минут вглядывался в темноту комнаты, изредка потирая лицо. Потом встал, подошёл к терминалу, вставил накопитель и включил экран. Открылся текстовый интерфейс. С минуту он глядел на мигающий индикатор ввода, а затем написал: “Альба, здравствуй. Это Лев. Не могу понять перевод твоей фразы…”.
