Оглавление

Бунт машин

Итак, не исключено, что кто-то (или что-то) достаточно давно рискнул в силу каких-то причин создать на Земле жизнь. И при этом этот гипотетический «кто-то» постепенно пошел от простых существ ко всем более и более сложным. Наконец, создал человека. А тот, в отличие от животных и прочих живых созданий, в силу способности оперировать далеко идущими моделями вышел за пределы поведения "поел – поспал, поспал - поел". Мы стали создавать сложные структуры общества, стали пользоваться орудиями, приборами и устройствами. И наконец стали залезать в законы устройства окружающего мира, при этом вольно или невольно, но высвобождая колоссальные силы и инициируя опасные процессы.

Давайте еще какое-то время будем называть это «что-то» или этого «кого-то» простым и всем понятным словом «Бог». Все равно никто не знает, что представляет собой Бог. Это по определению непознаваемая субстанция. А в нашем контексте использование этого слова, по сути, ничего не меняет. В любом случае речь идет о «создателе» в какой-то неясной форме.

Читатель, надеемся, простит нам такой немного пренебрежительный тон. Просто хочется точнее передать наше отношение к проблеме. Ясно, что мы не имеем в виду конкретного «Иисуса Христа», «Будду» или иного известного бога. У нас как авторов – это совершенно определенно лишь собирательный образ, который при этом не предполагает никакого поклонения. Так уж исторически сложилось, что достаточно разумная идея возникновения жизни на Земле на основе вмешательства посторонних факторов обрела в человеческом обществе довольно специфические формы. Люди стали поклоняться конкретным мифическим персонажам. Все это обросло витиеватыми обрядами, религиозными институтами. Кончилось тем, что весьма здравая в своей основе идея создателя (машины – создателя) оказалась почти безнадежно скомпрометированной. Мы же как авторы взялись почти за невозможное – наплевали на все эти компрометирующие факторы и попытались вычленить хоть какое-то рациональное зерно из религиозной темы. Если там нет этого зерна, ну и ладно, значит авторам немного почудилось. Если есть – тогда тоже неплохо. Если мы правы, то не придется полностью перечеркивать имеющееся у человечества мировоззрение и взгляды на себя и сам феномен жизни.

Вернемся к нашей теме, имеющей религиозно-мистический оттенок. Может быть, Бог опасался именно такого развития событий, когда человек начнет лезть, куда его не просили? Потому-то он сразу же после эпизода с Деревом познания добра и зла и пожалел о содеянном и в результате сделал человека смертным? А потом еще не раз пытался подрезать человеку крылья. К тому же еще предусмотрел в нашей голове механизмы, которые по большому счету препятствуют глубокому познанию природы. Но, похоже, что вопреки всем этим мерам и даже вопреки своему собственному желанию человек все равно сохранил способность разрушать привычный нам окружающий мир.

Самое же забавное в этой ситуации, если, конечно, она именно такова, – это то, что человек, как и Бог, похоже, тоже уже почти наступил на те же самые грабли. И мы, подобно Всевышнему, с самыми лучшими намерениями создали себе в помощь вычислительные машины. А теперь старательно и, в общем-то, безоглядно их совершенствуем. То есть мы тоже, как и Бог, создали своих Адама и Еву и теперь пытаемся ограничить их будущие нежелательные действия всевозможными хитроумными запретами. Даже у Бога, насколько можно судить, это не получилось. А у нас получится? Машины еще не познали добро и зло. Но до этого остался даже не шаг, а полшага.

Мысль о предстоящем «превращении» машин в людей достаточно часто приходит в голову как специалистам, так и простым людям. Нередко говорят, что машины, которые мы изобретаем, в одно прекрасное мгновение восстанут против человека. При этом ставится закономерный вопрос о том, в какой мере мы будем способны контролировать существа, которые сами же создали и продолжаем совершенствовать. Пока такой контроль вроде бы получается. Но будет ли так всегда?

Вообще, по сути, речь идет о конфликте "родителей" и "детей". Такой конфликт хорошо известен в человеческом обществе, он имеет объективный характер. Наверное, подобное противоречие возможно и в более общем плане. Когда речь идет о "родителях" и "детях", то совсем не обязательно, чтобы все они имели человеческий облик. Кроме того, ясно, что пространство для "проживания" во Вселенной ограничено. Относительно ограничено. А в пределах Солнечной системы и вовсе совсем мало мест, где могли бы быть созданы условия, хоть отдаленно напоминающие земные. Где мало пространства, там всегда будет конфликт. Может возникнуть, например, конфликт между иными носителями интеллекта и всеми теми, кого мы причисляем к живому миру, в первую очередь с человеком. Но может сложиться конфликтная ситуация также между человеком и созданными им же самим машинами.

Трудно сказать, произойдет ли это на самом деле или нет и, если произойдет, то когда. Но когда-нибудь вполне может произойти. В принципе ничего необычного в подобном предположении нет. Конечно, вряд ли уместно равнять машины с рабами, которые могут восстать. Все-таки рабы – это люди, и ими движут достаточно специфические мотивы. У машин мотивы могут быть иными. Собственно говоря, основной мотив может быть вовсе не враждебный. А просто сохранять себя, при этом размножаться и волей-неволей занимать все более обширное жизненное пространство. Если сложится ситуация, когда машины смогут самостоятельно сами себя воспроизводить, тогда конфликт, вероятнее всего, и возникнет. Условия для саморазмножения тоже достаточно понятны. Для начала машины должны стать намного проще по конструкции и материалам. Второе условие – это возникновение программы, ориентирующей машины на самозащиту, на самосохранение. В таком случае у машины, скорее всего, возникнет то, что у человека называется сознанием. И машина при возможности будет не только себя защищать, но и стремиться воспроизводить. Как мы видим, в этой схеме достаточно одному «неправильно» думающему программисту создать соответствующую программу и ввести ее в оборот, и «бунт» машин вполне становится реальностью. То есть тем самым такой программист сыграет роль зловредного змея из библейского сюжета о запретном дереве. Или Бога, создавшего Адама и Еву.

Что касается простоты устройства вычислительных машин, то тут мы совершенно явно идем именно к такому результату. Все устройства вокруг нас совершенствуются, становятся все более миниатюрными, а исходные материалы – все более дешевыми и доступными. Так что, похоже, что упрощение машин до степени, когда они смогут самовоспроизводиться, – это лишь вопрос времени, никак не иначе.

Может быть, снабжать всех создаваемых роботов вшитой программой, согласно которой человек является высшей ценностью и все, что может ему повредить, – недопустимо? Если бы все было так просто! Сам-то человек устроен по-другому. У нас высшая ценность – это собственная жизнь, это то, что называется инстинктом самосохранения.

Еще несколько десятков лет назад проблема безопасности машин стала рассматриваться как актуальная. Считается, что самое проработанное и принятое большинством людей решение проблемы безопасности можно найти у писателя-фантаста Айзека Азимова. Это так называемые три закона робототехники, которые сформулированы следующим образом:

1. робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред;

2. робот должен повиноваться командам, которые ему дает человек, кроме тех случаев, когда эти команды противоречат первому закону;

3. робот должен заботиться о своей безопасности, насколько это не противоречит первому и второму закону.

Нетрудно заметить, что в этих законах высшую силу имеют установки на обеспечение безопасности человека, а собственная безопасность (самосохранение) машины стоит только на третьем месте. Но, похоже, даже эти строгие законы не способны обеспечить безопасность человечества. По этому поводу было уже немало сказано. Рискуя повториться, тем не менее отметим следующее. Одна из движущих сил человеческого общества – это подготовка к войне. Очень нередко именно соображения обороны позволяют выделить средства на разработку какой-то идеи или новой техники. Вряд ли со временем что-нибудь изменится в этом вопросе. А использование роботов для ведения боевых операций – это одна из первейших современных задач. Следовательно, первый и второй законы, по крайней мере в отношении этих боевых роботов, будут сильно урезаны, если вообще использованы. Однако боевые машины – это как раз то, что может создать угрозу существованию человека.

Еще одно препятствие – это сложность формализации таких задач безопасности. Легко сказать, чтобы робот подчинялся человеку и слушался его. Да трудно сделать. При формализации такой задачи возникнет тысяча вопросов: какому человеку и какой команде подчиняться, как оценить, будет ли причинен вред или нет. Такие оценки подчас сложны даже для человека, не то что для машины. Например, захват жизненного пространства – это угроза человечеству? С какого момента такие действия превращаются в угрозу?

Когда мы говорим о возникновении и развитии жизни на Земле, то широко апеллируем к понятиям эволюции, отбора, мутации. То есть, что касается нас, тут-то мы вполне допускаем, что возможна ситуация существенного изменения генокода живого существа. А что, в отношении машины такое вообще невозможно? Собственно говоря, почему? Не будем трогать сложное понятие "эволюция". Но как быть с «мутациями» в отношении программ, по которым действует машина? Пусть мы заложили в нашу машину самое жесткое правило о подчинении человеку. Однако в результате какого-то внешнего воздействия, какой-то ошибки, сбоя эта часть программы может и пострадать, выйти из строя. А машина в целом может как сломаться, так и остаться работоспособной. То есть произойдет машинная "мутация". И как нам быть с таким машинным "мутантом"? Он в такой ситуации запросто может стать угрозой для кого угодно, в том числе и для человека.

Кстати, когда говорят о "восстании" машин, то нередко имеют в виду "железные" машины, в том числе вычислительные машины. И напрасно. Машины могут быть совсем не железные. Они запросто могут состоять из тех же органических веществ, что и мы с вами. Ведь не исключено, что и мы сами тоже своеобразные машины (хотя многие с этим не согласны). Человечество в последнее время сколько угодно манипулирует с генокодами, создает генно-модифицированные сельскохозяйственные культуры, пытается внести изменения в генокод человека. В полной мере клонируются живые существа. Даже создается что-то похожее на роботов, состоящих из органических молекул. Где гарантия, что все эти эксперименты не приведут к возникновению жизнеспособных существ, которые пока не существуют на Земле? И кто может поручиться, что эти существа не будут агрессивными по отношению к человеку?

В этой связи можно упомянуть следующее. Многие небезосновательно считают, что некоторые из современных вирусов, в том числе вирусы СПИДа, свиного гриппа, атипичной пневмонии возникли не сами по себе, а в соответствующих лабораториях. Авторы таких разработок, надо полагать, рассчитывали на определенные результаты: сократить население беднейших стран, расчистить жизненное пространство, обеспечить сбыт лекарств против ими же придуманных болезней. Но расчеты одно, а реальная жизнь - совсем другое. Все может пойти совсем не по тому сценарию, который изначально задумывался. И последствия могут быть самыми неблагоприятными.

Кроме того, машина может создать проблемы для человека не прямо, а косвенно. Может быть, машины и не будут бунтовать и пожирать человеческое мясо. Но они, надо думать, будут нуждаться в пространстве для существования, в материалах, в энергии, в определенном состоянии окружающей среды. Они в конце концов могут сами загрязнить эту среду, изменить климат, уничтожить какие-то растения. Да мало ли что еще! В результате человек запросто может оказаться «крайним». Вроде никто против него прямо не выступал, а условия для жизни в результате ухудшились настолько, что стали неприемлемыми.

Есть и еще одна сторона проблемы потенциального конфликта человека с созданными им же машинами. Допустим, что в нашем происхождении нет ничего божественного, а сами мы тоже лишь машины особого рода с вполне детерминированными поступками. В таком случае мы ничем не лучше и не хуже машин, которые создаем. Пока эти машины несовершенны и не могут претендовать на равные с нами права, да и вообще на какие-либо права. Но не факт, что так будет продолжаться всегда. Допустим, что в один прекрасный момент машины стали столь совершенны, что возник вопрос о равном положении с человеком. Когда мы говорим "совершенны", мы имеем в виду два элемента. Во-первых, машина стала способной решать определенный круг задач, характерных пока только для человека. Например, совершать поступки, которые совершает человек, когда он живет в рамках человеческого сообщества. К примеру, выполнять полезную работу, за которую можно получить вознаграждение.

Но этого мало. Уже и сейчас машины выполняют важные работы – играют на бирже, и не только.[1] Машины, во-вторых, должны быть способны существовать (поддерживать свое существование и, возможно, размножаться) без человеческой помощи. То есть у машины не должно быть непосредственного покровителя, претендующего на статус хозяина.

Итак, человек – сам по себе, а рядом с ним машина, которая тоже сама по себе. И как быть в этой ситуации? Если машина превратится в самостоятельный субъект, сам себя поддерживающий в рабочем состоянии, то с ней, наверное, придется считаться. Самое время признать за ней какие-то права и начать строить с ней отношения. Пусть даже как между колонизатором и туземцем. Но все-таки по каким-то правилам. В таком случае можно рассчитывать на относительно безболезненное и лишь постепенное, а не резкое смещение баланса между человеком и машиной.

Авторы данной книги хорошо понимают, что, скорее всего, никогда никакие отношения строиться не будут. Не такова человеческая натура. Конечно, никогда мы не сможем избавиться от чувства собственной исключительности, божественности и неповторимости. Мы и сейчас не способны на это, несмотря на то, что машины явно уже выполняют многие действия, которые раньше был способен совершить только человек. Нет, очевидно, что мы с вами ни на какие переговоры ни с какими машинами никогда не пойдем. И будем стоять на своем до конца. Результатом будет следующее. Если машины к тому моменту окажутся способны существовать и развиваться без помощи человека, именно этим они и займутся. И будут в результате занимать все большую часть жизненного пространства. То есть станут теснить человека. Но будут делать это без каких-либо правил. То есть возникнет ситуация силового конфликта. Кто сильней, тот и победит. При этом машины не будут связаны никакими правилами.

Читатель тут возразит следующее. Мол, машины никогда не будут соблюдать правила, о которых с ними можно договориться. Ответим: это сложный вопрос. Люди и между собой далеко не всегда могут договориться, и только из-за этого начинают войны. И тоже не склонны соблюдать правила. Однако часть конфликтов все-таки удается снять путем переговоров и добровольных уступок и ограничений, и это тоже совершенно очевидный факт. Наверное, такое возможно и применительно к машинам. Любые подобные переговоры представляют собой попытку установить правила, с помощью которых можно попытаться обеспечить применение каких-то принудительных мер. То есть если партнер по переговорам на каком-то этапе начинает отходить от договоренностей, – это сигнал к применению силы. Если такой договоренности не будет, то тогда не всегда понятно, когда именно надо применять силу и в каком масштабе. Когда мы тут говорим "сила", то подразумеваем принуждение в любой форме, в том числе и самой мягкой, а не только, например, ядерную бомбардировку.

Авторский прогноз таков. Наступит момент, когда надо будет договариваться, причем по-умному, с использованием сложного механизма контроля и принуждения. Но когда такая нужда возникнет, человечество вряд ли окажется способным на подобный шаг. В результате нас потеснят силой, и тогда придется считаться с реально сложившимся положением вещей. И при этом будет не важно, будем мы признавать за машинами наличие интеллекта или нет. Ведь, по сути, само такое признание – это просто повод к признанию права на переговоры с нами, к признанию права сесть с нами за один стол на равных, и только.