Претенденты на любую сколько-нибудь ответственную должность будут давать присягу об отказе от поддержки «Общества». Это, конечно, в какой-то мере ущемит гражданские права, но я уверен, что Конгресс…
– Это ничего не даст.
– Что? Почему? – оторопело уставился на нее Байерли.
– Позволю себе сделать предсказание. Если вы попытаетесь это осуществить, вы встретитесь с препятствиями на каждом шагу. Вы не сможете продолжать работать. Любое продвижение в этом направлении будет сопровождаться неприятностями.
Байерли был совершенно обескуражен.
– Я не ожидал услышать это от вас. Я рассчитывал на вашу поддержку.
– Но это невозможно, Стивен! Все ваши выводы основаны на неверных допущениях. Вы признали, что Машина не может ошибаться, признали, что и неверные данные ей подсунуть невозможно. А теперь я готова доказать, что и повиноваться Машине тоже невозможно, как это, на ваш взгляд, делает «Общество».
– С этим я совершенно не согласен.
– Тогда слушайте. Каждое действие любого ответственного лица, не согласующееся с рекомендациями Машины, становится ей известно и учитывается при решении очередной проблемы. Машине, таким образом, становится известна склонность данного лица к неповиновению. Машина может даже качественно оценить последствия этого, то есть предвидеть, в какой степени и в каком направлении ее рекомендации будут нарушены. И последующий ответ Машины будет, естественно, скорректирован таким образом, чтобы непослушание данного исполнителя автоматически привело к оптимальным результатам. Машина знает, Стивен!
– Но вы не можете быть в этом уверены. Это просто ваша догадка.
– Догадка, не спорю, но основана она на многолегнем опыте работы с роботами. И будет лучше, если вы положитесь на эту догадку, Стивен!
– Но что же тогда получается? С Машинами, как и с вводимыми в них данными, все в порядке. Не слушаться их, как вы говорите, тоже невозможно. Но что же тогда не в порядке?
– Вы сами ответили на свой вопрос. Все в порядке. Задумайтесь немного о самих Машинах, Стивен. Они роботы и повинуются Первому Закону. Но Машина призвана заботиться не об отдельном человеке, а обо всем человечестве. Следовательно, для них Первый Закон должен звучать так: «Ни одна Машина не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред».
Отлично. А теперь, Стивен, давайте зададим себе вопрос: какой вред может быть причинен человечеству? Что ему грозит? Больше всего – нарушения баланса в экономике по какой бы то ни было причине. Не так ли?
– Так.
– А из-за чего могут возникнуть самые большие нарушения баланса в экономике, Стивен? Попробуйте ответить.
– Ну… – неохотно начал Стивен, – пожалуй, из-за разрушения Машин. Я бы так сказал.
– И я бы так сказала. Именно так и должны отвечать себе на этот вопрос сами Машины. Их первейшей задачей, стало быть, становится самосохранение, но ради нас. Именно поэтому они незаметно взяли под контроль тех людей, которые могли бы им угрожать. Вовсе не «Общество защиты прав человека» раскачивает лодку, чтобы в конце концов добиться демонтажа Машин. Вы смотрели на обратную сторону картины. Гораздо правильней будет сказать, что это сами Машины раскачивают лодку – не сильно, ровно настолько, чтобы стряхнуть за борт тех, кто преследует цели, которые Машинам представляются опасными для человечества.
Итак: Врасайяна остался без завода и получил Другую работу, где он не может причинить вреда. Он не очень пострадал, он не лишился средств к существованию – ведь Машина в принципе не может нанести человеку вред, разве что самый минимальный, и то в интересах всего человечества. Концерн «Циннабар» утрачивает контроль над альмаденскими рудниками. Виллафранка уволен с поста главного инженера строительства канала. А директора «Всемирной Сталелитейной» уже утрачивают руководящие позиции в промышленности – и очень скоро потеряют совсем.
– Но вы же ничего этого не знаете наверняка, – упорствовал Байерли. – Разве можем мы рисковать и действовать на основе одних только предположений?
– Не только можете, но и должны. Помните тот ответ, который дала сама Машина на ваш запрос? Он звучал так: «Ответив вопрос недопустим». Правильно? Ведь Машина не сказала, что объяснения нет или что она не может его найти. Она просто не собиралась ничего объяснять. Никому. Другими словами, она решила, что знать суть дела человечеству не нужно и опасно. Поэтому нам остается одно: положиться на свои догадки.
– Но какой же вред был бы в том, чтобы Машина все нам объяснила? Конечно, если допустить, что вы правы.
– Если я права, то это значит, что Машина продумывает за нас наше будущее не только в плане выдачи корректных ответов на корректно заданные вопросы, но и принимает стратегические для развития человечества решения и учитывает человеческую психологию. Знание об этом может сделать нас несчастными и ранить нашу гордость, а этого Машина допустить не может. Она не должна делать нас несчастными.
И потом, Стивен, разве мы можем знать, что для человечества хорошо, а что плохо? В нашем распоряжении нет и крупицы всех тех данных, которыми располагает Машина! Ну вот, известный пример: разве развитие нашей технической цивилизации не принесло больше горя и страданий, чем было им уничтожено? Очень может быть, что примитивная аграрная цивилизация, с более низким уровнем культуры и меньшей численностью населения, была бы предпочтительнее. Кто знает? Если это так, то именно в таком направлении Машины будут нас подталкивать, ни в коем случае не сообщая нам об этом, потому что мы невежественны, мы заражены предрассудками, мы считаем благом только то, к чему привыкли. С любыми переменами мы тут же начнем отчаянную борьбу. А может быть, для человечества лучше полная урбанизация, или кастовое сообщество, или абсолютная анархия. Мы этого не знаем. Знают только Машины, и они двигаются в этом направлении, ведя нас за собой.
– Ваши слова, Сьюзен, означают, что «Общество борьбы за права человека» не ошибается и что человечество утратило право принимать решения о собственном будущем?
– У него никогда и не было такого права. Будущее в конце концов всегда определялось экономическими и социальными силами – какими именно, человечество не понимало: то ли особенностями климата, то ли удачами в войнах. Это все теперь понятно Машинам, и никто не может помешать им, поскольку Машины держат в своих руках эти силы, как они держат и «Общество». Для этого они располагают самым мощным оружием – абсолютным контролем над нашей экономикой
– Как это ужасно!
– Наоборот! Как это прекрасно! Подумайте только, ведь теперь впервые за всю историю человечества все противоречия разрешимы, всех конфликтов можно избежать. И только Машины на все времена неизбежны!
Как раз в этот момент огонь за кварцевым стеклом угас окончательно, и только тонкая струйка синего дыма осталась там, где он только что горел.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55
– Это ничего не даст.
– Что? Почему? – оторопело уставился на нее Байерли.
– Позволю себе сделать предсказание. Если вы попытаетесь это осуществить, вы встретитесь с препятствиями на каждом шагу. Вы не сможете продолжать работать. Любое продвижение в этом направлении будет сопровождаться неприятностями.
Байерли был совершенно обескуражен.
– Я не ожидал услышать это от вас. Я рассчитывал на вашу поддержку.
– Но это невозможно, Стивен! Все ваши выводы основаны на неверных допущениях. Вы признали, что Машина не может ошибаться, признали, что и неверные данные ей подсунуть невозможно. А теперь я готова доказать, что и повиноваться Машине тоже невозможно, как это, на ваш взгляд, делает «Общество».
– С этим я совершенно не согласен.
– Тогда слушайте. Каждое действие любого ответственного лица, не согласующееся с рекомендациями Машины, становится ей известно и учитывается при решении очередной проблемы. Машине, таким образом, становится известна склонность данного лица к неповиновению. Машина может даже качественно оценить последствия этого, то есть предвидеть, в какой степени и в каком направлении ее рекомендации будут нарушены. И последующий ответ Машины будет, естественно, скорректирован таким образом, чтобы непослушание данного исполнителя автоматически привело к оптимальным результатам. Машина знает, Стивен!
– Но вы не можете быть в этом уверены. Это просто ваша догадка.
– Догадка, не спорю, но основана она на многолегнем опыте работы с роботами. И будет лучше, если вы положитесь на эту догадку, Стивен!
– Но что же тогда получается? С Машинами, как и с вводимыми в них данными, все в порядке. Не слушаться их, как вы говорите, тоже невозможно. Но что же тогда не в порядке?
– Вы сами ответили на свой вопрос. Все в порядке. Задумайтесь немного о самих Машинах, Стивен. Они роботы и повинуются Первому Закону. Но Машина призвана заботиться не об отдельном человеке, а обо всем человечестве. Следовательно, для них Первый Закон должен звучать так: «Ни одна Машина не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред».
Отлично. А теперь, Стивен, давайте зададим себе вопрос: какой вред может быть причинен человечеству? Что ему грозит? Больше всего – нарушения баланса в экономике по какой бы то ни было причине. Не так ли?
– Так.
– А из-за чего могут возникнуть самые большие нарушения баланса в экономике, Стивен? Попробуйте ответить.
– Ну… – неохотно начал Стивен, – пожалуй, из-за разрушения Машин. Я бы так сказал.
– И я бы так сказала. Именно так и должны отвечать себе на этот вопрос сами Машины. Их первейшей задачей, стало быть, становится самосохранение, но ради нас. Именно поэтому они незаметно взяли под контроль тех людей, которые могли бы им угрожать. Вовсе не «Общество защиты прав человека» раскачивает лодку, чтобы в конце концов добиться демонтажа Машин. Вы смотрели на обратную сторону картины. Гораздо правильней будет сказать, что это сами Машины раскачивают лодку – не сильно, ровно настолько, чтобы стряхнуть за борт тех, кто преследует цели, которые Машинам представляются опасными для человечества.
Итак: Врасайяна остался без завода и получил Другую работу, где он не может причинить вреда. Он не очень пострадал, он не лишился средств к существованию – ведь Машина в принципе не может нанести человеку вред, разве что самый минимальный, и то в интересах всего человечества. Концерн «Циннабар» утрачивает контроль над альмаденскими рудниками. Виллафранка уволен с поста главного инженера строительства канала. А директора «Всемирной Сталелитейной» уже утрачивают руководящие позиции в промышленности – и очень скоро потеряют совсем.
– Но вы же ничего этого не знаете наверняка, – упорствовал Байерли. – Разве можем мы рисковать и действовать на основе одних только предположений?
– Не только можете, но и должны. Помните тот ответ, который дала сама Машина на ваш запрос? Он звучал так: «Ответив вопрос недопустим». Правильно? Ведь Машина не сказала, что объяснения нет или что она не может его найти. Она просто не собиралась ничего объяснять. Никому. Другими словами, она решила, что знать суть дела человечеству не нужно и опасно. Поэтому нам остается одно: положиться на свои догадки.
– Но какой же вред был бы в том, чтобы Машина все нам объяснила? Конечно, если допустить, что вы правы.
– Если я права, то это значит, что Машина продумывает за нас наше будущее не только в плане выдачи корректных ответов на корректно заданные вопросы, но и принимает стратегические для развития человечества решения и учитывает человеческую психологию. Знание об этом может сделать нас несчастными и ранить нашу гордость, а этого Машина допустить не может. Она не должна делать нас несчастными.
И потом, Стивен, разве мы можем знать, что для человечества хорошо, а что плохо? В нашем распоряжении нет и крупицы всех тех данных, которыми располагает Машина! Ну вот, известный пример: разве развитие нашей технической цивилизации не принесло больше горя и страданий, чем было им уничтожено? Очень может быть, что примитивная аграрная цивилизация, с более низким уровнем культуры и меньшей численностью населения, была бы предпочтительнее. Кто знает? Если это так, то именно в таком направлении Машины будут нас подталкивать, ни в коем случае не сообщая нам об этом, потому что мы невежественны, мы заражены предрассудками, мы считаем благом только то, к чему привыкли. С любыми переменами мы тут же начнем отчаянную борьбу. А может быть, для человечества лучше полная урбанизация, или кастовое сообщество, или абсолютная анархия. Мы этого не знаем. Знают только Машины, и они двигаются в этом направлении, ведя нас за собой.
– Ваши слова, Сьюзен, означают, что «Общество борьбы за права человека» не ошибается и что человечество утратило право принимать решения о собственном будущем?
– У него никогда и не было такого права. Будущее в конце концов всегда определялось экономическими и социальными силами – какими именно, человечество не понимало: то ли особенностями климата, то ли удачами в войнах. Это все теперь понятно Машинам, и никто не может помешать им, поскольку Машины держат в своих руках эти силы, как они держат и «Общество». Для этого они располагают самым мощным оружием – абсолютным контролем над нашей экономикой
– Как это ужасно!
– Наоборот! Как это прекрасно! Подумайте только, ведь теперь впервые за всю историю человечества все противоречия разрешимы, всех конфликтов можно избежать. И только Машины на все времена неизбежны!
Как раз в этот момент огонь за кварцевым стеклом угас окончательно, и только тонкая струйка синего дыма осталась там, где он только что горел.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55