Это остаётся верным для науки, технологии, в системах ИИ, а также между частями наших умов.
Наличие мира, полного разнообразия и изобилующего авторами теорий, сторонниками и критиками - это то, что делает продвижение науки и технологии вперёд надёжным. Если будет больше авторов теорий, будет больше хороших теорий; если будет больше критиков - плохие теории будут более уязвимыми. Лучшие и более многочисленные идеи будут результатом. Подобная форма избыточности может помочь системам ИИ разрабатывать достоверные идеи.
Люди иногда направляют свои действия стандартами истины и этики, и нам нужно быть в состоянии разработать системы ИИ, чтобы они делали то же самое, но более надёжно. Способные думать в миллионы раз быстрее чем мы, они будут иметь больше времени для дополнительных размышлений. Похоже, что системы ИИ можно сделать такими, чтобы им можно было доверять, по крайней мере по человеческим стандартам.
Я часто сравнивал системы ИИ с отдельными человеческими умами, но подобие не обязательно должно быть близким. Система, которая способна подражать человеку, возможно должна быть подобна человеку, но система автоматической разработки - вероятно не обязательно. Одно предложение (называемое системой Агора, в честь греческого слова, обозначающего встречу и рыночную площадь) состояло бы в том, чтобы много независимых кусочков программ, которые взаимодействуют, предлагая друг другу услуги в обмен на деньги. Большинство кусочков было бы простоватыми узколобыми специалистами, некоторые способные подсказывать изменение конструкции, а другие - анализировать его. Во многом также, как земная экология разработала экстраординарные организмы, также эта компьютерная экономика могла бы разрабатывать экстраординарные конструкции - и, возможно, сравнительно безмозглым способом. Что более важно, поскольку система была бы распределена по многим машинам и имела бы части написанные многими людьми, она могла бы быть разнообразной, устойчивой и затруднённой для любой группы чтобы захватить и использовать во вред.
В конце концов так или иначе, системы автоматической разработки будут способны разрабатывать вещи более надёжно чем любая группа людей-инженеров может сегодня. Наша большая задача будет сконструировать их правильно. Нам нужны человеческие институты, которые надёжно разрабатывают надёжные системы.
Человеческие институты - это развившиеся искусственные системы, и они могут часто решать проблемы, которые отдельные члены - не могут. Это делает их чем-то вроде "искусственных интеллектуальных систем." Корпорации, армии, и исследовательские лаборатории - это всё примеры, также как более свободные структуры рынка или научного сообщества. Даже правительства могут рассматриваться как системы искусственного интеллекта - большие, медлительные, одурманенные, однако сверхчеловеческие в своих реальных способностях. И что есть конституциональный контроль и баланс, как не попытка увеличить надёжность правительства через институциональное разнообразие и избыточность? Когда мы строим интеллектуальные машины, мы будет использовать их, чтобы проверять и создавать баланс одной над другой.
Применяя эти разумные принципы, мы можем быть в состоянии разработать надёжные техники ориентированные институты, имеющие сильный контроль ошибок и балансы, и тогда использовать их, чтобы руководить разработкой систем, которые нам понадобятся, чтобы управляться с будущими прорывами.
Тактика ассемблерной революции
Некоторая сила в мире (заслуживающая доверия или нет) возьмёт первенство в разработке ассемблеров; назовём её "ведущей силой". Из-за стратегической важности ассемблеров, ведущая сила предположительно будет некоторой организацией или институтом, который эффективно контролируется каким-то правительством или группой правительств. Чтобы упросить вопрос, предположим на минуту, что мы (хорошие ребята, пытающиеся быть мудрыми) можем определить способ поведения для ведущей силы. Для граждан демократических государств, принять это - кажется хорошей позицией.
Что нам следует делать, чтобы улучшить наши шансы достижения такого будущего, в котором стоит жить? Что мы можем сделать?
Начнём с того, что не должно случиться: мы должны не позволить отдельному воспроизводящемуся ассемблеру неправильного типа выйти на свободу в неподготовленный мир. Эффективные приготовления кажутся возможными (как я это опишу ниже), но, по-видимому, они должны быть основаны на построенных ассемблерами системах, которые могут быть построены только после того, как опасные репликаторы уже смогут быть возможными. Разработка с опережением может помочь ведущей силе подготовиться, однако даже энергичные предусмотрительные действия кажутся неадекватными, чтобы предотвратить момент опасности. Аргумент простой: опасные репликаторы будет намного проще разработать, чем системы, которые могут помешать им, также как бактерия намного проще иммунной системы. Нам будет нужна тактика для сдерживания нанотехнологии, пока мы не научимся её приручать.
Одна очевидная тактика - изоляция: ведущая сила будет способна содержать репликаторные системы за многочисленными стенами или в космических лабораториях. Простые репликаторы не будут иметь интеллекта, и они не будут разрабатываться, чтобы убежать и пойти буйствовать. Сдерживание их не кажется слишком сложной задачей.
Но лучше, чтобы мы могли разработать репликаторы, которые не могут убежать и начать буйствовать. Мы можем построить их со счётчиками (такими как в клетках), которые ограничивают их до фиксированного числа копий. Мы можем строить их так, чтобы они нуждались в особом синтетическом «витамине», или в очень специфической среде, которую можно обеспечить только в лаборатории. Хотя репликаторы можно было бы делать более стойкими и более прожорливыми, чем любые современные насекомые, мы также можем сделать их полезными, но безопасными. Поскольку мы будет разрабатывать их с нуля, репликаторы не обязательно должны иметь элементарные способности к выживанию, которые эволюция встроила в живые клетки.
Далее, им не обязательно нужно быть способными эволюционировать. Мы можем дать репликаторам избыточные копии их «генетических» инструкций, вместе с механизмами ремонта, чтобы исправлять любые мутации. Мы можем разработать их так, чтобы они переставали работать задолго до того, как накопится достаточно повреждений, чтобы сделать продолжительную мутацию значимой возможностью. Наконец, мы можем разработать их так, чтобы эволюция не происходила даже если мутации могли бы случаться.
Эксперименты показывают, что большинство компьютерных программ (иных, чем специально разработанные программы ИИ, такие как Эвриско доктора Лената) редко отвечают на мутации при небольшом изменении; вместо этого они просто перестают работать. Поскольку они не могут разнообразиться полезными способами, они не могут эволюционировать. Если они не разработаны специально для этого, репликаторы, направляемые нанокомпьютерами, будут разделять этот недостаток. Современные организмы достаточно хорошо способны эволюционировать отчасти потому что они произошли от предшественников, которые эволюционировали.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87
Наличие мира, полного разнообразия и изобилующего авторами теорий, сторонниками и критиками - это то, что делает продвижение науки и технологии вперёд надёжным. Если будет больше авторов теорий, будет больше хороших теорий; если будет больше критиков - плохие теории будут более уязвимыми. Лучшие и более многочисленные идеи будут результатом. Подобная форма избыточности может помочь системам ИИ разрабатывать достоверные идеи.
Люди иногда направляют свои действия стандартами истины и этики, и нам нужно быть в состоянии разработать системы ИИ, чтобы они делали то же самое, но более надёжно. Способные думать в миллионы раз быстрее чем мы, они будут иметь больше времени для дополнительных размышлений. Похоже, что системы ИИ можно сделать такими, чтобы им можно было доверять, по крайней мере по человеческим стандартам.
Я часто сравнивал системы ИИ с отдельными человеческими умами, но подобие не обязательно должно быть близким. Система, которая способна подражать человеку, возможно должна быть подобна человеку, но система автоматической разработки - вероятно не обязательно. Одно предложение (называемое системой Агора, в честь греческого слова, обозначающего встречу и рыночную площадь) состояло бы в том, чтобы много независимых кусочков программ, которые взаимодействуют, предлагая друг другу услуги в обмен на деньги. Большинство кусочков было бы простоватыми узколобыми специалистами, некоторые способные подсказывать изменение конструкции, а другие - анализировать его. Во многом также, как земная экология разработала экстраординарные организмы, также эта компьютерная экономика могла бы разрабатывать экстраординарные конструкции - и, возможно, сравнительно безмозглым способом. Что более важно, поскольку система была бы распределена по многим машинам и имела бы части написанные многими людьми, она могла бы быть разнообразной, устойчивой и затруднённой для любой группы чтобы захватить и использовать во вред.
В конце концов так или иначе, системы автоматической разработки будут способны разрабатывать вещи более надёжно чем любая группа людей-инженеров может сегодня. Наша большая задача будет сконструировать их правильно. Нам нужны человеческие институты, которые надёжно разрабатывают надёжные системы.
Человеческие институты - это развившиеся искусственные системы, и они могут часто решать проблемы, которые отдельные члены - не могут. Это делает их чем-то вроде "искусственных интеллектуальных систем." Корпорации, армии, и исследовательские лаборатории - это всё примеры, также как более свободные структуры рынка или научного сообщества. Даже правительства могут рассматриваться как системы искусственного интеллекта - большие, медлительные, одурманенные, однако сверхчеловеческие в своих реальных способностях. И что есть конституциональный контроль и баланс, как не попытка увеличить надёжность правительства через институциональное разнообразие и избыточность? Когда мы строим интеллектуальные машины, мы будет использовать их, чтобы проверять и создавать баланс одной над другой.
Применяя эти разумные принципы, мы можем быть в состоянии разработать надёжные техники ориентированные институты, имеющие сильный контроль ошибок и балансы, и тогда использовать их, чтобы руководить разработкой систем, которые нам понадобятся, чтобы управляться с будущими прорывами.
Тактика ассемблерной революции
Некоторая сила в мире (заслуживающая доверия или нет) возьмёт первенство в разработке ассемблеров; назовём её "ведущей силой". Из-за стратегической важности ассемблеров, ведущая сила предположительно будет некоторой организацией или институтом, который эффективно контролируется каким-то правительством или группой правительств. Чтобы упросить вопрос, предположим на минуту, что мы (хорошие ребята, пытающиеся быть мудрыми) можем определить способ поведения для ведущей силы. Для граждан демократических государств, принять это - кажется хорошей позицией.
Что нам следует делать, чтобы улучшить наши шансы достижения такого будущего, в котором стоит жить? Что мы можем сделать?
Начнём с того, что не должно случиться: мы должны не позволить отдельному воспроизводящемуся ассемблеру неправильного типа выйти на свободу в неподготовленный мир. Эффективные приготовления кажутся возможными (как я это опишу ниже), но, по-видимому, они должны быть основаны на построенных ассемблерами системах, которые могут быть построены только после того, как опасные репликаторы уже смогут быть возможными. Разработка с опережением может помочь ведущей силе подготовиться, однако даже энергичные предусмотрительные действия кажутся неадекватными, чтобы предотвратить момент опасности. Аргумент простой: опасные репликаторы будет намного проще разработать, чем системы, которые могут помешать им, также как бактерия намного проще иммунной системы. Нам будет нужна тактика для сдерживания нанотехнологии, пока мы не научимся её приручать.
Одна очевидная тактика - изоляция: ведущая сила будет способна содержать репликаторные системы за многочисленными стенами или в космических лабораториях. Простые репликаторы не будут иметь интеллекта, и они не будут разрабатываться, чтобы убежать и пойти буйствовать. Сдерживание их не кажется слишком сложной задачей.
Но лучше, чтобы мы могли разработать репликаторы, которые не могут убежать и начать буйствовать. Мы можем построить их со счётчиками (такими как в клетках), которые ограничивают их до фиксированного числа копий. Мы можем строить их так, чтобы они нуждались в особом синтетическом «витамине», или в очень специфической среде, которую можно обеспечить только в лаборатории. Хотя репликаторы можно было бы делать более стойкими и более прожорливыми, чем любые современные насекомые, мы также можем сделать их полезными, но безопасными. Поскольку мы будет разрабатывать их с нуля, репликаторы не обязательно должны иметь элементарные способности к выживанию, которые эволюция встроила в живые клетки.
Далее, им не обязательно нужно быть способными эволюционировать. Мы можем дать репликаторам избыточные копии их «генетических» инструкций, вместе с механизмами ремонта, чтобы исправлять любые мутации. Мы можем разработать их так, чтобы они переставали работать задолго до того, как накопится достаточно повреждений, чтобы сделать продолжительную мутацию значимой возможностью. Наконец, мы можем разработать их так, чтобы эволюция не происходила даже если мутации могли бы случаться.
Эксперименты показывают, что большинство компьютерных программ (иных, чем специально разработанные программы ИИ, такие как Эвриско доктора Лената) редко отвечают на мутации при небольшом изменении; вместо этого они просто перестают работать. Поскольку они не могут разнообразиться полезными способами, они не могут эволюционировать. Если они не разработаны специально для этого, репликаторы, направляемые нанокомпьютерами, будут разделять этот недостаток. Современные организмы достаточно хорошо способны эволюционировать отчасти потому что они произошли от предшественников, которые эволюционировали.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87