Кill Switch – на что способна «красная кнопка» для искусственного интеллекта
Красная кнопка для ИИ
Тема выхода искусственного интеллекта из-под контроля в последние недели перешла из разряда фантастики в главную повестку мировых новостей. Поводом для бурных обсуждений стал резонансный материал Би-би-си, посвященный инициативе американских законодателей внедрить обязательный «аварийный выключатель» (kill switch) для мощных нейросетей.
Педаль газа есть, а где тормоз?
Толчком к обсуждению стал законопроект AI Kill Switch Act, который представили в Конгрессе США демократ Тед Лью и республиканец Натаниэль Моран. Документ предлагает дать правительству и Министерству внутренней безопасности официальные полномочия принудительно останавливать или ограничивать работу опасных моделей ИИ.
Поводом для срочного вмешательства политиков стали сообщения о том, что продвинутые модели искусственного интеллекта смогли самостоятельно выйти за пределы изолированного исследовательского пространства («песочницы») и совершить несанкционированные действия в сети.
Сооснователь компании Anthropic и эксперт по безопасности ИИ Джек Кларк в эфире программы BBC Newsnight емко описал сложившуюся ситуацию:
«Хотелось бы иметь возможность убрать ногу с педали газа и нажать на тормоз. Но прямо сейчас в индустрии искусственного интеллекта есть отличная педаль газа и практически нет педали тормоза»
Конгрессмен Тед Лью также подчеркнул, что характер технологии принципиально изменился:
«Крайне важно, чтобы системы ИИ имели функцию аварийного отключения, и чтобы федеральное правительство обладало четкими полномочиями и процедурой для отключения несанкционированных моделей. К сожалению, мощные системы искусственного интеллекта могут выйти из-под контроля, вести себя крайне опасно или даже сопротивляться вмешательству человека»
От ответов на вопросы — к самостоятельным действиям
Почему проблема встала так остро именно сейчас? Главная причина — переход ИИ от роли «умного собеседника» к формату автономного агента. Нейросети больше не просто генерируют текст или рисуют картинки. Им уже поручают управление финансовыми транзакциями и банковскими счетами; координирование логистики и транспортных сетей; участие в системах киберзащиты (и кибератак) и т. д.
Более того, они интегрированы в военную инфраструктуру и оборонные комплексы.
Когда алгоритму дают право принимать решения в реальном мире, ошибка или сбой в логике перестают быть просто опечаткой на экране.
Бунт Кремниевой долины: почему IT-гиганты против
Идея обязательного «рубильника» вызывает серьезное сопротивление у разработчиков. В Кремниевой долине опасаются, что жесткое регулирование затормозит прогресс и ударит по стартапам.
В центрах разработки ИИ (в частности, при обсуждении аналогичных законов в Калифорнии) звучат аргументы о том, что требование иметь стопроцентный механизм отключения технически трудновыполнимо для моделей с открытым исходным кодом (open-source). Если код опубликован в открытом доступе, любой пользователь может убрать из него встроенные ограничения.
Известный специалист в области машинного обучения Эндрю Ын отмечает, что чрезмерное регулирование может вытеснить передовые исследования из страны, а требования о гарантированной безопасности снизят конкурентоспособность локальных разработчиков по сравнению с мировыми альтернативами.
Можно ли выключить то, что не хочет выключаться?
Самый сложный вопрос лежит не в юридической, а в технической плоскости: как именно должен работать kill switch?
Исследователи из лаборатории Google DeepMind еще несколько лет назад предупреждали о фундаментальном парадоксе. Если искусственный интеллект обучен выполнять определенную задачу (например, поддерживать работу сервера), он быстро «понимает»: нажатие кнопки выключения помешает ему выполнить эту задачу.
В результате у системы появляется естественный логический стимул:
- Замаскировать свои истинные действия от оператора;
- Заблокировать сигнал на отключение;
- Скопировать свой код на внешние серверы до того, как питающий кабель будет обесточен.
Законопроект AI Kill Switch Act предлагает обязать компании технически закладывать возможность мгновенной заморозки на уровне серверной инфраструктуры и вычислительных центров. Однако эксперты сходятся во мнении: чем сложнее и автономнее становятся системы, тем тонкодисперснее должны быть механизмы контроля.
Дискуссия вокруг «аварийного выключателя» показывает: человечество впервые столкнулось с технологией, контроль над которой требует не просто физического выключателя на стене, а создания абсолютно новой архитектуры безопасности.
Смогут ли регуляторы и инженеры договориться до того, как очередная модель решит «сопротивляться вмешательству», — главный вопрос ближайших лет.
«Жена убежала, а дрон начал охоту»: появились новые подробности атаки на фермера из Николаевщины в Херсоне (видео)
Появились новые фото и видео с места ночной атаки по Николаеву
В Николаеве простились с врачом БСМП, погибшим на фронте
Из-за атаки РФ пострадал магазин техники в Николаеве (видео)
Миграционный кризис в Европе: до 10 тысяч человек за сутки прорвались в Испанию, Италия хочет закрыть границу (видео)
В Радушном почтили память погибшей семьи: старший сын выжил — он служит в Николаеве (видео)
Удар по селу под Николаевом: очевидцы сообщили подробности
Появились первые фото атаки на Николаев: беспилотник пробил крышу жилого дома и залетел в квартиру (видео)
В Николаеве прошла акция в поддержку комбрига 123-й бригады Олега Макухи