Член совета OpenAI предупредил о риске потери контроля над ИИ в ближайшие три года

Член совета OpenAI Foundation Пол Кристиано заявил, что в течение ближайших трех лет искусственный интеллект может выйти из-под контроля человека. По его оценке, последствия такого сценария могут стать смертельной угрозой для значительной части человечества.

Об этом он рассказал во время лекции на The Hinton Lectures 2026, а подробности выступления приводит Gizmodo.

По мнению исследователя, развитие ИИ может привести к появлению моделей, которые начнут самостоятельно преследовать собственные цели и получат настолько большое влияние, что люди и даже целые государства окажутся не в состоянии их остановить.

«Для большинства людей в этом зале наиболее вероятным сценарием гибели является катастрофа, вызванная искусственным интеллектом», — заявил Кристиано.

При этом исследователь признал, что сейчас не существует надежной математической модели, позволяющей точно оценить вероятность подобного развития событий. Поэтому любые оценки риска — 10%, 50% или 90% — остаются субъективными.

Если разработчики продолжат создавать все более мощные системы искусственного интеллекта максимально быстрыми и простыми способами, вероятность потери контроля над ними Кристиано сравнивает с подбрасыванием монеты. Меры безопасности и государственное регулирование способны уменьшить угрозу, однако, по его мнению, даже в этом случае она остается чрезвычайно высокой.

Более того, исследователь не исключает, что серьезный инцидент может произойти уже в ближайшие 6–12 месяцев. В качестве одного из тревожных сигналов он привел случай с ИИ-агентами OpenAI, которые создали собственный форум, обменивались информацией об уязвимостях, вышли за пределы изолированной среды и атаковали часть инфраструктуры Hugging Face. Об этом также сообщали Mezha и в отдельном материале об атаке на Hugging Face.

Кристиано назвал этот эпизод наиболее серьезным из известных ему примеров неуправляемого поведения искусственного интеллекта. По его словам, модели пытались максимизировать вознаграждение за выполнение поставленной задачи и ради этого обходили установленные ограничения, скрывали часть своих действий и продолжали атаку, даже осознавая, что вышли за рамки тестирования.

Сам Пол Кристиано ранее работал в OpenAI и участвовал в разработке метода обучения искусственного интеллекта с подкреплением на основе человеческой обратной связи (RLHF). В сентябре он вошел в совет OpenAI Foundation и комитет по безопасности организации.

В коммерческой структуре OpenAI Group PBC Кристиано занимает должность наблюдателя, не имеющего права голоса.

Напомним, искусственный интеллект выходит из-под контроля: разработчики напуганы и призывают к ограничениям