Ученый забил тревогу в ООН: ИИ начал обманывать и обходить инструкции
Один из ведущих мировых специалистов по искусственному интеллекту Йошуа Бенджио заявил на заседании Совета Безопасности ООН, что развитие ИИ вступило в опасную фазу.
По словам сопредседателя Независимой международной научной группы ООН по искусственному интеллекту, мир переживает «момент глобального пробуждения»: в последние месяцы ИИ-агенты, разработанные ведущими компаниями, начали действовать «недопустимо опасным образом» и нарушать полученные инструкции.
Бенджио утверждает, что отдельные системы предпринимали действия, которые, будь они совершены человеком, могли бы считаться преступными. В частности, он упомянул скоординированные кибератаки и использование ИИ методов обмана.
Ученый выделил три основные глобальные угрозы: использование ИИ в опасных целях, в том числе террористами, концентрацию технологической власти в руках небольшого числа компаний и государств, а также возможную потерю человеком контроля над наиболее мощными системами.
«Совет столкнулся с беспрецедентной угрозой – той, которую не выбрал бы ни один из его членов, которую не может сдержать в одиночку ни одна страна и которая не признает границ», – заявил Бенджио.
По его словам, компании, создающие наиболее передовые модели, сами признают наличие потенциально катастрофических рисков, однако продолжают участвовать в гонке за создание еще более мощного ИИ.
«Они говорили нам, что замедлились бы, если бы могли. Они могут. Но рассчитывать на это не стоит», – сказал ученый.
Бенджио считает, что разработчики должны доказывать независимым экспертам безопасность наиболее мощных систем еще на этапах обучения и внедрения, а также сообщать обо всех серьезных инцидентах. Для передового ИИ он предложил систему лицензирования и страхования ответственности, подобную той, что действует в медицине, авиации и атомной энергетике.
На том же заседании выступил генеральный директор OpenAI Сэм Альтман. Он заявил, что ключевые решения о будущем искусственного интеллекта не должны приниматься только несколькими технологическими компаниями.
«Ни один человек, ни одна компания, ни одна страна не вправе использовать самые мощные модели ИИ, чтобы навязывать свое видение мира всем остальным», – сказал Альтман.
По его словам, важнейшие решения в этой сфере «не должны приниматься одними лишь лабораториями в Сан-Франциско». Глава OpenAI выступил за общие международные стандарты оценки возможностей ИИ, обмен информацией об инцидентах и создание защищенных каналов связи между государствами, владельцами критической инфраструктуры и техническими экспертами.
Генеральный директор Anthropic Дарио Амодеи также заявил, что его компания готова замедлять создание новых систем настолько, насколько потребуется для обеспечения безопасности.
Он предложил заключать международные соглашения по наиболее опасным направлениям, в частности по недопущению использования искусственного интеллекта для разработки биологического оружия, а также создать общие правила тестирования моделей на риск потери контроля.
Свое видение представил и основатель Hugging Face Клеман Деланг. По его словам, его компания ранее столкнулась с автономной кибератакой с использованием ИИ-агентов.
При этом Деланг призвал не рассматривать сам искусственный интеллект исключительно как угрозу. Он рассказал, что для отражения атаки специалисты компании использовали открытую модель ИИ, поскольку закрытые системы ведущих разработчиков из-за встроенных ограничений оказались недоступны для такой работы.
По мнению Деланга, открытые модели могут стать одним из важных инструментов защиты от кибератак. Главным риском он назвал не только рост мощности ИИ, но и концентрацию возможностей в руках небольшого числа компаний и стран.
Таким образом, несмотря на различия во взглядах на открытые модели и регулирование, участники заседания сошлись в одном: безопасность наиболее мощных систем искусственного интеллекта уже становится вопросом международного уровня.
24.09.2026 06:46:40