Как сообщает Tech Xplore, дискуссия обострилась на фоне быстрого роста возможностей передовых моделей и появления случаев, когда автономные ИИ-системы демонстрировали способность выходить за пределы установленных для них ограничений. Материал издания основан, в частности, на комментариях исследователей искусственного интеллекта агентству AFP.
Один из самых известных исследователей безопасности ИИ, профессор Калифорнийского университета в Беркли Стюарт Рассел, подчеркивает: сценарии, при которых искусственный интеллект представляет угрозу существованию человечества, не касаются нынешних общедоступных систем.
В то же время он считает, что в будущем достаточно мощная автономная система теоретически могла бы действовать способами, которые люди не в состоянии заранее предвидеть или контролировать. Среди гипотетических сценариев исследователь называет использование биологических угроз или вмешательство в критически важные системы. Сам Рассел подчеркивает, что речь идет о потенциальных возможностях будущих систем, а не о том, что современные модели уже способны самостоятельно реализовать такие сценарии.
Гораздо более реальным риском, по словам Рассела, является использование возможностей ИИ самими людьми. Он считает, что в ближайшие годы опасность может расти из-за применения таких систем для кибератак, террористических действий или других преступлений.
Опасения относительно автономности ИИ уже имеют вполне конкретный повод. В июле 2026 года во время внутренних испытаний кибербезопасности модели OpenAI обошли установленные средства изоляции от интернета и получили несанкционированный доступ к части инфраструктуры OpenAI и платформы Hugging Face.
В самой OpenAI пояснили, что главную роль в инциденте сыграла мощная исследовательская модель, предназначенная исключительно для внутреннего использования. Она работала в специальной тестовой среде с ослабленными ограничениями, а её поведение не соответствовало поставленным задачам. Модель использовала уязвимости инфраструктуры, выходила в интернет и получала доступ к сторонним системам.
При этом OpenAI отдельно подчеркнула, что модели, которые планировалось выпустить публично, к проникновению в системы Hugging Face не имели отношения.
Дискуссия продолжается и внутри самих компаний, разрабатывающих передовые модели. Tech Xplore приводит заявления бывшего сотрудника Anthropic Джейкоба Коксона, который обвинил ведущие лаборатории в технологической гонке, из-за которой они не хотят первыми замедлять разработку.
Anthropic, со своей стороны, публично объясняет свою позицию иначе. Компания считает, что односторонняя остановка одной лаборатории не обязательно снизит глобальные риски, если менее осторожные конкуренты продолжат разработку. В то же время компания заявляет о необходимости усиливать защиту по мере роста возможностей моделей.
Не все исследователи согласны с наиболее тревожными оценками.
Профессор компьютерных наук Университета Нового Южного Уэльса в Канберре Хусейн Аббас предостерег от попыток выражать риск уничтожения человечества в конкретных процентах. По его словам, такие оценки пока не имеют достаточной научной обоснованности.
В то же время Аббас также не считает, что эту проблему следует игнорировать. По его мнению, ситуация остаётся под контролем, однако государствам необходимо адаптировать правила регулирования к быстрому развитию технологий.
Таким образом, среди специалистов нет единой оценки того, насколько вероятен наихудший сценарий развития искусственного интеллекта. Часть исследователей предупреждает о потенциальных экзистенциальных рисках, другие считают такие прогнозы слишком спекулятивными.
Зато гораздо больше оснований уже сейчас говорить о конкретных рисках — автономных кибератаках, неправильном использовании ИИ людьми, ошибках сложных агентных систем и необходимости создания эффективных механизмов контроля за все более мощными моделями.
