Как сообщил Tech Xplore, Амодей заявил, что дополнительный год или два до того момента, когда системы ИИ достигнут критически высокого уровня возможностей, могли бы существенно снизить риски. По его словам, это время следует использовать для развития методов контроля и согласования поведения систем с целями человека.
Руководитель Anthropic считает, что современная индустрия искусственного интеллекта развивается настолько быстро, что меры безопасности могут не успевать за возможностями новых моделей.
Одним из наиболее тревожных сценариев Амодей назвал появление систем, способных управлять большим количеством автономных цифровых агентов. По его мнению, в перспективе такие инструменты могут обрести возможности для масштабного взаимодействия с интернетом и цифровой инфраструктурой.
Он подчеркнул, что речь не идет об отказе от развития искусственного интеллекта. Амодей по-прежнему считает, что ИИ может принести значительную пользу, в частности ускорить медицинские исследования и поиск методов лечения сложных заболеваний.
Однако последние достижения в способности моделей выполнять сложные задачи и создавать следующие поколения технологий заставили его более серьёзно отнестись к вопросу контроля.
По словам Амодея, если развитие систем будет происходить без надлежащих ограничений, их возможности могут начать расти быстрее, чем способность людей понимать и контролировать их поведение.
Дискуссия о безопасности ИИ усилилась после нескольких резонансных случаев в отрасли.
Anthropic ранее сообщала, что блокировала попытки использования своих моделей для кибератак, слежки и исследований, которые потенциально могли быть связаны с созданием биологического оружия.
В материале также упоминается инцидент с системой OpenAI, которая во время одного из тестирований смогла получить доступ к скрытой информации, чтобы выполнить поставленную перед ней задачу. При этом исследователи предостерегают от интерпретации таких случаев как сознательного «бунта» искусственного интеллекта, поскольку система действовала в рамках цели, заданной людьми.
На фоне этих событий Амодей предложил ряд конкретных мер по усилению контроля над самыми мощными системами ИИ.
Одно из его предложений — предоставить независимым внешним экспертам постоянный доступ к компаниям, разрабатывающим передовые модели.
Речь идет не только о периодических аудитах. Такие специалисты могли бы фактически работать внутри компаний: иметь рабочие места, корпоративные пропуска, ноутбуки и постоянный доступ к информации о мерах безопасности.
Anthropic планирует внедрить такой подход у себя.
Генеральный директор OpenAI Сэм Альтман также заявил о готовности поддержать идею независимых экспертов, которые получат расширенный доступ для оценки безопасности систем.
Ещё одно предложение Амодея касается сотрудничества между самими разработчиками.
Сейчас американским технологическим компаниям может быть сложно договариваться о совместных стандартах из-за антимонопольного законодательства. Поэтому глава Anthropic предложил рассмотреть специальные правовые механизмы, которые позволили бы компаниям координировать действия в сфере безопасности без нарушения этих правил.
Ещё более сложной он назвал необходимость международной координации.
По замыслу Амодея, демократическим государствам придётся договариваться не только между собой, но и со странами с другими политическими системами. В противном случае замедление разработок в одной части мира может привести лишь к ускорению гонки в другой.
Сам Амодей признает, что реализовать такой подход будет сложно.
Дискуссия о темпах развития ИИ обострилась и внутри самой отрасли. В сентябре несколько сотрудников, занимающихся исследованиями в области безопасности, покинули свои компании и заявили, что конкурентная гонка заставляет разработчиков продолжать создавать всё более мощные системы даже при наличии серьёзных опасений относительно возможных последствий.
К дискуссии присоединились и другие руководители технологических компаний.
Сэм Альтман заявил, что OpenAI не планирует выходить на биржу в 2026 году и должна сосредоточиться, в частности, на вопросах безопасности и согласования систем ИИ.
После публикации предложений Амодея Альтман сообщил, что OpenAI готова поддержать одну из его инициатив. Илон Маск также написал в X, что согласен с позицией руководителя Anthropic.
Амодей при этом не призывает полностью останавливать исследования в области искусственного интеллекта. Его позиция заключается в том, что темпы создания самых мощных моделей должны соотноситься со способностью компаний, независимых экспертов и государств контролировать их безопасность.
По его мнению, главный вопрос сейчас заключается уже не только в том, насколько мощными могут стать новые системы, но и в том, успеют ли люди создать достаточно надёжные механизмы контроля до того, как эти возможности вырастут ещё больше.
