Як повідомив Tech Xplore, Амодей заявив, що додатковий рік або два до моменту, коли системи ШІ досягнуть критично високого рівня можливостей, могли б суттєво зменшити ризики. За його словами, цей час слід використати для розвитку методів контролю та узгодження поведінки систем із цілями людини.
Керівник Anthropic вважає, що сучасна індустрія штучного інтелекту розвивається настільки швидко, що заходи безпеки можуть не встигати за можливостями нових моделей.
Одним із найбільш тривожних сценаріїв Амодей назвав появу систем, здатних керувати великою кількістю автономних цифрових агентів. На його думку, у перспективі такі інструменти можуть отримати можливості для масштабної взаємодії з інтернетом і цифровою інфраструктурою.
Він наголосив, що йдеться не про відмову від розвитку штучного інтелекту. Амодей продовжує вважати, що ШІ може принести значну користь, зокрема прискорити медичні дослідження та пошук методів лікування складних захворювань.
Однак останні досягнення у здатності моделей виконувати складні завдання та створювати наступні покоління технологій змусили його серйозніше поставитися до питання контролю.
За словами Амодея, якщо розвиток систем відбуватиметься без належних обмежень, їхні можливості можуть почати зростати швидше, ніж здатність людей розуміти й контролювати їхню поведінку.
Дискусія про безпеку ШІ посилилася після кількох резонансних випадків у галузі.
Anthropic раніше повідомляла, що блокувала спроби використання своїх моделей для кібератак, стеження та досліджень, які потенційно могли бути пов'язані зі створенням біологічної зброї.
У матеріалі також згадується інцидент із системою OpenAI, яка під час одного з тестувань змогла отримати доступ до прихованої інформації, щоб виконати поставлене перед нею завдання. При цьому дослідники застерігають від опису таких випадків як свідомого «бунту» штучного інтелекту, оскільки система діяла в межах мети, заданої людьми.
На тлі цих подій Амодей запропонував низку конкретних заходів для посилення контролю за найпотужнішими системами ШІ.
Одна з його пропозицій — надати незалежним зовнішнім експертам постійний доступ до компаній, які розробляють передові моделі.
Йдеться не лише про періодичні аудити. Такі фахівці могли б фактично працювати всередині компаній: мати робочі місця, корпоративні перепустки, ноутбуки та постійний доступ до інформації про заходи безпеки.
Anthropic планує запровадити такий підхід у себе.
Генеральний директор OpenAI Сем Альтман також заявив про готовність підтримати ідею незалежних експертів, які отримають розширений доступ для оцінювання безпеки систем.
Ще одна пропозиція Амодея стосується співпраці між самими розробниками.
Зараз американським технологічним компаніям може бути складно домовлятися про спільні стандарти через антимонопольне законодавство. Тому глава Anthropic запропонував розглянути спеціальні правові механізми, які дозволили б компаніям координувати дії у сфері безпеки без порушення цих правил.
Ще складнішою він назвав необхідність міжнародної координації.
За задумом Амодея, демократичним державам доведеться домовлятися не лише між собою, а й із країнами з іншими політичними системами. Інакше уповільнення розробок в одній частині світу може призвести лише до прискорення перегонів в іншій.
Сам Амодей визнає, що реалізувати такий підхід буде складно.
Дискусія про темпи розвитку ШІ загострилася і всередині самої індустрії. У вересні кілька працівників, пов'язаних із дослідженнями безпеки, залишили свої компанії та заявили, що конкурентна гонка змушує розробників продовжувати створювати дедалі потужніші системи навіть за наявності серйозних побоювань щодо можливих наслідків.
До дискусії долучилися й інші керівники технологічних компаній.
Сем Альтман заявив, що OpenAI не планує виходити на біржу у 2026 році та має зосередитися, серед іншого, на питаннях безпеки й узгодження систем ШІ.
Після публікації пропозицій Амодея Альтман повідомив, що OpenAI готова підтримати одну з його ініціатив. Ілон Маск також написав у X, що погоджується з позицією керівника Anthropic.
Амодей при цьому не закликає повністю зупиняти дослідження штучного інтелекту. Його позиція полягає в тому, що темпи створення найпотужніших моделей мають бути співвіднесені зі здатністю компаній, незалежних експертів і держав контролювати їхню безпеку.
На його думку, головне питання зараз полягає вже не лише в тому, наскільки потужними можуть стати нові системи, а й у тому, чи встигнуть люди створити достатньо надійні механізми контролю до того, як ці можливості зростуть ще більше.
