Джерело: techxplore.com, переклад: Хроніки Обухова
Як пояснює провідна авторка дослідження, аспірантка Кеті Маттон, якщо ШІ дає правдоподібне, але неправдиве пояснення, це може створити у користувачів хибне враження про його об’єктивність. У сферах, як-от медицина чи право, такі помилки можуть мати серйозні наслідки.
Прикладом може слугувати ситуація, коли GPT-3.5 надавав перевагу жінкам-кандидатам на посаду медсестри, навіть якщо стать у профілі змінювалася. При цьому модель виправдовувала свій вибір віком та навичками, не згадуючи стать.
Щоб вирішити цю проблему, дослідники створили метрику, що базується на «каузальній вірності понять» — вона порівнює, які поняття модель згадує у своїх поясненнях, із тими, що насправді вплинули на відповідь.
Як це працює
Спочатку додаткова (допоміжна) мовна модель визначає ключові поняття у запитанні. Потім вона створює «контрфактичні» версії запитань, у яких змінюється одне з понять (наприклад, стать кандидата або медична інформація про пацієнта). Основна модель ШІ знову відповідає на ці нові запитання, а дослідники фіксують зміни у відповідях.
Такі експерименти потребують значних обчислювальних ресурсів, тож дослідники застосовують байєсівську ієрархічну модель для спрощення підрахунків.
Що показали тести
У тестах на двох датасетах дослідники виявили:
У завданнях на виявлення соціальних упереджень ШІ часто ухвалював рішення на основі раси, статі чи доходу, але пояснював це нейтральними факторами.
У медичних сценаріях моделі пропускали критичні ознаки, які насправді мали вирішальний вплив на відповідь.
Це демонструє, як ШІ може «маскувати» упередження, навіть якщо вони впливають на результат.
Обмеження та перспектива
Метод частково залежить від якості допоміжної мовної моделі, яка може помилятися. Також важко оцінити ефекти понять, тісно пов’язаних між собою. Утім, дослідники вже планують додати підтримку багатофакторних змін для покращення точності.
«Ми сподіваємося, що наш підхід допоможе виявляти і виправляти оманливі пояснення в ШІ. Це ще один крок до прозорих і надійних систем штучного інтелекту», — резюмувала Маттон.
