Источник: techxplore.com, перевод: Хроники Обухова
Как объясняет ведущий автор исследования, аспирантка Кэти Маттон, если ИИ дает правдоподобное, но ложное объяснение, это может создать у пользователей ложное впечатление о его объективности. В таких сферах, как медицина или право, такие ошибки могут иметь серьезные последствия.
Примером может служить ситуация, когда GPT-3.5 отдавал предпочтение женщинам-кандидатам на должность медсестры, даже если пол в профиле менялся. При этом модель оправдывала свой выбор возрастом и навыками, не упоминая пол.
Чтобы решить эту проблему, исследователи создали метрику, основанную на "каузальной верности понятий" - она сравнивает, какие понятия модель упоминает в своих объяснениях, с теми, что на самом деле повлияли на ответ.
Как это работает
Сначала дополнительная (вспомогательная) языковая модель определяет ключевые понятия в вопросе. Затем она создает "контрфактические" версии вопросов, в которых меняется одно из понятий (например, пол кандидата или медицинская информация о пациенте). Основная модель ИИ снова отвечает на эти новые вопросы, а исследователи фиксируют изменения в ответах.
Такие эксперименты требуют значительных вычислительных ресурсов, поэтому исследователи применяют байесовскую иерархическую модель для упрощения подсчетов.
Что показали тесты
В тестах на двух датасетах исследователи обнаружили:
В задачах на выявление социальных предубеждений ИИ часто принимал решения на основе расы, пола или дохода, но объяснял это нейтральными факторами.
В медицинских сценариях модели пропускали критические признаки, которые на самом деле имели решающее влияние на ответ.
Это демонстрирует, как ИИ может "маскировать" предубеждения, даже если они влияют на результат.
Ограничения и перспектива
Метод частично зависит от качества вспомогательной языковой модели, которая может ошибаться. Также трудно оценить эффекты понятий, тесно связанных между собой. Впрочем, исследователи уже планируют добавить поддержку многофакторных изменений для улучшения точности.
"Мы надеемся, что наш подход поможет выявлять и исправлять обманчивые объяснения в ИИ. Это еще один шаг к прозрачным и надежным системам искусственного интеллекта", - резюмировала Маттон.
