В ходе участия в форуме Kazan Digital Week советник первого заместителя президента — председателя правления ВТБ Сергей Путятинский представил результаты совместной работы с Центром искусственного интеллекта МГУ. Партнеры спроектировали специализированные механизмы контроля, предназначенные для аудита деятельности виртуальных моделей. Новые технологические решения включают в себя два детектора, которые призваны отслеживать уровень токсичности и выявлять галлюцинации в коммуникациях цифровых помощников с клиентами.
Первый инструмент — детектор токсичности — ориентирован на анализ входящих обращений пользователей. Система сканирует запросы на предмет присутствия контента для взрослых, обсуждения запрещенных тем или любых нарушений действующего законодательства. В случае обнаружения неэтичного содержания или некорректных формулировок алгоритм автоматически блокирует сообщение, предотвращая его дальнейшую обработку.
Второй модуль предназначен для борьбы с галлюцинациями — одной из ключевых проблем генеративного искусственного интеллекта, когда модель выдает ложную информацию в уверенной форме. Детектор галлюцинаций анализирует уже готовые ответы цифровых ассистентов, находит логические противоречия и фактические несоответствия, после чего визуально выделяет проблемные участки текста. Получив такие данные, эксперты ВТБ получают возможность либо отправить сформированный ответ на перепроверку, либо полностью заблокировать его выдачу.