Деградация или прогресс: как Альфа-Банк «приводит в чувство» технологии ИИ

Почему падает качество данных

Модели обучаются на данных, поэтому деградацию ИИ часто объясняют их дефицитом. На самом деле происходит обратное — каждый день появляется больше контента, но новых ценных для моделирования данных становится меньше.

• Новый контент похож на старый. Переписка в чатах, посты и комментарии в соцсетях, статьи на основе общеизвестных фактов плохо подходят для обучения моделей. Нужны данные с высокой информационной ценностью: научные работы, новые паттерны поведения и т. п. Но их объем прирастает медленно.
• Синтетических данных становится больше. Алгоритмы вынуждены учиться на контенте, который создали сами. Но он отражает не реальность, а модель реальности — в реальной жизни этих данных никогда не существовало. В моменте подмена может быть незаметна, но со временем метрики качества ИИ снижаются.

«Если проводить аналогию с добычей золота, то раньше у отрасли была золотая руда, из которой можно было сразу выплавлять чистый металл. Теперь же для качественного обучения ИИ нужно работать с «золотым песком»: «промывать» все больший объем данных, чтобы «намыть» что-то ценное», — объясняет Дмитрий Рузанов, директор департамента по разработке моделей.

Мир меняется быстрее моделей

Любая модель — это статистическая конструкция, основанная на закономерностях прошлого. Когда реальность меняется, модель продолжает реагировать так, будто ничего не произошло. Это важнейшая причина деградации моделей ИИ — они не успевают за изменениями.

Классический пример из банковской сферы — резкие изменения ключевой ставки. Были случаи, когда она почти одномоментно «прыгала» на 400 базисных пунктов. Модели, оценивающие кредитный риск, настроены на определенный диапазон ставок, а если он радикально меняется, то большинство моделей раскалибровывается.

И дело не только в цифрах — меняется само поведение заемщиков. Когда деньги были дешевыми, бизнес брал кредиты, поддерживал инвестиционные проекты и оборотный капитал. Когда деньги становятся дорогими, компании работают иначе: сворачивают инвестиции, перестраивают управление капиталом, сокращают издержки. Такие структурные сдвиги модель может не уловить.

«Это относится ко всем моделям — не только к банковским. Срабатывает «эффект бабочки»: непредсказуемые единичные события («черные лебеди») невозможно спрогнозировать статистически, поскольку для обучения алгоритмов нет нужных данных. Идея, что при доступе ко всем знаниям человечества ИИ может предсказать любое событие, — иллюзия», — добавляет Дмитрий Рузанов.

Какой бывает деградация

Есть два основных сценария деградации моделей: резкий и плавный.

При резкой деградации среда меняется настолько быстро и сильно, что старые закономерности перестают действовать — и модель просто отказывает. На практике такое случается редко.

Более распространенный сценарий — плавный, когда модель продолжает работать, но справляется с задачами все хуже, и базовые метрики постепенно снижаются. Именно это мы наблюдаем, когда чат-бот начинает давать чуть менее точные ответы. Или, если приводить пример из банковской сферы, когда система оценки заемщиков (скоринг) сначала показывает точность, близкую к 100%, но со временем расхождение с реальностью вырастает до 5% и продолжает увеличиваться.

Скорость деградации зависит от конкретной модели и ее типа. Например, чат-ботов постоянно переобучают и обновляют, чтобы сервис успевал за изменениями запросов пользователей. Модели оценки рисков деградируют медленнее: экономическая обстановка трансформируется не так быстро, как поведение пользователей.

«Мы с оптимизмом смотрим на развитие ИИ-технологий — и внедряем их в числе первых в российском и мировом финтехе. Многие процессы в Альфа-Банке уже переведены на модельный подход, а решения принимаются с помощью алгоритмов. Но важно понимать, что внедрить ИИ и забыть — не получится. Для корректной работы моделям необходимо «техобслуживание». У нас это отлаженный процесс, который помогает не просто бороться с деградацией, а не допускать ее», — делится Дмитрий Рузанов.

Повышение точности работы ИИ от Альфа-Банка: пять способов

В Альфа-Банке с деградацией моделей работают системно и действуют на упреждение.

1. Наблюдают за работой модели в режиме нон-стоп. ИИ-решения банка покрыты набором метрик. На них ориентируются системы мониторинга, которые в реальном времени отслеживают и автоматически фиксируют изменения. Такой подход помогает выявлять признаки ухудшения качества работы на самом первичном этапе, еще не заметном пользователям.
2. Используют AutoML — модели, которые переобучают другие модели. Если мониторинг — это глаза, которые замечают проблему, то AutoML — механизм, который ее устраняет. Алгоритм переобучения запускается автоматически, а весь процесс проходит в фоновом режиме без участия человека. Еще пару лет назад все модели нужно было переобучать вручную, а теперь специалист подключается только в нестандартных ситуациях.
3. Проводят стресс-тестирования. Чтобы проверить работу модели в экстремальных условиях, нужно смоделировать сценарий, который может не случиться, но к которому стоит быть готовым. Что будет, если параметры потребительского поведения аномально поменяются, насколько адекватные решения будут выдавать модели, использующиеся в кредитовании, как изменится качество их ответов? По результатам стресс-тестов решают, что нужно улучшить и как это сделать.
4. Работают с качеством данных. Условно данные делят на три категории: высококачественные, средние и так называемый «шум». Для обучения, стресс-тестов и аналитики в «Альфе» используют высококачественный сегмент. Фильтрация требует дополнительных усилий, но это самый эффективный способ минимизировать влияние синтетического и низкокачественного контента на модели.
5. Создают качественные данные самостоятельно. Зачастую для разработки качественных решений ИИ достаточно обучить модель на большой и не самой качественной базе, а затем тонко настроить на сравнительно небольшом наборе эталонных примеров целевого поведения. Такие примеры приходится создавать с помощью живых людей — специалистов по разметке данных.

«Поскольку данные не статичны и постоянно меняются, ИИ тоже всегда будет нуждаться в донастройке. Однако сам процесс эволюционирует: все идет к появлению полностью самообучающихся систем. Механизм AutoML, который уже работает в Альфа-Банке, — пример движения в этом направлении», — резюмирует Дмитрий Рузанов.