Каждая пятая задача: почему большие языковые модели не всегда полезны

В чем секрет популярности LLM

В разрезе архитектур обычно выделяют такие типы алгоритмов, как статистические, к которым относятся классические модели машинного обучения (ML), и нейросети, в число которых входят и многие LLM.

Главный плюс больших языковых моделей — универсальность. Если раньше под каждый процесс нужно было разрабатывать свою специфическую модель, то сегодня одна LLM закрывает сразу множество задач как в бизнесе, так и в повседневной жизни. Получить развернутый ответ на вопрос, обобщить данные, создать приложение с помощью простых промптов стало очень легко, поэтому LLM ошибочно воспринимают как единое решение всех задач.

Секрет успеха в том, что LLM работают через текст, и чтобы попробовать решить задачу, ее достаточно описать словами. Но ИИ-технологии работают также с изображениями, таблицами, аудиовизуальным и прочим контентом, который неподвластен LLM.

Еще есть деление по типу задач: классификация, регрессия, кластеризация, прогнозирование, скоринг, ранжирование и т. д. А также генерация, которой и занимаются большие языковые модели. Остальные задачи они решают опосредованно — и тоже через генерацию.

Очевидно, что LLM закрывают лишь часть потребностей бизнеса, поскольку работают только с текстами. Так, за задачи компьютерного зрения — распознавание лиц, детекция объектов на производстве или медицинская диагностика по снимкам — отвечают другие типы нейросетей. Нейросети, построенные не на LLM, могут справиться лучше даже с быстрыми ответами на типичные запросы, потому что используют другие алгоритмы.

Опыт Альфа-Банка показывает, что сила LLM — в автоматизации массовой работы с текстовой информацией. Это ускорение разработки (от copilot-решений для работы с кодом до автотестов и создания документации), поддержка клиентов через чат-боты и помощь специалистам контактного центра, анализ документов и работа с внутренними базами знаний, ассистенты для бизнеса и юристов, генерация контента в маркетинге.

При этом для задач прогнозирования и аналитики — от кредитного скоринга до рекомендательных систем — больше подходят классические вероятностные ML-модели. Когда нужно выбрать класс, посчитать вероятность или ранжировать варианты, тоже часто выигрывают ML-модели: они справляются быстрее, точнее и обходятся несопоставимо дешевле.

Кроме того, у моделей машинного обучения прозрачная логика принятия решений. Это важно, когда по закону нужно использовать только интерпретируемые модели — для таких случаев LLM не подойдет.

«Мы верим, что в обозримом будущем в индустрии искусственного интеллекта LLM не вытеснят другие ML-модели. Ниша, где большие языковые модели будут доминировать, — это интеллектуальные агенты. За счет составления плана, декомпозиции задач и отправки их составных частей различным специализированным обработчикам, в том числе на базе классического ML, будет достигаться синергия между различными парадигмами и архитектурами ИИ», — рассказывает Вадим Аюев, руководитель дирекции моделей и методов продвинутой аналитики.

Три причины, почему не всегда нужна LLM

1. Это дорого

Со стороны большие языковые модели могут казаться удачной инвестицией: вводишь промпты — получаешь результат — внедряешь его — ускоряешь процессы. Но в реальности все сложнее.

Экономический смысл любой автоматизации, в том числе с помощью ИИ, появляется только при больших объемах работы, поскольку доходы должны превышать расходы на сами модели. Можно провести аналогию с производством мебели: в маленьких мастерских не ставят конвейеры, потому что они не окупятся. 

В случае с LLM некоторые задачи решаются с помощью промпта, но при усложнении бизнес-логики приходится дообучать и настраивать модели. Нужно или нанимать команду дата-сайентистов, которые сейчас в дефиците, или обращаться к подрядчикам. 

Кроме того, использование LLM требует вложений в вычислительную инфраструктуру. В отличие от классических ML-моделей, которые могут работать на относительно недорогих процессорах (CPU), для LLM понадобятся мощные видеокарты (GPU), стоимость которых исчисляется сотнями тысяч и миллионами рублей. Альтернативный путь — использовать облачные решения по API и платить за каждый запрос, но часто это невозможно юридически: из-за использования персональных данных система должна находиться в контуре компании.  

«Даже купив настроенного чат-бота, компания обрекает себя на непрерывный цикл его поддержки: мониторинг, обновление, исправление багов, разметку данных, решение вопросов безопасности, создание новых сценариев и адаптацию к меняющимся рыночным условиям. Окупаемость таких проектов есть лишь у крупного бизнеса, где эффект проявляется на масштабе. Для малых и средних компаний часто дешевле и проще нанять нескольких сотрудников, чем содержать ИИ-систему», — убежден Вадим Аюев.

2. Это не очень быстро

В задачах, где важен отклик в режиме реального времени, специализированные ML-модели могут оказаться быстрее с сохранением качества — даже если на рынке аналогичные решения принято отдавать на откуп LLM. 

Например, в Альфа-Банке есть система, которая подсказывает специалистам контактного центра ответы прямо во время телефонного разговора с клиентом. И работает она на ML-модели.

«Казалось бы, это задача для LLM — она понимает контекст диалога. Но в телефонных каналах нужна производительность real-time, поэтому мы используем классификатор, дополненный парой инженерных хуков. Качество сопоставимо, но решение работает быстро, требует намного меньше мощностей, и большая часть эффектов достигается за счет ML-моделей», — поясняет Дарья Самсонова, руководитель направления по разработке нейронных сетей.

3. Это не всегда качественно

Универсальность LLM заканчивается там, где начинаются специфические задачи. Заточенные именно под них ML-модели нередко дают лучший результат. 

Пример такой задачи — выделение именованных сущностей из текста, необходимое для заполнения форм, извлечение из документов юридических данных или медицинских терминов. Эта задача отлично решается стандартной ML-моделью для разметки последовательностей. LLM или показывает себя хуже, или выдает те же результаты, но с неоправданно высокими расходами. Это может быть оправдано PR-задачами или желанием разработчиков попробовать новую технологию, но не бизнес-целями.

«При переходе от теории к реальным процессам часто выясняется, что LLM не дает нужного качества. Попытки исправить ситуацию, обогатив знания нейросети с помощью технологии Retrieval-Augmented Generation (RAG, генерация, дополненная поиском), которая тоже на пике популярности, срабатывают не всегда. Не обещает идеального результата и более сложный процесс дообучения — порой надежнее не изобретать велосипед, а использовать классическую специализированную модель», — считает Дарья Самсонова.

Гибридный подход Альфа-Банка в области ИИ

Альфа задает стандарты финтеха, придерживаясь правила считать деньги и не внедрять технологии ради следования трендам. Поэтому на большие языковые модели приходится менее 20% ИИ-решений — там, где они приносят максимальный эффект и экономически выгодны. Для остальных задач используют традиционные модели. А чтобы найти идеальный баланс, в банке комбинируют технологии. 

Например, чат-бот поддержки первой линии работает на модели классификации — небольшой нейросети, которая анализирует сообщение и определяет тип запроса пользователя. В отличие от LLM она не генерирует текст, зато работает быстрее, с хорошим качеством и без видеокарт, что экономичнее. На первой линии это критически важно: именно сюда поступает самое большое количество обращений. 

Когда классификационная модель не справляется, в дело вступает чат-бот второй линии — уже на LLM. Затем, если нужно, к диалогу подключается специалист, который тоже работает в паре с ИИ. Отвечать быстро и точно сотрудникам поддержки помогает виртуальный ассистент «Альфа-помощник: оператор».

В основе этой системы несколько моделей:

1. Маршрутизатор — классификатор анализирует историю общения клиента с чат-ботом и направляет запрос к оператору с максимальной компетенцией по теме. Так вопрос решается быстрее, а довольных пользователей становится больше.
2. Подборщики шаблонов и «золотых ответов» — классификаторы предсказывают, какой из ответов подойдет лучше всего. Для базовых запросов срабатывает рекомендация шаблонов с короткими понятными ответами. Более специфичные обращения покрывает модель «золотых ответов», уже получивших высокие оценки пользователей. Кроме экономии времени, такие подсказки помогают специалистам придерживаться единого стиля общения, принятого в банке.
   
3. LLM — большая языковая модель срабатывает для нестандартных запросов, где нужны креатив и персонализация. Дает более гибкий ответ, опираясь на внутреннюю базу знаний банка.
   

Каждая модель «Помощника» отвечает за определенный сегмент запросов: они не пересекаются и дополняют друг друга, работая в синергии. По итогам 2025 года этот подход позволил существенно сократить среднее время ответа специалистов. Качество решения вопросов при этом осталось на прежнем уровне: показатель удовлетворенности клиентов не просел.

«Наши планы на ближайшее время — расширять использование ИИ там, где это экономически целесообразно. Например, «Альфа-помощник: оператор» уже доказал свою бизнес-эффективность и теперь выходит за рамки поддержки. Теперь систему внедрят во многие новые подразделения, например телемаркетинга и урегулирования задолженностей. Кроме того, появятся новые ИИ-агенты: для автоматической документации кода, отбора резюме, проведения первичных собеседований и других», — делится планами Дарья Самсонова.

Итак, принимая решение о внедрении ИИ, важно рассмотреть разные варианты и учесть такие параметры, как стоимость владения, регуляторные требования и масштаб бизнеса. Успешная ИИ-стратегия строится на прагматичном выборе оптимального инструмента под конкретную задачу — будь то классическая ML-модель, специализированная нейросеть или большая языковая модель. Будущее искусственного интеллекта — в грамотной гибридизации технологий и в сильных специалистах, которые понимают отрасль системно и могут выбрать лучший инструмент.