В России начали разрабатывать новое поколение экономичных ИИ-моделей

Научно-исследовательский институт AIRI при поддержке «Сбера» работает над созданием нового поколения ИИ-систем — семейства компактных моделей Optimal Cognitive Core. Об этом 3 июня на Петербургском международном экономическом форуме (ПМЭФ) сообщил гендиректор AIRI Иван Оселедец.

Речь идет об ИИ-моделях, которые могут выполнять роль «когнитивного ядра» и эффективно взаимодействовать с внешними инструментами, не нуждаясь в большом количестве вычислительных мощностей, заявил он.

В AIRI отметили, что основная часть больших языковых моделей развиваются так, что каждое новое поколение содержит больше параметров и хранит огромный объем знаний во внутренних весах моделей. Хотя такой подход дает возможность отвечать практически на любые вопросы, он делает системы дорогостоящими в обучении и эксплуатации, указали там.

Помимо этого, подобные модели при генерации ответа нередко полагаются на свою «память», даже если пользователь предоставил актуальный контекст, что часто становится причиной неверных ответов, заявили в институте.

AIRI работает над ИИ-моделями, которые будут построены как компактное когнитивное ядро, сконцентрированное на способности анализировать информацию, строить логические связи между фактами и корректно работать с внешними источниками данных, а не на хранении сведений.

Первой в семействе стала модель OCC-RAG, которая обучена отвечать на вопросы по внешним источникам, правильно связывать факты из разных частей текста, опираться при ответе исключительно на предоставленный пользователем контекст и отказываться отвечать в случае недостатка данных в источнике, рассказали в AIRI.

По данным института, компактный размер этой модели позволяет ей обрабатывать запросы в полтора-два раза быстрее решений, которые используют большие языковые модели. Кроме того, модель в среднем тратит в полтора раза меньше токенов на генерацию ответа, так как ориентирована на анализ контекста, а не на длинные универсальные рассуждения, сообщили в AIRI.

Это решение выложено в открытый доступ, его можно использовать в сферах, где критически важно отвечать строго по документам и избегать ошибок, в том числе в финансовых сервисах, корпоративных базах знаний, клиентской поддержке, а также в юридических медицинских и комплаенс-системах, отметили в AIRI.

Следующим этапом развития семейства компактных моделей является превращение модели из специализированного контекстного Q&A-движка в полноценное активное ядро. Планируется обучить систему самостоятельно искать недостающий контекст в поисковых системах, базах данных, корпоративных сервисах и кодовых репозиториях, а также вызывать другие ИИ-модели на помощь, заявили в институте.

Оселедец подчеркнул, что для большинства прикладных задач важнее способность модели рассуждать и опираться на предоставленную информацию, а не объем ее памяти. По его мнению, попытка построить такое когнитивное ядро является важным шагом к будущему, где небольшие модели будут эффективно работать с инструментами, поиском, базами данных и корпоративными системами, «а не хранить весь мир внутри своих весов».

В ноябре 2024 года Сбербанк и Т-Банк пожаловались на проблему с поиском территорий для строительства ЦОДов, необходимых в том числе для развития технологий искусственного интеллекта, а также на нехватку свободных мощностей. Тогда глава «Сбера» Герман Греф заявил, что банк не рассматривает для строительства площадки мощностью менее 200 МВт, «а лучше — 300–400 МВт», хотя раньше строил дата-центры мощностью 40 МВт.