Без лишних слов: «Яндекс» внедрил векторный поиск для повышения точности рекомендаций
Неочевидные связи
Подразделение «Яндекса» для корпоративных пользователей Yandex B2B Tech встроило в систему управления базами данных (СУБД) YDB векторный поиск. В «Яндексе» считают, что он пригодится в первую очередь компаниям, которые развивают продукты на базе искусственного интеллекта (ИИ). Например, он позволит повысить точность рекомендаций товаров или качество ответов ИИ-ассистента.
«Вектор в базе данных — это набор чисел, который помогает описать понятным для компьютера способом какой-то объект, не только текст, но и картинку или товар. Например, текст «кот» может превратиться в вектор: [0.8, -1.2, 3.1]. Когда пользователь запрашивает в поисковой системе что-то похожее, его запрос тоже превращают в набор чисел. База сравнивает этот список с теми, которые у нее уже есть, и находит самые похожие. Векторный поиск умеет искать не по ключевым словам, а по смыслу», — пояснили в «Яндексе». Такой подход дает возможность устанавливать неочевидные связи между объектами и искать по разнородным данным — текстам, картинкам, видеороликам и аудиофайлам, добавили в компании.
С помощью технологии векторного поиска можно создавать ассистентов на архитектуре RAG (retrieval-augmented generation, генерация ответа с учетом найденной информации), такой ассистент дополняет ответ большой языковой модели (БЯМ) данными из баз знаний, рассказал Forbes технический директор YDB Андрей Фомичев. «В таких базах может содержаться документация к продукту или ответы службы поддержки. Векторный поиск позволяет находить в базах нужную информацию и добавлять ее в ответы БЯМ. Это означает, что ассистент будет давать более полные, релевантные и актуальные ответы без какого-либо дообучения БЯМ», — пояснил Андрей Фомичев.
Технологию векторного поиска с февраля использует «Алиса» в опции «Про». Пользователи могут попросить ее учитывать при составлении ответов свои предпочтения и интересы, опираясь на которые, «Алиса» подстраивается под пользователя и ведет диалог почти как живой собеседник.
Порог входа
«Яндекс» оценивает рынок векторного поиска в России в 2025 году в 4,2 млрд рублей. Это потенциально доступный рынок, то есть объем возможного спроса на решения, пояснили в компании. В «Яндексе» отметили, что в России рынок векторного поиска пока только формируется.
Руководитель команды рекомендаций «Авито» Михаил Каменщиков пояснил, что принцип работы векторного поиска довольно простой: система превращает текст в многомерные векторы — числа, которые отражают смысл содержания. При поиске запрос тоже превращается в вектор, и система находит наиболее близкие по значению векторы в базе данных, добавил он. «Так, запрос «автомобиль» найдет документы со словами «машина», «транспорт» или конкретными марками, понимая семантическую близость понятий», — пояснил Каменщиков.
Михаил Каменщиков отметил, что сам по себе векторный поиск — не новая технология. «Многие крупные интернет-компании применяли эту технологию задолго до нынешнего всплеска интереса внутри своих продуктов, например, для поиска по картинкам или в рекомендательных системах», — говорит он. Однако рост интереса к технологии начался два года назад с появлением современных больших языковых моделей. «Векторный поиск стал ключевой технологией для RAG-систем на базе БЯМ. Когда ИИ-ассистент отвечает на вопрос, он сначала ищет релевантную информацию в базе знаний с помощью векторного поиска, а потом использует найденные документы для формулировки точного ответа. Без векторного поиска ассистенты были бы ограничены только знаниями, полученными при обучении. Также все крупные традиционные базы данных начали добавлять поддержку векторного поиска — PostgreSQL, ClickHouse, Redis и другие», — рассказал эксперт. Это кардинально снизило порог входа для экспериментов с технологией.
Практически везде
По словам Михаила Каменщикова, сейчас компании активно экспериментируют с внедрением векторного поиска в клиентские продукты, от поиска товаров до корпоративных ассистентов. «Но это не универсальная замена обычного поиска — векторный поиск дорог в эксплуатации и нужен только там, где важно семантическое понимание запросов, то есть понимание фраз в контексте, а не отдельных слов. Векторный поиск будет особенно эффективен в корпоративных системах поиска по документации и базам знаний, HR-системах для поиска резюме, рекомендательных системах для контента и товаров, системах техподдержки и интеллектуальных чат-ботах», — уверен эксперт.
Сооснователь Qdrant Андрей Васнецов отметил, что векторный поиск становится фундаментальной технологией в мире. «Первый всплеск интереса к технологии прошел, и теперь начались реальные проекты», — говорит он. По словам Андрея Васнецова, векторный поиск используется практически везде, где упоминается ИИ или раньше использовался обычный поиск.
«Обычный поиск ищет совпадения только по ключевым словам, а векторный может сравнивать объекты, в том числе тексты и картинки целиком. Это стало возможным благодаря тому, что сперва информация была преобразована с помощью нейросетей в удобную (векторную) форму», — рассказал Васнецов. «Все больше приходит запросов не просто сделать прототип, но и масштабировать существующие системы, где векторный поиск уже использовался. Это значит, что прототипы начали приносить пользу бизнесу», — отметил эксперт.
В VK векторный поиск применяется в «VK Видео», чтобы в рекомендациях учитывать не только текст, но и видео, аудио и другие данные, рассказали в компании. Функции в «Облаке», службе поддержки и внутренние ИИ-инструменты разрабатывались с использованием поиска и векторных баз данных, добавили в VK. В «Сбере», Т-Банке не ответили на запрос Forbes.