Сжатие потоков и расходов: как удешевить технологии искусственного интеллекта

Прожорливый интеллект

Технология генеративного ИИ на базе больших языковых моделей стремительно дешевеет, и цена подобных сервисов у разработчиков может снизиться в 5-10 раз всего за несколько месяцев. Крупные ИИ-стартапы (например, OpenAI, Baidu, DeepSeek) заявляют о снижении расходов на разработки более чем в 100 раз. Речь идет о крупных генеративных системах на базе «вторичных» и неточных данных из онлайна.

Однако сколько в этом правды, сказать трудно. Все сведения о быстром снижении стоимости LLM-разработок — из заявлений на форумах и постов в соцсетях. Единственное, что известно точно, – такие популярные сервисы, как ChatGPT, по-прежнему остаются убыточными. При этом они требуют все больших инвестиций. Например, вложения в ИИ-технологии за последние 10 лет выросли в 20 раз — с $16 млрд до $320 млрд ежегодно. Также постоянно увеличиваются мощности дата-центров, чтобы поддерживать работу таких систем.

Интересно, что не-генеративные ИИ-решения сейчас оказываются гораздо полезнее и практичнее. Они черпают информацию из «живой природы» — реальных бизнес-процессов на производстве и в городском хозяйстве. В России, в частности, бурно растут и развиваются системы «умные» видеонаблюдения.

Заказчики по всей стране многого ждут от этих систем: «Сейчас у нас в городе 3000 камер. Хочу, чтобы через год их стало 6000. Зачем? Чтобы я мог отчитаться, что контроль расширился в два раза!».

Увы, быстрое увеличение числа видеокамер иной раз ведет не к прогрессу, а своего рода «техно-атавизму». Заказчики часто сравнивают интеллектуальные системы видеомониторинга, предлагаемые ИИ-компаниями, с традиционной услугой записи видео с уличных или офисных камер. Многие считают, что ее стоимость будет расти в геометрической прогрессии. Например, если сегодня город платит за видеоуслуги условный 1 млн, через год станет платить 2 млн, потом — 4 млн и т.д. И это уведет в гегелевскую «дурную бесконечность».

Десятки тысяч камер, сотни нейросетей, сутки видеозаписей… Цена на такие услуги, даже с применением ИИ, может оказаться неподъемной. Как сделать ИИ повсеместным и недорогим? Чем тут могут помочь новые ИКТ и электроника? Ничем радикально новым. Но успешный опыт есть.

Меньше ядер, больше пользы

Рассмотрим пример с умными системами видеонаблюдения. Нужен некий «забег в ширину» – начать двигаться сразу по всем возможным направлениям сокращения расходов. Проверено: это дает потрясающий, качественный, радикальный эффект – принципиально новый ИИ, масштабирующий и удешевляющий себя сам.

Сократить затраты на обработку видео можно, уменьшив количество т.н. «ядер» процессоров, необходимых для обработки одного потока. Благодаря новому оригинальному коду обработки видео ядро чипа обрабатывает шесть видеопотоков. Это в два-три раза выше привычного среднего по России.

«Сжатие потока» — первая, начальная технологическая мера. Вторая — сокращение срока хранения видео. В Москве, например, по моей информации, снизили хранение городских видеозаписей с 30 до пяти дней. Но и столько — дорого и не нужно. Здесь тоже можно и нужно добиваться удешевления. «Вам нарушения выявлять или видео хранить?» — главный вопрос, ответ на который кратно снижает срок «консервации информации» в системе.

Главное, научиться быстро вычленить и вытащить этакий «сториз» (ролики на несколько секунд), крохотные отрезки видео вокруг события: четыре секунды до, четыре после. Больше не нужно. Некоторое количество небольших роликов — радикально меньше, чем запись всех суток. Любой способен понять, что именно и как произошло за минуту. Это решение уже становится индустриальным стандартом, в т.ч., например, для служб ЖКХ и правоохранительных органов.

Важно, что число нейросетей (алгоритмов, выявляющих инциденты), как и количество камер — быстро растет. Власти добросовестно хотят следить за всеми нарушениями: на дорогах, в их содержании, появлением вандальных граффити, стихийными свалками, государственными регистрационными знаками нарушителей, ремонтами и стройками, криминалом и пр. Соответственно, количество специальных обучающихся алгоритмов растет лавинообразно.

Тут помогает система скидок на ИИ-лицензии. Нужно сделать их доступными. Но с компьютерным «железом» — совсем другая история.

«Великий Думатель»

Нужно снизить нагрузку на процессор, отвечающий за короткие «видеонарезки» — транскодер, сократив удельную стоимость нейросетевых вычислений. Так, мы в компании ушли от дорогущих графических чипов (GPU) Nvidia, заменив их легкими и кратно более экономичными тензорными процессорами (TPU) производства китайской Sophgo. Дело в том, что нейронки не «просматривают» видео, они изучают скриншоты — «картинки» с конкретными фактами и событиями. Тензорный чип обрабатывает их гораздо больше одновременно, резко снижая цену «единицы вычисления».

Кроме того, нейронные сети могут быть взаимозависимы. Они «пересекаются и цепляются» в бэкенде вычислителя, дополняя, информируя и дообучая друг друга. Это значит, что сразу нужно гораздо меньше TPU.

Именно так мы, к примеру, оптимизировали распознавание лиц. Это еще один важнейший момент. Процессор обрабатывает три-пять кадров в секунду, нагрузка очень большая. Но если «научить» его для начала захватывать конкретное событие — нарушение (например, момент, когда «преступник достает нож») — и только эти кадры направить в нейросеть, то при таком подходе нагрузка на процессор сокращается невероятно, на порядки.

Решение с такой логикой «находит» факты и инциденты и анализирует только их. Это сродни фантастическому устройству «Великий Думатель» (легендарный суперкомпьютер Deep Thought из романа и фильма «Автостопом по галактике»). По сути, такое решение становится универсальным вычислителем, способным одновременно самообучаться и самооптимизироваться. Более того, работая с любыми задачами и любым количеством камер и нейросетей, он умеет и автоудешевляться.

Так, в общем-то, старыми и всем известными способами возможно улучшать все компоненты ИИ-системы разом, чтобы решить совершенно новую задачу — радикально удешевить стремительно разрастающиеся «умные», очень сложные и громоздкие системы наблюдения, контроля, мониторинга. Мы разом оптимизируем «железо», его работу с данными и нейросетями и, наконец, саму ИИ-логику.

Да, созданная таким образом система очень сложна. Зато она бесконечно масштабируема и не имеет ни одной точки отказа. А значит, бесперебойна и колоссально живуча. Возрастающая нагрузка новыми потоками видео и многочисленными плодящимися нейронками не убивает, а развивает ее. Потому что теперь вычислительная машина не «лупит» по всему видеопотоку, а сперва автоматически выбирает, что выделить и идентифицировать.

Важно, что ИИ-видеосистема распознает нарушения, максимально их персонализируя, потому что безымянные нарушения никому не интересны. За них нельзя покарать, их невозможно предотвратить. При этом не нужно распознавать лица, нужно персонализировать именно нарушения.

С такой системой не нужно «бояться» 152-ФЗ «О персональных данных». Она работает как проход по пропуску. Система не распознает лицо, она просто мгновенно определяет, «ты это или не ты», нарушитель или нет. Базы персданных ей не нужны, она не может и не должна знать, кто вы. Она должна пропускать или не пропускать, ловить или отпускать. И все. Гениально и просто.

Мнение редакции может не совпадать с точкой зрения автора