WSJ узнала о планах Meta запустить систему генеративного ИИ мощнее GPT-4

Компания Meta (ее деятельность в России признана экстремистской и запрещена) планирует в следующем году выпустить новую систему генеративного искусственного интеллекта (ИИ), которая будет в несколько раз мощнее Llama 2, представленной компанией в июле. Meta (признана в России экстремистской и запрещена) рассчитывает приступить к обучению своей новой большой языковой модели в начале 2024 года на собственной инфраструктуре, пишет The Wall Street Journal со ссылкой на источники, знакомые с планами компании.

Группа для ускорения разработки генеративных инструментов ИИ была создана гендиректором Meta (признана в России экстремистской и запрещена) Марком Цукербергом в начале 2023 года. По словам источников WSJ, Цукерберг настаивает на том, чтобы новая модель, как и более ранние предложения Meta (признана в России экстремистской и запрещена) в области искусственного интеллекта, была с открытым исходным кодом и, следовательно, бесплатно предоставлялась компаниям для создания инструментов на базе ИИ. Планы относительно новой модели — часть усилий Цукерберга по утверждению Meta (признана в России экстремистской и запрещена) в качестве главной силы в мире искусственного ИИ.

Сейчас Meta строит центры обработки данных, необходимые для работы новой модели, и приобретает больше передовых чипов H100 от передовых из NVIDIA, их используют для обучения ИИ. По словам некоторых собеседников WSJ, ранее Meta (признана в России экстремистской и запрещена) объединилась с Microsoft, чтобы сделать Llama 2 доступной на платформе облачных вычислений Microsoft Azure, но новую модель компания планирует обучать на собственной инфраструктуре. Meta (признана в России экстремистской и запрещена) надеется, что новая модель ИИ будет примерно такой же по возможностям, как GPT-4 (OpenAI запустила ее в марте).

GPT-4 лежит в основе перспективных и прибыльных инициатив OpenAI, таких как недавно запущенный инструмент ChatGPT для бизнеса. Компания привлекает других к развитию этой технологии, пытаясь покрыть огромные затраты на передовые модели ИИ. Новая модель Meta (признана в России экстремистской и запрещена), скорее всего, выйдет после ожидаемого дебюта Gemini, продвинутой большой языковой модели, создаваемой Google (может быть представлена до конца 2023 года).

Большие языковые модели обычно становятся более мощными при обучении большему количеству данных. Самая мощная версия модели Llama 2, представленная Meta (признана в России экстремистской и запрещена) в июле, была обучена работе с 70 млрд параметров (термин показывает число переменных в системе ИИ, используется для измерения размера ИИ). OpenAI не раскрывает размер GPT-4, по оценкам экспертов, он примерно в 20 раз больше, чем у Llama 2, — 1,5 трлн параметров. Некоторые эксперты в области ИИ отмечают, что достичь мощности GPT-4 можно, не приближаясь к его размерам.

Цукерберг ранее отстаивал модели искусственного интеллекта с открытым исходным кодом — они популярны из-за адаптивности и более низкой стоимости. К недостаткам таких ИИ юристы относят повышенные риски, связанные с использованием информации, потенциально защищенной авторским правом, и широкий доступ к инструменту, который может быть использован для генерации и распространения дезинформации или других недобросовестных действий.

«Некоторые системы искусственного интеллекта с открытым исходным кодом предлагают ограниченную степень прозрачности, возможности повторного использования и расширяемости», — сказала Сара Уэст, бывший советник Федеральной торговой комиссии, управляющий директор исследовательского Института AI Now, которая выразила обеспокоенность по поводу контроля крупных компаний над ИИ.

В среду, 13 сентября, Цукерберг примет участие в саммите, посвященном регулированию ИИ. Его организовал лидер большинства в Сенате Чак Шумер (сенатор-демократ от Нью-Йорка). На саммите будет присутствовать главы и других технологических компаний, в том числе генеральный директор OpenAI Сэм Альтман и генеральный директор Google Сундар Пичаи.