Правила наши, контроль — за вами: зачем создатели ИИ просят себя ограничивать

Что за заявление и кто его подписал

30 мая на сайте некоммерческой организации Center for AI Safety («Центр безопасности ИИ») появилось заявление следующего содержания: «Снижение риска вымирания из-за ИИ должно стать глобальным приоритетом наряду с другими рисками социального масштаба, такими как пандемии и ядерные войны». Его подписали представители Google, Microsoft, OpenAI, Stability AI и ряда профильных компаний, а также исследователи из университетов Гарварда, Оксфорда, Беркли, Принстона, Стэнфорда и т. д. 

Принципиальное отличие от нашумевшего в марте призыва заморозить развитие больших языковых моделей на шесть месяцев заключается в том, что авторы заявления задаются целью «открыть дискуссию». Зачем сравнивать риски от ИИ с глобальными катастрофами? Чтобы привлечь внимание как можно большего количества людей и к проблеме регулирования ИИ, и к самой организации «Центр безопасности искусственного интеллекта».

Заявление можно трактовать как попытку обозначить потребность в единых международных правилах и разработке протоколов безопасности ИИ. Это отнюдь не означает, что человечество находится на грани пропасти и уже завтра нас может поставить под контроль «умная машина». Однако бурное развитие больших языковых моделей показывает, что ученые постепенно приближаются к созданию AGI (Artificial General Intelligence, сильный искусственный интеллект). Это актуализирует ряд вопросов о том, как взаимодействовать с подобными моделями. Например, что делать, когда ИИ станет умнее человека? Ведь когда коммуницируют два интеллектуальных субъекта, и один из них значительно умнее другого, более умный получает пространство для манипуляций. В отличие от угроз, о которых мы привыкли говорить в парадигме правового регулирования и риск-менеджмента, такие вопросы подразумевают другой, более социальный характер.

Зачем ученые просят себя контролировать

Реакции бюрократических систем неизбежно запаздывают, когда речь идет о быстроразвивающихся процессах. Много времени может уйти на создание правил и согласование протоколов, которые на момент реализации могут потерять свою актуальность. Именно поэтому ученые стараются привлечь внимание общественности и государственных структур к необходимости заняться фундаментальными проблемами безопасности ИИ уже сейчас.

Исследователи, которые разрабатывают ИИ, лучше понимают весь спектр потенциальных рисков. Сами правила и протоколы безопасности ученые смогут разработать самостоятельно. Но вот когда они будут разработаны, потребуется внешняя сила, чтобы контролировать их повсеместное исполнение. Любой отдельный ученый способен самостоятельно ограничить себя, но как убедиться, что другие будут делать то же самое? Как получить гарантию того, что конкуренты не пойдут вперед, пока ты ограничиваешь пространство поиска новых идей? В теории игр это называется дилеммой заключенного: если нет контроля или взаимного доверия, игроки стремятся выгодно «нарушить правила» и получить преимущество перед теми, кто эти правила старается соблюдать. В итоге правила нарушают все, и это приводит к общему проигрышу относительно ситуации, когда все бы строго следовали правилам.

Среди подписантов заявления можно увидеть управленцев из технологических гигантов Google и Microsoft. Многие задаются вопросом о том, с чего бы коммерческим структурам сознательно ограничивать свободу потенциально прибыльной разработки и настоящего ноу-хау. На самом деле в этих организациях работают такие же специалисты в области компьютерных наук, как и в университетах. Они также прекрасно осознают уровни риска технологий и чувствуют потребность в наличии универсального свода правил.

В любом случае не стоит воспринимать это заявление как призыв к полной остановке развития технологий ИИ. Скорее, уместно говорить о призыве замедлить темпы текущего взрывного развития, уделяя больше внимания оценке рисков и учитывая их на этапе создания, а не на этапе эксплуатации технологий.

Кто должен контролировать ученых

Вероятнее всего, подписанты, среди которых отметился и СЕО OpenAI, который ранее уже предлагал создать агентство по лицензированию больших ИИ-моделей, надеются создать регулятор. Очевидно, что он должен быть межгосударственным.

Стран в мире намного меньше, чем ученых. Им проще договориться, тем более что риски от ИИ носят общий характер и не привязаны к отдельным территориям. Государства могут принять правила такого регулятора и помогать контролировать их исполнение внутри своей юрисдикции, поскольку «тайно» создать модель, способную приблизиться к уровню сильного искусственного интеллекта, невозможно. Исследования в области обучения больших моделей ИИ не делаются «в гараже» — для них необходим доступ к большим вычислительным мощностям, нужны дата-центры, квалифицированные разработчики и т. д.

Возможным вариантом решения проблемы могло бы стать создание небольшого числа мировых исследовательских центров наподобие Европейского центра ядерных исследований. В них были бы представлены ученые из всех стран — лидеров в области технологий ИИ, а сами страны обязались бы соблюдать правила регулятора. В этих центрах с соблюдением всех протоколов безопасности могли бы разрабатываться новые технологии и модели сильного ИИ. Кроме того, центры могли бы контролировать друг друга, обмениваясь инспекциями, и представлять отчеты о своих исследованиях в научных журналах и на конференциях. Университеты продолжили бы заниматься разработкой моделей «слабого» ИИ для решения отдельных задач. Разумеется, необходимым условием для такого сценария является освобождение этих центров от геополитических конфликтов между государствами и готовность вести совместную работу на благо всего человечества, как это происходит, например, в исследованиях космоса.

Не бояться, а изучать и обсуждать

Если вычеркнуть из уравнения страшные слова о катастрофах и пандемиях, в сухом остатке и без того короткого заявления останется главное: призыв к созданию дискуссионного клуба, который смог бы выработать правила, пригодные для внедрения на межгосударственном уровне. Чтобы нормы и правила были приняты исследовательским сообществом, их должны верифицировать пользующиеся авторитетом в области ИИ ученые, а также специалисты из смежных дисциплин, включая гуманитарные науки. Сами протоколы безопасности могут быть созданы благодаря поисковым исследованиям в области интерпретабельного (функционально совместимого) ИИ, безопасного ИИ и этичного ИИ. И это не отвлеченные фразы, а названия конкретных научных направлений, активно развивающихся в настоящий момент в мире, в том числе и в России.

Мнение редакции может не совпадать с точкой зрения автора