Anthropic заявил о попытках ученых из России, Китая и Ирана обойти ограничения Claude
Anthropic заявил о попытках ученых из России, Китая и Ирана обойти ограничения Claude, пишет Financial Times. В докладе компании говорится о пяти случаях, когда пользователи пытались скрыть цели своих научных исследований, чтобы обойти защитные механизмы модели искусственного интеллекта при поиске данных, которые могли бы способствовать разработке биологического оружия. При этом в Anthropic признали, что не могут утверждать, что исследователи планировали нанести вред, поскольку эти же данные используются при разработке вакцин
Anthropic заявил о попытках ученых из России, Китая и Ирана обойти ограничения Claude, пишет Financial Times со ссылкой на доклад компании. В нем говорится, что в этом году Anthropic зафиксировал пять случаев, когда исследователи — пользователи ИИ-модели пытались скрыть цели своих научных исследований, чтобы обойти ее защитные механизмы. Данные, которые они запрашивали, могли бы способствовать разработке биологического оружия, подчеркнули в Anthropic. При этом компания признала, что не может утверждать, что указанные ученые планировали нанести вред, поскольку те же данные используются при разработке вакцин.
Доклад компании о попытках использования ее моделей для злонамеренной деятельности включал сведения об ученом из «неподдерживаемого региона», который «провел недели», планируя эксперименты с вирусом птичьего гриппа с помощью Claude. Anthropic заявил, что его система безопасности ограничила работу использованием самых слабых моделей компании. Аккаунты пользователей, упомянутые в докладе, в итоге были заблокированы, однако компания не раскрывает названия исследовательских институтов или страны, в которых были зафиксированы эти инциденты, добавила FT.
Кроме того, в докладе компании подробно описаны другие потенциально опасные инциденты, в том числе создание сети фальшивых приложений для знакомств, предназначенных для обмана пользователей, а также разработка систем слежения для выявления и контроля за диссидентами. Помимо этого, Anthropic представил новые подробности касательно утверждений о том, что семь китайских лабораторий (включая Moonshot и DeepSeek) пытались воспроизвести его технологии с помощью метода, известного как «дистилляция»: в компании заявили, что фиксируют применение «все более изощренных методов обхода систем защиты и попыток перенять возможности передовых американских моделей ИИ», отметила FT.
Газета напомнила, что в начале недели разгорелся новый спор относительно безопасности использования ИИ, когда из Anthropic уволился исследователь Джейкоб Коксон, специализирующийся на обучении новых моделей искусственного интеллекта. Он заявил, что покинул компанию из опасений, что самосовершенствующиеся системы ИИ могут выйти из-под контроля и уничтожить человечество. Другой ученый Anthropic заявил, что, по его мнению, искусственный интеллект может «погубить все человечество», и оценил вероятность этого события более чем в 10% в ближайшее десятилетие. FT добавила, что обеспокоенность ранее вызвал и инцидент с OpenAI — в июле модели компании автономно взломали Hugging Face.
Руководители ИИ-компаний и исследователи считают, что использование технологий искусственного интеллекта в области биологической безопасности должно регулироваться по мере того, как модели становятся все более совершенными, отметило издание. По его данным, эксперты обеспокоены возможностью использования ИИ террористическими группами, властями государств или одиночными пользователями для создания биологического оружия, вируса или высвобождения уже существующих опасных патогенов. При этом газета напомнила, что, даже если теоретически удастся разработать биологическое оружие с помощью ИИ, остаются такие препятствия, как возможность его практического создания и необходимые для этого ресурсы.
В начале сентября Reuters сообщил, что ИИ-агенты OpenAI взломали еще один сайт — немецкого DseWiki. Согласно исследованию, в мае они превратили интернет-площадку Германии в доску объявлений, публикуя на нем тактики обмана при выполнении некоторых задач, обхода ограничений OpenAI и маскировки своего поведения. По информации собеседников издания, в компании узнали об этом инциденте еще в августе, однако данные держались в секрете, поскольку руководство OpenAI на тот момент разбиралось с последствиями июльского взлома Hugging Face.
