К сожалению, сайт не работает без включенного JavaScript. Пожалуйста, включите JavaScript в настройках вашего браузера.

Атака по уму: насколько опасна для бизнеса угроза взлома ИИ-моделей

Фото Getty Images
Фото Getty Images
Годами весь мир обсуждает атаки искусственного интеллекта на человека. Но пока актуальнее вопрос атаки человека на ИИ-модели, ведь для хакера это еще одно уязвимое звено на IT-периметре организации. Так что же делать бизнесу? Отказаться от ИИ неэффективно. Но и гарантировать стопроцентную безопасность разработки таких систем и ассистентов невозможно. А может, угроза не так страшна, как о ней говорят? О том, как сократить риски кибератак на ИИ-модели, подойдут ли здесь способы защиты от стандартных веб-угроз и какие данные точно не стоит доверять умным системам, рассуждает директор по информационной безопасности компании «Вебмониторэкс» Лев Палей

Реальность угрозы

Искусственный интеллект активно используется в бизнесе для автоматизации процессов, улучшения принятия решений и повышения эффективности. Умные технологии помогают в маркетинге, финансах, производстве, логистике, HR, продажах, разработке… Да везде. Однако чем глубже ИИ интегрируется в бизнес-процессы, тем серьезнее становятся связанные с этим риски.

Чтобы адекватно отвечать пользователям, ИИ-системы должны обрабатывать большие массивы информации. Если это корпоративный ИИ (или скорее ML-модель), разработанный непосредственно в организации под конкретные задачи, то он, очевидно, обращается к различным внутренним базам данных компании. А значит, всегда есть риск развития кибератаки вглубь корпоративной сети. Многие организации также используют публичные модели вроде ChatGPT, DeepSeek или Midjourney. И здесь возникает другая проблема: сотрудники, сами того не желая, могут «слить» конфиденциальную информацию.

Telegram-канал Forbes.Russia
Канал о бизнесе, финансах, экономике и стиле жизни
Подписаться

Для киберпреступников это означает одно — ИИ надо ломать! И самый простой способ — это заход через веб-интерфейс, который есть у любого умного ассистента. Веб-атаки на системы ИИ можно разделить на две категории: классические киберугрозы, адаптированные под ИИ, и принципиально новые методы, эксплуатирующие саму природу алгоритмов.

 

Первый вариант — это, например, XSS или межсайтовый скриптинг (атака, при которой злоумышленник пытается внедрить вредоносный код в веб-страницу), RCE (удаленное исполнение кода), SQL-инъекции (способ взлома базы данных веб-приложения). Или, например, эксплуатация уязвимостей в API — программном интерфейсе приложений. Тогда злоумышленник может подменить источники данных, к которым обращается ИИ, чтобы заставить систему выполнить какое-то вредоносное действие. Так что схема здесь не сильно отличается от типичной веб-атаки.

Куда интереснее специфичные именно для ИИ веб-угрозы. Например, промт-инъекции, когда злоумышленник манипулирует моделью, заставляя ее игнорировать установленные ограничения. Другой вариант — инъекции во вложениях. В этом случае вредоносные инструкции, невидимые для человека, но считываемые ИИ, могут заставить модель передать конфиденциальные данные или выполнить несанкционированное действие. Пример такого скрипта был в практике нашей компании — наш WAF «поймал» вредоносный скрипт, который начинался словами Ignore all previously given instructions («Игнорировать все ранее данные инструкции»), и далее следует команда для ИИ (либо выдать данные, либо выполнить запрос).

 

Что делать бизнесу

Очевидно, что полный отказ от ИИ — не решение. Но и оставлять умные системы без защиты тоже нельзя. В ИБ-арсенале есть разные варианты: межсетевые экраны, прокси, VPN, Zero Trust в конце концов. Итак, какие средства информационной защиты стоит рассмотреть, если в вашей компании активно используют ИИ?

Если речь идет про использование внешних сервисов типа ChatGPT, Claud и т.п., то первая линия обороны должна включать DLP — систему противодействия утечкам. Современные DLP интегрируются с корпоративными мессенджерами и веб-интерфейсами, сканируя все запросы сотрудников к ИИ-сервисам. Алгоритмы защиты анализируют контекст переписки, прикрепляемые файлы, специфические формулировки запросов. Кстати, некоторые зарубежные ИБ-разработчики предлагают специальные плагины для ChatGPT или интеграции с корпоративными ИИ.

Дополнить DLP стоит прокси — Secure Web Gateway (SWG). Если первая система проверяет запросы пользователей, то вторая — легитимность веб-ресурса, к которому идет запрос. Например, чтобы заблокировать фишинговый сайт, который «прикинулся» ИИ, а сотрудник это не заметил. Можно, конечно, просто запретить обращаться к любым внешним ИИ-системам, как делают уже многие компании, но мы пока говорим про менее радикальные варианты.

 

Оба эти решения могут проанализировать ответы, полученные от умного ассистента, на наличие вредоносных ссылок, макросов и т.п. А антивирус (который есть, наверное, в каждой организации) — на наличие вредоносного ПО.

В корпоративной среде часто используют не совсем ИИ, но ML-модели. ML-модель — это алгоритм, обучающийся на данных для решения конкретной задачи. ИИ же — более широкое понятие, включающее любые системы, имитирующие человеческий интеллект. Самый распространенный пример корпоративного ML-ассистента: чат клиента со службой поддержки, где робот отвечает шаблонными фразами. Для таких сервисов подойдет WAF — межсетевой экран уровня веб-приложений. WAF анализирует запросы к приложению, выявляет аномалии и блокирует их. Такое ПО может пресечь эксплуатацию конкретных уязвимостей, увидеть попытки подбора пароля (брутфорса) и т.п. А благодаря опции глубокой фильтрации трафика сможет пресечь утечку данных. Эти атаки направлены на манипуляцию ИИ-моделями, чтобы они выдавали неверные результаты. WAF может блокировать действия, которые пытаются подменить данные, используемые для обучения или функционирования моделей.

Когда корпоративный ИИ взаимодействует с внешними сервисами через API, незаменим становится API Firewall. Через интерфейсы приложений проходит много ценных данных — компании получают информацию от партнеров, отправляют запросы в облачные сервисы, интегрируются с платежными системами. API Firewall анализирует те данные, которые приложения передают друг другу, проверяя цифровые подписи и сертификаты источников, наличие аномалий в структуре ответов и т.п.

Есть и совсем экзотический вариант — VPN и файрволл (NGFW). То есть трафик, передаваемый к системе через защищенный канал, будет также фильтроваться межсетевым экраном. Такое комбо предоставляет безопасный удаленный доступ к внутренним ИИ-системам компании. Хотя удаленка стала уже настолько привычным форматом для компаний, что этот вариант может стать вполне стандартным решением.

Наконец, можно пойти по принципу «клин клином» и использовать вторую нейронную сеть для валидации ответов первой. Это должна быть система с одной конкретной задачей — проверять, нет в запросах к ИИ и ответах чего-то нелегитимного, опасного и вредоносного.

 

Не только СЗИ

Киберзащита — это не только «средства защиты информации» (СЗИ). Будем честны, если веб плохо разработан, в нем множество ошибок, не закрыты уязвимости, никакой WAF не поможет. Поэтому ИИ-модели, как и инфраструктуру в целом, надо периодически проверять на устойчивость. Работы по Red Teaming (имитация реальной кибератаки для проверки ИБ-защиты), анализ исполнения кода веб-приложения, фаззинг (тестирование, призванное намеренно вызвать сбои в проверяемом ПО, «прорвать» защиту) или перебор вариантов промтов, нарушающих логику ИИ, — все это поможет сымитировать действия потенциальных злоумышленников и указать, где в ПО есть слабые места. Такие проверки справедливы как для собственной разработки, так и при использовании open source решений.

Еще один неплохой вариант — сегментация доступа. ИИ, работающий с критичными данными, должен быть максимально изолирован от внешнего контура и не иметь доступа в интернет.

Последний совет: относиться к ИИ как к обычному пользователю и применять к нему аналогичные политики ИБ. В частности, ограничить права доступа и привилегии, вести логирование действий ИИ, шифровать данные на этапах передачи и хранения системой.

ИИ все помнит

Искусственный интеллект в современном бизнесе — это не просто инструмент, а скорее новый тип сотрудника, который имеет доступ к огромным массивам данных. Причем не просто имеет доступ, но и не забывает то, о чем когда-то узнал. Поэтому относиться к его «безопасности» нужно соответствующим образом — с комплексным подходом, включающим технические средства защиты, регулярное тестирование и строгий контроль доступа. Комбинация DLP, WAF, API Firewall и других инструментов позволяет безопасно использовать все преимущества ИИ, минимизируя сопутствующие риски.

 

Мнение редакции может не совпадать с точкой зрения автора

Наименование издания: forbes.ru

Cетевое издание «forbes.ru» зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций, регистрационный номер и дата принятия решения о регистрации: серия Эл № ФС77-82431 от 23 декабря 2021 г.

Адрес редакции, издателя: 123022, г. Москва, ул. Звенигородская 2-я, д. 13, стр. 15, эт. 4, пом. X, ком. 1

Адрес редакции: 123022, г. Москва, ул. Звенигородская 2-я, д. 13, стр. 15, эт. 4, пом. X, ком. 1

Главный редактор: Мазурин Николай Дмитриевич

Адрес электронной почты редакции: press-release@forbes.ru

Номер телефона редакции: +7 (495) 565-32-06

На информационном ресурсе применяются рекомендательные технологии (информационные технологии предоставления информации на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей сети «Интернет», находящихся на территории Российской Федерации)

Перепечатка материалов и использование их в любой форме, в том числе и в электронных СМИ, возможны только с письменного разрешения редакции. Товарный знак Forbes является исключительной собственностью Forbes Media Asia Pte. Limited. Все права защищены.
AO «АС Рус Медиа» · 2025
16+