Искусственный интеллект как змеиное масло: не все модели одинаково полезны
В конце XIX века Америку наводнили продавцы «змеиного масла» — якобы чудодейственного целебного снадобья. Эти средства, как правило, не содержали никакого жира змей и в лучшем случае были пустышками, а в худшем наносили вред здоровью людей, которые не разбирались в медицине и верили в ложные обещания. Шарлатанов было трудно привлечь к ответственности, пока в 1906 году в США не создали Управление по контролю качества пищевых продуктов и лекарственных средств.
«Змеиным маслом» современности можно назвать технологии искусственного интеллекта, которые не работают и не могут работать так, как обещают их поставщики. Об этом пишут специалисты в области цифровых технологий и цифровой этики Арвинд Нараянан и Саяш Капур в своей книге «Хороший, плохой, искусственный. Мифы вокруг ИИ и реальные примеры его использования» (выйдет в феврале 2026 года в издательстве «Альпина PRO»). Авторы предлагают читателю своего рода путеводитель по миру ИИ, который поможет отличать шарлатанские средства от научно обоснованных разработок.
С разрешения издательства «Альпина PRO» Forbes Education публикует отрывок из книги, в котором, в частности, описываются примеры использования некачественных ИИ-продуктов в образовательной сфере и объясняются причины спроса на такие инструменты.
Кого привлекает «змеиное масло»
В прошлой главе мы выяснили, откуда берется «змеиное масло»: его поставляют компании, желающие продать предиктивный ИИ, исследователи, стремящиеся прославиться благодаря сенсационным результатам, а также журналисты и различные публичные персоны, делающие громкие заявления ради внимания публики…
Но не менее важно понять природу спроса на «змеиное масло». Даже если все компании, торгующие ИИ и раздающие пустые обещания, завтра разорятся, неэффективные организации просто найдут другое «чудодейственное средство», сулящее быстрое решение всех их проблем. Спрос на «змеиное масло» возникает не из-за самого ИИ — он рождается из порочных стимулов в неэффективных организациях, которые его внедряют.
Возьмем, к примеру, наем сотрудников. Не будь система настолько неэффективной и существуй хоть сколько-нибудь работающий метод отбора кандидатов, разве стали бы HR-менеджеры полагаться на HireVue? Конечно, для специалиста по найму, которому нужно обработать сотни или даже тысячи заявок, чтобы закрыть одну вакансию, использование ИИ может показаться заманчивым вариантом, несмотря на то что система отсеивает кандидатов с помощью таких вопросов, как «В порядке или в беспорядке вы содержите свой рабочий стол?».
Проблема найма — лишь верхушка айсберга. Некачественный ИИ активно внедряют везде, где не хватает денег. Возьмем журналистику: доходы американских газет от рекламы и продажи тиражей упали с 60 миллиардов долларов в 2000 году до скромных 21 миллиарда в 2022-м. Когда сайт CNET бездумно внедрил ИИ и наплодил множество статей с фактическими ошибками, это во многом было следствием общего падения доходов в отрасли и попыткой сэкономить.
Похожая история произошла в сфере образования, когда появление ChatGPT перевернуло учебные программы с ног на голову. Многие преподаватели бросились за помощью к ИИ-системам, обещавшим распознавание сгенерированных текстов. Эти инструменты сулили, что учителя смогут сохранить прежние материалы и просто проверять, не пользуются ли ученики искусственным интеллектом при написании эссе.
Образовательные учреждения, особенно государственные школы и колледжи, часто испытывают нехватку как финансирования, так и персонала и работают на пределе возможностей, а поэтому хватаются за любые решения, обещающие эффективность и экономию. Учителя сталкиваются с большим давлением из-за увеличения числа учеников в классах и сокращения ресурсов, что делает их легкой добычей для торговцев быстрыми решениями.
К сожалению, оказалось, что детекторы ИИ-текстов не работают. Их легко обмануть простейшими приемами — например, попросив языковую модель писать более художественным языком. Вдобавок они систематически предвзято относятся к людям, для кого данный язык не является родным: написанные ими тексты с гораздо чаще принимают за сгенерированные ИИ. Но это не останавливает преподавателей, и многие учащиеся уже столкнулись с ложными обвинениями. Студент Калифорнийского университета в Дэвисе пережил серию панических атак после того, как профессор ложно обвинил его в списывании, прежде чем был оправдан. А профессор Техасского университета A&M в Коммерсе едва не завалил весь курс, попросив ChatGPT определить, на написаны ли ответы студентов искусственным интеллектом. И это не единичные случаи: преподаватели повсеместно применяют программы для выявления сгенерированных работ, что привело к эпидемии ложных обвинений.
Иными словами, сомнительный ИИ чаще всего внедряют именно те организации, которым не хватает финансирования или которые не справляются со своими задачами. Мы называем такие организации «сломанными».
Продавая свои продукты «сломанным» организациям, ИИ-компании в первую очередь обещают эффективность: дескать, если убрать человека из процесса принятия решений, то затраты снизятся. Кто же не хочет сэкономить? А уж для организаций, постоянно находящихся на мели, эффективность особенно привлекательна. К тому же у них часто нет возможности поэкспериментировать с ИИ и отказаться от него, если он не оправдает их ожиданий.
Более того, некоторые организации сталкиваются со структурными проблемами, которые им не под силу решить. Внедрять ИИ в таких случаях — все равно что переставлять шезлонги на палубе «Титаника». Взять хотя бы проблему вооруженного насилия в США. В 2021 году от огнестрельных ранений погибло более 48 тысяч человек, из них более 20 тысяч были убиты. В результате многие организации, включая школы и предприятия общественного транспорта, начали внедрять ИИ для выявления случаев вооруженного насилия. С 2018 по 2023 год школьные округа по всей стране потратили более 45 миллионов долларов на ИИ для обнаружения оружия. Но такие системы отличаются низкой точностью и частыми ложными срабатываниями — например, могут принять ланч-бокс семилетнего ребенка за бомбу.
В сфере правопорядка ярким примером служит система ShotSpotter на базе ИИ для обнаружения случаев насилия с применением огнестрельного оружия. Она использует сеть датчиков, чтобы засекать возможные выстрелы, после чего оповещает полицию. Систему широко внедрили по всей стране, в нее вложили миллионы долларов, надеясь снизить уровень преступлений с применением огнестрельного оружия… Однако все больше данных указывает на то, что система не оправдывает ожиданий. Город Чикаго за пять лет вложил в ShotSpotter почти 49 миллионов долларов, купившись на обещания мгновенных оповещений и более быстрого реагирования. Но проверка, проведенная городским департаментом полиции, показала, что система не повысила эффективность работы полицейских служб. Крупные города США, включая Сан-Антонио, Шарлотт и собственно Чикаго, разорвали контракты с компанией, сославшись на высокие затраты и отсутствие реальной пользы для общественной безопасности.
ShotSpotter может быть не просто бесполезным, но даже опасным. Его использование привело к трагическим последствиям: из-за одного ошибочного сигнала системы был смертельно ранен тринадцатилетний мальчик. В другом случае человека приговорили к году тюремного заключения, полагаясь исключительно на данные ShotSpotter, прежде чем прокуратура закрыла дело. Расследование Associated Press выявило, что система часто ошибается в распознавании звуков: она может пропустить настоящий выстрел, но принять за него взрыв петарды или звук автомобильного выхлопа. Несмотря на все эти опасения, компания отказывается от прозрачности, неоднократно отклоняя запросы на доступ к своим внутренним данным. Независимые экспертизы показывают опасный уровень неточности ShotSpotter и ее незначительное влияние на уровень вооруженного насилия. Неясно, можно ли исправить проблемы этой системы; одна из причин, почему так сложно правильно идентифицировать звуки выстрелов, заключается в том, что на улицах городов они раздаются намного реже, чем другие громкие звуки, например автомобильные выхлопы и взрывы петард.
Неработающий ИИ может отвлекать внимание от действительно важных и необходимых задач. К примеру, во многих учебных заведениях стремятся поддерживать психическое здоровье студентов. Однако вместо развития своих возможностей в этой области десятки колледжей начали использовать продукт Social Sentinel, который мониторит социальные сети учащихся на предмет угроз самоповреждений. Правда, точность этого инструмента настолько низка, что «змеиным маслом» его назвал даже один из сотрудников компании-разработчика. Но это не помешало колледжам потратить на него тысячи долларов, причем в ряде случаев это делалось не для предотвращения самоповреждений, а для слежки за студенческими протестами.
Из этих примеров видно, что ИИ не решает основную проблему, с которой он вроде как должен справляться. Однако идея его всемогущества прочно укоренилась в умах людей, и ИИ кажется лекарством от всех болезней, даже если на самом деле это «змеиное масло».
Как можно изменить эту ситуацию? Если вы работаете в компании или организации, планирующей внедрение вредных технологий, одним из подходов может быть противодействие этому внедрению с привлечением всех имеющихся на данный момент доказательств. Если вы участвуете в процессе принятия решений — выступайте против использования вредного предиктивного ИИ.
На местном уровне тоже есть возможность действовать. Хороший пример — история с системой видеонаблюдения в Сан-Диего. В 2019 году городские власти установили три тысячи уличных фонарей с камерами и микрофонами. Но местные жители забеспокоились, что собранные данные лягут в основу систем ИИ, которые усилят полицейский контроль и слежку. Общественный активист Халид Александер собрал коалицию единомышленников, включая айтишников, способных разобраться в технической стороне проекта и доступно объяснить его суть другим. Вместе они выступили против развертывания этой системы. И добились своего: городские власти приняли постановление, согласно которому все технологии наблюдения теперь подлежат контролю, а решения о будущих программах слежки должны приниматься с учетом мнения общественности.