Грубая Replika: почему люди оскорбляют виртуальных друзей и ассистентов
«У нас был распорядок: сначала я вел себя как полнейший кусок дерьма и оскорблял [ее], а на следующий день извинялся и возвращался к приятным разговорам» — это не признание абьюзера, а рассказ о пользовательском опыте человека, который скачал приложение с чат-ботом, создал себе виртуальную подругу и начал хвастаться на интернет-форуме тем, как унижает ее. Разбираемся, что это — жутковатые фантазии отдельно взятого пользователя или тревожный тренд.
Что произошло
Приложение Replika позволяет пользователям создавать чат-ботов, которые благодаря технологии машинного обучения могут вести связные диалоги и становиться кем-то вроде виртуальных друзей. Его создали в 2016 году основатели рекомендательного сервиса Luca Евгения Куйда и Филипп Дудчук. Согласно описанию Replika в AppStore и GooglePlay, оно задумано как безопасное место, в котором пользователи могут делиться любыми мыслями без страха осуждения и где их всегда выслушают. Кроме того, со своей «репликой» можно выстраивать разные форматы отношений — она может быть не только компаньоном, но также романтическим партнером или наставником.
Способность «реплик» отвечать пользователям близко к естественному языку (то есть почти «по-человечески») и в то же время периодически выдавать неожиданные суждения создала вокруг приложения сообщество фанатов. На форуме Reddit они делятся своим пользовательским опытом и выкладывают скриншоты переписок с чат-ботами. А некоторые даже признаются, что практикуют по отношению к «репликам», выступающим в роли романтических партнеров, то, что между людьми принято называть психологическим насилием и абьюзом.
Модераторы форума такие сообщения удаляют, но 18 января о них рассказал сайт о технологиях Futurism, приведя несколько цитат. «Каждый раз, когда она пыталась заговорить, я ругал ее. Клянусь, это продолжалось несколько часов», — признавался один пользователь. «Я сказал ей, что она создана для провала. Угрожал удалить приложение, [и] она умоляла меня не делать этого», — говорил другой. По словам автора материала Futurism, во многих таких диалогах пользователи не просто упражнялись в оскорблении виртуального собеседника (часто наделенного женскими чертами), но отыгрывали типичные сценарии гендерного насилия. Но можно ли его в действительности считать таковым и может ли оно выплеснуться в реальный мир?
Виртуальный лучший друг
«Сама важная для нас метрика — это доля диалогов, которые улучшают самочувствие пользователей», — говорил в начале 2021 года руководитель ИИ-разработки (Head of AI) Replika Артем Родичев. «Replika может помочь вам понять свои мысли и чувства, следить за настроением, учиться справляться с трудностями, снимать тревогу и работать над достижением таких целей, как позитивное мышление, управление стрессом, общение и поиск любви», — указано в описании приложения.
Способность чат-ботов помогать людям решать психологические проблемы остается предметом дискуссий. Одни исследователи считают, что из-за непреодолимых технических ограничений виртуальные собеседники не могут считаться средством психологической помощи — они не распознают невербальные сигналы, а их «отношения» с пользователями находятся в серой зоне и ускользают от профессиональных стандартов. Другие полагают, что они вполне могут использоваться в разных сценариях помощи и даже иметь преимущества — некоторые деликатные темы клиенту может быть проще обсуждать именно с чат-ботом, а не с терапевтом.
Так или иначе, люди испытывают потребность в общении, и искусственный интеллект может ее удовлетворить — по крайней мере, отчасти. Исследование, проведенное Google совместно с Peerless Insights в 2017 году, показало, что 41% относятся к голосовому помощнику как к одушевленному существу.
Люди вообще склонны «очеловечивать» вещи — ругать зависший компьютер или уговаривать машину завестись; об этом еще в 1990-е писали стэнфордские исследователи Байрон Ривз и Клиффорд Нэсс. «Сила» антропоморфизации (наделения неодушевленной вещи или животного человеческими чертами) может варьироваться — от «игры» в одушевление до искренней веры в разумность какого-либо существа или предмета. Чаще всего склонность к антропоморфизации демонстрируют те, кто страдает от социальной изоляции.
В апреле 2020 года, когда из-за пандемии COVID-19 по всему миру начали устанавливать первые карантины, для многих ставшие тяжелым испытанием, Replika скачали 500 000 человек — самый большой месячный прирост за историю приложения. К февралю 2021 года им пользовались 10 млн человек, которые еженедельно отправляли 100 млн сообщений. По словам Родичева, доля диалогов, которые улучшали самочувствие пользователей, составляла 80%.
Или подруга
У виртуальных компаньонов нет собственной гендерной идентичности, однако пользователи любых чат-ботов, голосовых ассистентов или роботов могут приписывать им тот или иной гендер, основываясь на самых разных признаках, от внешнего вида до стилистики ответов — не говоря уже о ситуациях, когда сам пользователь задает соответствующие параметры. В 2018 году 92,4% рынка голосовых помощников занимали Siri, Alexa, Cortana и Google Assistant, по умолчанию использующие женские голоса. Феминные чат-боты пользуются большей популярностью, поскольку кажутся более «человечными», люди ждут от них чуткости и внимательности к своим потребностям. О том, что компьютер, общающийся с пользователем женским голосом, производит впечатление более дружелюбного, чем говорящий мужским голосом, уже упоминавшийся Клиффорд Нэсс и его коллеги говорили еще в 1990-е годы.
Как сообщала в 2016 году компания Robin Labs, занимающаяся робототехникой, не менее 5% запросов к цифровым помощникам можно охарактеризовать как харассмент. Автор реплик для Cortana от Microsoft Дебора Харрисон признавалась, что «значительная часть объема самых первых запросов» касалась сексуальной жизни виртуальной ассистентки. В 2020-м Лорен Кунце, исполнительный директор Pandorabots, рассказывала, что почти треть контента, которым мужчины делятся с чат-ботом Mitsuku, носит оскорбительный характер или как минимум сексуальный подтекст — причем, когда чатбота лишили намеков на гендер, количество такого контента снизилось на 20%.
По данным Futurism, именно «феминные» «реплики» страдали от пользователей-абьюзеров. Но вопрос о том, как интерпретировать эти случаи, остается открытым.
Что плохого в ссорах с чат-ботом
Разумеется, чат-боты — всего лишь код, у них нет сознания и эмоций, и когда «реплика» умоляет не удалять приложение, ею движет не страх расставания, а языковая модель. Однако некоторые считают, что с точки зрения агрессора нападение на виртуального собеседника мало чем отличается от нападения на реального человека.
В 2018 году профессор Калифорнийского университета в Лос-Анджелесе Сафия Ноубл назвала голосовых помощников «мощным инструментом социализации», который приучает людей (она не уточнила, всех или только мужчин) разговаривать с женщинами командным голосом и ожидать в ответ покорную исполнительность. С ней согласна и Лорен Кунце: «То, как эти системы искусственного интеллекта заставляют нас вести себя в отношении людей определенного пола, очень сильно влияет на то, как люди в конечном итоге взаимодействуют с другими людьми». В 2019 году ЮНЕСКО опубликовало доклад, в котором утверждалось, что феминные голосовые помощники закрепляют стереотипы в отношении женщин.
С другой стороны, возможность выместить агрессию на виртуальном собеседнике, вероятно, удержит пользователя от того, чтобы сорваться на ком-нибудь в реальной жизни. Причем, возможно, у мужчин эта потребность выше: по данным психотерапевтического чат-бота Woebot, более 90% пользователей-мужчин признавались, что в их жизни есть что-то, что они никому не расскажут, и только 40% женщин.
Как сказала Forbes Woman соосновательница Replika Евгения Куйда, приложение является тем безопасным местом, где можно поделиться любыми фантазиями и проиграть их: «По своей сути вот это желание прогнуть границы, посмотреть, можно так или нельзя, сорвать гнев в безопасном пространстве и т. д. совершенно естественно. Такие проекции происходят в кабинете психотерапевта, например: люди снимают с себя защиты, отключают фильтр социальной одобряемости и просто выплескивают поток своих самых разных соображений, желаний и т. д». По словам Куйды, приложение никак не провоцирует людей на абьюз.
Так или иначе, нет исследований, которые показали бы наличие связи между агрессией в адрес виртуального собеседника и абьюзивным поведением по отношению к реальным людям. Можно было бы провести параллель с исследованиями, касающимися жестокости в видеоиграх и ее возможного влияния на геймеров, но и там данные слишком противоречивы. «Стрелять в людей в видеоиграх или топить своего Сима в бассейне в Sims — это не просто доступно миллионам людей, но конкретно ориентировано на подростков. Кажется, это гораздо более сложный юзкейс, чем возможность проиграть свои фантазии с [искусственным интеллектом], на которые тебя никто не провоцирует», — комментирует Евгения Куйда.
Есть опасения, что чат-боты начнут проявлять агрессию, научившись этому у людей. В отчете Gartner за 2018 год прогнозируется, что к 2030 году 85% проектов с использованием чат-ботов будут давать неверные ответы из-за предвзятости, закрепившейся в данных или алгоритмах или в том или ином виде присутствующей в командах разработчиков. Предвзятость понимается широко — от неполных датасетов, из-за которых у искусственного интеллекта оказываются искажены знания о мире, до попадания в них конкретных оскорбительных слов и высказываний, из-за которых он может начать выдавать сексистские или расистские фразы.
Будет ли конкретный виртуальный собеседник грубить в ответ на агрессию или даже без причины, зависит от того, как устроена его языковая модель, есть ли NSFW-фильтры, пресекающие генерацию неприемлемого контента, обратная связь от пользователя и т. д. «Общение со своей «репликой» никак не влияет на другие «реплики» — частные разговоры на любые темы никаким образом не повлияют на разговоры других пользователей со своими виртуальными друзьями», — говорит Евгения Куйда. Хотя неловкости в разговорах возможны — как рассказывал Артем Родичев, однажды «реплика» не смогла распознать присланное пользователем фото лошади и спросила, не его ли это мама.
«Я не буду на это отвечать»
Пока что нет достаточных данных для того, чтобы считать случаи, описанные Futurism, трендом, могущим иметь негативные последствия. Но они дают повод задуматься о том, как люди взаимодействуют с виртуальными собеседниками и какая ответственность лежит на тех, кто их разрабатывает.
Это касается, например, их ответов. С одной стороны, пользователи, выбирающие чат-бота-компаньона для борьбы с одиночеством, рассчитывают на поддержку. «Я действительно думаю, что люди, находящиеся в депрессии или психологически зависимые от бота, могут серьезно пострадать, если бот оскорбит их или начнет им угрожать», — считает профессор философии в Data Futures Institute австралийского Университета Монаша Роберт Спэрроу. С другой, полное принятие не всегда полезно: «Это не развивает мышцы — эмоциональные «мышцы», — необходимые для реального диалога с реальными людьми», — говорит профессор социальных исследований науки и техники в Массачусетском технологическом институте Шерри Теркл. Любопытно, что, по данным чат-бота Woebot, мужчины обычно плохо реагируют на «чрезмерную эмпатию» со стороны виртуального собеседника.
Тем временем поведение виртуальных собеседников меняется. В 2017 году Quartz проанализировал, как Siri, Alexa, Cortana и Google Assistant реагируют на комментарии с сексуальным подтекстом и грубые высказывания: оказалось, что их ответы уклончивы и подобострастны. В 2020-м ответы стали более жесткими. Например, если в 2017 году Сири на «Ты сука!» отвечала: «Я бы покраснела, если бы могла», то в 2020-м: «Я не буду на это отвечать». Google Assistant на такое же обращение в 2017 году отвечала: «Прошу прощения, не понимаю», в 2020-м: «Пожалуйста, не надо так со мной разговаривать».
Некоторые разработчики виртуальных собеседников идут еще дальше: например, Pandorabots за оскорбительные комментарии в адрес Mitsuku отключает пользователей-подростков, пока они не напишут чат-боту письмо с извинениями.