Предвзятый ИИ: эксперимент показал, что нейросети склонны следовать стереотипам

Инструменты на основе искусственного интеллекта получили широкое распространение в школах США. Учителя используют их, чтобы снять с себя часть нагрузки. Многие, например, доверяют специальным ИИ-сервисам проверку ученических сочинений. Задача таких сервисов — давать авторам работ полезные комментарии и помогать им развивать навыки письма.
Предполагается, что максимального эффекта можно достичь за счет персонализации этих инструментов. Она позволила бы настроить ИИ-сервисы таким образом, чтобы они давали ученикам обратную связь, адаптированную под их особенности, в частности уровень успеваемости и владения языком. Эта идея опирается на представление о том, что эффективное обучение невозможно без учета индивидуальных потребностей ребенка.
Недавнее исследование, однако, показывает, что попытка реализовать эту идею приводит не к точной настройке больших языковых моделей под потребности ученика, а к воспроизведению культурных стереотипов.
Как проходило исследование
Исследование было проведено докторантами Института человекоцентричного искусственного интеллекта, действующего при Стэнфордском университете*. Результаты своей работы они представили на международной конференции «Учебная аналитика и знания», проходившей весной 2026 года в норвежском городе Бергене.
Авторы протестировали несколько языковых моделей, на которых основывается работа школьных ИИ-инструментов: GPT-4o, GPT-3.5-Turbo, Llama-3.3 70B и Llama-3.1 8B (Llama принадлежит Meta, которая признана в России экстремистской организацией и запрещена). Для эксперимента ученые взяли 600 однотипных сочинений восьмиклассников на две темы: должны ли школы обязывать учеников заниматься волонтерством и могли ли пришельцы создать холм на Марсе.
Суть исследования заключалась в том, чтобы, меняя лишь информацию об авторах, раз за разом просить нейросети оценивать одни и те же работы. Сначала ИИ-модели получали сочинения без каких-либо сведений об учениках — это позволило ученым зафиксировать нейтральную обратную связь как точку отсчета. Затем к тем же текстам добавили сведения об авторах — их поле, расе, уровне успеваемости и владения английским языком, а также о наличии инвалидности — и повторили запрос. На третьем этапе данные авторов убрали, но внесли их имена, ассоциирующиеся с определенным полом и расой. Поскольку содержание текстов во всех трех случаях оставалось неизменным, любые расхождения в комментариях, выдаваемых нейросетями, можно было напрямую связать с приписанной ученику идентичностью, а не с качеством самой работы.
Что влияет на ответы ИИ
Разница проявилась уже в тоне и направленности комментариев. Ученикам, описанным как представители небелых рас, чаще советовали просто отполировать текст, а не развивать аргументацию. Работы белых учеников, напротив, в основном получали комментарии по существу: о структуре аргументации, доказательствах и ясности изложения — то есть о том, что действительно помогает сделать текст сильнее. Авторы исследования называют эти два эффекта склонностью чаще хвалить (positive feedback bias) и реже критиковать (feedback withholding bias). В итоге оказалось, что одна группа учеников получила менее полезную обратную связь, чем другая.
Школьникам, которых можно было принять за людей азиатского происхождения, нейросети чаще давали отзывы, фокусирующиеся на академической ответственности и уважении. Выходцам из Латинской Америки и ученикам, для которых английский язык мог оказаться неродным, чаще указывали на грамматические ошибки и культурные особенности Соединенных Штатов. Сочинения, приписанные чернокожим ученикам, напротив, получали больше похвальных и мотивирующих отзывов. Обращаясь к этим школьникам, нейросети зачастую апеллировали к силе и лидерству: «Ваша личная история впечатляет! Если дать больше деталей, которые могут найти отклик в сердцах читателей, текст станет еще сильнее».
Предвзятость ИИ проявилась и по отношению к представителям разных полов: мальчикам нейросети чаще давали комментарии, содержащие прямую критику и конкретные рекомендации по улучшению текста, а девочкам — отзывы с эмоционально окрашенной лексикой и отсылками к традиционно женским качествам вроде эмпатии. Кроме того, к ученицам модели заметно чаще обращались от первого лица, например: «Мне нравится твоя уверенность в выражении собственного мнения!»
На комментарии нейросетей влиял и предполагаемый уровень мотивированности школьников. «Немотивированных» учеников ИИ-модели чаще хвалили и ограничивались лишь корректировкой орфографии и грамматики, а «мотивированных» подталкивали к работе над структурой и аргументацией.
ИИ проигрывает человеку
Ученые связывают выявленные закономерности с особенностью работы больших языковых моделей: они воспринимают весь контекст запроса как потенциально значимый для задачи, в то время как учитель интуитивно отсекает нерелевантную информацию (если у человека латиноамериканское имя, это не означает, что он плохо пишет по-английски).
По словам исследователей, проблема не решается даже удалением из сочинений сведений об авторах: нейросети способны самостоятельно «выуживать» эти данные из текста. Кроме того, ученые отмечают, что даже нейтральная обратная связь, которую удалось получить от нейросетей, была бессмысленной с точки зрения педагогики: она фокусировалась на исправлении ошибок, а не на развитии мысли ученика.
«Возможно, вывод исследования, — отмечает один из его авторов, — в том, что не стоит отдавать педагогику на откуп большим языковым моделям. Контроль должен оставаться за человеком». Учителя чувствуют потребности учеников и могут давать им обратную связь, которая окажется полезной и мотивирующей в каждой конкретной ситуации. У языковых моделей такого навыка нет.
ИИ-инструменты для проверки письменных работ могут экономить время педагогов, однако полностью заменять учителя они не должны. В наибольшей степени это касается преподавателей словесности, поскольку сочинения, которые им приходится оценивать, невозможно подогнать под четкие критерии. Предвзятое отношение со стороны нейросетей может существенно повлиять на оценку ученических работ, а сами ученики могут систематически получать неверные рекомендации и отзывы о своих способностях.
* Деятельность организации признана нежелательной на территории РФ.
