Когда журналисты Bloomberg попросили инструмент Stable Diffusion, который работает на базе ИИ, нарисовать представителей некоторых профессий, он выдал изображения с явными гендерными и расовыми стереотипами. Например, высокооплачиваемые рабочие места он изобразил людьми со светлой кожей, низкооплачиваемые — с темной, кассиров и социальных работников — женщинами, а инженеров и политиков — исключительно мужчинами. Результаты анализа более 5 000 таких изображений приводит Bloomberg.
Представитель стартапа StabilityAI, который разработал Stable Diffusion, рассказал изданию, что модель ИИ имеет предвзятость, находящуюся в наборах данных, на которых она обучается. В этом и заключается основная проблема предвзятости таких инструментов. Модели ИИ выполняют задачи на основе закономерностей, полученных из данных, а ошибки в наборах данных приводят к построению ошибочной модели.
После внедрения ИИ в сферу найма в ней растет количество зарегистрированных случаев предвзятости, пишет Мартина Бретоус, редактор блога «Дальше в ИИ» HubSpot. Она приводит еще несколько примеров:
В феврале 2023 года Дерек Мобли из США подал иск к компании-разработчику системного программного обеспечения, предлагающей решения для управления персоналом и финансов Ask Workday. Дерек, 40-летний темнокожий мужчина с диагностированной депрессией, заявил, что их инструмент на базе ИИ дискриминирует чернокожих кандидатов и кандидатов с проблемами со здоровьем. С 2018 года он подал заявки примерно на 100 должностей, и каждый раз ему отказывали, несмотря на то, что он соответствовал требованиям.
В 2017 году Amazon отказалась от собственного инструмента HR на базе ИИ, поскольку он считал кандидатов-женщин неподходящими для работы в отрасли, где доминируют мужчины.
Все эти инциденты указывают на одну и ту же проблему: когда инструмент ИИ обучается на существующих данных, где присутствуют культурные, расовые и гендерные различия, он будет отражать именно те предубеждения, которые компании пытаются устранить.
При этом процесс интеграции ИИ в сферу найма уже запущен. В 2022 году ассоциация по управлению персоналом SHRM провела опрос представителей 1 688 американских компаний, в ходе которого выяснилось, что 79% из них уже используют автоматизацию и/или искуственный интеллект для подбора и найма сотрудников.
Редактор блога «Дальше в ИИ» Мартина Бретоус советует компаниям следить за результатами инструментов на базе ИИ в HR и обязательно предупреждать соискателей об их использовании. По ее мнению, скоро бизнесу будет недостаточно оправдания: «Это сделали не мы, это сделал ИИ»