Измерить и исправить: что такое психометрика и чем она полезна EdTech-компаниям

Начать учиться сегодня проще, чем когда-либо: потенциальным студентам доступны курсы по любому профилю — от кулинарии до китайского языка. Но не всем удается завершить обучение. Кому-то не хватает времени или не нравится формат занятий, кто-то плохо усваивает материал или теряет мотивацию к учебе. Выявить истинную причину можно с помощью психометрики — научной дисциплины, позволяющей измерять психологические характеристики и способности человека. 

Формирование психометрики

История психометрики началась в конце XIX века, когда британский исследователь, антрополог, психолог и статистик Фрэнсис Гальтон предположил, что интеллект, знания и психологические характеристики человека можно измерять так же, как физические параметры: вес, рост и т. д. Для этого необходимо сравнивать число правильных ответов на определенный набор вопросов, заданных разным людям. Такая методика впоследствии легла в основу современных тестов.

В конце XIX — начале XX века ирландский экономист Фрэнсис Эджуорт стал применять статистические методы для анализа экзаменационных работ студентов. Ученый пришел к выводу, что средний балл обучающегося, рассчитанный на основе выставленных несколькими преподавателями и экспертами оценок, отражает реальный уровень его знаний. Отклонения отдельных оценок от среднего значения можно считать ошибкой измерений.

В начале XX века российский психолог Александр Нечаев начал оценивать, как особенности образовательного процесса влияют на успеваемость учащихся. В частности, он исследовал, какой объем прочитанного материала и домашних заданий, продолжительность уроков и количество решенных задач способствуют лучшему усвоению информации.

К середине XX века психометрика утвердилась как дисциплина об измерениях в психологии и педагогике. Сегодня она играет ключевую роль в образовании, предоставляя авторам и методистам программ инструменты, позволяющие оценивать уровень знаний студентов, динамику их прогресса, качество учебного опыта (совокупность впечатлений и субъективных ощущений от взаимодействия с образовательным продуктом) и т. д. Полученные данные обычно используются для корректировки, персонализации и повышения эффективности учебного процесса.

Психометрика особенно полезна крупным EdTech-компаниям: они располагают большим объемом данных об успеваемости студентов, а значит, могут проводить точный анализ. Однако небольшие образовательные организации и частные преподаватели также могут оценивать знания учащихся с помощью инструментов психометрики. Подобный мониторинг можно организовывать после каждого проверочного задания, учебного модуля или по завершении всего курса.

Два типа метрик

Для анализа успехов учащихся используют два типа метрик: базовые и суперметрики.

Базовые метрики показывают, как ученик справляется с конкретными элементами программы. Количество таких метрик зависит от структуры курса. Например, если она подразумевает только решение задач, метрика может быть одна — решаемость, то есть доля выполненных заданий. Если на курсе дается теория, задания, подсказки, а у студентов при решении задач есть несколько попыток, отдельная метрика понадобится для каждого действия.

Примеры базовых метрик

Квартили попыток. Этот показатель демонстрирует, с какого раза студентам удалось выполнить задание. Например, может оказаться, что 25% учащихся справились с задачей за одну — три попытки, а остальным потребовалось больше. Это означает, что задание достаточно сложное и, возможно, требует доработки, например разделения на две части.

Нагрузка помогающими механиками. Эта метрика отражает частоту использования подсказок. Ее значения варьируются от нуля (подсказка не понадобилась никому) до единицы (понадобилась всем). Если при решении задания все студенты прибегают к подсказке, значит, информацию, которая в ней содержится, стоит перенести в основной раздел курса.

Чем больше базовых метрик, тем сложнее методисту оценивать, что и каким образом необходимо корректировать в контенте. Каждый показатель нужно сравнить с референсным значением, полученные выводы объединить и уже после этого принять решение.

Суперметрики вводятся для удобства подсчетов. Они обобощают данные обо всех действиях, совершенных пользователем, в один показатель — супербалл. Например, учащиеся получают максимальную оценку — 1 балл, если решают задание с первой попытки без подсказок. Этот показатель снижается по мере увеличения числа попыток: 0,8 балла за решение со второй или третьей попытки, 0,6 — с четвертой, пятой или шестой. Использование подсказки уменьшает результат еще на 40%.

Система оценивания может быть настроена по-разному. В одних случаях студент получает высокий балл, даже если использует максимальное число попыток: таким образом поощряется настойчивость. В других — при большом числе попыток баллы не начисляются. Иногда максимальный балл присваивается, только если студент сразу находит верное решение.

На основе супербаллов рассчитываются две ключевые метрики: «посильность» — для оценки доступности контента и «успеваемость» — для оценки прогресса слушателей. Анализ этих метрик помогает не только улучшать курсы, но и предсказывать поведение обучающихся.

Влияние психометрики на бизнес

Активность каждого студента влияет на ключевые продуктовые метрики, определяющие доходность бизнеса в сфере образования. Особенно важен показатель удержания пользователей, который отражает долю тех, кто продолжает взаимодействовать с образовательным продуктом спустя определенное время после регистрации на курсе.

Согласно исследованиям «Яндекс Практикума», почти четверть случаев отказа от учебы связана с академическими результатами студентов. На начальном этапе обучения коэффициент корреляции между успеваемостью и количеством прекративших обучение достигает 0,7. Это означает, что проблемы с усвоением материала сразу после старта курса становятся основной причиной ухода учащихся. В середине программы корреляция стабилизируется на уровне 0,5, а к завершению снижается до 0,05–0,1: на финальных этапах более важную роль играет стремление довести учебу до конца.

Другой важный показатель — успеваемость — позволяет разделить студентов на четыре ключевых сегмента:

• фрустрированные — те, кто в ходе учебы испытывает значительные трудности и быстро уходит;

• субоптимальные — испытывающие определенные, но не существенные трудности;

• оптимальные — наиболее успешные студенты, которые легко справляются с программой;

• скучающие — те, кто теряет интерес к учебе из-за чрезмерной простоты материала.

Студенты из оптимального сегмента в три — пять раз чаще завершают выбранные программы, чем обучающиеся из субоптимального. При этом субоптимальный сегмент обычно в два-три раза многочисленнее оптимального. Это означает, что перевод из субоптимального в оптимальный сегмент — ключевая задача EdTech-компаний.

Фрустрированным слушателям способны помочь курсы-пререквизиты (подготовительные программы, которые необходимо изучить перед освоением основных) или дополнительная поддержка, а скучающим можно предложить более продвинутые программы. Студенты с ухудшающейся успеваемостью, особенно те, кто переходит из оптимального в субоптимальный сегмент, представляют собой большую группу риска по отсеву. Именно они требуют первоочередного внимания и поддержки.

Почему психометрический анализ точнее субъективных оценок студентов

EdTech-компании часто принимают решения, основываясь на отзывах участников образовательных программ. Однако практика показывает, что студенты по-разному оценивают сложность материала и свой прогресс. Например, в ходе одного исследования часть учащихся с низкими показателями успеваемости, которым требовалось пять — семь попыток для решения заданий, сочла курс несложным. А другая часть уже после первой неудачной попытки назвала прохождение курса непосильной задачей. При этом некоторые слушатели, отличавшиеся высокой успеваемостью, жаловались на трудности с прохождением курса. Детальный анализ продемонстрировал, что проблемы были вызваны неудобным графиком: студенты занимались раз в неделю поздно вечером и это негативно сказывалось на восприятии материала.

Субъективные оценки часто не отражают реальной ситуации: слушатели могут игнорировать существующие проблемы или видеть трудности там, где их нет. Психометрический анализ, опирающийся на объективные данные о взаимодействии обучающегося с образовательным контентом, дает гораздо более точную картину и позволяет принимать эффективные бизнес-решения.

Практическое применение психометрики в EdTech

1. Оптимизация контента. Анализ показателя доступности (посильности) материала позволяет повысить вероятность успешного завершения курса. Выявление и улучшение сложных или недостаточно эффективных компонентов образовательной программы способствует увеличению числа студентов, успешно завершивших обучение.

2. Мониторинг успеваемости. Контролируя показатель успеваемости, можно выявлять слушателей, которые по тем или иным причинам могут не завершить курс. Таким студентам необходимо своевременно оказывать поддержку.

3. Персонализация обучения. Разница между посильностью задания для среднего учащегося и супербаллом конкретного человека (метрика «дельта») помогает увидеть проблемы, с которыми сталкивается тот или иной студент, и персонализировать образовательный контент.

4. Прогнозирование бизнес-показателей. Психометрические метрики позволяют с высокой точностью определять будущий уровень удержания студентов и, соответственно, доходы компании.

Образование — это не просто передача знаний, а продуманный процесс, в котором каждый компонент влияет на итоговый результат. Применение психометрики делает обучение прозрачным, контролируемым и высокоэффективным. Для EdTech-бизнеса это означает отказ от интуитивных решений в пользу научно обоснованных.

Внедрение психометрических инструментов позволяет оптимизировать содержание курсов, своевременно выявлять студентов, нуждающихся в поддержке, и улучшать их академические показатели, что напрямую влияет на уровень удержания студентов и доходы компании. В условиях растущей конкуренции на рынке онлайн-образования это становится критически важным фактором успеха.