Психометрика экзамена: надёжность, сложность, анализ
Психометрика отвечает на простой вопрос: можно ли доверять баллам. Если тест короткий и задания случайные, разница в один балл может быть шумом.
Ниже — базовые показатели, которые полезно считать даже на учебном экзамене.
Зачем считать показатели
Показатели помогают отличить плохое задание от слабой подготовки. Без них любая претензия к результатам обсуждается на уровне впечатлений.
Для небольшого экзамена достаточно нескольких коэффициентов и здравого смысла при интерпретации.
Индекс сложности
Доля верных ответов по заданию. Значение около единицы означает, что задание решают почти все, около нуля — почти никто.
Слишком лёгкие задания не различают студентов, слишком трудные — деморализуют и часто содержат ошибку формулировки.
Сложность удобно считать по каждому варианту отдельно. Если в одном варианте много лёгких заданий, средний результат группы зависит от того, какой вариант ей достался.
Значения ниже 0,2 чаще указывают на ошибку формулировки, чем на действительно трудную тему.
Различающая способность
Показатель связи задания с общим результатом. Если сильные студенты отвечают верно не чаще слабых, задание не различает уровень.
Отрицательная связь — тревожный сигнал: вероятна ошибка в ключе или двусмысленность.
Для заданий с развёрнутым ответом связь считают по баллам, а не по принципу верно-неверно. Иначе задания с частичным зачётом выглядят хуже, чем есть.
Надёжность
Надёжность показывает устойчивость результата при повторном измерении. Грубо говоря, как сильно балл зависит от случайности.
Короткие тесты дают низкую надёжность. Это не порок, но интерпретировать разницу в один-два балла как значимую нельзя.
Надёжность зависит и от однородности материала: тест из разнородных тем даёт более низкий показатель, хотя может быть содержательно оправдан.
Число заданий и точность
Точность растёт с числом независимых заданий. Десять вопросов дают грубую оценку, сорок — заметно устойчивее.
Однако добавление однотипных вопросов повышает точность только до определённого предела: дальше растёт утомление.
Время и пропуски
Если студент не дошёл до конца, балл отражает скорость, а не только знания. Проверьте, хватает ли времени большинству.
Пропуски полезно анализировать отдельно: они могут указывать на непонятную инструкцию или технический сбой.
Проверьте распределение времени по заданиям: если последние вопросы пропускают чаще, проблема может быть в темпе, а не в знаниях.
Технические пропуски полезно отличать от содержательных: для этого сохраняют журнал событий на компьютере.
Анализ вариантов
Если вариантов несколько, сравните их средние результаты и сложность. Систематическое различие говорит о неравноценности вариантов.
Небольшие колебания нормальны, но устойчивое преимущество одного варианта требует правки.
Сравнивайте не только средние, но и разброс. Вариант с одинаковыми результатами у сильных и слабых студентов хуже различает уровень, даже если средний балл совпадает.
Сравнение вариантов устроено так же, как сравнение встроенной графики: смотреть нужно на несколько показателей сразу.
Что делать с плохими заданиями
Задание с очень низкой различающей способностью сначала проверяют на ошибку ключа, затем на двусмысленность. Если причина не найдена, его исключают из подсчёта или переписывают.
Решение фиксируют: иначе через год задание вернётся в том же виде.
Решение по заданию фиксируют в журнале банка: причина, дата, кто принял. Через год это избавит от повторного разбора той же проблемы.
Интерпретация для небольших групп
На малых выборках показатели нестабильны. Не делайте выводов по группе из десяти человек: один сильный студент смещает картину.
Используйте показатели как повод посмотреть на задание, а не как окончательный приговор.
Для малых групп полезнее описательная статистика: распределение баллов и число студентов на границе. Коэффициенты здесь скорее ориентир, чем доказательство.
Отчёт по экзамену
Отчёт включает число участников, средний результат, разброс, надёжность и список заданий с проблемными показателями.
Этого достаточно для методической комиссии и для сравнения сессий между собой.
Отчёт должен быть воспроизводимым: укажите, какие задания входили в подсчёт, как считались пропуски и какие версии ключей использовались.
Связь с порогом
Порог и психометрика решают разные задачи. Показатели говорят, насколько точен балл, порог — какой уровень считается достаточным.
Путать их опасно: высокий средний балл не означает, что порог достигнут.
Проверяя порог, полезно смотреть, сколько студентов оказалось в узкой полосе вокруг границы. Большая полоса означает, что решение о сдаче зависит от случайности.
Типичные ошибки
Считать показатели на выборке из пяти человек и делать организационные выводы. Второе — оставлять задания с отрицательной связью, потому что «они важные».
Третье — сравнивать сессии без учёта разного состава и программы.
Чек-лист
- Рассчитана доля верных ответов по заданиям.
- Проверена связь задания с общим баллом.
- Оценена надёжность теста.
- Проанализированы пропуски и время.
- Сравнены варианты между собой.
- Проблемные задания проверены на ключ и формулировку.
- Выводы сделаны с учётом размера группы.
- Отчёт сохранён для следующей сессии.
Частые вопросы
Какой индекс сложности считается нормальным?
Для итогового экзамена обычно подходит диапазон от 0,3 до 0,8. Задания вне диапазона допустимы, если они проверяют важный минимум.
Обязателен ли психометрический анализ?
Для итоговой оценки — желателен. Для короткого текущего теста достаточно просмотра сложности и явных ошибок.
Что значит отрицательная различающая способность?
Сильные студенты отвечают на задание хуже слабых. Чаще всего это ошибка ключа или двусмысленная формулировка.
Можно ли сравнивать результаты разных лет?
Только если программа, состав заданий и порог сопоставимы. Иначе различия объясняются изменениями инструмента.