Проходной балл экзамена: методы установления
Проходной балл нельзя выбирать по принципу «чтобы прошла нужная доля». Такой порог зависит от подготовки потока, а не от требований к выпускнику.
Ниже — методы, которые применяют в медицинском и профессиональном образовании, и порядок документирования решения.
Что такое проходной балл
Проходной балл — граница между «достаточно» и «недостаточно». Она задаётся в шкале экзамена и должна быть объяснима через требования к знаниям и навыкам.
Порог — не свойство теста, а суждение о минимально приемлемом уровне. Поэтому его обсуждают и фиксируют отдельно от подсчёта баллов.
Чем порог отличается от нормы
Норма ставит результат студента в сравнение с группой. Порог ставит его в сравнение с требованием. Это разные вопросы, и смешивать их в одном решении нельзя.
Если порог каждый год выставляется по проценту сдавших, он незаметно превращается в норму и теряет связь с программой.
Метод Ангоффа
Группа экспертов проходит задания и оценивает вероятность верного ответа для минимально компетентного студента. Итоговый балл — сумма этих вероятностей.
Метод прозрачен и хорошо обсуждается, но требует, чтобы эксперты понимали, кого именно описывают. Без общего описания уровня оценки расходятся.
Оценки удобно собирать в таблицу по заданиям: строки — вопросы, столбцы — эксперты. Тогда сразу видно, где разброс особенно велик и какое задание вызывает споры.
Если эксперт не знаком с темой задания, его оценку лучше не учитывать: суждение о вероятности верного ответа требует хотя бы общего представления о содержании.
Модифицированный метод
В модифицированном варианте эксперты сначала обсуждают оценки, затем уточняют их ещё на одном раунде. Это снижает разброс и делает решение устойчивее.
Полезно заранее договориться, что понимается под минимально компетентным студентом: какие задачи он решает самостоятельно, а где ещё нужна подсказка.
Метод букмарка
Эксперты проходят тест и отмечают, где, по их мнению, уровень падает ниже приемлемого. Порог вычисляют по отмеченным позициям.
Метод удобен для длинных экзаменов, но чувствителен к тому, насколько эксперты знакомы с содержанием заданий.
Контрастные группы
Сравнивают результаты группы, про которую известно, что она компетентна, и группы, которая заведомо недостаточна. Порог ставят между распределениями.
Метод даёт опору на данные, но требует честно определённых групп. Их подбор легко подогнать под желаемый результат.
Группы формируют по внешнему критерию, известному заранее: результаты предыдущего этапа, заключение руководителей практики, независимая аттестация. Критерий описывают до сбора данных, иначе подбор неизбежно сместится.
Комбинированный подход
Часто используют два метода и сравнивают результаты. Если пороги близки, решение устойчиво. Большое расхождение обсуждают, а не усредняют механически.
Итоговое значение утверждает комиссия, а протокол фиксирует, какие методы применялись и почему выбран вариант.
Расхождение методов полезно обсуждать до утверждения результатов, а не после. Тогда решение опирается на аргументы, а не на желание объяснить уже опубликованные цифры.
Сколько экспертов нужно
Для учебного экзамена обычно достаточно пяти-восьми экспертов, знакомых с программой. Меньше пяти даёт неустойчивые оценки.
Эксперты не должны быть авторами большинства заданий: иначе они оценивают собственные формулировки, а не требуемый уровень.
Учёт трудности заданий
Порог задаётся в баллах, а не в процентах, если экзамен состоит из заданий разной трудности. Процентная граница на таком экзамене меняет смысл от варианта к варианту.
Если используется процент, проверьте, что варианты сопоставимы по сложности. Иначе студент с более лёгким вариантом получает преимущество.
Трудность вариантов удобно сравнивать так же, как экраны в материале IPS или OLED: по нескольким показателям сразу.
Документирование решения
В протоколе указывают: состав экспертов, описание минимально компетентного уровня, метод, исходные оценки и итоговый порог. Это защищает решение при апелляции.
Храните черновики и промежуточные раунды. По ним видно, что обсуждение состоялось, а не было оформлено задним числом.
Пересмотр порога
Порог пересматривают при изменении программы, структуры экзамена или требований к выпускнику. Каждый год менять его только потому, что изменился поток, не стоит.
Стабильность порога важна для сопоставимости выпусков. Если он меняется, это должно быть заметно в отчётности.
Типичные ошибки
Выбирать порог по доле сдавших. Второе — утверждать порог после просмотра результатов конкретного потока.
Третье — считать, что метод сам по себе гарантирует справедливость. Любой метод опирается на суждение, и это суждение нужно описывать.
Чек-лист
- Описан минимально компетентный студент.
- Выбран метод и записано обоснование.
- Эксперты не связаны с большинством заданий.
- Учтена разная трудность вариантов.
- Порог выражен в сопоставимой шкале.
- Решение утверждено комиссией и датировано.
- Протокол включает черновики раундов.
- Пересмотр привязан к изменениям программы.
Частые вопросы
Можно ли поставить порог в процентах?
Можно, если все варианты сопоставимы по трудности и составу. Иначе процент смешивает уровень подготовки с особенностями варианта.
Что делать, если эксперты не договорились?
Обсудите описание минимально компетентного уровня и проведите дополнительный раунд. Если расхождение осталось, зафиксируйте его в протоколе.
Влияет ли порог на апелляции?
Да. Апелляция чаще касается не самого порога, а того, было ли задание в рамках программы. Поэтому карта соответствия важна не меньше протокола.
Нужно ли публиковать порог?
Студентам полезно знать правило заранее, без конкретных заданий. Публикация самого числа до экзамена не обязательна.