Задания с развёрнутым ответом: ключи и шкалы

Задание с развёрнутым ответом проверяет то, что не проверить выбором варианта: ход рассуждения, структуру, обоснование. Платой за это становится сложная проверка.

Ниже — как подготовить эталон, шкалу и проверяющих, чтобы оценка оставалась устойчивой.

Где уместен развёрнутый ответ

Формат подходит для объяснения, анализа случая, планирования действий и описания процедуры. Везде, где важен ход мысли, а не конечная цифра.

Для проверки изолированных фактов он неэффективен: проверка дороже, а надёжность ниже.

Формат хорошо работает там, где нужно увидеть последовательность действий: разбор случая, планирование обследования, объяснение выбора метода.

Для больших потоков развёрнутые ответы требуют ресурсов на проверку. Если ресурсов нет, лучше сократить число заданий, чем проверять их формально.

Структура задания

Задание содержит ситуацию, вопрос и требования к ответу: объём, обязательные элементы, формат. Чем яснее требования, тем меньше различий в трактовке.

Если ожидается список шагов, скажите об этом прямо. Студент не должен угадывать форму ответа.

Укажите единицы измерения и формат ответа, если они важны. Студент не должен решать, писать ли ему «мм рт. ст.» или «мм».

Проверьте задание на лишние подсказки: перечисление всех возможных шагов в условии иногда превращает задачу в выбор из списка.

Эталон ответа

Эталон — не образец для копирования, а перечень элементов, которые должны присутствовать. Он задаёт границы засчитываемого содержания.

Полезно указать, какие элементы обязательны, а какие дают дополнительные баллы.

Эталон пишут до экзамена, а не по первым работам. Иначе он незаметно подстраивается под то, как ответила сильная группа.

Каждый элемент эталона формулируют отдельно, чтобы проверяющий мог засчитать его независимо от остальных.

Шкала оценивания

Шкала связывает число выполненных элементов с баллом. Простая модель: обязательный элемент — один балл, второстепенный — половина.

Шкала должна быть короткой. Если для подсчёта нужен калькулятор и таблица, проверяющие начнут ошибаться.

Проверьте шкалу на крайних случаях: пустой ответ, ответ с одной ошибкой, ответ с лишним элементом. Если правила не покрывают эти случаи, проверяющие будут решать по-разному.

Выбор между двумя форматами удобно разбирать по критериям, как в сравнении корпоративных ноутбуков.

Проверка на однозначность

До экзамена дайте задание двум коллегам и попросите ответить. Если их ответы расходятся по составу элементов, формулировка требует правки.

Отдельно проверьте, не допускает ли задание верного ответа, не предусмотренного эталоном.

Полезно попросить коллегу ответить письменно, не показывая эталон. Затем сравните его ответ с перечнем элементов: так видны пропущенные, но верные варианты.

Обучение проверяющих

Проверяющие разбирают несколько ответов вместе и сравнивают баллы. Расхождения обсуждают по эталону, а не по общему впечатлению.

Калибровка занимает час-два, но заметно снижает разброс оценок.

Калибровку проводят на 5–8 работах, охватывающих разные уровни. После обсуждения проверяющие оценивают ещё одну работу самостоятельно и сверяют результат.

Анонимность

По возможности ответы проверяют без имени студента. Это снижает влияние предыдущих успехов и личного знакомства.

Если анонимность невозможна, хотя бы разделите проверку между разными людьми.

Двойная проверка

Часть работ проверяют двое независимо. Расхождение выше допустимого разбирает третья сторона.

Двойную проверку достаточно применять к выборке или к пограничным работам.

Если расхождение встречается часто, причина обычно в эталоне, а не в людях. В этом случае стоит пересмотреть формулировки элементов, а не усиливать контроль.

Время и нагрузка

Развёрнутые ответы проверяются медленнее. Заложите время на проверку и перерывы: усталость сказывается на строгости.

Не поручайте одному человеку проверять сотни работ за один день.

Проверку лучше планировать блоками по 40–50 работ с перерывами. Строгость оценки заметно меняется к концу длинной смены.

Обратная связь

Комментарий к работе указывает, какие элементы отсутствовали и что добавить. Он должен опираться на эталон.

Такой отзыв полезнее итогового балла и снижает число неформальных вопросов.

Комментарий пишут по элементам эталона: что было, чего не хватило, что можно улучшить. Размышления о способностях студента в комментарий не входят.

Хранение и апелляции

Работы, эталон и шкалу хранят вместе. При апелляции видно, по какому правилу выставлен балл.

Если эталон менялся, сохраняют версию, действовавшую на момент проверки.

Храните работы в том виде, в котором их проверяли, включая пометки проверяющего. Переписывание задним числом разрушает доказательную базу.

Типичные ошибки

Эталон, написанный после проверки первых работ. Второе — шкала, где за красивое оформление дают больше, чем за содержание.

Третье — проверка одним человеком без калибровки и без выборочного контроля.

Чек-лист

Формат соответствует проверяемой цели.
Требования к ответу описаны явно.
Эталон содержит обязательные и дополнительные элементы.
Шкала проста и однозначна.
Задание проверено на двух независимых ответах.
Проверяющие прошли калибровку.
Часть работ проверена повторно.
Эталон и шкала сохранены для апелляций.

Частые вопросы

Сколько элементов должно быть в эталоне?

Обычно от трёх до семи. Большее число усложняет подсчёт и повышает расхождения между проверяющими.

Можно ли проверять по образцовому ответу?

Только как дополнение к перечню элементов. Дословное сравнение с образцом наказывает за иную, но верную формулировку.

Что делать с ответом, который лучше эталона?

Если ответ содержит верные элементы, не предусмотренные эталоном, решение принимает старший проверяющий. Такие случаи стоит учитывать при следующей редакции эталона.

Нужно ли ограничивать объём?

Да, если формат не проверяет умение быть кратким. Ограничение снижает нагрузку на проверяющих и уравнивает условия.