Банк заданий: как собрать и проверить
Банк заданий нужен не только для экзамена. Он позволяет собирать варианты под разные цели, проверять, какие темы действительно усвоены, и не сочинять контрольную за ночь.
Главная проблема самодельных банков — задания в них не проверены: неизвестно, насколько они трудны и что именно измеряют.
С чего начать
Начните с перечня результатов обучения и тем. Каждое задание должно быть привязано к одному результату.
Если привязку сделать не удаётся, задание, скорее всего, проверяет что-то другое.
Структура карточки
Минимальный набор полей: текст задания, тип, тема, проверяемый результат, уровень сложности, правильный ответ и критерий.
Дополнительно полезно хранить дату создания, автора и историю использования.
Типы заданий
Тестовые вопросы с выбором ответа удобны для массовой проверки, но проверяют ограниченный набор умений.
Открытые вопросы и задачи дороже в проверке, зато показывают рассуждение. Банк должен включать и те, и другие.
Уровни
Уровень сложности задаётся не длиной текста, а числом шагов и типом операции. Задача, требующая двух преобразований, обычно сложнее, чем длинная формулировка с одним шагом.
Первую оценку сложности лучше считать гипотезой и уточнить по результатам.
Формулировки
Один вопрос — одна мысль. Если в задании два условия, студенты теряют часть.
Избегайте отрицаний в вопросе и вариантов «все вышеперечисленные».
Варианты ответа
Неверные варианты должны быть правдоподобными и отражать типичные ошибки. Вариант «очевидно неверный» не работает.
Все варианты должны быть грамматически согласованы с вопросом, иначе правильный ответ угадывается по форме.
Проверка задания
Перед включением в банк задание стоит дать нескольким коллегам и одному-двум студентам. Они укажут на двусмысленности.
Отдельно проверьте, что правильный ответ действительно правильный: ошибки в ключах встречаются чаще, чем кажется.
Калибровка
После применения задания соберите статистику: долю правильных ответов и распределение по группам. Задание, которое решают все, не различает студентов; задание, которое не решает никто, тоже.
Калибровка требует выборки, поэтому статистика по пяти студентам ничего не значит.
Различение
Хорошее задание отделяет тех, кто освоил материал, от тех, кто нет. Если сильные и слабые отвечают одинаково, задание не работает.
Это не значит, что его нужно удалять: возможно, оно проверяет другую тему.
Угадывание
В вопросах с выбором ответа учитывайте вероятность угадывания. Четыре варианта дают четверть правильных ответов случайно.
Для коротких тестов это не критично, для итоговых — искажает картину.
Хранение
Банк в одном файле быстро устаревает. Используйте таблицу или систему управления тестами с полями и фильтрами.
Обязательно делайте резервные копии: восстановить набор заданий сложнее, чем написать заново.
Версии
Каждое изменение задания создаёт новую версию. Старые результаты нельзя сравнивать с новой версией без оговорки.
Помечайте, какие задания использовались в каких работах.
Обновление
Раз в год просматривайте банк: часть заданий устаревает вместе с материалами курса.
Удаляйте или переписывайте задания, которые перестали различать студентов.
Сколько нужно
Для итоговой работы достаточно двух-трёх заданий на результат, чтобы был выбор вариантов.
Большой банк нужен, если вы проводите много контрольных в разных группах.
Чего избегать
Заданий, которых нет в программе.
Ключей без обоснования.
Копирования заданий из чужих тестов без проверки.
Хранения только в личном файле без резервной копии.
Спецификация теста
Перед сборкой варианта опишите, сколько заданий по каждой теме и уровню должно быть. Без спецификации вариант получается случайным, а темы — неравномерно представленными.
Сборка вариантов
Собирайте варианты из банка по спецификации, а не вручную каждый раз. Это экономит время и обеспечивает сопоставимость сложности между группами.
Анализ результатов
После работы посмотрите не только итоговый балл, но и распределение по заданиям. Одно задание может провалить всю группу, и это сигнал о формулировке, а не о подготовке.
Форматы хранения
Таблица подходит для небольшого банка, специализированная система — для сотен заданий с вариантами. Проверьте, можно ли выгрузить банк в открытый формат, чтобы не потерять его при смене платформы.
Обратная связь по итогам
Разбор работы полезнее самих баллов. Покажите типичные ошибки и объясните, как их избежать. Студенты, которые видят разбор, меньше повторяют те же ошибки.
Задания для практики
Храните отдельно тренировочные задания, которые не используются в оценивании. Иначе студенты находят их в открытых источниках и теряется смысл контроля.
Дефектные задания
Иногда задание оказывается нерешаемым или имеет два верных ответа. Такое задание нужно не удалять сразу, а разобрать: оно показывает границу понимания темы. После исправления отметьте версию и не сравнивайте результаты со старыми.
Авторские права
Задания, взятые из чужих сборников, нельзя использовать без разрешения. Даже переформулировка не всегда снимает вопрос. Проще составлять свои задания по открытым материалам и указывать источники вдохновения.
Чек-лист
- Результаты выписаны.
- Карточки заполнены.
- Типы заданий сбалансированы.
- Формулировки проверены.
- Ключи сверены.
- Статистика собрана.
Частые вопросы
Сколько заданий в банке?
Столько, сколько нужно для вариантов и повторных попыток.
Можно ли использовать чужие задания?
Только с разрешения и после проверки.
Как часто калибровать?
После каждого применения на достаточной выборке.