Валидность в качественном анализе: критерии и приёмы
В количественном исследовании о качестве судят по воспроизводимости и точности измерения. В качественном другой предмет: насколько вывод обоснован данными, прозрачен ли путь к нему и можно ли перенести результат на похожий контекст.
Вместо одной «валидности» используют набор критериев. Чаще всего ссылаются на четыре: доверие, переносимость, зависимость и подтверждаемость.
Доверие (credibility)
Критерий отвечает на вопрос: узнают ли участники в описании свой опыт, и подтверждается ли вывод данными.
Приёмы: длительное присутствие в поле, триангуляция, проверка с участниками, обсуждение результатов с коллегами.
Переносимость (transferability)
Речь не о статистической генерализации, а о том, достаточно ли описания контекста, чтобы читатель решил, применим ли вывод в его ситуации.
Для этого нужны детали: кто участвовал, где, при каких условиях, что ограничивает перенос.
Зависимость (dependability)
Критерий о том, насколько последовательно проводилось исследование: менялись ли вопросы гайда, как принимались решения, что происходило при отклонении от плана.
Аудит-след — журнал решений — делает этот путь видимым.
Подтверждаемость (confirmability)
Выводы должны опираться на данные, а не на ожидания исследователя. Приём — рефлексия и проверка интерпретаций вторым человеком.
Полезно явно описывать, какие данные противоречат выводу и почему он всё равно сохраняется.
Триангуляция
Виды триангуляции: по источникам (разные участники), по методам (интервью и наблюдение), по исследователям (независимое кодирование), по теориям.
Триангуляция не гарантирует истинности, но снижает риск, что вывод — артефакт одного метода или одного человека.
Проверка с участниками
Member checking бывает разным: возврат расшифровки, обсуждение выводов, проверка цитат. Каждый вариант даёт разную информацию.
Не превращайте проверку в утверждение выводов участниками: их согласие не является доказательством корректности анализа.
Насыщение и размер выборки
Насыщение обосновывает достаточность выборки. Опишите, когда перестали появляться новые коды.
Если насыщение не достигнуто, скажите об этом прямо: это ограничение, а не провал.
Прозрачность методов
Читатель должен понять: как отбирались участники, как собирались данные, как кодировались, как выбирались темы.
Стандарты отчётности для качественных исследований (например, COREQ и SRQR) дают перечень пунктов. Использование чек-листа не делает работу хорошей, но делает её проверяемой.
Надёжность кодирования
При двойном кодировании подсчитывают согласие и обсуждают расхождения. Числовой коэффициент полезен, но важнее описание процедуры разрешения конфликтов.
Если кодировал один человек, укажите это и объясните, как проверялись интерпретации.
Частые ошибки
- смешение качественных критериев с количественными;
- отсутствие описания контекста;
- утверждение «генерализуемо» без оснований;
- member checking как формальность;
- отсутствие аудит-следа;
- игнорирование противоречащих данных;
- отчёт без процедуры кодирования.
Рефлексивность
Опишите, как ваш опыт и позиция могли повлиять на вопросы, кодирование и выводы. Это не самокритика, а элемент метода.
Рефлексивный журнал помогает заметить, где вы слишком быстро приняли удобную трактовку.
Отрицательные случаи
Активный поиск противоречащих данных укрепляет вывод. Если после поиска случаев не нашлось, скажите, как вы их искали.
Молчаливое игнорирование противоречий — самая частая претензия рецензентов к качественным работам.
Оценка чужой работы
При чтении статьи смотрите, описан ли путь от данных к выводу. Если видны только цитаты и обобщения, вывод проверить нельзя.
Как описать проверку в статье
Достаточно абзаца: кто кодировал, как проверялись интерпретации, какие приёмы применены. Без этого читатель не может оценить надёжность.
Не ограничивайтесь перечислением терминов. Покажите, что именно было сделано и что изменилось после проверки.
Второй исследователь
Если есть возможность, дайте коллеге закодировать два интервью независимо. Обсуждение расхождений часто выявляет слабые определения кодов.
Опишите, как разрешались разногласия: это важнее числового коэффициента согласия.
Стандарт отчётности
Даже если журнал не требует стандарт отчётности, пройдитесь по пунктам: выборка, сбор, кодирование, темы, ограничения.
Пропущенный пункт часто становится вопросом рецензента и задерживает публикацию.
Насыщение и его пределы
Насыщение не означает, что вы узнали всё. Оно означает, что новые данные перестали менять схему кодов.
Для разных вопросов насыщение наступает по-разному: один аспект может насытиться на пяти интервью, другой потребует пятнадцати.
Как отвечать на замечание о «маленькой выборке»
Объясните, что выборка определяется насыщением, а не статистической репрезентативностью, и покажите, когда новые коды перестали появляться.
Признайте ограничение переноса и уточните, на какие контексты вывод не распространяется. Честная рамка снимает большую часть возражений.
Чек-лист
- Описан контекст и выборка.
- Указаны приёмы триангуляции.
- Есть аудит-след решений.
- Противоречащие случаи обсуждены.
- Насыщение обосновано.
- Использован стандарт отчётности.
- Ограничения переноса сформулированы.
Частые вопросы
Можно ли генерализовать качественные результаты?
Статистически — нет. Аналитическое обобщение возможно: вывод о механизме может быть полезен в похожих контекстах.
Обязательна ли триангуляция?
Нет, но её отсутствие стоит объяснить. Чаще достаточно триангуляции по источникам или исследователям.
Что важнее: чек-лист или качество анализа?
Чек-лист помогает не забыть элементы. Он не заменяет содержательной работы с данными.
Как описывать ограничения?
Конкретно: какие данные не собраны, какие группы не представлены, что могло повлиять на ответы.