RoB 2: оценка риска смещения в РКИ
Рандомизация сама по себе не гарантирует надёжного результата. RoB 2 помогает последовательно проверить, где исследование могло сместить оценку эффекта.
Ниже — как устроен инструмент и как его применять.
Что оценивает RoB 2
Инструмент предназначен для рандомизированных испытаний и оценивает риск смещения для конкретного результата, а не для статьи целиком.
Одна и та же работа может иметь низкий риск для одного исхода и высокий для другого.
Запишите, какой именно результат оценивается: общий балл по статье здесь не работает.
Проверьте, указано ли, как формировался список участников и был ли доступ к нему ограничен.
Домены
В RoB 2 пять доменов: процесс рандомизации, отклонения от назначенного вмешательства, пропущенные данные об исходе, измерение исхода и выбор отчётного результата.
Каждый домен оценивается по сигнальным вопросам.
Проверьте, есть ли в приложении описание генерации последовательности и сокрытия распределения.
Уточните, применялись ли меры, чтобы участники не знали о назначении, если это возможно.
Сигнальные вопросы
Вопросы описывают, что могло пойти не так, и требуют ответа «да», «нет» или «нет информации». Ответы определяют суждение по домену.
Отвечайте по тексту статьи и приложениям, а не по ожиданиям.
Уточните, были ли отклонения от протокола и как они учитывались в анализе.
Оцените, отдельно ли описаны отклонения, инициированные исследователями и участниками.
Суждение по домену
Для каждого домена выносится низкий риск, некоторые опасения или высокий риск. Суждение должно опираться на ответы.
Записывайте обоснование. Без него оценку невозможно проверить.
Посмотрите, сколько участников выбыло и связано ли выбывание с изучаемым исходом.
Проверьте, как в анализе учитывались переключения между группами.
Итоговая оценка
Итог определяется по худшему домену: высокий риск хотя бы в одном домене даёт высокий общий риск. Некоторые опасения складываются аналогично.
Не усредняйте домены. Правило «худшего» важнее интуиции.
Проверьте, кто измерял исход и мог ли он знать о назначенном вмешательстве.
Посмотрите, есть ли анализ чувствительности для пропущенных данных.
Пропущенные данные
Оцените, сколько участников вышло из исследования и связано ли выбывание с исходом. Отдельно смотрите, как обрабатывались пропуски.
Не считайте, что большой процент выбывших автоматически означает высокий риск. Смотрите на причины.
Сравните перечень исходов в протоколе с тем, что опубликовано.
Уточните, были ли оценщики исхода независимы от исследовательской группы.
Измерение исхода
Для субъективных исходов важно, знали ли оценщики о вмешательстве. Для объективных — как измерялось и не было ли систематической ошибки.
Учитывайте, кто собирал данные.
Отметьте, использовался ли анализ по назначенному вмешательству или по фактически полученному.
Проверьте, совпадает ли число участников в таблицах и тексте.
Выбор отчётного результата
Сравните протокол и публикацию: все ли заявленные исходы представлены, не появились ли новые. Расхождения — сигнал риска.
Ищите регистрацию и протокол.
Запишите цитаты из статьи, на которых основаны ответы.
Отметьте, указан ли план анализа до сбора данных.
Как оформлять результат
Сведите оценки в таблицу по доменам и по исходам. Добавьте краткое обоснование для каждого суждения.
Используйте шаблон или софт. Проверьте вторым оценщиком.
Если данных нет, отметьте «нет информации», а не делайте предположений.
Проверьте, нет ли расхождений между зарегистрированным протоколом и публикацией.
Как читать такие таблицы в готовом обзоре, разобрано в материале «Как читать систематический обзор».
Согласование оценок
Два оценщика работают независимо, затем обсуждают расхождения. При устойчивом разногласии привлекают третьего.
Фиксируйте, как разрешено разногласие.
Проверьте, не противоречат ли выводы статье и приложению.
Если суждение спорное, опишите альтернативную трактовку в примечании.
Ошибки
Оценка по статье целиком, игнорирование протокола, усреднение доменов, отсутствие обоснований. Каждая ошибка снижает ценность обзора.
Проверьте таблицу перед публикацией.
Сведите оценки по всем исходам в одну таблицу для наглядности.
Используйте единый шаблон оформления для всех исследований обзора.
Отмечайте также, кто именно проводил оценку: у разных специалистов могут различаться критерии.
Пример
Испытание с хорошей рандомизацией имело высокий риск по домену выбора отчётного результата: в протоколе были указаны другие исходы. Итоговая оценка для этого исхода стала высокой, что повлияло на выводы обзора.
Обсудите с соавтором спорные домены до финального суждения.
Сохраните заполненные формы: они понадобятся при обновлении обзора.
Итог
RoB 2 даёт структурированную оценку риска смещения для конкретного исхода. Домены, сигнальные вопросы и правило худшего домена делают суждение проверяемым.
Чек-лист
- Результат оценки определён.
- Протокол и регистрация найдены.
- Все пять доменов оценены.
- Ответы на сигнальные вопросы обоснованы.
- Суждение по домену записано.
- Итоговая оценка соответствует правилу.
- Второй оценщик участвовал.
- Таблица и обоснования сохранены.
Частые вопросы
Можно ли оценивать статью без протокола?
Можно, но домен выбора отчётного результата будет трудно оценить. Отметьте это как неопределённость.
Нужен ли софт?
Нет, достаточно таблицы. Шаблоны помогают не пропустить домены и обоснования.
Оценивается ли риск для каждого исхода?
Да, RoB 2 предполагает оценку по каждому результату отдельно.