ROBINS-I: оценка нерандомизированных исследований
В наблюдательных исследованиях участники не распределяются случайно, поэтому сравнивать группы сложнее. ROBINS-I помогает оценить, насколько результат может расходиться с «идеальным» экспериментом.
Ниже — как устроен инструмент.
Идея целевого эксперимента
Оценка строится вокруг гипотетического рандомизированного исследования, которое ответило бы на тот же вопрос. Наблюдательное исследование сравнивают с ним.
Чем больше расхождений, тем выше риск смещения.
Запишите, какое именно вмешательство и какой исход оцениваются, прежде чем заполнять домены.
Проверьте, описано ли, как определялась тяжесть состояния на момент включения.
Проверьте, указано ли, как формировалась группа сравнения.
Домены
ROBINS-I включает семь доменов: смешивание, отбор участников, классификация вмешательств, отклонения от вмешательства, пропущенные данные, измерение исходов и выбор отчётного результата.
Каждый домен оценивается отдельно.
Определите, какие факторы должны были учитываться при анализе, исходя из клинического смысла.
Уточните, учитывались ли сопутствующие заболевания, влияющие на исход.
Уточните, не влияло ли на включение место оказания помощи.
Смешивание
Главный риск наблюдательных исследований — различия групп по факторам, связанным с исходом. Оцените, какие факторы учтены и как.
Проверьте, не остались ли важные факторы вне анализа.
Проверьте, не строилась ли выборка по исходу, что создаёт риск отбора.
Оцените, не могло ли решение о вмешательстве зависеть от прогноза.
Оцените, могли ли исследователи влиять на назначение вмешательства.
Отбор участников
Смотрите, как формировалась выборка и не связано ли включение с вмешательством или исходом. Отбор после начала воздействия повышает риск.
Уточните, когда набирались участники.
Уточните, как измерялось воздействие и можно ли было ошибиться в классификации.
Проверьте, одинаково ли собирались данные о воздействии в группах.
Проверьте, как учитывалось время до начала воздействия.
Классификация вмешательств
Оцените, определялось ли вмешательство по данным, известным до исхода. Ретроспективная классификация по результату создаёт риск.
Проверьте источники данных о воздействии.
Посмотрите, были ли участники, сменившие группу, и как это учитывалось.
Уточните, как поступали с участниками, у которых воздействие началось позже.
Отметьте, описаны ли причины выбывания участников.
Отклонения и пропуски
Отклонения от назначенного вмешательства в наблюдательных исследованиях встречаются часто. Учитывайте, как они анализировались.
Отдельно оцените пропущенные данные.
Проверьте, не пропущены ли данные по участникам с неблагоприятным исходом.
Оцените, не исключались ли участники после начала наблюдения по причинам, связанным с исходом.
Уровни риска
ROBINS-I использует четыре уровня: низкий, умеренный, серьёзный и критический риск. Уровни не совпадают по смыслу с RoB 2.
Итог определяется по худшему домену.
Оцените, измерялся ли исход одинаково в обеих группах.
Проверьте, достаточно ли период наблюдения для изучаемого эффекта.
Записывайте уровень по каждому домену отдельно, чтобы итог был воспроизводим.
Как оформлять
Сведите оценки по доменам в таблицу и добавьте обоснования. Укажите, для какого эффекта проводилась оценка.
Используйте единый шаблон для всех исследований.
Сравните заявленные исходы с протоколом или регистрацией.
Уточните, измерялся ли исход по единому протоколу.
Согласование
Два оценщика работают независимо, затем обсуждают расхождения. Спорные случаи разбирает третий участник.
Фиксируйте процесс разрешения разногласий.
Отметьте, если анализ не учитывает время до события, хотя оно важно.
Посмотрите, есть ли расхождения между числом участников в таблицах и тексте.
Если оценщики расходятся систематически, пересмотрите критерии и проведите короткое обучение.
Когда инструмент не подходит
Для диагностических точности и прогностических моделей есть отдельные инструменты. ROBINS-I предназначен для оценки эффекта вмешательства.
Не применяйте его к любым наблюдательным дизайнам автоматически.
Проверьте, есть ли анализ чувствительности для ключевых факторов.
Оцените, не выбирались ли результаты для публикации из множества проанализированных.
Отличия от оценки рандомизированных испытаний описаны в статье «RoB 2: оценка риска смещения в РКИ».
Ошибки
Оценка «по статье» без привязки к эффекту, игнорирование смешивания, смешение уровней с RoB 2, отсутствие обоснований.
Проверьте таблицу перед публикацией.
Записывайте цитаты, на которые опирается суждение по домену.
Проверьте, указано ли, кто финансировал исследование и связано ли это с выводами.
Пример
Когортное исследование показало выраженный эффект, но группы различались по тяжести состояния, и этот фактор не учитывался. По домену смешивания оценка стала серьёзной, что отразилось в выводах обзора.
Обсудите спорные домены с соавтором до финальной таблицы.
Отметьте, есть ли независимая проверка данных.
Итог
ROBINS-I сравнивает наблюдательное исследование с целевым экспериментом и даёт структурированную оценку риска. Домены и обоснования делают вывод проверяемым.
Чек-лист
- Целевой эксперимент описан.
- Оцениваемый эффект определён.
- Все семь доменов проверены.
- Факторы смешивания перечислены.
- Обоснования записаны.
- Уровни риска применены корректно.
- Второй оценщик участвовал.
- Таблица сохранена.
Частые вопросы
Чем ROBINS-I отличается от RoB 2?
RoB 2 — для рандомизированных испытаний, ROBINS-I — для нерандомизированных. Различаются домены и уровни риска.
Можно ли оценивать одним инструментом все исследования обзора?
Нет, для разных дизайнов нужны разные инструменты. Укажите, какой применён к каждой работе.
Что делать при критическом риске?
Обсудите, включать ли исследование в синтез. Часто его исключают из основного анализа или рассматривают отдельно.