Оценка качества исследований: CASP и RoB 2

Оценка качества исследований: CASP и RoB 2

Оценка качества отвечает на вопрос: можно ли доверять результатам и насколько. Без неё обзор превращается в пересказ статей без разбора их ограничений.

Разберём инструменты и порядок применения.

Зачем оценивать

Исследования различаются дизайном, проведением и отчётностью.

Оценка помогает понять, какие результаты надёжнее.

Она также нужна для оценки достоверности выводов.

CASP

Чек-листы CASP помогают разобрать статью по вопросам.

Они есть для разных дизайнов: РКИ, когортные, качественные.

Вопросы касаются цели, отбора, вмешательства, анализа и применимости.

RoB 2

RoB 2 оценивает риск смещения в рандомизированных испытаниях.

Домены: процесс рандомизации, отклонения от вмешательства, пропущенные данные, измерение исхода, выбор отчётности.

Для каждого домена ставится оценка: низкий, некоторый или высокий риск.

Выбор инструмента

Для РКИ — RoB 2.

Для нерандомизированных — ROBINS-I.

Для качественных — CASP или другие чек-листы.

Инструмент должен соответствовать дизайну.

Процесс

Сначала прочитайте статью целиком.

Заполните домены по данным статьи.

Отметьте, где информации недостаточно.

Не додумывайте данные.

Согласование

Два оценщика независимо заполняют форму.

Расхождения обсуждаются.

При необходимости привлекается третий.

Отчётность

В статье обзора опишите инструмент и процесс.

Приведите сводку по доменам.

Укажите, как оценка повлияла на анализ.

Связь с GRADE

GRADE оценивает достоверность доказательств по совокупности.

Риск смещения — один из факторов.

Не путайте оценку отдельного исследования с оценкой всего тела доказательств.

Результаты

Оценки можно представить таблицей или графиком.

Для читателя полезно краткое резюме.

Не перегружайте текст деталями по каждому домену.

Ограничения

Инструменты формализуют суждение, но не заменяют его.

Плохая отчётность статьи не всегда означает плохое исследование.

Часть решений остаётся субъективной.

Ошибки

• оценка по аннотации;
• инструмент не по дизайну;
• один оценщик;
• отсутствие объяснения оценок;
• смешение с GRADE.

Как применять CASP на практике

Отвечайте на вопросы по тексту статьи, а не по общим впечатлениям.

Если ответ «неясно», это тоже результат.

Записывайте, каких данных не хватило.

Как оценивать нерандомизированные исследования

Для когортных и исследований «случай-контроль» используют другие инструменты.

Они учитывают отбор, confounding и измерение исхода.

Не применяйте RoB 2 к дизайну, для которого он не предназначен.

Как представлять результаты

Сводная таблица по доменам удобна для читателя.

Можно использовать светофорную схему, если журнал её допускает.

Обязательно поясните, что означает каждая оценка.

Как учитывать оценку в синтезе

Исследования с высоким риском смещения можно исключить из основного анализа.

Или провести анализ чувствительности.

Решение описывают заранее.

Как оценивать обзоры и метаанализы

Для обзоров используют отдельные инструменты, например AMSTAR.

Они проверяют, описан ли поиск, оценивался ли риск смещения, учитывалась ли неоднородность.

Оценка обзора нужна, если вы включаете обзоры в обзор обзоров или используете их как источник.

Как описывать оценки в тексте

Не ограничивайтесь фразой «качество было низким».

Укажите, по каким доменам были проблемы и как это повлияло на анализ.

Читатель должен понять, насколько выводы устойчивы.

Частые спорные ситуации

Отсутствие описания рандомизации не всегда означает высокий риск.

Плохая отчётность затрудняет оценку, но не доказывает ошибку.

Решение фиксируется в комментарии, а не только в ячейке таблицы.

Как обучать оценке

Проведите совместную оценку двух-трёх статей.

Сравните заполненные формы и обсудите расхождения.

Только после этого переходите к самостоятельной работе.

Как учитывать оценку при обсуждении

Отметьте, меняются ли выводы при исключении исследований с высоким риском.

Если да, выводы осторожные.

Если нет, это усиливает уверенность в результате.

Как учитывать конфликт интересов

Проверьте раздел о финансировании и связях авторов.

Это не автоматически снижает качество, но влияет на интерпретацию.

Отметьте это в таблице и обсуждении.

Как оценивать исходы, о которых не сообщили

Отсутствие результата по исходу, заявленному в протоколе, — сигнал избирательной отчётности.

Сравните протокол и публикацию, если протокол доступен.

Отметьте расхождение в домене выборочной отчётности.

Как применять оценку к синтезу

Заранее определите, будете ли исключать исследования с высоким риском.

Опишите анализ чувствительности.

Не меняйте правило после получения результатов.

Как оценивать исследования с малым числом событий

Малые выборки дают широкие интервалы и нестабильные оценки.

Это не обязательно высокий риск смещения, но влияет на точность.

Отметьте это в разделе ограничений.

Как описывать неясные домены

Если данных для оценки нет, ставьте «неясно», а не «низкий риск».

Объясните, чего не хватило.

Это честнее и полезнее для читателя, чем формальная отметка без пояснения.

Как использовать оценки в обсуждении

Свяжите риск смещения с выводами.

Покажите, какие результаты устойчивы, а какие зависят от слабых исследований и требуют осторожной формулировки.

Чек-лист

• Инструмент выбран по дизайну.
• Формы заполнены по тексту.
• Недостаток данных отмечен.
• Оценки согласованы.
• Результаты описаны.
• Связь с анализом указана.

Частые вопросы

Нужно ли оценивать все исследования?

Да, включённые в обзор.

Обязателен ли второй оценщик?

Для систематического обзора — да.

Что делать при недостатке данных?

Отметить как неясный риск, а не как низкий.