TRIPOD для прогностических моделей
Прогностическая модель предсказывает событие: риск, вероятность, время до исхода. TRIPOD описывает, как рассказать о такой модели, чтобы читатель понял, для кого она создана, на каких данных проверена и где её нельзя применять.
Ниже — структура отчёта и пункты, которые чаще всего пропускают.
Когда применяется
Стандарт нужен, если вы построили модель прогноза, шкалу риска или калькулятор и хотите опубликовать её. Он касается и разработки модели, и её проверки на новых данных.
Если работа описывает вмешательство или наблюдение без модели, смотрите на CONSORT или STROBE.
Тип исследования
Укажите, что именно сделано: модель разработана, проверена на внешних данных или обновлена. Смешивать эти задачи в одном тексте можно, но читатель должен видеть границы.
Отдельно скажите, использовали ли уже существующую модель как основу.
Популяция и данные
Опишите, откуда взяты данные, за какой период и по каким критериям отбирали участников. Для моделей на основе реестров укажите полноту данных.
Прогноз, построенный на узкой выборке, не переносится автоматически на другую популяцию.
Исход
Что именно предсказывает модель, за какой срок и как определён исход. Размытое «ухудшение состояния» без критерия делает модель непроверяемой.
Если исход редкий, сообщите число событий: оно ограничивает сложность модели.
Предикторы
Перечислите переменные, доступные в момент прогноза. Укажите, как обрабатывали пропуски и категории.
Не включайте признаки, которые появляются позже момента, когда модель применяется: это классическая ошибка, завышающая качество.
Объясните, чем определялось число наблюдений и событий. Для моделей действует правило: чем больше предикторов, тем больше нужно событий.
Если данных мало, ограничьте число переменных и скажите об этом.
Модель
Опишите метод, способ отбора переменных и итоговое уравнение или правило. Читатель должен суметь воспроизвести расчёт.
Для шкал приведите таблицу баллов и соответствие суммам.
Проверка
Разделяйте внутреннюю проверку и внешнюю. Укажите, как формировали обучающую и проверочную части, использовали ли перекрёстную проверку.
Если внешней проверки не было, это ограничение, а не деталь.
Различающая способность и калибровка
Первое показывает, насколько модель отделяет событие от его отсутствия, второе — насколько предсказанные вероятности соответствуют реальным частотам. Одно без другого не даёт полной картины.
Приводите метрики с интервалами и указывайте, на какой выборке они получены.
Порог и применение
Если модель предполагает порог для решения, объясните, как он выбран и какие последствия у ошибок в обе стороны. Порог — это решение, а не свойство модели.
Дайте пример расчёта для одного пациента.
Ограничения и этика
Опишите, для каких групп модель не проверена, какие данные могли измениться со временем и какие риски несёт применение без проверки.
Укажите, доступна ли модель и на каких условиях.
Как заполнять чек-лист
Отмечайте пункты по ходу написания. Пункты о проверке и калибровке лучше закрывать с соавтором, который считал метрики.
Пример
Модель показала высокую различающую способность на обучающей выборке, но при внешней проверке вероятности оказались завышены. Авторы добавили раздел о калибровке и убрали рекомендацию применять модель без пересчёта.
Итог
TRIPOD требует ясности: для кого модель, на каких данных построена, как проверена и где границы применения. Хорошая модель без описания проверки читателю бесполезна.
Как описать работу с пропусками
Пропуски в предикторах — обычное дело. Укажите, сколько их было, как заполняли и проверяли ли, что способ заполнения не искажает прогноз. Простое исключение строк меняет выборку и может сделать модель смещённой.
Если использовали множественное заполнение, опишите число наборов и способ объединения результатов. Читателю нужно понимать, воспроизводим ли расчёт.
Как представить модель читателю
Формула без примера редко помогает. Добавьте один расчёт от начала до конца: значения предикторов, вклад каждого, итоговая вероятность. Так читатель видит, как модель работает на конкретном случае.
Если модель оформлена как шкала баллов, приведите таблицу соответствия суммы и риска. Проверьте, что округления не меняют итог.
Как говорить об обновлении модели
Если модель пересчитана на новых данных, опишите, что именно изменилось: набор предикторов, коэффициенты, порог. Сравните качество до и после на одной и той же выборке, чтобы разница была видна.
Не выдавайте обновление за новую модель: читатель должен понимать преемственность.
Чек-лист
- Тип работы указан: разработка, проверка или обновление.
- Популяция и период описаны.
- Исход определён с критерием и сроком.
- Предикторы доступны в момент прогноза.
- Число событий указано.
- Метод и уравнение приведены.
- Внутренняя и внешняя проверка разделены.
- Калибровка описана отдельно.
Частые вопросы
Нужна ли внешняя проверка для публикации?
Не всегда, но без неё выводы ограничены: укажите это прямо и не рекомендуйте широкое применение.
Можно ли публиковать калькулятор?
Да, если описаны условия применения, проверка и ограничения. Укажите, кто отвечает за обновления.
Что делать, если калибровка плохая?
Сообщите об этом и опишите, как модель можно пересчитать. Скрывать калибровку нельзя: она влияет на решения.