Москва: проверенные б/у ноутбуки с гарантией и проверкой перед оплатой
+7 906 722-94-45

Главная → Статьи → Удаление дублей в списке литературы

Удаление дублей в списке литературы

Как удалять дубликаты в обзоре: сравнение по DOI, автору и году, инструменты, обработка похожих записей, фиксация чисел и типичные ошибки.

Удаление дублей в списке литературы

После поиска в нескольких базах одна и та же статья встречается несколько раз. Если не убрать дубли, числа в блок-схеме разойдутся, а рецензенты увидят ошибку в подсчётах.

Разберём, как удалять дубли аккуратно.

Почему появляются дубли

Одна статья индексируется в PubMed, Embase и Scopus.

Она может быть выгружена дважды при повторном поиске.

Разные записи одной статьи отличаются написанием авторов и названия.

Порядок работы

Сначала объедините выгрузки, сохранив источник каждой записи.

Затем удалите очевидные дубли.

После этого проверьте оставшиеся вручную.

Сравнение по DOI

DOI — самый надёжный идентификатор.

Если DOI совпадает, это одна и та же публикация.

Если DOI нет, переходите к следующему способу.

Сравнение по метаданным

Сравнивайте автора, год, название и журнал.

Название может отличаться регистром и пунктуацией.

Иногда отличается только номер страницы.

Похожие записи

Одна статья может иметь разные версии: препринт, журнальная публикация, исправление.

Это не всегда дубли: решайте по протоколу.

Если версии различаются, укажите, какую используете.

Инструменты

Zotero и менеджеры ссылок находят дубли по метаданным.

Rayyan и Covidence помогают при скрининге.

Автоматика ошибается: проверяйте спорные случаи.

Фиксация чисел

Запишите, сколько найдено в каждой базе.

Сколько осталось после удаления дублей.

Сколько проверено и исключено.

Эти числа должны совпадать с PRISMA.

Документирование

Опишите метод удаления дублей.

Укажите, использовались ли инструменты и какие.

Сохраните исходные выгрузки.

Ошибки при удалении

Удаление разных статей с похожими названиями.

Сохранение дублей из-за разных написаний.

Отсутствие записи о том, что удалено.

Потеря источника записи.

Что делать с препринтами

Препринт и журнальная версия — разные записи.

Если журнальная версия опубликована, обычно используют её.

Решение фиксируется в методах.

Проверка перед анализом

Перед извлечением данных пройдитесь по списку ещё раз.

Проверьте, нет ли записей без автора или года.

Убедитесь, что все записи относятся к теме.

Ограничения

Полностью автоматическое удаление редко бывает точным.

Ручная проверка занимает время.

Но ошибки в числах стоят дороже.

Частые ошибки

  • удаление только по названию;
  • игнорирование DOI;
  • отсутствие исходных выгрузок;
  • числа не сходятся;
  • смешение версий.

Как оформлять таблицу дедупликации

Колонки: база, число записей, число после дедупликации, комментарий.

Отдельно фиксируйте ручные удаления.

Такая таблица помогает объяснить расхождения с PRISMA.

Версии и исправления

Исправление статьи (erratum) — отдельная запись.

Она не является дублем, но может быть связана с той же работой.

Решение о включении зависит от вопроса: иногда важна именно исправленная версия.

Если дублей слишком много

Проверьте, не выгружены ли базы дважды.

Уточните настройки экспорта.

Иногда причина в том, что в файл попали записи из другого проекта.

Как сохранить прослеживаемость

Не удаляйте исходные файлы выгрузок.

Храните их вместе с проектом.

Это позволяет повторить дедупликацию, если обнаружится ошибка.

Что проверять перед финалом

Соответствие чисел в тексте, таблице и блок-схеме.

Отсутствие записей без идентификаторов.

Отсутствие случайно удалённых уникальных статей.

Как учитывать записи без DOI

Для старых статей DOI может отсутствовать.

Сравнивайте по автору, году, журналу и страницам.

Если совпадает всё, кроме оформления, это вероятный дубль.

Как обрабатывать разные написания

Инициалы, дефисы и диакритика создают различия.

Приводите строки к единому виду перед сравнением.

Проверяйте вручную записи, где совпадает только часть полей.

Как оформлять результат

Укажите число записей до и после.

Опишите, какие инструменты использовались.

Приложите таблицу, если журнал допускает дополнительные материалы.

Что делать при сомнении

Не удаляйте запись, пока не проверите полный текст.

Сомнительные случаи лучше сохранить и отметить.

Ошибка в сторону сохранения дешевле, чем потерянная статья.

Как проверять дедупликацию

Возьмите случайную выборку удалённых записей.

Убедитесь, что каждая действительно повторяла другую.

Проверьте, что ни одна уникальная статья не потерялась.

Как объяснить числа рецензенту

Приведите таблицу по базам.

Укажите, сколько дублей удалено до и после ручной проверки.

Сошлитесь на PRISMA.

Как поступить, если дедупликация неполная

Лучше обнаружить это до анализа.

Повторите проверку и обновите числа.

Исправьте схему и текст одновременно.

Как учитывать разные базы при экспорте

Каждая база выгружается отдельным файлом.

Сохраняйте исходные файлы, даже если объединили записи.

Это позволяет перепроверить дедупликацию.

Как описывать метод в статье

Укажите инструмент и правило сравнения.

Опишите ручную проверку.

Приведите числа по этапам.

Как поступить с записями без метаданных

Если у записи нет автора или года, проверьте её вручную.

Возможно, это тезис или технический отчёт.

Не удаляйте только потому, что поля пустые: возможно, это единственная запись важного отчёта.

Чек-лист

  • Выгрузки сохранены по базам.
  • Дубли найдены по DOI.
  • Спорные случаи проверены вручную.
  • Версии различены.
  • Числа зафиксированы.
  • Метод описан.

Частые вопросы

Можно ли удалять дубли вручную?

Да, если выборка небольшая и метод описан.

Что важнее — DOI или название?

DOI, если он есть.

Нужно ли сохранять удалённые записи?

Да, для проверки и отчёта.