Оценка качества перевода: шкалы и приёмка
Спор о качестве перевода обычно звучит так: «мне не нравится» против «всё правильно». Чтобы приёмка была не вкусовой, нужны критерии, шкала и правило, кто принимает решение.
Оценочная схема не делает перевод идеальным, но позволяет договориться о том, что считается дефектом, а что — стилистическим пожеланием.
Зачем формализовать оценку
Без критериев заказчик и исполнитель оценивают разное. Первый смотрит на удобство чтения, второй — на соответствие оригиналу.
Формализация снижает число повторных правок и делает спор предметным.
Точность и качество
Точность отвечает на вопрос, передан ли смысл. Качество включает ещё стиль, терминологию, оформление и пригодность для задачи.
Текст может быть точным и непригодным: например, переведённым в неверном регистре.
Типы ошибок
Ошибки делят на смысловые, терминологические, грамматические, стилистические и оформительские. Смысловые почти всегда блокирующие, оформительские — часто нет.
Классификация важнее итоговой суммы баллов: она показывает, что именно исправлять.
Вес ошибки
Каждому типу присваивается вес: критическая, значительная, малая. Вес зависит от назначения текста.
В инструкции по безопасности стилистическая небрежность допустима, а перепутанное число — нет.
Шкала
Простейшая шкала — число дефектов на тысячу слов с порогом приёмки. Более сложные схемы считают взвешенные баллы и переводят их в оценку.
Чем проще шкала, тем легче её применять последовательно.
Кто оценивает
Оценку делает человек, не участвовавший в переводе. Автор перевода может подготовить самооценку, но она не заменяет внешнюю проверку.
Для больших проектов полезно два оценщика: расхождение между ними показывает спорные критерии.
Выборка
Проверять весь текст дорого, поэтому оценивают выборку. Она должна включать начало, середину и конец, а также места с терминами и числами.
Случайная выборка честнее, чем «самые сложные места», выбранные переводчиком.
Критерии приёмки
До начала работы фиксируют: сколько критических ошибок допустимо, какие типы блокируют приёмку, как оформляются замечания.
Без этого приёмка превращается в переговоры после сдачи.
Обратная связь
Замечание должно указывать на место, тип ошибки и ожидаемый вариант. «Так не говорят» без пояснения не помогает.
Полезно различать обязательные правки и предложения.
Спорные случаи
Если оценщик и переводчик не согласны, нужен арбитр или заранее описанное правило. Иначе каждый спор возвращается на каждом проекте.
Спорные случаи стоит записывать: они становятся примерами для будущих критериев.
Оценка не только текста
Качество включает соблюдение сроков, формат файлов, полноту и сопроводительные материалы. Перевод, сданный в неверной кодировке, создаёт работу.
Эти пункты тоже входят в приёмку.
Документирование
Результат оценки оформляется коротко: объём выборки, найденные дефекты, решение. Длинные отчёты никто не читает.
Документ должен позволять восстановить, почему текст принят.
Улучшение процесса
Систематические ошибки указывают на проблему в процессе: отсутствие глоссария, плохой исходный текст, недостаток времени. Их исправляют на уровне процесса, а не отдельными правками.
Повторяющиеся замечания — повод пересмотреть бриф.
Типичные ошибки
Первая — оценивать без критериев. Вторая — смешивать точность и стиль в одном балле. Третья — проверять только начало текста.
Четвёртая — не фиксировать решение, из-за чего спор возвращается.
Пример
Заказчик жалуется на «тяжёлый стиль», переводчик настаивает на точности. Оценка по шкале показывает: смысловых ошибок нет, но двадцать стилистических замечаний.
Решение — не переделывать перевод, а провести стилистическую правку по списку.
Как выбрать объём выборки
Объём зависит от однородности текста. В документации из повторяющихся блоков достаточно небольшой выборки, а в сборнике статей разных авторов нужно смотреть больше.
Практическое правило: увеличивайте выборку, пока новые фрагменты перестают приносить новые типы ошибок. Если очередные десять абзацев не дали ничего нового, вероятно, картина уже ясна.
Работа с замечаниями
Замечания удобно собирать в таблицу: место, тип, описание, предлагаемая правка, статус. Такая таблица заменяет переписку и позволяет видеть прогресс.
Важно, чтобы каждая строка была однозначной. Формулировка «переписать красивее» не подходит: она не даёт исполнителю понять, что именно не так.
Пересмотр критериев
Критерии не высечены в камне. Если на трёх проектах подряд одна и та же категория вызывает споры, её описание стоит уточнить.
Изменения фиксируются с датой, чтобы старые и новые оценки можно было сравнить. Иначе через год никто не поймёт, почему цифры улучшились.
Итог
Оценка качества работает, когда критерии известны заранее, а решение принимает независимый человек. Шкала лишь помогает сделать разговор предметным.
Если спор возвращается снова и снова, проблема не в переводе, а в договорённостях. Их и нужно менять.
Оценка устного перевода
В устном переводе нельзя перечитать фрагмент, поэтому критерии смещаются: важнее полнота и связность, чем дословная точность. Оценщик слушает запись и отмечает пропуски, искажения и сбои темпа.
Письменные шкалы здесь работают плохо: они измеряют то, чего в устной речи не видно. Для устного перевода используют отдельные наборы критериев и тренируют оценщиков на записях.
Что делать после приёмки
После приёмки полезно сохранить выборку и замечания как образец для следующих проектов. Через полгода они объяснят новые требования лучше любого регламента.
Ещё один шаг — обсудить результаты с командой. Разбор двух-трёх типичных ошибок даёт больше, чем общий отчёт с процентами.
Чек-лист
- Критерии зафиксированы до работы.
- Типы и веса ошибок заданы.
- Выборка описана.
- Оценщик независим.
- Замечания конкретны.
- Решение оформлено письменно.
- Системные причины отмечены.
Частые вопросы
Нужна ли шкала для малого проекта?
Достаточно списка блокирующих ошибок.
Кто принимает решение?
Тот, кто указан в договорённостях, а не автор.
Можно ли оценивать автоматически?
Частично: числа и термины, но не смысл.