Методы оценки качества машинного перевода: современное состояние

Представлен обзор современных методов оценки качества машинного перевода (МП). В основе этих методов лежат два подхода — автоматический и экспертный. Автоматическая оценка построена на сопоставлении с референтным (профессиональным/эталонным) переводом (РП). Экспертная (с привлечением человека-эксперта) учитывает в первую очередь функциональность: качество перевода оценивается в прагматико-функциональном аспекте, т. е. принимается во внимание, насколько полученный перевод справляется со своими задачами. В первой части статьи рассматривается ряд метрик, используемых для автоматической оценки МП, отмечаются их недостатки и описываются новые направления в их разработке. Вторая часть статьи сфокусирована на экспертной оценке МП. Здесь приведены несколько основных способов такой оценки: оценивание в соответствии с критериями точности и естественности, ранжирование переводов, прямое оценивание, оценка с учетом коэффициента редактирования перевода человеком, аннотирование перевода с применением типологии ошибок.