Особенности применения машинного обучения в задаче оценки сложности текста (для русского и английского языков)

Оценка сложности текста традиционно рассматривается как вопрос классификации текста и может применяться в широком круге задач обработки естественного языка; в качестве классов, как правило, выступают уровни академического образования и CEFR. Использование методов машинного обучения и моделей на основе нейронных сетей позволяет эффективно анализировать большие объемы данных и учитывать различные группы признаков текста, давая, в свою очередь, возможность применения модели к текстам различных тематик, стилей и жанров. В работе представлен аналитический обзор подходов к оценке сложности текста, ключевых особенностей построения моделей для русских и английских текстов в зависимости от языковых различий, выбора алгоритмов и отбора признаков текста, а также показаны результаты проведенных авторами работы экспериментов по оценке сложности текста классическими методами машинного обучения на специфичном наборе количественных признаков.