Exploring the effectiveness of methods for persona extraction

В работе представлен анализ методов извлечения информации о участниках диалога и оценка их производительности на русском языке. Для обучения моделей для данной задачи набор данных Multi-Session Chat был переведен на русский язык с использованием нескольких моделей перевода, что привело к улучшению качества данных. Представлена метрика, основанная на концепции F-меры, для оценки эффективности моделей извлечения. Метрика использует обученный классификатор для определения участника диалога, которому принадлежит персона. Эксперименты проводились на моделях MBart, FRED-T5, Starling-7B, основанной на Mistral, и моделях Encoder2Encoder. Результаты показали, что все модели продемонстрировали недостаточный уровень полноты в задаче извлечения персон. Включение функции NCE Loss улучшило точность модели за счет уменьшения полноты. Кроме того, увеличение размера модели привело к улучшению извлечения персон. Библ. – 31 назв.