Flexible deep forest classifier with multi-head attention

В статье предлагается новая модификация глубокого леса, называемая глубоким лесом на основе механизма внимания, для решения задач классификации при ограниченной выборке. Основная идея модификации заключается в использовании механизма внимания для агрегирования предсказаний случайных лесов в виде векторов вероятностей классов на каждом уровне или слое глубокого леса для повышения эффективности классификации все модели. Механизм внимания реализуется путем присвоения веса внимания конкатенированным векторам примеров и векторов вероятностей классов так, что модель внимания имеет обучаемые параметры. Обучаемые параметры определяются путем решения задачи оптимизации, минимизирующей функцию потерь ошибки предсказаний на каждом уровне глубокого леса в процессе обучения глубокого леса на каждом уровне. Чтобы уменьшить количество случайных лесов, в глубокий лес включено так называемое многомерное внимание. Численные эксперименты на реальных данных иллюстрируют предлагаемую модификацию с точки зрения точности классификации и сравнивают ее с оригинальным глубоким лесом.