|
Вариационная оптимизация модели глубокого обучения с контролем сложности
О. С. Гребеньковаa, О. Ю. Бахтеевab, В. В. Стрижовca a Московский физико-технический институт
b Компания Антиплагиат
c Вычислительный центр имени А. А. Дородницына Федерального исследовательского центра «Информатика и управление»
Российской академии наук
Аннотация:
Исследуется задача построения модели глубокого обучения. Предлагается способ контроля ее сложности. Под сложностью модели понимается минимальная длина описания, минимальный объем информации, который требуется для передачи информации о модели и о выборке. Предлагается метод оптимизации параметров модели, основанный на представлении модели глубокого обучения в виде гиперсети с использованием байесовского подхода. Под гиперсетью понимается модель, которая порождает параметры оптимальной модели. Вводятся вероятностные предположения о распределении параметров модели глубокого обучения. Предлагается алгоритм, максимизирующий нижнюю вариационную оценку байесовской обоснованности модели. Вариационная оценка рассматривается как условная величина, зависящая от требуемой сложности модели. Для анализа качества предлагаемого алгоритма проведены эксперименты на выборке MNIST.
Ключевые слова:
вариационная оптимизация модели, гиперсети, глубокое обучение, нейронные сети, байесовский вывод, заданная сложность модели.
Поступила в редакцию: 14.08.2020
Образец цитирования:
О. С. Гребенькова, О. Ю. Бахтеев, В. В. Стрижов, “Вариационная оптимизация модели глубокого обучения с контролем сложности”, Информ. и её примен., 15:1 (2021), 42–49
Образцы ссылок на эту страницу:
https://www.mathnet.ru/rus/ia710 https://www.mathnet.ru/rus/ia/v15/i1/p42
|
Статистика просмотров: |
Страница аннотации: | 223 | PDF полного текста: | 106 | Список литературы: | 19 |
|