Информатика и её применения
RUS  ENG    ЖУРНАЛЫ   ПЕРСОНАЛИИ   ОРГАНИЗАЦИИ   КОНФЕРЕНЦИИ   СЕМИНАРЫ   ВИДЕОТЕКА   ПАКЕТ AMSBIB  
Общая информация
Последний выпуск
Архив
Импакт-фактор

Поиск публикаций
Поиск ссылок

RSS
Последний выпуск
Текущие выпуски
Архивные выпуски
Что такое RSS



Информ. и её примен.:
Год:
Том:
Выпуск:
Страница:
Найти






Персональный вход:
Логин:
Пароль:
Запомнить пароль
Войти
Забыли пароль?
Регистрация


Информатика и её применения, 2021, том 15, выпуск 1, страницы 42–49
DOI: https://doi.org/10.14357/19922264210106
(Mi ia710)
 

Вариационная оптимизация модели глубокого обучения с контролем сложности

О. С. Гребеньковаa, О. Ю. Бахтеевab, В. В. Стрижовca

a Московский физико-технический институт
b Компания Антиплагиат
c Вычислительный центр имени А. А. Дородницына Федерального исследовательского центра «Информатика и управление» Российской академии наук
Список литературы:
Аннотация: Исследуется задача построения модели глубокого обучения. Предлагается способ контроля ее сложности. Под сложностью модели понимается минимальная длина описания, минимальный объем информации, который требуется для передачи информации о модели и о выборке. Предлагается метод оптимизации параметров модели, основанный на представлении модели глубокого обучения в виде гиперсети с использованием байесовского подхода. Под гиперсетью понимается модель, которая порождает параметры оптимальной модели. Вводятся вероятностные предположения о распределении параметров модели глубокого обучения. Предлагается алгоритм, максимизирующий нижнюю вариационную оценку байесовской обоснованности модели. Вариационная оценка рассматривается как условная величина, зависящая от требуемой сложности модели. Для анализа качества предлагаемого алгоритма проведены эксперименты на выборке MNIST.
Ключевые слова: вариационная оптимизация модели, гиперсети, глубокое обучение, нейронные сети, байесовский вывод, заданная сложность модели.
Финансовая поддержка Номер гранта
Министерство науки и высшего образования Российской Федерации 13/1251/2018
Российский фонд фундаментальных исследований 19-07-01155
19-07-00875
Настоящая статья содержит результаты проекта «Математические методы интеллектуального анализа больших данных», выполняемого в рамках реализации программы Центра компетенций Национальной технологической инициативы «Центр хранения и анализа больших данных», поддерживаемого Министерством науки и высшего образования Российской Федерации по договору МГУ имени М. В. Ломоносова с Фондом поддержки проектов Национальной технологической инициативы от 11.12.2018 № 13/1251/2018. Работа выполнена при поддержке РФФИ (проекты 19-07-01155 и 19-07-00875).
Поступила в редакцию: 14.08.2020
Тип публикации: Статья
Образец цитирования: О. С. Гребенькова, О. Ю. Бахтеев, В. В. Стрижов, “Вариационная оптимизация модели глубокого обучения с контролем сложности”, Информ. и её примен., 15:1 (2021), 42–49
Цитирование в формате AMSBIB
\RBibitem{GreBakStr21}
\by О.~С.~Гребенькова, О.~Ю.~Бахтеев, В.~В.~Стрижов
\paper Вариационная оптимизация модели глубокого обучения с~контролем сложности
\jour Информ. и её примен.
\yr 2021
\vol 15
\issue 1
\pages 42--49
\mathnet{http://mi.mathnet.ru/ia710}
\crossref{https://doi.org/10.14357/19922264210106}
Образцы ссылок на эту страницу:
  • https://www.mathnet.ru/rus/ia710
  • https://www.mathnet.ru/rus/ia/v15/i1/p42
  • Citing articles in Google Scholar: Russian citations, English citations
    Related articles in Google Scholar: Russian articles, English articles
    Информатика и её применения
    Статистика просмотров:
    Страница аннотации:240
    PDF полного текста:117
    Список литературы:33
     
      Обратная связь:
     Пользовательское соглашение  Регистрация посетителей портала  Логотипы © Математический институт им. В. А. Стеклова РАН, 2024