RUS  ENG ЖУРНАЛЫ   ПЕРСОНАЛИИ   ОРГАНИЗАЦИИ   КОНФЕРЕНЦИИ   СЕМИНАРЫ   ВИДЕОТЕКА   ПАКЕТ AMSBIB
Ближайшие семинары
Календарь семинаров
Список семинаров
Архив по годам
Регистрация семинара

Поиск
RSS
Ближайшие семинары





Для просмотра файлов Вам могут потребоваться








Стохастический анализ в задачах
8 октября 2016 г. 11:00–15:00, г. Москва, ауд.401 МЦНМО
 


Методы оптимизации для глубинных нейросетей

Д. А. Кропотов

Московский государственный университет имени М. В. Ломоносова, факультет вычислительной математики и кибернетики
Материалы:
Adobe PDF 3.6 Mb

Количество просмотров:
Эта страница:332
Материалы:45
Youtube Video:





Аннотация: Задача оптимизации, возникающая при обучении глубинных нейросетей, является на сегодняшний день одной из наиболее сложных и вместе с тем сверх актуальных задач в области оптимизации для машинного обучения. Несмотря на существенный прогресс методов стохастической оптимизации за последнее время, многие практики по-прежнему отдают предпочтение здесь стохастическому градиентному спуску (SGD). В докладе планируется обсудить некоторые недавние разработки в этой области, которые могут стать альтернативой простому SGD. Среди них такие подходы как метод натурального градиента с кронекеровским приближением матрицы Фишера (K-FAC) и Normalization Propagation.
Литература:
http://arxiv.org/abs/1503.05671
http://arxiv.org/abs/1602.01407
http://arxiv.org/pdf/1603.01431v6.pdf

Материалы: kfac_presentation.pdf (3.6 Mb)

ОТПРАВИТЬ: VKontakte.ru FaceBook Twitter Mail.ru Livejournal Memori.ru
 
Обратная связь:
 Пользовательское соглашение  Регистрация  Логотипы © Математический институт им. В. А. Стеклова РАН, 2020