Семинары
RUS  ENG    ЖУРНАЛЫ   ПЕРСОНАЛИИ   ОРГАНИЗАЦИИ   КОНФЕРЕНЦИИ   СЕМИНАРЫ   ВИДЕОТЕКА   ПАКЕТ AMSBIB  
Календарь
Поиск
Регистрация семинара

RSS
Ближайшие семинары




Городской семинар по теории вероятностей и математической статистике
11 октября 2024 г. 18:00–20:00, г. Санкт-Петербург, ПОМИ, ауд. 311 (наб. р. Фонтанки, 27)
 


Неасимптотический анализ алгоритма стохастического градиентного спуска с модификацией Ричардсона-Ромберга

С. В. Самсонов

Количество просмотров:
Эта страница:140

Аннотация: Мы рассмотрим задачу решения сильно выпуклых и гладких задач минимизации с использованием алгоритма стохастического градиентного спуска (SGD) с постоянным шагом. В предыдущих работах предлагалось комбинировать SGD с процедурой усреднения Поляка-Рупперта и экстраполяцией Ричардсона-Ромберга для снижения асимптотического смещения SGD. В работе проанализирована среднеквадратичная ошибка получаемого алгоритма, а также получены оценки $p$-го момента соответствующей ошибки. Наш анализ основан на изучении свойств итераций стохастического градиентного спуска, рассматриваемых как однородная цепь Маркова.
Доклад основан на совместной работе https://arxiv.org/abs/2410.05106
 
  Обратная связь:
 Пользовательское соглашение  Регистрация посетителей портала  Логотипы © Математический институт им. В. А. Стеклова РАН, 2024