|
|
Городской семинар по теории вероятностей и математической статистике
11 октября 2024 г. 18:00–20:00, г. Санкт-Петербург, ПОМИ, ауд. 311 (наб. р. Фонтанки, 27)
|
|
|
|
|
|
Неасимптотический анализ алгоритма стохастического градиентного спуска с модификацией Ричардсона-Ромберга
С. В. Самсонов |
Количество просмотров: |
Эта страница: | 140 |
|
Аннотация:
Мы рассмотрим задачу решения сильно выпуклых и гладких задач минимизации с использованием алгоритма стохастического градиентного спуска (SGD) с постоянным шагом. В предыдущих работах предлагалось комбинировать SGD с процедурой усреднения Поляка-Рупперта и экстраполяцией Ричардсона-Ромберга для снижения асимптотического смещения SGD. В работе проанализирована среднеквадратичная ошибка получаемого алгоритма, а также получены оценки $p$-го момента соответствующей ошибки. Наш анализ основан на изучении свойств итераций стохастического градиентного спуска, рассматриваемых как однородная цепь Маркова.
Доклад основан на совместной работе https://arxiv.org/abs/2410.05106
|
|