Стохастическая аппроксимация, современный взгляд

В докладе планируется сделать обзор основных результатов по стохастической аппроксимации — теоремах о сходимости процедур типа SGD к нормальному предельному распределению с асимптотически наименьшей корреляционной матрицей. В частности, мы начинем с классических результатов Невельсона-Хасьминского (70-е годы), продолжим результами типа Поляка-Юдицкого-Рупперта (80-е — 90-е годы), в которых устраняется привязка в оптимальных процедурах к специфике оптимизируемой функции. Ну и закончим мы обзором современных результатов (Баха—Мулена, М. Джордана и др.). Доклад в основном будет носить обзорный характер. В самом конце доклада, возможно, немного поговорим про некоторые современные течения, которые вызвали новую волну интереса к этому направлению (клиппированые варианты SGD, седловые постановки задач, SGD с невеклидовой проекцией и т.д.).
Литература https://arxiv.org/pdf/2204.02593.pdf https://proceedings.mlr.press/v178/li22a/li22a.pdf