Аннотация:
В работе рассматривается общая задача
выпуклой стохастической оптимизации
в пространстве небольшой размерности (например, 100 переменных).
Известно, что для детерминированных задач выпуклой оптимизации
небольших размеров наилучшим образом сходятся методы
типа центров тяжести (например, метод Вайды).
Для задач стохастической оптимизации
вопрос о возможности использования метода Вайды сводится
к вопросу о том, как он накапливает неточность в субградиенте.
Недавний результат авторов об отсутствии накопления неточности
на итерациях метода Вайды позволяет предложить его аналог
для задач стохастической оптимизации. Основным приемом является
замена субградиента в методе Вайды его пробатченным аналогом
(средним арифметическим стохастических субградиентов).
В настоящей работе осуществляется описанный план,
что приводит к эффективному
(в условиях возможности производить вычисления параллельно
при батчинге) методу решения задач
выпуклой стохастической оптимизации
в пространствах небольших размерностей. Производительность алгоритма
проиллюстрирована численным экспериментом.
Библиография: 16 названий.
Ключевые слова:
стохастическая оптимизация, выпуклая оптимизация,
метод секущей плоскости, минибатчинг.
Работа Е. Л. Гладина финансирована
Deutsche Forschungsgemeinschaft (DFG, Немецкий исследовательский фонд) в рамках
программы Excellence Strategy, а также
Берлинским математическим исследовательским центром MATH+
(EXC-2046/1, project ID 390685689).
Работа А. В. Гасникова была выполнена при поддержке
Министерства науки и высшего образования Российской Федерации
(госзадание) № 075-00337-20-03, проект № 0714-2020-0005.
Образец цитирования:
Е. Л. Гладин, А. В. Гасников, Е. С. Ермакова, “Метод Вайды для задач выпуклой стохастической оптимизации
небольшой размерности”, Матем. заметки, 112:2 (2022), 179–187; Math. Notes, 112:2 (2022), 183–190
Alexander Gasnikov, Darina Dvinskikh, Pavel Dvurechensky, Eduard Gorbunov, Aleksandr Beznosikov, Alexander Lobanov, Encyclopedia of Optimization, 2024, 1