|
Эта публикация цитируется в 8 научных статьях (всего в 8 статьях)
Оптимальное управление
Безградиентные методы федеративного обучения с $l_1$ и $l_2$-рандомизацией для задач негладкой выпуклой стохастической оптимизации
Б. А. Альашкарa, А. В. Гасниковabc, Д. М. Двинскихd, А. В. Лобановaef a НИУ МФТИ, 141700 М.о., Долгопрудный, Институтский пер., 9, Россия
b ИППИ РАН, 127051 Москва, Б. Каретный пер., 19, стр. 1, Россия
c КМЦ АГУ, 385000 Республика Адыгея, Майкоп, ул. Первомайская, 208, Россия
d НИУ ВШЭ, 109028 Москва, Покровский б-р, 11, Россия
e ИСП РАН, 109004 Москва, ул. А. Солженицына, 25, Россия
f МАИ (НИУ), 125993 Москва, Волоколамское шоссе, 4, Россия
Аннотация:
В статье исследуются негладкие задачи выпуклой стохастической оптимизации. С помощью техники сглаживания, базирующейся на замене значения функции в рассматриваемой точке усредненным значением функции по шару (в $l_1$-норме или $l_2$-норме) малого радиуса с центром в этой точке, исходная задача сводится к гладкой задаче (константа Липшица градиента которой обратно пропорционально радиусу шара). Важным свойством используемого сглаживания является возможность вычислять несмещенную оценку градиента сглаженной функции на основе только реализаций исходной функции. Полученную гладкую задачу стохастической оптимизации предлагается далее решать в распределенной архитектуре федеративного обучения (задача решается параллельно: узлы делают локальные шаги, например, стохастического градиентного спуска, потом коммуницируют – все со всеми, затем все это повторяется). Цель статьи – построить на базе современных достижений в области безградиентной негладкой оптимизации и в области федеративного обучения безградиентные методы решения задач негладкой стохастической оптимизации в архитектуре федеративного обучения.
Библ. 22. Фиг. 3. Табл. 1.
Ключевые слова:
безградиентные методы, методы с неточным оракулом, федеративное обучение.
Поступила в редакцию: 18.11.2022 Исправленный вариант: 20.05.2023 Принята в печать: 29.05.2023
Образец цитирования:
Б. А. Альашкар, А. В. Гасников, Д. М. Двинских, А. В. Лобанов, “Безградиентные методы федеративного обучения с $l_1$ и $l_2$-рандомизацией для задач негладкой выпуклой стохастической оптимизации”, Ж. вычисл. матем. и матем. физ., 63:9 (2023), 1458–1512; Comput. Math. Math. Phys., 63:9 (2023), 1600–1653
Образцы ссылок на эту страницу:
https://www.mathnet.ru/rus/zvmmf11614 https://www.mathnet.ru/rus/zvmmf/v63/i9/p1458
|
Статистика просмотров: |
Страница аннотации: | 103 |
|