|
О решении выпуклых min-min задач с гладкостью и сильной выпуклостью по одной из групп переменных и малой размерностью другой
Е. Л. Гладинab, М. Алкусаba, А. В. Гасниковab a Московский физико-технический институт, Долгопрудный
b Институт проблем передачи информации им. А. А. Харкевича РАН, Москва
Аннотация:
Статья посвящена некоторым подходам к решению выпуклых задач вида min-min с гладкостью и сильной выпуклостью только по одной из двух групп переменных. Показано, что предложенные подходы, основанные на методе Вайды, быстром градиентном методе и ускоренном градиентном методе с редукцией дисперсии, имеют линейную сходимость. Для решения внешней задачи предлагается использовать методы Вайды, для решения внутренней (гладкой и сильно выпуклой) — быстрый градиентный метод. Ввиду важности для приложений в машинном обучении отдельно рассмотрен случай, когда целевая функция является суммой большого числа функций. В этом случае вместо быстрого градиентного метода используется ускоренный градиентный метод с редукцией дисперсии. Приведены результаты численных экспериментов, иллюстрирующие преимущества предложенных процедур для задачи логистической регрессии, в которой есть априорное распределение на одну из двух групп переменных.
Ключевые слова:
выпуклая оптимизация, метод секущей плоскости, метод Вайды, редукция дисперсии, быстрый градиентный метод, логистическая регрессия.
Образец цитирования:
Е. Л. Гладин, М. Алкуса, А. В. Гасников, “О решении выпуклых min-min задач с гладкостью и сильной выпуклостью по одной из групп переменных и малой размерностью другой”, Автомат. и телемех., 2021, № 10, 60–75; Autom. Remote Control, 82:10 (2021), 1679–1691
Образцы ссылок на эту страницу:
https://www.mathnet.ru/rus/at15800 https://www.mathnet.ru/rus/at/y2021/i10/p60
|
Статистика просмотров: |
Страница аннотации: | 146 | PDF полного текста: | 1 | Список литературы: | 32 | Первая страница: | 33 |
|