Видеотека
RUS  ENG    ЖУРНАЛЫ   ПЕРСОНАЛИИ   ОРГАНИЗАЦИИ   КОНФЕРЕНЦИИ   СЕМИНАРЫ   ВИДЕОТЕКА   ПАКЕТ AMSBIB  
Видеотека
Архив
Популярное видео

Поиск
RSS
Новые поступления






Летняя школа «Современная математика» имени Виталия Арнольда, 2023
26 июля 2023 г. 15:30–16:45, Московская область, г. Дубна, дом отдыха «Ратмино»
 


Управляемые марковские процессы и их приложения

А. В. Гасников
Видеозаписи:
MP4 2,566.1 Mb
MP4 1,383.1 Mb

Количество просмотров:
Эта страница:242
Видеофайлы:175
Youtube:

А. В. Гасников



Аннотация: В мини-курсе сначала речь пойдет о вполне простых вещах, связанных с марковскими процессами. Мы познакомимся с конкретными примерами марковских процессов и эргодической теоремой. Дальше, мы перейдем к управляемым марковским процессам и получим уравнение Вальда-Беллмана, описывающее оптимальную стратегию (выбор управления в зависимости от состояния). С помощью этого уравнения будет решена задача о разборчивой невесте...

На второй лекции мы свяжем уравнение Вальда-Беллмана с задачами Линейного программирования (ЛП). Немного поговорим о задачах ЛП и современных методах их решений. В большинстве реальных приложений нельзя считать, что функции вознаграждений и матрица переходных вероятностей управляемого марковского процесса известны. Возникает потребность численно (численными методами) искать оптимальную стратегию. Планируется познакомиться с некоторыми современными способами поиска оптимальных стратегий, базирующимися на стохастических вариантах метода последовательных итераций ($Q$-обучение) и некоторых аналогах процедур типа стохастических градиентных спусков. Вряд ли удастся реализовать этот план в полном объеме (с доказательствами), однако некоторые впечатления о современном состоянии данной области всё же постараемся оставить.

Литература.
Лекции по случайным процессам под редакцией А. В. Гасникова.
Reinforcement Learning: Theory and Algorithms.

Пререквизиты. Первая лекция рассчитана будет на самую широкую аудиторию, а вот вторая будет доступна только студентам — или очень продвинутым и мотивированным школьникам.

Website: https://mccme.ru/dubna/2023/courses/gasnikov.html
 
  Обратная связь:
 Пользовательское соглашение  Регистрация посетителей портала  Логотипы © Математический институт им. В. А. Стеклова РАН, 2024