Обучение с подкреплением как универсальный инструмент тонкой настройки: от RLHF до DeepSeek

В последнее время обучение с подкреплением является не только самодостаточным методом поиска стратегии для различных типов марковских процессов, но и служит признанным эффективнм инструментом дообучения больших (базовых) моделей. В докладе мы рассмотрим то, как устроена комбинация обучения с учителем (или самообучения) и адаптации под дополнительный сигнал вознаграждения. Разберем, как этот процесс работает для языковых моделей и для мультимодальных архитектур. Остановимся также на робототехнических приложениях с использованием современных поведенческих моделей.