Видеотека
RUS  ENG    ЖУРНАЛЫ   ПЕРСОНАЛИИ   ОРГАНИЗАЦИИ   КОНФЕРЕНЦИИ   СЕМИНАРЫ   ВИДЕОТЕКА   ПАКЕТ AMSBIB  
Видеотека
Архив
Популярное видео

Поиск
RSS
Новые поступления






Научная сессия МИАН, посвященная подведению итогов 2025 года
18 ноября 2025 г. 16:55–17:10, г. Москва, МИАН, ауд. 104 + online
 


Физические подходы в машинном обучении

С. В. Козырев, И. А. Лопатин, А. Н. Печень
Дополнительные материалы:
Adobe PDF 567.6 Kb

С. В. Козырев, И. А. Лопатин, А. Н. Печень
Фотогалерея



Аннотация: Приведено [2] объяснение гроккинга (отложенного обобщения) для перепараметризованных моделей теории обучения как проявление второго закона термодинамики, объяснены свойства гроккинга как модели статистической физики (размер времени задержки при переходе к обобщению и зависимость этого времени от размера обучающей выборки). Также гроккинг с точки зрения физики упоминался в [3].
В [1], [3] введена модель хищник‒жертва ‒ метод теории обучения с двумя взаимодействующими агентами.
В [4] метод хищник-жертва применен к задачам гроккинга, достигнуто ускорение перехода к обобщению в сто раз для модельных примеров. Рассмотрены различные примеры гроккинга, исследованы его характеристики.

Дополнительные материалы: Kozyrev_talk.pdf (567.6 Kb)

Список литературы
  1. S. V. Kozyrev, I. A. Lopatin, A. N. Pechen, “Control of Overfitting with Physics”, Entropy, 26 (2024), 1090, arXiv: 2412.10716  mathnet  crossref
  2. S. V. Kozyrev, How to explain grokking, arXiv: 2412.18624
  3. S. V. Kozyrev, I. A. Lopatin, A. N. Pechen, “Generalization in learning: Eyring formula and predator-prey model”, Lobachevskii Journal of Mathematics, 46:6 (2025), 2591–2600  mathnet  crossref
  4. I. A. Lopatin, S. V. Kozyrev, A. N. Pechen, Predator–Prey Model: Driven Hunt for Accelerated Grokking, arXiv: 2509.10562
  5. S. V. Kozyrev, “Action in Physics, Biology and AI”, p-Adic Numbers, Ultrametric Analysis and Applications, 17:4 (2025), 379–384 (в печати)


Статьи по теме:
 
  Обратная связь:
 Пользовательское соглашение  Регистрация посетителей портала  Логотипы © Математический институт им. В. А. Стеклова РАН, 2025