Раскрытие Гессиана: ключ к плавной сходимости поверхности функции потерь

Поверхность функции потерь в нейронных сетях является критическим аспектом их обучения, и понимание ее свойств важно для улучшения их эффективности. В данной работе исследуется изменение поверхности функции потерь при увеличении размера выборки. Проводится теоретический анализ сходимости поверхности функции потерь в полносвязной нейронной сети, доказывается верхняя оценка на абсолютную разность значений функции ошибки при добавлении одного объекта в выборку. Эмпирический анализ показывает справедливость полученных теоретических результатов на различных наборах данных, демонстрируя сходимость поверхности функции потерь для задачи классификации изображений. Результаты исследования открывают новые свойства локальной геометрии поверхности функции потерь в нейронных сетях и имеют применение в развитии методов определения достаточного размера выборки.