Тензорные программы

Тензорные программы (ТП) — это формализм, описывающий вычисления в обучении нейронных сетей. На каждой итерации тензорная программа из вектора генерирует новый вектор с помощью линейного преобразования или покоординатного применения функции активации. С помощью таких итераций можно выразить как прямой, так и обратный проход в обучении, а также любое количество шагов градиентного спуска. Центральным результатом в теории ТП является так называемая «Главная теорема», которая утверждает, что любая скалярная величина, порождённая ТП (например, значение функции потерь или точности), имеет с вероятностью единица детерминированный предел при стремлении ширины нейронной сети (то есть количества скрытых нейронов) к бесконечности. Эта теорема имеет ряд интересных следствий, таких как устойчивость нейронного тангенциального ядра (Neural Tangent Kernel), а также некоторые другие классические результаты о спектрах случайных матриц.