|
|
Интеллектуальные системы. Теория и приложения, 2022, том 26, выпуск 4, страницы 173–196
(Mi ista495)
|
|
|
|
Эта публикация цитируется в 1 научной статье (всего в 1 статье)
Часть 3. Математические модели
Восстановление выпуклых функций класса CPL нейронными сетями над ReLU-базисами
В. Г. Шишляков Московский государственный университет имени М. В. Ломоносова, механико-математический факультет
Аннотация:
В работе рассматривается вопрос о классах функций, получаемых при использовании нейронных сетей над базисами с нелинейностями типа max. Сначала в работе рассматриваются некоторые свойства непрерывных кусочно-линейных функций и порождающих их классов эквивалентности. Затем, на базе этих свойств доказывается теорема о том, что нейронные сети, построенные над базисом, состоящим из всех линейных функций и максимумов от любого числа аргументов в качестве нелинейностей, могут в точности восстанавливать любую выпуклую непрерывную кусочно-линейную функцию.
Затем в работе рассматривается переход к RELU-базису, который является частным случаем базисов с нелинейностями типа max и доказывается теорема, аналогичная теореме, упомянутой выше. Также в работе обсуждается вопрос об оценке количества нейронов и слоев в полученных архитектурах.
Доказательство всех упомянутых теорем конструктивно, то есть в них явно строятся архитектуры нейронных сетей, удовлетворяющих вышеописанным свойствам.
Ключевые слова:
Нейронные сети, архитектура, восстановление функций, выразимость функций, выпуклые функции, кусочно-линейные функции, функция ReLU, функция максимума.
Образец цитирования:
В. Г. Шишляков, “Восстановление выпуклых функций класса CPL нейронными сетями над ReLU-базисами”, Интеллектуальные системы. Теория и приложения, 26:4 (2022), 173–196
Образцы ссылок на эту страницу:
https://www.mathnet.ru/rus/ista495 https://www.mathnet.ru/rus/ista/v26/i4/p173
|
|