Суррогатное моделирование для вычисления оценок обобщающей способности пороговых решающих правил

Решается задача построения суррогатной модели для быстрого вычисления оценок переобучения семейства пороговых решающих правил. Описан процесс сбора обучающей выборки для модели, которая состоит из пар «объект, ответ», и каждым объектом является семейство пороговых решающих правил, ответом — оценка обобщающей способности семейства. На основе имеющихся исследований оценок обобщающей способности, проведённых в рамках комбинаторной теории переобучения, сформирован перечень признаков, которые описывают объекты выборки. Рассмотрены модели различной структуры, наилучшей по результатам тестирования выбрана модель нейронной сети с точностью $2.8\,\%$. По итогам анализа значимости признаков показано, что при построении оценок переобучения недостаточно учитывать только количество классификаторов и минимальное число ошибок классификаторов, необходимо использовать внутреннюю структуру семейства (расслоение по числу ошибок) и взаимосвязь между классификаторами (связность). Полученную модель можно использовать в задачах отбора признаков при построении деревьев решений, нейронных сетей и в алгоритмах бустинга для контроля переобучения.