Интеллектуальные системы.
Теория и приложения

Аннотация

В работе представлен обзор современного состояния исследований, посвященных теоретическим методам оценки сложности моделей машинного обучения и их связи с обобщающей способностью. Методологически работа оформлена как обзор предметной области. Указываются источники библиографического поиска, этапы дедупликации и полуавтоматического сужения корпуса документов, экспертный отбор и состав итогового аналитического набора публикаций. Основной вклад обзора состоит в анализе классических мер сложности из статистической теории обучения и их ограниченности для объяснения поведения современных перепараметризованных глубоких моделей машинного обучения. Показано, что VC-размерность, радемахеровские и PAC-байесовские оценки сохраняют значение как теоретический результат, однако характеризуют мощность класса гипотез в худшем случае и лишь ограниченно учитывают локальные геометрические характеристики решения, траекторию оптимизации и архитектурные особенности. Основное внимание уделено современным направлениям, включающим анализ ландшафта функции потерь, спектральных характеристик гессиана, методов оптимизации и эмпирических законов масштабирования. В результате предложена интерпретация текущего состояния предметной области, согласно которой современная теория сложности должна описывать не только класс моделей, но и эффективную сложность решений, учитывающих как локальные характеристики модели, так и данные, на которых она обучается.

Ключевые слова: теория сложности моделей, обобщающая способность, глубокое обучение, VC-размерность, радемахеровская сложность, ландшафт функции потерь, гессиан, двойной спуск, законы масштабирования.