Интеллектуальные системы.
Теория и приложения

Аннотация

Разработка моделей глубокого обучения для задач классификации представляет особую сложность при работе с большим количеством классов в условиях ограниченных данных и вычислительных ресурсов. Метрическое обучение предлагает перспективный подход к решению этой проблемы, хотя его эффективность часто ограничивается присущими недостатками стандартных функций потерь, таких как контрастивная и триплетная потери, а также неоптимальными стратегиями выбора обучающих примеров. В данной работе представлены решения этих проблем: новый автовероятностный метод майнинга для выбора примеров и улучшенная метрическая функция потерь. Предложенный автовероятностный метод майнинга помогает выбирать наиболее информативные пары примеров для обучения сиамских нейронных сетей. В сочетании с ранее разработанным методом автокластеризации этот метод повышает эффективность обучения, максимизируя полезность данных и минимизируя вычислительные затраты. Помимо этого, вводится новая метрическая функция потерь на основе триплетов, учитывающая специфику кластеров и разработанная для преодоления конкретных недостатков традиционных контрастивной и триплетной функций потерь, тем самым улучшая процесс формирования признаковых эмбеддингов. Эффективность предложенных методов была подтверждена в ходе экспериментов по оптическому распознаванию символов на наборах данных PHD08 (корейский алфавит) и Omniglot. Для полного корейского алфавита в наборе данных PHD08 новая функция потерь со случайным майнингом достигла точности классификации \(82,6\%\), установив новый эталонный показатель. Используя сокращенный алфавит, был установлен базовый уровень в \(88,6\%\) на PHD08. Применение только автовероятностного метода майнинга улучшило точность до \(90,6\%\) (\(+2,0\%\)), а его комбинация с автокластеризацией дополнительно увеличила её до \(92,3\%\) (\(+3,7\%\)). На наборе данных Omniglot предложенный метод майнинга достиг \(92,32\%\), а в сочетании с автокластеризацией этот показатель вырос до \(93,17\%\). Результаты демонстрируют, что предложенные функция потерь и стратегия майнинга представляют собой эффективное решение для задач метрического обучения, особенно в сценариях, характеризующихся большим количеством классов и ограниченными ресурсами.

Ключевые слова: глубокое метрическое обучение, оптическое распознавание символов, сиамские нейронные сети, распознавание паттернов.