Багатоміткова класифікація атрибутів мистецьких об’єктів на основі методів перенесення навчання згорткових нейронних мережах

Abstract

Метою роботи є розроблення та експериментальна оцінка програмного модуля багатоміткової класифікації атрибутів мистецьких об’єктів на основі згорткової нейронної мережі Xception із використанням підходів перенесення навчання. Методами дослідження є аналіз предметної області цифрової культурної спадщини та структури набору даних iMet Collection 2019, методи глибинного навчання і перенесення навчання в згорткових нейронних мережах, аугментація зображень, k-fold крос-валідація, оптимізація порога прийняття рішення за F₂- мірою, а також аналіз помилок класифікації. У роботі спроєктовано конвеєр підготовки даних, навчання та інференсу багатоміткової моделі, реалізовано програмний модуль класифікації на основі попередньо натренованої моделі Xception, проведено дослідження впливу порогів прийняття рішень для багатоміткових прогнозів. На валідаційній вибірці набору iMet Collection 2019 досягнуто значення макро-F₂ = 0,764, проаналізовано розподіл передбачених атрибутів і типові помилки моделі. Результати роботи апробовано на Х Міжнародній студентській конференції «Наука сьогодення: від досліджень до стратегічних рішень» (м. Одеса, 27 лютого 2026 р.) та можуть бути використані для автоматизації цифрової каталогізації й пошуку в інформаційних системах музейних та мистецьких колекцій.

The purpose of the work is to develop and experimentally evaluate a software module for multi-label classification of artistic object attributes using the Xception convolutional neural network with transfer learning. The research methods include analysis of the problem domain of digital cultural heritage and the structure of the iMet Collection 2019 dataset, deep learning and transfer learning methods for convolutional neural networks, image augmentation, kfold cross-validation, decision threshold optimization with respect to the F2-score, as well as error analysis of the classifier. As a result, a full pipeline for data preparation, model training and inference was designed; a multi-label classifier module based on a pre-trained Xception model was implemented; the influence of decision thresholds for multi-label predictions was investigated. A macro F2-score of 0.764 was achieved on the validation subset of iMet Collection 2019, and the distribution of predicted attributes and typical model errors was analysed. The results were approbated at the X International Student Conference «Science of Today: from Research to Strategic Decisions» (Odesa, 27 February 2026) and can be used to support automated digital cataloguing and retrieval in information systems for museum and art collections.