Програмний модуль визначення характеристик продуктів з допомогою аналізу зображень

Abstract

Метою роботи є проєктування та реалізація мобільного комплексу для автоматичного визначення калорійності та КБЖВ продуктів за фотографією за допомогою методів глибокого навчання та комп'ютерного зору. Розроблено клієнт-серверну систему, що включає серверну частину (Python/FastAPI, PostgreSQL) та мобільний клієнт (React Native). Для розпізнавання їжі навчено модель EfficientNet-B0 методом Transfer Learning на датасеті Food-101 (101 клас). Створено REST API для JWT-аутентифікації, розпізнавання зображень (із попередньою обробкою засобами OpenCV), пошуку продуктів та ведення щоденника харчування. Реалізовано автоматичний розрахунок денної норми КБЖВ за формулою Маффіна-Джеора на основі антропометричних даних користувача. Серверна частина розгорнута за допомогою Docker. Навчена модель EfficientNet-B0 досягла точності класифікації на тестовій вибірці близько 73% (Top-1) та 92% (Top-5). Мобільний клієнт містить п'ять основних екранів: головний екран із прогресом норми калорій, камеру для сканування їжі, результати розпізнавання з КБЖВ, щоденник харчування та профіль.

The objective of this thesis is the design and implementation of a mobile application for automatic recognition of food caloric content and nutritional values (macros) from photographs using deep learning and computer vision. A client-server architecture was developed comprising a Python/FastAPI backend with PostgreSQL and a mobile client built on React Native. For food recognition, an EfficientNet-B0 model was trained using Transfer Learning on the Food-101 dataset. A REST API was implemented for JWT authentication, image recognition (with OpenCV preprocessing), product search, and nutrition diary management. Automatic calculation of daily nutritional norms using the Mifflin-St Jeor formula based on user anthropometric data is implemented. The backend is containerised using Docker. The trained EfficientNet-B0 model achieved a Top-1 classification accuracy of ~73% and Top-5 accuracy of ~92% on the test set. The mobile app features five main screens: a home screen with daily calorie progress, a camera for food scanning, recognition results, a nutrition diary, and a user profile.