Кутырёв Алексей Игоревич, заведующий лабораторией, ведущий научный сотрудник, кандидат технических наук
109428, Москва, 1-й Институтский проезд, 5
Alexey I. Kutyrev, Laboratory Head, Lead Researcher, Candidate of Science in Engineering
5, 1st Institute passage, Moscow, 109428
Филиппов Ростислав Александрович, ведущий научный сотрудник, кандидат сельскохозяйственных наук
Москва
Rostislav A. Filippov, Senior Researcher, Candidate of Science in Agriculture
Moscow
В статье представлены результаты исследования по разработке алгоритма на основе современной модели сверточной нейронной сети глубокого обучения, который позволил повысить точность распознавания плодов земляники садовой и классификации степени съемной спелости ягод. В исследовании применялся метод трансферного обучения, позволяющий адаптировать используемую модель YOLOv10-M (You Only Look Once version 10 medium), изначально обученную на датасете COCO, для решения задачи классификации степени зрелости ягод земляники. Для создания обучающего набора данных проведена аннотация (разметка) изображений. Использован сервис Supervisely, который позволил с помощью прямоугольных рамок присвоить выделенным областям соответствующие классы. По итогам разметки изображений выделено три класса ягод с учетом их степени зрелости: незрелая ягода (unripe_strawberry), зрелая ягода (ripe_strawberry), несозревшая ягода (half_ripe_strawberry). К классу «несозревшая ягода» отнесены плоды, у которых площадь красного цвета на изображении составляла менее 60%. Аугментация набора данных, включающая такие операции, как обрезка, изменение размера, поворот, вертикальное отражение, размытие, изменение контраста, добавление шума, случайная коррекция цвета и добавление эффектов погодных условий, позволила увеличить объем выборки до 4500 изображений. Проведено обучение модели YOLOv10-М на созданной выборке данных, использовано 500 эпох, размер пакета данных установлен на уровне 8. В качестве алгоритма оптимизации выбран стохастический градиентный спуск (SGD, Stochastic Gradient Descent) с начальной скоростью обучения 0.01. Анализ графиков и метрик бинарной и мультиклассовой классификаций для оценки качества модели позволил определить оптимальные настройки и выбрать порог уверенности (0,7), при котором достигается наилучший баланс между точностью (метрика precision 0,93) и полнотой (метрика recall 0,89). Средняя абсолютная процентная ошибка (MAPE) распознавания изображений тестовой выборки для всех классов составила 3,4%. Наибольшие трудности при распознавании возникли с классом «несозревшая ягода», для которого средняя абсолютная процентная ошибка составила 4,6%.
The paper presents the results of research on the development of an algorithm based on a modern deep learning Convolutional Neural Networks model, which improved the accuracy of strawberry fruit recognition and classification of the degree of removable ripeness. The research utilized transfer learning method to adapt the used YOLOv10-M (You Only Look Once version 10 medium) model, originally trained on COCO dataset, to solve the task of strawberry berry ripeness degree classification. Image annotation (markup) was performed to create a training dataset. The Supervisely service was used, which allowed assigning appropriate classes to the selected areas of interest using rectangular frames. As a result of image annotation, 3 classes of garden strawberries of different maturity levels were identified: immature berry (class "unripe_strawberry"), mature berry (class "ripe_strawberry") and unripe berry (class "half_ripe_strawberry"). The unripe berry class included fruits that had less than 60% of the total red area in the image. Augmentation of the dataset, including operations such as cropping, resizing, rotation, vertical reflection, blurring, contrast variation, noise addition, random color correction, and addition of weather effects, increased the sample size to 4500 images. The YOLOv10-M model was trained on the created data sample, 500 epochs were used, the batch size was set to 8 (batch size). Stochastic Gradient Descent (SGD) with an initial learning rate of 0.01 (learning rate) was chosen as the optimization algorithm. Analysis of the graphs and metrics of binary and multiclass classification to evaluate the quality of the model allowed us to determine the optimal settings and to select a confidence threshold (0.7) that achieves the best balance between accuracy (precision metric 0.93) and completeness (recall metric 0.89). The mean absolute percentage error (MAPE) of recognition of the test sample images for all classes was 3.4%. The greatest difficulty in recognition occurred with the unripe berry class, for which the mean absolute percentage error (MAPE) was 4.6%.
The authors declare that there are no conflicts of interest present.