Алгоритм машинного обучения для распознавания плодов земляники садовой и классификации их степени зрелости

В статье представлены результаты исследования по разработке алгоритма на основе современной модели сверточной нейронной сети глубокого обучения, который позволил повысить точность распознавания плодов земляники садовой и классификации степени съемной спелости ягод. В исследовании применялся метод трансферного обучения, позволяющий адаптировать используемую модель YOLOv10-M (You Only Look Once version 10 medium), изначально обученную на датасете COCO, для решения задачи классификации степени зрелости ягод земляники. Для создания обучающего набора данных проведена аннотация (разметка) изображений. Использован сервис Supervisely, который позволил с помощью прямоугольных рамок присвоить выделенным областям соответствующие классы. По итогам разметки изображений выделено три класса ягод с учетом их степени зрелости: незрелая ягода (unripe_strawberry), зрелая ягода (ripe_strawberry), несозревшая ягода (half_ripe_strawberry). К классу «несозревшая ягода» отнесены плоды, у которых площадь красного цвета на изображении составляла менее 60%. Аугментация набора данных, включающая такие операции, как обрезка, изменение размера, поворот, вертикальное отражение, размытие, изменение контраста, добавление шума, случайная коррекция цвета и добавление эффектов погодных условий, позволила увеличить объем выборки до 4500 изображений. Проведено обучение модели YOLOv10-М на созданной выборке данных, использовано 500 эпох, размер пакета данных установлен на уровне 8. В качестве алгоритма оптимизации выбран стохастический градиентный спуск (SGD, Stochastic Gradient Descent) с начальной скоростью обучения 0.01. Анализ графиков и метрик бинарной и мультиклассовой классификаций для оценки качества модели позволил определить оптимальные настройки и выбрать порог уверенности (0,7), при котором достигается наилучший баланс между точностью (метрика precision 0,93) и полнотой (метрика recall 0,89). Средняя абсолютная процентная ошибка (MAPE) распознавания изображений тестовой выборки для всех классов составила 3,4%. Наибольшие трудности при распознавании возникли с классом «несозревшая ягода», для которого средняя абсолютная процентная ошибка составила 4,6%.

1. Утков Ю.А., Филиппов Р.А., Хорт Д.О., Кутырёв А.И. Развитие машин для сбора ягод землянки в России // История науки и техники. 2020. № 8. С. 58–76. DOI: 10.25791/intstg.08.2020.1207.

2. Woo S., Uyeh D.D., Kim J., Kim Y., Kang S., Kim K.C., Lee S.Y., Ha Y., Lee W.S. Analyses of Work Efficiency of a Strawberry-Harvesting Robot in an Automated Greenhouse // Agronomy. 2020. N 10. P. 1751. DOI: 10.3390/agronomy10111751.

3. Kurpaska S., Bielecki A., Sobol Z., Bielecka M., Habrat M., Śmigielski P. The Concept of the Constructional Solution of the Working Section of a Robot for Harvesting Strawberries // Sensors. 2021. N 21. P. 3933. DOI: 10.3390/s21113933.

4. Cao L., Chen Y., Jin Q. Lightweight Strawberry Instance Segmentation on Low-Power Devices for Picking Robots // Electronics. 2023. N 12. P. 3145. DOI: 10.3390/electronics12143145.

5. Хорт Д.О., Майстренко Н.А., Терешин А.Н., Вершинин Р.В. Исследование условий съема ягод земляники садовой роботизированными машинами // Сельскохозяйственные машины и технологии. 2020. № 14 (1). С. 27–33. DOI: 10.22314/2073-7599-2020-14-1-27-33.

6. Хорт Д.О., Кутырёв А.И., Смирнов И.Г., Моисеев Г.В., Соловьев В.И. Управление движением сельскохозяйственной автономной роботизированной платформы // Сельскохозяйственные машины и технологии. 2023. № 17 (1). С. 25–34. DOI: 10.22314/2073-7599-2023-17-1-25-34.

7. Xiong Y., Peng C., Grimstad L., From P.J., Isler V. Development and field evaluation of a strawberry harvesting robot with a cable-driven gripper // Computers and electronics in agriculture. 2019. Vol. 157. P. 392–402. DOI: 10.1016/j.compag.2019.01.009.

8. Li Y., Wang W., Guo X., Wang X., Liu Y., Wang D. Recognition and Positioning of Strawberries Based on Improved YOLOv7 and RGB-D Sensing // Agriculture. 2024. N 14. P. 624. DOI: 10.3390/agriculture14040624.

9. Tao Z., Li K., Rao Y., Li W., Zhu J. Strawberry Maturity Recognition Based on Improved YOLOv5 // Agronomy. 2024. N 14. P. 460. DOI: 10.3390/agronomy14030460.

10. Cai C., Tan J., Zhang P., Ye Y., Zhang J. Determining Strawberries’ Varying Maturity Levels by Utilizing Image Segmentation Methods of Improved DeepLabV3+ // Agronomy. 2022. N 12. P. 1875. DOI: 10.3390/agronomy12081875.

11. Guo Z., Hu X., Zhao B., Wang H., Ma X. StrawSnake: A Real-Time Strawberry Instance Segmentation Network Based on the Contour Learning Approach // Electronics. 2024. N 13. P. 3103. DOI: 10.3390/electronics13163103.

12. Zhang Y., Zhang L., Yu H., Guo Z., Zhang R., Zhou X. Research on the Strawberry Recognition Algorithm Based on Deep Learning // Applied Sciences. 2023. N 13. P. 11298. DOI: 10.3390/app132011298.

13. Yu Y., Zhang K., Yang L., Zhang D. Fruit detection for strawberry harvesting robot in non-structural environment based on MaskRCNN // Computers and Electronics in Agriculture. 2019. N 163. P. 104846. DOI: 10.1016/j.compag.2019.06.001.

14. Ge Y., Xiong Y., Tenorio G.L. Fruit Localization and Environment Perception for Strawberry Harvesting Robots // IEEE Access. 2019. Vol. 7. P. 147642–147652. DOI: 10.1109/ACCESS.2019.2946369.

15. Wang C., Wang H., Han Q., Zhang Z., Kong D., Zou X. Strawberry Detection and Ripeness Classification Using YOLOv8+ Model and Image Processing Method // Agriculture. 2024. N 14 (5). P. 751. DOI: 10.3390/agriculture14050751.

16. Amraoui K., Ansari M., Lghoul M., Alaoui M., Abanay A., Jabri B., Masmoudi L., Valente de Oliveira J. Embedding a Real-Time Strawberry Detection Model into a Pesticide-Spraying Mobile Robot for Greenhouse Operation // Applied Sciences. 2024. N 14 (16). P. 7195. DOI: 10.3390/app14167195.

17. Terven J., Córdova-Esparza D.-M., RomeroGonzález J.-A. A Comprehensive Review of YOLO Architectures in Computer Vision: From YOLOv1 to YOLOv8 and YOLO-NAS // Machine Learning and Knowledge Extraction. 2023. N 5 (4). P. 1680–1716. DOI: 10.3390/make5040083.

18. Hussain M., Khanam R. In-Depth Review of YOLOv1 to YOLOv10 Variants for Enhanced Photovoltaic Defect Detection // Solar. 2024. N 4. P. 351–386. DOI: 10.3390/solar4030016.

19. Iman M., Arabnia H.R., Rasheed K. A Review of Deep Transfer Learning and Recent Advancements // Technologies. 2023. N 11. P. 40. DOI: 10.3390/technologies11020040.

20. Maxwell A.E., Warner T.A., Guillén L.A. Accuracy Assessment in Convolutional Neural Network-Based Deep Learning Remote Sensing Studies. Part 1: Literature Review // Remote Sensing. 2021. N 13 (13). P. 2450. DOI: 10.3390/rs13132450.