Применение алгоритмов компьютерного зрения и глубокого обучения для инвентаризации деревьев в садах интенсивного типа

Представлен метод мониторинга выпадов (погибшие деревья с признаками усыхания кроны и ствола) в интенсивных садах на основе аэрофотосъемки деревьев с беспилотного летательного аппарата DJI Mavic 3 Multispectral в междурядьях (высота съемки 1,5–2,0 м) и алгоритмов компьютерного зрения и глубокого обучения. Собран оригинальный датасет из 5366 изображений яблоневых садов, размеченный по трем классам: погибшие деревья (класс «Dead»), кандидаты на выпад (класс «Candidate») и молодые посадки (класс «Newly»). Аугментация данных (синтетическая генерация новых изображений на основе существующих) включала моделирование изменений освещенности (±15%), цветового тона (–20° по hue), гауссовского шума (0,5%) и размытия (σ = 0,5 пикселя), что повысило устойчивость модели к работе в условиях садовых насаждений. Проведено сравнение пяти версий архитектуры YOLOv12; оптимальной признана модель YOLOv12l (mAP@50(B) = 0,810; Precision = 0,820; Recall = 0,831), обеспечивающая баланс точности и производительности (9,58 мс/кадр). Разработано специализированное ПО с графическим интерфейсом, реализующее постобработку видеопотока, трекинг (отслеживание) объектов и визуализацию результатов. Использование алгоритма ByteTrack (с компенсацией движения камеры) позволило снизить число переключений ID распознанных классов деревьев до 2,3 на 1000 кадров и повысить точность распознавания до 92,4%, что на 41% превышает результаты распознавания без трекинга. Программа поддерживает настройку зоны анализа кадра в зависимости от параметров сада (ширина междурядий, угол съемки) и совместима с геоинформационными платформами, что позволяет формировать цифровые карты выпадов с привязкой к координатам GNSS-RTK. Практическая значимость полученных результатов заключается в уменьшении трудозатрат на инвентаризацию, повышении точности и скорости мониторинга состояния насаждений.

1. Laužikė K., Uselis N., Kviklys D., Samuolienė G. Orchard Planting Density and Tree Development Stage Affects Physiological Processes of Apple (Malus domestica Borkh.) Tree // Agronomy. 2020. Vol. 10 (12). P. 1912. DOI: 10.3390/agronomy10121912.

2. Starkus A., Morkūnaitė-Haimi Š., Gurskas T., Misiukevičius E., Stanys V., Frercks B. The Biological and Genetic Mechanisms of Fruit Drop in Apple Tree (Malus × domestica Borkh.) // Horticulturae. 2024. Vol. 10 (9). P. 987. DOI: 10.3390/horticulturae10090987.

3. Sekharamantry P.K., Melgani F., Malacarne J., Ricci R., de Almeida Silva R., Marcato Junior J. A Seamless Deep Learning Approach for Apple Detection, Depth Estimation, and Tracking Using YOLO Models Enhanced by Multi-Head Attention Mechanism // Computers. 2024. Vol. 13 (3). P. 83. DOI: 10.3390/computers13030083.

4. Panigrahi S.S., Singh K.D., Balasubramanian P., Wang H., Natarajan M., Ravichandran P. UAV-Based LiDAR and Multispectral Imaging for Estimating Dry Bean Plant Height, Lodging and Seed Yield // Sensors. 2025. Vol. 25 (11). P. 3535. DOI: 10.3390/s25113535.

5. Jemaa H., Bouachir W., Leblon B., LaRocque A., Haddadi A., Bouguila N. UAV-Based Computer Vision System for Orchard Apple Tree Detection and Health Assessment // Remote Sens. 2023. Vol. 15 (14). P. 3558. DOI: 10.3390/rs15143558.

6. Hobart M., Pflanz M., Tsoulias N., Weltzien C., Kopetzky M., Schirrmann M. Fruit Detection and Yield Mass Estimation from a UAV Based RGB Dense Cloud for an Apple Orchard // Drones. 2025. Vol. 9 (1). P. 60. DOI: 10.3390/drones9010060.

7. Yang R., Yuan D., Zhao M., Zhao Z., Zhang L., Fan Y., Liang G., Zhou Y. Camellia oleifera Tree Detection and Counting Based on UAV RGB Image and YOLOv8 // Agriculture. 2024. Vol. 14 (10). P. 1789. DOI: 10.3390/agriculture14101789.

8. Han P., Ma C., Chen J., Chen L., Bu S., Xu S., Zhao Y., Zhang C., Hagino T. Fast Tree Detection and Counting on UAVs for Sequential Aerial Images with Generating Orthophoto Mosaicing // Remote Sens. 2022. Vol. 14. P. 4113. DOI: 10.3390/rs14164113.

9. Kutyrev A., Andriyanov N., Khort D., Smirnov I., Zubina V. Adaptive CNN Ensemble for Apple Detection: Enabling Sustainable Monitoring Orchard // AgriEngineering. 2025. Vol. 7 (11). P. 369. DOI: 10.3390/agriengineering7110369.

10. Ali M.L., Zhang Z. The YOLO Framework: A Comprehensive Review of Evolution, Applications, and Benchmarks in Object Detection // Computers 2024. Vol. 13 (12). P. 336. DOI: 10.3390/computers13120336.

11. Lv M., Xu Y.-X., Miao Y.-H., Su W.-H. A Comprehensive Review of Deep Learning in Computer Vision for Monitoring Apple Tree Growth and Fruit Production // Sensors. 2025. Vol. 25 (8). P. 2433. DOI: 10.3390/s25082433.

12. Yang Z., Khan Z., Shen Y., Liu H. GTDR-YOLOv12: Optimizing YOLO for Efficient and Accurate Weed Detection in Agriculture // Agronomy. 2025. Vol. 15 (8). P. 1824. DOI: 10.3390/agronomy15081824.

13. Ribeiro D., Tavares D., Tiradentes E., Santos F., Rodriguez D. Performance Evaluation of YOLOv11 and YOLOv12 Deep Learning Architectures for Automated Detection and Classification of Immature Macauba (Acrocomia aculeata) Fruits // Agriculture. 2025. Vol. 15 (15). P. 1571. DOI: 10.3390/agriculture15151571.

14. Padilla R., Passos W.L., Dias T.L.B., Netto S.L., da Silva E.A.B. A Comparative Analysis of Object Detection Metrics with a Companion OpenSource Toolkit // Electronics. 2021. Vol. 10 (3). P. 279. DOI: 10.3390/electronics10030279.

15. Хорт Д.О., Кутырев А.И., Смирнов И.Г., Воронков И.В. Разработка системы автоматизированного управления агротехнологиями в садоводстве // Сельскохозяйственные машины и технологии. 2021. Т. 15. № 2. С. 61–68. DOI: 10.22314/2073-7599-2021-15-2-61-68.