sibvestСибирский вестник сельскохозяйственной наукиSiberian Herald of Agricultural Science0370-87992658-462XSiberian Federal Scientific Centre of Agro-BioTechnologies of the Russian Academy of Sciences10.26898/0370-8799-2021-2-13sibvest-797Research ArticleИЗ ДИССЕРТАЦИОННЫХ РАБОТFROM DISSERTATIONSОценка степени поражения растений болезнями методами компьютерного зренияPlant disease severity estimation by computer vision methodsАлтуховВ. Г.AltukhovV. G.

Младший научный сотрудник, аспирант.

630501, Новосибирская область, р.п. Краснообск; СФНЦА РАН, а/я 463.

Viktor G. Altukhov - Junior Researcher, Postgraduate Student.

PO Box 463, SFSCA RAS, Krasnoobsk, Novosibirsk Region, 630501.

vgaltukhov@gmail.comСибирский федеральный научный центр агробиотехнологий Российской академии наук; Новосибирский государственный технический университетРоссияSiberian Federal Scientific Centre of Agro-BioTechnologies of the Russian Academy of Sciences; Novosibirsk State Technical UniversityRussian Federation202106062021512107112Copyright © Алтухов В.Г., 20212021Алтухов В.Г.Altukhov V.G.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://sibvest.elpub.ru/jour/article/view/797

Представлены результаты первого этапа исследования в рамках диссертационной работы «Исследование методов и алгоритмов компьютерного зрения в области выявления болезней растений». Проведен анализ работ, связанных с автоматической оценкой степени поражения растений болезнями. Установлено, что для решения задач в данной области перспективными методами являются сверточные нейронные сети, которые в настоящее время по точности превосходят классические методы компьютерного зрения. Для оценки степени поражения используются классификационные и сегментационные архитектуры сверточных нейронных сетей. При этом, классификационные архитектуры способны учитывать визуальные особенности признаков болезней на разных стадиях заболевания, но с их помощью нельзя получить информацию о фактической площади поражения. Решения, основанные на сегментационных архитектурах, позволяют получить информацию о площади поражения, но не проводят градацию степени поражения по видимым признакам болезни. На основании проведенного анализа существующих работ, основанных на применении сверточных нейронных сетей и вариантов их использования, определена цель настоящего исследования: разработать автоматическую систему, способную определять площадь поражения, а также учитывать визуальные особенности признаков заболевания и тип иммунологической реакции растения на разных стадиях развития. Планируется построить систему на основе сегментационной архитектуры сверточной нейронной сети, которая будет производить мультиклассовую сегментацию изображений. Такая сеть способна разделять пиксели изображения на несколько классов: фон, здоровая область листа, пораженная область листа. В свою очередь класс «пораженная область» будет включать в себя несколько подклассов, соответствующих визуальным особенностям заболевания на разных стадиях развития.

The first stage results within the framework of the thesis “Investigation of computer vision methods and algorithms in the field of plant diseases detection” are presented. The analysis of the work related to the automatic assessment of plant disease severity was carried out. It was established that for solving problems in this field, convolution neural networks are promising methods, which are currently superior to classical methods of computer vision in terms of accuracy. To assess the severity degree, classification and segmentation architectures of convolutional neural networks are used. Classification architectures are able to take into account disease visual features at different stages of the disease development, but information about the actual affected area is unavailable. On the other hand, solutions based on segmentation architectures provide actual data on the lesion area, but do not grade severity levels according to disease visual features. Based on the result of the research into the application of convolutional neural networks and options for their use, the goal of this study was determined, which is to develop an automatic system capable of determining the lesion area, as well as to take into account disease visual features and the type of immunological reaction of the plant at different stages of disease progress. It is planned to build a system based on the segmentation architecture of a convolutional neural network, which will produce multi-class image segmentation. Such a network is able to divide image pixels into several classes: background, healthy leaf area, affected leaf area. In turn, the class "affected leaf area" will include several subclasses corresponding to the disease visual features at different stages of disease progress.

болезни растенийстепень поражения растенийкомпьютерное зрениесверточные нейронные сетиклассификациясегментацияразметка датасетаplants diseasesplant disease severitycomputer visionconvolutional neural networksclassificationsegmentationdataset markupReferencesZhang N., Yang G., Pan Y., Yang X., Chen L., Zhao C. A review of advanced technologies and development for hyperspectral-based plant disease detection in the past three decades // Remote Sensing. 2020. Vol. 12 (19). P. 3188. DOI: 10.3390/rs12193188.Zhang N., Yang G., Pan Y., Yang X., Chen L., Zhao C. A review of advanced technologies and development for hyperspectral-based plant disease detection in the past three decades. Remote Sensing. 2020, vol. 12, no. 19, p. 3188. DOI: 10.3390/rs12193188.Методы фитосанитарного мониторинга и прогноза: монография. СПб.: ВИЗР РАСХН, 2013. 128 с.Methods of phytosanitary monitoring and forecast. St. Petersburg, VIZR RASKhN Publ., 2013, 128 p. (In Russian).Попова Л.И. Своевременный мониторинг – основа успешной защиты растений // Защита и карантин растений. 2018. № 4. С. 8–10.Popova L.I. Timely monitoring – the basis for successful plant protection. Zashchita i karantin rastenii = Board of Plant Protection and Quarantine, 2018, no. 4, pp. 8–10. (In Russian).Singh A.K., Ganapathysubramanian B., Sarkar S., Singh A. Deep Learning for Plant Stress Phenotyping: Trends and Future Perspectives // Trends in Plant Science. 2018. Vol. 23(10). P. 883–898. DOI: 10.1016/j.tplants.2018.07.004.Singh A.K., Ganapathysubramanian B., Sarkar S., Singh A. Deep Learning for Plant Stress Phenotyping: Trends and Future Perspectives. Trends in Plant Science, 2018, vol. 23, no. 10, pp. 883–898. DOI: 10.1016/j.tplants.2018.07.004.Singh A., Ganapathysubramanian B., Singh A.K., Sarkar, S. Machine Learning for High-Throughput Stress Phenotyping in Plants // Trends in Plant Science. 2015. Vol. 21(2). P. 110–124. DOI: 10.1016/j.tplants.2015.10.015.Singh A., Ganapathysubramanian B., Singh A.K., Sarkar, S. Machine Learning for HighThroughput Stress Phenotyping in Plants. Trends in Plant Science, 2015, vol. 21, no. 2, pp. 110–124. DOI: 10.1016/j.tplants.2015.10.015.Barbedo J.G.A. A review on the main challenges in automatic plant disease identification based on visible range images // Biosystems Engineering. 2016. Vol. 144. P. 52–60. DOI: 10.1016/j.biosystemseng.2016.01.017.Barbedo J.G.A. A review on the main challenges in automatic plant disease identification based on visible range images. Biosystems Engineering, vol. 144, pp. 52–60. DOI: 10.1016/j.biosystemseng.2016.01.017.Saleem M.H., Potgieter J., Arif K.M. Plant Disease Detection and Classification by Deep Learning // Plants. 2019. Vol. 8(11). DOI: 10.3390/plants8110468.Saleem M.H., Potgieter J., Arif K.M. Plant Disease Detection and Classification by Deep Learning. Plants, 2019, vol. 8, no. 11. DOI: 10.3390/plants8110468.Guo Y., Liu Y., Oerlemans A., Lao S., Wu S., Lew M.S. Deep learning for visual understanding: A review // Neurocomputing. 2016. Vol. 187. P. 27–48. DOI: 10.1016/j.neucom.2015.09.116.Guo Y., Liu Y., Oerlemans A., Lao S., Wu S., Lew M. S. Deep learning for visual understanding: A review. Neurocomputing, 2016, vol. 187, pp. 27–48, DOI: 10.1016/j.neucom.2015.09.116.Liang Q., Xiang S., Hu Y., Coppola G., Zhang D., Sun W. PD2SE-Net: Computer-assisted plant disease diagnosis and severity estimation network // Computers and Electronics in Agriculture. 2019. Vol. 157. P. 518–529. DOI: 10.1016/j.compag.2019.01.034.Liang Q., Xiang S., Hu Y., Coppola G., Zhang D., Sun W. PD2SE-Net: Computer-assisted plant disease diagnosis and severity estimation network. Computers and Electronics in Agriculture, 2019, vol. 157, 518–529. DOI: 10.1016/j.compag.2019.01.034.Wang G., Sun Y., Wang J. Automatic ImageBased Plant Disease Severity Estimation Using Deep Learning // Computational Intelligence and Neuroscience. 2017. Vol. 2017. DOI: 10.1155/2017/2917536.Wang G., Sun Y., Wang J. Automatic ImageBased Plant Disease Severity Estimation Using Deep Learning. Computational Intelligence and Neuroscience, 2017, vol. 2017, DOI: 10.1155/2017/2917536.Picon A., Alvarez-Gila A., Seitz M., OrtizBarredo A., Echazarra J., Johannes A. Deep convolutional neural networks for mobile capture device-based crop disease classification in the wild // Computers and Electronics in Agriculture. 2019. Vol. 161. P. 280–290. DOI: 10.1016/j.compag.2018.04.002.Picon A., Alvarez-Gila A., Seitz M., OrtizBarredo A., Echazarra J., Johannes A. Deep convolutional neural networks for mobile capture device-based crop disease classification in the wild. Computers and Electronics in Agriculture, 2019, vol. 161, pp. 280–290, DOI: 10.1016/j.compag.2018.04.002.Fang T., Chen P., Zhang J., Bing W. Crop leaf disease grade identification based on an improved convolutional neural network // Journal of Electronic Imaging. 2020. Vol. 29. N 1. DOI: 10.1117/1.JEI.29.1.013004.Fang T., Chen P., Zhang J., Bing W. Crop leaf disease grade identification based on an improved convolutional neural network. Journal of Electronic Imaging, 2020, vol. 29, no. 1. DOI: 10.1117/1.JEI.29.1.013004.Su W.-H., Zhang J., Yang C., Page R., Szinyei T., Hirsch C.D., Steffenson B.J. Automatic Evaluation of Wheat Resistance to Fusarium Head Blight Using Dual Mask-RCNN Deep Learning Frameworks in Computer Vision // Remote Sens. 2021. Vol. 13(1). DOI: 10.3390/rs13010026.Su W.-H., Zhang J., Yang C., Page R., Szinyei T., Hirsch C.D., Steffenson B.J. Automatic Evaluation of Wheat Resistance to Fusarium Head Blight Using Dual Mask-RCNN Deep Learning Frameworks in Computer Vision. Remote Sens, 2021, vol. 13, no. 1, DOI: 10.3390/rs13010026.Lin K., Gong L., Huang Y., Liu C., Pan J. Deep Learning-Based Segmentation and Quantification of Cucumber Powdery Mildew Using Convolutional Neural Network // Frontiers in Plant Science. 2019. Vol 10. DOI: 10.3389/fpls.2019.00155.Lin K., Gong L., Huang Y., Liu C., Pan J. Deep Learning-Based Segmentation and Quantification of Cucumber Powdery Mildew Using Convolutional Neural Network. Frontiers in Plant Science, 2019, vol. 10, DOI: 10.3389/fpls.2019.00155.Hafiz A.M., Bhat G.M. A survey on instance segmentation: state of the art // International Journal of Multimedia Information Retrieval. 2020. Vol. 9. P. 171–189. DOI: 10.1007/s13735-020-00195-x.Hafiz A.M., Bhat G. M. A survey on instance segmentation: state of the art. International Journal of Multimedia Information Retrieval, 2020, vol. 9, pp. 171–189. DOI: 10.1007/s13735-020-00195-x.

The authors declare that there are no conflicts of interest present.