Платформенный подход к обработке данных мониторинга и полевых опытов СФНЦА РАН для реализации цифрового земледелия

Представлена концепция платформенного подхода для создания интеллектуальной системы цифрового земледелия с использованием современных информационных технологий. Описана возможная  архитектура  платформы,  состоящая  из  пяти  блоков,  позволяющая  собирать, хранить и анализировать данные о ключевых параметрах природной среды и посевов культур, а  также  обмениваться  информацией  и  знаниями  с  целью  повышения  производительности и  эффективности  решений  в  земледелии.  Показана  целесообразность  синергетического использования сенсорных сетей Интернета вещей, дистанционного зондирования, машинного обучения и аналитики больших данных для создания прогностических моделей, рекомендаций и  систем  поддержки  принятия  решений.  Изложены  основные  признаки  и  их  параметры, необходимые  для  разработки  предиктивных  моделей  урожайности  сельскохозяйственных культур, а также используемые для этой цели основные методы машинного обучения. Описан алгоритм разработки рекомендаций по выращиванию культур с помощью моделирования на основе машинного обучения, который состоит из создания набора данных, предварительной обработки  данных,  обучения  модели  и  оценки  результатов.  Приведена  структура  системы поддержки  принятия  решений,  состоящая  из  четырех  основных  компонентов:  базы  данных, моделей и аналитических инструментов, архитектуры и сети, пользовательского интерфейса. Описаны  основные  подходы  и  инструменты  по  разработке  имитационных  моделей. Платформенный подход реализуется с использованием двух подтипов платформ: хранения и управления данными и анализа данных. Для хранения данных используется распределенная файловая система Hadoop (HDFS) и другое, а также базы данных MySQL, PostgreSQL и другое. Для анализа данных применяются платформы потокового анализа Apache Kafka, Apache Flink, Apache  Storm  и  др.  Применение  этих  платформ  позволяет  анализировать  данные  в  режиме реального  времени  и  облегчает  их  обмен  между  разнородными  устройствами  и  системами, а также обеспечивает интеграцию с Интернетом вещей и дистанционным зондированием.

1. Gebresenbet G., Bosona T., Patterson D., Persson H., Fischer B., Mandaluniz N., Chirici G., Zacepins A., Komasilovs V., Pitulac T., Nasirahmadi A. A concept for application of integrated digital technologies to enhance future smart agricultural systems // Smart agricultural technology. 2023. Vol. 5. Р. 100255. DOI: 10.1016/j.atech.2023.100255.

2. Finger R. Digital innovations for sustainable and resilient agricultural systems // European Review of Agricultural Economics. 2023. Vol. 50. N 4. Р. 1277–1309. DOI: 10.1093/erae/jbad021.

3. Akkem Y., Biswas S.K., Varanasi A. Smart farming using artificial intelligence: A review // Engineering Applications of Artificial Intelligence. 2023. Vol. 120. Р. 105899. DOI: 10.1016/j.engappai.2023.105899.

4. Kalyani Y., Collier R. A Systematic Survey on the Role of Cloud, Fog, and Edge Computing Combination in Smart Agriculture // Sensors. 2021. Vol. 21. Is. 17. Р. 5922. DOI: 10.3390/s21175922.

5. Fuentes-Peñailillo F., Gutter K., Vega R., Silva G.C. Transformative technologies in digital agriculture: Leveraging Internet of Things, remote sensing, and artificial intelligence for smart crop management // Journal of Sensor and Actuator Networks. 2024. Vol. 13. N 4. Р. 39. DOI: 10.3390/jsan13040039.

6. Mansoor S., Iqbal S., Popescu S.M., Kim S.L., Chung Y.S., Baek J-H. Integration of smart sensors and IOT in precision agriculture: trends, challenges and future prospectives // Frontiers in Plant Science. 2025. Vol. 16. P. 1587869. DOI: 10.3389/fpls.2025.1587869.

7. Silva J.V., Van Heerwaarden J.,Reidsma P. Big data, small explanatory and predictive power: Lessons from random forest modeling of on-farm yield variability and implications for data-driven agronomy // Field Crops Research. 2023. Vol. 302. Р. 109063. DOI: 10.1016/j.fcr.2023.109063.

8. Indira P., Arafat I.S., Karthikeyan R., Selvarajan S., Balachandran P.K. Fabrication and investigation of agricultural monitoring system with IoT & AI // SN Applied Sciences. 2023. Vol. 5. N 12. P. 322. DOI: 10.1007/s42452-023-05526-1.

9. Eze V.H.U., Eze E.C., Alaneme G.U., Bubu P.E., Nnadi E.O.E., Okon M.B. Integrating IoT sensors and machine learning for sustainable precision agroecology: enhancing crop resilience and resource efficiency through data-driven strategies, challenges, and future prospects // Disco ver Agriculture. 2025. Vol. 3. N 1. Р. 1–34. DOI: 10.1007/s44279-025-00247-y.

10. Gebresenbet G., Bosona T., Patterson D., Persson H., Fischer B., Mandaluniz N., Chirici G., Zacepins A., Pitulac T., Nasirahmadi A. A concept for application of integrated digital technologies to enhance future smart agricultural systems // Smart agricultural technology. 2023. Vol. 5. Р. 100255. DOI: 10.1016/j.atech.2023.100255.

11. Dibbern T., Romani L.A.S., Massruhá S.M.F.S. Main drivers and barriers to the adoption of Digi tal Agriculture technologies // Smart Agricultural Technology. 2024. Vol. 8. Р. 100459. DOI: 10.1016/j.atech.2024.100459.

12. Almalki F.A., Soufiene B.O., Alsamhi S.H., Sakli H. A Low-Cost Platform for Environmental Smart Farming Monitoring System Based on IoT and UAVs // Sustainability. 2021. Vol. 13. N 11. Р. 5908. DOI: 10.3390/su13115908.

13. Chkarat H., Abid T., Sauvée L. Conditions for a Convergence between Digital Platforms and Sustainability in Agriculture // Sustainability. 2023. Vol. 15. N 19. Р. 14195. DOI: 10.3390/su151914195.

14. Chimenti G., Hagberg J., Araujo L. Platforms, infrastructures and the Futures of market society // Journal of Business Research. 2025. Vol. 189. Р. 115167. DOI: 10.1016/j.jbusres.2024.115167.

15. Ahmed N., Shakoor N. Advancing agriculture through IoT, Big Data, and AI: a review of smart technologies enabling sustainability // Smart Agricultural Technology. 2025. Vol. 10. Р. 100848. DOI: 10.1016/j.atech.2025.100848.

16. AbouZaid A., Barclay P.J., Chrysoulas C., Pitropakis N. Building a modern data platform based on the data lakehouse architecture and cloud-native ecosystem // Discover Applied Sciences. 2025. Vol. 7. Р. 166. DOI: 10.1007/s42452-025-06545-w.

17. Akanbi A. Estemd: A distributed proces sing framework for environmental monitoring based on apache kafka streaming engine // Proceedings of the 4th international conference on big data research. 2020. Р. 18–25. DOI: 10.1145/3445945.3445949.

18. Lalaoui I.L., El Haji E., Kounaidi M. The Evolution and Challenges of Real-Time Big Data: A Review // Computer Sciences & Mathematics Forum. 2025. Vol. 10. N 1. P. 11. DOI: 10.3390/cmsf2025010011.

19. Fascista A. Toward Integrated Large-Scale Environmental Monitoring Using WSN/UAV/ Crowdsensing: A Review of Applications, Signal Processing, and Future Perspectives // Sensors. 2022. Vol. 22. N 5. P. 824. DOI: 10.3390/s22051824.

20. Ullo S.L., Sinha G.R. Advances in IoT and Smart Sensors for Remote Sensing and Agriculture Applications // Remote Sensing. 2021. Vol. 13. N 13. Р. 2585. DOI: 10.3390/rs13132585.

21. Morchid A., Alami R.E.l., Raezah A.A, Sabbar Y. Applications of internet of things (IoT) and sensors technology to increase food security and agricultural Sustainability: Benefits and challenges // Ain Shams Engineering Journal. 2024. Vol. 15. N 3. Р. 102509. DOI: 10.1016/j.asej.2023.102509.

22. Каличкин В.К., Максимович К.Ю. Методология формирования цифровой системы управления земледелием // Сибирский вестник сельскохозяйственной науки. 2024. Т. 54. № 3. С. 5–20. DOI: 10.26898/0370-8799-2024-3-1.

23. Каличкин В.К., Донченко А.С., Голохваст К.С. Формирование системы цифрового управления земледелием на основе мониторинга и длительных полевых опытов // Агробиотехнологии и цифровое земледелие. 2025. № 2 (14). С. 58–68. DOI: 10.12737/2782-490X-2025-58-68.

24. Khaire U.M., Dhanalakshmi R. Stability of feature selection algorithm: A review // Journal of King Saud University-Computer and Information Sciences. 2022. Vol. 34. N 4. Р. 1060–1073. DOI: 10.1016/j.jksuci.2019.06.012.

25. Ehrlinger L., Wöß W. A survey of data quality measurement and monitoring tools // Frontiers in big data. 2022. Vol. 5. Р. 850611. DOI: 10.3389/fdata.2022.850611.

26. Luan T. A comprehensive review of simulation technology: development, methods, applications, challenges and future trends // International Journal of Emerging Technologies and Advanced Applications. 2024. Vol. 1. N 5. Р. 9–14. DOI: 10.62677/IJETAA.2405119.

27. Bucaioni A., Cicchetti A., Ciccozzi F. Modelling in low-code development: a multi-vocal systematic review // Software and Systems Modeling. 2022. Vol. 21. N 5. P. 1959–1981. DOI: 10.1007/s10270-021-00964-0.

28. Каличкин В.К., Максимович К.Ю., Алещенко О.А., Алещенко В.В. Прогнозирование урожайности сельскохозяйственных культур: структура данных и методы искусственного интеллекта // Сельскохозяйственные машины и технологии. 2025. Т. 19. № 2. С. 33–44. DOI: 10.22314/2073-7599-2025-19-2-0-0.

29. Power D.J., Sharda R. Decision support and analytics // Springer Handbook of Automation. – Cham: Springer International Publishing, 2023. Р. 1401–1410. DOI: 10.1007/978-3-030-96729-1_66.

30. Alahmad T., Neményi M., Nyéki A. Applying IoT sensors and big data to improve precision crop production: a review // Agronomy. 2023. Vol. 13. N 10. P. 2603. DOI: 10.3390/agronomy13102603.

31. Pathmudi V.R., Khatri N., Kumar S., Abdul-Qawy A.S.H., Vyas A.K. A systematic review of IoT technologies and their constituents for smart and sustainable agriculture applications // Scientific African. 2023. Vol. 19. P. e01577. DOI: 10.1016/j.sciaf.2023.e01577.

32. Senoo E.E.K., Anggraini L., Kumi J.A., Karolina L.B., Akansah E., Sulyman H.A., Mendonça I., Aritsugi M. IoT Solutions with Artificial Intelligence Technologies for Precision Agriculture: Definitions, Applications, Challenges, and Opportunities // Electronics. 2024. Vol. 13. N 10. P. 1894. DOI: 10.3390/electronics13101894.

33. Shahab H., Naeem M., Iqbal M., Aqeel M., Ullah S.S. IoT-driven smart agricultural techno logy for real-time soil and crop optimization // Smart Agricultural Technology. 2025. Vol. 10. P. 100847. DOI: 10.1016/j.atech.2025.100847.

34. Soussi A., Zero E., Sacile R., Trinchero D., Fossa M. Smart Sensors and Smart Data for Precision Agriculture: A Review // Sensors. 2024. Vol. 24. N 8. Р. 2647. DOI: 10.3390/s24082647.

35. Khanal S., Kushal K.C., Fulton J.P., Shearer S., Ozkan E. Remote Sensing in Agriculture – Accomplishments, Limitations, and Opportunities // Remote Sensing. 2020. Vol. 12. N 22. Р. 3783. DOI: 10.3390/rs12223783.

36. Raptis T.P., Cicconetti C., Passarella A. Efficient topic partitioning of Apache Kafka for high-reliability real-time data streaming applications // Future Generation Computer Systems. 2024. Vol. 154. P. 173–188. DOI: 10.1016/j.future.2023.12.028.

37. Lalaoui I.L, El Haji E., Kounaidi M. The Evolution and Challenges of Real-Time Big Data: A Review // Computer Sciences & Mathematics Forum. 2025. Vol. 10. N 1. P. 11. DOI:10.3390/cmsf2025010011.