СЕМАНТИЧЕСКАЯ СЕГМЕНТАЦИЯ ПАТТЕРНОВ АНОМАЛИЙ СЕЛЬСКОХОЗЯЙСТВЕННЫХ ПОЛЕЙ НА АЭРОФОТОСНИМКАХ С ИСПОЛЬЗОВАНИЕМ U-NET

Точное земледелие требует эффективного мониторинга обширных сельскохозяйственных полей с целью как можно более раннего выявления и пространственной локализации аномалий посевов, что позволяет осуществлять целенаправленное и своевременное управление полями. Традиционный осмотр полей является трудоемким и утомительным процессом и позволяет измерять лишь небольшое количество точек. Технологии глубокого обучения в сочетании с беспилотными летательными аппаратами (БПЛА) создают возможности для автоматизации получения сельскохозяйственных изображений высокого разрешения. В данной работе рассматривается ориентированный на конкретную задачу подход на основе U-Net для многометочной сегментации аномальных паттернов в сельском хозяйстве. При этом работа не предлагает новую архитектуру нейронной сети, а акцентирует внимание на влиянии практических решений при проектировании модели. Оцениваемая конфигурация использует четырехканальные входные данные RGB-NIR (NRGB), многометочную классификацию на основе сигмоидной функции активации и комбинированную функцию потерь Binary Cross-Entropy (BCE) и Dice loss. Эксперименты проводятся на эталонном наборе данных Agriculture-Vision 2021, содержащем более 21 000 размеченных аэрофотоснимков с восемью классами сельскохозяйственных аномалий. Для оценки вклада NIR-канала и компонента Dice loss проводится контролируемое абляционное исследование. Дополнительные эксперименты сравнивают полученную конфигурацию с результатами, полученными при использовании стандартных архитектур U-Net, FCN, SegNet и современной базовой модели сегментации при идентичном протоколе экспериментов. Эффективность оценивается с использованием показателей Intersection over Union (IoU) для каждого класса и mean Intersection over Union (mIoU) для общей средней производительности. Результаты демонстрируют эффективность использования NIR-информации и функции потерь на основе Dice для сегментации аномалий в сельском хозяйстве, а также высокую эффективность относительно простой конфигурации на основе U-Net на эталонном наборе данных. Полученные результаты подтверждают потенциал использования специализированной структуры U-Net для автоматизированного мониторинга сельскохозяйственных угодий с помощью БПЛА и демонстрируют индивидуальный вклад входных данных и функции потерь в решение поставленной задачи.

1. Omia, E., Bae, H., Park, E., Kim, M.S., Baek, I., Kabenge I., and Cho, B.-K. Remote sensing in field crop monitoring: A comprehensive review of sensor systems, data analyses and recent advances, Remote Sensing, 15 (2), 354 (2023). https://doi.org/10.3390/rs15020354

2. Siddiquee, K.N.E.A., Islam, M.S., Singh, N., Gunjan, V.K., Yong, W.H., Huda, M.N., and Naik, D.B. Development of algorithms for an IoT-based smart agriculture monitoring system, Wireless Communications and Mobile Computing, 2022, 7372053 (2022). https://doi.org/10.1155/2022/7372053

3. Silva, J.A.O.S., Siqueira, V.S.d., Mesquita, M., Vale, L.S.R., Silva, J.L.B.d., Silva, M.V.d., Lemos, J.P.B., Lacerda, L.N., Ferrarezi, R.S., and Oliveira, H.F.E.d. Artificial intelligence applied to support agronomic decisions for the automatic aerial analysis images captured by UAV: A systematic review, Agronomy, 14 (11), 2697 (2024). https://doi.org/10.3390/agronomy14112697

4. Agrawal, J. and Arafat, M.Y. Transforming farming: A review of AI-powered UAV technologies in precision agriculture, Drones, 8 (11), 664 (2024). https://doi.org/10.3390/drones8110664

5. Serek, A., Abdoldina, F., Smurygin, V.V., Asylbek, M., and Nursultan, K. Siamese Residual U-Net With ASPP for Satellite Image Change Detection, IEEE Access, 14, 114802–114816 (2026). https://doi.org/10.1109/ACCESS.2026.3714305

6. Serek, A., Abdoldina, F., Asylbek, M., Smurygin, V., and Nabiyeva, G. CTA-Net: A Cross-Temporal Attention Network for Change Detection in Remote Sensing Imagery, Big Data and Cognitive Computing, 10 (7), 225 (2026). https://doi.org/10.3390/bdcc10070225

7. Kali, D., Kashkimbayeva, N., Kemel, A., Mirzagalikova, B., and Basheyeva, Z. Development of a System for Monitoring and Managing Climate-Dependent Process Risks Based on Hidden Markov Models (Using Grain Crop Yields as an Example), Eastern-European Journal of Enterprise Technologies, 2 (3(140)), 15–26 (2026). https://doi.org/10.15587/1729-4061.2026.359355

8. Zhu, H., Lin, C., Liu, G., Wang, D., Qin, S., Li, A., Xu, J.-L., and He, Y. Intelligent Agriculture: Deep Learning in UAV-Based Remote Sensing Imagery for Crop Diseases and Pests Detection, Frontiers in Plant Science, 15, 1435016 (2024). https://doi.org/10.3389/fpls.2024.1435016

9. Taha, M.F., Abdalla, A., ElMasry, G., Gouda, M., Zhou, L., and Zhao, N. Using Deep Convolutional Neural Network for Image-Based Diagnosis of Nutrient Deficiencies in Plants Grown in Aquaponics, Chemosensors, 10 (2), 45 (2022). https://doi.org/10.3390/chemosensors10020045

10. Hasan, A.M., Sohel, F., Diepeveen, D., Laga, H., and Jones, M.G. A Survey of Deep Learning Techniques for Weed Detection from Images, Computers and Electronics in Agriculture, 184, 106067 (2021). https://doi.org/10.1016/j.compag.2021.106067

11. Su, D., Kong, H., Qiao, Y., and Sukkarieh, S. Data Augmentation for Deep Learning Based Semantic Segmentation and Crop-Weed Classification in Agricultural Robotics, Computers and Electronics in Agriculture, 190, 106418 (2021). https://doi.org/10.1016/j.compag.2021.106418

12. Sishodia, R.P., Ray, R.L., and Singh, S.K. Applications of Remote Sensing in Precision Agriculture: a Review, Remote Sensing, 12 (19), 3136 (2020). https://doi.org/10.3390/rs12193136

13. Zhang, Z., Boubin, J., Stewart, C., and Khanal, S. Whole-Field Reinforcement Learning: A Fully Autonomous Aerial Scouting Method for Precision Agriculture, Sensors, 20 (22), 6585 (2020). https://doi.org/10.3390/s20226585

14. Yang, G., Liu, J., Zhao, J., Li, Z., Huang, Y., Yu, D., Xu, B., Yang, X., Zhu, D., Zhang, X., and Zhang, R. Unmanned Aerial Vehicle Remote Sensing for Field-Based Crop Phenotyping: Current Status and Perspectives, Frontiers in Plant Science, 8, 1111 (2017). https://doi.org/10.3389/fpls.2017.01111

15. Mogili, U.R. and Deepak, B.B.V.L. Review on Application of Drone Systems in Precision Agriculture, Procedia Computer Science, 133, 502–509 (2018). https://doi.org/10.1016/j.procs.2018.07.063

16. Tetila, E.C., Machado, B.B., Astolfi, G., Belete, N.A.D.S., Amorim, W.P., Roel, A.R., and Pistori, H. Detection and Classification of Soybean Pests Using Deep Learning with UAV Images, Computers and Electronics in Agriculture, 179, 105836 (2020). https://doi.org/10.1016/j.compag.2020.105836

17. Guo, Y., Liu, Y., Georgiou, T., and Lew, M.S. A Review of Semantic Segmentation Using Deep Neural Networks, International Journal of Multimedia Information Retrieval, 7 (2), 87–93 (2018). https://doi.org/10.1007/s13735-017-0141-z

18. Long, J., Shelhamer, E., and Darrell, T. Fully Convolutional Networks for Semantic Segmentation, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 3431–3440 (2015). https:// doi.org/10.1109/CVPR.2015.7298965

19. Badrinarayanan, V., Kendall, A., and Cipolla, R. SegNet: a Deep Convolutional Encoder-Decoder Architecture for Image Segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence, 39 (12), 2481–2495 (2017). https://doi.org/10.1109/TPAMI.2016.2644615

20. Wang, L., Li, R., Zhang, C., Fang, S., Duan, C., Meng, X., and Atkinson, P.M. UNetFormer: a UNet-Like Transformer for Efficient Semantic Segmentation of Remote Sensing Urban Scene Imagery, ISPRS Journal of Photogrammetry and Remote Sensing, 190, 196–214 (2022). https://doi.org/10.1016/j.isprsjprs.2022.06.008

21. Ronneberger, O., Fischer, P., and Brox, T. U-Net: Convolutional Networks for Biomedical Image Segmentation, Medical Image Computing and Computer-Assisted Intervention, 9351, 234–241 (2015). https://doi.org/10.1007/978-3-319-24574-4_28

22. Wang, X., Jing, S., Dai, H., and Shi, A. High-Resolution Remote Sensing Images Semantic Segmentation Using Improved UNet and SegNet, Computers and Electrical Engineering, 108, 108734 (2023). https://doi.org/10.1016/j.compeleceng.2023.108734

23. Li, R., Zheng, S., Duan, C., Su, J., and Zhang, C. Multistage Attention ResU-Net for Semantic Segmentation of Fine-Resolution Remote Sensing Images, IEEE Geoscience and Remote Sensing Letters, 19, 1–5 (2022). https://doi.org/10.1109/LGRS.2021.3063381

24. He, X., Zhou, Y., Zhao, J., Zhang, D., Yao, R., and Xue, Y. Swin Transformer Embedding UNet for Remote Sensing Image Semantic Segmentation, IEEE Transactions on Geoscience and Remote Sensing, 60, 1–15 (2022). https://doi.org/10.1109/TGRS.2022.3144165

25. Tucker, C.J. Red and Photographic Infrared Linear Combinations for Monitoring Vegetation, Remote Sensing of Environment, 8 (2), 127–150 (1979). https://doi.org/10.1016/0034-4257(79)90013-0

26. Chiu, M.T., Xu, X., Wei, Y., Huang, Z., Schwing, A., Brunner, R., Khachatrian, H., Karapetyan, H., Dozier, I., Rose, G., Wilson, D., Tudor, A., Hovakimyan, N., Huang, T.S., and Shi, H. Agriculture-Vision: a Large Aerial Image Database for Agricultural Pattern Analysis, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2828–2838 (2020). https://doi.org/10.1109/CVPR42600.2020.00290

27. Johnson, J.M. and Khoshgoftaar, T.M. Survey on Deep Learning with Class Imbalance, Journal of Big Data, 6 (1), 27 (2019). https://doi.org/10.1186/s40537-019-0192-5

28. Agriculture-Vision. Agriculture-Vision 2021 Dataset (2021). URL: https://www.agriculture-vision.com/agriculture-vision-2021/dataset-2021

29. Chen, L.-C., Papandreou, G., Schroff F., and Adam, H. Rethinking Atrous Convolution for Semantic Image Segmentation, arXiv preprint, arXiv:1706.05587 (2017). https://doi.org/10.48550/arXiv.1706.05587

30. Wang, H., Zhu, Y., Green, B., Adam, H., Yuille, A., and Chen, L.-C. Axial-DeepLab: Stand-Alone Axial-Attention for Panoptic Segmentation, Proceedings of the European Conference on Computer Vision, 108–126 (2020). https://doi.org/10.1007/978-3-030-58548-8_7

31. Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., Zhang, Z., Lin, S., and Guo, B. Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows, Proceedings of the IEEE/CVF International Conference on Computer Vision, 10012–10022 (2021). https://doi.org/10.1109/ICCV48922.2021.00986

32. Boursianis, A.D., Papadopoulou, M.S., Diamantoulakis, P., Liopa-Tsakalidi, A., Barouchas, P., Salahas, G., Karagiannidis, G., Wan, S., and Goudos, S.K. Internet of Things (IoT) and Agricultural Unmanned Aerial Vehicles (UAVs) in Smart Farming: a Comprehensive Review, Internet of Things, 18, 100187 (2022). https://doi.org/10.1016/j.iot.2020.100187

33. Garnot, V.S.F. and Landrieu, L. Panoptic Segmentation of Satellite Image Time Series with Convolutional Temporal Attention Networks, Proceedings of the IEEE/CVF International Conference on Computer Vision, 4872–4881 (2021). https://doi.org/10.1109/ICCV48922.2021