Разработка алгоритма роботизированного устройства точного внесения средств защиты растений

Показали, что широкий спектр методик и инструментов для идентификации растений ограничен в реальных агротехнических задачах. Отметили, что параметры изображений сильно отличаются в прикладных решениях. (Цель исследования) Разработать алгоритм распознавания культурных растений роботизированным устройством, основанный на современном методе глубокого обучения с использованием сверточной нейронной сети R-CNN. (Материалы и методы) Создали роботизированное устройство для дифференцированного внесения средств защиты растений, которое способно распознавать полезную культуру и сорную растительность, определять площадь обработки по координатам центра и рдиусу. Для обнаружения сельскохозяйственной культуры (белокочанной капусты) выбрали сегментирующие нейронные сети Mask R-CNN и Deeplabv3 plus. Алгоритм на основе данных сетей обнаруживает, сегментирует и позиционирует растения на основе набора данных, собранных в форматах «изображение – маска» и COCO dataset. Набор данных формировали путем аэросъемки с помощью беспилотного воздушного судна. Исходные изображения получили от веб-камеры Xiaovv HD Web USB с углом съемки 150 градусов, разрешением Full HD 1080P и веб-камеры Logitech C270 с разрешением HD 720p. Обученную нейронную сеть для роботизированного устройства установили на платформу Nvidia Jetson AGX Xavier. (Результаты и обсуждение) В результате оценки точности модели на тестовых данных получили следующие значения: количество найденных растений – 98 процентов, точность выделения контура – 94 процента. (Выводы) Доказали, что обученную нейронную сеть можно применять к любым выращиваемым культурам, учитывая неоднородность их расположения на поле, типы почвы, количество сорной растительности. По итогу модель обучили извлекать координаты ограничительной рамки и местоположение объекта (капусты) по пикселям с требуемой точностью как для синтетических, так и для реальных данных.

1. Мирзаев М.А. Проектирование автономного полевого робота для дифференцированного внесения агрохимических средств // Электротехнологии и электрооборудование в АПК. 2021. Т. 68. N4(45). С. 131-136.

2. Zhao K., et al. Building extraction from satellite images using mask R-CNN with building boundary regularization. Proceedings of the IEEE conference on computer vision and pattern recognition workshops. 2018. 247-251.

3. Weber M., et al. Deeplab2: A tensorflow library for deep labeling. arXiv preprint arXiv:2106. 09748v1. 2021.

4. Wang H., et al. Max-deeplab: End-to-end panoptic segmentation with mask transformers. Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2021. 5463-5474.

5. Caesar H., Uijlings J., Ferrari V. Coco-stuff: Thing and stuff classes in context. Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. 1209-1218.

6. Jeon J., et al. Run your visual-inertial odometry on NVIDIA Jetson: Benchmark tests on a micro aerial vehicle. IEEE Robotics and Automation Letters. 2021. Vol. 6. N3. 5332-5339.

7. Hossain S., Lee D. Deep learning-based real-time multiple-object detection and tracking from aerial imagery via a flying robot with GPU-based embedded devices. Sensors. 2019. Vol. 19. N15. 3371.

8. Carneiro T., et al. Performance analysis of google colaboratory as a tool for accelerating deep learning applications. IEEE Access. 2018. Vol. 6. 61677-61685.

9. Meyer G.E., Neto J.C. Verification of color vegetation indices for automated crop imaging applications. Computers and electronics in agriculture. 2008. Vol. 63. N2. 282-293.

10. Демин Е.Е. и др. Аналитические исследования технических параметров самодвижущихся опрыскивателей // Аграрный научный журнал. 2021. N12. С. 112-114.

11. Балабанов В.И. и др. Технологии, машины и оборудование для координатного (точного) земледелия. М.: Росинформагротех. 2016. 240 с.

12. Лысов А.К., Воробьев Н.И. Вычисление с помощью математической модели траекторий движения распыляемых аэрозольных капель // АгроЭкоИнженерия. 2021. N2(107). С. 96-106.

13. Бредихин А.И. Алгоритмы обучения сверточных нейронных сетей // Вестник Югорского государственного университета. 2019. N1(52). С. 41-54.

14. Henaff O. Data-efficient image recognition with contrastive predictive coding. International Conference on Machine Learning. PMLR. 2020. 4182-4192.

15. Bardou D., Zhang K., Ahmad S. M. Classification of breast cancer based on histology images using convolutional neural networks. IEEE Access. 2018. Vol. 6. 24680-24693.

16. Polyzotis N., Zinkevich M., Roy S., Breck E., Whang S. Data Validation for Machine Learning. Proceedings of Machine Learning and Systems. 2019.