Максим Арифович Мирзаев, аспирант, младший научный сотрудник
Москва
Maksim A. Mirzaev, Ph.D. student, junior researcher
Moscow
Показали, что широкий спектр методик и инструментов для идентификации растений ограничен в реальных агротехнических задачах. Отметили, что параметры изображений сильно отличаются в прикладных решениях. (Цель исследования) Разработать алгоритм распознавания культурных растений роботизированным устройством, основанный на современном методе глубокого обучения с использованием сверточной нейронной сети R-CNN. (Материалы и методы) Создали роботизированное устройство для дифференцированного внесения средств защиты растений, которое способно распознавать полезную культуру и сорную растительность, определять площадь обработки по координатам центра и рдиусу. Для обнаружения сельскохозяйственной культуры (белокочанной капусты) выбрали сегментирующие нейронные сети Mask R-CNN и Deeplabv3 plus. Алгоритм на основе данных сетей обнаруживает, сегментирует и позиционирует растения на основе набора данных, собранных в форматах «изображение – маска» и COCO dataset. Набор данных формировали путем аэросъемки с помощью беспилотного воздушного судна. Исходные изображения получили от веб-камеры Xiaovv HD Web USB с углом съемки 150 градусов, разрешением Full HD 1080P и веб-камеры Logitech C270 с разрешением HD 720p. Обученную нейронную сеть для роботизированного устройства установили на платформу Nvidia Jetson AGX Xavier. (Результаты и обсуждение) В результате оценки точности модели на тестовых данных получили следующие значения: количество найденных растений – 98 процентов, точность выделения контура – 94 процента. (Выводы) Доказали, что обученную нейронную сеть можно применять к любым выращиваемым культурам, учитывая неоднородность их расположения на поле, типы почвы, количество сорной растительности. По итогу модель обучили извлекать координаты ограничительной рамки и местоположение объекта (капусты) по пикселям с требуемой точностью как для синтетических, так и для реальных данных.
The existing range of plant identification methods and tools is considered limited in real agrotechnical tasks. The image parameters tend to differ significantly in applied solutions. (Research purpose) To develop an algorithm for crop plant recognition by a robotic device using a state-of-the-art convolutional neural network (R-CNN) and deep learning technology. (Materials and methods) A robotic device has been developed for variable rate application of plant protection products able to recognize both useful crops and weeds, determine the area of processing, namely the coordinates of the processing center and the processing radius. Mask R-CNN and Deeplabv3 plus segmenting neural networks were chosen for crop (white head cabbage) detection. The network-based algorithm detects, segments, and positions plants based on a dataset collected in the image-mask and COCO dataset formats. The data set was formed by aerial photography using an unmanned aircraft. The original images are taken by Xiaovv HD Web USB 150 degree Full HD 1080P webcam and Logitech C270 HD 720p webcam. The trained neural network for the robotic device was installed on the Nvidia Jetson AGX Xavier platform. (Results and discussion) As a result of assessing the accuracy of the model on the test data, the following values were obtained: the number of plants detected is 98 percent, the accuracy of contour detection is 94 percent. (Conclusions) It is proved that the trained neural network can be applied to any cultivated crops, taking into account the heterogeneity of their location in the field, soil types, and the percentage of weeds. As a result, the model is trained to extract the bounding box coordinates and the object (cabbage) location by pixels with the required accuracy for both synthetic and real data.
The authors declare that there are no conflicts of interest present.