vimjourСельскохозяйственные машины и технологииAgricultural Machinery and Technologies2073-7599Federal State Budgetary Scientific Institution «Federal Scientific Agroengineering Center VIM»10.22314/2073-7599-2021-15-4-35-41vimjour-448Research ArticleКИТАЙСКО-РОССИЙСКИЙ СИМПОЗИУМИнтеллектуальные технологии и роботизированные машины для возделывания садовых культурIntelligent Technologies and Robotic Machines for Garden Crops CultivationСмирновИ. Г.SmirnovI. G.

Игорь Геннадьевич Смирнов, доктор технических наук, главный научный сотрудник

Москва

Igor G. Smirnov, Dr.Sc.(Eng.), chief researcher

Moscow

ХортД. О.KhortD. O.

Дмитрий Олегович Хорт, кандидат сельскохозяйственных наук, ведущий научный сотрудник

Москва

Dmitriy О. Khort, Ph.D.(Agr.), leading researcher

Moscow

КутыревА. И.KutyrevA. I.

Алексей Игоревич Кутырев, кандидат технических наук, научный сотрудник

Москва

Aleksey I. Kutyrev, Ph.D.(Eng.), researcher

Moscow

alexeykutyrev@gmail.comФедеральный научный агроинженерный центр ВИМРоссияFederal Scientific Agroengineering Center VIMRussian Federation2021171220211543541Copyright © Смирнов И.Г., Хорт Д.О., Кутырев А.И., 20212021Смирнов И.Г., Хорт Д.О., Кутырев А.И.Smirnov I.G., Khort D.O., Kutyrev A.I.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.vimsmit.com/jour/article/view/448

Показали, что существующие модели промышленных роботов не могут выполнять технологические процессы уборки урожая яблок. Отметили необходимость разработки специальных исполнительных устройств, захватных приспособлений и новых алгоритмов управления для сбора урожая в садоводстве. (Цель исследования) Разработать систему интеллектуального управления промышленными технологиями в садоводстве и роботизированные технические средства для мониторинга урожайности и сбора плодов. (Материалы и методы) Использовали современные методы компьютерного моделирования и программирования. Применили методологию системного анализа, теорию искусственных нейронных сетей, распознавание образов, цифровую обработку сигналов. Разработку программного обеспечения программно-аппаратных средств проводили в соответствии с требованиями ГОСТ. Использовали языки программирования С/С++ с библиотекой OpenCV, Python-среду разработки Spyder, фреймворк PyTorch и Flask, а также JavaScript. Разметку изображений для обучения нейронных сетей провели в VGG ImageAnnotator и в Labelbox. При проектировании оперировали методом конечных элементов, программной средой САПР SolidWorks. (Результаты и обсуждение) Создали систему интеллектуального управления промышленными технологиями в садоводстве на базе программно-аппаратного комплекса «Агроинтеллект ВИМ». Показали, что концепция системы реализуется с помощью компьютерной и коммуникационной техники, роботизированных машин, программного обеспечения для сбора, систематизации, анализа и хранения данных. Определили, что захват аккуратно фиксирует яблоко и надежно удерживает его. Время на фиксацию плода в зависимости от размера составляет 1,5-2,0 секунды, максимальные размеры плода – 85 на 80 миллиметров, а его максимальный вес – 500 граммов. (Выводы) Разработанный программно-аппаратный комплекс системы интеллектуального управления промышленными технологиями «Агроинтеллект ВИМ» обеспечивает оперативную обработку в реальном времени информации, необходимой для проектирования интеллектуальных агротехнологий с применением роботизированных машин и систем искусственного интеллекта.

The existing models of industrial robots cannot perform technological processes of apple harvesting. It is noted that there is a need for developing special actuators, grippers and new control algorithms for harvesting horticulture products. (Research purpose) The research aimed to develop an intelligent control system for horticulture industrial technologies and robotic techniques for yield monitoring and fruit harvesting. (Materials and methods) The research methodology was based on such modern methods as computer modeling and programming. In particular, the following methods were applied: systems analysis, artificial neural networks theory, pattern recognition, digital signal processing. The development of software, hardware and software was carried out in accordance with the requirements of GOST technical standards. The following programming languages were used: (C / C ++)-based  OpenCV library, Spyder Python Development Environment, PyTorch and Flask frameworks, and JavaScript. Image marking for training neural networks was carried out via VGG ImageAnnotator and in Labelbox. The design process was based on the finite element method, CAD SolidWorks software environment. (Results and discussion) An intelligent management system for horticulture industrial technologies has been created based the on the «Agrointellect VIM» hardware and software complex. The concept of the system is shown to be implemented via computer and communication technology, robotic machines, the software for collecting, organizing, analyzing and storing data. The gripper proves to fix an apple gently and holds it securely. Depending on the size, the fruit fixation time is 1.5-2.0 seconds, the fruit maximum size is 85 per 80 millimeters , and its maximum weight is 500 grams. (Conclusions) The developed intelligent control system for industrial technologies based on «Agrointellect VIM» hardware and software complex ensures the efficient real-time processing of information necessary for the design of intelligent agricultural technologies using robotic machines and artificial intelligence systems.

интеллектуальная системароботизированная платформапроизводственная система «Умный сад»нейронная сетьпрограммный комплексмониторинг насажденийроботизированный сбор урожаяintelligent systemrobotic platformsmart gardenneural networksoftware packageplant monitoringrobotic harvestingReferencesХорт Д.О., Кутырев А.И., Смирнов И.Г., Воронков И.В. Разработка системы автоматизированного управления агротехнологиями в садоводстве // Сельскохозяйственные машины и технологии. 2021. Т. 15. N2. С. 61-68.Khort D.O., Kutyrev A.I., Smirnov I.G., Voronkov I.V. Razrabotka sistemy avtomatizirovannogo upravleniya agrotekhnologiyami v sadovodstve [Development of an automated management system for agricultural technologies in horticulture]. Sel’skokhozyaystvennye mashiny i tekhnologii. 2021. Vol. 15. N2. 61-68 (In Rusian).Ampatzidis Y., Tan L., Haley R., Whiting M.D. Cloud-basedharvest managementinformation system for hand-harvested specialtycrops. Computers and electronics in agriculture. 2016. 122. 161-167.Ampatzidis Y., Tan L., Haley R., Whiting M.D. Cloud-basedharvest managementinformation system for hand-harvested specialtycrops. Computers and electronics in agriculture. 2016. 122. 161-167 (In English).Fountas S., Sorensen C.G., Tsiropoulos Z., Cavalaris C., Lia­kos V., Gemtos T. Farm machinery management information system. Computers and electronics in agriculture. 2015. 110. 131-138.Fountas S., Sorensen C.G., Tsiropoulos Z., Cavalaris C., Liakos V., Gemtos T. Farm machinery management information system. Computers and electronics in agriculture. 2015. 110. 131-138 (In English).Khort D., Kutyrev A., Filippov R., Semichev S. Development control system robotic platform for horticulture. E3S Web of Conferences. 2021. 262. 01024.Khort D., Kutyrev A., Filippov R., Semichev S. Development control system robotic platform for horticulture. E3S Web of Conferences. 2021. 262. 01024 (In English).Khort D., Kutyrev A., Filippov R., Kiktev N., Komar­chuk D. Robotized platform for picking of strawberry berries. IEEE International Scientific-Practical Conference: Problems of Infocommunications Science and Technology. 2019. 869-872.Khort D., Kutyrev A., Filippov R., Kiktev N., Komarchuk D. Robotized platform for picking of strawberry berries. IEEE International Scientific-Practical Conference: Problems of Infocommunications Science and Technology. 2019. 869-872 (In English).Khort D.O., Kutyrev A.I., Filippov R.A., Vershinin R.V. Device for robotic picking of strawberries. E3S Web of Conferences. 2020. 193. 01045.Khort D.O., Kutyrev A.I., Filippov R.A., Vershinin R.V. Device for robotic picking of strawberries. E3S Web of Conferences. 2020. 193. 01045 (In English).Wu A., Zhu J., Ren T. Detection of apple defect using laser-induced light backscattering imaging and convolutional neural network. Computers and Electrical Engineering. 2020. 81. 106454.Wu A., Zhu J., Ren T. Detection of apple defect using laser-induced light backscattering imaging and convolutional neural network. Computers and Electrical Engineering. 2020. 81. 106454 (In English).Sofu M.M., Er O., Kayacan M.C., Cetisli B. Design of an automatic apple sorting system using machine vision. Computers and Electronics in Agriculture. 2016. 127. 395-405.Sofu M.M., Er O., Kayacan M.C., Cetisli B. Design of an automatic apple sorting system using machine vision. Compu­ters and Electronics in Agriculture. 2016. 127. 395-405 (In English).Baranowski P., Mazurek W. and Pastuszka-Wozniak J. Supervised classification of bruised apples with respect to the timeafter bruising on the basis of hyperspectral imaging data. Postharvest Biology and Technology. 2013. 86. 249-258.Baranowski P., Mazurek W. and Pastuszka-Wozniak J. Supervised classification of bruised apples with respect to the timeafter bruising on the basis of hyperspectral imaging data. Postharvest Biology and Technology. 2013. 86. 249-258 (In English).Bhatt A.K., Pant D. Automatic apple grading model deve­lopment based on back propagation neural network and machine vision, and its performance evaluation. AI and Society. 2015. 30(1). 45-56.Bhatt A.K., Pant D. Automatic apple grading model development based on back propagation neural network and machine vision, and its performance evaluation. AI and Society. 2015. 30(1). 45-56 (In English).Smirnov I.G., Kutyrev A.I., Kiktev N.A. Neural network for identifying apple fruits on the crown of a tree. E3S Web of Conferences. 2021. 270. 01021.Smirnov I.G., Kutyrev A.I., Kiktev N.A. Neural network for identifying apple fruits on the crown of a tree. E3S Web of Conferences. 2021. 270. 01021 (In English).Kavdır I., Guyer D.E. Evaluation of different pattern re­cognition techniques for apple sorting. Biosystems engineering. 2008. 99. 211-219.Kavdır I., Guyer D.E. Evaluation of different pattern re­cognition techniques for apple sorting. Biosystems engineering. 2008. 99. 211-219 (In English).Zhang B., Huang W., Gong L., Li J., Zhao C., Liu C., Huang D. Computer vision detection of defective apples using automatic lightness correction and weighted RVM classifier. Journal of Food Engineering. 2015. 146. 143-151.Zhang B., Huang W., Gong L., Li J., Zhao C., Liu C., Huang D. Computer vision detection of defective apples using automatic lightness correction and weighted RVM classifier. Journal of Food Engineering. 2015. 146. 143-151 (In English).Kleynen O., Leemans V., Destain M.-F. Development of a multi-spectral vision system for the detection of defects on apples. Journal of Food Engineering. 2005. 69. 41-49.Kleynen O., Leemans V., Destain M.-F. Development of a multi-spectral vision system for the detection of defects on apples. Journal of Food Engineering. 2005. 69. 41-49 (In English).Unay D., Gosselin B., Kleynen O., Leemans V., Destain M.-F., Debeir O. Automatic grading of Bi-colored apples by multispectral machine vision. Computers and Electronics in Agriculture. 2011. 75. 204-212.Unay D., Gosselin B., Kleynen O., Leemans V., Destain M.-F., Debeir O. Automatic grading of Bi-colored apples by multispectral machine vision. Computers and Electronics in Agriculture. 2011. 75. 204-212 (In English).Blasco J., Aleixos N., Moltó E. Machine vision system for automatic quality grading of fruit. Biosystems Engineering. 2003. 85(4). 415-423.Blasco J., Aleixos N., Moltó E. Machine vision system for automatic quality grading of fruit. Biosystems Engineering. 2003. 85(4). 415-423 (In English).Kavdir I., Guyer D.E. Comparison of artificial neural networks and statistical classifiers in apple sorting using textural features. Biosystems Engineering. 2004. 89. 331-344.Kavdir I., Guyer D.E. Comparison of artificial neural networks and statistical classifiers in apple sorting using textural features. Biosystems Engineering. 2004. 89. 331-344 (In English).Gene-Mola J., Gregorio E., Guevara J., Auat F., Sanz-Cortiella R., Escola A., Lorens J., Morros J.-R., Ruiz-Hidalgo J., Vilaplana V., Rosell-Polo J.R. Fruit detection in an apple orchard using a mobile terrestrial laser scanner. Biosystems engineering. 2019. 187. 171-184.Gene-Mola J., Gregorio E., Guevara J., Auat F., Sanz-Cortiella R., Escola A., Lorens J., Morros J.-R., Ruiz-Hidalgo J., Vila­plana V., Rosell-Polo J.R. Fruit detection in an apple orchard using a mobile terrestrial laser scanner. Biosystems engineering. 2019. 187. 171-184 (In English).Gongal A., Amatya S., Karkee M., Zhang Q., Lewis K. Sensors and systems for fruit detection and localization: a review. Computers and Electronics in Agriculture. 2015. 116. 8-19.Gongal A., Amatya S., Karkee M., Zhang Q., Lewis K. Sensors and systems for fruit detection and localization: a review. Computers and Electronics in Agriculture. 2015. 116. 8-19 (In English).Steinbrener J., Posch K., Leitner R. Hyperspectral fruit and vegetable classification using convolutional neural networks. Computers and Electronics in Agriculture. 2019. 162. 364-372.Steinbrener J., Posch K., Leitner R. Hyperspectral fruit and vegetable classification using convolutional neural networks. Computers and Electronics in Agriculture. 2019. 162. 364-372 (In English).Lv J., Wang J., Xu L., Ma Z., Yang B. A segmentation method of bagged green apple image. Scientia Horticulturae. 2019. 246. 411-417.Lv J., Wang J., Xu L., Ma Z., Yang B. A segmentation method of bagged green apple image. Scientia Horticulturae. 2019. 246. 411-417 (In English).

The authors declare that there are no conflicts of interest present.