CN112356027B - 农林机器人避障方法、装置、计算机设备和存储介质 - Google Patents
农林机器人避障方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112356027B CN112356027B CN202011181205.6A CN202011181205A CN112356027B CN 112356027 B CN112356027 B CN 112356027B CN 202011181205 A CN202011181205 A CN 202011181205A CN 112356027 B CN112356027 B CN 112356027B
- Authority
- CN
- China
- Prior art keywords
- agriculture
- forestry
- obstacle
- robot
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000004088 simulation Methods 0.000 claims abstract description 142
- 238000012545 processing Methods 0.000 claims abstract description 104
- 238000012549 training Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 5
- 230000004888 barrier function Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000004720 fertilization Effects 0.000 description 2
- 238000003973 irrigation Methods 0.000 description 2
- 230000002262 irrigation Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000009333 weeding Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/60—Other road transportation technologies with climate change mitigation effect
- Y02T10/70—Energy storage systems for electromobility, e.g. batteries
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请涉及一种农林机器人避障方法、装置、计算机设备和存储介质。在应用于农林机器人时，方法包括：当农林机器人在目标农林场景中按照第一作业路径执行农业作业任务时，通过农林机器人上的图像采集装置采集周围环境的图像数据；通过农林机器人上的图像处理模型对图像数据进行处理，识别出图像数据中的障碍物信息；将障碍物信息反馈至服务器，以使服务器根据障碍物信息更新地形仿真模型，并基于更新后的地形仿真模型重新规划第二作业路径；接收服务器反馈的第二作业路径，并切换至按照第二作业路径继续执行农林作业任务，以避开障碍物信息所对应的障碍物。采用本方法能够提高了农林机器人的避障能力。
Description
技术领域
本申请涉及农林管理技术领域，特别是涉及一种农林机器人避障方法、装置、计算机设备和存储介质。
背景技术
随着农业机械化和数字化的发展，农林机器人逐步兴起。农林机器人多采用遥控或自主行进模式作业，且在灭灾、灌溉、施肥等场景中的应用越来越多。
现有方案中农林机器人在作业中无法主动判断周围物体的属性，只能按照程序或人工事先设定好的路线行进，通过红外传感器或激光传感器等来检测障碍物以防止碰撞的发生。但使用传感器进行障碍物的检测，常常会发生检测不准确的情况。这样容易导致农林机器人对障碍物的避障不够及时的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高农林机器人的避障能力的农林机器人避障方法、装置、计算机设备和存储介质。
一种农林机器人避障方法，所述方法包括：
当农林机器人在目标农林场景中按照第一作业路径执行农业作业任务时，通过所述农林机器人上的图像采集装置采集周围环境的图像数据；
通过所述农林机器人上的图像处理模型对所述图像数据进行处理，识别出所述图像数据中的障碍物信息；所述图像处理模型基于地形仿真模型包括的数据训练得到，所述地形仿真模型包括所述目标农林场景的农林数字资产信息；
将所述障碍物信息反馈至服务器，以使所述服务器根据所述障碍物信息更新所述地形仿真模型，并基于更新后的地形仿真模型重新规划第二作业路径；
接收所述服务器反馈的所述第二作业路径，并切换至按照所述第二作业路径继续执行所述农林作业任务，以避开所述障碍物信息所对应的障碍物。
在一个实施例中，所述图像数据为多个；所述障碍物信息包括位置信息和运动信息；所述通过所述农林机器人上的图像处理模型对所述图像数据进行处理，识别出所述图像数据中的障碍物信息，包括：
通过所述农林机器人上的图像处理模型分别对各所述图像数据进行处理；
当所述图像数据中存在障碍物时，输出所述障碍物的位置信息；
在根据各所述图像数据分别输出的位置信息不一致时，判定所述障碍物为运动障碍物，并确定所述运动障碍物的运动信息。
在一个实施例中，所述接收所述服务器反馈的所述第二作业路径，并切换至按照所述第二作业路径继续执行所述农林作业任务，以避开所述障碍物信息所对应的障碍物，包括：
接收所述服务器反馈的所述第二作业路径；所述第二作业路径为所述服务器在所述农林机器人的剩余电量低于更新作业路径的作业功耗时，调整所述候选作业路径得到的经过充电设备的作业路径；
切换至按照所述第二作业路径继续执行所述农林作业任务，以避开所述障碍物信息所对应的障碍物，并在前进至所述充电设备后进行充电。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
当农林机器人在目标农林场景中按照第一作业路径执行农业作业任务时，通过所述农林机器人上的图像采集装置采集周围环境的图像数据；
通过所述农林机器人上的图像处理模型对所述图像数据进行处理，识别出所述图像数据中的障碍物信息；所述图像处理模型基于地形仿真模型包括的数据训练得到，所述地形仿真模型包括所述目标农林场景的农林数字资产信息；
将所述障碍物信息反馈至服务器，以使所述服务器根据所述障碍物信息更新所述地形仿真模型，并基于更新后的地形仿真模型重新规划第二作业路径；
接收所述服务器反馈的所述第二作业路径，并切换至按照所述第二作业路径继续执行所述农林作业任务，以避开所述障碍物信息所对应的障碍物。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
当农林机器人在目标农林场景中按照第一作业路径执行农业作业任务时，通过所述农林机器人上的图像采集装置采集周围环境的图像数据；
通过所述农林机器人上的图像处理模型对所述图像数据进行处理，识别出所述图像数据中的障碍物信息；所述图像处理模型基于地形仿真模型包括的数据训练得到，所述地形仿真模型包括所述目标农林场景的农林数字资产信息；
将所述障碍物信息反馈至服务器，以使所述服务器根据所述障碍物信息更新所述地形仿真模型，并基于更新后的地形仿真模型重新规划第二作业路径；
接收所述服务器反馈的所述第二作业路径，并切换至按照所述第二作业路径继续执行所述农林作业任务，以避开所述障碍物信息所对应的障碍物。
一种农林机器人避障方法，所述方法包括：
获取障碍物信息；所述障碍物信息为农林机器人在目标农林场景中按照第一作业路径执行农业作业任务时，通过所述农林机器人上的图像处理模型对周围环境的图像数据识别得到；所述图像处理模型基于地形仿真模型包括的数据训练得到，所述地形仿真模型包括所述目标农林场景的农林数字资产信息；
根据所述障碍物信息更新所述目标农林场景对应的地形仿真模型；
基于更新后的所述地形仿真模型，重新规划避开所述障碍物信息所对应的障碍物、且与所述农业作业任务匹配的第二作业路径；
将所述第二作业路径反馈至所述农林机器人，以指示所述农林机器人切换至按照所述第二作业路径继续执行所述农林作业任务。
在一个实施例中，所述基于更新后的所述地形仿真模型，重新规划避开所述障碍物信息所对应的障碍物、且与所述农业作业任务匹配的第二作业路径，包括：
基于更新后的所述地形仿真模型，重新规划避开所述障碍物信息所对应的障碍物、且与所述农业作业任务匹配的候选作业路径；
预测所述候选作业路径对应的作业功耗；
当所述农林机器人的剩余电量低于所述作业功耗时，调整所述候选作业路径，得到经过充电设备的第二作业路径。
在一个实施例中，所述方法还包括：
根据所述第二作业路径包括的路段在所述地形仿真模型中对应的地形参数，计算所述第二作业路径包括的路段分别对应的行进速度；
对于所述第二作业路径包括的路段的长度和相应的行进速度，预测所述农林机器人依据所述第二作业路径完成所述农林作业任务时对应的作业时间；
将所述作业时间反馈至控制所述农林机器人的用户终端。
一种农林机器人避障装置，所述装置包括：
获取模块，用于获取障碍物信息；所述障碍物信息为农林机器人在目标农林场景中按照第一作业路径执行农业作业任务时，通过所述农林机器人上的图像处理模型对周围环境的图像数据识别得到；所述图像处理模型基于地形仿真模型包括的数据训练得到，所述地形仿真模型包括所述目标农林场景的农林数字资产信息；
更新模块，用于根据所述障碍物信息更新所述目标农林场景对应的地形仿真模型；基于更新后的所述地形仿真模型，重新规划避开所述障碍物信息所对应的障碍物、且与所述农业作业任务匹配的第二作业路径；
反馈模块，用于将所述第二作业路径反馈至所述农林机器人，以指示所述农林机器人切换至按照所述第二作业路径继续执行所述农林作业任务。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取障碍物信息；所述障碍物信息为农林机器人在目标农林场景中按照第一作业路径执行农业作业任务时，通过所述农林机器人上的图像处理模型对周围环境的图像数据识别得到；所述图像处理模型基于地形仿真模型包括的数据训练得到，所述地形仿真模型包括所述目标农林场景的农林数字资产信息；
根据所述障碍物信息更新所述目标农林场景对应的地形仿真模型；
基于更新后的所述地形仿真模型，重新规划避开所述障碍物信息所对应的障碍物、且与所述农业作业任务匹配的第二作业路径；
将所述第二作业路径反馈至所述农林机器人，以指示所述农林机器人切换至按照所述第二作业路径继续执行所述农林作业任务。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取障碍物信息；所述障碍物信息为农林机器人在目标农林场景中按照第一作业路径执行农业作业任务时，通过所述农林机器人上的图像处理模型对周围环境的图像数据识别得到；所述图像处理模型基于地形仿真模型包括的数据训练得到，所述地形仿真模型包括所述目标农林场景的农林数字资产信息；
根据所述障碍物信息更新所述目标农林场景对应的地形仿真模型；
基于更新后的所述地形仿真模型，重新规划避开所述障碍物信息所对应的障碍物、且与所述农业作业任务匹配的第二作业路径；
将所述第二作业路径反馈至所述农林机器人，以指示所述农林机器人切换至按照所述第二作业路径继续执行所述农林作业任务。
上述农林机器人避障方法、装置、计算机设备和存储介质，当农林机器人在目标农林场景中运动时，可通过农林机器人上的图像采集装置采集农林机器人的周围环境的图像数据，进而通过图像处理模型对图像数据进行处理，以从图像数据中识别出障碍物信息。其中，图像处理模型基于地形仿真模型包括的数据训练得到，地形仿真模型包括所述目标农林场景的农林数字资产信息，那么，在采用图像处理模型进行识别时能够识别出障碍物信息反馈给服务器，这样服务器即可根据障碍物信息更新地形仿真模型，并基于更新后的地形仿真模型重新规划第二作业路径反馈给农林机器人，农林机器人再切换至按照第二作业路径继续执行农林作业任务，以避开障碍物信息所对应的障碍物，及时和精准地避障，大大提高了农林机器人的避障能力。此外，本申请中的农林机器人在硬件方面无需安装激光雷达等传感器，大大降低了农林机器人的硬件成本。
附图说明
图1为一个实施例中农林机器人避障方法的应用环境图；
图2为一个实施例中农林机器人避障方法的流程示意图；
图3为一个实施例中图像处理模型对图像数据进行处理的流程示意图；
图4为另一个实施例中农林机器人避障方法的流程示意图；
图5为一个实施例中农林机器人避障装置的结构框图；
图6为另一个实施例中农林机器人避障装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的农林机器人避障方法，可以应用于如图1所示的应用环境中。其中，农林机器人106通过网络与服务器104进行通信，服务器104通过网络与终端102进行通信。农林机器人106具体可以是可以运动并执行农林作业的机器人设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。在另外的实施例中，农林机器人106也可以通过网络直接与终端102进行通信。
具体地，农林机器人106与服务器104均用于执行农林机器人避障方法。具体地，终端102可发起作业指令，通过服务器104控制农林机器人106执行农林作业任务。在农林机器人106侧，农林机器人106部署有图像采集设备，可以采集农林机器人在行进过程中的周围环境的图像数据，该农林机器人106内部集成有图像处理模型，可用于对图像数据进行处理，识别出图像数据中的障碍物信息，反馈至服务器104。在服务器104侧，根据障碍物信息更新农林机器人106作业的目标农林场景所对应的地形仿真模型，基于更新后的地形仿真模型，重新规划避开障碍物信息所对应的障碍物、且与农业作业任务匹配的第二作业路径反馈至农林机器人，这样农林机器人则可切换至按照第二作业路径继续执行农林作业任务，以避开障碍物信息所对应的障碍物。
在一个实施例中，如图2所示，提供了一种农林机器人避障方法，以该方法应用于图1中的农林机器人106为例进行说明，包括以下步骤：
步骤202，当农林机器人在目标农林场景中按照第一作业路径执行农业作业任务时，通过农林机器人上的图像采集装置采集周围环境的图像数据。
其中，图像采集装置是用于进行图像数据采集的装置，具体可以是安装在农林机器人前端的摄像头。具体地，农林机器人可根据作业指令按照一定的作业路径执行农业作业任务。在农林机器人在目标农林场景中按照第一作业路径执行农业作业任务时，可以通过其上的图像采集装置采集周围环境的图像数据。可以理解，此处的图像数据具体可以是单张的图片，也可以是一帧帧的视频流数据。
在一个实施例中，农业作业任务包括灌溉任务、施肥任务、除草任务和灭灾任务中的至少一种。可以理解，当农林机器人在目标农林场景中执行农林作业任务时，通常会需要从一个地点按照一定的作业路径行进至另一个地点，而如果在行进的途中遇到了障碍物就需要避让。
步骤204，通过农林机器人上的图像处理模型对图像数据进行处理，识别出图像数据中的障碍物信息；图像处理模型基于地形仿真模型包括的数据训练得到，地形仿真模型包括目标农林场景的农林数字资产信息。
其中，图像处理模型是用于进行图像处理的神经网络模型，具有目标检测的功能，具体可以是Faster R-CNN(Faster Region-Convolutional Neural Network，更快的区域卷积神经网络)、SSD(Single Shot MultiBox Detector，一种目标检测模型)或YOLO(Youonly look once，一种目标检测模型)等模型。
障碍物信息是第一作业路径上的阻碍农林机器人正常行进的对象的信息。阻碍农林机器人正常行进的对象可以是当前的地形仿真模型未包括的对象。
具体地，农林机器人可将农林机器人的图像采集装置捕捉到的图像数据传输到处理器，处理器基于图像处理模型对图像数据的图像内容进行实时识别，从而检测出第一作业路径上是否存在障碍物。
可以理解，地形仿真模型是通过计算机技术根据实际的农林场景模拟出的虚拟模型。地形仿真模型具体根据数字地形模型和农林数字资产信息共同构建得到。在本申请中，地形仿真模型包括目标农林场景的农林数字资产信息，而图像处理模型基于地形仿真模型包括的数据训练得到，实际场地中的物体在数字地形模型中都有对应虚拟模型，可使得农林机器人可识别具体的数字资产，比如农作物、植被、动物等常见物体。而且第一作业路径基于地形仿真模型规划得到，故农林机器人对障碍物的识别速度、效果会较好。那么图像处理模型可以快速且准确地识别出图像数据中第一作业路径上的障碍物，得到障碍物信息。
在一个实施例中，地形仿真模型包括目标农林场景的农林数字资产信息，则各类农林数字资产比如农作物或者植被等，在地形仿真模型中都有对应的虚拟模型。这样，农林机器人上的图像处理模型对图像数据进行处理时，可基于农林数字资产对应虚拟模型，识别出各种农林数字资产，进而可识别出除农林数字资产外的障碍物。另外，服务器在根据地形仿真模型进行作业路径规划时，也可基于农林数字资产对应虚拟模型，规划出避开农林数字资产的作业路径。
在一个实施例中，图像数据为多个；障碍物信息包括位置信息和运动信息。
具体地，农林机器人在作业过程中，可以不断地通过图像采集装置采集周围环境的图像数据，不断得到新的图像数据，也就是说图像处理为多个。农林机器人上的图像处理模型也是不断地对新采集到的图像数据进行处理。
其中，位置信息是描述障碍物在目标农林场景中位置的信息，比如位置坐标信息等。运动信息是描述障碍物运动状态的信息，比如运动方向、速度及加速度等。障碍物包括禁止障碍物和运动障碍物，禁止障碍物的运动信息可缺省。
在一个实施例中，通过农林机器人上的图像处理模型对图像数据进行处理，识别出图像数据中的障碍物信息，包括：通过农林机器人上的图像处理模型分别对各图像数据进行处理；当图像数据中存在障碍物时，输出障碍物的位置信息；在根据各图像数据分别输出的位置信息不一致时，判定障碍物为运动障碍物，并确定运动障碍物的运动信息。
具体地，农林机器人上的图像处理模型会对图像采集装置采集到的图像依次进行处理，对于每一帧图像数据，在识别出障碍物后，基于图像单目侧记算法，计算出障碍物与农林机器人之间的距离，再结合农林机器人自身的定位信息，得到障碍物的位置信息。也就是说，对于每个经过图像处理模型的处理，且识别出障碍物的图像，均会得到一个障碍物的位置信息。在连续采集的图像数据中，得到的相同的障碍物的位置信息不一致时，判定障碍物为运动障碍物，并确定运动障碍物的运动信息，在连续采集的图像数据中，得到的相同的障碍物的位置信息一致时，判定障碍物为静止障碍物，运动信息设置为缺省。
在一个具体的实施例中，图像处理模型具体可以是Faster R-CNN网络，Faster R-CNN网络对图像数据的处理流程可参考图3。该网络对于一副任意大小PxQ的图像，首先缩放至固定大小MxN，然后将MxN图像送入网络，而卷积结构中包含了13个conv层(卷积层)、13个relu层(relu激活层)和4个pooling层(池化层)，输出特征图(Feature Map)。Feature Map首先经过3x3卷积，然后一方面经过1x1卷积输出WxHx18大小的图像传递至reshape函数进行矩阵变化，再经过softmax分类后，再次传递至reshape函数进行矩阵变化后输入proposal(建议层)，另一方面经过1x1卷积输出WxHx36大小的图像直接传递proposal。Proposal再将处理结果传递至Roi Pooling层(感兴趣区域池化层)再结合Feature Map提取特征送入后续全连接，一方面得到偏移量bbox_pred，另一方面再经过softmax网络作分类，得到分类的cls_prob概率向量，识别出第一作业路径上是否存在当前地形仿真模型中不包括的对象，即障碍物。
上述实施例中，提供了针对运动障碍物的判断和躲避能力。
在一个实施例中，农林机器人判定障碍物为运动障碍物，并确定运动障碍物的运动信息后，可以在本地根据运动障碍物的运动信息和位置信息，预测运动障碍物的运动趋势，以判断是否需要更新作业路径。比如，预测出在农林机器人到达运动障碍物所在位置时，运动障碍物已经离开，则无需更新作业路径；在预测出在农林机器人到达运动障碍物所在位置时，运动障碍物还未离开，则需要更新作业路径。农林机器人判定障碍物为禁止障碍物时，则直接判断需要更新作业路径。
在一个实施例中，农林机器人在判断需要更新作业路径时，可将障碍物信息反馈至服务器，由服务器进行作业路径更新；也可在本地进行作业路径更新。
步骤206，将障碍物信息反馈至服务器，以使服务器根据障碍物信息更新地形仿真模型，并基于更新后的地形仿真模型重新规划第二作业路径。
具体地，农林机器人将障碍物信息反馈至服务器，服务器根据障碍物信息更新地形仿真模型，再基于更新后的地形仿真模型重新规划第二作业路径。其中，服务器在基于更新后的地形仿真模型重新规划第二作业路径时，一方面会先基于更新后的地形仿真模型重新规划至少一个候选作业路径，并计算农林机器人按照候选作业路径继续执行农林作业任务的作业功耗，另一方面会获取农林机器人的剩余电量；然后服务器再将农林机器人的剩余电量与农林机器人按照候选作业路径继续执行农林作业任务的作业功耗进行比较。当农林机器人的剩余电量高于按照候选作业路径继续执行农林作业任务的作业功耗，则直接将候选作业路径反馈至农林机器人，当农林机器人的剩余电量低于按照候选作业路径继续执行农林作业任务的作业功耗，则调整候选作业路径使得候选作业路径经过充电设备，再将调整后的候选作业路径反馈至农林机器人。
步骤208，接收服务器反馈的第二作业路径，并切换至按照第二作业路径继续执行农林作业任务，以避开障碍物信息所对应的障碍物。
具体地，农林机器人在接收到服务器反馈的第二作业路径后，切换至按照第二作业路径继续执行农林作业任务，以避开障碍物信息所对应的障碍物。
在一个实施例中，步骤208，包括：接收服务器反馈的第二作业路径；第二作业路径为服务器在农林机器人的剩余电量低于更新作业路径的作业功耗时，调整候选作业路径得到的经过充电设备的作业路径；切换至按照第二作业路径继续执行农林作业任务，以避开障碍物信息所对应的障碍物，并在前进至充电设备后进行充电。
具体地，农林机器人在接收到服务器反馈的第二作业路径后，切换至按照第二作业路径继续执行农林作业任务，以避开障碍物信息所对应的障碍物。当第二作业路径经过充电设备，且农林机器人按照第二作业路径行进至充电设备的过程中未检测到新的障碍物时，则在充电设备处进行充电后再继续执行农林作业任务。若第二作业路径经过充电设备，但农林机器人按照第二作业路径行进至充电设备的过程中检测到新的障碍物，则可能需要再次更新作业路径。那么在确定需要再次更新作业路径时，则切换至新的作业路径再继续执行农林作业任务。在需要充电时，在新的作业路径经过的充电设备充电。
在本实施例中，可以结合农林机器人实时的电量规划路径，在农林机器人实时的电量不足以支撑农林机器人一次执行完农林作业任务时，规划路径经过充电设备，以避免农林机器人作业过程中电量耗尽的场景。
上述农林机器人避障方法，当农林机器人在目标农林场景中运动时，可通过农林机器人上的图像采集装置采集农林机器人的周围环境的图像数据，进而通过图像处理模型对图像数据进行处理，以从图像数据中识别出障碍物信息。其中，图像处理模型基于地形仿真模型包括的数据训练得到，地形仿真模型包括所述目标农林场景的农林数字资产信息，那么，在采用图像处理模型进行识别时能够识别出障碍物信息反馈给服务器，这样服务器即可根据障碍物信息更新地形仿真模型，并基于更新后的地形仿真模型重新规划第二作业路径反馈给农林机器人，农林机器人再切换至按照第二作业路径继续执行农林作业任务，以避开障碍物信息所对应的障碍物，及时和精准地避障，大大提高了农林机器人的避障能力。此外，本申请中的农林机器人在硬件方面无需安装激光雷达等传感器，大大降低了农林机器人的硬件成本。
在一个实施例中，应用于农林机器人的农林机器人避障方法还包括：将障碍物信息反馈至服务器，以使服务器根据障碍物信息更新地形仿真模型，基于更新后的地形仿真模型重新规划与农业作业任务匹配的候选作业路径，并在农林机器人的剩余电量低于候选作业路径的作业功耗时，调整候选作业路径得到经过充电设备的第三作业路径；接收服务器反馈的第三作业路径，并切换至按照第三作业路径继续执行农林作业任务，以避开障碍物信息所对应的障碍物，以及在前进至充电设备后进行充电。
具体地，农林机器人在得到障碍物信息后，可将障碍物信息反馈至服务器，服务器根据障碍物信息更新地形仿真模型，再基于更新后的地形仿真模型重新规划作业路径。在重新规划作业路径时，服务器一方面会先基于更新后的地形仿真模型重新规划至少一个候选作业路径，并计算农林机器人按照候选作业路径继续执行农林作业任务的作业功耗，另一方面会获取农林机器人的剩余电量；然后服务器再将农林机器人的剩余电量与农林机器人按照候选作业路径继续执行农林作业任务的作业功耗进行比较。当农林机器人的剩余电量高于按照候选作业路径继续执行农林作业任务的作业功耗，则直接将候选作业路径作为第三作业路径反馈至农林机器人；当农林机器人的剩余电量低于按照候选作业路径继续执行农林作业任务的作业功耗，则调整候选作业路径使得候选作业路径经过充电设备，再将调整后的候选作业路径作为第三作业路径反馈至农林机器人。
进一步地，农林机器人在接收到服务器反馈的第三作业路径后，切换至按照第三作业路径继续执行农林作业任务，以避开障碍物信息所对应的障碍物。当第三作业路径经过充电设备，且农林机器人按照第三作业路径行进至充电设备的过程中未检测到新的障碍物时，则在充电设备处进行充电后再继续执行农林作业任务。若第三作业路径经过充电设备，但农林机器人按照第三作业路径行进至充电设备的过程中检测到新的障碍物，则可能需要再次更新作业路径。那么在确定需要再次更新作业路径时，则切换至新的作业路径再继续执行农林作业任务。在需要充电时，在新的作业路径经过的充电设备充电。
可以理解，上述实施例中的第三作业路径与第二作业路径可以相同。
上述实施例中，可以结合农林机器人实时的电量规划路径，在农林机器人实时的电量不足以支撑农林机器人一次执行完农林作业任务时，规划路径经过充电设备，以避免农林机器人作业过程中电量耗尽的场景。
在一个实施例中，如图4所示，提供了一种农林机器人避障方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
步骤402，获取障碍物信息；障碍物信息为农林机器人在目标农林场景中按照第一作业路径执行农业作业任务时，通过农林机器人上的图像处理模型对周围环境的图像数据识别得到；图像处理模型基于地形仿真模型包括的数据训练得到，地形仿真模型包括目标农林场景的农林数字资产信息。
步骤404，根据障碍物信息更新目标农林场景对应的地形仿真模型。
步骤406，基于更新后的地形仿真模型，重新规划避开障碍物信息所对应的障碍物、且与农业作业任务匹配的第二作业路径。
在一个实施例中，步骤406，包括：基于更新后的地形仿真模型，重新规划避开障碍物信息所对应的障碍物、且与农业作业任务匹配的候选作业路径；预测候选作业路径对应的作业功耗；当农林机器人的剩余电量低于作业功耗时，调整候选作业路径，得到经过充电设备的第二作业路径。
可以理解，服务器可基于每条候选作业路径的路径长度，也就是相应的作业里程数，在服务器中模拟出计算所需电量。具体地，对于每一条候选作业路径，服务器均可通过以下方式预测农林机器人假如按照该候选作业路径执行农林作业时所需的耗电量：服务器可依据该条作业路线的地形参数，比如坡度和道路状况，来模拟农林机器人的行进速度与状态。比如，农林机器人在正常路况的速度为V，通过多次模拟实验测算出不同坡度和道路状况的速度来得到对应系数Y，继而服务器可以根据地形仿真模型计算出候选作业路径中每个路段农林机器人对应的行进速度为V*Y。进而服务器可基于该条作业路径中各个路段所对应的速度和路程数据来计算相应的耗电量。比如，农林机器人的作业功率为W，一条作业路径中的各个路段所需时间计算公式为该路段的长度除以相应的行进速度(t＝L/V*Y)，然后将该条作业路径中所有路段各自对应的时间相加得到总的时间T，从而我们可以得到全程的耗电量Q＝W*T。
步骤408，将第二作业路径反馈至农林机器人，以指示农林机器人切换至按照第二作业路径继续执行农林作业任务。
可以理解，上述实施例中农林机器人避障方法，与前述实施例中的农林机器人避障方法是基于相同技术构思的由不同执行主体执行的技术方案，由服务器执行的步骤及由农林机器人执行的步骤可具体参考在前的实施例中的描述。
上述农林机器人避障方法，当农林机器人在目标农林场景中运动时，可通过农林机器人上的图像采集装置采集农林机器人的周围环境的图像数据，进而通过图像处理模型对图像数据进行处理，以从图像数据中识别出障碍物信息。其中，图像处理模型基于地形仿真模型包括的数据训练得到，地形仿真模型包括所述目标农林场景的农林数字资产信息，那么，在采用图像处理模型进行识别时能够识别出障碍物信息反馈给服务器，这样服务器即可根据障碍物信息更新地形仿真模型，并基于更新后的地形仿真模型重新规划第二作业路径反馈给农林机器人，农林机器人再切换至按照第二作业路径继续执行农林作业任务，以避开障碍物信息所对应的障碍物，及时和精准地避障，大大提高了农林机器人的避障能力。此外，本申请中的农林机器人在硬件方面无需安装激光雷达等传感器，大大降低了农林机器人的硬件成本。
在一个实施例中，农林机器人避障方法还包括：根据第二作业路径包括的路段在地形仿真模型中对应的地形参数，计算第二作业路径包括的路段分别对应的行进速度；对于第二作业路径包括的路段的长度和相应的行进速度，预测农林机器人依据第二作业路径完成农林作业任务时对应的作业时间；将作业时间反馈至控制农林机器人的用户终端。
可以理解，服务器可基于第二作业路径的路径长度，也就是相应的作业里程数，在服务器中模拟出计算所需时间。具体地，服务器可依据该条第二作业路径的地形参数，比如坡度和道路状况，来模拟农林机器人的行进速度与状态。比如，农林机器人在正常路况的速度为V，通过多次模拟实验测算出不同坡度和道路状况的速度来得到对应系数Y，继而服务器可以根据地形仿真模型计算出作业路径中每个路段农林机器人对应的行进速度为V*Y。进而服务器可基于该条作业路径中各个路段所对应的速度和路程数据来计算相应的作业时间，进而预测出农林机器人依据第二作业路径完成农林作业任务时对应的作业时间。
进一步地，服务器还可将预测的作业时间反馈至用户终端，该用户终端是控制农林机器人执行农林作业任务的用户所使用的终端，那么用户终端可以通过显示作业时间以提示用户农林机器人的预计作业时间。
上述实施例中，可基于作业路径各自在地形仿真模型中的地形参数，来计算作业路径所包括的路段分别对应的行进速度。从而可基于作业路径各自所包括的路段的长度和相应的行进速度，准确快速地预测农林机器人依据作业路径完成农林作业时分别对应的作业时间反馈至用户，方便用户实时了解作业情况。
应该理解的是，虽然图2和4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种农林机器人避障装置，包括：采集模块501、识别模块502、反馈模块503和避障模块504，其中：
采集模块501，用于当农林机器人在目标农林场景中按照第一作业路径执行农业作业任务时，通过农林机器人上的图像采集装置采集周围环境的图像数据；
识别模块502，用于通过农林机器人上的图像处理模型对图像数据进行处理，识别出图像数据中的障碍物信息；图像处理模型基于地形仿真模型包括的数据训练得到，地形仿真模型包括目标农林场景的农林数字资产信息；
反馈模块503，用于将障碍物信息反馈至服务器，以使服务器根据障碍物信息更新地形仿真模型，并基于更新后的地形仿真模型重新规划第二作业路径；
避障模块504，用于接收服务器反馈的第二作业路径，并切换至按照第二作业路径继续执行农林作业任务，以避开障碍物信息所对应的障碍物。
在一个实施例中，图像数据为多个；障碍物信息包括位置信息和运动信息。识别模块502还用于通过农林机器人上的图像处理模型分别对各图像数据进行处理；当图像数据中存在障碍物时，输出障碍物的位置信息；在根据各图像数据分别输出的位置信息不一致时，判定障碍物为运动障碍物，并确定运动障碍物的运动信息。
在一个实施例中，避障模块504还用于接收服务器反馈的第二作业路径；第二作业路径为服务器在农林机器人的剩余电量低于更新作业路径的作业功耗时，调整候选作业路径得到的经过充电设备的作业路径；切换至按照第二作业路径继续执行农林作业任务，以避开障碍物信息所对应的障碍物，并在前进至充电设备后进行充电。
在一个实施例中，如图6所示，提供了一种农林机器人避障装置，包括：获取模块601、更新模块602和反馈模块603，其中：
获取模块601，用于获取障碍物信息；障碍物信息为农林机器人在目标农林场景中按照第一作业路径执行农业作业任务时，通过农林机器人上的图像处理模型对周围环境的图像数据识别得到；图像处理模型基于地形仿真模型包括的数据训练得到，地形仿真模型包括目标农林场景的农林数字资产信息；
更新模块602，用于根据障碍物信息更新目标农林场景对应的地形仿真模型；基于更新后的地形仿真模型，重新规划避开障碍物信息所对应的障碍物、且与农业作业任务匹配的第二作业路径；
反馈模块603，用于将第二作业路径反馈至农林机器人，以指示农林机器人切换至按照第二作业路径继续执行农林作业任务。
在一个实施例中，更新模块602还用于基于更新后的地形仿真模型，重新规划避开障碍物信息所对应的障碍物、且与农业作业任务匹配的候选作业路径；预测候选作业路径对应的作业功耗；当农林机器人的剩余电量低于作业功耗时，调整候选作业路径，得到经过充电设备的第二作业路径。
在一个实施例中，更新模块602还用于根据第二作业路径包括的路段在地形仿真模型中对应的地形参数，计算第二作业路径包括的路段分别对应的行进速度；对于第二作业路径包括的路段的长度和相应的行进速度，预测农林机器人依据第二作业路径完成农林作业任务时对应的作业时间；反馈模块603还用于将作业时间反馈至控制农林机器人的用户终端。
上述农林机器人避障装置，当农林机器人在目标农林场景中运动时，可通过农林机器人上的图像采集装置采集农林机器人的周围环境的图像数据，进而通过图像处理模型对图像数据进行处理，以从图像数据中识别出障碍物信息。其中，图像处理模型基于地形仿真模型包括的数据训练得到，地形仿真模型包括所述目标农林场景的农林数字资产信息，那么，在采用图像处理模型进行识别时能够识别出障碍物信息反馈给服务器，这样服务器即可根据障碍物信息更新地形仿真模型，并基于更新后的地形仿真模型重新规划第二作业路径反馈给农林机器人，农林机器人再切换至按照第二作业路径继续执行农林作业任务，以避开障碍物信息所对应的障碍物，及时和精准地避障，大大提高了农林机器人的避障能力。此外，本申请中的农林机器人在硬件方面无需安装激光雷达等传感器，大大降低了农林机器人的硬件成本。
关于农林机器人避障装置的具体限定可以参见上文中对于农林机器人避障方法的限定，在此不再赘述。上述农林机器人避障装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器或者农林机器人，其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储农林机器人避障数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种农林机器人避障方法。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：当农林机器人在目标农林场景中按照第一作业路径执行农业作业任务时，通过农林机器人上的图像采集装置采集周围环境的图像数据；通过农林机器人上的图像处理模型对图像数据进行处理，识别出图像数据中的障碍物信息；图像处理模型基于地形仿真模型包括的数据训练得到，地形仿真模型包括目标农林场景的农林数字资产信息；将障碍物信息反馈至服务器，以使服务器根据障碍物信息更新地形仿真模型，并基于更新后的地形仿真模型重新规划第二作业路径；接收服务器反馈的第二作业路径，并切换至按照第二作业路径继续执行农林作业任务，以避开障碍物信息所对应的障碍物。
在一个实施例中，图像数据为多个；障碍物信息包括位置信息和运动信息；通过农林机器人上的图像处理模型对图像数据进行处理，识别出图像数据中的障碍物信息，包括：通过农林机器人上的图像处理模型分别对各图像数据进行处理；当图像数据中存在障碍物时，输出障碍物的位置信息；在根据各图像数据分别输出的位置信息不一致时，判定障碍物为运动障碍物，并确定运动障碍物的运动信息。
在一个实施例中，接收服务器反馈的第二作业路径，并切换至按照第二作业路径继续执行农林作业任务，以避开障碍物信息所对应的障碍物，包括：接收服务器反馈的第二作业路径；第二作业路径为服务器在农林机器人的剩余电量低于更新作业路径的作业功耗时，调整候选作业路径得到的经过充电设备的作业路径；切换至按照第二作业路径继续执行农林作业任务，以避开障碍物信息所对应的障碍物，并在前进至充电设备后进行充电。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取障碍物信息；障碍物信息为农林机器人在目标农林场景中按照第一作业路径执行农业作业任务时，通过农林机器人上的图像处理模型对周围环境的图像数据识别得到；图像处理模型基于地形仿真模型包括的数据训练得到，地形仿真模型包括目标农林场景的农林数字资产信息；根据障碍物信息更新目标农林场景对应的地形仿真模型；基于更新后的地形仿真模型，重新规划避开障碍物信息所对应的障碍物、且与农业作业任务匹配的第二作业路径；将第二作业路径反馈至农林机器人，以指示农林机器人切换至按照第二作业路径继续执行农林作业任务。
在一个实施例中，基于更新后的地形仿真模型，重新规划避开障碍物信息所对应的障碍物、且与农业作业任务匹配的第二作业路径，包括：基于更新后的地形仿真模型，重新规划避开障碍物信息所对应的障碍物、且与农业作业任务匹配的候选作业路径；预测候选作业路径对应的作业功耗；当农林机器人的剩余电量低于作业功耗时，调整候选作业路径，得到经过充电设备的第二作业路径。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据第二作业路径包括的路段在地形仿真模型中对应的地形参数，计算第二作业路径包括的路段分别对应的行进速度；对于第二作业路径包括的路段的长度和相应的行进速度，预测农林机器人依据第二作业路径完成农林作业任务时对应的作业时间；将作业时间反馈至控制农林机器人的用户终端。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：当农林机器人在目标农林场景中按照第一作业路径执行农业作业任务时，通过农林机器人上的图像采集装置采集周围环境的图像数据；通过农林机器人上的图像处理模型对图像数据进行处理，识别出图像数据中的障碍物信息；图像处理模型基于地形仿真模型包括的数据训练得到，地形仿真模型包括目标农林场景的农林数字资产信息；将障碍物信息反馈至服务器，以使服务器根据障碍物信息更新地形仿真模型，并基于更新后的地形仿真模型重新规划第二作业路径；接收服务器反馈的第二作业路径，并切换至按照第二作业路径继续执行农林作业任务，以避开障碍物信息所对应的障碍物。
在一个实施例中，图像数据为多个；障碍物信息包括位置信息和运动信息；通过农林机器人上的图像处理模型对图像数据进行处理，识别出图像数据中的障碍物信息，包括：通过农林机器人上的图像处理模型分别对各图像数据进行处理；当图像数据中存在障碍物时，输出障碍物的位置信息；在根据各图像数据分别输出的位置信息不一致时，判定障碍物为运动障碍物，并确定运动障碍物的运动信息。
在一个实施例中，接收服务器反馈的第二作业路径，并切换至按照第二作业路径继续执行农林作业任务，以避开障碍物信息所对应的障碍物，包括：接收服务器反馈的第二作业路径；第二作业路径为服务器在农林机器人的剩余电量低于更新作业路径的作业功耗时，调整候选作业路径得到的经过充电设备的作业路径；切换至按照第二作业路径继续执行农林作业任务，以避开障碍物信息所对应的障碍物，并在前进至充电设备后进行充电。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取障碍物信息；障碍物信息为农林机器人在目标农林场景中按照第一作业路径执行农业作业任务时，通过农林机器人上的图像处理模型对周围环境的图像数据识别得到；图像处理模型基于地形仿真模型包括的数据训练得到，地形仿真模型包括目标农林场景的农林数字资产信息；根据障碍物信息更新目标农林场景对应的地形仿真模型；基于更新后的地形仿真模型，重新规划避开障碍物信息所对应的障碍物、且与农业作业任务匹配的第二作业路径；将第二作业路径反馈至农林机器人，以指示农林机器人切换至按照第二作业路径继续执行农林作业任务。
在一个实施例中，基于更新后的地形仿真模型，重新规划避开障碍物信息所对应的障碍物、且与农业作业任务匹配的第二作业路径，包括：基于更新后的地形仿真模型，重新规划避开障碍物信息所对应的障碍物、且与农业作业任务匹配的候选作业路径；预测候选作业路径对应的作业功耗；当农林机器人的剩余电量低于作业功耗时，调整候选作业路径，得到经过充电设备的第二作业路径。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据第二作业路径包括的路段在地形仿真模型中对应的地形参数，计算第二作业路径包括的路段分别对应的行进速度；对于第二作业路径包括的路段的长度和相应的行进速度，预测农林机器人依据第二作业路径完成农林作业任务时对应的作业时间；将作业时间反馈至控制农林机器人的用户终端。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种农林机器人避障方法，其特征在于，应用于农林机器人，所述方法包括：
当农林机器人在目标农林场景中按照基于地形仿真模型规划得到的第一作业路径执行农业作业任务时，通过所述农林机器人上的图像采集装置采集周围环境的图像数据；
通过所述农林机器人上的图像处理模型对所述图像数据进行处理时，基于所述目标农林场景的农林数字资产信息对应的虚拟模型，识别出所述图像数据中的障碍物信息；所述图像处理模型是基于地形仿真模型包括的数据训练得到的，用于进行图像处理，具有目标检测的功能的神经网络模型；所述地形仿真模型包括所述目标农林场景的农林数字资产信息和所述农林数字资产信息对应的虚拟模型；
将所述障碍物信息反馈至服务器，以使所述服务器根据所述障碍物信息更新所述地形仿真模型，并基于更新后的地形仿真模型，根据所述农林机器人的剩余电量重新规划第二作业路径；其中，所述第二作业路径经过充电设备；
接收所述服务器反馈的所述第二作业路径，并切换至按照所述第二作业路径继续执行所述农业作业任务，以避开所述障碍物信息所对应的障碍物。
2.根据权利要求1所述的方法，其特征在于，所述图像数据为多个；所述障碍物信息包括位置信息和运动信息；所述通过所述农林机器人上的图像处理模型对所述图像数据进行处理，识别出所述图像数据中的障碍物信息，包括：
通过所述农林机器人上的图像处理模型分别对各所述图像数据进行处理；
当所述图像数据中存在障碍物时，输出所述障碍物的位置信息；
在根据各所述图像数据分别输出的位置信息不一致时，判定所述障碍物为运动障碍物，并确定所述运动障碍物的运动信息。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述障碍物信息反馈至服务器，以使所述服务器根据所述障碍物信息更新所述地形仿真模型，基于更新后的地形仿真模型重新规划与所述农业作业任务匹配的候选作业路径，并在所述农林机器人的剩余电量低于所述候选作业路径的作业功耗时，调整所述候选作业路径得到经过充电设备的第三作业路径；
接收所述服务器反馈的所述第三作业路径，并切换至按照所述第三作业路径继续执行所述农业作业任务，以避开所述障碍物信息所对应的障碍物，以及在前进至所述充电设备后进行充电。
4.一种农林机器人避障方法，其特征在于，应用于服务器，所述方法包括：
获取障碍物信息；所述障碍物信息为农林机器人在目标农林场景中按照基于地形仿真模型规划得到的第一作业路径执行农业作业任务时，通过所述农林机器人上的图像处理模型对周围环境的图像数据进行处理过程中，基于所述目标农林场景的农林数字资产信息对应的虚拟模型识别得到；所述图像处理模型基于地形仿真模型包括的数据训练得到的，用于进行图像处理，具有目标检测的功能的神经网络模型；所述地形仿真模型包括所述目标农林场景的农林数字资产信息和所述农林数字资产信息对应的虚拟模型；
根据所述障碍物信息更新所述目标农林场景对应的地形仿真模型；
基于更新后的所述地形仿真模型，根据所述农林机器人的剩余电量，重新规划避开所述障碍物信息所对应的障碍物、且与所述农业作业任务匹配的第二作业路径；其中，所述第二作业路径经过充电设备；
将所述第二作业路径反馈至所述农林机器人，以指示所述农林机器人切换至按照所述第二作业路径继续执行所述农业作业任务。
5.根据权利要求4所述的方法，其特征在于，所述基于更新后的所述地形仿真模型，重新规划避开所述障碍物信息所对应的障碍物、且与所述农业作业任务匹配的第二作业路径，包括：
基于更新后的所述地形仿真模型，重新规划避开所述障碍物信息所对应的障碍物、且与所述农业作业任务匹配的候选作业路径；
预测所述候选作业路径对应的作业功耗；
当所述农林机器人的剩余电量低于所述作业功耗时，调整所述候选作业路径，得到经过充电设备的第二作业路径。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据所述第二作业路径包括的路段在所述地形仿真模型中对应的地形参数，计算所述第二作业路径包括的路段分别对应的行进速度；
对于所述第二作业路径包括的路段的长度和相应的行进速度，预测所述农林机器人依据所述第二作业路径完成所述农业作业任务时对应的作业时间；
将所述作业时间反馈至控制所述农林机器人的用户终端。
7.一种农林机器人避障装置，其特征在于，所述装置包括：
采集模块，用于当农林机器人在目标农林场景中按照基于地形仿真模型规划得到的第一作业路径执行农业作业任务时，通过所述农林机器人上的图像采集装置采集周围环境的图像数据；
识别模块，用于通过所述农林机器人上的图像处理模型对所述图像数据进行处理时，基于所述目标农林场景的农林数字资产信息对应的虚拟模型，识别出所述图像数据中的障碍物信息；所述图像处理模型是基于地形仿真模型包括的数据训练得到的，用于进行图像处理，具有目标检测的功能的神经网络模型；所述地形仿真模型包括所述目标农林场景的农林数字资产信息和所述农林数字资产信息对应的虚拟模型；
反馈模块，用于将所述障碍物信息反馈至服务器，以使所述服务器根据所述障碍物信息更新所述地形仿真模型，并基于更新后的地形仿真模型，根据所述农林机器人的剩余电量重新规划第二作业路径；其中，所述第二作业路径经过充电设备；
避障模块，用于接收所述服务器反馈的所述第二作业路径，并切换至按照所述第二作业路径继续执行所述农业作业任务，以避开所述障碍物信息所对应的障碍物。
8.一种农林机器人避障装置，其特征在于，所述装置包括：
获取模块，用于获取障碍物信息；所述障碍物信息为农林机器人在目标农林场景中按照基于地形仿真模型规划得到的第一作业路径执行农业作业任务时，通过所述农林机器人上的图像处理模型对周围环境的图像数据进行处理过程中，基于所述目标农林场景的农林数字资产信息对应的虚拟模型识别得到；所述图像处理模型基于地形仿真模型包括的数据训练得到的，用于进行图像处理，具有目标检测的功能的神经网络模型；所述地形仿真模型包括所述目标农林场景的农林数字资产信息和所述农林数字资产信息对应的虚拟模型；
更新模块，用于根据所述障碍物信息更新所述目标农林场景对应的地形仿真模型；基于更新后的所述地形仿真模型，根据所述农林机器人的剩余电量，重新规划避开所述障碍物信息所对应的障碍物、且与所述农业作业任务匹配的第二作业路径；其中，所述第二作业路径经过充电设备；
反馈模块，用于将所述第二作业路径反馈至所述农林机器人，以指示所述农林机器人切换至按照所述第二作业路径继续执行所述农业作业任务。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项或者4-6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项或者4-6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011181205.6A CN112356027B (zh) | 2020-10-29 | 2020-10-29 | 农林机器人避障方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011181205.6A CN112356027B (zh) | 2020-10-29 | 2020-10-29 | 农林机器人避障方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112356027A CN112356027A (zh) | 2021-02-12 |
| CN112356027B true CN112356027B (zh) | 2023-09-01 |
Family
ID=74513650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011181205.6A Active CN112356027B (zh) | 2020-10-29 | 2020-10-29 | 农林机器人避障方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112356027B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113295167B (zh) * | 2021-05-14 | 2022-07-15 | 山东新一代信息产业技术研究院有限公司 | 一种室内机器人避障方法 |
| CN113568324B (zh) * | 2021-06-29 | 2023-10-20 | 之江实验室 | 一种基于仿真演绎的知识图谱修正方法 |
| CN114047783A (zh) * | 2021-11-16 | 2022-02-15 | 北京航空航天大学 | 无人机***及无人机仿真*** |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485229A (zh) * | 2016-10-14 | 2017-03-08 | 黑龙江科技大学 | 农林交错区火灾遥感监测预警*** |
| CN106989748A (zh) * | 2017-05-16 | 2017-07-28 | 南京农业大学 | 一种基于云模型的农业移动机器人人机合作路径规划方法 |
| CN108985171A (zh) * | 2018-06-15 | 2018-12-11 | 上海仙途智能科技有限公司 | 运动状态估计方法和运动状态估计装置 |
| CN109085833A (zh) * | 2018-08-15 | 2018-12-25 | 深圳市烽焌信息科技有限公司 | 一种巡逻机器人及存储介质 |
| CN109213160A (zh) * | 2018-08-31 | 2019-01-15 | 西南大学 | 一种田间除草施肥作业多轮足机器人 |
| CN109581924A (zh) * | 2018-12-05 | 2019-04-05 | 甘肃省机械科学研究院有限责任公司 | 一种智能农机装备上的通用安全控制*** |
| CA2994737A1 (en) * | 2018-02-12 | 2019-08-12 | Zhi Li | Snowmower ai robot |
| CN111002305A (zh) * | 2019-11-05 | 2020-04-14 | 珠海格力电器股份有限公司 | 基于图像扫描、识别和路径规划的可移动洗衣助手机器人 |
| CN111077890A (zh) * | 2019-12-27 | 2020-04-28 | 湘潭大学 | 一种基于gps定位与自动避障的农业机器人的实现方法 |
| CN111309015A (zh) * | 2020-02-25 | 2020-06-19 | 华南理工大学 | 一种融合多传感器的变电站巡检机器人定位导航*** |
| CN111399492A (zh) * | 2018-12-28 | 2020-07-10 | 深圳市优必选科技有限公司 | 一种机器人及其障碍物感知方法和装置 |
| EP3695700A1 (en) * | 2019-02-14 | 2020-08-19 | Stiga S.P.A. | Robotic vehicle for movable operation in a work area |
-
2020
- 2020-10-29 CN CN202011181205.6A patent/CN112356027B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485229A (zh) * | 2016-10-14 | 2017-03-08 | 黑龙江科技大学 | 农林交错区火灾遥感监测预警*** |
| CN106989748A (zh) * | 2017-05-16 | 2017-07-28 | 南京农业大学 | 一种基于云模型的农业移动机器人人机合作路径规划方法 |
| CA2994737A1 (en) * | 2018-02-12 | 2019-08-12 | Zhi Li | Snowmower ai robot |
| CN108985171A (zh) * | 2018-06-15 | 2018-12-11 | 上海仙途智能科技有限公司 | 运动状态估计方法和运动状态估计装置 |
| CN109085833A (zh) * | 2018-08-15 | 2018-12-25 | 深圳市烽焌信息科技有限公司 | 一种巡逻机器人及存储介质 |
| CN109213160A (zh) * | 2018-08-31 | 2019-01-15 | 西南大学 | 一种田间除草施肥作业多轮足机器人 |
| CN109581924A (zh) * | 2018-12-05 | 2019-04-05 | 甘肃省机械科学研究院有限责任公司 | 一种智能农机装备上的通用安全控制*** |
| CN111399492A (zh) * | 2018-12-28 | 2020-07-10 | 深圳市优必选科技有限公司 | 一种机器人及其障碍物感知方法和装置 |
| EP3695700A1 (en) * | 2019-02-14 | 2020-08-19 | Stiga S.P.A. | Robotic vehicle for movable operation in a work area |
| CN111002305A (zh) * | 2019-11-05 | 2020-04-14 | 珠海格力电器股份有限公司 | 基于图像扫描、识别和路径规划的可移动洗衣助手机器人 |
| CN111077890A (zh) * | 2019-12-27 | 2020-04-28 | 湘潭大学 | 一种基于gps定位与自动避障的农业机器人的实现方法 |
| CN111309015A (zh) * | 2020-02-25 | 2020-06-19 | 华南理工大学 | 一种融合多传感器的变电站巡检机器人定位导航*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112356027A (zh) | 2021-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112356027B (zh) | 农林机器人避障方法、装置、计算机设备和存储介质 | |
| US11537906B2 (en) | Machine learning based target localization for autonomous unmanned vehicles | |
| US11393216B2 (en) | Method of computer vision based localisation and navigation and system for performing the same | |
| KR102043142B1 (ko) | Agv 주행제어를 위한 인공신경망 학습 방법 및 장치 | |
| CN111142557A (zh) | 无人机路径规划方法、***、计算机设备及可读存储介质 | |
| CN112288770A (zh) | 基于深度学习的视频实时多目标检测与跟踪方法和装置 | |
| US20200042656A1 (en) | Systems and methods for persistent simulation | |
| CN113052152B (zh) | 一种基于视觉的室内语义地图构建方法、装置及设备 | |
| CN111292352B (zh) | 多目标跟踪方法、装置、设备及存储介质 | |
| CN110770791A (zh) | 一种基于点云地图的图像边界获取方法、设备及飞行器 | |
| CN112416018B (zh) | 基于多信号采集与路径规划模型的无人机避障方法和装置 | |
| CN111604898B (zh) | 牲畜寻回方法、机器人、终端设备及存储介质 | |
| CN112462756B (zh) | 农林作业任务生成方法、装置、计算机设备和存储介质 | |
| CN113239719A (zh) | 基于异常信息识别的轨迹预测方法、装置和计算机设备 | |
| CN112487861A (zh) | 车道线识别方法、装置、计算设备及计算机存储介质 | |
| CN112967388A (zh) | 三维时序图像神经网络模型的训练方法和装置 | |
| CN113383283A (zh) | 感知信息处理方法、装置、计算机设备和存储介质 | |
| EP4040400A1 (en) | Guided inspection with object recognition models and navigation planning | |
| CN111414804B (zh) | 识别框确定方法、装置、计算机设备、车辆和存储介质 | |
| CN109901589B (zh) | 移动机器人控制方法和装置 | |
| CN113932825A (zh) | 机器人导航路径宽度获取***、方法、机器人及存储介质 | |
| CN113158539A (zh) | 交通参与者的长期轨迹预测的方法 | |
| CN112297011B (zh) | 农林机器人避障方法、装置、计算机设备和存储介质 | |
| JP2021026683A (ja) | 距離推定装置 | |
| WO2022226837A1 (zh) | 基于时间与空间学习的轨迹预测方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |