CN111796602A - 一种植保无人机障碍物探测和预警*** - Google Patents
一种植保无人机障碍物探测和预警*** Download PDFInfo
- Publication number
- CN111796602A CN111796602A CN202010560491.0A CN202010560491A CN111796602A CN 111796602 A CN111796602 A CN 111796602A CN 202010560491 A CN202010560491 A CN 202010560491A CN 111796602 A CN111796602 A CN 111796602A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- plant protection
- protection unmanned
- detection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004888 barrier function Effects 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 162
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 37
- 230000003993 interaction Effects 0.000 claims abstract description 33
- 230000005540 biological transmission Effects 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 238000012546 transfer Methods 0.000 claims abstract description 9
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 16
- 238000007726 management method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 210000001015 abdomen Anatomy 0.000 claims 1
- 230000001681 protective effect Effects 0.000 claims 1
- 238000009434 installation Methods 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 description 12
- 238000002790 cross-validation Methods 0.000 description 5
- 241001155433 Centrarchus macropterus Species 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000005507 spraying Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及植保无人机，指一种植保无人机障碍物探测和预警***。其包括数传电台装置、激光雷达探测装置和双目视觉探测装置。激光雷达探测装置安装位于无人机的机腹下方，双目视觉探测装置安装位于无人机的顶部，且正对机身的前进方向，数传电台装置安装于植保无人机顶部的保护罩中，激光雷达探测装置和双目视觉探测装置将采集和探测的数据发送至飞行控制***，飞行控制***接收数据并经过数据计算和分析后通过数传电台装置传输至人机交互终端和地面基站，飞手通过人机交互终端获得关于障碍物的信息并及时处理。本发明采用了视觉与非视觉传感器结合的探测手段对农田环境中的障碍物进行探测，并对飞手进行障碍物预警，保证了植保无人机的作业安全。
Description
技术领域
本发明涉及植保无人机，具体涉及一种植保无人机障碍物探测和预警***。
背景技术
植保无人机起降操作灵活，作业效率高，防治效果好，经济效益明显，不但有利于资源节约与环境友好，且广泛适用于地面机械难以耕作的农业区域。由于农田作业环境复杂，作业时常会遇到以树枝、电线和长势突出的农作物等为代表的各类障碍物，当飞手距植保无人机较远时，难以判断其周边飞行环境。因此，随着科技的快速发展，实现障碍物的自主识别与有效回避将是农用无人机智能化发展的必然趋势之一。随着精准农业航空技术的进一步发展，多传感器融合的探测***将成为植保无人机实时探测***的主流趋势。视觉与非视觉传感器的结合，也将提高植保作业的安全性，为自主喷施、智能导航的实现提供多种可能性，对障碍物进行及时识别和探测，并将障碍物的信息及时对飞手进行预警，保证了植保无人机在田间作业的安全。
中国专利CN109976379A公开了一种激光雷达和深度相机融合的自主导航及避障无人机,使用深度相机、单目相机和激光雷达控制无人机完成对障碍物的探测并实现规避。该专利采用2D激光雷达实现障碍物建模、定位和绘图，二维激光扫描只能获取前方固定角度的深度信息，无法获取整个场景三维深度信息，在田间进行植保作业的无人机需要探测障碍物的三维信息，可以作出有效的避障决策，才能有效保证植保作业的安全。
中国专利CN109839938A公开了一种基于激光雷达的无人机测距避让***,采用激光雷达对障碍物进行探测的形式。该发明专利只关注无人机飞行方向正前方水平面的90°扇区，且有一定水平夹角的空间区域，该方式存在避障盲区，不能适应复杂的农田作业环境，由于采用单一的信号源的方式，不能全方位对田间障碍物进行有效探测，也不利于多机协同进行植保作业。
中国专利CN109032185A公开了一种输电线路巡视无人机避障控制装置,该专利是通过处理器接受障碍感应信号并完成障碍信号的判断计算,进行控制指令的发送,自动控制无人机完成障碍躲避操作，用于植保作业中，由于没有预警***，不能对障碍物进行预警，使飞手及时作出判断和处理。
发明内容
本发明所要解决的技术问题是现有对于植保无人机障碍物探测为单一信号源的方式以及不能及时对飞手作障碍物信息的预警。由于农田作业环境复杂，作业时常会遇到以树枝、电线和长势突出的农作物等为代表的各类障碍物。单一传感器只能获得局部的、片面的环境特征信息。且由于传感器还受到其自身品质、性能的影响，采集到的信息往往是不完善的，带有较大的不确定性。采用激光雷达与双目视觉相结合的多传感器障碍物探测手段，从一定的距离上对农田中的树枝、电线、电线杆和长势突出的农作物进行探测，并将障碍物的信息及时对飞手进行预警，让飞手及时作出判断和处理，保证了植保无人机的作业安全。植保无人机障碍物探测和预警***辅助飞手使用植保无人机进行植保作业。
本发明通过下述技术方案实现：
本发明一种植保无人机障碍物探测和预警***，包括安装在植保无人机上的数传电台装置、激光雷达探测装置和双目视觉探测装置。激光雷达探测装置安装位于植保无人机的机腹下方，双目视觉探测装置安装位于植保无人机的顶部，且正对机身的前进方向，数传电台装置安装于植保无人机顶部的保护罩中，激光雷达探测装置和双目视觉探测装置将采集和探测的数据发送至飞行控制***，飞行控制***接收数据并经过数据计算和分析后通过数传电台装置传输至人机交互终端和地面基站，飞手通过人机交互终端获得关于障碍物的信息并及时处理。
本发明一种植保无人机障碍物探测和预警***，采用了视觉与非视觉传感器结合的探测手段，从一定的距离上对农田环境中的障碍物进行探测，并对飞手进行障碍物预警，飞手在收到预警信息时及时作出判断和处理，保证了植保无人机的作业安全。激光雷达探测装置具有探测距离远，探测精度高，不受天气状况影响等优点，但是激光雷达探测装置不具备视觉识别的功能，只能根据激光雷达探测装置探测到的物体的外形等特征粗略的判断出探测的目标。双目视觉探测装置弥补了激光雷达探测装置在识别物体方面的劣势，双目视觉探测装置可以捕获物体的细节，如亮度，纹理等特征。基于激光雷达探测装置和双目视觉探测装置的障碍物探测和预警***整合了两种探测装置的优点，既能达到探测距离远，精度高和可靠性强的优点，同时又能准确识别田间的障碍物目标，二者的结合可以有效应对田间复杂的作业环境。将本发明一种植保无人机障碍物探测和预警***用于植保无人机作业，在视觉探测装置的有效范围内出现障碍物时，双目视觉***通过镜头采集图像，将图像传输至飞行控制***，飞行控制***对图像进行数据智能分析，从而可判断出该障碍物是否会影响植保无人机的作业安全，若该障碍物影响到植保无人机的作业安全，***将通过人机交互终端告知飞手。当激光雷达探测装置在探测范围内识别到障碍物时，激光雷达探测装置将障碍物的信息(例如障碍物的距离、方位、高度、速度、姿态、形状等参数)传输至飞行控制***，飞行控制***接收数据并经过数据智能分析判断出该障碍物是否影响到植保无人机的作业安全，激光雷达探测装置探测出该障碍物与植保无人机的当前距离，然后飞行控制***智能地发出相应的控制指令并做出相应的处理(例如智能地控制植保无人机的速度、规划好避障路径、作出相应的避障姿态)，地面的飞手通过人机交互***接收到障碍物信息并及时作出判断和处理，确保无人机的作业安全。
本发明一种植保无人机障碍物探测和预警***，采用了视觉与非视觉传感器结合的探测手段，其难点在于激光雷达探测装置和双目视觉探测装置二者结合的信息融合。信息融合按照融合的层次不同，从低层到高层可以分为像素层融合、特征层融合以及决策层融合。像素层融合是根据采集得到的各种传感器原始信息，并在原始信息上进行融合，原始数据层信息在未作处理之前进行信息综合分析，由于原始数据未作处理，所以数据计算量比较大，实时性差，而且原始数据中包含一定的噪音，抗干扰能力不高，但是像素级融合反映的是物体的本质信息，保持尽可能多的现场数据信息。由于像素级融合是在原始信息上进行融合的，所以其属于最低层次的融合。特征层融合是对采集到的传感器原始信息进行优化加工，提取出有用易于识别的特征信息，并将来自多个传感器经过加工改进后的特征信息上进行处理，如加权处理操作，是中间层次的融合，相比于像素级融合，由于其对原始信息进行了提炼，从而计算量大大减小。目标状态融合和目标特性融合都属于特征级融合方式。其中目标状态融合主要用于目标跟踪方面，目标特性融合本质是将特征信息进行级联加以识别目标，在多传感器进行特征融合前，选择特征尤为重要，因为特征是进行识别的原材料，特征提取的好坏直接影响探测结果，因此，在进行特性融合前对特征信息进行分析处理，过滤掉无用特征信息，保留有意义的特征，优点是实现了特征信息压缩，保留了主要特征，方便实时处理。决策层融合不同于像素级融合和特征级融合，它是多种传感器各自进行判决，然后对各个传感器的判决结果加以融合，给出最终的综合决策方案。决策级融合属于高层次融合，决策级融合结果直接影响决策水平高低，预处理代价高，但相比于像素级融合和特征级融合，计算量最小，抗干扰能力强，对传感器依赖性低，提高了***的实时性和一定的容错能力。决策级融合计算量小，抗干扰能力强，它是在激光雷达和视觉探测目标障碍物的基础上，综合两者的探测结果，最终给出相应的决策，确定目标障碍物最终所在的位置。激光雷达和相机决策级融合的方法一般有两种，分别是视觉激光雷达交叉验证方法和视觉验证激光雷达探测方法。视觉和激光雷达交叉验证的方法，即视觉传感器和激光雷达传感器分别采用相应的方法同时探测目标，然后将激光雷达坐标系下探测到的目标三维坐标位置根据相机和激光雷达标定好参数计算投影到图像上对应的某个点，然后结合视觉的探测结果综合判断并决定目标最终位置。由于交叉验证综合视觉和激光雷达两者的探测结果，所以探测准确率高，但是激光雷达探测目标的同时还需要视觉扫描视频帧进行目标探测，所以计算量大。视觉验证激光雷达探测的方法，即首先利用激光雷达进行目标探测，将激光雷达探测目标的三维坐标位置投影到图像上，然后在投影点位置划出一定大小的ROI(Region of Interest)区域，这个ROI区域可能包含要探测的目标，利用视觉探测方法对投影点位置的ROI进行目标探测，相比于视觉和激光雷达交叉验证的方法，由于视觉探测没有对整幅视频帧进行扫描计算，只是利用投影点位置划出的ROI区域进行扫描计算，所以计算量小，但是如果激光雷达和相机标定误差比较大的情况下，投影点位置划出的ROI区域可能不包含目标，探测准确率低，并且当目标较多且过于集中时容易漏检目标。考虑到交叉验证方法和视觉验证激光雷达探测方法的优缺点，本发明采用视觉和激光雷达交叉验证的信息融合方式，激光雷达探测和视觉探测不是分步完成的，激光雷达探测和视觉探测整帧图像同时进行，激光雷达将探测的目标投影到图像相应位置，结合视觉探测结果，根据投影点位置和视觉探测目标位置综合判断是否含有障碍物的目标，与视觉验证激光雷达方法相比，视觉和激光雷达交叉验证方式提高了探测的准确性，保证了田间作业的安全性，假设激光雷达探测的目标中心点投影到图像上的位置为pR(uR,vR)，视觉探测目标中心点的位置为pc(uc,vc)，两者具体融合分为三种情况：1)若激光雷达和双目视觉同时探测到了目标，且激光雷达探测目标投影位置、双目视觉探测目标位置以及显著性探测目标位置三者相匹配，则直接确定目标的位置即为两者探测结果；2)若激光雷达和双目视觉显著性两者探测结果不一致，则激光雷达连续检则10帧，若在这10帧中有大于或等于5帧以上探测的目标投影位置和双目视觉显著性探测的相匹配则可确定目标位置，即为激光雷达10帧中有大于或等于5帧中所确定的目标位置；3)若不是前两种情况，则激光雷达和双目视觉继续探测。判断激光雷达探测到目标中心投影点pR(uR,vR)和视觉探测的目标中心点位置pc(uc,vc)是否匹配通过下式：C(PR,PC)＝α|μR-μC|+β|νR-νC|，其中参数α和β分别是图像横向权重和纵向权重，激光雷达三维数据投影到图像上时，横向误差大，所以α和β赋予不同权重，分别是α＝0.5，β＝1，并给定阈值CT(CT为50)，若C(pR,pC)不大于CT，则认为激光雷达和视觉探测的目标相匹配，否则不匹配。
本发明一种植保无人机障碍物探测和预警***,采用如下的控制方法,基于Python编程语言设计了任务管理***(Task control system.TCS),TCS依赖于ROS进行植保无人机飞行任务管理，包含多个Python文件，其中Main.py是主文件，其一方面负责ROS节点建立、植保无人机起飞前状态探测、飞行模式选择、植保无人机自主起降控制、植保无人机障碍物自主探测、植保无人机障碍物预警，另一方面通过解析Task_List.txt文件提取所有飞行任务并顺序调用相应文件进行植保无人机飞行任务，同时监测飞行任务执行进度,TCS_Utility.py文件负责维持地面基站与飞行控制***之间的连接，并监测每条飞行任务执行进程,Task_List.txt文件内容每一行代表一个飞行任务，以目标点与起飞位置的相对坐标和悬停时间为参数，Task_Local_Goto.py负责按照当前任务参数控制植保无人机以设定速度从当前位置直线飞行到目标位置即靠近障碍物的位置，Task_Simple_Hover.py负责根据当前任务参数控制无人机精准悬停在障碍物前方并向地面飞手发出预警,飞手还可依据上述方法对任务管理***功能进行扩展，并通过改变任务列表参数制定特定飞行任务，可以应对农田复杂的作业环境。
本发明先通过远距离探测的双目视觉探测装置再到近距离探测的激光雷达探测装置能够全方位对障碍物进行探测，及时向飞手作出预警，可以保证植保无人机的作业安全。
人机交互终端可以显示出植保无人机作业中遇到的障碍物信息并收到预警信息，飞行控制***具备数据运算能力和数据采集调度能力，其与机载其他***通讯(例如,植保无人机的惯性测量单元、加速度计、陀螺仪、磁罗盘、GPS装置)可实现对植保无人机信号(例如,植保无人机的三维位置、三维速度、三维加速度、三轴角度和三轴角速度等)的采集，可实现对其他机载***的数据采集和数据运算处理，并将数据处理结果传输至人机交互终端和地面基站。
激光雷达探测装置具有激光雷达立体成像和3D智能分析的功能，可获得障碍物的距离、方位、高度、速度、姿态、形状等参数，可实现对近距离障碍物的立体识别，可智能地判断前方障碍物是否影响到植保无人机的作业安全从而让植保无人机的飞手及时地做出判断和处理。双目视觉探测装置可实时得到场景的深度信息和三维模型，具备图像获取、摄像机标定、特征提取、图像匹配和三维重建的功能，可实现远距离的障碍物识别。
数传电台装置可以接收飞手通过人机交互终端传给植保无人机的控制指令和来自地面基站的调度信息和其他数据，数传电台装置上传无人机位置数据和农田环境信息给地面基站，飞手的人机交互终端可以接收来自植保无人机探测的关于障碍物的图像数据和激光雷达数据。
地面基站可以了解在田间进行植保作业的植保无人机的情况并指挥植保无人机作业，地面基站可以实时监测到植保无人机当前的飞行路线，飞行状态，以及对植保无人机进行实时调度。专门的航线规划工具规划植保无人机飞行的线路，并设定好飞行高度，飞行速度，飞行地点，飞行任务等，通过数据口连接的数传电台装置将任务数据编译传送至飞行控制***中。
本发明中提到的数传电台装置、激光雷达探测装置、双目视觉探测装置、地面基站各自的工作实现原理均为现有技术。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明一种植保无人机障碍物探测和预警***，采用了视觉与非视觉传感器结合的探测手段，从远距离到近距离对障碍物进行探测，保障了植保无人机的作业安全。
2、本发明一种植保无人机障碍物探测和预警***，可实现近距离和远距离障碍物立体识别，可智能地判断障碍物是否影响到植保无人机的作业安全，可以把障碍物的信息及时对飞手进行预警，能适应复杂的农田作业环境。
3、本发明一种植保无人机障碍物探测和预警***，基于视觉与非视觉传感器的结合，也将提高植保作业的安全性，为自主喷施、智能导航的实现提供多种可能性。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明植保无人机障碍物探测和预警***的正视图；
图2为本发明植保无人机障碍物探测和预警***的俯视图；
图3为本发明工作示意图；
图4为本发明工作原理示意图。
附图中标记及对应的零部件名称：
1-植保无人机桨叶，2-双目视觉探测装置，3-激光雷达探测装置，4-机载其他***，5-数传电台装置，6-飞行控制***，7-人机交互终端，8-地面基站
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施案例
如图1和图2所示，本发明一种植保无人机障碍物探测和预警***，包括安装在植保无人机上的数传电台装置5、激光雷达探测装置3、双目视觉探测装置2，数传电台装置5、激光雷达探测装置3、双目视觉探测装置2分别与植保无人机自带的飞行控制***6信号连接。
近一步地，植保无人机的机载其他***4也与飞行控制***6信号连接。所述的机载其他***为植保无人机的惯性测量单元、加速度计、陀螺仪、磁罗盘、GPS装置。
激光雷达探测装置3、双目视觉探测装置2将采集或探测的数据发送至植保无人机的飞行控制***6，飞行控制***6接收数据经过智能分析后传输至地面基站和人机交互终端。
本发明一种植保无人机障碍物探测和预警***，采用视觉与非视觉传感器结合的方式，从远距离到近距离全方位对其他作业的植保无人机和田间障碍物(例如，树枝、电线和长势突出的农作物)进行探测，可在障碍物出现的状况下，对飞手进行障碍物的预警，辅助飞手及时作出判断和处理情况，保障了植保无人机的作业安全。当植保无人机作业时，可通过数传电台装置接收飞手通过人机交互终端传给植保无人机的控制指令和来自地面基站的数据，数传电台装置上传植保无人机的位置数据以及障碍物的信息给人机交互终端和地面基站，当多个植保无人机在田间作业时，通过植保无人机上的数传电台装置相互通讯了解两个植保无人机的间距及速度，并将数据传输至飞行控制***，飞行控制***经过数据计算和数据分析后通过人机交互终端告知飞手，地面基站接收到无人机传输的数据，并对在田间进行植保作业的植保无人机进行监测和调度；在双目视觉探测装置有效范围内出现障碍物(例如田间的电线杆、树枝、电线和长势突出的农作物)时，双目视觉探测装置通过镜头进行图像获取、摄像机标定、特征提取、图像匹配和三维重建，将图像数据传输至飞行控制***，飞行控制***对图像数据进行计算并进行数据分析，结合激光雷达探测装置接收到信息的交互确认可判断出障碍物是否影响到植保无人机的作业安全，若该障碍物影响到植保无人机的作业安全植保无人机通过人机交互终端告知飞手并保存图像数据；当激光雷达探测装置在探测范围内识别到障碍物时，通过探测装置将障碍物的3D数据传输至飞行控制***，飞行控制***接收数据后经过数据分析并结合双目视觉探测装置接收到信息的交互确认判断出该障碍物是否影响到植保无人机的作业安全，通过从激光雷达探测装置获得的数据，得出该障碍物与植保无人机的当前距离，飞行控制***做出相应的处理并将障碍物的信息通过人机交互终端告知地面飞手和地面基站。
本发明先通过远距离探测的双目视觉探测装置再到近距离探测的激光雷达探测装置从而能够全方位对田间作业遇到的障碍物进行探测，并将障碍物的信息对地面飞手进行预警，通过视觉传感器和非视觉传感器的组合，能够提高植保作业的安全性，为自主喷施、智能导航的实现提供多种可能性。
优选的，人机交互终端可以显示出植保无人机作业中遇到的障碍物并发出预警，飞行控制***具备数据运算能力和数据采集调度能力，其与机载其他***(此处的机载其他***指得是现有植保无人机本身自带的***。)通讯可实现对植保无人机信号(例如,植保无人机的三维位置、三维速度、三维加速度、三轴角度和三轴角速度等)的采集，飞行控制***可实现对其他机载***的数据采集和数据运算处理，并将数据处理结果传输至人机交互终端和地面基站，飞手通过人机交互终端对植保无人机发出控制指令，地面基站可以对植保无人机进行控制和调度。
优选的，激光雷达探测装置具有激光雷达立体成像和3D数据分析功能，可实现近距离的障碍物立体识别，可智能地判断前方障碍物是否影响植保无人机的作业安全从而对植保无人机的飞手进行预警，使得飞手更及时地做出判断和处理。双目视觉探测装置可实时得到场景深度信息和三维模型，具备图像获取、摄像机标定、特征提取、图像匹配和三维重建的功能，可实现远距离的障碍物识别。
优选的，数传电台装置具有WIFI和3G/4G/5G无线通讯功能，可将植保无人机状况传输至地面基站和飞手的人机交互终端，飞手可通过人机交互终端发出控制指令从而控制植保无人机避开障碍物，地面基站亦可通过无线网络对植保无人机下达命令和通知消息。
优选的，数传电台装置可以接收飞手的人机交互终端传给植保无人机的控制指令和来自基站的数据，上传无人机位置数据给基站，飞手的人机交互终端可以接收来自无人机数传电台装置的图像数据和激光雷达数据。
优选的，人机交互终端具有距离显示、速度显示、高度显示、手动设置无人机的状态、障碍物信息显示设置、障碍物预警信息设置，可以报告植保作业中遇到的障碍物的情况及该障碍物是否会影响到植保无人机的作业安全，飞手可通过人机交互终端对植保无人机发出控制指令。
避障实例
避障实例主要是在算法上作出解释，如图3，通过植保无人机障碍物探测***测量出无人机和障碍物之间的距离，在代码中的具体实现方式为distance＝pulseIn(EchoPin,HIGH)/58，其中pulseIn测出来的是激光从发射到接收所经过的时间，通过I/O口便可获得各个方向的距离信息。通过避障***产生PIXHAWK飞控各个通道对应的通道值，然后将通道值转化为PWM信号来实现无人机避障的流程为：首先调用Arduino舵机库Servo中的map函数将要产生的PWM信号映射为范围在[1 000，2 000]的通道值，对于第一通道横滚(Roll)来讲，当通道值等于1500时，即Rol_OUT＝1 500，无人机在左右方向上处于静止状态。同样地，对于第二通道俯仰(Pitch)来讲，当Pit_OUT＝1 500时，无人机在前后方向上处于静止状态。当通道值大于1500时则无人机会向右、前方飞行，反之向左、后方飞行。另外，当激光雷达模块探测到下方有障碍物时，直接令油门(Throttle)通道值等于1800(经多次实验验证)，此时无人机避障效果明显。飞行模式的切换依靠第五通道的通道值改变来完成，如当通道值小于1500时，Aux_OUT<1500时切换至巡航模式，大于1500时切换至定点模式。在避障***中设置安全距离为500cm，当距离distance<500时，此时无人机在在安全范围之外，需要避障。1)当植保无人机探测装置探测到无人机前(后)方有障碍物(田间的电线杆)时，则令Aux_OUT>1500，此时无人机处于定点模式，然后令俯仰通道的通道值Pit_OUT＝1 400(1600)和油门通道的通道值Thr_OUT＝1800，然后通过调用函数Pit.writeMicroseconds(Pit_OUT)和Thr.writeMicroseconds(Thr_OUT)，将此时第二通道和第三通道的通道值转化为PWM信号发送给PPM编码器，经过PPM编码器编码之后将PPM信号发送给PIXHAWK的信号接收模块，由PIXHAWK处理器经过姿态解算和位置解算后控制无人机向后(前)飞的同时向上飞，直至绕过障碍物。
2)当植保无人机探测装置探测到无人机左(右)方有障碍物时，则Aux_OUT>1500，此时无人机处于定点模式，然后令横滚通道的通道值Rol_OUT＝1600(1400)和油门通道的通道值Thr_OUT＝1800，然后通过调用函数Rol.writeMicroseconds(Rol_OUT)和Thr.writeMicroseconds(Thr_OUT)将此时第一通道和第三通道的通道值转化为PWM信号发送给PPM编码器，经过PPM编码器编码之后将PPM信号发送给PIXHAWK的信号接收模块，由PIXHAWK处理器经过姿态解算和位置解算后控制无人机向后(前)飞的同时向上飞，直至绕过障碍物。
3)当植保无人机探测装置探测到无人机下方有障碍物时，则令Aux_OUT>1 500，此时无人机处于定点模式，然后令油门通道的通道值Thr_OUT＝1 800，然后通过调用函数Thr.writeMicro seconds(Thr_OUT)将此时第三通道的通道值转化为PWM信号发送给PPM编码器，经过PPM编码器编码之后将PPM信号发送给PIXHAWK的信号接收模块，由PIXHAWK处理器经过姿态解算和位置解算后控制无人机自动向上飞行，远离障碍物。在软件设计中调用attach()函数来实现通道的一致性，如Rol.attach(8)即控制无人机左右飞行的PWM信号通过Arduino Mega2560的数字引脚D8输出。D8与PPM编码器的第一通道相接，从而保证了避障***信号输出的可靠性。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种植保无人机障碍物探测和预警***，其特征在于，所述***包括安装在植保无人机上的数传电台装置、激光雷达探测装置和双目视觉探测装置；激光雷达探测装置安装位于植保无人机的机腹下方，双目视觉探测装置安装位于植保无人机的顶部，且正对机身的前进方向，数传电台装置安装于植保无人机顶部的保护罩中，数传电台装置、激光雷达探测装置、双目视觉探测装置分别与植保无人机自带的飞行控制***信号连接；激光雷达探测装置和双目视觉探测装置将采集和探测的数据发送至飞行控制***，飞行控制***接收数据并经过数据计算和分析后通过数传电台装置传输至人机交互终端和地面基站，飞手通过人机交互终端获得关于障碍物的信息并及时处理。
2.如权利要求1所述的一种植保无人机障碍物探测和预警***，其特征在于，所述植保无人机的机载其他***也与飞行控制***信号连接；所述的机载其他***为植保无人机的惯性测量单元、加速度计、陀螺仪、磁罗盘、GPS装置。
3.如权利要求1所述的一种植保无人机障碍物探测和预警***，其特征在于，激光雷达探测装置具有激光雷达立体成像和3D智能分析的功能，能够获得障碍物的距离、方位、高度、速度、姿态、形状参数，实现对近距离障碍物的立体识别，能智能地判断前方障碍物是否影响到植保无人机的作业安全从而让植保无人机的飞手及时地做出判断和处理；双目视觉探测装置能实时得到场景的深度信息和三维模型，具备图像获取、摄像机标定、特征提取、图像匹配和三维重建的功能，能实现远距离的障碍物识别。
4.如权利要求1所述的一种植保无人机障碍物探测和预警***，其特征在于，飞行控制***具有处理激光雷达探测装置和双目视觉探测装置收集的关于障碍物数据的功能，并且能够向激光雷达探测装置、双目视觉探测装置和无机人自带的无人机动力***，姿态控制***，通讯***发送各种指令，接收来自地面基站或人机交互终端的指令。
5.如权利要求1所述的一种植保无人机障碍物探测和预警***，其特征在于，数传电台装置具有与人机交互终端和地面基站通讯的功能，数传电台装置能够将障碍物数据传送给人机交互终端，并且能够从人机交互终端接收无人机的控制指令；数传电台装置能够将障碍物数据传送给地面基站并且能够从地面基站接收调度数据。
6.如权利要求1所述的一种植保无人机障碍物探测和预警***，其特征在于，地面基站能够规划植保无人机的飞行线路，并设定飞行高度、飞行速度、飞行地点、飞行任务，通过数传电台装置将任务数据编译传送至飞行控制***。
7.如权利要求1所述的一种植保无人机障碍物探测和预警***，其特征在于，数据计算和分析的步骤为：假设激光雷达探测的目标中心点投影到图像上的位置为pR(uR,vR)，pR(uR,vR)为雷达目标的投影点；视觉探测目标中心点的位置为pc(uc,vc)，两者具体融合分为三种情况：1)若激光雷达和双目视觉同时探测到了目标，且激光雷达探测目标投影位置、双目视觉探测目标位置以及显著性探测目标位置三者相匹配，则直接确定目标的位置即为两者探测结果；2)若激光雷达和双目视觉显著性两者探测结果不一致，则激光雷达连续检则10帧，若在这10帧中有大于或等于5帧以上探测的目标投影位置和双目视觉显著性探测的相匹配则可确定目标位置，即为激光雷达10帧中有大于或等于5帧中所确定的目标位置；3)若不是前两种情况，则激光雷达和双目视觉继续探测。
8.如权利要求1所述的一种植保无人机障碍物探测和预警***，其特征在于，判断激光雷达探测到目标中心投影点pR(uR,vR)和视觉探测的目标中心点位置pc(uc,vc)是否匹配通过下式：C(PR,PC)＝α|μR-μC|+β|νR-νC|，其中参数α和β分别是图像横向权重和纵向权重，激光雷达三维数据投影到图像上时，横向误差大，所以α和β赋予不同权重，分别是α＝0.5，β＝1，并给定阈值CT，CT为50，若C(pR,pC)不大于CT，则认为激光雷达和视觉探测的目标相匹配，否则不匹配。
9.如权利要求1所述的一种植保无人机障碍物探测和预警***，其特征在于，采用如下的控制方法：基于Python编程语言设计了任务管理***(Task control system.TCS),TCS依赖于ROS进行植保无人机飞行任务管理，包含多个Python文件，其中Main.py是主文件，其一方面负责ROS节点建立、植保无人机起飞前状态探测、飞行模式选择、植保无人机自主起降控制、植保无人机障碍物自主探测、植保无人机障碍物预警，另一方面通过解析Task_List.txt文件提取所有飞行任务并顺序调用相应文件进行植保无人机飞行任务，同时监测飞行任务执行进度,TCS_Utility.py文件负责维持地面基站与飞行控制***之间的连接，并监测每条飞行任务执行进程,Task_List.txt文件内容每一行代表一个飞行任务，以目标点与起飞位置的相对坐标和悬停时间为参数，Task_Local_Goto.py负责按照当前任务参数控制植保无人机以设定速度从当前位置直线飞行到目标位置即靠近障碍物的位置，Task_Simple_Hover.py负责根据当前任务参数控制无人机精准悬停在障碍物前方并向地面飞手发出预警,飞手还可依据上述方法对任务管理***功能进行扩展，并通过改变任务列表参数制定特定飞行任务，应对农田复杂的作业环境。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010560491.0A CN111796602A (zh) | 2020-06-18 | 2020-06-18 | 一种植保无人机障碍物探测和预警*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010560491.0A CN111796602A (zh) | 2020-06-18 | 2020-06-18 | 一种植保无人机障碍物探测和预警*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111796602A true CN111796602A (zh) | 2020-10-20 |
Family
ID=72803119
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010560491.0A Pending CN111796602A (zh) | 2020-06-18 | 2020-06-18 | 一种植保无人机障碍物探测和预警*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111796602A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112298555A (zh) * | 2020-10-31 | 2021-02-02 | 夏喜明 | 一种用于高精度测绘的5g无人机 |
| CN112987014A (zh) * | 2021-02-20 | 2021-06-18 | 纳瓦电子（上海）有限公司 | 车辆及其探测***和探测方法 |
| CN113093792A (zh) * | 2021-03-25 | 2021-07-09 | 上海工程技术大学 | 一种基于无人机的地下空间探测*** |
| CN113759947A (zh) * | 2021-09-10 | 2021-12-07 | 中航空管***装备有限公司 | 基于激光雷达的机载飞行避障辅助方法、装置及*** |
| CN113917946A (zh) * | 2021-11-18 | 2022-01-11 | 上海顺诠科技有限公司 | 基于动态调整预警范围的无人机自动喷洒作业***及其方法 |
| CN115616578A (zh) * | 2022-12-05 | 2023-01-17 | 成都航空职业技术学院 | 一种用于无人飞行器的雷达探测方法及装置 |
| CN116820132A (zh) * | 2023-07-06 | 2023-09-29 | 杭州牧星科技有限公司 | 基于远距视觉传感器的飞行避障预警提示方法及其*** |
| CN117092641A (zh) * | 2023-10-20 | 2023-11-21 | 江苏翰林正川工程技术有限公司 | 一种基于雷达测距与图像识别的信息融合方法 |
| CN117472082A (zh) * | 2023-12-26 | 2024-01-30 | 众芯汉创(江苏)科技有限公司 | 一种基于ai视觉辅助的无人机航线生成方法及装置 |
| CN118149780A (zh) * | 2024-05-10 | 2024-06-07 | 长沙核工业工程勘察院有限公司 | 用于地理空间信息数据测绘的数据采集*** |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107608371A (zh) * | 2016-07-12 | 2018-01-19 | 何守印 | 城市社区环境下四旋翼自主避障无人机 |
| CN110007313A (zh) * | 2019-03-08 | 2019-07-12 | 中国科学院深圳先进技术研究院 | 基于无人机的障碍物检测方法及装置 |
-
2020
- 2020-06-18 CN CN202010560491.0A patent/CN111796602A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107608371A (zh) * | 2016-07-12 | 2018-01-19 | 何守印 | 城市社区环境下四旋翼自主避障无人机 |
| CN110007313A (zh) * | 2019-03-08 | 2019-07-12 | 中国科学院深圳先进技术研究院 | 基于无人机的障碍物检测方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| 张香利: ""基于激光雷达和视觉信息融合的水面船只检测与识别研究"", 《上海交通大学工学硕士学位论文》 * |
| 樊宝安 等: ""四旋翼无人机巡航飞行模式下的自主避障方案设计"", 《电子设计工程》 * |
| 王大帅 等: ""基于多传感器融合的无人机精准自主飞行控制方法"", 《农业机械学报》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112298555A (zh) * | 2020-10-31 | 2021-02-02 | 夏喜明 | 一种用于高精度测绘的5g无人机 |
| CN112987014A (zh) * | 2021-02-20 | 2021-06-18 | 纳瓦电子（上海）有限公司 | 车辆及其探测***和探测方法 |
| CN113093792A (zh) * | 2021-03-25 | 2021-07-09 | 上海工程技术大学 | 一种基于无人机的地下空间探测*** |
| CN113759947B (zh) * | 2021-09-10 | 2023-08-08 | 中航空管***装备有限公司 | 基于激光雷达的机载飞行避障辅助方法、装置及*** |
| CN113759947A (zh) * | 2021-09-10 | 2021-12-07 | 中航空管***装备有限公司 | 基于激光雷达的机载飞行避障辅助方法、装置及*** |
| CN113917946A (zh) * | 2021-11-18 | 2022-01-11 | 上海顺诠科技有限公司 | 基于动态调整预警范围的无人机自动喷洒作业***及其方法 |
| CN113917946B (zh) * | 2021-11-18 | 2024-05-10 | 上海顺诠科技有限公司 | 基于动态调整预警范围的无人机自动喷洒作业***及其方法 |
| CN115616578A (zh) * | 2022-12-05 | 2023-01-17 | 成都航空职业技术学院 | 一种用于无人飞行器的雷达探测方法及装置 |
| CN116820132A (zh) * | 2023-07-06 | 2023-09-29 | 杭州牧星科技有限公司 | 基于远距视觉传感器的飞行避障预警提示方法及其*** |
| CN116820132B (zh) * | 2023-07-06 | 2024-01-09 | 杭州牧星科技有限公司 | 基于远距视觉传感器的飞行避障预警提示方法及其*** |
| CN117092641A (zh) * | 2023-10-20 | 2023-11-21 | 江苏翰林正川工程技术有限公司 | 一种基于雷达测距与图像识别的信息融合方法 |
| CN117092641B (zh) * | 2023-10-20 | 2023-12-15 | 江苏翰林正川工程技术有限公司 | 一种基于雷达测距与图像识别的信息融合方法 |
| CN117472082A (zh) * | 2023-12-26 | 2024-01-30 | 众芯汉创(江苏)科技有限公司 | 一种基于ai视觉辅助的无人机航线生成方法及装置 |
| CN117472082B (zh) * | 2023-12-26 | 2024-03-22 | 众芯汉创(江苏)科技有限公司 | 一种基于ai视觉辅助的无人机航线生成方法及装置 |
| CN118149780A (zh) * | 2024-05-10 | 2024-06-07 | 长沙核工业工程勘察院有限公司 | 用于地理空间信息数据测绘的数据采集*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111796602A (zh) | 一种植保无人机障碍物探测和预警*** | |
| JP7274674B1 (ja) | 無人航空機による３次元再構成の実行 | |
| CN109029422B (zh) | 一种多无人机协作构建三维调查地图的方法和装置 | |
| CN113791641B (zh) | 一种基于飞行器的设施检测方法及控制设备 | |
| CN110765894B (zh) | 目标检测方法、装置、设备及计算机可读存储介质 | |
| CA2950791C (en) | Binocular visual navigation system and method based on power robot | |
| CN112506222A (zh) | 一种无人机智能化避障方法及装置 | |
| EP2413096B1 (en) | Ground-based videometrics guiding method for aircraft landing or unmanned aerial vehicles recovery | |
| CN107161141A (zh) | 无人驾驶汽车***及汽车 | |
| CN108508916B (zh) | 一种无人机编队的控制方法、装置、设备及存储介质 | |
| CN212135234U (zh) | 一种用于输电线路巡检无人机的飞行辅助装置 | |
| CN108469817B (zh) | 基于fpga和信息融合的无人船避障控制*** | |
| CN111045425A (zh) | 一种地面无人车辆的辅助遥操作驾驶方法 | |
| CN112558608A (zh) | 一种基于无人机辅助的车机协同控制及路径优化方法 | |
| CN115933754A (zh) | 基于毫米波雷达和双目视觉的电力巡检无人机避障方法 | |
| CN107783545A (zh) | 基于ooda环多传感器信息融合的灾后救援旋翼无人机避障*** | |
| CN116540784B (zh) | 一种基于视觉的无人***空地协同导航与避障方法 | |
| CN114564042A (zh) | 一种基于多传感器融合的无人机着陆方法 | |
| CN113759947A (zh) | 基于激光雷达的机载飞行避障辅助方法、装置及*** | |
| CN109708659B (zh) | 一种分布式智能光电低空防护*** | |
| CN106598065A (zh) | 一种无人机的双目－超声波融合避障控制方法 | |
| CN111476134A (zh) | 一种基于增强现实的地质考察数据处理***和方法 | |
| CN117472081B (zh) | 一种基于感知约束的无人机避障方法 | |
| CN116652973B (zh) | 一种具有v2x功能的模拟交通指挥员*** | |
| CN117311385A (zh) | 一种基于多维探测数据的无人机保护***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201020 |