CN110989664A - 一种基于多目视觉的无人机夜间植保方法 - Google Patents
一种基于多目视觉的无人机夜间植保方法 Download PDFInfo
- Publication number
- CN110989664A CN110989664A CN201911199206.0A CN201911199206A CN110989664A CN 110989664 A CN110989664 A CN 110989664A CN 201911199206 A CN201911199206 A CN 201911199206A CN 110989664 A CN110989664 A CN 110989664A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- platform
- plant protection
- vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 239000000575 pesticide Substances 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 24
- 230000007246 mechanism Effects 0.000 claims abstract description 6
- 239000007921 spray Substances 0.000 claims abstract description 6
- 238000012937 correction Methods 0.000 claims abstract description 4
- 230000000007 visual effect Effects 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000005507 spraying Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 13
- 238000007689 inspection Methods 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 10
- 241000607479 Yersinia pestis Species 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 201000010099 disease Diseases 0.000 claims description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 8
- 241000238631 Hexapoda Species 0.000 claims description 6
- 230000004888 barrier function Effects 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 6
- 238000002360 preparation method Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012369 In process control Methods 0.000 claims description 2
- 238000010965 in-process control Methods 0.000 claims description 2
- 238000012271 agricultural production Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G13/00—Protecting plants
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
- A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
- A01M7/0025—Mechanical sprayers
- A01M7/0032—Pressure sprayers
- A01M7/0042—Field sprayers, e.g. self-propelled, drawn or tractor-mounted
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Wood Science & Technology (AREA)
- Zoology (AREA)
- Insects & Arthropods (AREA)
- Mechanical Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Pest Control & Pesticides (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Catching Or Destruction (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及一种基于多目视觉的无人机夜间植保作业方法,属于航空***技术领域。在待植保农田周围布置若干个双目视觉子平台,组成多目视觉平台;对双目视觉子平台进行参数标定,然后对各组双目视觉子平台之间的位置关系进行标定;通过多目视觉***计算植保无人机平台相对于农田的初始位置;利用地面控制平台规划植保无人机飞行航迹;开始植保作业,在作业过程中多目视觉平台通过捕捉植保无人机平台上的红外特征标识点,实时解算植保无人机相对于农田的位置,并将位置信息反馈给植保无人机的自动驾驶仪和地面控制平台,用于植保作业过程中无人机航线的实时修正;所述农药喷洒平台搭载在无人机平台上,为无人机植保作业的执行机构。
Description
技术领域
本发明属于航空***技术领域,尤其涉及一种基于多目视觉的无人机夜间植保方法。
背景技术
我国是一个农业生产和农产品消费大国,我国拥有20.25亿亩的基本耕地,这些耕地每年都需要大量的农业植保作业,特别是在病虫害爆发的季节,需要短期内聚集大量人手进行作物病虫害防护工作,但是传统的人工植保手段所需人力资源较多、植保效率低下,影响我国农业生产正常进行,制约我国农业的发展。
随着科技的不断进步及农业现代化进程的不断推进,高效、安全、精准的现代农业受到国家各级政府的青睐。无人机植保技术作为农业植保中的一项新兴技术,无人机可以在很大程度上代替传统植保方式进行植保作业,并且无人机植保在便利性、安全性、喷洒效率、节水节药等方面都有更加显著效果,将成为我国农业现代化的主要措施和重要力量。
在病虫害爆发的高峰期,植保作业为了快速、高效、及时的应对病虫危害,对植保作业的时效性提出更高要求,对无人机全天候植保提出新的需求,如何提高无人机夜间环境下植保能力尤为关键。
发明内容
(一)要解决的技术问题
本发明要针对技术背景中所涉及到的病虫害高峰时期,无人机植保作业需要连续作业,甚至夜间作业的问题,针对无人机夜间作业低可视度、障碍躲避困难等技术难点,提出一种基于多目视觉反馈的无人机夜间植保方法。
(二)技术方案
为了解决上述技术问题,本发明提供了一种基于多目视觉的无人机夜间植保作业方法,该方法基于一种无人机夜间植保作业***实现,该***包括无人机平台、多目视觉平台、农药喷洒平台和无人机地面控制平台四大任务平台的***,所述无人机平台为无人机植保作业的飞行平台,用于搭载农药喷洒平台和视觉定位标识点;在无人机进行植保作业时,无人机平台搭载农药喷洒平台在多目视觉平台的引导下进行航迹实时规划;所述多目视觉平台用于在无人机夜间植保作业期间捕捉视觉定位标识点,进而进行无人机位置解算,将无人机位置信息发送给无人机平台和地面控制平台,为无人机提供导航位置参考;所述农药喷洒平台为无人机植保作业的执行机构,无人机植保作业过程中用于控制农药的喷洒强度,使得农药作用于受害农作物根部,更好的消除农作物病虫害;所述地面控制平台,是植保无人机飞行控制的地面控制平台,用于接收多目视觉平台反馈的无人机位置信息及无人机反馈的位置及姿态信息,对无人机的航迹进行规划,并通过无线通信发送控制指令到无人机,具备无人机航迹规划、无人机姿态显示、无人机位置显示功能;基于所述***实现的无人机夜间植保作业方法包括以下步骤:
在待植保农田周围布置若干个双目视觉子平台,组成多目视觉平台;对双目视觉子平台进行参数标定,然后对各组双目视觉子平台之间的位置关系进行标定;
多目视觉平台标定完成之后,进行植保无人机平台作业前准备检查,并通过多目视觉***计算植保无人机平台相对于农田的位置;
检查完毕之后,进行地面控制平台开机检查,检查工作完成之后,利用地面控制平台规划植保无人机飞行航迹;
最后开始植保作业,在作业过程中多目视觉平台通过捕捉植保无人机平台上的红外特征标识点,实时解算植保无人机相对于农田的位置,并将位置信息反馈给植保无人机的自动驾驶仪和地面控制平台,用于植保作业过程中无人机航线的实时修正;
所述农药喷洒平台搭载在无人机平台上,为无人机植保作业的执行机构,无人机植保作业过程中控制控制农药的喷洒强度,使得农药作用于受害农作物根部。
进一步地,地面控制平台和无人机平台之间通过无线通信进行双向通信,无人机平台发送位姿信息给地面控制平台,地面控制平台根据无人机的位姿信息规划航迹并发送控制指令,控制指令指示航迹坐标。
进一步地,地面控制平台还与遥控器进行有线连接,在突发情况发生时,可以通过遥控器人为控制无人机进行降落。
进一步地,多目视觉平台将无人机的位置通过无线通信技术传输给无人机平台和地面控制平台。
进一步地,无人机平台还搭载视觉定位标识点,该视觉定位标识点采用无人机红外特征靶标点设计,该红外特征靶标点由红外特征标识点和标识点支撑架组成,标识点支撑架设计为十字架形状,红外特征标识点布置于标识点支撑架的四个端点位置,无人机在植保作业过程中,红外特征标识点被加热,提高红外特征标识点在红外相机中的识别度。
进一步地,无人机平台还搭载超声蔽障设备和视觉蔽障装置,在无人机飞行的过程中通过超声、视觉组合蔽障方式躲避植保作业过程中遇到的障碍物。
进一步地,各组双目视觉子平台间的位置标定算法如下:
多目视觉平台包含n个双目视觉平台子***,分别编号为1,2,3…,n-1,n;将其布置于农田周围,假设编号为1的双目视觉平台子***中的左边相机作为双目视觉平台坐标系的原点,其相机参数为M1L=K1L[I|0],其中K1L为编号为1的双目视觉平台中左边相机的内参,I为3×3单位矩阵,0为3×1零矩阵,则编号为1的双目视觉平台右边相机的参数为M1R=K1R[R1|t1],R1,t1分别为右相机相对于左相机的旋转、平移矩阵,K1R为编号为1的双目视觉平台中右边相机的内参,同理,编号为2的双目视觉平台左右相机的参数分别为M2L=K2L[I|0],M2R=K2R[Rn|tn];以此类推,编号为n的双目视觉平台左右相机的参数为MnL=KnL[I|0],MnR=KnR[Rn|tn];
假定待标定的两个相邻双目视觉平台的编号为1、2,将红外特征靶标点放置于该两个相邻双目视觉平台的公共视场区域,红外特征靶标点在标定过程中至少挪动3个位置,利用公式1计算靶标点在各自双目相机坐标系中的位置,
公式1中x,y,z为红外靶标点在双目视觉平台坐标系下的三维空间坐标,fl,fr为相机内参矩阵中左右相机的焦距,r为相机矩阵R中的参数,ty,tz为相机矩阵t中的参数,Xl、Yl、Yr为靶标点在相机图像中的坐标位置;
假设编号为1的双目视觉平台利用公式1解算出的靶标点三维空间位置为P1={X1,Y1,Z1,1}T,编号为2的双目视觉平台利用公式1解算出的靶标点三维空间位置为P2={X2,Y2,Z2,1},由于编号为1和2的双目视觉平台坐标系之间存在一个旋转平移变换,可以通过旋转R21、平移t21矩阵表示,因此
P2={R21|t21}P1 (2)
若干组靶标点三维空间位置,利用公式(2)组成方程组,可以解算编号为1和2的双目视觉平台坐标系之间旋转R21、平移t21矩阵中的参数,完成编号为1和2的双目视觉平台之间位置的标定;
同理,其他相邻位置双目视觉平台的标定重复上述过程,进而完成整个多目视觉平台的位置标定。
进一步地,无人机位置解算算法如下:
在完成多目视觉平台的位置标定之后,多目视觉平台中的所有双目视觉平台均统一到同一个世界坐标系,因此在无人机平台在农田进行植保作业的过程中,双目视觉平台实时捕捉无人机平台上携带的红外特征靶标点,利用如下公式3计算靶标点三维空间位置;
由于多目视觉平台包含n组双目视觉平台,因此会解算出n组靶标三维空间位置,由于靶标架上有4个标识点,所以解算出的每组靶标包含4个靶标点三维空间位置,对这四个靶标点的三维空间坐标求平均值作为无人机在该组双目视觉平台下的位置pw={xw,yw,zw},求无人机在n组双目视觉平台下的位置,并计算它们的平均值,该平均值作为多目视觉平台解算的无人机在农田中的位置PW={XW,YW,ZW}。
(三)有益效果
该基于多目视觉反馈的无人机夜间植保方法通过多目视觉反馈的方法反馈无人机位置,在夜间环境下为无人机植保航迹规划提供位置信息,克服无人机夜间植保作业困难的难题,使得无人机具备全天候植保作业的能力。
独特的多目视觉平台设计,采用多组红外双目视觉平台组成多目视觉***,可实时解算无人机的位置,可以灵活拆卸,随机布置于农田周围,避免单组双目视觉***有视觉盲区,无法全方位捕捉无人机位置的缺点。
独特的无人机视觉定位标识点设计,该标识点标识点加红外特征捕捉点,有助于多目视觉***夜间环境下识别该视觉定位标识点。
附图说明
图1是本发明总体***图;
图2是本发明各子平台连接关系图;
图3是本发明工作流程图;
图4是本发明视觉定位标识点示意图。
图中:
1-多目视觉平台,2-植保无人机平台,3-农药喷洒平台,4-地面控制平台,5-待植保农田,6-无人机,7-地面控制操作平台,8-双目视觉子平台,9-遥控设备,10-红外特征标识点,11-标识点支撑架。
具体实施方式
为使本发明的目的、内容、和优点更加清楚,下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。
如图1所示,本发明所述一种基于多目视觉的无人机夜间植保方法主要应用于无人机夜间植保作业过程中的无人机位置解算及导航。本方法主要涉及的对象为:多目视觉平台1、植保无人机平台2、农药喷洒平台3、地面控制平台4、待植保农田5。
所述植保无人机平台2为无人机植保作业的飞行平台,用于搭载农药喷洒平台3、视觉定位标识点、超声蔽障设备、视觉蔽障装置;在无人机进行植保作业时,植保无人机平台2搭载农药喷洒平台3在多目视觉平台1的引导下进行航迹实时规划,在飞行的过程中通过超声、视觉组合蔽障方式躲避植保作业过程中遇到的障碍物。
所述多目视觉平台1用于无人机夜间植保作业期间的无人机位置计算,为无人机提供导航位置参考。多目视觉平台1由多组红外双目视觉子平台8组成,布置于需要进行植保作业的农田5周围,并完成各组双目视觉子平台8间的位置标定,无人机夜间在农田飞行过程中,通过该多目视觉平台1进行无人机位置的实时解算,多目视觉平台1将无人机位置信息发送给植保无人机平台2和地面控制平台4,由地面控制平台4使用该位置信息进行航迹规划或将该位置信息转发给植保无人机平台2,为无人机导航提供位置依据。
所述农药喷洒平台3为无人机植保作业的执行机构,无人机植保作业过程中用于控制控制农药的喷洒强度,使得农药作用于受害农作物根部,更好的消除农作物病虫害。
所述无人机地面控制平台4,是植保无人机飞行控制的地面控制平台,主要用于接收多目视觉平台反馈的无人机位置信息及无人机反馈的位置及姿态信息,对无人机的航迹进行规划,并通过无线通信发送控制指令到无人机,该控制指令可以为航迹坐标指示,具备无人机航迹规划、无人机姿态显示、无人机位置显示等功能。
所述无人机视觉标识点搭载于无人机平台2上,便于多目视觉***捕捉该标识点,进而解算无人机在农田中的具***置。
在执行植保作业过程中:首先在待植保农田周围布置若干个双目视觉子平台8,组成多目视觉平台1;对双目视觉子平台8进行参数标定,然后对各组双目视觉子平台之间的位置关系进行标定;多目视觉平台1标定完成之后,进行植保无人机平台2作业前准备检查,通过多目视觉***计算植保无人机平台2相对于农田的位置;检查完毕之后,进行地面控制平台4开机检查,检查工作完成之后,利用地面控制平台4规划植保无人机飞行航迹;最后开始植保作业,在作业过程中多目视觉平台1通过捕捉植保无人机平台2上的红外特征标识点,实时解算植保无人机相对于农田的位置,并将位置信息反馈给植保无人机的自动驾驶仪和地面控制平台,用于植保作业过程中无人机航线的实时修正。
如图2所示,该无人机夜间植保方法所涉及的各个设备之间的相互通信关系如下:由若干组双目视觉子平台8组成的多目视觉平台1实时捕捉植保无人平台上的红外标识点,并解算无人机在农田中的位置,将位置通过无线通信技术传输给无人机自动驾驶仪和地面控制操作平台7,地面控制操作平台7和无人机6之间通过无线通信进行双向通信,无人机发送位姿信息给地面控制操作平台7,地面控制操作平台7根据无人机的位姿信息发送控制指令,为防止作业过程中突发情况,地面控制操作平台7与遥控器进行有线连接,在突发情况发生时,可以通过遥控器人为控制无人机进行降落。
如图3所示,本发明在夜间植保作业流程如下:首先进行多目视觉平台1的布置,然后进行多目视觉平台1的标定,多目视觉平台1标定完成之后进行无人机***准备工作,在此过程中标定无人机与农田之间的位置关系,无人机***准备完毕之后进行地面控制平台4准备,所有准备工作完成之后,开始无人机夜间植保作业。
如图4所示为本发明涉及的视觉特征标识点,该视觉特征标识点采用无人机红外特征靶标点设计,该红外特征靶标点主要由红外特征标识点10,标识点支撑架11组成,标识点支撑架11设计为十字架形状,红外特征标识点10布置于标识点支撑架11的四个端点位置,无人机在植保作业过程中,红外标识点被加热,提高红外标识点在红外相机中的识别度。
各组双目视觉子平台间的位置标定算法如下:
多目视觉平台包含n个双目视觉平台子***,分别编号为1,2,3…,n-1,n。将其布置于农田周围,假设编号为1的双目视觉平台子***中的左边相机作为双目视觉平台坐标系的原点,其相机参数为M1L=K1L[I|0],其中K1L为编号为1的双目视觉平台中左边相机的内参,I为3×3单位矩阵,0为3×1零矩阵,则编号为1的双目视觉平台右边相机的参数为M1R=K1R[R1|t1],R1,t1分别为右相机相对于左相机的旋转、平移矩阵,K1R为编号为1的双目视觉平台中右边相机的内参,同理,编号为2的双目视觉平台左右相机的参数分别为M2L=K2L[I|0],M2R=K2R[Rn|tn];以此类推,编号为n的双目视觉平台左右相机的参数为MnL=KnL[I|0],MnR=KnR[Rn|tn],这些单独的双目视觉平台事先已经标定好(双目视觉平台标定算法比较成熟,不作为发明点),本发明主要涉及双目视觉平台相机参数已知条件下多目视觉平台标定的算法(计算各个双目视觉平台之间的旋转、平移矩阵,将多个双目视觉平台的相机参数统一到同一个世界坐标系)。标定算法如下:
以标定编号为1、2两个相邻双目视觉平台之间位置关系为例,将本专利涉及的红外特征靶标点放置于相邻两个双目视觉平台的公共视场区域,红外特征靶标点在标定过程中至少挪动3个位置(假设挪动3个位置),利用公式1计算靶标点在各自双目相机坐标系中的位置。
公式1中x,y,z为红外靶标点在双目视觉平台坐标系下的三维空间坐标,fl,fr为相机内参矩阵中左右相机的焦距,r4-r9为相机矩阵R中的参数,ty,tz为相机矩阵t中的参数,Xl、Yl、Yr为靶标点在相机图像中的坐标位置。
假设编号为1的双目视觉平台利用公式1解算出的靶标点三维空间位置为P1={X1,Y1,Z1,1}T,编号为2的双目视觉平台利用公式1解算出的靶标点三维空间位置为P2={X2,Y2,Z2,1},由于编号为1和2的双目视觉平台坐标系之间存在一个旋转平移变换,可以通过旋转R21、平移t21矩阵表示,因此;
P2={R21|t21}P1 (2)
若干组靶标点三维空间位置,利用公式(2)组成方程组,可以解算编号为1和2的双目视觉平台坐标系之间旋转R21、平移t21矩阵中的参数,完成编号为1和2的双目视觉平台之间位置的标定。同理,其他相邻位置双目视觉平台的标定重复上述过程,进而完成整个多目视觉平台的位置标定。
无人机位置解算算法
在完成多目视觉平台的标定之后,多目视觉平台中的所有双目视觉平台均统一到同一个世界坐标系,因此在无人机平台在农田进行植保作业的过程中,双目视觉平台实时捕捉无人机平台上携带的红外特征靶标点,利用如下公式计算靶标点三维空间位置。
由于多目视觉平台包含n组双目视觉平台,因此会解算出n组靶标三维空间位置,由于靶标架上有4个标识点,所以解算出的每组靶标包含4个靶标点三维空间位置,对这四个靶标点的三维空间坐标求平均值作为无人机在该组双目视觉平台下的位置pw={xw,yw,zw},然后求出n组无人机位置,并计算它们的平均值,该平均值作为多目视觉平台解算的无人机在农田中的位置PW={XW,YW,ZW}。
本技术领域技术人员可以理解的是,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (8)
1.一种基于多目视觉的无人机夜间植保作业方法,其特征在于,该方法基于一种无人机夜间植保作业***实现,该***包括无人机平台、多目视觉平台、农药喷洒平台和无人机地面控制平台四大任务平台的***,所述无人机平台为无人机植保作业的飞行平台,用于搭载农药喷洒平台和视觉定位标识点;在无人机进行植保作业时,无人机平台搭载农药喷洒平台在多目视觉平台的引导下进行航迹实时规划;所述多目视觉平台用于在无人机夜间植保作业期间捕捉视觉定位标识点,进而进行无人机位置解算,将无人机位置信息发送给无人机平台和地面控制平台,为无人机提供导航位置参考;所述农药喷洒平台为无人机植保作业的执行机构,无人机植保作业过程中用于控制农药的喷洒强度,使得农药作用于受害农作物根部,更好的消除农作物病虫害;所述地面控制平台,是植保无人机飞行控制的地面控制平台,用于接收多目视觉平台反馈的无人机位置信息及无人机反馈的位置及姿态信息,对无人机的航迹进行规划,并通过无线通信发送控制指令到无人机,具备无人机航迹规划、无人机姿态显示、无人机位置显示功能;基于所述***实现的无人机夜间植保作业方法包括以下步骤:
在待植保农田周围布置若干个双目视觉子平台,组成多目视觉平台;对双目视觉子平台进行参数标定,然后对各组双目视觉子平台之间的位置关系进行标定;
多目视觉平台标定完成之后,进行植保无人机平台作业前准备检查,并通过多目视觉***计算植保无人机平台相对于农田的位置;
检查完毕之后,进行地面控制平台开机检查,检查工作完成之后,利用地面控制平台规划植保无人机飞行航迹;
最后开始植保作业,在作业过程中多目视觉平台通过捕捉植保无人机平台上的红外特征标识点,实时解算植保无人机相对于农田的位置,并将位置信息反馈给植保无人机的自动驾驶仪和地面控制平台,用于植保作业过程中无人机航线的实时修正;
所述农药喷洒平台搭载在无人机平台上,为无人机植保作业的执行机构,无人机植保作业过程中控制控制农药的喷洒强度,使得农药作用于受害农作物根部。
2.如权利要求1所述的一种基于多目视觉的无人机夜间植作业方法,其特征在于:地面控制平台和无人机平台之间通过无线通信进行双向通信,无人机平台发送位姿信息给地面控制平台,地面控制平台根据无人机的位姿信息规划航迹并发送控制指令,控制指令指示航迹坐标。
3.如权利要求1所述的一种基于多目视觉的无人机夜间植作业方法,其特征在于:地面控制平台还与遥控器进行有线连接,在突发情况发生时,可以通过遥控器人为控制无人机进行降落。
4.如权利要求1所述的一种基于多目视觉的无人机夜间植作业方法,其特征在于:多目视觉平台将无人机的位置通过无线通信技术传输给无人机平台和地面控制平台。
5.如权利要求1所述的一种基于多目视觉的无人机夜间植作业方法,其特征在于:无人机平台还搭载视觉定位标识点,该视觉定位标识点采用无人机红外特征靶标点设计,该红外特征靶标点由红外特征标识点和标识点支撑架组成,标识点支撑架设计为十字架形状,红外特征标识点布置于标识点支撑架的四个端点位置,无人机在植保作业过程中,红外特征标识点被加热,提高红外特征标识点在红外相机中的识别度。
6.如权利要求1所述的一种基于多目视觉的无人机夜间植作业方法,其特征在于:无人机平台还搭载超声蔽障设备和视觉蔽障装置,在无人机飞行的过程中通过超声、视觉组合蔽障方式躲避植保作业过程中遇到的障碍物。
7.如权利要求5所述的一种基于多目视觉的无人机夜间植作业***,其特征在于:各组双目视觉子平台间的位置标定算法如下:
多目视觉平台包含n个双目视觉平台子***,分别编号为1,2,3…,n-1,n;将其布置于农田周围,假设编号为1的双目视觉平台子***中的左边相机作为双目视觉平台坐标系的原点,其相机参数为M1L=K1L[I|0],其中K1L为编号为1的双目视觉平台中左边相机的内参,I为3×3单位矩阵,0为3×1零矩阵,则编号为1的双目视觉平台右边相机的参数为M1R=K1R[R1|t1],R1,t1分别为右相机相对于左相机的旋转、平移矩阵,K1R为编号为1的双目视觉平台中右边相机的内参,同理,编号为2的双目视觉平台左右相机的参数分别为M2L=K2L[I|0],M2R=K2R[Rn|tn];以此类推,编号为n的双目视觉平台左右相机的参数为MnL=KnL[I|0],MnR=KnR[Rn|tn];
假定待标定的两个相邻双目视觉平台的编号为1、2,将红外特征靶标点放置于该两个相邻双目视觉平台的公共视场区域,红外特征靶标点在标定过程中至少挪动3个位置,利用公式1计算靶标点在各自双目相机坐标系中的位置,
公式1中x,y,z为红外靶标点在双目视觉平台坐标系下的三维空间坐标,fl,fr为相机内参矩阵中左右相机的焦距,r4-r9为相机矩阵R中的参数,ty,tz为相机矩阵t中的参数,Xl、Yl、Yr为靶标点在相机图像中的坐标位置;
假设编号为1的双目视觉平台利用公式1解算出的靶标点三维空间位置为P1={X1,Y1,Z1,1}T,编号为2的双目视觉平台利用公式1解算出的靶标点三维空间位置为P2={X2,Y2,Z2,1},由于编号为1和2的双目视觉平台坐标系之间存在一个旋转平移变换,可以通过旋转R21、平移t21矩阵表示,因此
P2={R21|t21}P1 (2)
若干组靶标点三维空间位置,利用公式(2)组成方程组,可以解算编号为1和2的双目视觉平台坐标系之间旋转R21、平移t21矩阵中的参数,完成编号为1和2的双目视觉平台之间位置的标定;
同理,其他相邻位置双目视觉平台的标定重复上述过程,进而完成整个多目视觉平台的位置标定。
8.如权利要求7所述的一种基于多目视觉的无人机夜间植作业***,其特征在于:无人机位置解算算法如下:
在完成多目视觉平台的位置标定之后,多目视觉平台中的所有双目视觉平台均统一到同一个世界坐标系,因此在无人机平台在农田进行植保作业的过程中,双目视觉平台实时捕捉无人机平台上携带的红外特征靶标点,利用如下公式3计算靶标点三维空间位置;
由于多目视觉平台包含n组双目视觉平台,因此会解算出n组靶标三维空间位置,由于靶标架上有4个标识点,所以解算出的每组靶标包含4个靶标点三维空间位置,对这四个靶标点的三维空间坐标求平均值作为无人机在该组双目视觉平台下的位置pw={xw,yw,zw},求无人机在n组双目视觉平台下的位置,并计算它们的平均值,该平均值作为多目视觉平台解算的无人机在农田中的位置PW={XW,YW,ZW}。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911199206.0A CN110989664A (zh) | 2019-11-29 | 2019-11-29 | 一种基于多目视觉的无人机夜间植保方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911199206.0A CN110989664A (zh) | 2019-11-29 | 2019-11-29 | 一种基于多目视觉的无人机夜间植保方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110989664A true CN110989664A (zh) | 2020-04-10 |
Family
ID=70088375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911199206.0A Pending CN110989664A (zh) | 2019-11-29 | 2019-11-29 | 一种基于多目视觉的无人机夜间植保方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110989664A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111543413A (zh) * | 2020-05-28 | 2020-08-18 | 中国农业大学 | 一种空地协同的农业机器人精准施药方法及*** |
CN113432603A (zh) * | 2021-06-25 | 2021-09-24 | 中国船舶重工集团公司第七0七研究所 | 一种复杂环境下母平台与子平台相对位姿测量方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105205824A (zh) * | 2015-09-25 | 2015-12-30 | 北京航空航天大学 | 基于高精度辅助相机和球靶标的多摄像机全局校准方法 |
CN106296718A (zh) * | 2016-09-22 | 2017-01-04 | 西北工业大学 | 基于立体视觉导航***的相机阵列快速标定方法 |
CN106774365A (zh) * | 2016-12-20 | 2017-05-31 | 华中科技大学 | 一种基于外部视觉定位的无人机调试*** |
CN107358631A (zh) * | 2017-06-27 | 2017-11-17 | 大连理工大学 | 一种虑及三维畸变的双目视觉重建方法 |
CN107697302A (zh) * | 2017-08-31 | 2018-02-16 | 广东容祺智能科技有限公司 | 一种基于双目视觉的农药喷洒无人机*** |
CN108279677A (zh) * | 2018-02-08 | 2018-07-13 | 张文 | 基于双目视觉传感器的轨道机器人检测方法 |
CN109029417A (zh) * | 2018-05-21 | 2018-12-18 | 南京航空航天大学 | 基于混合视觉里程计和多尺度地图的无人机slam方法 |
CN109085594A (zh) * | 2018-06-01 | 2018-12-25 | 北京农业智能装备技术研究中心 | 一种用于施药导引的无人机机载***及施药导引*** |
CN110371294A (zh) * | 2019-07-12 | 2019-10-25 | 仲恺农业工程学院 | 植保无人机***及植保无人机作业方法 |
CN110989643A (zh) * | 2019-11-29 | 2020-04-10 | 北京特种机械研究所 | 一种基于多目视觉的无人机夜间植保*** |
-
2019
- 2019-11-29 CN CN201911199206.0A patent/CN110989664A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105205824A (zh) * | 2015-09-25 | 2015-12-30 | 北京航空航天大学 | 基于高精度辅助相机和球靶标的多摄像机全局校准方法 |
CN106296718A (zh) * | 2016-09-22 | 2017-01-04 | 西北工业大学 | 基于立体视觉导航***的相机阵列快速标定方法 |
CN106774365A (zh) * | 2016-12-20 | 2017-05-31 | 华中科技大学 | 一种基于外部视觉定位的无人机调试*** |
CN107358631A (zh) * | 2017-06-27 | 2017-11-17 | 大连理工大学 | 一种虑及三维畸变的双目视觉重建方法 |
CN107697302A (zh) * | 2017-08-31 | 2018-02-16 | 广东容祺智能科技有限公司 | 一种基于双目视觉的农药喷洒无人机*** |
CN108279677A (zh) * | 2018-02-08 | 2018-07-13 | 张文 | 基于双目视觉传感器的轨道机器人检测方法 |
CN109029417A (zh) * | 2018-05-21 | 2018-12-18 | 南京航空航天大学 | 基于混合视觉里程计和多尺度地图的无人机slam方法 |
CN109085594A (zh) * | 2018-06-01 | 2018-12-25 | 北京农业智能装备技术研究中心 | 一种用于施药导引的无人机机载***及施药导引*** |
CN110371294A (zh) * | 2019-07-12 | 2019-10-25 | 仲恺农业工程学院 | 植保无人机***及植保无人机作业方法 |
CN110989643A (zh) * | 2019-11-29 | 2020-04-10 | 北京特种机械研究所 | 一种基于多目视觉的无人机夜间植保*** |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111543413A (zh) * | 2020-05-28 | 2020-08-18 | 中国农业大学 | 一种空地协同的农业机器人精准施药方法及*** |
CN111543413B (zh) * | 2020-05-28 | 2021-05-04 | 中国农业大学 | 一种空地协同的农业机器人精准施药方法 |
CN113432603A (zh) * | 2021-06-25 | 2021-09-24 | 中国船舶重工集团公司第七0七研究所 | 一种复杂环境下母平台与子平台相对位姿测量方法 |
CN113432603B (zh) * | 2021-06-25 | 2022-09-16 | 中国船舶重工集团公司第七0七研究所 | 一种复杂环境下母平台与子平台相对位姿测量方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2021290406B2 (en) | Automatic target recognition and dispensing system | |
US12004443B2 (en) | Payload selection to treat multiple plant objects having different attributes | |
US11526997B2 (en) | Targeting agricultural objects to apply units of treatment autonomously | |
CN106200683B (zh) | 无人机植保***及植保方法 | |
US11812681B2 (en) | Precision treatment of agricultural objects on a moving platform | |
US11465162B2 (en) | Obscurant emission to assist image formation to automate agricultural management and treatment | |
US11449976B2 (en) | Pixel projectile delivery system to replicate an image on a surface using pixel projectiles | |
US20210186006A1 (en) | Autonomous agricultural treatment delivery | |
CN110989664A (zh) | 一种基于多目视觉的无人机夜间植保方法 | |
CN110989643A (zh) | 一种基于多目视觉的无人机夜间植保*** | |
US11653590B2 (en) | Calibration of systems to deliver agricultural projectiles | |
US20230029636A1 (en) | Unmanned aerial vehicle | |
US20210185942A1 (en) | Managing stages of growth of a crop with micro-precision via an agricultural treatment delivery system | |
CN113273376A (zh) | 一种模块化除草装置 | |
CN203762122U (zh) | 一种室内自主移动喷药机器人 | |
CN109324630A (zh) | 一种无人机喷药***及控制方法 | |
CN107711799A (zh) | 一种基于无人机检测果园信息的人工智能喷药*** | |
CA3224120A1 (en) | Multi-device agricultural field treatment | |
JP2024528460A (ja) | マルチ装置圃場処理 | |
CN116829460A (zh) | 一种野外自主作业的专家型飞行机器人*** | |
CN118140903A (zh) | 一种针对田间虫害的识别控制喷洒机器人及其方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240507 |