CN114967763B

CN114967763B - 一种基于图像定位的植保无人机的播撒控制方法

Info

Publication number: CN114967763B
Application number: CN202210914951.4A
Authority: CN
Inventors: 蒋一民
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2022-08-01
Filing date: 2022-08-01
Publication date: 2022-11-08
Anticipated expiration: 2042-08-01
Also published as: CN114967763A

Abstract

本发明公开一种基于图像定位的植保无人机的播撒控制方法，属于图像处理领域。控制方法步骤包括：获取第一图像，所述第一图像为待播撒区域图像；获取作业请求指令；基于所述作业请求指令，提取所述第一图像中的特征数据，所述特征数据为被标记为已播撒作业区域的像素点数据；基于所述特征数据，控制植保无人机按照作业路径对待播撒区域进行播撒作业，所述作业路径为对待播撒区域进行播撒作业的路径；本发明的有益效果为通过识别图像，定位无人机位置，精准按照规划路线进行播撒，来决定是否对当前区域进行播撒的方法，实现了对待播撒区域无重复、一次性播撒，节约了播撒的种子。

Description

一种基于图像定位的植保无人机的播撒控制方法

技术领域

本发明涉及图像处理，匹配领域，具体而言，涉及基于植保无人机的播撒控制方法。

背景技术

植保无人机，又名无人飞行器，顾名思义是用于农林植物保护作业的无人驾驶飞机，该型无人飞机由飞行平台(固定翼、直升机、多轴飞行器)、导航飞控、喷洒机构三部分组成，通过地面遥控或导航飞控，来实现喷洒作业，可以喷洒药剂、种子、粉剂等，在农业生产中，节省了劳动力、降低了劳动强度。

但是在现有技术中的无人机进行播撒作业的时候，通常采用的是通过人工控制的方式对播撒的区域进行控制播撒，但是在通过人工方式对播撒区域进行控制的时候，当播撒区域面积过大或者地形复杂的时候，通常会出现漏播或者重复播撒的情况，从而造成种子的浪费。

有鉴于此，特提出本申请。

发明内容

本发明所要解决的技术问题是现有技术中，采用人工控制无人机对区域进行播撒，容易造成漏播或重复播撒，目的在于提供基于植保无人机的播撒控制方法，能够实现自动对待播撒区域进行无重复播撒。

本发明通过下述技术方案实现：

一种基于图像定位的植保无人机的播撒控制方法，该控制方法包括：

步骤1：获取第一图像，所述第一图像是包括待播撒区域的地面图像；

步骤2：采用神经网络对第一图像中农田区域进行识别，并根据图像中农田的实际划分对农田进行分块；分块方法为：识别出图像中的道路、树木、田垄、水渠或人为标记的分界线，将识别出的道路、树木、田垄、水渠或人为标记的分界线拟合成直线，这些直线认为是农田的分界线，采用这些直线实现对农田的分块，并保存所有直线组成的网络图形，称为图形库；

步骤3：手动选择待播撒的农田块，对每一块单独的待播撒农田虚拟划分为多个小方格，每个小方格称为第二图像，每个小方格的宽度为无人机播撒的宽度，无人机播撒宽度可调；

步骤4：根据步骤3划分的虚拟小方格，规划一条长度最短重复最少的无人机播撒路径；将待播撒农田块图像和规划的路径传输给无人机；

步骤5：无人机获取待播撒农田块图像和规划的路径后起飞，初步设定无人机飞行方向，使无人机朝待播撒区域飞行，并实时获取前方图像，将待播撒农田块图像在实时获取的图像中进行匹配，直到在实时获取的图像中匹配到待播撒农田块图像，无人机根据设定的播撒路径，飞往初始播撒位置准备播撒作业；

其中，在实时获取的图像中匹配待播撒农田块图像的方法为：

步骤5.1：识别出实时获取图像中的农田区域，然后采用步骤2中相同的方法识别出农田的分界线，将所有分界线组成的网络图形进行尺寸归一化，归一化得到每个像素代表的尺寸与步骤2中网络图形每个像素代表的尺寸相同；

步骤5.2：滑动截取实时获取图像中的农田分界线网络，称为网络1，计网络1的尺寸为C*D，截取步长为5到10个像素；统计网络1中的节点个数a；在图形库中统计每个节点的周围在C*D尺寸内的节点个数b，选取周围节点数为a=b±3对应的图形库中的节点，截取以该节点为中心、C*D为尺寸的图形库区域，称为网络2；

步骤5.3：统计网络1和网络2中的直线条数，选择直线条数相等的网络2；

步骤5.4：将步骤5.3选择的网络2与网络1进行形状匹配，形状相似度大于设定阈值认为匹配成功，否则进行下一次匹配；

步骤5.5：匹配成功后，根据网络1和网络2在各自图像中的位置，将实时获取的图像与第一图像对应；再在实时获取的图像中确定出待播撒的农田块；

步骤6：根据获取的待播撒农田块图像，识别出待播撒农田块图像的边缘，测量无人机到待播撒农田块图像的所有边缘的距离，选择其中最近的两条作为参考，定位无人机的位置；步骤4中无人机播撒路径已经确定，事先计算路径上各点到与其最近的待播撒农田块图像的两条边缘的距离，实际播撒过程中，计算当前无人机到待播撒农田块图像最近的两条边缘的记录，根据事先确定的距离对无人机飞行过程的偏差进行修正；

步骤7：记录播撒过的农田区域，防止重复播撒；播撒完毕后，无人机飞回起飞点。

进一步的，无人机沿着步骤4规定的播撒路径的飞行控制方法为分段控制，每次都从一个第二图像中心飞到下一个第二图像中心，具体方法为：

计算飞行方向为：

其中，θ为飞行角度信息，x ₁为植保无人机在第n个第二图像实际中心点对应x轴的坐标，y ₁为植保无人机在第n个第二图像的实际中心点对应y轴的坐标，x ₂为植保无人机在第n+1个第二图像的实际中心点对应x轴的坐标，y ₂为植保无人机在第n+1个第二图像的实际中心点对应y轴的坐标；

计算飞行距离为：

L为实际飞行距离。

本发明实施例提供的基于植保无人机的播撒控制方法，通过规划无人机播撒路径，精确定位无人机位置，按照播撒路径进行播撒；判断即将播撒区域对应像素点是否被标记的情况，来决定是否对当前区域进行播撒的方法，对待播撒区域进行播撒，实现了对待播撒区域无重复、一次性播撒，节约了播撒的种子。

附图说明

图1为本发明控制方法示意图；

图2为本发明控制方法流程图；

图3为本发明定位流程图。

具体实施方式

本实施例提供了基于植保无人机的播撒控制方法，如图1所示，控制方法步骤包括：

S1：获取第一图像，所述第一图像为待播撒区域图像；

在步骤S1中，在对待播撒区域进行播种之前，首先要知道待播撒区域的面积以及边缘区域的大小，以及该待播撒区域之前是否已经播种过，并在第一图像中对播种过的区域像素点进行标记，来区分播种与未播种的区域。

S2：获取作业请求指令，这里的作业请求指令，指的是对待播撒区域进行播撒作业的指令，去触发植保无人机进行相关的操作。

S3：基于所述作业请求指令，提取所述第一图像中的特征数据，所述特征数据为被标记为已播撒作业区域的像素点数据；

在步骤S3中，被标记的特征数据具体指的是，被标记为带有颜色的像素点，在对待播撒区域进行播撒前，首先就要判断该区域是否已经被播撒，在本实施例中，判断该区域是否已经被播撒的方法，采用的是通过判断该区域对应的像素点颜色进行判断，因此，在进行判断之前，就要提取第一图像中被标记颜色的像素点，提取出来的数据可以作为植保无人机对相关区域是否进行播撒进行判断。

被标记的所述特征数据具体为：获取播撒作业后的区域对应所述第一图像的像素点；并将该像素点进行颜色标记。

S4：基于所述特征数据，控制植保无人机按照作业路径对待播撒区域进行播撒作业，所述作业路径为对待播撒区域进行播撒作业的路径。

在步骤S4中，根据提取的特征数据，进一步的规划植保无人机在待播撒区域进行播撒作业时候的路径，并且在播撒作业过程中，还需要对相关区域对应像素点是否被标记进行判断，进而判断该区域是否需要进行播撒。

所述S4的子步骤包括：

获取待播撒区域中对应所述第一图像的像素点；

判断该像素点是否为特征数据，若是，则不对当前区域进行播撒，否则，对当前区域进行播撒。

判断该像素点是否为特征数据的具体子步骤为：

获取像素点的LAB参数值；

判断所述LAB参数值是否在被标记颜色的参数值范围内，若是，则该像素点为特征数据。

在本实施例中，采用了LAB颜色模型对像素点是否被标记进行检测，首先要获取即将播撒区域对应像素点的LAB参数值，根据像素点被标记颜色的参数区域范围，判断获取的LAB参数值是否落在被标记颜色像素点的参数区域范围内，如果是，则该区域已经被播撒，否则额，该区域没有被播撒，需要对当前区域进行播撒作业。通过判断像素点是否被标记的形式来决定是否对当前区域进行播撒，避免了对待播撒区域中同一个区域进行重复播撒或者漏播的情况出现，减少了播撒种子的浪费情况。

本实施例中，所述控制方法还包括：在控制所述植保无人机进行播撒作业时，对所述植保无人机飞行路径进行精确定位，如图3所示，具体步骤为：

将所述第一图像划分为n个第二图像；

获取第一信息，所述第一信息为第n个所述第二图像中心点到第n+1个所述第二图像中心点之间的预设距离以及方向；

计算第二信息，所述第二信息为第n个所述第二图像中心点到第n+1个所述第二图像中心点之间实际飞行距离以及飞行方向；

在飞行过程中无人机的定位方法为：

在全场定位中主要创新点在于分区定位，传统的视觉定位只能在无人机的视野能够看到地图全图的情况下进行，本发明将作业区划分为四个区域，在不同区域中识别不同的边界，将可以定位的面积扩大了四倍。

计算式如下

记最左、最右、最上和最下方边界的坐标为G1，G2，G3，G4，

无人机视野中心坐标为

，相机 2D 到现实 2D 的矫正系数为 corr ，上下半区的纵向宽度分别为

和

，作业区横向宽度为X；

则当无人机位于左上区时转换后的定位坐标（x,y）为：

当无人机位于右上区时转换后的定位坐标（x,y）为：

当无人机位于左下区时转换后的定位坐标（x,y）为：

当无人机位于右下区时转换后的定位坐标（x,y）为：

将所述第二信息与所述第一信息进行匹配，若两则相同，则通过所述植保无人机对第n+1个所述第二图像进行播种作业，否则，对所述植保无人机的位置进行调整。

通过将第一图像划分为若干第二图像，对应的待播撒区域被划分为若干个子待播撒区域，且每一个子待播撒区域对应一个第二图像，如图2所示，能够将待播撒区域按照分区域块的方式来进行播撒作业，采用分区域进行路径作业的方式，因为有风向等其他环境因素的影响，可能会造成对无人机所飞行的路径产生一定的位置偏差，因此，本实施例就将待播撒区域划分为若干子待播撒区域，通过分区域块的划分，在对无人机的飞行路径以及飞行的实时方向进行定位，实现对待播撒区域进行精准播撒。

所述飞行方向具体表达式为：

θ为飞行角度信息，x ₁为植保无人机在第n个所述第二图像实际中心点对应x轴的坐标，y ₁为植保无人机在第n个所述第二图像的实际中心点对应y轴的坐标，x ₂为植保无人机在第n+1个所述第二图像的实际中心点对应x轴的坐标，y ₂为植保无人机在第n+1个所述第二图像的实际中心点对应y轴的坐标；

所述实际飞行距离的具体表达式为：

L为实际飞行距离。

所述控制方法还包括：控制植保无人机对所述待播撒区域的边缘进行识别，具体识别的方法为：

获取区域边缘图像数据集；

构建第一模型，采用深度学习网络对所述区域边缘图像数据集进行训练，获得最优模型；

将所述最优模型用于识别对所述待播撒区域的边缘进行识别。

若待播撒区域边缘两侧颜色有明显区别，则通过识别色块进行边缘的识别，否则提前采集区域边缘的图片，建立相应数据集，搭建对应的深度学习网络进行训练，并部署到无人机上从而进行区域边缘的识别。

本实施例公开的基于植保无人机的播撒控制方法，通过判断待播撒区域对应的图像像素点是否被标记，若被标记则不播撒对应区域，否则，对相应区域进行播撒的方式，实现了对待播撒区域进行精准播撒作业，避免了对个别区域漏播或者重复播撒的情况发生。

Claims

1.一种基于图像定位的植保无人机的播撒控制方法，其特征在于，该控制方法包括：

步骤5.2：滑动截取实时获取图像中的农田分界线网络，称为网络1，计网络1的尺寸为C*D，截取步长为5到10个像素；统计网络1中的节点个数a；在图形库中统计每个节点的周围在C*D尺寸内的节点个数b，选取周围节点数为a＝b±3对应的图形库中的节点，截取以该节点为中心、C*D为尺寸的图形库区域，称为网络2；

步骤6：根据获取的待播撒农田块图像，识别出待播撒农田块图像的边缘，测量无人机到待播撒农田块图像的所有边缘的距离，选择其中最近的两条作为参考，定位无人机的位置；步骤4中无人机播撒路径已经确定，事先计算路径上各点到与其最近的待播撒农田块图像的两条边缘的距离，实际播撒过程中，计算当前无人机到待播撒农田块图像最近的两条边缘的距离，根据事先确定的距离对无人机飞行过程的偏差进行修正；

步骤7：记录播撒过的农田区域，防止重复播撒；播撒完毕后，无人机飞回起飞点；

所述记录播撒过的农田区域，防止重复播撒的方法为：首先对播撒作业后的区域对应的第一图像的像素点进行颜色标记；后续播撒时首先采用LAB颜色模型对像素点是否被标记进行检测，获取即将播撒区域对应像素点的LAB参数值，根据像素点被标记颜色的参数区域范围，判断获取的LAB参数值是否落在被标记颜色像素点的参数区域范围内，如果是，则该区域已经被播撒，否则，该区域没有被播撒，需要对该区域进行播撒作业。

2.如权利要求1所述的一种基于图像定位的植保无人机的播撒控制方法，其特征在于，无人机沿着步骤4规定的播撒路径的飞行控制方法为分段控制，每次都从一个第二图像中心飞到下一个第二图像中心，具体方法为：

计算飞行方向为：

其中，θ为飞行角度信息，x₁为植保无人机在第n个第二图像实际中心点对应x轴的坐标，y₁为植保无人机在第n个第二图像的实际中心点对应y轴的坐标，x₂为植保无人机在第n+1个第二图像的实际中心点对应x轴的坐标，y₂为植保无人机在第n+1个第二图像的实际中心点对应y轴的坐标；

计算飞行距离为：

L为实际飞行距离。