CN110825118A - 一种基于深度学习算法的多无人机协同农田喷淋方法 - Google Patents

一种基于深度学习算法的多无人机协同农田喷淋方法 Download PDF

Info

Publication number
CN110825118A
CN110825118A CN201911336290.6A CN201911336290A CN110825118A CN 110825118 A CN110825118 A CN 110825118A CN 201911336290 A CN201911336290 A CN 201911336290A CN 110825118 A CN110825118 A CN 110825118A
Authority
CN
China
Prior art keywords
tree
unmanned aerial
layer
target
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911336290.6A
Other languages
English (en)
Other versions
CN110825118B (zh
Inventor
张德华
高瑜珑
汪辉
张腾龙
王安
欧伟杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Longzhi Electromechanical Technology Co ltd
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN201911336290.6A priority Critical patent/CN110825118B/zh
Publication of CN110825118A publication Critical patent/CN110825118A/zh
Application granted granted Critical
Publication of CN110825118B publication Critical patent/CN110825118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D1/00Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
    • B64D1/16Dropping or releasing powdered, liquid, or gaseous matter, e.g. for fire-fighting
    • B64D1/18Dropping or releasing powdered, liquid, or gaseous matter, e.g. for fire-fighting by spraying, e.g. insecticides
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/12Computing arrangements based on biological models using genetic models
    • G06N3/126Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047Optimisation of routes or paths, e.g. travelling salesman problem
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Biology (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Genetics & Genomics (AREA)
  • Medical Informatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)

Abstract

本发明提出了一种基于深度学习算法的多无人机协同农田喷淋方法,其步骤为:首先,将农田均匀分成大小相同的N个小型区域,并利用勘探机上的摄像头采集每个小型区域内的作物图像;其次,将作物图像输入勘探机上的智能控制器内的神经网络模型中,输出每个小型区域内作物的类别;然后,勘探机将相同类别对应的小型区域分为一组,并根据每组小型区域的坐标利用遗传算法规划出最优路径,并发送至目标机;最后,目标机按照类别对应的操作按最优路径进行实施,同时,目标机之间相互协作,并通过通信协议实时将坐标信息返回至勘探机。本发明利用无人机协同控制的方法进行农药的喷洒,提高了条理性和效率,节约了资源。

Description

一种基于深度学习算法的多无人机协同农田喷淋方法
技术领域
本发明涉及人工智能控制技术领域,特别是指一种基于深度学习算法的多无人机协同农田喷淋方法。
背景技术
近几年,随着国家自动化技术的不断发展,国内掀起了一股农用无人机的热潮。迎着这股热潮,无人机技术也开始走进平常人的生活。许多人都考虑到让无人机代替人去执行农田喷洒,因此目前已经有了许多种类的农用无人机喷洒方法。现阶段,无人机也更加智能,可实现更加丰富的功能,如自主飞行,自主避障等,这给了更加优秀的无人机喷洒方法实现的可能。
现阶段我国农业智能化发展仍然非常滞后,虽然出现了类似农用植保无人机这一类高科技农用喷洒方法,如遥控多旋翼农用无人机、升降翼喷洒无人机等,但是依然不成熟,存在许多不足,比如喷洒缺少目的性,造成了资源的浪费;喷洒缺少对农田环境的整体把控,不能对植物状况做出合理的分析预测。现有的喷洒无人机大都采用单机作业模式,有些兼顾图像识别、路径规划以及无人机喷洒的农用植保无人机的模式思路冗杂,缺少条理性,且鲁棒性差等。现存的无人机喷洒方法中,大部分判断一片农田是否需要喷洒药物都需要人亲自去判断,且在同一片试验田中,不同的作物生长状况及需求是不一样的,比如存在不同作物需要不同种类的药物的可能性。而现阶段,不管是人力还是无人机喷洒方法大都选择对农田统一喷洒。假设现在农田中部分作物得了黑斑病,若对农田中全部作物统一施药,对于一些不需要施此种药的作物来说,对其施药对于它来说是有一定程度的损害的,而且这种方法无疑浪费的,无法实现资源的余量化及人力资源的最大程度的解放。
发明内容
针对上述背景技术中存在的不足,本发明提出了一种基于深度学习算法的多无人机协同农田喷淋方法,解决了现有无人机药物喷洒技术效率低、资源利用率不足的技术问题。
本发明的技术方案是这样实现的:
一种基于深度学习算法的多无人机协同农田喷淋方法,其步骤如下:
S1、将农田均匀分成大小相同的N个小型区域,并利用勘探机上的摄像头采集每个小型区域内的作物图像;
S2、将作物图像输入勘探机上的智能控制器内的神经网络模型中,输出每个小型区域内作物的类别;
S3、将相同类别对应的小型区域分为一组,并根据每组小型区域的坐标利用遗传算法规划出最优路径;
S4、勘探机通过通信协议与多个目标机相连接,每个目标机接收一组小型区域的最优路径和类别;
S5、目标机按照类别对应的操作按最优路径进行实施,同时,目标机之间相互协作,并通过通信协议实时将坐标信息返回至勘探机。
所述步骤S2中神经网络模型的训练方法为:
S21、从大田作物病害识别研究图像数据集上获取病害图像,利用图像变换对病害图像进行预处理,并将预处理后的病害图像进行分类和标注类别标签获得数据集,其中,数据集包括训练集和测试集,图像变换包括图像去噪、图像平移、图像反转和图像裁剪;
S22、构造神经网络函数;
S22.1、利用TensorFlow中的nn.conv2d函数构造卷积层的生成函数;
S22.2、利用TensorFlow中的nn.max_pool函数构造池化层的生成函数;
S22.3、构造神经网络函数:利用卷积层和池化层的生成函数产生第一层卷积层和池化层,再次利用卷积层和池化层的生成函数产生第二层卷积层和池化层,然后建立第一层全连接层和第二层全连接层,将经过第一层池化层后的参数进行扁平化处理后通过激活函数获得第一层全连接层的输出,将第一层全连接层的输出输入第二层全连接中获得输出参数;
S23、设置神经网络函数的参数,参数包括数据的类别数、图像大小、第一层卷积层和第二层卷积层的卷积核尺寸、Dropout的概率、图片通道数;
S24、将训练集及标签输入神经网络函数中,获得预测参数;
S25、计算预测参数的损失函数;
S26、利用梯度优化将预测参数的损失函数的值最小化,获得神经网络模型;
S27、将测试集中的数据输入神经网络模型中,输出预测率;
S28、判断预测率是否符合预期标准,即作物病害识别的正确率达到90%及以上,若是,获得识别作物病害的神经网络模型,否则,返回步骤S23。
所述根据每组小型区域的坐标利用遗传算法规划出最优路径的方法为:
S31、取停机坪位置为目标机飞行的起始点,与停机坪距离最近的点作为目标点;
S32、利用改进的双向快速遍历随机树算法生成从起始点到目标点的所有路径的初始种群,设置最大迭代次数Tmax,初始迭代次数为T=0;
S32.1、初始化双向快速遍历随机树,分别设置起始点和目标点为双向快速遍历随机树中的两棵子树的根节点;
S32.2、双向快速遍历随机树在栅格化平面空间中自由生长,双向快速遍历随机树的一棵子树自由生长,选择一个点Prand作为生长方向,计算该子树的所有树节点与点Prand之间的欧氏距离,将欧式距离最小的树节点作为树节点P1st,该子树从树节点P1st开始以生长因子v沿着点Prand生长出新的树节点Pnew,将新的树节点Pnew连接到子树中,沿着点Prand生长方向一直生长,直到遇到障碍物;新的树节点Pnew连接到子树中的方法为:计算新的树节点Pnew与子树所有节点之间的欧式距离,选择前w个欧式距离最小的树节点P1st,p2nd,…,pwth,判断树节点P1st,p2nd,…,pwth与新的树节点Pnew之间是否存在障碍物,若是,舍弃新的树节点Pnew,否则,将树节点P1st,p2nd,…,pwth与新的树节点Pnew连接;
S32.3、双向快速遍历随机树在栅格化平面空间中相向生长,双向快速遍历随机树中的一棵子树以另一棵子树自由生长的树节点Pnew为生长方向,根据步骤32.2中的自由生长过程生长出新的树节点P’new,并将新的树节点P’new连接到子树中;
S32.4、判断双向快速遍历随机树是否在起始点和目标点之间建立足够数量的连接,如果是则停止生长,进入步骤32.5,否则,返回步骤32.2继续生长;
S32.5、使用回溯法生成初始种群,选取双向快速遍历随机树中两棵子树的公共树节点为连接点,每次回溯均以双向快速遍历随机树的连接点作为回溯初始点,朝着双向快速遍历随机树的根节点进行回溯,直到回溯到根节点,回溯经历的树节点与边构成无碰撞路径,多次回溯产生的无碰撞路径组成初始种群;
S33、利用选择、交叉、变异遗传算子对初始种群进行进化,并计算种群中每个个体的适应度函数值f(pop);
其中,n为路径pop上关键点的个数,(xi,yi)为关键点i的坐标,(xi+1,yi+1)为关键点i+1的坐标,penalty为惩罚项;
S34、迭代次数T=T+1,判断迭代次数T是否达到最大迭代次数Tmax,若是,保留当前种群,得到中间最优路径,否则,返回步骤S32;
S35、将中间最优路径的关键点作为控制点,通过二次B样条曲线方法对中间最优路径进行平滑处理,得到目标机的最优路径;二次B样条曲线的矩阵为P0.2(t):
Figure BDA0002331012080000041
其中,P0、P1、P2为二次B样条曲线的控制点,t∈[0,1]。
所述勘探机包括机身,机身上部设有智能控制器和GPS模块,智能控制器与GPS模块相连接;所述机身上设有旋翼臂,机身下部设有摄像头。
所述目标机包括机身,机身上部设有智能控制器和GPS模块,智能控制器与GPS模块相连接;所述机身下部设有防震药箱,防震药箱下部设有水泵,水泵与防震药箱相连接;所述机身上设有旋翼臂,旋翼臂下部设有双头喷嘴I,双头喷嘴I与水管I相连接,水管I固定在旋翼臂下部,水管I与水泵相连接。
所述机身包括上支撑板、支撑部件和下支撑板,支撑部件通过螺钉分别与上支撑板、下支撑板相连接;所述机身内部设有电源、飞控板、调压模块、信号收发器和电流计,电源与调压模块相连接,调压模块分别与飞控板、信号收发器和电流计相连接,信号收发器和电流计均与智能控制器相连接,信号收发器与摄像头相连接,飞控板与水泵相连接。
所述旋翼臂设有四个,四个旋翼臂均通过固定件均匀连接在机身上,旋翼臂上均设有旋翼臂卡扣、电机底座、无刷电机,电机底座与无刷电机相焊接,无刷电机与桨叶相连接;所述电机底座固定在旋翼臂的端部,电机底座下部连接有双头喷嘴I。
所述机身下部设有支撑架,支撑架设有两个,支撑架下端均设有缓冲垫,支撑架上均设有附加喷口组件,附加喷口组件包括连接杆、伸缩卡扣、双头喷嘴II、水管II和固定片,连接杆通过固定片与支撑架相连接,双头喷嘴II固定在连接杆的端部,双头喷嘴II与水管II相连接,水管II与水泵相连接,水管II固定在连接杆下部,伸缩卡扣设置在连接杆中部。
所述水泵上设有入水口和出水口,入水口与防震药箱相连接,出水口通过三通分别与水管I、水管II相连接,三通设置在机身内。
本技术方案能产生的有益效果:本发明提出了利用无人机协同控制的方法进行农药的喷洒,提高了条理性和效率,并且这种分离控制的方式能够有效的把控植物长势,利用深度学习算法对不同种类、不同生长情况的农作物与健康作物进行对比分析,预计出它们所需要的药料,并按照最优的喷洒方案对农田实施喷洒,在把控农田整体环境的同时,节约了资源。另外,利用协同喷洒的方法一定程度上也提高了效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的协同控制流程图;
图2为本发明的神经网络模型训练流程图;
图3为本发明的路径规划示意图;
图4为本发明的路径寻优流程图;
图5为本发明的目标机主视图;
图6为图5的俯视图;
图7为本发明的机身***图;
图8为本发明的机身内部俯视图;
图9为本发明的水管连接示意图。
图中,1-智能控制器,2-GPS模块,3-GPS模块支架,4-机身,5-固定件,6-旋翼臂卡扣,7-电机底座,8-无刷电机,9-双头喷嘴I,10-水管I,11-防震药箱,12-水泵,13-支撑架,14-连接杆,15-伸缩卡扣,16-双头喷嘴II,17-固定连杆,18-固定片,19-缓冲垫,20-上支撑板,21-支撑部件,22-下支撑板,23-信号收发器,24-电源,25-飞控板,26-调压模块,27-水管II,28-三通,29-电流计。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种基于深度学习算法的多无人机协同农田喷淋方法,具体步骤如下:
S1、将农田均匀分成大小相同的N个小型区域,并利用勘探机上的摄像头采集每个小型区域内的作物图像;勘探机首先对农田进行遍历式的飞行,飞行范围覆盖整个农田,每隔一段固定距离记录一个路径点信息,用此种方式将农田信息归为n×n的目标点阵。其中,每个目标点包括目标点位置和需要操作的类型。
S2、将作物图像输入勘探机上的智能控制器内的神经网络模型中,输出每个小型区域内作物的类别;
如图2所示,所述神经网络模型的训练方法为:
S21、从大田作物病害识别研究图像数据集上获取病害图像,利用图像变换对病害图像进行预处理,并将预处理后的病害图像进行分类和标注类别标签获得数据集,其中,数据集包括训练集和测试集,图像变换包括图像去噪、图像平移、图像反转和图像裁剪。
S22、构造神经网络函数;
S22.1、利用TensorFlow中的nn.conv2d函数构造卷积层的生成函数;卷积层负责的是特征提取,而其中的核心是卷积核。卷积核filter包括卷积核高度、宽度、图像通道数以及卷积核数量,被主要用于边缘检测等工作中。卷积层的生成函数的构建可通过TensorFlow中的nn.conv2d方法来完成;
S22.2、利用TensorFlow中的nn.max_pool函数构造池化层的生成函数;池化层负责的是在保留主要特征的同时减少参数和计算量,防止过拟合,并且提高模型的泛化能力。池化层的生成函数的构建可通过TensorFlow中的nn.max_pool方法来完成;
S22.3、构造神经网络函数:利用卷积层和池化层的生成函数产生第一层卷积层和池化层,再次利用卷积层和池化层的生成函数产生第二层卷积层和池化层,然后建立第一层全连接层和第二层全连接层,将经过第一层池化层后的参数进行扁平化处理后通过激活函数获得第一层全连接层的输出,将第一层全连接层的输出输入第二层全连接中获得输出参数。
S23、设置神经网络函数的参数,参数包括数据的类别数、图像大小、第一层卷积层和第二层卷积层的卷积核尺寸、Dropout的概率、图片通道数。
S24、将训练集及标签输入神经网络函数中,获得预测参数;获得的预测参数中的核心是权值参数,而模型的预测功能便是通过参数权值来对输入进行分类来实现的。
S25、计算预测参数的损失函数,损失函数是用来评估模型的预测值与真实值之间的差异程度,也是神经网络中优化的目标函数。
S26、利用梯度优化将预测参数的损失函数的值最小化,获得神经网络模型;通过梯度优化来最小化损失,获取预测参数的最优值。
S27、将测试集中的数据输入神经网络模型中,输出预测率。
S28、判断预测率是否符合预期标准,即作物病害识别的正确率达到90%及以上,若是,获得识别作物病害的神经网络模型,否则,返回步骤S23,重新选取神经网络模型的参数,从而获取新的预测参数,如适量增大或减少训练样本个数、重新选取Dropout参数等。
S3、将相同类别对应的小型区域分为一组,并根据每组小型区域的坐标利用遗传算法规划出最优路径;勘探机规划的的最优路径中,最后的终点都会设定在指定的停机坪,如图4所示。
如图3所示,所述利用遗传算法规划出最优路径的方法为:
S31、取停机坪位置为目标机飞行的起始点,与停机坪距离最近的点作为目标点。
S32、利用改进的双向快速遍历随机树算法生成从起始点到目标点的所有路径的初始种群,设置最大迭代次数Tmax,初始迭代次数为T=0。
S32.1、初始化双向快速遍历随机树,分别设置起始点和目标点为双向快速遍历随机树中的两棵子树的根节点;
S32.2、双向快速遍历随机树在栅格化平面空间中自由生长,双向快速遍历随机树的一棵子树自由生长,选择一个点Prand作为生长方向,计算该子树的所有树节点与点Prand之间的欧氏距离,将欧式距离最小的树节点作为树节点P1st,该子树从树节点P1st开始以生长因子v沿着点Prand生长出新的树节点Pnew,将新的树节点Pnew连接到子树中,沿着点Prand生长方向一直生长,直到遇到障碍物;新的树节点Pnew连接到子树中的方法为:计算新的树节点Pnew与子树所有节点之间的欧式距离,选择前w个欧式距离最小的树节点P1st,p2nd,…,pwth,判断树节点P1st,p2nd,…,pwth与新的树节点Pnew之间是否存在障碍物,若是,舍弃新的树节点Pnew,否则,将树节点P1st,p2nd,…,pwth与新的树节点Pnew连接;
S32.3、双向快速遍历随机树在栅格化平面空间中相向生长,双向快速遍历随机树中的一棵子树以另一棵子树自由生长的树节点Pnew为生长方向,根据步骤32.2中的自由生长过程生长出新的树节点P’new,并将新的树节点P’new连接到子树中;
S32.4、判断双向快速遍历随机树是否在起始点和目标点之间建立足够数量的连接,如果是则停止生长,进入步骤32.5,否则,返回步骤32.2继续生长;
S32.5、使用回溯法生成初始种群,选取双向快速遍历随机树中两棵子树的公共树节点为连接点,每次回溯均以双向快速遍历随机树的连接点作为回溯初始点,朝着双向快速遍历随机树的根节点进行回溯,直到回溯到根节点,回溯经历的树节点与边构成无碰撞路径,多次回溯产生的无碰撞路径组成初始种群。
S33、利用选择、交叉、变异遗传算子对初始种群进行进化,并计算种群中每个个体的适应度函数值f(pop);
Figure BDA0002331012080000071
其中,n=3为路径pop上关键点的个数,(xi,yi)为关键点i的坐标,(xi+1,yi+1)为关键点i+1的坐标,penalty=2为惩罚项。
S34、迭代次数T=T+1,判断迭代次数T是否达到最大迭代次数Tmax,若是,保留当前种群,得到中间最优路径,否则,返回步骤S32。
S35、将中间最优路径的关键点作为控制点,通过二次B样条曲线方法对中间最优路径进行平滑处理,得到目标机的最优路径;二次B样条曲线的矩阵为P0.2(t):
Figure BDA0002331012080000081
其中,P0、P1、P2为二次B样条曲线的控制点。
S4、勘探机通过通信协议与多个目标机相连接,每个目标机接收一组小型区域的最优路径和类别;勘探机将规划好的最优路径信息通过通信协议发送给目标机,每台目标机会被规定只能选择特定序号的最优路径,以防止两台无人机选择同一路径。
S5、目标机按照类别对应的操作按最优路径进行实施,同时,目标机之间相互协作,并通过通信协议实时将坐标信息返回至勘探机及地面遥控装置。目标机按照勘探机发来的最优路径的路径点位置信息进行飞行及喷洒操作,同时将自身飞行状态、自身位置、工作进度信息通过通讯协议回传给勘探机。目标机在进行喷洒操作时,会时刻监听勘探机发送到自身的其他目标机的飞行状态以及位置信息;当发现有其他目标机的位置和自身位置相差5米以内或通往两台目标机的下一个路径点的路径有相交时,规定其中一台目标机悬停,让另一台目标机先行,直至该目标机离开至距离自身距离超出5米后,所述目标机方可前往下一个目标点;其中,先行的目标机为获得最优路径序号靠前的目标机。
勘探机和目标机在工作时,若自身出现异常状况,包括自身位置信息异常和自身飞行状态异常,将自身位置信息异常和自身飞行状态异常传输至地面端监控装置,地面端监控装置接收到上述异常勘探机和目标机的信息后,异常勘探机及目标机将控制权转移给地面端遥控装置,移交控制权后,异常勘探机或目标机会中断自身任务,同时,受控勘探机和目标机仍然和地面端监控装置保持信息交互。
如图5和图6所示,所述勘探机包括机身4,机身4上部设有智能控制器1和GPS模块2,智能控制器1与GPS模块2相连接;所述机身4上设有旋翼臂,机身4下部设有摄像头,摄像头与信号收发器23相连接。智能控制器1搭载着神经网络模型,能够处理由摄像头传输过来的图像数据,给出植物的生长情况,预测植物的生长情况信息,需要采取的操作,同时智能控制器1还会记录采集到图像时自身的位置信息。所述旋翼臂设有四个,四个旋翼臂均通过固定件5均匀连接在机身4上,旋翼臂上均设有旋翼臂卡扣6、电机底座7、无刷电机8,电机底座7与无刷电机8相焊接,无刷电机8与桨叶相连接;所述电机底座7固定在旋翼臂的端部,旋翼臂是可伸缩的,通过旋翼臂卡扣6将旋翼臂折叠。
如图7和图8所示,所述机身4包括上支撑板20、支撑部件21和下支撑板22,支撑部件21通过螺钉分别与上支撑板20、下支撑板22相连接,具体方式如图7所示,所述支撑部件21共有4个,每个支撑部件21上下各有2个螺丝过孔,上支撑板20与下支撑板22在支撑部件对应位置也有两个螺丝过孔,三者通过螺丝相连,这样三者中间就可以形成一个空间作为机身内部,机身内部各元件均可以固定在下支撑板上。这种结构主要可以方便拆装。所述机身4内部设有电源24、飞控板25、调压模块26、信号收发器23和电流计29,电源24与调压模块26相连接,调压模块26分别与飞控板25、信号收发器23和电流计29相连接,电流计29与飞控板25连接。信号收发器23、飞控板25均与智能控制器1相连接。所述电源24采用4s5300mA电池,连接多段调压模块26,调压模块将电源电压转为各个部件所需的电压,为无人机各个部件供电。信号收发器23负责接收地面遥控装置以及目标机等发来的信号,并能将自身信息发送给其他设备,所述电流计29用于监测电池剩余电量。水泵12与飞控板25相连接,用于控制水泵12的运转。
如图5所示,所述目标机包括机身4,机身4上部设有智能控制器1和GPS模块2,智能控制器1与GPS模块2相连接;所述机身4下部设有防震药箱11,防震药箱11下部设有水泵12,水泵12与防震药箱11相连接;所述机身4上设有旋翼臂,旋翼臂下部设有双头喷嘴I 9,双头喷嘴I 9与水管I10相连接,水管I10固定在旋翼臂下部,水管I10与水泵12相连接;所述目标机的机身4下部的下支撑板22上设有防震药箱11,防震药箱11下部设有水泵12,水泵12分别与防震药箱11、飞控板25相连接。电机底座7下部连接有双头喷嘴I 9,双头喷嘴I 9与水管I10相连接,水管I10固定在旋翼臂下部。所述机身4下部设有支撑架13,支撑架13设有两个,支撑架13下端均设有缓冲垫19,所述缓冲垫19可以在无人机起降时缓解地面的冲击力,保护支撑架。所述支撑架13上均设有附加喷口组件,以增大喷洒范围,附加喷口组件包括连接杆14、伸缩卡扣15、双头喷嘴II 16、水管II 27和固定片18,连接杆14通过固定片18固定在支撑架13的中部,如图6所示,连接杆14位于旋翼臂的中间,使得目标机保持平衡,双头喷嘴II 16固定在连接杆14的端部,双头喷嘴II 16与水管II 27相连接,水管II 27固定在连接杆14下部,连接杆14是可伸缩的连接杆,伸缩卡扣15设置在连接杆14中部,用于调节连接杆14的长度。所述水管I10与水管II 27均与水泵12相连接。
如图9所示,所述水泵12上设有入水口和出水口,入水口与防震药箱11相连接,出水口通过三通28分别与水管I10、水管II 27相连接,三通28设置在机身4内。
目标机的其他结构与勘探机的结构相同。
本发明使用的飞控板25的型号为APM,水泵12的型号为ZCA120,GPS模块2的型号为M8NGPS,智能控制器1的型号为树莓派3B+,智能控制器1内嵌Linux***;勘探机的电源24的型号为ACE格式4s5300mA电池,勘探机的无刷电机8的型号为银燕D2216-810KV;目标机的无刷电机8的型号为好盈COMBO-XROTORPRO-X9-G2-02-CW/CCW-RTF,目标机的电源24的型号为6SLiPo电池,电流计29采用XT60电流计,调压模块26采用植保无人机专用的多段降压模块,信号收发器23采用SFP光纤收发器。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习算法的多无人机协同农田喷淋方法,其特征在于,其步骤如下:
S1、将农田均匀分成大小相同的N个小型区域,并利用勘探机上的摄像头采集每个小型区域内的作物图像;
S2、将作物图像输入勘探机上的智能控制器内的神经网络模型中,输出每个小型区域内作物的类别;
S3、将相同类别对应的小型区域分为一组,并根据每组小型区域的坐标利用遗传算法规划出最优路径;
S4、勘探机通过通信协议与多个目标机相连接,每个目标机接收一组小型区域的最优路径和类别;
S5、目标机按照类别对应的操作按最优路径进行实施,同时,目标机之间相互协作,并通过通信协议实时将坐标信息返回至勘探机。
2.根据权利要求1所述的基于深度学习算法的多无人机协同农田喷淋方法,其特征在于,所述步骤S2中神经网络模型的训练方法为:
S21、从大田作物病害识别研究图像数据集上获取病害图像,利用图像变换对病害图像进行预处理,并将预处理后的病害图像进行分类和标注类别标签获得数据集,其中,数据集包括训练集和测试集,图像变换包括图像去噪、图像平移、图像反转和图像裁剪;
S22、构造神经网络函数;
S22.1、利用TensorFlow中的nn.conv2d函数构造卷积层的生成函数;
S22.2、利用TensorFlow中的nn.max_pool函数构造池化层的生成函数;
S22.3、构造神经网络函数:利用卷积层和池化层的生成函数产生第一层卷积层和池化层,再次利用卷积层和池化层的生成函数产生第二层卷积层和池化层,然后建立第一层全连接层和第二层全连接层,将经过第一层池化层后的参数进行扁平化处理后通过激活函数获得第一层全连接层的输出,将第一层全连接层的输出输入第二层全连接中获得输出参数;
S23、设置神经网络函数的参数,参数包括数据的类别数、图像大小、第一层卷积层和第二层卷积层的卷积核尺寸、Dropout的概率、图片通道数;
S24、将训练集及标签输入神经网络函数中,获得预测参数;
S25、计算预测参数的损失函数;
S26、利用梯度优化将预测参数的损失函数的值最小化,获得神经网络模型;
S27、将测试集中的数据输入神经网络模型中,输出预测率;
S28、判断预测率是否符合预期标准,即作物病害识别的正确率达到90%及以上,若是,获得识别作物病害的神经网络模型,否则,返回步骤S23。
3.根据权利要求1所述的基于深度学习算法的多无人机协同农田喷淋方法,其特征在于,所述根据每组小型区域的坐标利用遗传算法规划出最优路径的方法为:
S31、取停机坪位置为目标机飞行的起始点,与停机坪距离最近的点作为目标点;
S32、利用改进的双向快速遍历随机树算法生成从起始点到目标点的所有路径的初始种群,设置最大迭代次数Tmax,初始迭代次数为T=0;
S32.1、初始化双向快速遍历随机树,分别设置起始点和目标点为双向快速遍历随机树中的两棵子树的根节点;
S32.2、双向快速遍历随机树在栅格化平面空间中自由生长,双向快速遍历随机树的一棵子树自由生长,选择一个点Prand作为生长方向,计算该子树的所有树节点与点Prand之间的欧氏距离,将欧式距离最小的树节点作为树节点P1st,该子树从树节点P1st开始以生长因子v沿着点Prand生长出新的树节点Pnew,将新的树节点Pnew连接到子树中,沿着点Prand生长方向一直生长,直到遇到障碍物;新的树节点Pnew连接到子树中的方法为:计算新的树节点Pnew与子树所有节点之间的欧式距离,选择前w个欧式距离最小的树节点P1st,p2nd,…,pwth,判断树节点P1st,p2nd,…,pwth与新的树节点Pnew之间是否存在障碍物,若是,舍弃新的树节点Pnew,否则,将树节点P1st,p2nd,…,pwth与新的树节点Pnew连接;
S32.3、双向快速遍历随机树在栅格化平面空间中相向生长,双向快速遍历随机树中的一棵子树以另一棵子树自由生长的树节点Pnew为生长方向,根据步骤32.2中的自由生长过程生长出新的树节点P’new,并将新的树节点P’new连接到子树中;
S32.4、判断双向快速遍历随机树是否在起始点和目标点之间建立足够数量的连接,如果是则停止生长,进入步骤32.5,否则,返回步骤32.2继续生长;
S32.5、使用回溯法生成初始种群,选取双向快速遍历随机树中两棵子树的公共树节点为连接点,每次回溯均以双向快速遍历随机树的连接点作为回溯初始点,朝着双向快速遍历随机树的根节点进行回溯,直到回溯到根节点,回溯经历的树节点与边构成无碰撞路径,多次回溯产生的无碰撞路径组成初始种群;
S33、利用选择、交叉、变异遗传算子对初始种群进行进化,并计算种群中每个个体的适应度函数值f(pop);
Figure FDA0002331012070000021
其中,n为路径pop上关键点的个数,(xi,yi)为关键点i的坐标,(xi+1,yi+1)为关键点i+1的坐标,penalty为惩罚项;
S34、迭代次数T=T+1,判断迭代次数T是否达到最大迭代次数Tmax,若是,保留当前种群,得到中间最优路径,否则,返回步骤S32;
S35、将中间最优路径的关键点作为控制点,通过二次B样条曲线方法对中间最优路径进行平滑处理,得到目标机的最优路径;二次B样条曲线的矩阵为P0.2(t):
其中,P0、P1、P2为二次B样条曲线的控制点,t∈[0,1]。
4.根据权利要求1所述的基于深度学习算法的多无人机协同农田喷淋方法,其特征在于,所述勘探机包括机身(4),机身(4)上部设有智能控制器(1)和GPS模块(2),智能控制器(1)与GPS模块(2)相连接;所述机身(4)上设有旋翼臂,机身(4)下部设有摄像头。
5.根据权利要求1所述的基于深度学习算法的多无人机协同农田喷淋方法,其特征在于,所述目标机包括机身(4),机身(4)上部设有智能控制器(1)和GPS模块(2),智能控制器(1)与GPS模块(2)相连接;所述机身(4)下部设有防震药箱(11),防震药箱(11)下部设有水泵(12),水泵(12)与防震药箱(11)相连接;所述机身(4)上设有旋翼臂,旋翼臂下部设有双头喷嘴I(9),双头喷嘴I(9)与水管I(10)相连接,水管I(10)固定在旋翼臂下部,水管I(10)与水泵(12)相连接。
6.根据权利要求4或5所述的基于深度学习算法的多无人机协同农田喷淋方法,其特征在于,所述机身(4)包括上支撑板(20)、支撑部件(21)和下支撑板(22),支撑部件(21)通过螺钉分别与上支撑板(21)、下支撑板(22)相连接;所述机身(4)内部设有电源(24)、飞控板(25)、调压模块(26)、信号收发器(23)和电流计(29),电源(24)与调压模块(26)相连接,调压模块(26)分别与飞控板(25)、信号收发器(23)和电流计(29)相连接,信号收发器(23)和电流计(29)均与智能控制器(1)相连接,信号收发器(23)与摄像头相连接,飞控板(25)与水泵(12)相连接。
7.根据权利要求4或5所述的基于深度学习算法的多无人机协同农田喷淋方法,其特征在于,所述旋翼臂设有四个,四个旋翼臂均通过固定件(5)均匀连接在机身(4)上,旋翼臂上均设有旋翼臂卡扣(6)、电机底座(7)、无刷电机(8),电机底座(7)与无刷电机(8)相焊接,无刷电机(8)与桨叶相连接;所述电机底座(7)固定在旋翼臂的端部,电机底座(7)下部连接有双头喷嘴I(9)。
8.根据权利要求5所述的基于深度学习算法的多无人机协同农田喷淋方法,其特征在于,所述机身(4)下部设有支撑架(13),支撑架(13)设有两个,支撑架(13)下端均设有缓冲垫(19),支撑架(13)上均设有附加喷口组件,附加喷口组件包括连接杆(14)、伸缩卡扣(15)、双头喷嘴II(16)、水管II(27)和固定片(18),连接杆(14)通过固定片(18)与支撑架(13)相连接,双头喷嘴II(16)固定在连接杆(14)的端部,双头喷嘴II(16)与水管II(27)相连接,水管II(27)与水泵(12)相连接,水管II(27)固定在连接杆(14)下部,伸缩卡扣(15)设置在连接杆(14)中部。
9.根据权利要求5或8所述的基于深度学习算法的多无人机协同农田喷淋方法,其特征在于,所述水泵(12)上设有入水口和出水口,入水口与防震药箱(11)相连接,出水口通过三通(28)分别与水管I(10)、水管II(27)相连接,三通(28)设置在机身(4)内。
CN201911336290.6A 2019-12-23 2019-12-23 一种基于深度学习算法的多无人机协同农田喷淋方法 Active CN110825118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911336290.6A CN110825118B (zh) 2019-12-23 2019-12-23 一种基于深度学习算法的多无人机协同农田喷淋方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911336290.6A CN110825118B (zh) 2019-12-23 2019-12-23 一种基于深度学习算法的多无人机协同农田喷淋方法

Publications (2)

Publication Number Publication Date
CN110825118A true CN110825118A (zh) 2020-02-21
CN110825118B CN110825118B (zh) 2022-05-27

Family

ID=69546173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911336290.6A Active CN110825118B (zh) 2019-12-23 2019-12-23 一种基于深度学习算法的多无人机协同农田喷淋方法

Country Status (1)

Country Link
CN (1) CN110825118B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330915A (zh) * 2020-10-29 2021-02-05 五邑大学 无人机森林防火预警方法、***、电子设备和存储介质
CN112464766A (zh) * 2020-11-17 2021-03-09 北京农业智能装备技术研究中心 一种农田地头自动识别方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2016204514A1 (en) * 2015-06-29 2017-01-19 Greentech International Pty Ltd Boom arm system for spraying chemicals on agricultural row crops
CN106843211A (zh) * 2017-02-07 2017-06-13 东华大学 一种基于改进遗传算法的移动机器人路径规划方法
CN107153840A (zh) * 2017-04-21 2017-09-12 防城港市丰禾曲辰农业科技有限公司 一种基于卷积神经的农作物害虫图像识别方法
CN207191436U (zh) * 2017-07-27 2018-04-06 湖北翼飞航空工业科技有限公司 喷洒均匀的喷洒农药无人机
CN108045582A (zh) * 2017-12-15 2018-05-18 佛山市神风航空科技有限公司 一种用于检测、防治农作物病害的主副无人机***
CN108177780A (zh) * 2018-02-09 2018-06-19 广东莱盛隆电子股份有限公司 一种稳定性强的植保无人机
CN109122633A (zh) * 2018-06-25 2019-01-04 华南农业大学 神经网络决策的植保无人机精准变量喷雾装置和控制方法
CN109871029A (zh) * 2019-02-21 2019-06-11 华南农业大学 一种基于图像处理技术的植保无人机航线规划优化方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2016204514A1 (en) * 2015-06-29 2017-01-19 Greentech International Pty Ltd Boom arm system for spraying chemicals on agricultural row crops
CN106843211A (zh) * 2017-02-07 2017-06-13 东华大学 一种基于改进遗传算法的移动机器人路径规划方法
CN107153840A (zh) * 2017-04-21 2017-09-12 防城港市丰禾曲辰农业科技有限公司 一种基于卷积神经的农作物害虫图像识别方法
CN207191436U (zh) * 2017-07-27 2018-04-06 湖北翼飞航空工业科技有限公司 喷洒均匀的喷洒农药无人机
CN108045582A (zh) * 2017-12-15 2018-05-18 佛山市神风航空科技有限公司 一种用于检测、防治农作物病害的主副无人机***
CN108177780A (zh) * 2018-02-09 2018-06-19 广东莱盛隆电子股份有限公司 一种稳定性强的植保无人机
CN109122633A (zh) * 2018-06-25 2019-01-04 华南农业大学 神经网络决策的植保无人机精准变量喷雾装置和控制方法
CN109871029A (zh) * 2019-02-21 2019-06-11 华南农业大学 一种基于图像处理技术的植保无人机航线规划优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘成: "基于机器学习的水稻病害识别算法的研究", 《中国优秀硕士学位论文全文数据库 农业科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330915A (zh) * 2020-10-29 2021-02-05 五邑大学 无人机森林防火预警方法、***、电子设备和存储介质
CN112330915B (zh) * 2020-10-29 2023-02-28 五邑大学 无人机森林防火预警方法、***、电子设备和存储介质
CN112464766A (zh) * 2020-11-17 2021-03-09 北京农业智能装备技术研究中心 一种农田地头自动识别方法及***

Also Published As

Publication number Publication date
CN110825118B (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
Chamoso et al. UAVs applied to the counting and monitoring of animals
CN105173085A (zh) 无人机变量施药自动控制***及方法
CN110825118B (zh) 一种基于深度学习算法的多无人机协同农田喷淋方法
CN108871335B (zh) 一种无人机喷施作业航线及载荷规划方法
CN110275544A (zh) 一种植保无人机航线规划方法
CN107169621A (zh) 一种水体溶解氧预测方法及装置
Liu et al. Study on UAV parallel planning system for transmission line project acceptance under the background of industry 5.0
Joseph et al. Innovative analysis of precision farming techniques with artificial intelligence
CN110463587A (zh) 基于LoRa与GA-BP的规模化大棚节水灌溉***
CN113762603A (zh) 基于改进麻雀算法优化的光伏基站短期光伏功率预测方法
CN108271756A (zh) 一种无人机农田喷药作业自动控制***
CN109885082A (zh) 一种基于任务驱动下的无人机航迹规划的方法
CN110825100A (zh) 一种植保固定翼无人机自主起飞降落控制方法
CN117406776A (zh) 一种无人机飞行轨迹规划方法及相关装置
CN117556979B (zh) 基于群体智能搜索的无人机平台与载荷一体化设计方法
CN109062290A (zh) 一种基于大数据的智能农业环境监控***及监控方法
CN111762323B (zh) 一种植保无人机的网式气雾整流装置及其作业方法
CN104908949B (zh) 一种自动喷洒药液的无人机
CN115690629A (zh) 一种基于视觉检测算法的农用无人机除草方法
CN111487989A (zh) 植保机全自主作业路径规划方法
CN116720658A (zh) 一种面向旋翼无人机的低空航路通行能力评估方法
Li et al. Weed detection in soybean fields using improved YOLOv7 and evaluating herbicide reduction efficacy
CN205755995U (zh) 一种智能大棚***
CN114898361A (zh) 桃园果实状态识别与计数方法及***
Liu et al. A system architecture for intelligent agriculture based on edge computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240428

Address after: 230000 B-2704, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui.

Patentee after: HEFEI LONGZHI ELECTROMECHANICAL TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: No.85, Minglun street, Shunhe District, Kaifeng City, Henan Province

Patentee before: Henan University

Country or region before: China

TR01 Transfer of patent right