CN109886155B - 基于深度学习的单株水稻检测定位方法、***、设备及介质 - Google Patents

基于深度学习的单株水稻检测定位方法、***、设备及介质 Download PDF

Info

Publication number
CN109886155B
CN109886155B CN201910089817.3A CN201910089817A CN109886155B CN 109886155 B CN109886155 B CN 109886155B CN 201910089817 A CN201910089817 A CN 201910089817A CN 109886155 B CN109886155 B CN 109886155B
Authority
CN
China
Prior art keywords
rice
network
image
image data
feature information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910089817.3A
Other languages
English (en)
Other versions
CN109886155A (zh
Inventor
黄双萍
伍思航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910089817.3A priority Critical patent/CN109886155B/zh
Publication of CN109886155A publication Critical patent/CN109886155A/zh
Application granted granted Critical
Publication of CN109886155B publication Critical patent/CN109886155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的单株水稻检测定位方法、***、设备及介质，所述方法包括：获取大田水稻样本图像数据；对大田水稻样本图像数据进行预处理和标注，得到预处理图像数据；建立深度卷积神经网络检测模型；使用预处理图像数据对深度卷积神经网络检测模型进行优化训练；利用训练后的深度卷积神经网络检测模型对大田水稻待测图像的单株水稻进行检测定位。本发明采用计算机视觉中基于深度学习的检测方法，可以大大改善上述现有技术的缺陷，通过设计深度卷积神经网络模型，提取植株高维度空间语义特征，在复杂的环境下依然有很好的定位精度和鲁棒性，能够广泛应用于农业的自动化、智能化生产管理中。

Description

基于深度学习的单株水稻检测定位方法、***、设备及介质
技术领域
本发明涉及一种检测定位方法，尤其是一种基于深度学习的单株水稻检测定位方法、***、设备及介质，属于计算机视觉的目标检测领域。
背景技术
水稻是世界上主要的粮食作物之一，20世界末世界水稻种植面积达1.54亿hm2。我国产量占粮食总产量的40％，水稻生产担负着确保我国粮食安全的重大责任。减少投入产出比，增加水稻种植的经济效益显得尤为重要。杂草作为导致水稻减产的主要原因之一，与农作物竞争水分、养分、阳光等资源，使得水稻减产严重。另一方面，对水稻进行精准灌溉、施肥或者喷施农药等机械化作业，可以提高农资利用率和有效率，减少生产资料的浪费和因此带来的环境污染，保护生态水资源、空气以及土壤。
因此，实现智能化农业作业控制和管理显得尤为重要，其中通过智能化水稻精准定位技术，实现机械智能化除草、智能化精细喷施农业药肥等，进而实现提高水稻单产、提升农业生产精细化和自动化水平，推动我国农业可持续发展。
近年来，精准定位技术在农业领域中得到了广泛的研究和应用，主要有智能机械除草、机械自主导航、药肥精准喷施和农产品自动采摘等。国外研究现状，2011年，XuewenWu等提出了一种基于位置和边缘特征的水稻检测方法，利用绿色植物与土壤背景的色差将植物分割出来，利用像素直方图来确定作物中心，作物边缘为终点填充作物面积实现检测，＝该方法难以用于水田环境中。2015年，Kazmi等利用颜色和边缘特征进行融合提出一种新的局部特征进行杂草分割，结合支持向量机SVM分类器完成对水稻的检测，但该方法受自然环境中复杂光照影响因素较大。国内研究现状，2015年，廉宁通过对田间拍摄图像进行灰度化、二值化、去噪等预处理操作，分析出最适合区分杂草和作物的方法，在图像边缘检测的基础上提出了基于模糊增强作物图像轮廓提取算法来定位。2017年，蒋郁等提出了茎基部分区分边缘拟合的方法来进行植株定位，解决了水稻除草期因为水稻冠层接连造成的定位不准确问题。但该方法鲁棒性较差，对于形态各异的水稻和反光的积水土壤定位效果较差。综上所述，国内外专家研究的方法大多基于作物的颜色、形状、纹理等低维度特征进行检测定位，也有少数结合人工设计的特征来进行检测定位。这些方法通常容易受到复杂光照背景、植株互相遮挡、犬牙交错的冠层等因素影响而不能达到要求的定位精度，甚至发生错误定位。
发明内容
鉴于此，本发明提供了一种基于深度学习的单株水稻检测定位方法、***、设备及介质，其采用计算机视觉中基于深度学习的检测方法，可以大大改善上述现有技术的缺陷，通过设计深度卷积神经网络模型，提取植株高维度空间语义特征，在复杂的环境下依然有很好的定位精度和鲁棒性，能够广泛应用于农业的自动化、智能化生产管理中。
本发明的第一个目的在于提供一种基于深度学习的单株水稻检测定位方法。
本发明的第二个目的在于提供一种基于深度学习的单株水稻检测定位***。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种基于深度学习的单株水稻检测定位方法，所述方法包括：
获取大田水稻样本图像数据；
对大田水稻样本图像数据进行预处理和标注，得到预处理图像数据；
建立深度卷积神经网络检测模型；
使用预处理图像数据对深度卷积神经网络检测模型进行优化训练；
利用训练后的深度卷积神经网络检测模型对大田水稻待测图像的单株水稻进行检测定位。
进一步的，所述对大田水稻样本图像数据进行预处理和标注，具体包括：
清洗大田水稻样本图像数据，弃用没有水稻示例或者人的视觉辨识稻株困难的图像数据；
根据拟定的标准对清洗后的大田水稻样本图像数据进行标注；其中，所述拟定的标准为：以植株茎基中心为圆心，定义半径为γ的茎基圆形区域A1，圆A2是半径两倍于圆A1的同心圆，取圆A2的外接正方形作为单株水稻示例的检测真实标签。
进一步的，所述建立深度卷积神经网络检测模型，具体包括：
将经过缩放操作后的预处理图像输入提取图像特征信息子网络，通过提取图像特征信息子网络输出该图像的深度卷积高维空间特征信息图；
将提取图像特征信息子网络输出的特征信息图输入候选区域提取子网络，通过候选区域提取子网络输出R个高质量的可能包含水稻的候选区域；
将提取图像特征信息子网络输出的特征信息图，以及候选区域提取子网络输出的候选区域输入检测定位子网络，通过检测定位子网络输出特征信息图中检测定位水稻所在位置。
进一步的，所述缩放操作包括：对预处理图像进行长短边等比例缩放，使得预处理图像的短边小于或等于第一预设像素值，并且长边小于或等于第二预设像素值。
进一步的，所述候选区域提取子网络的顶端为一个卷积层，卷积层之后接上两个卷积层分支，两个卷积层分支分别用于候选区域的分类和回归；
所述通过候选区域提取子网络输出R个高质量的可能包含水稻的候选区域，具体为：通过卷积层在提取图像特征信息子网络输出的特征信息图上，进行逐点滑动卷积，并在每个滑动中心处生成K个候选区域，K个候选区域送入两个卷积层分支，用于候选区域分类的卷积层分支输出通道数为K×2，表示对候选区域分类为前景和背景的二分类得分，用于候选区域回归的卷积层分支输出通道数为K×4，表示对K个候选区域边界框的四个修正量；对用于候选区域分类的卷积层分支中划为前景类得分较高的前T个候选区域进行非极大值抑制去除冗余候选区域，输出较少的R(R＜T)个高质量的可能包含水稻的候选区域；
其中，生成K个候选区域，包括：根据特征信息图的宽度W和高度H，在经过缩放操作后的输入图像的行、列上每间隔D个像素设置一个锚点，总共W×H个锚点，每个锚点为中心生成K个候选区域，K个候选区域按面积大小不同分为U组，每组的各个候选区域面积大小相同，所有锚点总共生成W×H×K个候选区域。
进一步的，所述检测定位子网络的顶端为一个输出固定大小特征信息图的池化层，在池化层之后顺序堆叠多个卷积层/全连接层，用于进一步提取R个候选区域特征信息，在多个卷积层/全连接层之后接上两个卷积层/全连接层分支，两个卷积层/全连接层分支分别用于候选区域的分类和回归；
所述通过检测定位子网络输出特征信息图中检测定位水稻所在位置，具体为：进一步提取R个候选区域特征信息，用于候选区域分类的卷积层/全连接层分支输出通道数为2，表示对候选区域分类为水稻和背景的得分，用于候选区域回归的卷积层/全连接层分支输出通道数为4×2，表示对水稻和背景两类候选区域边界框各自的四个回归修正量；对属于水稻类别得分的所有候选区域进行非极大值抑制去除冗余后，输出最终的检测定位水稻候选区域。
进一步的，所述使用预处理图像数据对深度卷积神经网络检测模型进行优化训练，具体为：
从预处理图像数据训练集中，每次迭代随机抽取多个预处理图像数据构成一个批次进行整个深度卷积神经网络检测模型参数更新，采用反向传播和随机梯度下降算法进行优化训练；其中，所述优化训练过程迭代进行E次，初始学习率设定为lr，每step次迭代训练后学习率降低为原来的十分之一，整个训练过程迭代直至损失函数趋于稳定不下降时，即训练收敛结束。
本发明的第二个目的可以通过采取如下技术方案达到：
一种基于深度学习的单株水稻检测定位***，所述***包括：
获取模块，用于获取大田水稻样本图像数据；
预处理模块，用于对大田水稻样本图像数据进行预处理和标注，得到预处理图像数据；
建立模块，用于建立深度卷积神经网络检测模型；
训练模块，用于使用预处理图像数据对深度卷积神经网络检测模型进行优化训练；
检测模块，用于利用训练后的深度卷积神经网络检测模型对大田水稻待测图像的单株水稻进行检测定位。
本发明的第三个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的单株水稻检测定位方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的单株水稻检测定位方法。
本发明相对于现有技术具有如下的有益效果：
1、本发明采用计算机视觉中基于深度学习的检测方法，可以精准定位图像中的单株水稻，在对单株水稻进行有效的灌溉、施肥等田间作业有深刻的指导意义，不但可以提高资源利用率、有效率，减少生产资料的浪费和药肥对环境的污染，还可以保护生态水资源、空气以及土壤，具有普适性和通用性，有着广泛的应用场景。
2、本发明将计算机视觉中的前沿领域知识深度学习，应用于农业的自动化、智能化生产管理中，通过设计深度卷积神经网络模型，提取水稻植株高维度空间语义特征，对于水稻检测定位在复杂光照背景、植株互相遮挡、犬牙交错的冠层等环境下，依然有很好的定位精度和鲁棒性，是当下极具发展潜力的农业自动化、智能化新兴技术。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的基于深度学习的单株水稻检测定位方法的流程图。
图2为本发明实施例1的基于深度学习的单株水稻检测定位方法应用在大田水稻待测图像检测定位的结构图。
图3是本发明实施例1的提取图像特征信息子网络的结构图。
图4是本发明实施例1的候选区域提取子网络的结构图。
图5是本发明实施例1的检测定位子网络的结构图。
图6a～图6d为本发明实施例1的基于深度学习的单株水稻检测定位方法在户外检测定位水稻的结果图。
图7为本发明实施例2的基于深度学习的单株水稻检测定位***的结构框图。
图8为本发明实施例2的预处理模块的结构框图。
图9为本发明实施例2的建立模块的结构框图。
图10为本发明实施例2的检测模块的结构框图。
图11为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1和图2所示，本实施例提供了一种基于深度学习的单株水稻检测定位方法，该方法包括以下步骤：
S1、获取大田水稻样本图像数据。
本实施例的大田水稻样本图像数据可以通过图像采集***采集获取，该图像采集***包括彩色相机、镜头、计算机、遮光装置、安装平台等，在农业除草机械上安装该图像采集***，设定机械行进速度为2米每秒，图像采集***帧率为10帧每秒，模拟除草、施肥等田间作业过程，使用图像采集***采集不同形态的大田水稻待测图像，充分增加图像数据库的多样性，从而增强深度卷积神经网络模型的泛化能力和定位精度。
S2、对大田水稻样本图像数据进行预处理和标注，得到预处理图像数据。
该步骤S2具体包括：
S201、数据清洗：清洗大田水稻样本图像数据，弃用没有水稻示例或者人的视觉辨识稻株困难的图像数据。
S202、标注数据：根据拟定的标准对清洗后的大田水稻样本图像数据进行标注；其中，拟定的标准为：以植株茎基中心为圆心，定义半径为γ的茎基圆形区域A1，圆A2是半径两倍于圆A1的同心圆，取圆A2的外接正方形作为单株水稻示例的检测真实标签。该拟定标准参考了水稻稻田除草或精准喷施药肥的行业标准。
S3、建立深度卷积神经网络检测模型。
本实施例的深度卷积神经网络检测模型包括提取图像特征信息子网络、候选区域提取子网络和检测定位子网络，三个子网络构成一个整体，使深度卷积神经网络检测模型检测过程端到端地完成。
该步骤S3具体包括：
S301、将经过缩放操作后的预处理图像数据输入提取图像特征信息子网络，通过提取图像特征信息子网络输出该图像的深度卷积高维空间特征信息图，大小为W×H。
本实施例的提取图像特征信息子网络使用深度卷积神经网络进行图像信息的提取，其中深度卷积神经网络一般使用经典高效的结构模型，例如牛津大学视觉几何组(Visual Geometry Group)发明的VGG13、VGG16、VGG19等网络结构模型系列，Facebook人工智能研究院(FAIR)何凯明科学家等人发明的深度残差网络系列(ResNet18、ResNet50、ResNet101)等等。如图3所示，本实施例的提取图像特征信息子网络采用VGG16模型。缩放操作具体为：一般输入神经网络模型的图像较小，例如224像素×224像素，480像素×640像素等等，但在本实施例中，对预处理图像数据进行长短边等比例缩放，使得短边小于或等于第一预设像素值，并且长边小于或等于第二预设像素值，第一预设像素值为600像素，第二预设像素值为1000像素，这样做的好处可以让输入的图片较大，最终对小目标检测的效果会更好。具体地，若原图(预处理图像)为M1×N1像素,不妨设M1是较短的一条边，N1是较长的一条边。按照原图M1:N1的比例缩放，使得短边M1到指定长度600像素，此时经过缩放后另一条边为长度设为N2，现在图像大小为600×N2像素。
S302、将提取图像特征信息子网络输出的特征信息图输入候选区域提取子网络，通过候选区域提取子网络输出R＝300个高质量的可能包含水稻的候选区域，以提供给后续的检测定位子网络进一步检测定位。
如图4所示，本实施例的候选区域提取子网络的顶端为一个卷积核大小为3×3的卷积层，卷积层之后接上两个卷积核大小为1×1的卷积层分支，两个卷积层分支分别用于候选区域的分类和回归。
通过候选区域提取子网络输出300个可能包含水稻的候选区域，具体为：通过卷积层在提取图像特征信息子网络输出的特征信息图上，进行逐点滑动卷积，并在每个滑动中心处生成4个候选区域，4个候选区域送入两个卷积层分支，用于候选区域分类的卷积层分支输出通道数为4×2，表示对候选区域分类为前景和背景的二分类得分，用于候选区域回归的卷积层分支输出通道数为4×4，表示对4个候选区域边界框的四个修正量；对用于候选区域分类的卷积层分支中划为前景类得分较高的前T＝6000个候选区域进行非极大值抑制(Non-maximum suppression，简称NMS)去除冗余候选区域，输出较少的R＝300个高质量的可能包含水稻的候选区域。
其中，生成4个候选区域，包括：根据特征信息图的宽度W和高度H，在经过缩放操作后的输入图像的行、列上每间隔D＝16个像素设置一个锚点，总共W×H个锚点，每个锚点为中心生成4个候选区域，本实施例的4个候选区域面积大小相同，因此只划分U＝1组候选区域，4个候选区域长宽比例为1：1，但可以理解，4个候选区域的长宽比例也可以允许不同，所有锚点总共生成W×H×4个候选区域。
S303、将提取图像特征信息子网络输出的特征信息图，以及候选区域提取子网络输出的候选区域输入检测定位子网络，通过检测定位子网络输出特征信息图中检测定位水稻所在位置，即深度卷积神经网络检测模型所期望的输出。
如图5所示，本实施例的检测定位子网络的顶端为一个输出固定大小特征信息图的池化层，在池化层之后顺序堆叠两个全连接层，用于进一步提取R个候选区域特征信息，在两个全连接层之后接上两个全连接层分支，两个全连接层分支分别用于候选区域的分类和回归；可以理解，全连接层和全连接层分支也可以为卷积层和卷积层分支。
通过检测定位子网络输出特征信息图中检测定位水稻所在位置，具体为：进一步提取R个候选区域特征信息，用于候选区域分类的卷积层/全连接层分支输出通道数为2，表示对候选区域分类为水稻和背景的得分，用于候选区域回归的卷积层/全连接层分支输出通道数为4×2，表示对水稻和背景两类候选区域边界框各自的四个回归修正量；对属于水稻类别得分的所有候选区域进行非极大值抑制(Non-maximum suppression，简称NMS)去除冗余后，输出最终的检测定位水稻候选区域。
S4、使用预处理图像数据对深度卷积神经网络检测模型进行优化训练。
具体地，从预处理图像数据训练集中，每次迭代随机抽取64个预处理图像数据构成一个批次进行整个深度卷积神经网络检测模型参数更新，采用反向传播和随机梯度下降算法进行优化训练；其中，所述优化训练过程迭代进行E＝1000次，初始学习率设定为lr＝0.0001，每step＝100次迭代训练后学习率降低为原来的十分之一，动量参数设定为0.9，权重衰减为0.0005，提取图像特征信息子网络、检测定位子网络顶端部分使用ImageNet分类预训练模型进行初始化。整个训练过程迭代直至损失函数趋于稳定不下降时，即训练收敛结束。
S5、利用训练后的深度卷积神经网络检测模型对大田水稻待测图像的单株水稻进行检测定位。
该步骤S5具体包括：
S501、获取大田水稻待测图像：使用与步骤S1相同的图像采集***，将其装备在农业除草等机械上，同样地以2米每秒行进速度，10帧每秒的帧率采集大田水稻待测图像，彩色相机将采集的大田水稻待测图像传送至计算机中。
S502、通过训练后的深度卷积神经网络模型对大田水稻待测图像进行检测，并输出水稻的具***置，从而实现农业机械智能化田间除草作业，以及智能化控制灌溉水肥、农药等资源，提高资源利用率、有效率，减少生产资料的浪费和药肥对环境的污染，保护生态水资源、空气以及土壤。
图6a～图6d为本实施例的单株水稻的检测方法在户外大田检测单株水稻的结果图，图中灰黑色框为所检测定位的水稻位置和大小，可以看到所检测定位的水稻中心基本与实际的植株中心重合，且视野范围内的不同尺度的植株都被检测定位出来，效果非常精确。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图7所示，本实施例提供了一种基于深度学习的单株水稻检测定位***，该***包括获取模块701、预处理模块702、建立模块703、训练模块704和检测模块705，各个模块的具体功能如下：
所述获取模块701，用于获取大田水稻样本图像数据。
所述预处理模块702，用于对大田水稻样本图像数据进行预处理和标注，得到预处理图像数据。
进一步地，所述预处理模块702如图8所示，具体包括：
清洗单元7021，用于清洗大田水稻样本图像数据，弃用没有水稻示例或者人的视觉辨识稻株困难的图像数据。
标注单元7022，用于根据拟定的标准对清洗后的大田水稻样本图像数据进行标注；其中，所述拟定的标准为：以植株茎基中心为圆心，定义半径为γ的茎基圆形区域A1，圆A2是半径两倍于圆A1的同心圆，取圆A2的外接正方形作为单株水稻示例的检测真实标签。
所述建立模块703，用于建立深度卷积神经网络检测模型。
进一步地，所述建立模块703如图9所示，具体包括：
第一输入/输出单元7031，用于将经过缩放操作后的预处理图像数据输入提取图像特征信息子网络，通过提取图像特征信息子网络输出该图像的深度卷积高维空间特征信息图。
第二输入/输出单元7032，用于将提取图像特征信息子网络输出的特征信息图输入候选区域提取子网络，通过候选区域提取子网络输出R个高质量的可能包含水稻的候选区域。
第三输入/输出单元7033，用于将提取图像特征信息子网络输出的特征信息图，以及候选区域提取子网络输出的候选区域输入检测定位子网络，通过检测定位子网络输出特征信息图中检测定位水稻所在位置。
所述训练模块704，用于使用预处理图像数据对深度卷积神经网络检测模型进行优化训练。
所述检测模块705，用于利用训练后的深度卷积神经网络检测模型对大田水稻待测图像的单株水稻进行检测定位。
进一步地，所述检测模块705如图10所示，具体包括：
获取单元7051，用于获取大田水稻待测图像。
检测输出单元7052，用于通过训练后的深度卷积神经网络模型对大田水稻待测图像进行检测，并输出水稻的具***置。
本实施例中各个模块和单元的具体实现可以参见上述实施例1，在此不再一一赘述。在此需要说明的是，上述实施例提供的***仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
可以理解，上述实施例的***中所使用的术语“第一”、“第二”等可用于描述各种单元，但这些单元不受这些术语限制。这些术语仅用于将第一个单元与另一个单元区分。举例来说，在不脱离本发明的范围的情况下，可以将第一输入/输出单元称为第二输入/输出单元，且类似地，可将第二输入/输出单元称为第一输入/输出单元，第一输入/输出单元和第二输入/输出单元两者都是输入/输出单元，但其不是同一输入/输出单元。
实施例3：
如图11所示，本实施例提供了一种计算机设备，该计算机设备可以是计算机，其包括通过***总线1101连接的处理器1102、存储器、输入装置1103、显示器1104和网络接口1105。其中，处理器1102用于提供计算和控制能力，存储器包括非易失性存储介质1106和内存储器1107，该非易失性存储介质1106存储有操作***、计算机程序和数据库，该内存储器1107为非易失性存储介质1106中的操作***和计算机程序的运行提供环境，计算机程序被处理器1102执行时，实现上述实施例1的单株水稻检测定位方法，如下：
获取大田水稻样本图像数据；
对大田水稻样本图像数据进行预处理和标注，得到预处理图像数据；
建立深度卷积神经网络检测模型；
使用预处理图像数据对深度卷积神经网络检测模型进行优化训练；
利用训练后的深度卷积神经网络检测模型对大田水稻待测图像的单株水稻进行检测定位。
本实施例中所述的计算机设备还可以是服务器或其他具有计算功能的终端设备。
实施例4：
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述程序被处理器执行时，处理器执行存储器存储的计算机程序时，实现上述实施例1的单株水稻检测定位方法，如下：
获取大田水稻样本图像数据；
对大田水稻样本图像数据进行预处理和标注，得到预处理图像数据；
建立深度卷积神经网络检测模型；
使用预处理图像数据对深度卷积神经网络检测模型进行优化训练；
利用训练后的深度卷积神经网络检测模型对大田水稻待测图像的单株水稻进行检测定位。
本实施例中所述的存储介质可以是磁盘、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。
综上所述，本发明采用计算机视觉中基于深度学习的检测方法，精准定位图像中的单株水稻，在对单株水稻进行有效的灌溉、施肥等田间作业有深刻的指导意义，不但可以提高资源利用率、有效率，减少生产资料的浪费和药肥对环境的污染，还可以保护生态水资源、空气以及土壤，具有普适性和通用性，有着广泛的应用场景。
以上所述，仅为本发明专利优选的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (7)

1.一种基于深度学习的单株水稻检测定位方法，其特征在于，所述方法包括：
获取大田水稻样本图像数据；
对大田水稻样本图像数据进行预处理和标注，得到预处理图像数据；
建立深度卷积神经网络检测模型；
使用预处理图像数据对深度卷积神经网络检测模型进行优化训练；
利用训练后的深度卷积神经网络检测模型对大田水稻待测图像的单株水稻进行检测定位；
所述对大田水稻样本图像数据进行预处理和标注，具体包括：
清洗大田水稻样本图像数据，弃用没有水稻示例或者人的视觉辨识稻株困难的图像数据；
根据拟定的标准对清洗后的大田水稻样本图像数据进行标注；其中，所述拟定的标准为：以植株茎基中心为圆心，定义半径为γ的茎基圆形区域A1，圆A2是半径两倍于圆A1的同心圆，取圆A2的外接正方形作为单株水稻示例的检测真实标签；
所述大田水稻样本图像数据通过图像采集***采集获取，该图像采集***包括彩色相机、镜头、计算机、遮光装置和安装平台，在农业除草机械上安装该图像采集***，设定机械行进速度为2米每秒，图像采集***帧率为10帧每秒，模拟田间作业过程；
所述深度卷积神经网络检测模型包括提取图像特征信息子网络、候选区域提取子网络和检测定位子网络，三个子网络构成一个整体，使深度卷积神经网络检测模型检测过程端到端地完成，提取图像特征信息子网络采用VGG16模型，将经过缩放操作后的预处理图像输入提取图像特征信息子网络，通过提取图像特征信息子网络输出该图像的深度卷积高维空间特征信息图；将提取图像特征信息子网络输出的特征信息图输入候选区域提取子网络，通过候选区域提取子网络输出R个高质量的可能包含水稻的候选区域；将提取图像特征信息子网络输出的特征信息图，以及候选区域提取子网络输出的候选区域输入检测定位子网络，通过检测定位子网络输出特征信息图中检测定位水稻所在位置；
所述缩放操作包括：对预处理图像数据进行长短边等比例缩放，使得短边小于或等于第一预设像素值，并且长边小于或等于第二预设像素值，若预处理图像为M1×N1像素,设M1是较短的一条边，N1是较长的一条边，按照预处理图像M1:N1的比例缩放，使得短边M1到指定长度600像素，此时经过缩放后另一条边为长度设为N2，现在图像大小为600×N2像素。
2.根据权利要求1所述的单株水稻检测定位方法，其特征在于，所述候选区域提取子网络的顶端为一个卷积层，卷积层之后接上两个卷积层分支，两个卷积层分支分别用于候选区域的分类和回归；
所述通过候选区域提取子网络输出R个高质量的可能包含水稻的候选区域，具体为：通过卷积层在提取图像特征信息子网络输出的特征信息图上，进行逐点滑动卷积，并在每个滑动中心处生成K个候选区域，K个候选区域送入两个卷积层分支，用于候选区域分类的卷积层分支输出通道数为K×2，表示对候选区域分类为前景和背景的二分类得分，用于候选区域回归的卷积层分支输出通道数为K×4，表示对K个候选区域边界框的四个修正量；对用于候选区域分类的卷积层分支中划为前景类得分较高的前T个候选区域进行非极大值抑制去除冗余候选区域，输出较少的R个高质量的可能包含水稻的候选区域；
其中，生成K个候选区域，包括：根据特征信息图的宽度W和高度H，在经过缩放操作后的输入图像的行、列上每间隔D个像素设置一个锚点，总共W×H个锚点，每个锚点为中心生成K个候选区域，K个候选区域按面积大小不同分为U组，每组的各个候选区域面积大小相同，所有锚点总共生成W×H×K个候选区域。
3.根据权利要求1所述的单株水稻检测定位方法，其特征在于，所述检测定位子网络的顶端为一个输出固定大小特征信息图的池化层，在池化层之后顺序堆叠多个卷积层/全连接层，用于进一步提取R个候选区域特征信息，在多个卷积层/全连接层之后接上两个卷积层/全连接层分支，两个卷积层/全连接层分支分别用于候选区域的分类和回归；
所述通过检测定位子网络输出特征信息图中检测定位水稻所在位置，具体为：进一步提取R个候选区域特征信息，用于候选区域分类的卷积层/全连接层分支输出通道数为2，表示对候选区域分类为水稻和背景的得分，用于候选区域回归的卷积层/全连接层分支输出通道数为4×2，表示对水稻和背景两类候选区域边界框各自的四个回归修正量；对属于水稻类别得分的所有候选区域进行非极大值抑制去除冗余后，输出最终的检测定位水稻候选区域。
4.根据权利要求1-3任一项所述的单株水稻检测定位方法，其特征在于，所述使用预处理图像数据对深度卷积神经网络检测模型进行优化训练，具体为：
从预处理图像数据训练集中，每次迭代随机抽取多个预处理图像数据构成一个批次进行整个深度卷积神经网络检测模型参数更新，采用反向传播和随机梯度下降算法进行优化训练；其中，所述优化训练过程迭代进行E次，初始学习率设定为lr，每step次迭代训练后学习率降低为原来的十分之一，整个训练过程迭代直至损失函数趋于稳定不下降时，即训练收敛结束。
5.一种基于深度学习的单株水稻检测定位***，其特征在于，所述***包括：
获取模块，用于获取大田水稻样本图像数据；
预处理模块，用于对大田水稻样本图像数据进行预处理和标注，得到预处理图像数据；
建立模块，用于建立深度卷积神经网络检测模型；
训练模块，用于使用预处理图像数据对深度卷积神经网络检测模型进行优化训练；
检测模块，用于利用训练后的深度卷积神经网络检测模型对大田水稻待测图像的单株水稻进行检测定位；
所述预处理模块具体包括：
清洗单元，用于清洗大田水稻样本图像数据，弃用没有水稻示例或者人的视觉辨识稻株困难的图像数据；
标注单元，用于根据拟定的标准对清洗后的大田水稻样本图像数据进行标注；其中，所述拟定的标准为：以植株茎基中心为圆心，定义半径为γ的茎基圆形区域A1，圆A2是半径两倍于圆A1的同心圆，取圆A2的外接正方形作为单株水稻示例的检测真实标签；
所述大田水稻样本图像数据通过图像采集***采集获取，该图像采集***包括彩色相机、镜头、计算机、遮光装置和安装平台，在农业除草机械上安装该图像采集***，设定机械行进速度为2米每秒，图像采集***帧率为10帧每秒，模拟田间作业过程；
所述深度卷积神经网络检测模型包括提取图像特征信息子网络、候选区域提取子网络和检测定位子网络，三个子网络构成一个整体，使深度卷积神经网络检测模型检测过程端到端地完成，提取图像特征信息子网络采用VGG16模型，将经过缩放操作后的预处理图像输入提取图像特征信息子网络，通过提取图像特征信息子网络输出该图像的深度卷积高维空间特征信息图；将提取图像特征信息子网络输出的特征信息图输入候选区域提取子网络，通过候选区域提取子网络输出R个高质量的可能包含水稻的候选区域；将提取图像特征信息子网络输出的特征信息图，以及候选区域提取子网络输出的候选区域输入检测定位子网络，通过检测定位子网络输出特征信息图中检测定位水稻所在位置；
所述缩放操作包括：对预处理图像数据进行长短边等比例缩放，使得短边小于或等于第一预设像素值，并且长边小于或等于第二预设像素值，第一预设像素值为600像素，第二预设像素值为1000像素，若预处理图像为M1×N1像素,设M1是较短的一条边，N1是较长的一条边，按照预处理图像M1:N1的比例缩放，使得短边M1到指定长度600像素，此时经过缩放后另一条边为长度设为N2，现在图像大小为600×N2像素。
6.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-4任一项所述的单株水稻检测定位方法。
7.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-4任一项所述的单株水稻检测定位方法。
CN201910089817.3A 2019-01-30 2019-01-30 基于深度学习的单株水稻检测定位方法、***、设备及介质 Active CN109886155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910089817.3A CN109886155B (zh) 2019-01-30 2019-01-30 基于深度学习的单株水稻检测定位方法、***、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910089817.3A CN109886155B (zh) 2019-01-30 2019-01-30 基于深度学习的单株水稻检测定位方法、***、设备及介质

Publications (2)

Publication Number Publication Date
CN109886155A CN109886155A (zh) 2019-06-14
CN109886155B true CN109886155B (zh) 2021-08-10

Family

ID=66927519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910089817.3A Active CN109886155B (zh) 2019-01-30 2019-01-30 基于深度学习的单株水稻检测定位方法、***、设备及介质

Country Status (1)

Country Link
CN (1) CN109886155B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853080A (zh) * 2019-09-30 2020-02-28 广西慧云信息技术有限公司 一种田间果实尺寸的测量方法
CN111062871B (zh) * 2019-12-17 2023-01-24 腾讯科技（深圳）有限公司 一种图像处理方法、装置、计算机设备及可读存储介质
CN111462058B (zh) * 2020-03-24 2024-01-05 华南农业大学 一种水稻有效穗快速检测方法
CN111723736A (zh) * 2020-06-19 2020-09-29 中国农业科学院农业信息研究所 果树花期监测方法、装置、计算机设备及存储介质
CN113128576A (zh) * 2021-04-02 2021-07-16 中国农业大学 基于深度学习图像分割的作物行检测方法及装置
CN113129281B (zh) * 2021-04-13 2022-06-21 广西大学 一种基于深度学习的小麦茎秆截面参数检测方法
CN115619286B (zh) * 2022-11-11 2023-10-03 中国农业科学院农业资源与农业区划研究所 一种评估育种田间小区样地质量的方法和***
CN116863340A (zh) * 2023-08-16 2023-10-10 安徽荃银超大种业有限公司 基于深度学习的水稻叶片病害识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169421A (zh) * 2017-04-20 2017-09-15 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
CN107316289A (zh) * 2017-06-08 2017-11-03 华中农业大学 基于深度学习和超像素分割的大田稻穗分割方法
CN107576618A (zh) * 2017-07-20 2018-01-12 华南理工大学 基于深度卷积神经网络的水稻穗瘟检测方法及***
CN108416353A (zh) * 2018-02-03 2018-08-17 华中农业大学 基于深度全卷积神经网络的大田稻穗快速分割方法
CN108491854A (zh) * 2018-02-05 2018-09-04 西安电子科技大学 基于sf-rcnn的光学遥感图像目标检测方法
CN109117876A (zh) * 2018-07-26 2019-01-01 成都快眼科技有限公司 一种稠密小目标检测模型构建方法、模型及检测方法
CN109242844A (zh) * 2018-09-04 2019-01-18 青岛大学附属医院 基于深度学习的胰腺癌肿瘤自动识别***、计算机设备、存储介质
CN109255352A (zh) * 2018-09-07 2019-01-22 北京旷视科技有限公司 目标检测方法、装置及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871124B (zh) * 2017-11-15 2018-08-10 陕西师范大学 一种基于深度神经网络的遥感图像目标检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169421A (zh) * 2017-04-20 2017-09-15 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
CN107316289A (zh) * 2017-06-08 2017-11-03 华中农业大学 基于深度学习和超像素分割的大田稻穗分割方法
CN107576618A (zh) * 2017-07-20 2018-01-12 华南理工大学 基于深度卷积神经网络的水稻穗瘟检测方法及***
CN108416353A (zh) * 2018-02-03 2018-08-17 华中农业大学 基于深度全卷积神经网络的大田稻穗快速分割方法
CN108491854A (zh) * 2018-02-05 2018-09-04 西安电子科技大学 基于sf-rcnn的光学遥感图像目标检测方法
CN109117876A (zh) * 2018-07-26 2019-01-01 成都快眼科技有限公司 一种稠密小目标检测模型构建方法、模型及检测方法
CN109242844A (zh) * 2018-09-04 2019-01-18 青岛大学附属医院 基于深度学习的胰腺癌肿瘤自动识别***、计算机设备、存储介质
CN109255352A (zh) * 2018-09-07 2019-01-22 北京旷视科技有限公司 目标检测方法、装置及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Faster_R_CNN的目标检测算法的研究;伍伟明;《中国优秀硕士学位论文全文数据库信息科技辑》;20180515;第I138-508页 *
基于深度卷积神经网络的水稻穗瘟病检测方法;黄双萍 等;《农业工程学报》;20171031;第33卷(第20期);第169-176页 *

Also Published As

Publication number Publication date
CN109886155A (zh) 2019-06-14

Similar Documents

Publication Publication Date Title
CN109886155B (zh) 基于深度学习的单株水稻检测定位方法、***、设备及介质
Kamilaris et al. Deep learning in agriculture: A survey
Zhao et al. Rapeseed seedling stand counting and seeding performance evaluation at two early growth stages based on unmanned aerial vehicle imagery
Vidović et al. Crop row detection by global energy minimization
Yu et al. Automatic image-based detection technology for two critical growth stages of maize: Emergence and three-leaf stage
Rivera et al. LiDAR applications in precision agriculture for cultivating crops: A review of recent advances
Hung et al. A feature learning based approach for automated fruit yield estimation
CN110765916B (zh) 一种基于语义和实例分割的农田苗垄识别方法及***
Huang et al. Deep localization model for intra-row crop detection in paddy field
Wang et al. Tea picking point detection and location based on Mask-RCNN
Kalampokas et al. Grape stem detection using regression convolutional neural networks
CN111126287A (zh) 一种遥感影像密集目标深度学习检测方法
de Silva et al. Towards agricultural autonomy: crop row detection under varying field conditions using deep learning
Badhan et al. Real-time weed detection using machine learning and stereo-vision
Gleason et al. A Fusion Approach for Tree Crown Delineation from Lidar Data.
Zermas et al. Estimating the leaf area index of crops through the evaluation of 3D models
Gurumurthy et al. Mango Tree Net--A fully convolutional network for semantic segmentation and individual crown detection of mango trees
Lyu et al. Development of phenotyping system using low altitude UAV imagery and deep learning
Lu et al. Citrus green fruit detection via improved feature network extraction
Jia et al. YOLOF-Snake: An efficient segmentation model for green object fruit
Simon et al. Weed Plant Identification and Removal Using Machine Vision and Robotics
AHM et al. A deep convolutional neural network based image processing framework for monitoring the growth of soybean crops
Miao et al. Crop weed identification system based on convolutional neural network
Jakab et al. Detection of Plastic Greenhouses Using High Resolution Rgb Remote Sensing Data and Convolutional Neural Network
US12001512B2 (en) Generating labeled synthetic training data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant