CN111105393A - 一种基于深度学习的葡萄病虫害识别方法及装置 - Google Patents

Abstract

本发明公开了一种基于深度学习的葡萄病虫害识别方法，包括以下步骤：对获取的葡萄株图像进行处理得到图像特征信息；对图像特征信息进行分析提取病虫害特征信息；将提取的病虫害信息与预设数据特征库进行对比，获取葡萄病虫害类型。本发明还提出一种基于深度学习的葡萄病虫害识别装置。本发明将深度学习的方法用于病虫害检测，代替人工检测葡萄病虫害的情况，有效降低了因人工主观性带来的诊断失误，节约了大量的人工成本，提高了葡萄病虫害检测的准确率和检测速度，有效提高了葡萄种植者的工作效率，节省大量人力，物力，具有十分广阔的市场应用前景。

Description

一种基于深度学习的葡萄病虫害识别方法及装置

技术领域

本发明涉及葡萄病虫害识别领域，尤其涉及一种基于深度学习的葡萄病虫害识别方法及装置。

背景技术

葡萄病虫害是影响葡萄产量的主要自然灾害之一，是葡萄生长过程中遭遇的重大自然灾害，严重影响葡萄产量和质量以及受益。

国内外从上世纪开始研究主要采用物理机制进行葡萄病虫害的识别，主要有声测、诱集、近红外等，然而这些方法由于人工检测效率低下，噪声干扰等原因，难以满足识别病虫害的要求。

随着计算机视觉技术的快速发展，许多学者利用机器学习的方法对葡萄病虫害进行识别，但是模型较复杂，应用并不广泛。深度学习方法在葡萄病虫害识别领域得到了较为广泛的应用，但是单纯的深度学习方法在复杂背景下的识别率较低。

发明内容

针对上述现有技术存在不足，本发明提供一种基于深度学习的葡萄病虫害识别方法及装置，能够对葡萄所受病虫害进行有效识别；可以针对不同的病虫害进行不同的整治措施，对葡萄进行及时的治疗，减少不必要的损失。

本发明采用的技术方案为：

一种基于深度学习的葡萄病虫害识别方法，包括以下步骤：

对获取的葡萄株图像进行处理得到图像特征信息；

对图像特征信息进行分析提取病虫害特征信息；

将提取的病虫害信息与预设数据特征库进行对比，获取葡萄病虫害类型。

作为本发明的进一步技术方案为：所述对获取的葡萄株图像进行处理得到图像特征信息，具体包括：对葡萄植株图像进行分割为叶片、果实、叶柄、新梢、卷须和藤条部位的子图像；

对子图像进行灰度处理并进行二值化处理得到第一处理图像；

对第一处理图像进行二次分割得到第二处理图像并得到第二处理图像的图像特征信息。

作为本发明的进一步技术方案为：对图像特征信息进行分析提取病虫害特征信息；具体包括：

对第二处理图像进行处理得到病斑区图像；

对病斑区图像进行形态学图像处理得到最终病斑区图像。

作为本发明的进一步技术方案为：所述对第二处理图像进行处理得到病斑区图像；具体为：根据图像特征信息采用选择搜索方法对第二处理图像处理生成多个子候选区域，对子候选区域进行相似性合并形成候选区域；

对候选区域进行颜色空间变换得到颜色空间候选区域；

利用图像叠加算法得到病斑区图像；

对病斑区图像进行归一化处理，并通过卷积神经网络中进行特征提取得到病虫害特征信息。

作为本发明的进一步技术方案为：所述对候选区域进行颜色空间变换得到颜色空间候选区域；具体为：采用RGB、HSI、Lab三个颜色空间同时进行变换，将三个颜色空间变换后的结果全部作为病斑区图像的候选区域。

作为本发明的进一步技术方案为：所述对病斑区图像进行形态学图像处理得到最终病斑区图像，具体包括：通过开运算来清楚昆虫留在植株上的粪便、沙土，通过闭运算填补虫害内部的孔洞。

作为本发明的进一步技术方案为：所述将提取的病虫害信息与预设数据特征库进行对比，获取葡萄病虫害类型，具体为：

构建病虫害识别支持向量机模型；

对每个类别训练一个支持向量机的二值化分类器进行修正；

用回归器对上述所得类别进行回归操作，最终得到每个类别的修正后的得分最高的边框盒。

作为本发明的进一步技术方案为：所述对每个类别训练一个支持向量机的二值化分类器进行修正；具体包括：

将提取的病虫害特征信息送入支持向量机分类器，通过支持向量机分类器对其打分计算；

计算loU指标，剔除重叠区域位置得到变形后的推荐区域；

使用变形后的推荐区域对CNN参数进行SGD训练得到候选框位置；

使用线性脊回归器精细修正候选框位置。

进一步的，计算loU指标，剔除重叠区域位置得到变形后的推荐区域，具体为：

计算loU指标，采用非极大性抑制方法，以最高分的区域为基础，剔除重叠区域位置得到变形后的推荐区域。

本发明还提出一种基于深度学习的葡萄病虫害识别装置，包括：

图像特征处理模块，用于对获取的葡萄株图像进行处理得到图像特征信息；

病虫害分析模块，用于对图像特征信息进行分析提取病虫害特征信息；

病虫害类型判断模块，用于将提取的病虫害信息与预设数据特征库进行对比，获取葡萄病虫害类型。

本发明的有益效果是：

1、本发明将深度学习的方法用于病虫害检测，代替人工检测葡萄病虫害的情况，有效降低了因人工主观性带来的诊断失误，节约了大量的人工成本，提高了葡萄病虫害检测的准确率和检测速度，有效提高了葡萄种植者的工作效率，节省大量人力，物力，具有十分广阔的市场应用前景；

2、本发明在对图像分割时在RGB，HSI，Lab三个颜色空间都进行，可减少出错率；

3、本发明选用R-CNN卷积网络模型代替现有技术中的CNN卷积网络模型，减少计算量，提高了检测精度和速度。

附图说明

图1为本发明提出的一种基于深度学习的葡萄病虫害识别方法流程图；

图2为本发明提出的实施的R-CNN卷积网络模型图；

图3为本发明提出的一种基于深度学习的葡萄病虫害识别装置结构图。

图4为本发明提出的一具体实施例图；

图5为本发明提出的一具体实施例方法流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面结合附图对本申请作进一步的详细说明。应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

实施例一

如图1所示，为本发明提出的一种基于深度学习的葡萄病虫害识别方法流程图。

参照图1，一种基于深度学习的葡萄病虫害识别方法，包括以下步骤：

步骤101，对获取的葡萄株图像进行处理得到图像特征信息；

步骤102，对图像特征信息进行分析提取病虫害特征信息；

步骤103，将提取的病虫害信息与预设数据特征库进行对比，获取葡萄病虫害类型。

本发明将深度学习的方法用于病虫害检测，代替人工检测葡萄病虫害的情况，有效降低了因人工主观性带来的诊断失误，节约了大量的人工成本，提高了葡萄病虫害检测的准确率和检测速度，有效提高了葡萄种植者的工作效率，节省大量人力，物力，具有十分广阔的市场应用前景。

在步骤101中，所述对获取的葡萄株图像进行处理得到图像特征信息，具体包括：对葡萄植株图像进行分割为叶片、果实、叶柄、新梢、卷须和藤条部位的子图像；

对葡萄植株图像进行处理，获取图像特征为Char＝[YP，GS，GG，YB，XS，JX，TT]，其中YP为叶片，GS为果实，YB为叶柄，XS为新梢，JX为卷须，TT为藤条；

具体为：基于Graph-Based Segmentation图像分割算法对葡萄植株图像进行分割，分割为Char0＝[YP0，GS0，GG0，YB0，XS0，JX0，TT0]，其中YP0为叶片部分图像，GS0为果实部分图像，YB0为叶柄部分图像，XS0为新梢部分图像，JX0为卷须部分图像，TT0为藤条部分图像。

对子图像进行灰度处理并进行二值化处理得到第一处理图像；对第一处理图像进行二次分割得到第二处理图像并得到第二处理图像的图像特征信息。

分别对各个子集中图像进行灰度处理后进一步进行二值化处理，对图像进一步分割，得到最小病斑区图像Char1＝[YP1，GS1，GG1，YB1，XS1，JX1，TT1]，其中YP1为叶片，GS1为果实，YB1为叶柄，XS1为新梢，JX1为卷须，TT1为藤条。

在步骤102中，对图像特征信息进行分析提取病虫害特征信息；具体包括：

对第二处理图像进行处理得到病斑区图像；

对病斑区图像进行形态学图像处理得到最终病斑区图像。

其中，对第二处理图像进行处理得到病斑区图像；具体为：根据图像特征信息采用Selective Search方法对第二处理图像处理生成多个子候选区域，对子候选区域进行相似性合并形成候选区域；

对候选区域进行颜色空间变换得到颜色空间候选区域；

利用图像叠加算法得到病斑区图像；

对病斑区图像进行归一化处理，并通过卷积神经网络进行特征提取得到病虫害特征信息。

在上述步骤中，对候选区域进行颜色空间变换得到颜色空间候选区域；具体为：采用RGB，HSI，Lab三个颜色空间同时进行变换，将三个颜色空间变换后的结果全部作为病斑区图像的候选区域。

其中，对病斑区图像进行形态学图像处理得到最终病斑区图像，具体包括：通过开运算来清楚昆虫留在植株上的粪便、沙土，通过闭运算填补虫害内部的孔洞。

对第二处理图像乘以原始子图像每个颜色通道，即R，G，B，利用图像叠加算法得到病斑区RGB图像Char2＝[YP2，GS2，GG2，YB2，XS2JX2，TT2]，其中YP2为叶片，GS2为果实，YB2为叶柄，XS2为新梢，JX2为卷须，TT2为藤条。

对病斑区RGB图像进行形态学图像处理，通过开运算来清楚昆虫留在植株上的粪便、沙土，通过闭运算填补虫害内部的孔洞。

得到最终病斑区图像Char＝[YP，GS，GG，YB，XS，JX，TT]，其中YP为叶片，GS为果实，YB为叶柄，XS为新梢，JX为卷须，TT为藤条。

本发明实施例中，采用选择搜索(Selective Search)方法，对每一张病斑图像生成多个子候选区域，主要采用一种过分割的手段，将图像分割成小区域；查看现有分割小区域，合并相似性最高的两个区域，重复执行直至合并成一个区域位置，输出所有曾经存在过的区域，即候选区域。主要采用以下合并规则：

颜色(颜色直方图)相近；

纹理(梯度直方图)相近；

合并后总面积较小；

合并后，总面积在其BBOX(Bounding Boxes，物***置的可能结果，简称边框盒)中所占比例大的。

为了尽可能不遗漏候选区域，对于颜色空间变换在RGB，HSI，Lab三个颜色空间同时进行，所有颜色空间与所有规则的全部结果在取出重复后，都作为候选区域输出。本发明在对图像分割时在RGB，HSI，Lab三个颜色空间都进行，可减少出错率。

对每个候选区域，归一化为同一尺寸227*227，对于框外区域此处选择直接截取；将所得尺寸归一化的图像输入到CNN(Convolutional Neural Networks，卷积神经网络)中进行特征提取。参见图2，本发明选用R-CNN卷积网络模型代替现有技术中的CNN卷积网络模型，减少计算量，提高了检测精度和速度。

在步骤103中，将提取的病虫害信息与预设数据特征库进行对比，获取葡萄病虫害类型，具体为：

构建病虫害识别支持向量机模型；

对每个类别训练一个支持向量机的二值化分类器进行修正；

用回归器对上述所得类别进行回归操作，最终得到每个类别的修正后的得分最高的边框盒。

在上述实施例中，对每个类别训练一个支持向量机的二值化分类器进行修正；具体包括：

将提取的病虫害特征信息送入支持向量机分类器，通过支持向量机分类器对其打分计算；

计算loU指标，剔除重叠区域位置得到变形后的推荐区域；

使用变形后的推荐区域对CNN参数进行SGD训练得到候选框位置；

使用线性脊回归器精细修正候选框位置。

其中，计算loU指标，剔除重叠区域位置得到变形后的推荐区域，具体为：

计算loU指标，采用非极大性抑制方法，以最高分的区域为基础，剔除重叠区域位置得到变形后的推荐区域。

实施例二

本实施例提供一种基于深度学习的葡萄病虫害识别装置，包括：

图像特征处理模块201，用于对获取的葡萄株图像进行处理得到图像特征信息；

病虫害分析模块202，用于对图像特征信息进行分析提取病虫害特征信息；

病虫害类型判断模块203，用于将提取的病虫害信息与预设数据特征库进行对比，获取葡萄病虫害类型。

本实施例提供一种基于深度学习的葡萄病虫害识别装置，通过前述对一种基于深度学习的葡萄病虫害识别方法的详细描述，本领域技术人员可以清楚的知道本实施例中关于一种基于深度学习的葡萄病虫害识别装置的具体构造及实施，所以为了说明书的简洁，在此不再详述。

实施例三

参见图5，为本发明提出的一实施例具体方式流程图。

如图5所示，本发明采用的一种基于深度学习的葡萄病虫害识别方法，包括以下步骤：

步骤一：对葡萄植株图像进行处理，获取图像特征为Char＝[YP，GS，GG，YB，XS，JX，TT]，其中YP为叶片，GS为果实，YB为叶柄，XS为新梢，JX为卷须，TT为藤条。具体操作为：

步骤11：基于Graph-Based Segmentation图像分割算法对葡萄植株图像进行分割。具体操作如下：

步骤111：计算葡萄植株图像上每一个像素点与其8邻域或4邻域的不相似度；

参见图4，实线为只计算4领域，加上虚线就是计算8邻域，由于是无向图，按照从左到右，从上到下的顺序计算的话，只需要计算右图中灰色的线即可。

步骤112：将边按照不相似度non-decreasing排列(从小到大)排序得到：e₁，e_n，...e_n；

步骤113：选择e_n；

步骤114：对当前选择的边e_n进行合并判断：设其所连接的顶点(v_i,v_j)，如果满足合并条件：

(1)v_i,v_j不属于同一个区域Id(v_i)≠Id(v_j)；

(id(v_i)为v_i的所在区域编码)；

(2)不相似度不大于二者内部的不相似度，w_ij≤Mint(c_i,c_j)则执行步骤114；否则执行步骤115；

(w_ij为i、j顶点所连接边的不相似度，c_i,c_j为i、j所在的区域，Mint(c_i,c_j)为区域内部不相似度)

步骤115：更新阈值以及类标号：

更新类标号：将Id(v_i),Id(v_j)的类标号统一为Id(v_i)的标号；

更新该类的不相似度阈值为：

注意：由于不相似度小的边先合并，所以，w_ij即为当前合并后的区域的最大的边，即Int(c_i∪c_j)＝w_ij；

步骤116：如果n≤N，则按照排好的顺序，选择下一条边执行步骤114，否则结束。

根据以上步骤获取图像特征为Char0＝[YP0，GS0，GG0，YB0，XS0，JX0，TT0]，其中YP0为叶片部分图像，GS0为果实部分图像，YB0为叶柄部分图像，XS0为新梢部分图像，JX0为卷须部分图像，TT0为藤条部分图像。

步骤12：分别对各个子集中图像进行灰度处理后进一步进行二值化处理，对图像进一步分割，得到最小病斑区图像。具体操作如下：

步骤121：选取YP0部分图像，对其进行灰度处理，让像素点矩阵中的每一个像素点都满足下面的关系：R＝G＝B；具体操作如下：

灰度化后的R＝处理前的R×0.3+处理前的G×0.59+处理前的B×0.11；

灰度化后的G＝处理前的R×0.3+处理前的G×0.59+处理前的B×0.11；

灰度化后的B＝处理前的R×0.3+处理前的G×0.59+处理前的B×0.11；

步骤122：将YP0部分图像灰度处理后，在进行二值化处理，让图像的像素点矩阵中的每个像素点的灰度值为0(黑色)或者255(白色)，也就是让整个图像呈现只有黑和白的效果。具体操作如下：

计算像素点矩阵中的所有像素点的灰度值的平均值avg；

(像素点1灰度值+…像素点n灰度值)/n＝像素点平均值avg；

让每一个像素点与avg一一比较，小于等于avg的像素点为0(黑色)，大于avg的像素点为255(白色)；

步骤123：重复以上步骤，对剩余GS0为果实部分图像，YB0为叶柄部分图像，XS0为新梢部分图像，JX0为卷须部分图像，TT0为藤条部分图像依次进行灰度化处理和二值化处理。

步骤13：将步骤12中得到的图形乘以原始子图像每个颜色通道，即R，G，B，利用图像叠加算法得到病斑区RGB图像；

步骤14：对病斑区RGB图像进行形态学图像处理，通过开运算来清楚昆虫留在植株上的粪便、沙土，通过闭运算填补虫害内部的孔洞。具体操作如下：

步骤141：假定二值图像A和形态学处理的结构元素B是定义在笛卡儿网格上的集合，网格中值为1的点是集合的元素，选取病斑区RGB图像对其先进行腐蚀操作，即对图像中的集合A和B，B对A进行腐蚀的整个过程如下：

⑴用结构元素B，扫描图像A的每一个像素；

⑵用结构元素与其覆盖的二值图像做“与”操作；

⑶如果都为1，结果图像的该像素为1，否则为0；

腐蚀处理的结果是使原来的二值图像减小一圈。

步骤142：对病斑区RGB图像进行膨胀操作，即以得到B的相对与它自身原点的映像并且由图像对映像进行移位为基础的，A被B膨胀是所有位移的集合，这样和A至少有一个元素是重叠的；我们可以把上式改写为：

结构元素B可以看作一个卷积模板，区别在于膨胀是以集合运算为基础的，卷积是以算术运算为基础的，但两者的处理过程是相似的：

⑴用结构元素B，扫描图像A的每一个像素；

⑵用结构元素与其覆盖的二值图像做“与”操作；

⑶如果都为0，结果图像的该像素为0，否则为1。

通过以上操作，即开运算，清楚昆虫留在植株上的粪便、沙土等。

步骤143：对病斑区RGB图像进行闭运算操作，即先膨胀操作，后腐蚀操作，填补虫害内部的孔洞，完善葡萄植株图像。

步骤二：对处理后的图像进行基于CNN的病虫害特征提取。具体操作如下：

步骤21：采用Selective Search方法，对每一张病斑图像生成1K～2K个候选区域，主要采用一种过分割的手段，将图像分割成小区域；查看现有分割小区域，合并相似性最高的两个区域，重复执行直至合并成一个区域位置，输出所有曾经存在过的区域，即候选区域。主要采用以下合并规则：

(1)颜色(颜色直方图)相近；

(2)纹理(梯度直方图)相近；

(3)合并后总面积较小；

(4)合并后，总面积在其BBOX中所占比例大的；

具体操作如下：

对初始输入图片进行语义分割以后，能够得到葡萄病斑的所在位置；为了病斑位置进行更精确的定位，需要对初始分割图片进行候选区域提取，采用选择性搜索算法对图像进行候选区域提取，通过计算目标区域的相邻联通子区域的相似度，不断合并图像子块并提取子块外接矩阵的方式选取候选区域。

步骤211：选择性搜索算法提取候选区域：

步骤2111：对语义分割图像进行超像素分割得到超像素分割图；

步骤2112：将得到的超像素分割图分为若干初始图像子块，设子块集合为；

R＝{r₁,r₂,···,r_n}；

对区域集合R中的子集取其对应的外接矩阵作为候选区域；

步骤2113：计算临近图像区域之间的相似度S(r_j，r_k)，所有图像块之间的相似度集合为

S＝{s(r_j,r_k),···}；

(s(r_j,r_k)为任意相邻区域间的相似度，集合包含所有图像块间相似度)

将集合S中相似度最大值max(S)对应的两个区域(r_j，r_k)合并为一个新的区域r_new＝r_j∪r_k，从集合中去除区域r_j和r_k，并且在相似度集合中去除与其他区域的相似度。

(r_new为最相似的相邻图像块合并后的区域)

重复步骤直到相似度集合S为空集，得到全部候选区域。

步骤212：子块合并：

本步骤在作相似性判断时采用多策略融合的方法进行合并。根据需要采用子块的颜色、纹理、大小的相似度进行合并：

(1)颜色相似度

使用Li-norm归一化获取图像中每个块的每个颜色通道25bins的直方图，从而使每个区域都可以得到一个75维度的向量

区域之间的颜色相似度通过如下公式计算：

其中，

分别为第i个区域和第j个区域向量的k维分量，s_color(r_i,r_j)为第i、j个区域间的颜色相似度。

(2)纹理相似度

区域之间的纹理相似度通过提取SHIFT-LIKE特征进行判别，取两个图像块从每个颜色通道的8个不同方向计算方差σ＝1的高斯微分，每个通道每个颜色采用Li-norm归一化获取10bins的直方图，以获取240维的向量

区域之间的纹理相似度计算方式如下所示：

其中，

分别为第i个区域和第j个区域纹理向量的第k维分量，s_texture(r_i,r_j)为第i、j个区域间的纹理相似度。

在区域合并过程中对新的区域的SHIFT-LIKE特征直方图进行更新，计算方法如下：

其中，size(r_i)为第i个区域的像素点数。

(3)大小相似度

采用区域中包含的像素点数进行判别，计算方法如下：

其中，size(im)为整个输入图片的总像素点数；

将纹理特征、颜色特征、大小特征相似度计算方式组合到一起，得到相似度量公式：

s(r_i,r_j)＝a₁s_color(r_i,r_j)+a₂s_texture(r_i,r_j)+a₃s_size(r_i,r_j)；

s(r_i,r_j)为综合相似度，其中a₁,a₂,a₃分别为颜色、纹理、大小相似度的权重。

步骤22：为了尽可能不遗漏候选区域，步骤21在RGB、HSI、Lab三个颜色空间同时进行，所有颜色空间与所有规则的全部结果在取出重复后，都作为候选区域输出。

步骤23：对每个候选区域，归一化为同一尺寸227*227，对于框外区域此处选择直接截取；

步骤24：将所得尺寸归一化的图像输入到CNN深度卷积神经网络中进行特征提取，在Sigmoid激励函数的计算下，得到病害特征提取结果。后期利用反向传播算法调整权值。

步骤三：将图像特征与数据特征库进行对比，获得葡萄病虫害的类型。

具体操作如下：

步骤31：构建病虫害识别SVM(Support Vector Machines)模型。具体操作如下：

步骤311：分别获取的农作物叶部、茎部和根部病变区域的学***面。

其中，x_j是第i个样本的输入参数向量，y_k是第i个样本的输出结果

其中，x_j由病变区域面积S、周长P、圆形度O、矩行度R、形状复杂度E参数构成。

步骤312：在超平面确定的情况下，找出所有支持向量，然后计算出间隔margin，具体目标函数和约束条件为：

s.t y_i(w^tx_i+b)-1≥0；

其中，w为超平面的范数，即

x_i为向量的第i个分量。

步骤313：取待检测试样，代入上述支持向量机SVM模型的最优超平面获得y_k的值，当y_k＝1表示是该种病虫害，y_k＝-1表示非该种病虫害。

步骤314：采用引入松弛变量、分类误差惩罚因子的支持向量机SVM学习葡萄叶部病虫害图像，以通过检测设备大量容易的、大批量的获取植物病虫害结果。具体新目标函数和约束条件为：

s.t y_i(w^Tx_i+b)≥1-ζ_i，i＝1,2...n

ζ_i≥0，i＝1,2...n；

ζ_i为松弛变量，允许一些数据可以处于分隔面错误的一侧，提高分类器的容错性。

步骤32：将步骤二提取到的特征送入每一类的SVM分类器，由SVM分类器对其打分；具体操作为：

步骤321：构建最终的分类器产生分数，具体公式：

f(x)＝sign(w^*·x+b^*)；

步骤33：针对每一类，通过其计算loU(Intersection over Union，候选框(candidate bound)与原标记框(ground truth bound)的交叠率)识别精度指标，采用非极大性(抑制不是极大值的元素，可以理解为局部最大搜索。这个局部代表的是一个邻域，邻域有两个参数可变，一是邻域的维数，二是邻域的大小。)抑制，以最高分的区域为基础，剔除重叠区域的位置。

具体操作如下：

步骤331：获取物体的ground truth bounding box、预测的bounding box；

步骤332：如果重叠比例大于0.5，则认为此候选框为此标定的类别；否则认为此候选框为背景；

步骤333：将所得重复结果进行剔除。

步骤34：使用变形后的推荐区域对CNN参数进行SGD(Stochastic GradientDescent，随机梯度下降算法)训练，每轮SGD训练统一使用32个正例窗口和96个背景窗口。具体操作如下：

步骤341：每次选取32个正例窗口和96个背景窗口从训练集选取数据训练；

步骤342：图像归一化为224×224直接送入网络；

步骤343：所得结果生成1K～2K个候选区域。

步骤35：使用线性脊回归器精细修正候选框的位置。具体操作如下：

步骤351：正则项λ＝10000，输入为深度网络pool5层的4096维特征，输出为x、y方向的缩放和平移；

步骤352：训练样本判定为本类的候选框中，和真值重叠面积大于0.6的候选框；

步骤352：在特征图上框出候选区域作为输入，通过ROI pooling统一为NXM大小；

步骤353：位置精修，针对每一类目标，使用深度网络回归。

步骤36：针对每个类别训练一个SVM的二值化分类器，此处将loU的阈值设置为0.3。具体操作如下：

步骤361：针对每个类别训练一个SVM的二值化分类器，结果只需2种Positive和Negative。

步骤362：R-CNN采用IoU的阈值，这个threshold取0.3。

IoU的threshold来自{0，0.1，0.2，0.3，0.4，0.5}的数值组合

步骤363：如果一个区域与Ground truth的IoU值低于设定的阈值，则看成是Negetive，反之Positive。

步骤364：特征抽取成功，R-CNN用SVM去识别每个区域的类别。

步骤37：用N＝20个回归器对上述所得类别进行回归操作，最终得到每个类别的修正后的得分最高的bounding box。具体操作如下：

步骤371：用N＝20个回归器对上述所得类别进行回归操作。特征6*6*256维和bounding box的ground truth来训练回归，每种类型的回归器单独训练。

步骤372：只对那些跟ground truth的IoU超过某个阈值且IoU最大的proposal回归，其余的region proposal不参与。

步骤373：得到预测结果尽可能接近ground truth。

步骤374：最终得到每个类别的修正后的得分最高的bounding box。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，所属领域的普通技术人员参照上述实施例依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (10)

1.一种基于深度学习的葡萄病虫害识别方法，其特征在于，包括以下步骤：

对获取的葡萄株图像进行处理得到图像特征信息；

对图像特征信息进行分析提取病虫害特征信息；

将提取的病虫害信息与预设数据特征库进行对比，获取葡萄病虫害类型。

2.根据权利要求1所述的方法，其特征在于，所述对获取的葡萄株图像进行处理得到图像特征信息，具体包括：

对葡萄植株图像进行分割为叶片、果实、叶柄、新梢、卷须和藤条部位的子图像；

对子图像进行灰度处理并进行二值化处理得到第一处理图像；

对第一处理图像进行二次分割得到第二处理图像并得到第二处理图像的图像特征信息。

3.根据权利要求1所述的方法，其特征在于，对图像特征信息进行分析提取病虫害特征信息；具体包括：

对第二处理图像进行处理得到病斑区图像；

对病斑区图像进行形态学图像处理得到最终病斑区图像。

4.根据权利要求3所述的方法，其特征在于，所述对第二处理图像进行处理得到病斑区图像；具体为：根据图像特征信息采用选择搜索方法对第二处理图像处理生成多个子候选区域，对子候选区域进行相似性合并形成候选区域；

对候选区域进行颜色空间变换得到颜色空间候选区域；

利用图像叠加算法得到病斑区图像；

对病斑区图像进行归一化处理，并通过卷积神经网络中进行特征提取得到病虫害特征信息。

5.根据权利要求4所述的方法，其特征在于，所述对候选区域进行颜色空间变换得到颜色空间候选区域；具体为：采用RGB、HSI、Lab三个颜色空间同时进行变换，将三个颜色空间变换后的结果全部作为病斑区图像的候选区域。

6.根据权利要求3所述的方法，其特征在于，所述对病斑区图像进行形态学图像处理得到最终病斑区图像，具体包括：通过开运算来清楚昆虫留在植株上的粪便、沙土，通过闭运算填补虫害内部的孔洞。

7.根据权利要求1所述的方法，其特征在于，所述将提取的病虫害信息与预设数据特征库进行对比，获取葡萄病虫害类型，具体为：

构建病虫害识别支持向量机模型；

对每个类别训练一个支持向量机的二值化分类器进行修正；

用回归器对上述所得类别进行回归操作，最终得到每个类别的修正后的得分最高的边框盒。

8.根据权利要求7所述的方法，其特征在于，所述对每个类别训练一个支持向量机的二值化分类器进行修正；具体包括：

将提取的病虫害特征信息送入支持向量机分类器，通过支持向量机分类器对其打分计算；

计算loU指标，剔除重叠区域位置得到变形后的推荐区域；

使用变形后的推荐区域对CNN参数进行SGD训练得到候选框位置；

使用线性脊回归器精细修正候选框位置。

9.根据权利要求8所述的方法，其特征在于，计算loU指标，剔除重叠区域位置得到变形后的推荐区域，具体为：

计算loU指标，采用非极大性抑制方法，以最高分的区域为基础，剔除重叠区域位置得到变形后的推荐区域。

10.根据权利要求1-9中任一所述的方法提出一种基于深度学习的葡萄病虫害识别装置，其特征在于，包括：

图像特征处理模块，用于对获取的葡萄株图像进行处理得到图像特征信息；

病虫害分析模块，用于对图像特征信息进行分析提取病虫害特征信息；

病虫害类型判断模块，用于将提取的病虫害信息与预设数据特征库进行对比，获取葡萄病虫害类型。

Images