CN107665355B - 一种基于区域卷积神经网络的农业害虫检测方法 - Google Patents

Abstract

本发明请求保护一种基于区域卷积神经网络的农业害虫检测方法，涉及数字图像处理、深度学习、计算机视觉等技术领域。具体步骤为：1)搜集并整理各类的农业害虫样本作为训练集；2)对训练集进行标记样本标签操作；3)利用区域卷积神经网络架构对搜集到的所有农业害虫训练集样本进行模型训练；4)采集农田中的监控图像，并用得到的模型对监控图像进行测试，得到最终效果。本方法利用区域卷积神经网络训练得到的模型对农业害虫进行检测，辅助各类害虫的防治工作，进而降低害虫给农、林、牧业带来的影响，提升农业粮食产量、保护林、牧业绿化安全，具有实际意义，并且取得较好效果。

Description

一种基于区域卷积神经网络的农业害虫检测方法

技术领域

本发明涉及基于区域卷积神经网络的农业害虫检测方法，属于数字图像处理、深度学习、机器视觉等技术领域。

背景技术

图像是人类社会中常用的信息载体。研究表明，人类获取的视觉图像信息在人类接受的信息中比重近80％。由此可见，视觉信息对于人类的重要性，而图像正是人类获取视觉信息的主要途径。从20世纪60年代起，随着计算机技术的不断提高和普及，数字图像处理在国内外迅速发展，广泛用于科学研究，工农业生产、生物医学工程、航空航天、军事、工业、机器人产业等领域，在人类的生活中发挥着越来越重要的作用。

深度学习是近十年来人工智能领域取得的重要突破。它在语音识别、自然语言处理、计算机视觉、图像与视频分析、多媒体等诸多领域的应用取得了巨大成功。现有的深度学习模型属于神经网络。神经网络的起源可追朔到20世纪40年代，曾经在八九十年代流行。神经网络试图通过模拟大脑认知的机理解决各种机器学习的问题。

农业害虫作为昆虫的一种，其生存依赖于各种植物和农作物，对农、林、牧业都造成不同程度的危害。以蝗虫为例，全世界有害蝗种共计900种以上，在我国占60余种，发生蝗灾时严重影响牧草和农作物并直接影响农牧业的发展。自1985以来，非洲许多国家和地区发生了多种蝗虫同时猖獗发生并造成了极为严重损失。在美国西部17个州，每年因草原蝗虫所造成的草场损失约800万美元。由此可见，害虫对于农、林、牧业的危害都是影响深远且严重的。

发明内容

本发明提出的一种基于区域卷积神经网络的农业害虫检测方法就是基于数字图像处理以及神经网络而产生的一种可适用于农业害虫检测的有效方法。该方法解决农业害虫的有效检测问题，节约经济成本、时间成本，并且能准确快速预测农业害虫。

为了实现上述目的本发明采用的技术方案是：一种基于区域卷积神经网络的农业害虫检测方法，包括以下步骤：

(1)搜集并整理各类的农业害虫图像样本作为训练图像集；

(2)对训练图像集利用ImageLabel图像标注工具进行标记样本标签操作，用以对卷积神经网络进行模型训练；

(3)利用步骤(2)处理后的训练图像集对区域卷积神经网络进行模型训练；

(4)采集农田中的监控图像，利用步骤(3)训练后的区域卷积神经网络进行图像测试，输出最终结果。

区域卷积神经网络训练模型的具体训练过程为：

1)首先将搜索得到的农业害虫的训练图像集送入到由一系列卷积、池化及全连接操作组成的原始特征提取网络中，得到固定维度的原始特征图；

2)并在得到的原始特征图上再次进行卷积和非线性操作，卷积操作定义为：

y_i＝w_i*x+b_i (1)

其中w_i表示卷积核(也即是权重)，x表示输入数据，b_i表示为达到更好结果而加入的偏置量，y_i表示与输入相对应的输出。

非线性操作指在输出y_i上添加激活函数的相关操作，具体公式为:

f(y_i)＝max(y_i,0) (2)

y_i为卷积操作的结果，当y_i<0时，f(y_i)＝0，当y_i>0时，f(y_i)＝y_i，非线性操作的目的在于让结果非线性化，以解决实际中一些非线性问题，同时也更易收敛。

最终得到和步骤1)大小相同的一系列特征图。

3)建议训练网络在步骤2)得到的特征图上的每一个位置考虑9个可能的候选框，并将每个候选框映射到原图中去，接着用概率预测层输出每个候选框属于前景和背景的概率；最后用窗口回归层输出每一个位置上9个可能候选框应该平移缩放的参数同时输出平移缩放后候选框对应的坐标。这样就得到了所有的物体候选框以及它们的得分。概率预测层采用一个二分类softmax回归，具体公式如下：

其中z表示输入，

项对概率分布进行归一化，使得所有概率值和为1，P(t＝1|z)表示属于类别1的概率。e为自然底数，d是sigma求和函数的底数。

窗口回归层计算公式具体如下：

t_x＝(x-x_a)/w_a，t_y＝(y-y_a)/h_a，t_w＝log(w/w_a)，t_h＝log(h/h_a)，

其中x，y分别表示候选框中心的横、纵坐标，w，h分别表示候选框宽度及高度，x_a表示在步骤2)得到的特征图上每个位置考虑9个候选框中心的横坐标，x表示窗口回归层输出的候选框中心的横坐标，x^*表示真实候选框中心的横坐标。y_a，y，y^*，w_a，w，w^*，h_a，h，h^*都分别表示与上述x_a，x，x^*相对应候选框的中心纵坐标、宽度、高度。t_x，t_y，t_w，t_h表示将窗口回归层输出的候选框的中心坐标、宽度及高度进行向量化后的结果，

表示意义同上。

4)在步骤3)的基础上，得到了原图中的物体候选框之后，便利用上述候选框对区域卷积神经网络进行训练，根据得到的输出与真实输出作比较，算出误差m，接着采用反向传播算法，先利用公式：

其中

表示输出层第i个神经元的输入,k为神经元的个数，

表示目标j预测值与真实值之间的误差，m_i表示目标i预测值与真实值之间的误差，θ指代激活函数，L表示损失函数，算出

再根据公式：

其中w_ij表示权重，

表示中间层第i个节点的输入，根据

算出权重梯度

最后通过权重梯度算出一个新的权重，从而更新各个隐层的参数，最终得到此区域卷积神经网络的检测模型。

本发明利用数字图像处理、深度学习、机器视觉等领域技术，实现了实时的害虫检测。本发明是一个端到端的***方法，输入一副害虫图像即可得到害虫类别和位置，无需其他操作。本发明具有以下优点：

(1)利用matlab和visual studio平台进行开发和测试，低廉的经济成本；

(2)端到端的网络结构，操作更简便，输入一副害虫图片即可得到相应类别得分和具***置；

(3)侦测时间极短，输入一副图像即可得到类别和位置；

(4)较高的准确率，测试正确比率在81％左右；

(5)辅助各类害虫的防治工作，进而降低害虫给农、林、牧业带来的影响，提升农业粮食产量、保护林、牧业绿化安全，具有实际意义，并且取得较好效果。

附图说明

图1是本发明的***流程图；

图2是区域卷积神经网络训练模型的流程图；

图3是一副蚜虫图像；

图4是图3经过区域卷积神经网络训练得到的模型检测并判断后的结果图像；

图5是一副蝗虫图像经过区域卷积神经网络训练得到的模型检测并判断后的结果图像；

图6是一副金龟子图像经过区域卷积神经网络训练得到的模型检测并判断后的结果图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

下面结合附图对本发明的技术方案进行详细说明：

***流程图如图1所示，一种基于区域卷积神经网络的农业害虫检测方法，包括以下步骤：

第一步：搜集并整理各类的农业害虫样本作为训练集；

第二步：对训练集进行标记样本标签操作，用以对区域卷积神经网络进行模型训练；

第三步：利用区域卷积神经网络架构对搜集到的所有农业害虫训练集样本进行模型训练；

第四步：采集农田中的监控图像，并用得到的模型对监控图像进行测试，得到最终效果，其准确率可达到81％左右。

为了验证本发明的效果，进行了如下实验：

在一台计算机上进行验证实验，该计算机的配置，i7-4790处理器四核，16GB内存，显卡nvidia Quadro K2200(4GB)，平台为matlab2014b，visual studio2013。

实验方法：

在本实验过程中，搜集并整理了各类农业害虫图像，并将搜集到的所有害虫图像作为训练集，用来训练区域卷积神经网络的模型。

第一步：利用visual studio2013软件对所有的训练集图片进行标记训练标签操作，在每张图片中框出害虫的具***置并为其标记类别，以便后期区域卷积神经网络在训练模型时能正确的迭代更新各个隐层和输出层的参数，完善网络。

第二步：运行在matlab2014b软件上，将所有训练集图片和相应的标签输送到区域卷积神经网络中去，用来训练并迭代更新各层的参数，在训练了近20个小时之后，完成训练得到最终的模型。

第三步：根据得到的模型来进行测试，首先输入一副蚜虫图像，如图3所示，此时的图像上是没有任何标记的，也不知道图中的物体是什么类型，但是在经过训练得到的模型的检测之后，如图4所示，会将检测到图中所有物体的位置框选出来并且在左上角标识其类别和概率。

第四步：根据得到的模型来进行测试，输入蝗虫图像，如图5所示后，结果却得到了两个类别，分别是叶蝉和蝗虫，这说明了模型在处理某些图片的时候会存在一定误差。

第五步：根据得到的模型来进行测试，输入金龟子的图像，如图6所示，结果却得到了蝽的类别，这说明了模型在处理某些图片的时候会存在一定误差。

总结：通过训练集训练得到的模型，对于某些图片中的害虫识别率不高，例如：图片本身分辨率不高、图片中害虫的体积太小、图片中害虫身体被遮挡的部分过多等因素都会造成模型不能识别，甚至出错(将某类害虫识别成另外一类)，但是总体来说精度较高，检测准确率能够达到81％左右。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (1)

1.一种基于区域卷积神经网络的农业害虫检测方法，其特征在于包括：

(1)搜集并整理各类的农业害虫图像样本作为训练图像集；

(2)对训练图像集利用ImageLabel图像标注工具进行标记样本标签操作；

(3)利用步骤(2)处理后的训练图像集对区域卷积神经网络进行模型训练；

(4)采集农田中的监控图像，利用步骤(3)训练后的区域卷积神经网络进行图像测试，输出最终结果；

所述区域卷积神经网络进行模型训练的步骤包括：

1)将搜索得到的农业害虫的训练图像集送入到原始特征提取网络中，得到固定维度的原始特征图；

2)在得到的原始特征图上再次进行卷积和非线性操作，卷积操作定义为：

y_i＝w_i*x+b_i (1)

其中w_i表示卷积核，x表示输入数据，b_i表示为达到更好结果而加入的偏置量，y_i表示与输入相对应的输出；

非线性操作指在输出y_i上添加激活函数的相关操作，具体公式为：

f(y_i)＝max(y_i,0) (2)

y_i为卷积操作的结果，当y_i<0时，f(y_i)＝0，当y_i>0时，f(y_i)＝y_i，得到和步骤1)大小相同的一系列特征图；

3)在步骤2)得到的特征图上选取候选框，并将每个候选框映射到原图中去，接着用概率预测层输出每个候选框属于背景和前景的概率；最后用窗口回归层输出每一个候选框应该平移缩放的参数同时输出平移缩放后候选框的对应坐标；概率预测层采用一个二分类softmax回归，具体公式如下：

其中，

项对概率分布进行归一化，使得所有概率值和为1，P(t＝1|z)表示属于类别1的概率，e为自然底数，d是sigma求和函数的底数；

窗口回归层计算公式具体如下：

t_x＝(x-x_a)/w_a，t_y＝(y-y_a)/h_a，t_w＝log(w/w_a)，t_h＝log(h/h_a)，

其中x，y分别表示候选框中心的横、纵坐标，w，h分别表示候选框宽度及高度；x_a表示在步骤2)得到的特征图上每个位置考虑9个候选框中心的横坐标，x^*表示真实候选框中心的横坐标，y_a，y，y^*，w_a，w，w^*，h_a，h，h^*都分别表示与上述x_a，x，x^*相对应候选框的中心纵坐标、宽度、高度，t_x，t_y，t_w，t_h分别表示将窗口回归层输出的候选框的中心坐标、宽度及高度进行向量化后的结果，

分别表示将窗口回归层输出的真实候选框的中心坐标、宽度及高度进行向量化后的结果；

4)在步骤3)的基础上，利用上述候选框对区域卷积神经网络进行训练，根据得到的输出与真实输出作比较，算出误差m，接着采用反向传播算法，先利用公式：

其中

表示输出层第i个神经元的输入,k为神经元的个数，

表示目标j预测值与真实值之间的误差，m_i表示目标i预测值与真实值之间的误差，θ′指代激活函数，L表示损失函数，算出

再根据公式：

其中w_ij表示权重，

表示中间层第i个节点的输入，

表示输出层第j个神经元的输入，根据

算出权重梯度

最后通过权重梯度算出一个新的权重，从而更新各个隐层的参数，最终得到此区域卷积神经网络的检测模型。

Images