CN109635653A - 一种植物识别方法 - Google Patents

Abstract

本发明公开了一种植物识别方法，该方法包括：预处理，用于将植物图像转换为二值图像；特征提取，用于提取上述图像中的相对特征，构成特征数据矩阵；分类识别，用于构建基于深度学习的神经网络模型，该模型采用五层BP神经网络，4层全连接层，最后一层为归一层；通过训练该模型，用于后续的植物识别。本发明方法采用具有代表性的8个相对特征，使其能适用于大多数植物的识别，相对于现有技术，能更大限度的识别更多的植物种类，提高了识别的准确率。

Description

一种植物识别方法

技术领域

本发明涉及机器视觉研究领域，特别涉及一种植物识别方法。

背景技术

植物聚类识别技术对植物分类识别、植物资源的保护与利用、探索植物间的亲缘关系、阐明植物的进化规律、农业的应用等方面具有现实意义。

目前大部分计算机辅助植物分类方法都是基于叶片形状的特征进行分类。该类方法主要包括两个方面，特征提取和分类算法。

特征提取方法有人工提取特征的方法，有利用植物叶片边缘的曲率等提取特征的方法，还有提取颜色、形状和纹理等特征的方法。这些方法受叶片拍摄角度和距离等影响很大，不便于后续的分类识别。分类算法目前有PCA方法，支持向量机算法等等。但这些方法不适用于多植物分类，只能解决特定的植物叶片分类，在对多种叶片植物的大数据训练时，识别率会下降。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种植物识别方法，该方法采用具有代表性的8个相对特征，使其能适用于大多数植物的识别，相对于现有技术，能更大限度的识别更多的植物种类，提高了识别的准确率。

本发明的目的通过以下的技术方案实现：一种植物识别方法，包括：

预处理，用于将植物图像转换为二值图像，

特征提取，用于提取上述图像中的相对特征，构成特征数据矩阵；

分类识别，用于构建基于深度学习的神经网络模型，该模型采用五层BP神经网络，4层全连接层，最后一层为归一层；通过训练该模型，用于后续的植物识别。

优选的，所述预处理步骤中，采用加权平均法对图像进行灰度化。

优选的，所述预处理步骤中，采用双边滤波器方法对图像进行去噪。

更进一步的，所述预处理步骤中，采用最大类间方差法(OTSU)对图像进行阈值分割。

优选的，所述预处理步骤中，为了去除叶片中孔洞和叶柄，采用下述形态学操作：对处理过的图像进行开运算去除叶柄，进行闭运算去除孔洞。

优选的，所述特征提取步骤中，选取如下的相对特征：周长凹凸比、面积凹凸比、偏心率、形状参数、圆形度、狭长度、矩形度以及周长长宽比。本发明采用具有代表性的8个相对特征，使其能适用于大多数植物的识别，能更大限度的识别更多的植物种类，提高了识别的准确率。

优选的，在将特征数据矩阵输入到基于深度学习的神经网络模型时，先进行归一化处理，归一化的步骤是：

X_C＝tanh((x-E(x))*1.5)/σ(x))

其中，X_C表示归一化处理结果，x表示某一个特征值，E(x)表示x的均值，σ(x)表示x的标准差。

优选的，在神经网络模型构建之初，通过下述调试验证步骤来验证当前神经网络模型中反向传播的编写是否正确，步骤是：

F＝(f(w+Δw)-f(w-Δw))/(2*Δw)

其中，F表示权重的导数，f表示w与目标函数y的关系，w是权重，Δw是表示一个无穷小，可以取接近0的一个数字测试。

判断权重的导数F是否等于反向传播的误差，如果相等，则表示当前反向传播编写正确。

优选的，所述基于深度学习的神经网络模型，其前向运算公式：

O1＝action(A_in*B₁)

Oi＝action(O_i-1*Bi)，i∈[2,5]

其中A_in为输入矩阵，B_i为第i层的神经元矩阵，action()表示激励函数，Oi表示第i层的输出矩阵。注意的是在action()中，前四层均使用tanh函数，最后一层中先进行tanh函数，再使用下方激励函数。

激励函数为：

其中，out_i表示最后一层中进行了tanh函数的第i个输出，e表示自然常数。

目标函数：

对于一条记录来说，其目标函数批量训练时，神经网络的目标函数为每条记录的误差值的均值；

其中out是标签指明的同种叶子类别的归一层函数的输出，该值作为该条记录的误差值；action(out)表示标签指定的out在最后一层中使用的激励函数。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明使用选取的相对特征值进行深度学习，采用结合归一化层的神经网络进行训练，采用改进的五层BP神经网络(最后一层为归一层)，使其拥有自学能力，与传统的深度学习相比，拥有更加强大的自学能力。

2、本发明采用具有代表性的8个相对特征，使其能适用于大多数植物的识别，相对于现有技术的人工提取的特征值，更准确，能更大限度的识别更多的植物种类，提高了识别的准确率。

附图说明

图1是本发明预处理的流程图。

图2是本发明深度学习训练过程的流程图。

图3是本发明深度学习中的数据模型图。

图4是本发明神经网络的模型图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本实施例一种植物识别方法基于深度学习，深度学习能学习到具有多层次抽象的特征。此前，机器学习使用领域专家设计的特征提取方法提取数据特征，这些特征通常是比较低级和简单的特征(如图片的SIFT和SURF特征等)。由于简单特征的表达能力很有限，所以导致后续处理效果不理想。相比而言，深度学习技术通过模拟大脑皮层的多层组织结构，构造复杂的多层人工神经网络模型，通过大规模训练数据的多层次学习，最终得到可以提取数据的不同抽象程度特征的深度模型。因此，深度学习在处理复杂的无约束问题如植物图像识别聚类方面有巨大的优势。

本实施例方法基于OpenCV来实现，OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作***上。它轻量级且高效，是由一系列C/C++编写的函数和类构成，同时也提供了Java、python等语言的接口，它实现了图像处理和计算机视觉方面的很多通用方法。OpenCV中包含如Core-核心组件模块、Imgproc-图形处理模块、Highgui-顶层GUI及视频I/O、Video-视频分析、Calib3d-摄像机标定及3维重建等模块。为了方便***的接口调用，本***使用了OpenCV的Java接口来进行预处理和特征提取。

一、预处理

利用OpenCV3对图像进行预处理的过程如图1所示。由于植物叶片的图像是彩色的，在对图像进行特征提取等操作中需要用到灰度图和二值图。因此，需要先对图像进行灰度化。由于加权平均法是通过大量的时间得到的三元色比例系数，所以该方法得出的结果更加接近于人眼的视觉感知，因此本实施例选择该方法作为灰度转换方法。

获取的植物图像一般都会有噪声的存在。因此，在后续的一系列操作之前需要先对植物叶片图像进行降噪处理。这样能够使图像更加清晰，从而提高整个植物叶片的识别准确率。在本发明中使用的减噪方法是双边滤波器，双边滤波是非线性滤波方法的一种，它可以达到保持边缘、降噪平滑的效果。调用Imgproc.bilateralFilter(in,out,25,25*2,25/2)，获取经过减噪的图像。

由于获取的叶片图像中不仅仅含有叶片，还会有相应的背景。因此，为了方便特征的提取，需要将图像中的叶片和背景区分开来。为了达到此目的，需要使用阈值分割。本实施例中调用Imgproc.threshold(in,out,0,255,Imgproc.THRESH_OTSU)，获取阈值分割之后的图像。

为了去除叶片中孔洞和叶柄对特征提取的影响。本实施例中对图像进行形态学开、闭运算。开运算就是先进行腐蚀操作后进行膨胀操作的过程。先调用Imgproc.morphologyEx(in,out,Imgproc.MORPH_ERODE,element)进行腐蚀操作、再调用Imgproc.morphologyEx(in,out,Imgproc.MORPH_DILATE,element)进行膨胀操作完成一次开运算。闭运算与开运算相反，先进行膨胀操作再进行腐蚀操作。本发明对叶片图像的处理中，先进行开运算去除叶片叶柄，再进行闭运算去除叶片孔洞。

二、特征提取

叶片形状的差异可以用来区分植物种类，但同种植物的叶片大小比例也可能会不一样，因此不能使用植物叶片的绝对特征，而是应该使用植物叶片的相对值特征来对植物叶片进行区分。本实施例选取了如下的相对特征：周长凹凸比、面积凹凸比、偏心率、形状参数、圆形度、狭长度、矩形度以及周长长宽比。而以上这些特征需要用到叶片的周长、面积、内切圆半径、外接圆半径、凸包的面积、凸包的周长等。因此对预处理后的图像进行边缘提取，找出外轮廓的数据，计算外轮廓包含的面积。然后根据上述原始数据，进行上述8个相对特征的计算。

这些特征的详细描述如下：

1、周长凹凸比：叶片的区域周长与凸包周长的比值。记为CP，其中D为叶片周长，D_t为凸包的周长。计算公式如下：

2、面积凹凸比：叶片的面积与凸包面积之间的比值。记为CA，其中S为叶片的面积、S_t为凸包的面积。计算公式如下：

3、偏心率：是叶片区域的紧凑性的一种表示方式。其值为椭圆的两个焦点间的距离和长轴长度的比值。记为ε，其中L为长轴，即叶片中距离最长的连接段，W即为短轴的长度。计算公式如下：

4、形状参数：描述叶片的紧凑成都。计算公式如下：

5、圆形度：对边界复杂程度的衡量。计算公式如下：

6、狭长度：叶片长与宽之比。计算公式如下：

7、矩形度：叶片区域的面积与最小包围盒的面积之比。计算公式如下：

8、周长长宽比：叶片周长和长短轴之和的比值。计算公式如下：

三、构建基于深度学习的神经网络模型

本实施例中神经网络使用一种分类型的bp网络，在输出层进行归一化处理。训练的过程中，使用批量进行数据集训练。可以及时查看训练过程中，神经网络的训练状况，以便及时恢复或者进行更加深度训练。训练使用c++的控制台程序，通过输入对应的选项选择菜单栏进行不同的操作。核心有调整学习速率，保存训练结果，显示中间训练结果。具体的流程查看图2。

从数据库读取到叶子属性参数后，随机将其分离成训练集和测试集。其比例默认为7:3。除了生成训练集和测试集文件，还保留着预处理的参数文件，映射数据库id的文件。

该神经网络使用的-1至1的输入，实际上叶子的属性数据并不在该范围内，

因此需要对属性数据进行归一化，即压缩输入，使用以下归一化公式：

X_C＝tanh((x-E(x))*1.5)/σ(x))

其中，X_C表示归一化处理结果，x表示某一个特征值，E(x)表示x的均值，σ(x)表示x的标准差。该压缩使用tanh函数作映射，该映射分两步，首先将x特征值映射到tanh函数的自变量，再用tanh函数将自变量映射到因变量。进行映射时，需考虑：

1.在因变量映射中，为了使得数据大部分映射在范围[-0.9,0.9]内，需控制自变量的范围。由于tanh函数是单调递增函数，易得自变量的范围为[tanh^-1(-0.9),tanh^-1(0.9)]，化简得[-tanh^-1(0.9),tanh^-1(0.9)]。

2.在自变量映射中，为满足上述需求，需将[-σ(x),σ(x)]映射到[-tanh^-1(0.9),tanh^-1(0.9)](x表示某一个特征值，因此可以使用[-σ(x),σ(x)]来衡量自变量的范围)。这里直接使用线性拉伸映射，即缩放倍，可将[-σ(x),σ(x)]映射为[-tanh^-1(0.9),tanh^-1(0.9)]。为了调整原点位置，将x的均值平移到横坐标原点，即x-E(x)。

综上所述，tanh函数自变量的表达式为其中tanh^-1(0.9)≈1.5。这样大部分的数据落在-0.9至0.9。这样处理的数据可以抗极差干扰。

本实施例中，为了提高训练效率，同时方便神经网络的调试，使用单一的数组存储神经网络的训练数据。训练数据包括：神经网络的权重，偏置值，训练集，标签，反馈导数值。不包括神经网络的设置参数，神经网络的设置参数包括:神经层数，每层神经网络的个数和权重数，激活函数，学习速率。

上述单一的数组可被看成一个空闲的存储空间，可以通过一些标记(通常标记为：开始位置，空间大小)来使用该单一数组。本次的标记不仅仅是如此简单的标记，而是使用以1个矩阵作为单元来标记。因为神经网络的每一层可以看做一个矩阵(总共有n个神经元，每个神经元有m个权重+1个偏置值)，输入数据也是一个矩阵(总共有n条记录，每条记录有m个叶子的属性)。神经网络的前向运算实际上就是矩阵的运算。通过矩阵作为不可分的单元，标记在单一数组中。该数组的存储结构如图3。

神经网络还要存储激活函数，可以每一层的激活函数不同，使用存储每一层的激活函数指针的向量数组来存储。这里的激活函数功能类似于将矩阵in的标志的值当做输入，其输出覆盖原本的值。也就是在矩阵进行乘积运算后，调用激活函数来格式该值。反馈也需要一个临时的单一数组，存储导数的数据。其结构与前面介绍的数组存储结构一致，仅仅起到临时存储反向传播的误差导数。

神经网络最难调试是反向传播的编写是否正确。这里提供一种验证方式来验证，因为反向传播的误差实际上是对权重的导数，只要判断这个导数是否正确即可。使用公式：

F＝(f(w+Δw)-f(w-Δw))/(2*Δw)

来计算该导数。如果两者的结果一致，认为该反向传播编写正确。在单一数组可以追踪反向传播的每一个细节值，即中间过程的每个值，对于用户来说都是透明的。

本实施例BP模型，如图4所示，结构是：

输入层神经元数量:8

隐含层神经元数量:100

输出层神经元数量:32

总共4个隐含层。

训练：学习速率是本算法最不确定的部分，需要人工控制不断尝试不同的学习速率，可以一开始采用较大的学习速率，目的是尽快到达最优解附近。看到误差趋势波动很大，再随之降低学习速率，本实施例在训练时，最低到达0.01。可以确保训练集达到100％(一个记录数据的识别程度>0.5视为训练成功)

工作：仅仅需要改变输入矩阵的值和对应的矩阵参数(xNum)，进行前向，便可以运算结果，再计算每个种类的误差，判断其属于哪种叶子类型。

前向运算公式：

O1＝action(A_in*B₁)

Oi＝action(O_i-1*Bi)，i∈[2,5]

其中A_in为输入矩阵，B_i为第i层的神经元矩阵，action()表示激励函数，Oi表示第i层的输出矩阵。注意的是在action()中，前四层均使用tanh函数，最后一层中先进行tanh函数，再使用下方激励函数。

本实施例使用的激励函数为：

其中，out_i表示最后一层中进行了tanh函数的第i个输出，e表示自然常数。

目标函数：

对于一条记录来说，其目标函数批量训练时，神经网络的目标函数为每条记录的误差值的均值；

其中e表示自然常数，action(out)表示标签指定的out在最后一层中使用的激励函数,out是标签指明的同种叶子类别的归一层函数的输出，该值做为该条记录的误差值。即越接近1时，误差越小。批量训练时，神经网络的目标函数为每条记录的误差函数的均值。另外，也可以作为识别率函数。当其>＝0.5，足够进行该类别与其他类别的区分。其他类别的识别率必然<0.5。工作时，可以根据识别率识别它是哪种植物类别。当识别率越大，越有可能是该种植物类型。

四、实际使用基于深度学习的神经网络模型进行识别

步骤是：传入待识别植物图像数据进行数据预处理，然后对预处理后的图像提取周长凹凸比、面积凹凸比、偏心率、形状参数、圆形度、狭长度、矩形度以及周长长宽比等具有代表性的8个相对特征，将特征数据复制到单一数组的矩阵中。将矩阵数据输入到已经训练好的基于深度学习的神经网络模型中执行前向运算。获得每个种类的识别率，返回最大识别率的种类。该种类即为当前待识别植物的种类。

可通过各种手段实施本发明描述的技术。举例来说，这些技术可实施在硬件、固件、软件或其组合中。对于硬件实施方案，处理模块可实施在一个或一个以上专用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑装置(PLD)、现场可编辑逻辑门阵列(FPGA)、处理器、控制器、微控制器、电子装置、其他经设计以执行本发明所描述的功能的电子单元或其组合内。

对于固件和/或软件实施方案，可用执行本文描述的功能的模块(例如，过程、步骤、流程等)来实施所述技术。固件和/或软件代码可存储在存储器中并由处理器执行。存储器可实施在处理器内或处理器外部。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种植物识别方法，其特征在于，包括：

预处理，用于将植物图像转换为二值图像，

特征提取，用于提取上述图像中的相对特征，构成特征数据矩阵；

分类识别，用于构建基于深度学习的神经网络模型，该模型采用五层BP神经网络，4层全连接层，最后一层为归一层；通过训练该模型，用于后续的植物识别。

2.根据权利要求1所述的植物识别方法，其特征在于，所述预处理步骤中，采用加权平均法对图像进行灰度化。

3.根据权利要求1或2所述的植物识别方法，其特征在于，所述预处理步骤中，采用双边滤波器方法对图像进行去噪。

4.根据权利要求3所述的植物识别方法，其特征在于，所述预处理步骤中，采用最大类间方差法对图像进行阈值分割。

5.根据权利要求4所述的植物识别方法，其特征在于，所述预处理步骤中，采用下述形态学操作：对处理过的阈值分割后的图像进行开运算去除叶柄，进行闭运算去除孔洞。

6.根据权利要求1所述的植物识别方法，其特征在于，所述特征提取步骤中，选取如下的相对特征：周长凹凸比、面积凹凸比、偏心率、形状参数、圆形度、狭长度、矩形度以及周长长宽比。

7.根据权利要求1所述的植物识别方法，其特征在于，在将特征数据矩阵输入到基于深度学习的神经网络模型时，先进行归一化处理，归一化的步骤是：

X_C＝tanh((x-E(x))*1.5)/σ(x))

其中，X_C表示归一化处理结果，x表示某一个特征值，E(x)表示x的均值，σ(x)表示x的标准差。

8.根据权利要求1所述的植物识别方法，其特征在于，在神经网络模型构建之初，通过下述调试验证步骤来验证当前神经网络模型中反向传播的编写是否正确，步骤是：

F＝(f(w+Δw)-f(w-Δw))/(2*Δw)

其中，F表示权重的导数，f表示w与目标函数y的关系，w是权重，Δw是表示一个无穷小的数；

判断权重的导数F是否等于反向传播的误差，如果相等，则表示当前反向传播编写正确。

9.根据权利要求1所述的植物识别方法，其特征在于，所述基于深度学习的神经网络模型，其前向运算公式：

O1＝action(A_in*B₁)

Oi＝action(O_i-1*Bi)，i∈[2,5]

其中A_in为输入矩阵，B_i为第i层的神经元矩阵，action()表示激励函数，Oi表示第i层的输出矩阵，在action()中，前四层均使用tanh函数，最后一层中先进行tanh函数，再使用下方激励函数：

其中，out_i表示最后一层中进行了tanh函数的第i个输出，e表示自然常数；

目标函数：

对于一条记录来说，其目标函数批量训练时，神经网络的目标函数为每条记录的误差值的均值；

其中out是标签指明的同种叶子类别的归一层函数的输出，该值作为该条记录的误差值；action(out)表示标签指定的out在最后一层中使用的激励函数。