CN103729621B - 基于叶片骨架模型的植物叶片图像自动识别方法 - Google Patents

Abstract

本发明公开了基于叶片骨架模型的植物叶片图像自动识别方法，包含以下顺序的步骤：获取植物叶片图像中叶片骨架的候选点；对叶片骨架候选点图像进行增强；消除植物叶片图像中的噪声；通过颜色分割和光滑度分割，来消除植物叶片图像中叶片根底部以下的叶茎部分；获得每个叶片根底部以及主方向，从而识别叶片的位置和分布方向。本发明的方法，处理效率高、精确度高，且应用范围广。

Description

基于叶片骨架模型的植物叶片图像自动识别方法

技术领域

本发明涉及图像处理研究领域，特别涉及基于叶片骨架模型的植物叶片图像自动识别方法。

背景技术

图像分割是将图像细分为构成其子区域的对象。在应用中，当感兴趣的对象已经被分割出来时，就停止分割。图像分割是图像分析的基础，也是计算机视觉中最具挑战性的问题之一，制约着图像处理与机器视觉科学的发展与应用。自然环境下植物叶片图像通常具有背景与植物颜色相似(如背景含有杂草等)、叶片容易重叠、叶片较多、叶片之间边界变化不明显等特征。由于这些特征，分割植物图像中的叶片是非常复杂的工作。

近年来，针对植物叶片分割与识别的研究有了一定的进展。大多的研究主要是基于颜色和形状两类。

其一，基于颜色：

基于颜色的分割方法只能将叶子颜色与背景颜色差异较大的图像分割开来。Kristian Kirka等采用计算像素中绿色带和红色带的方法区分叶子与土壤。李正明等基于R、G、B分量线性变换的3个正交彩色特征量对图像进行分割。朱伟兴等用在颜色空间Y IQ中，选取I作为特征量并用改进的最大类间方差法分离植物与背景。这类分割方法有较大的局限性，只能将作物与背景颜色差异较大的图像分割为作物部分和背景部分，不能将图像中的各叶片分割出来。

其二，基于形状：

由于植物及其背景(如背景中含有杂草)颜色相近(大多为绿色)、纹理相似，所以采用基于形状的分割相对富有效率。Wang,Z.等提出采用两个阶段获得叶子的形状。第一个阶段是获取叶片的起点：他们在骨架延长线一定的角度内寻找叶片模型起点，选择这个角度内的边界上离骨架终点最远的点作为叶片模型的起点；第二阶段是描述叶片类型：首先获得叶片中心点，对于边界上的每一个角点都计算到中心点的距离，获得一个到中心点距离的序列。然而他们的主要目的是对叶片进行分类，分割算法较简单，仅将彩色图像转换为灰度图，运用直方图分割叶片，并且要求叶片放置在简单背景中。Carlos Caballero和M.Carmen Aranda用基于轮廓线边界上点的曲率描述叶片形态。在边界点曲率直方图中，选择曲率的极值点(局部最大或最小)为特征点。用特征点之间最短距离与边界总长度的比率来描述尺度不变性。他们的主要目的也是用于识别植物类型，同样需要将叶片放置简单的背景中，且没有给出分割算法。GuillaumeCerutti等提出了用四个整数参数(顶部张角、底部张角、相对最大宽度、最大宽度处对应的中心位置)和10个点(底部三个点、顶部三个点，两侧每边两个点)描述叶子多边形模型。对图中的叶子先用模型初始化一个小区域，然后通过调整14个参数获得叶子边界。但同样是基于可控环境，要求镜头正对叶片，叶子与横坐标垂直，且要求叶子位于图像中心位置，这在自然条件下难以成立。

近两年，有些学者还采用三维技术分割叶片。Long Quan等用环绕植物的一系列图像重构植物的三维状态信息，并用三维信息与彩色信息将叶子分割开来，但他们需要密集的图像将植物覆盖(一般要求30-50幅)，且需要手工交互进行，难以在实际中大规模应用。Chin-Hung Teng等采用光流场方法计算叶片的三维信息，并用三维信息分割叶片，但他们处理的叶片仍较为简单，方法得到的结果也容易存在错误，且仍需要手工干预进行。

目前基于自然环境下复杂叶片图像自动识别的研究几乎是空白，这主要是由于自然环境下叶片的结构复杂、分布凌乱、叶片边界没有明显界线等原因造成的。目前一些重要的成就大多在基于叶片识别植物种类的研究成果中。这些研究的主要是通过对植物叶片形状特征的研究获得植物类型，研究的方法都是基于人工互动进行的，无法达到实时自动识别的目的。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供基于叶片骨架模型的植物叶片图像自动识别方法。

本发明的目的通过以下的技术方案实现：

基于叶片骨架模型的植物叶片图像自动识别方法，包含以下顺序的步骤：

1)获取植物叶片图像中叶片骨架的候选点：

a、获得叶片每一个像素的切方向，并假设该叶片主茎宽度所占像素数为d；

b、对每一个像素点P，求其两边与切方向平行的两条短线，然后对短线上点的像素亮度与像素点P的中心点比较，若亮度比中心点小的点在65％以上，则认为其是叶片骨架的候选点；

2)对叶片骨架候选点图像进行增强；

3)消除植物叶片图像中的噪声；

4)消除植物叶片图像中叶片根底部以下的叶茎部分：

a、通过颜色进行分割：将原始图像中绿色分量大于红色分量和蓝色分量的像素保留，去除非绿色背景的干扰；

b、通过光滑度进行分割：计算每一个像素的光滑度，当该像素的光滑度大于阈值时，则认为该像素比较粗糙，不属于叶片，将该像素剔除；

c、获得去除根部图像：将步骤3)中所得的候选点，用经过光滑度分割的图像A进行检验，如果候选点是图像A中保留的像素，则该候选点保留，否则删除；

5)获得每个叶片根底部以及主方向，从而识别叶片的位置和分布方向：

a、对步骤4)所得的结果图进行细化，计算细化后所有候选点的相对转动惯量，取相对转动惯量最大的点作为叶片根底部；

b、以叶片根底部为中心，在0～360度的每一个角度α画一个矩形，矩形两长边的方向为α，并称此矩形的主方向为α；

c、统计每个矩形内的候选点数量，选取包含候选点最多的矩形，此矩形的主方向α为叶片的主方向，叶片主方向是指叶片从根底部指向顶部的方向。

步骤1)中，所述的步骤a具体包括以下步骤：

S1、对每一个像素点在0～360度的每一个角度β画一条以该像素点为中心的短线，短线的长度为(3～6)×d；

S2、针对每条短线，计算该条短线其它点与中心点的亮度差距，并将这些差距加起来，选取差距最小的短线方向作为这个像素点的切方向。

所述的步骤2)，具体包含以下步骤：

S1、对每个骨架的候选点Q，画一条以该像素点为中心的短线，短线的方向为Q的切方向，短线的长度为(2～3)×d，检测短线上是否有其它候选点，并且其切方向与Q的切方向相近；

S2、如果有，则把检测到的其它候选点与候选点Q连线的中间点也设为候选点，将候选点Q的切方向作为中间点的切方向。

步骤2)的步骤S1中，所述的切方向相近的判断标准为两个候选点的角度差是否在5度以内，如果是，则认为二者的切方向相近。

所述的步骤3)，具体包含以下步骤：

S1、对每个候选点，在0～360度的每一个角度γ取N个点，N＝(4～7)×d，并判断N个点中候选点的个数；

S2、如果该候选点其中一个角度的N个点中候选点的比例大于65％，则保留该候选点；

S3、如果该候选点0～360度的每一个角度中的候选点的比例均小于65％，则认为该候选点是噪声点，将其删掉。

步骤4)的步骤b中，所述的光滑度的计算公式为

$P_{smooth}=\frac{1}{M}\underset{i,j\∈D}{\Σ}|\mathrm{\Ψ}(i,j)-\mathrm{\Ψ}(u,v)|$

其中，ψ(u,v)为候选点P(u,v)的亮度，D为以P为中心，以(6～10)×d+1为边长的一个正方形区域；ψ(i,j)是D中除P点外其它点的亮度值；M是D中像素的个数。

步骤5)的步骤a中，所述的候选点相对转动惯量的求解具体如下：

S1、假设候选点p的坐标为(u,v)，另一个候选点q坐标为(i,j)，两个候选点之间的连线与候选点q的切向量之间的夹角表示为Angle(p,q)，夹角取锐角；

S2、候选点q相对于候选点p的相对转动惯量分两种情况：

如果候选点q和候选点p之间的连线与候选点p的切方向的夹角大于或等于阈值K，则候选点q相对于候选点p的相对转动惯量为：

MoPtoP(p,q)＝90-Angle(p,q)；

如果候选点q和候选点p之间的连线与候选点p的切方向的夹角小于阈值K，则候选点q相对于候选点p的相对转动惯量为：

MoPtoP(p,q)＝Dis(p,q)×[90-Angle(p,q)]；

其中Dis(p,q)为候选点q和候选点p之间距离；

则候选点p的相对转动惯量为所有其它候选点对候选点p的相对转动惯量之和：

RM_P＝∑MoPtoP(p，q)。

步骤1)的步骤b中，所述的与切方向平行的两条短线的距离为(3～5)×d，每条短线的长度为(4～10)×d。

步骤5)的步骤b中，所述的矩形长为(16～30)×d，宽为(7～12)×d。

本发明与现有技术相比，具有如下优点和有益效果：

1、处理效率高、精确度高：植物叶片图像蕴含着丰富的植物状态信息，对植物的状态识别起到至关重要的作用。随着图像采集技术、嵌入式技术、移动技术和无线传输技术的发展，人们可以随时随地地采集大量的植物叶片图像，但是目前对着这些图像植物叶片的分析仍然主要采用人工处理分析：人工处理效率低下、时效性差，无法满足实时分析的要求。而本发明的方法在复杂的自然的环境下拍摄的植物图像自动地识别出叶片的骨架，在此基础上识别出叶片的底部以及叶片的从底部到顶部的主茎方向，从而图像中自动识别出叶片区域，为植物的状态分析提供前提准备，有效缩短了处理时间，提高了处理效率，同时能有效避免人工处理时所出现的误差，精确度较高。

2、应用范围广：本发明可广泛应用于植物学、农业科学等领域。在植物学领域，可以对植物的叶片快速识别，从而进一步获得植物叶片的几何特征、判别植物的种类、植物生长过程中叶片的变化规律以及叶片的分布等。在农业科学领域，可以自动识别出作物叶片的大小、分布，对识别的叶片部分进一步分析，可以自动识别作物的状态，如缺水、缺养分以及病虫害信息，及时地为农户和管理部门提供预警，从而减少农业损失。

附图说明

图1为本发明所述的基于叶片骨架模型的植物叶片图像自动识别方法的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1，基于叶片骨架模型的植物叶片图像自动识别方法，包含以下顺序的步骤：

1)获取植物叶片图像中叶片骨架的候选点：

a、获得叶片每一个像素的切方向，并假设该叶片主茎宽度所占像素数为d，具体包括以下步骤：

S1、对每一个像素点在0～360度的每一个角度β画一条以该像素点为中心的短线，短线的长度为(3～6)×d；

S2、针对每条短线，计算该条短线其它点与中心点的亮度差距，并将这些差距加起来，选取差距最小的短线方向作为这个像素点的切方向；

b、对每一个像素点P，求其两边与切方向平行的两条短线，然后对短线上点的像素亮度与像素点P的中心点比较，若亮度比中心点小的点在65％以上，则认为其是叶片骨架的候选点；所述的与切方向平行的两条短线的距离为(3～5)×d，每条短线的长度为(4～10)×d；

2)对叶片骨架候选点图像进行增强，包含以下步骤：

S1、对每个骨架的候选点Q，画一条以该像素点为中心的短线，短线的方向为Q的切方向，短线的长度为(2～3)×d，检测短线上是否有其它候选点，并且其切方向与Q的切方向相近；所述的切方向相近的判断标准为两个候选点的角度差是否在5度以内，如果是，则认为二者的切方向相近；

S2、如果有，则把检测到的其它候选点与候选点Q连线的中间点也设为候选点，将候选点Q的切方向作为中间点的切方向；

3)消除植物叶片图像中的噪声，具体包含以下步骤：

S1、对每个候选点，在0～360度的每一个角度γ取N个点，N＝(4～7)×d，并判断N个点中候选点的个数；

S2、如果该候选点其中一个角度的N个点中候选点的比例大于65％，则保留该候选点；

S3、如果该候选点0～360度的每一个角度中的候选点的比例均小于65％，则认为该候选点是噪声点，将其删掉；

4)消除植物叶片图像中叶片根底部以下的叶茎部分：

a、通过颜色进行分割：将原始图像中绿色分量大于红色分量和蓝色分量的像素保留，去除非绿色背景的干扰；

b、通过光滑度进行分割：计算每一个像素的光滑度，当该像素的光滑度大于阈值时，则认为该像素比较粗糙，不属于叶片，将该像素剔除；所述的光滑度的计算公式为

$P_{smooth}=\frac{1}{M}\underset{i,j\∈D}{\Σ}|\mathrm{\Ψ}(i,j)-\mathrm{\Ψ}(u,v)|$

其中，ψ(u,v)为候选点P(u,v)的亮度，D为以P为中心，以(6～10)×d+1为边长的一个正方形区域；ψ(i,j)是D中除P点外其它点的亮度值；M是D中像素的个数；不同种类的叶片光滑程度不同，阈值要根据叶片类型选取，一般阈值取40，若叶片属于粗糙类型，阈值适当增加；

c、获得去除根部图像：将步骤3)中所得的候选点，用经过光滑度分割的图像A进行检验，如果候选点是图像A中保留的像素，则该候选点保留，否则删除；

5)获得每个叶片根底部以及主方向，从而识别叶片的位置和分布方向：

a、对步骤4)所得的结果图进行细化，计算细化后所有候选点的相对转动惯量，取相对转动惯量最大的点作为叶片根底部；所述的候选点相对转动惯量的求解具体如下：

S1、假设候选点p的坐标为(u,v)，另一个候选点q坐标为(i,j)，两个候选点之间的连线与候选点q的切向量之间的夹角表示为Angle(p,q)，夹角取锐角；

S2、候选点q相对于候选点p的相对转动惯量分两种情况：

如果候选点q和候选点p之间的连线与候选点p的切方向的夹角大于或等于阈值K，阈值的选择主要是要区分是主茎上的像素点，还是分支茎上的像素点，一般设置为18度，则候选点q相对于候选点p的相对转动惯量为：

MoPtoP(p,q)＝90-Angle(p,q)；

如果候选点q和候选点p之间的连线与候选点p的切方向的夹角小于阈值K，则候选点q相对于候选点p的相对转动惯量为：

MoPtoP(p,q)＝Dis(p,q)×[90-Angle(p,q)]；

其中Dis(p,q)为候选点q和候选点p之间距离；

则候选点p的相对转动惯量为所有其它候选点对候选点p的相对转动惯量之和：

RM_P＝∑MoPtoP(p，q)；

b、以叶片根底部为中心，在0～360度的每一个角度α画一个矩形，矩形两长边的方向为α，并称此矩形的主方向为α；所述的矩形长为(16～30)×d，宽为(7～12)×d；

c、统计每个矩形内的候选点数量，选取包含候选点最多的矩形，此矩形的主方向α为叶片的主方向，叶片主方向是指叶片从根底部指向顶部的方向。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.基于叶片骨架模型的植物叶片图像自动识别方法，包含以下顺序的步骤：

1)获取植物叶片图像中叶片骨架的候选点：

a、获得叶片每一个像素的切方向，并假设该叶片主茎宽度所占像素数为d；

b、对每一个像素点P，求其两边与切方向平行的两条短线，然后对短线上点的像素亮度与像素点P的中心点比较，若亮度比中心点小的点在65％以上，则认为其是叶片骨架的候选点；

2)对叶片骨架候选点图像进行增强；

3)消除植物叶片图像中的噪声；

4)消除植物叶片图像中叶片根底部以下的叶茎部分：

a、通过颜色进行分割：将原始图像中绿色分量大于红色分量和蓝色分量的像素保留，去除非绿色背景的干扰；

b、通过光滑度进行分割：计算每一个像素的光滑度，当该像素的光滑度大于阈值时，则认为该像素比较粗糙，不属于叶片，将该像素剔除；

c、获得去除根部图像：将步骤3)中所得的候选点，用经过光滑度分割的图像A进行检验，如果候选点是图像A中保留的像素，则该候选点保留，否则删除；

5)获得每个叶片根底部以及主方向，从而识别叶片的位置和分布方向：

a、对步骤4)所得的结果图进行细化，计算细化后所有候选点的相对转动惯量，取相对转动惯量最大的点作为叶片根底部；

b、以叶片根底部为中心，在0～360度的每一个角度α画一个矩形，矩形两长边的方向为α，并称此矩形的主方向为α；

c、统计每个矩形内的候选点数量，选取包含候选点最多的矩形，此矩形的主方向α为叶片的主方向，叶片主方向是指叶片从根底部指向顶部的方向。

2.根据权利要求1所述的基于叶片骨架模型的植物叶片图像自动识别方法，其特征在于:步骤1)中，所述的步骤a具体包括以下步骤：

S1、对每一个像素点在0～360度的每一个角度β画一条以该像素点为中心的短线，短线的长度为(3～6)×d；

S2、针对每条短线，计算该条短线其它点与中心点的亮度差距，并将这些差距加起来，选取差距最小的短线方向作为这个像素点的切方向。

3.根据权利要求1所述的基于叶片骨架模型的植物叶片图像自动识别方法，其特征在于:所述的步骤2)，具体包含以下步骤：

S1、对每个骨架的候选点Q，画一条以该像素点为中心的短线，短线的方向为Q的切方向，短线的长度为(2～3)×d，检测短线上是否有其它候选点，并且其切方向与Q的切方向相近；

S2、如果有，则把检测到的其它候选点与候选点Q连线的中间点也设为候选点，将候选点Q的切方向作为中间点的切方向。

4.根据权利要求3所述的基于叶片骨架模型的植物叶片图像自动识别方法，其特征在于:步骤2)的步骤S1中，所述的切方向相近的判断标准为两个候选点的角度差是否在5度以内，如果是，则认为二者的切方向相近。

5.根据权利要求1所述的基于叶片骨架模型的植物叶片图像自动识别方法，其特征在于:所述的步骤3)，具体包含以下步骤：

S1、对每个候选点，在0～360度的每一个角度γ取N个点，N＝(4～7)×d，并判断N个点中候选点的个数；

S2、如果该候选点其中一个角度的N个点中候选点的比例大于65％，则保留该候选点；

S3、如果该候选点0～360度的每一个角度中的候选点的比例均小于65％，则认为该候选点是噪声点，将其删掉。

6.根据权利要求1所述的基于叶片骨架模型的植物叶片图像自动识别方法，其特征在于:步骤4)的步骤b中，所述的光滑度的计算公式为

$P_{smooth}=\frac{1}{M}\underset{i,j\∈D}{\Σ}|\mathrm{\Ψ}(i,j)-\mathrm{\Ψ}(u,v)|$

其中，ψ(u,v)为候选点P(u,v)的亮度，D为以P为中心，以(6～10)×d+1为边长的一个正方形区域；ψ(i,j)是D中除P点外其它点的亮度值；M是D中像素的个数。

7.根据权利要求1所述的基于叶片骨架模型的植物叶片图像自动识别方法，其特征在于:步骤5)的步骤a中，所述的候选点相对转动惯量的求解具体如下：

S1、假设候选点p的坐标为(u,v)，另一个候选点q坐标为(i,j)，两个候选点之间的连线与候选点q的切向量之间的夹角表示为Angle(p,q)，夹角取锐角；

S2、候选点q相对于候选点p的相对转动惯量分两种情况：

如果候选点q和候选点p之间的连线与候选点p的切方向的夹角大于或等于阈值K，则候选点q相对于候选点p的相对转动惯量为：

MoPtoP(p,q)＝90-Angle(p,q)；

如果候选点q和候选点p之间的连线与候选点p的切方向的夹角小于阈值K，则候选点q相对于候选点p的相对转动惯量为：

MoPtoP(p,q)＝Dis(p,q)×[90-Angle(p,q)]；

其中Dis(p,q)为候选点q和候选点p之间距离；

则候选点p的相对转动惯量为所有其它候选点对候选点p的相对转动惯量之和：

RM_P＝∑MoPtoP(p,q)。

8.根据权利要求1所述的基于叶片骨架模型的植物叶片图像自动识别方法，其特征在于:步骤1)的步骤b中，所述的与切方向平行的两条短线的距离为(3～5)×d，每条短线的长度为(4～10)×d。

9.根据权利要求1所述的基于叶片骨架模型的植物叶片图像自动识别方法，其特征在于：步骤5)的步骤b中，所述的矩形长为(16～30)×d，宽为(7～12)×d。