CN104850822A - 基于多特征融合的简单背景下的叶片识别方法 - Google Patents
基于多特征融合的简单背景下的叶片识别方法 Download PDFInfo
- Publication number
- CN104850822A CN104850822A CN201510118938.8A CN201510118938A CN104850822A CN 104850822 A CN104850822 A CN 104850822A CN 201510118938 A CN201510118938 A CN 201510118938A CN 104850822 A CN104850822 A CN 104850822A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- blade
- leaf
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多特征融合的简单背景下的叶片识别方法,首先采用基于大津阀值法的分割算法对叶片图像进行分割,将叶片与背景分割开来;然后在分割得到的叶片图像上提取多个叶片的轮廓形状及集合特征的描述子,包括多尺度三角特征、定向片段直方图、基于轮廓关键点的特征以及叶片的几何特征;最后采用局部敏感哈希与自定义的加权置信评分算法对提取的多个特征进行融合并匹配。该方法能克服一般特征对细粒度叶片图像无法进行良好描述等问题,通过将多个叶片的显著特征进行融合能很有效地提高识别准确率。
Description
技术领域
本发明属于计算机图像处理领域,涉及一种基于多特征融合的简单背景下的叶片识别方法。
背景技术
随着图像获取设备及互联网的迅速发展,海量的图像数据正在生成,而这些图像所包含的信息也变得越来越重要。如何利用计算机视觉、机器学习等技术方便、快速地检索图像,也逐渐变成了研究热点。
从上世纪70年代开始,图像检索这个领域已经十分活跃。首先主要是基于文本的图像检索技术,将图像与对其的文本描述存储至数据库中,而查询时是根据对图像的文本描述进行检索。但是慢慢的基于文本的图像检索技术的问题就越来越多了。由于当时的技术受限必须由人工来对图像进行进行关键字的标注工作,非但十分耗时耗力,而且人工的标注往往存在一些偏差,最终导致错误的检索结果。同时,图像中包含的视觉特征在该技术下也被完全忽略了。
到了上世纪90年代,为了克服基于文本的图像检索技术产生的一系列问题,基于内容的图像检索技术诞生了。基于内容的图像检索技术不需要对图像进行人工标注,而是利用计算机视觉技术对越图像提取其视觉特征,例如颜色、形状和纹理等,然后再对特征进行匹配,最后返回用户相似的图像。现在,该技术已经得到了广泛应用,包括公安部门指纹图像的分析、卫星云图的分析等。
现在,基于内容的细粒度的图像检索正在兴起。传统的基于内容的图像检索旨在对不同大类的物体图像进行分类,而人们越来越希望能对于同一大类物体的图像进行检索,例如鸟类、真菌等,于是基于内容的细粒度图像的检索应运而生。
植物作为人类赖以生存的元素,自然是人类关注的焦点,人类对于通过计算机而非人工来自动完成对植物图像的鉴别、分类以及检索工作的需求也越来越迫切。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于多特征融合的简单背景下的叶片识别方法。
本发明的目的是通过以下技术方案来实现的:一种基于多特征融合的简单背景下的叶片识别方法,包括以下步骤:
(1)经过大津阈值法将叶片图像中的叶片与背景分割开来获得叶片;
(2)对分割得到的叶片图像提取多个叶片特征,包括多尺度三角特征、定向片段直方图、基于轮廓关键点的特征以及叶片的几何特征;
(3)在进行叶片识别时,将多个叶片特征通过基于位置敏感哈希(LSH)方法映射到哈希表,每个叶片特征都通过K近邻得出与它最匹配的候选特征列表;使用加权置信评分得到最后的识别结果;
(4)对步骤3得到的识别结果通过潜在语义分析算法进行进一步重排序,提高识别效果。
进一步地,所述步骤1中,大津阈值法使用某一个阈值将灰度图像根据灰度大小,分成目标部分和背景部分两类,在这两类的类内方差最小和类间方差最大的时候,得到的阈值是最优的二值化阈值;具体包括以下子步骤:
(1.1)将简单背景下的叶片图像转换为灰度图;
(1.2)计算灰度图的平均灰度:对于一张大小为M×N的图像,统计获得灰度为i对应的像素个数为ni,则平均灰度值u可由下式得出:
(1.3)计算求解最佳阀值t的相关变量:记t为目标与背景的分割阀值,目标像素占的比例为w1,目标像素的平均灰度为u1,则
其中W1是灰度值大于t的统计值;
同理可得到背景像素占的比例w2及平均灰度u2;
(1.4)求解最佳阀值t:遍历步骤1.3中得到的t,使得下式最大:
G=w1*(u1-u)2+w2*(u2-u)2
(1.5)将根据阀值t获得的背景像素赋予白色。
进一步地,所述步骤2中,所述多尺度三角特征具体为:形状边界由N个均匀地分布在叶片轮廓上的采样点P1,...,PN的序列表示,然后将这些采样点按照顺时针的顺序进行排列;每个采样点Pi由在不同尺度下的Ns个三角形进行表示;引入d(k)用于表示在尺度k中的三角形点之间的距离,由边界点的数量进行表述,其中1≤k≤Ns;选择在Pi两侧的Ns个点组成的两个集合来描述Pi,Ns的选择取决于是否寻求捕获本地或全局信息;距离d(k)为均匀的或对数的;每一个边界点Pi与Ns个三角形相关联,这些三角形由边界点pi-d(k)、pi以及pi+d(k)组成;使用三角形边长和角度特征(TSLA): 假设L1K,L2K和L3k是由边界点pi-d(k)、pi以及pi+d(k)组成的三角形三条边,且长度从小到大排列,设Mk=L1k/L3k、Nk=L2k/L3k,假设θ为三角形的顶点pi的角度的绝对值,则的TSLA特征可表述为三元组(Mk,Nk,θ)。
进一步地,所述步骤2中,所述定向片段直方图具体为:任何轮廓都是一连串连续的元素成分组成的,一个元素成分可以是一个像素;对于轮廓上的每个像素,通过计算两个变量的均值来关联方向信息,这两个变量为从原始图像计算出的梯度的角度θ以及θ的导数θ’;变量θ的值是绝对的,它对应于原始图像的梯度角度;这些角度被投影到一个量化的[0,2π]的区间中;轮廓则会由一个从该量化空间中得到的方向组成的字符串来表示;第二个变量θ’是相对的,它提供了有关的梯度特征的坡度信息;将该特征作用于叶片的形状时,就对应于主要叶缘的极值;所有大小为s的片段被生成用于描述轮廓信息,每个片段是由轮廓上的连续像素组成的;给定一个由n个像素组成轮廓P,则P=(c1,c2,...,cn),前两个大小为s=4的片段为S1=(c1,c2,c3,c4)和S2=(c2,c3,c4,c5);由于轮廓是闭合的,那么所有可能的片段的总数量与n相等,也就是P的向量大小;为了确保尺度不变,大小为s的片段将会根据轮廓的总长度按比例选择,这个比例被表示为ps=s/n;对于每一个轮廓的片段Si、变量θ和θ’,把具有相同θ和θ’量化值的像素组成集合,这些集合即为定向片段;变量θ和θ’是从区间[0,2π]随机选取的,且区间[0,2π]被分成M个长度相同的小块;对于每一个变量,分别计算它的局部直方图,因此,可以得到变量θ和θ’的N个局部直方图;在此基础上,再通过双直方图总结得出该局部信息,其中还包含了一些叶子的全局信息;量化的θ和θ’可以用来表示随机变量的方向,记为α,且该值落在区间[0,2π]中;同时,在2n个直方图中频率的幅度也可以用来表示一个随机变量,记为Q,该值落在区间[0,1]中,然后再量化成J个统一的小块,零值被排除在外;然后从2n个局部定向直方图中计算随机向量(α,Q)的2D直方图,在这个过程中把M个在区间[0,2π]中统一的小块作为随机变量α,而把J个统一的小块作为随机变量Q;这个2D的双直方图将会作为一个特征用以描述叶片,该特征即为定向片段直方图;在尺度s的空间中,它是一个两维的值的数组,包含M×J个的小块。
进一步地,所述步骤2中,所述基于轮廓点的特征具体为:假设一个物体为P,P={p1,...pn},pi∈R2,对于每一个点pi,旨在找出另一个物体上的与该点最匹配的点qi,因此,引入一个向量集合,该向量集合为从一个点到其余样本点的关联;对于每一个在物体形状上的点pi,计算一个以相对于剩余n-1个点的坐标为基准的比较粗糙的直方图h(k):
hi(k)=#{q≠pi:(q-pi)∈bin(k)}
将该方法用于叶片图像分类中,从叶片图像中提取来自边缘以及叶片内的n个点组成集合C与V;集合V是由所有的边界点组成而集合C是由哈里斯角点检测的关键点组成,即C={salientpoints},V={margin points},描述了属于同一物种的叶片的叶脉特征与边界点之间的关系。
进一步地,所述步骤2中,所述叶片几何特征具体为:矩形度记为Rect,代表其形状与长方形的相似程度:
其中A是一个形状的面积,AB是最小边界矩形B的面积。
压缩度记为C,被定义为凸包周长pH值超过原始轮廓p的比率:
凸度记为S,描述物体形状凸或凹的程度:
其中,A是形状区域的面积,AH是形状的凸包区的面积;
球形度记为Sph,是边界框ri的内圆的半径和边界框rc的外侧圆的半径之比:
进一步地,所述步骤3具体包括以下子步骤:
(3.1)对于获取的叶片的多尺度三角特征、定向片段直方图、基于轮廓关键点的特征以及叶片的几何特征分别使用局部敏感哈希算法对特征进行索引;
(3.2)对于根据多尺度三角特征、定向片段直方图、基于轮廓关键点的特征以及叶片的几何特征构造的索引分别使用k近邻得出与检索图像最匹配的图像候选列表;
(3.3)对于根据每个特征检索得到的图像进行进一步筛选,再在上层产生决策列表:假设一次多图像检索为Q,匹配的图像候选列表NQ的计算公式如下:
其中V是多尺度三角特征、定向片段直方图、基于轮廓关键点的特征以及叶片的几何特征这些特征的集合,是特征v的图像的数量的总和;在第一个对相同特征的图像进行处理的阶段时,与v相关的的结果列表被融合并得到最相似的图像列表,其中只有排名最前面的K个图像被保留;把特征v的图像的标准化的置信评分fv(Q,s)定义为下式:
其中是与特征v相关的图像结果列表中排名最前面的K幅图像中植物类别为s的图像的数量总和;
在接下来的阶段中,引入了一个在上一个阶段中标准化置信分数的加权和,最终的类别s的评分由下式给出:
其中wv(Q)的定义如下:
进一步地,所述步骤4中,所述潜在语义分析是基于特征矩阵的SVD分解;将C转换成C=USVT,其中U和V是正交矩阵,U的列组成了矩阵的特征向量,VT是CTC的特征向量,S是对角矩阵;在潜在语义分析中,矩阵SVT的列被解释为初始向量至k维潜在空间的映射;在检索中,一个用户的查询通过被映射为相同的第k维空间得到新的查询查询通过余弦相似性被评价打分,且结果按降序排列;所述步骤4可以概括如下:
(4.1)解决m×m的特征值问题CCTU=US2,求出k个最大特征值和对应的特征值;
(4.2)计算原始图像dj至第k维空间的映射其中,
(4.3)对于查询q,通过余弦函数计算相似性得分,其中
(4.4)通过步骤4.3得到的相似性得分对步骤3中得到的初步检索结果进行进一步重排序,得到最终结果。
本发明与现有技术相比具有的有益效果:
1、本发明中的特征提取算法能克服普通图像特征描述子例如颜色、形状、纹理等宏观特征不能满足精细化区分的需要,通过提取具有较强分辨力的叶片的轮廓形状及几何特征能更好的满足细粒度叶片图像识别的需求,同时这些特征描述子也具有良好的鲁棒性以及抗干扰能力。
2、本发明中的特征融合算法克服原有的特征过于单一的问题,更好的对叶片特征进行描述;
3、本发明中的基于潜在语义分析的重排序算法能进一步提高识别效果。
附图说明
图1是叶片识别框架图;
图2是对某一叶片图像进行分割的实例图;
图3是对某一叶片图像提取多尺度三角特征的实例图;
图4是对某一叶片图像提取定向片段直方图特征的实例图;
图5是对某一叶片图像提取基于轮廓关键点的特征特征的实例图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
如图1所示,本发明一种基于多特征融合的简单背景下的叶片识别方法,包括以下步骤:
(1)经过大津阈值法将叶片图像中的叶片与背景分割开来获得叶片;
(2)对分割得到的叶片图像提取多个叶片特征,包括多尺度三角特征、定向片段直方图、基于轮廓关键点的特征以及叶片的几何特征;
(3)在进行叶片识别时,将多个叶片特征通过基于位置敏感哈希(LSH)方法映射到哈希表,每个叶片特征都通过K近邻得出与它最匹配的候选特征列表;使用加权置信评分得到最后的识别结果;
(4)对步骤3得到的识别结果通过潜在语义分析算法进行进一步重排序,提高识别效果。
进一步地,所述步骤1中,大津阈值法使用某一个阈值将灰度图像根据灰度大小,分成目标部分和背景部分两类,在这两类的类内方差最小和类间方差最大的时候,得到的阈值是最优的二值化阈值;具体包括以下子步骤:
(1.1)将简单背景下的叶片图像转换为灰度图;
(1.2)计算灰度图的平均灰度:对于一张大小为M×N的图像,统计获得灰度为i对应的像素个数为ni,则平均灰度值u可由下式得出:
(1.3)计算求解最佳阀值t的相关变量:记t为目标与背景的分割阀值,目标像素占的比例为w1,目标像素的平均灰度为u1,则
其中W1是灰度值大于t的统计值;
同理可得到背景像素占的比例w2及平均灰度u2;
(1.4)求解最佳阀值t:遍历步骤1.3中得到的t,使得下式最大:
G=w1*(u1-u)2+w2*(u2-u)2
(1.5)将根据阀值t获得的背景像素赋予白色。
进一步地,所述步骤2中,所述多尺度三角特征具体为:形状边界由N个均匀地分布在叶片轮廓上的采样点P1,...,PN的序列表示,然后将这些采样点按照顺时针的顺序进行排列;每个采样点Pi由在不同尺度下的Ns个三角形进行表示;引入d(k)用于表示在尺度k中的三角形点之间的距离,由边界点的数量进行表述,其中1≤k≤Ns;选择在Pi两侧的Ns个点组成的两个集合来描述Pi,Ns的选择取决于是否寻求捕获本地或全局信息;距离d(k)为均匀的或对数的;每一个边界点Pi与Ns个三角形相关联,这些三角形由边界点pi-d(k)、pi以及pi+d(k)组成;使用三角形边长和角度特征(TSLA): 假设L1K,L2K和L3k是由边界点pi-d(k)、pi以及pi+d(k)组成的三角形三条边,且长度从小到大排列,设Mk=L1k/L3k、Nk=L2k/L3k,假设θ为三角形的顶点pi的角度的绝对值,则的TSLA特征可表述为三元组(Mk,Nk,θ)。
进一步地,所述步骤2中,所述定向片段直方图具体为:任何轮廓都是一连串连续的元素成分组成的,一个元素成分可以是一个像素;对于轮廓上的每个像素,通过计算两个变量的均值来关联方向信息,这两个变量为从原始图像计算出的梯度的角度θ以及θ的导数θ’;变量θ的值是绝对的,它对应于原始图像的梯度角度;这些角度被投影到一个量化的[0,2π]的区间中;轮廓则会由一个从该量化空间中得到的方向组成的字符串来表示;第二个变量θ’是相对的,它提供了有关的梯度特征的坡度信息;将该特征作用于叶片的形状时,就对应于主要叶缘的极值;所有大小为s的片段被生成用于描述轮廓信息,每个片段是由轮廓上的连续像素组成的;给定一个由n个像素组成轮廓P,则P=(c1,c2,...,cn),前两个大小为s=4的片段为S1=(c1,c2,c3,c4)和S2=(c2,c3,c4,c5);由于轮廓是闭合的,那么所有可能的片段的总数量与n相等,也就是P的向量大小;为了确保尺度不变,大小为s的片段将会根据轮廓的总长度按比例选择,这个比例被表示为ps=s/n;对于每一个轮廓的片段Si、变量θ和θ’,把具有相同θ和θ’量化值的像素组成集合,这些集合即为定向片段;变量θ和θ’是从区间[0,2π]随机选取的,且区间[0,2π]被分成M个长度相同的小块;对于每一个变量,分别计算它的局部直方图,因此,可以得到变量θ和θ’的N个局部直方图;在此基础上,再通过双直方图总结得出该局部信息,其中还包含了一些叶子的全局信息;量化的θ和θ’可以用来表示随机变量的方向,记为α,且该值落在区间[0,2π]中;同时,在2n个直方图中频率的幅度也可以用来表示一个随机变量,记为Q,该值落在区间[0,1]中,然后再量化成J个统一的小块,零值被排除在外;然后从2n个局部定向直方图中计算随机向量(α,Q)的2D直方图,在这个过程中把M个在区间[0,2π]中统一的小块作为随机变量α,而把J个统一的小块作为随机变量Q;这个2D的双直方图将会作为一个特征用以描述叶片,该特征即为定向片段直方图;在尺度s的空间中,它是一个两维的值的数组,包含M×J个的小块。
进一步地,所述步骤2中,所述基于轮廓点的特征具体为:假设一个物体为P,P={p1,...pn},pi∈R2,对于每一个点pi,旨在找出另一个物体上的与该点最匹配的点qi,因此,引入一个向量集合,该向量集合为从一个点到其余样本点的关联;对于每一个在物体形状上的点pi,计算一个以相对于剩余n-1个点的坐标为基准的比较粗糙的直方图h(k):
hi(k)=#{q≠pi:(q-pi)∈bin(k)}
将该方法用于叶片图像分类中,从叶片图像中提取来自边缘以及叶片内的n个点组成集合C与V;集合V是由所有的边界点组成而集合C是由哈里斯角点检测的关键点组成,即C={salientpoints},V={margin points},描述了属于同一物种的叶片的叶脉特征与边界点之间的关系。
进一步地,所述步骤2中,所述叶片几何特征具体为:矩形度记为Rect,代表其形状与长方形的相似程度:
其中A是一个形状的面积,AB是最小边界矩形B的面积。
压缩度记为C,被定义为凸包周长pH值超过原始轮廓p的比率:
凸度记为S,描述物体形状凸或凹的程度:
其中,A是形状区域的面积,AH是形状的凸包区的面积;
球形度记为Sph,是边界框ri的内圆的半径和边界框rc的外侧圆的半径之比:
进一步地,所述步骤3具体包括以下子步骤:
(3.1)对于获取的叶片的多尺度三角特征、定向片段直方图、基于轮廓关键点的特征以及叶片的几何特征分别使用局部敏感哈希算法对特征进行索引;
(3.2)对于根据多尺度三角特征、定向片段直方图、基于轮廓关键点的特征以及叶片的几何特征构造的索引分别使用k近邻得出与检索图像最匹配的图像候选列表;
(3.3)对于根据每个特征检索得到的图像进行进一步筛选,再在上层产生决策列表:假设一次多图像检索为Q,匹配的图像候选列表NQ的计算公式如下:
其中V是多尺度三角特征、定向片段直方图、基于轮廓关键点的特征以及叶片的几何特征这些特征的集合,是特征v的图像的数量的总和;在第一个对相同特征的图像进行处理的阶段时,与v相关的的结果列表被融合并得到最相似的图像列表,其中只有排名最前面的K个图像被保留;把特征v的图像的标准化的置信评分fv(Q,s)定义为下式:
其中是与特征v相关的图像结果列表中排名最前面的K幅图像中植物类别为s的图像的数量总和;
在接下来的阶段中,引入了一个在上一个阶段中标准化置信分数的加权和,最终的类别s的评分由下式给出:
其中wv(Q)的定义如下:
进一步地,所述步骤4中,所述潜在语义分析是基于特征矩阵的SVD分解;将C转换成C=USVT,其中U和V是正交矩阵,U的列组成了矩阵的特征向量,VT是CTC的特征向量,S是对角矩阵;在潜在语义分析中,矩阵SVT的列被解释为初始向量至k维潜在空间的映射;在检索中,一个用户的查询通过被映射为相同的第k维空间得到新的查询查询通过余弦相似性被评价打分,且结果按降序排列;所述步骤4可以概括如下:
(4.1)解决m×m的特征值问题CCTU=US2,求出k个最大特征值和对应的特征值;
(4.2)计算原始图像dj至第k维空间的映射其中,
(4.3)对于查询q,通过余弦函数计算相似性得分,其中
(4.4)通过步骤4.3得到的相似性得分对步骤3中得到的初步检索结果进行进一步重排序,得到最终结果。
实施例
如图2、3、4所示,给出了对叶片图像进行识别的流程实例。下面结合本发明的方法详细说明该实例实施的具体步骤,如下:
(1)对于图2(a)中的图像采用大津阈值法将叶片与背景分割开来获得叶片,结果如图2(b)所示;
(2)采用多尺度三角特征、定向片段直方图、基于轮廓关键点的特征对叶片进行特征提取。对于图3(a)中的图像提取多尺度三角特征如图3(b)所示,图4为提取的定向片段直方图,对于图5(a)中的图像提取基于轮廓关键点的特征如图5(b)所示;
(3)识别时采用局部敏感哈希及k近邻算法进行检索并进行重排序得到最终的结果。
Claims (8)
1.一种基于多特征融合的简单背景下的叶片识别方法,其特征在于,包括以下步骤:
(1)经过大津阈值法将叶片图像中的叶片与背景分割开来获得叶片;
(2)对分割得到的叶片图像提取多个叶片特征,包括多尺度三角特征、定向片段直方图、基于轮廓关键点的特征以及叶片的几何特征;
(3)在进行叶片识别时,将多个叶片特征通过基于位置敏感哈希(LSH)方法映射到哈希表,每个叶片特征都通过K近邻得出与它最匹配的候选特征列表;使用加权置信评分得到最后的识别结果;
(4)对步骤3得到的识别结果通过潜在语义分析算法进行进一步重排序,提高识别效果。
2.根据权利要求1所述的一种基于多特征融合的简单背景下的叶片识别方法,其特征在于,所述步骤1具体包括以下子步骤:
(1.1)将简单背景下的叶片图像转换为灰度图;
(1.2)计算灰度图的平均灰度:对于一张大小为M×N的图像,统计获得灰度为i对应的像素个数为ni,则平均灰度值u可由下式得出:
(1.3)计算求解最佳阀值t的相关变量:记t为目标与背景的分割阀值,目标像素占的比例为w1,目标像素的平均灰度为u1,则
其中W1是灰度值大于t的统计值;
同理可得到背景像素占的比例w2及平均灰度u2;
(1.4)求解最佳阀值t:遍历步骤1.3中得到的t,使得下式最大:
G=w1*(u1-u)2+w2*(u2-u)2
(1.5)将根据阀值t获得的背景像素赋予白色。
3.根据权利要求1所述的一种基于多特征融合的简单背景下的叶片识别方法,其特征在于,所述步骤2中,所述多尺度三角特征具体为:形状边界由N个均匀地分布在叶片轮廓上的采样点P1,...,PN的序列表示,然后将这些采样点按照顺时针的顺序进行排列;每个采样点Pi由在不同尺度下的Ns个三角形进行表示;引入d(k)用于表示在尺度k中的三角形点之间的距离,由边界点的数量进行表述,其中1≤k≤Ns;选择在Pi两侧的Ns个点组成的两个集合来描述Pi,Ns的选择取决于是否寻求捕获本地或全局信息;距离d(k)为均匀的或对数的;每一个边界点Pi与Ns个三角形相关联,这些三角形由边界点pi-d(k)、pi以及pi+d(k)组成;使用三角形边长和角度特征(TSLA): 假设L1K,L2K和L3k是由边界点pi-d(k)、pi以及pi+d(k)组成的三角形三条边,且长度从小到大排列,设Mk=L1k/L3k、Nk=L2k/L3k,假设θ为三角形的顶点pi的角度的绝对值,则的TSLA特征可表述为三元组(Mk,Nk,θ)。
4.根据权利要求1所述的一种基于多特征融合的简单背景下的叶片识别方法,其特征在于,所述步骤2中,所述定向片段直方图具体为:任何轮廓都是一连串连续的元素成分组成的,一个元素成分可以是一个像素;对于轮廓上的每个像素,通过计算两个变量的均值来关联方向信息,这两个变量为从原始图像计算出的梯度的角度θ以及θ的导数θ’;变量θ的值是绝对的,它对应于原始图像的梯度角度;这些角度被投影到一个量化的[0,2π]的区间中;轮廓则会由一个从该量化空间中得到的方向组成的字符串来表示;第二个变量θ’是相对的,它提供了有关的梯度特征的坡度信息;将该特征作用于叶片的形状时,就对应于主要叶缘的极值;所有大小为s的片段被生成用于描述轮廓信息,每个片段是由轮廓上的连续像素组成的;给定一个由n个像素组成轮廓P,则P=(c1,c2,...,cn),前两个大小为s=4的片段为S1=(c1,c2,c3,c4)和S2=(c2,c3,c4,c5);由于轮廓是闭合的,那么所有可能的片段的总数量与n相等,也就是P的向量大小;为了确保尺度不变,大小为s的片段将会根据轮廓的总长度按比例选择,这个比例被表示为ps=s/n;对于每一个轮廓的片段Si、变量θ和θ’,把具有相同θ和θ’量化值的像素组成集合,这些集合即为定向片段;变量θ和θ’是从区间[0,2π]随机选取的,且区间[0,2π]被分成M个长度相同的小块;对于每一个变量,分别计算它的局部直方图,因此,可以得到变量θ和θ’的N个局部直方图;在此基础上,再通过双直方图总结得出该局部信息,其中还包含了一些叶子的全局信息;量化的θ和θ’可以用来表示随机变量的方向,记为α,且该值落在区间[0,2π]中;同时,在2n个直方图中频率的幅度也可以用来表示一个随机变量,记为Q,该值落在区间[0,1]中,然后再量化成J个统一的小块,零值被排除在外;然后从2n个局部定向直方图中计算随机向量(α,Q)的2D直方图,在这个过程中把M个在区间[0,2π]中统一的小块作为随机变量α,而把J个统一的小块作为随机变量Q;这个2D的双直方图将会作为一个特征用以描述叶片,该特征即为定向片段直方图;在尺度s的空间中,它是一个两维的值的数组,包含M×J个的小块。
5.根据权利要求1所述的一种基于多特征融合的简单背景下的叶片识别方法,其特征在于,所述步骤2中,所述基于轮廓点的特征具体为:假设一个物体为P,P={p1,...pn},pi∈R2,对于每一个点pi,旨在找出另一个物体上的与该点最匹配的点qi,因此,引入一个向量集合,该向量集合为从一个点到其余样本点的关联;对于每一个在物体形状上的点pi,计算一个以相对于剩余n-1个点的坐标为基准的比较粗糙的直方图h(k):
hi(k)=#{q≠pi:(q-pi)∈bin(k)}
将该方法用于叶片图像分类中,从叶片图像中提取来自边缘以及叶片内的n个点组成集合C与V;集合V是由所有的边界点组成而集合C是由哈里斯角点检测的关键点组成,即C={salientpoints},V={margin points},描述了属于同一物种的叶片的叶脉特征与边界点之间的关系。
6.根据权利要求1所述的一种基于多特征融合的简单背景下的叶片识别方法,其特征在于,所述步骤2中,所述叶片几何特征具体为:矩形度记为Rect,代表其形状与长方形的相似程度:
其中A是一个形状的面积,AB是最小边界矩形B的面积。
压缩度记为C,被定义为凸包周长pH值超过原始轮廓p的比率:
凸度记为S,描述物体形状凸或凹的程度:
其中,A是形状区域的面积,AH是形状的凸包区的面积;
球形度记为Sph,是边界框ri的内圆的半径和边界框rc的外侧圆的半径之比:
7.根据权利要求1所述的一种基于多特征融合的简单背景下的叶片识别方法,其特征在于,所述步骤3具体包括以下子步骤:
(3.1)对于获取的叶片的多尺度三角特征、定向片段直方图、基于轮廓关键点的特征以及叶片的几何特征分别使用局部敏感哈希算法对特征进行索引;
(3.2)对于根据多尺度三角特征、定向片段直方图、基于轮廓关键点的特征以及叶片的几何特征构造的索引分别使用k近邻得出与检索图像最匹配的图像候选列表;
(3.3)对于根据每个特征检索得到的图像进行进一步筛选,再在上层产生决策列表:假设一次多图像检索为Q,匹配的图像候选列表NQ的计算公式如下:
其中V是多尺度三角特征、定向片段直方图、基于轮廓关键点的特征以及叶片的几何特征这些特征的集合,是特征v的图像的数量的总和;在第一个对相同特征的图像进行处理的阶段时,与v相关的的结果列表被融合并得到最相似的图像列表,其中只有排名最前面的K个图像被保留;把特征v的图像的标准化的置信评分fv(Q,s)定义为下式:
其中是与特征v相关的图像结果列表中排名最前面的K幅图像中植物类别为s的图像的数量总和;
在接下来的阶段中,引入了一个在上一个阶段中标准化置信分数的加权和,最终的类别s的评分由下式给出:
其中wv(Q)的定义如下:
8.根据权利要求1所述的一种基于多特征融合的简单背景下的叶片识别方法,其特征在于,所述步骤4中,所述潜在语义分析是基于特征矩阵的SVD分解;将C转换成C=USVT,其中U和V是正交矩阵,U的列组成了矩阵的特征向量,VT是CTC的特征向量,S是对角矩阵;在潜在语义分析中,矩阵SVT的列被解释为初始向量至k维潜在空间的映射;在检索中,一个用户的查询通过被映射为相同的第k维空间得到新的查询查询通过余弦相似性被评价打分,且结果按降序排列;所述步骤4可以概括如下:
(4.1)解决m×m的特征值问题CCTU=US2,求出k个最大特征值和对应的特征值;
(4.2)计算原始图像dj至第k维空间的映射其中,
(4.3)对于查询q,通过余弦函数计算相似性得分,其中
(4.4)通过步骤4.3得到的相似性得分对步骤3中得到的初步检索结果进行进一步重排序,得到最终结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510118938.8A CN104850822B (zh) | 2015-03-18 | 2015-03-18 | 基于多特征融合的简单背景下的叶片识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510118938.8A CN104850822B (zh) | 2015-03-18 | 2015-03-18 | 基于多特征融合的简单背景下的叶片识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104850822A true CN104850822A (zh) | 2015-08-19 |
CN104850822B CN104850822B (zh) | 2018-02-06 |
Family
ID=53850457
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510118938.8A Active CN104850822B (zh) | 2015-03-18 | 2015-03-18 | 基于多特征融合的简单背景下的叶片识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104850822B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105787503A (zh) * | 2016-01-15 | 2016-07-20 | 四川德马克机器人科技有限公司 | 基于早期特征融合的植物叶片识别方法 |
CN106845497A (zh) * | 2017-01-12 | 2017-06-13 | 天津大学 | 基于多特征融合的玉米前期图像旱情识别方法 |
CN106897724A (zh) * | 2015-12-18 | 2017-06-27 | 南京财经大学 | 一种基于轮廓线形状特征的植物叶片识别方法 |
CN107103311A (zh) * | 2017-05-31 | 2017-08-29 | 西安工业大学 | 一种连续手语的识别方法及其装置 |
CN110084497A (zh) * | 2019-04-18 | 2019-08-02 | 上海电力学院 | 一种正三棱锥左视图的自动识别评分方法 |
CN110443811A (zh) * | 2019-07-26 | 2019-11-12 | 广州中医药大学(广州中医药研究院) | 一种复杂背景叶片图像的全自动分割方法 |
CN111680571A (zh) * | 2020-05-14 | 2020-09-18 | 华南农业大学 | 基于lda降维的多特征融合的植物叶片识别方法 |
CN117079397A (zh) * | 2023-09-27 | 2023-11-17 | 青海民族大学 | 一种基于视频监控的野外***安全预警方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102722554A (zh) * | 2012-05-28 | 2012-10-10 | 中国人民解放军信息工程大学 | 位置敏感哈希随机性减弱方法 |
CN103559705A (zh) * | 2013-10-23 | 2014-02-05 | 浙江工业大学 | 一种比较不同植物形态相似度的计算机方法 |
CN103559511A (zh) * | 2013-11-20 | 2014-02-05 | 天津农学院 | 一种温室蔬菜叶部病害图像自动识别方法 |
-
2015
- 2015-03-18 CN CN201510118938.8A patent/CN104850822B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102722554A (zh) * | 2012-05-28 | 2012-10-10 | 中国人民解放军信息工程大学 | 位置敏感哈希随机性减弱方法 |
CN103559705A (zh) * | 2013-10-23 | 2014-02-05 | 浙江工业大学 | 一种比较不同植物形态相似度的计算机方法 |
CN103559511A (zh) * | 2013-11-20 | 2014-02-05 | 天津农学院 | 一种温室蔬菜叶部病害图像自动识别方法 |
Non-Patent Citations (1)
Title |
---|
SOFIENE MOUINE 等: "A Shape-based Approach for Leaf Classification using Multiscale Triangular Representation", 《ICMR’13 PROCEEDINGS OF THE 3RD ACM CONFERENCE ON INTERNATIONAL CONFERENCE ON MULTIMEDIA RETRIEVAL》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106897724A (zh) * | 2015-12-18 | 2017-06-27 | 南京财经大学 | 一种基于轮廓线形状特征的植物叶片识别方法 |
CN105787503A (zh) * | 2016-01-15 | 2016-07-20 | 四川德马克机器人科技有限公司 | 基于早期特征融合的植物叶片识别方法 |
CN106845497A (zh) * | 2017-01-12 | 2017-06-13 | 天津大学 | 基于多特征融合的玉米前期图像旱情识别方法 |
CN107103311A (zh) * | 2017-05-31 | 2017-08-29 | 西安工业大学 | 一种连续手语的识别方法及其装置 |
CN110084497A (zh) * | 2019-04-18 | 2019-08-02 | 上海电力学院 | 一种正三棱锥左视图的自动识别评分方法 |
CN110443811A (zh) * | 2019-07-26 | 2019-11-12 | 广州中医药大学(广州中医药研究院) | 一种复杂背景叶片图像的全自动分割方法 |
CN111680571A (zh) * | 2020-05-14 | 2020-09-18 | 华南农业大学 | 基于lda降维的多特征融合的植物叶片识别方法 |
CN117079397A (zh) * | 2023-09-27 | 2023-11-17 | 青海民族大学 | 一种基于视频监控的野外***安全预警方法 |
CN117079397B (zh) * | 2023-09-27 | 2024-03-26 | 青海民族大学 | 一种基于视频监控的野外***安全预警方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104850822B (zh) | 2018-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chaudhuri et al. | Multilabel remote sensing image retrieval using a semisupervised graph-theoretic method | |
Yi et al. | Feature representations for scene text character recognition: A comparative study | |
Wang et al. | A multiscale and hierarchical feature extraction method for terrestrial laser scanning point cloud classification | |
CN104850822A (zh) | 基于多特征融合的简单背景下的叶片识别方法 | |
CN106649487B (zh) | 基于兴趣目标的图像检索方法 | |
Huang et al. | Robust scene text detection with convolution neural network induced mser trees | |
CN107833213B (zh) | 一种基于伪真值自适应法的弱监督物体检测方法 | |
Tang et al. | SAR image content retrieval based on fuzzy similarity and relevance feedback | |
CN107480620B (zh) | 基于异构特征融合的遥感图像自动目标识别方法 | |
Liu et al. | A model of visual attention for natural image retrieval | |
Karaoglu et al. | Con-text: Text detection for fine-grained object classification | |
Yang et al. | Tree detection from aerial imagery | |
CN107633065A (zh) | 一种基于手绘草图的识别方法 | |
CN111414958B (zh) | 一种视觉词袋金字塔的多特征图像分类方法及*** | |
dos Santos et al. | Efficient and effective hierarchical feature propagation | |
Shao et al. | A Benchmark Dataset for Performance Evaluation of Multi-Label Remote Sensing Image Retrieval. | |
Sachdeva et al. | Better object recognition using bag of visual word model with compact vocabulary | |
CN107357834A (zh) | 一种基于视觉显著性融合的图像检索方法 | |
Sun et al. | Similar manga retrieval using visual vocabulary based on regions of interest | |
Ahmad et al. | SSH: Salient structures histogram for content based image retrieval | |
Wang et al. | Plant recognition based on Jaccard distance and BOW | |
Manno-Kovacs | Content based image retrieval using salient orientation histograms | |
Zhang et al. | Sketch-based image retrieval using contour segments | |
Devesh et al. | Retrieval of monuments images through ACO optimization approach | |
Zanwar et al. | A comprehensive survey on soft computing based optical character recognition techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |