CN103679144B - 一种基于计算机视觉的复杂环境下果蔬识别方法 - Google Patents

Abstract

本发明公布了一种基于计算机视觉的复杂环境下果蔬识别方法，本发明包括以下步骤：首先，获取待识别果蔬图像；其次，将获取到的果蔬图像进行预处理，预处理后的图像被分割为果蔬区域和背景区域；提取预处理后的果蔬图像特征，其中提取的图像特征为颜色特征和纹理特征；然后，采用自适应加权方法对果蔬特征进行融合；最后，采用最近邻分类算法对果蔬进行识别。本发明相比已有的果蔬识别***，算法复杂度低，识别率高，具有很强的使用性，可以有效的应用于日常生活中。

Description

一种基于计算机视觉的复杂环境下果蔬识别方法

技术领域

本发明涉及一种基于计算机视觉的复杂环境下果蔬识别方法。

背景技术

当前，超市中针对水果，蔬菜等产品的售卖，主要依靠条形码来获取产品的价格，但由于果蔬产品往往要经过包装后才能贴上条形码标签，这消耗了大量的人力物力，此外由于果蔬品种繁多，不同果蔬的价格不同，各种价格主要依靠人工记忆，这大大增加了超市培训人员的经济，时间成本，因此，更加合理、快速的解决途径亟待提出。基于计算机视觉的农产品检测技术由于简单可行，已经广泛应用于农产品品质检测，农产品收获机器人，农副产品加工自动化等领域，但应用于超市果蔬识别方面的研究较少，不同于已有的计算机视觉农产品检测方法，基于计算机视觉的超市果蔬识别方法要满足如下几方面的条件：

1，复杂环境中的稳定识别算法。超市中的环境复杂，采集到的果蔬图片往往会出现阴影，遮挡，光线变化等情况，***所采用的图像分割算法及特征提取方法应对复杂情况应具备一定的鲁棒性，使得***的识别性能趋于稳定。

2，果蔬的随机性。由于超市中的果蔬售卖时，选取的果蔬大小，个数，摆放位置都是随机的，因此识别算法必须满足果蔬任意数量，任意摆放位置下都能稳定识别。

3，低复杂度识别算法。果蔬识别***采用芯片处理能力有限，因此果蔬识别的算法不能过于复杂。

在本发明之前，国内外针对超市中果蔬识别的研究较少，主要存在以下几方面问题：1，实用型，低复杂度果蔬识别算法较少。针对超市果蔬识别最早的研究可以追溯到1996年，Bolle等人采用颜色特征和纹理特征实现了果蔬识别的研究，并开发了“VeggieVision”***，但该***所采用的图像分割，特征提取技术，特征融合方法过于陈旧，特征提取方法需要采用高运算量的卷积运算，特征融合部分未进行深入研究，***果蔬识别率较低；2，高复杂度算法实用性较差。针对超市果蔬识别的研究，直到2008年后才开始有相关文献见刊，但此时针对果蔬识别研究的算法，大多集中在理论方面，其中采用的特征识别提取算法，特征融合算法，分类器算法多为高复杂度算法，部分文献中采用的特征提取方法，由于算法复杂度较高不具备实用性。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，而提供运算量更快、识别率高的基于计算机视觉的复杂环境下果蔬识别方法。

为解决上述技术问题，本发明的技术方案是：

一种基于计算机视觉的复杂环境下果蔬识别方法，其特征在于，步骤如下：

(1)获取待识别果蔬图像；

(2)将获取到的果蔬图像进行预处理，预处理后的图像被分割为果蔬区域和背景区域；图像的分割成功与否，直接影响到后期果蔬能否正确识别，我们分别在RGB,HSV,Lab等颜色空间，以及a*R+b*G+c*B,单通道H，S等不同的空间，采用Otsu，Norm.Cut，K-mean等众多分割方法，结果发现仅有本发明提出的分割方法能够较好的实现果蔬图像的分割。

预处理的具体步骤为：

(a)对图片进行切割处理，切掉不必要的外界干扰；

(b)改变切割图像的大小，使得图片的处理速度进一步加快；

(c)对切割后的图片进行中值滤波；

(d)首先将RGB彩色图像转换到Lab彩色空间中，然后采用K-mean方法对图片进行分割；

(e)对分割后的图片进行空洞填充处理；

(f)将滤波后的图片与填充空洞图片进行交集运算，得到最终的分割图片；

(3)提取预处理后的果蔬图像特征，其中提取的图像特征为颜色特征和纹理特征；

(4)采用自适应加权方法对果蔬特征进行融合：

特征融合中，权值的选取往往决定了融合效果的好坏，采用测试样本与数据库样本之间的最小距离的倒数作为权重，这种方法在特征的维数相同，贡献度相近时融合效果较好，但当特征维数不同时，容易出现个别特征权重过大的情况，使得融合后的识别效果反倒不如融合前的识别效果。本发明提出首先采用指数函数将最小距离倒数权值中的较小权重变大，较大权重变小，然后采用求取均值的方式，得到一种新的特征融合权值，从而解决上述问题。特征融合的具体步骤为：

(a)分别计算待识别样本的N个特征与对应N个特征数据库的距离，得到N个距离向量，分别求取N个距离向量中的最小值；

(b)求取N个距离向量最小值的倒数，并将其归一化，得到N个特征融合权值，定义为最小距离倒数权重；

(c)为了使最小距离倒数权值中的较小权重变大，较大权重变小，求取最小距离倒数权重的指数，并将其归一化，得到N个新的权值，定义为指数最小距离倒数权重向量；

(d)考虑到指数函数对最小距离倒数权重改变幅度过大，求取最小距离倒数权重与指数最小距离倒数权重的均值，并将其归一化，得到N个新的权值，定义为调和自适应权值向量；

(e)采用调和自适应权值向量对特征进行融合；

(5)采用最近邻分类算法对果蔬进行识别。

本发明的优点和效果在于：

1.本发明采用的自适应图像分割技术，且能较好地将果蔬与背景图像分割开来，提高了后期分类的识别率；

2.本发明采用的特征提取方法，运算复杂度低，识别率高，更适合实际应用；

3.本发明提出的自适应特征融合方法，能够更好地将各特征融合，取得更高的识别率；本发明的其他优点和效果将在下面继续描述。

附图说明

图1——基于计算机视觉的果蔬识别方法流程图。

图2——果蔬图像采集装置。

图3——图像预处理图，其中a为原始图，b为切割图，c为中值滤波图，d为分割图，e为填充图，f为最终图。

图4——特征融合流程图。

具体实施方式

下面结合附图和实施例，对本发明所述的技术方案作进一步的阐述。

图1所示为依照本发明一种实施方式的果蔬识别方法流程图。从图1可以看出，该方法包括以下步骤：

(1)获取待识别果蔬图像

图2给出了果蔬图片的获取装置，装置中所采用的称为超市中常见的电子称，其中秤盘大小为32cm*24cm，摄像头距称盘的垂直高度为32cm,摄像头中心距秤盘的倾斜距离为40cm,即摄像头角度约为36.87°，图像采集摄像头为30W像素摄像头模块，采集到的果蔬图片以jpg格式保存，图片大小为640*480。

(2)将获取到的果蔬图像进行预处理，预处理后的图像被分割为果蔬区域和背景区域具体步骤如下所示；

步骤1：对图片进行切割处理，切掉不必要的外界干扰背景，得到大小为560*412的切割图片，如图3(b)所示；

步骤2：对图片进行压缩，使得图片大小变为280*206；

步骤3：对压缩后的图片进行中值滤波，如图3(c)所示；

步骤4：将RGB彩色图像转换到Lab彩色空间中，采用K-mean方法对图片进行分割，分割后的图片如图3(d)所示；

步骤5：对3(d)中图片进行空洞填充处理，得到填充后的图片3(e)；

步骤6：将3(c)滤波图片与3(e)填充空洞图片进行交集运算，得到最终的分割图片(f)。

(3)提取预处理后的果蔬图像特征

分别提取图像的颜色和纹理统计特征，其中颜色特征为HSV颜色直方图特征，纹理特征为局部二值模式(Local Binary Patterns,LBP)特征；其中HSV颜色直方图特征提取方法如下所示：

(a)将RGB颜色空间图片转换到HSV颜色空间；

(b)对HSV空间的3个分量H,S,V分别进行量化，其中H被量化为16份，S和V都为4份；

(c)对量化后的H,S,V三个颜色通道取不同的权值组成一个新的特征向量，如公式(5)所示,公式(1)中H,S,V分别为量化后的颜色分量，Q_S,Q_V分别为S,V的量化级数。

L＝H×Q_S×Q_V+S×Q_V+c*V (5)

其中，L的取值范围为[0,1,2,…,255],用一维直方图来表示上式计算出的L。

局部二值模式(LBP)特征提取步骤如下：

对于图像中的任一个点p＝[x,y]，给定它的3×3邻域，中心像素点p被看做为一个阈值，像素点p的邻域被定义为N(p,i)＝[x_i,y_i]，i＝0,1,…,7，经过LBP编码后的p点像素值可由公式(6)算得，

$LBP\left(p\right)=\underset{i=0}{\overset{7}{\Σ}}{2}^{i}S\{G\[N(p,i)\]-G\left(p\right)\}---\left(6\right)$

其中G(p)为p点的像素值，G[N(p,i)]为N(p,i)点的像素值，S是一个阈值函数，其定义如下：

$S(x_i-x_c)=\left\{\begin{array}{cc}1& x_i>x_c\\ 0& x_i\≤x_c\end{array}\right.---\left(7\right)$

经过(6)式编码后，可以得到一副新的图像，称为LBP图谱，计算LBP图谱的统计直方图，并将其用来进行果蔬识别。

(4)采用自适应加权方法对果蔬特征进行融合；

设TtrainLBP，TtrainHSV分别表示数据库中的图片提取到的LBP和HSV特征，y^lbp和y^hsv分别表示提取到的测试样本的LBP和HSV特征，dist^lbp表示y^lbp和TtrainLBP的Bhattacharyya距离，dist^hsv表示y^hsv和TtrainHSV的Bhattacharyya距离，为dist^lbp中的最小值，为dist^hsv中的最小值，dist^hsv+lbp为融合特征。

图4给出了特征融合的流程图，特征融合及权值估计具体操作流程如下所示：

a)首先计算测试样本y^lbp和y^hsv与数据库TtrainLBP，TtrainHSV的Bhattacharyya距离，求取Bhattacharyya距离最小值

b)求取的倒数，并将其归一化，得到最小距离倒数权重w1，w2，如公式(8),(9)所示；

$w1=\frac{{\mathrm{dist}}_{\min }^{hsv}}{{\mathrm{dist}}_{\min }^{lbp}+{\mathrm{dist}}_{\min }^{hsv}}---\left(8\right)$

$w2=\frac{{\mathrm{dist}}_{\min }^{lbp}}{{\mathrm{dist}}_{\min }^{lbp}+{\mathrm{dist}}_{\min }^{hsv}}---\left(9\right)$

c)求取w1，w2的指数，并将其归一化，得到指数最小距离倒数权重w1',w2'；

$w{1}^{\′}=\frac{\exp \left(w1\right)}{\exp \left(w1\right)+\exp \left(w2\right)}---\left(8\right)$

$w{2}^{\′}=\frac{\exp \left(w2\right)}{\exp \left(w1\right)+\exp \left(w2\right)}---\left(9\right)$

d)求取w1,w2，w1',w2'的均值，并将其归一化，得到调和自适应权值w1″,w2″；

$w{1}^{\′\′}=\frac{w1+w{1}^{\′}}{w1+w{1}^{\′}+w2+w{2}^{\′}}---\left(10\right)$

$w{2}^{\′\′}=\frac{w2+w{2}^{\′}}{w1+w{1}^{\′}+w2+w{2}^{\′}}---\left(11\right)$

e)对采用调和自适应权值对特征进行融合

dist^hsv+lbp＝w1″×dist^lbp+w2″×dist^hsv (12)

(5)采用分类算法对果蔬进行识别。

由于最近邻算法，计算量小，且识别率高，本发明采用最近邻算法作为最终的识别算法。

一.性能评价

表1给出了苹果、香蕉、西兰花、黄瓜、火龙果、猕猴桃、桃子、梨、青菜、生菜、土豆、番茄12种果蔬图片的matlab仿真识别效果，其中数据库中每种果蔬包含72张图片提取到的特征，每种果蔬选取48张图片进行测试，其中表格中top three表示输出3种结果。

Matlab仿真结果表明本发明识别效率高。

表1基于调和自适应加权特征多特征融合效果

采用opencv在linux***下编写程序，并上述算法程序移植到基于ARM cortex A8的果蔬识别***上。识别果蔬除了上述实验采用的12种外，加入了葡萄，共13种果蔬；数据库由936张图片(每种果蔬72张)提取到的HSV、LBP特征构成。

表2给出了在实际情况下，每种果蔬20次测试结果，从表二可以看出，本发明识别率高，且识别速度快，具备实用性。

表2不同环境下果蔬识别效果

本发明请求保护的范围并不仅仅局限于本具体实施方式的描述。

Claims (1)

1.一种基于计算机视觉的复杂环境下果蔬识别方法，其特征在于，包括以下步骤：

(1)获取待识别果蔬图像；

(2)将获取到的果蔬图像进行预处理，预处理后的图像被分割为果蔬区域和背景区域；

预处理的具体步骤为：

(a)对图片进行切割处理，切掉外界干扰；

(b)改变切割图像的大小，使得图片的处理速度进一步加快；

(c)对切割后的图片进行中值滤波；

(d)首先将RGB彩色图像转换到Lab彩色空间中，然后采用K-mean方法对图片进行分割；

(e)对分割后的图片进行空洞填充处理；

(f)将滤波后的图片与填充空洞图片进行交集运算，得到最终的分割图片；

(3)提取预处理后的果蔬图像特征，其中图像特征为颜色特征和纹理特征，颜色特征为HSV颜色特征，纹理特征为LBP纹理特征；

(4)采用自适应加权方法对果蔬特征进行融合，特征融合的具体步骤为：

(a)分别计算待识别样本的HSV颜色特征和LBP纹理特征与数据库样本对应特征的距离，得到2个距离向量dist^LBP，dist^HSV，分别求取2个距离向量中的最小值，分别记为最小值

(b)求取2个距离向量最小值的倒数，并将其归一化，得到2个特征融合权值w1，w2，定义为最小距离倒数权重；

$w1=\frac{{\mathrm{dist}}_{\min }^{HSV}}{{\mathrm{dist}}_{\min }^{LBP}+{\mathrm{dist}}_{\min }^{HSV}}---\left(1\right)$

$w2=\frac{{\mathrm{dist}}_{\min }^{LBP}}{{\mathrm{dist}}_{\min }^{LBP}+{\mathrm{dist}}_{\min }^{HSV}}---\left(2\right)$

(c)求取最小距离倒数权重的指数，并将其归一化，得到新的权值，定义为指数最小距离倒数权重向量w1',w2'；

$w{1}^{\′}=\frac{\exp \left(w1\right)}{\exp \left(w1\right)+\exp \left(w2\right)}---\left(3\right)$

$w{2}^{\′}=\frac{\exp \left(w2\right)}{\exp \left(w1\right)+\exp \left(w2\right)}---\left(4\right)$

(d)求取最小距离倒数权重与指数最小距离倒数权重的均值，并将其归一化，得到新的权值，定义为调和自适应权值向量w1”,w2”；

$w{1}^{\′\′}=\frac{w1+w{1}^{\′}}{w1+w{1}^{\′}+w2+w{2}^{\′}}---\left(5\right)$

$w{2}^{\′\′}=\frac{w2+w{2}^{\′}}{w1+w{1}^{\′}+w2+w{2}^{\′}}---\left(6\right)$

(e)采用调和自适应权值向量对特征进行融合；

dist^hsv+lbp＝w1”×dist^lbp+w2”×dist^hsv (7)

式中dist^hsv+lbp表示融合特征距离；

(5)采用最近邻分类算法对果蔬进行识别。