CN109961049A - 一种复杂场景下香烟品牌识别方法 - Google Patents

Abstract

本发明公开了一种复杂场景下香烟品牌识别方法，对原始彩色图像进行灰度化处理，结合图像滤波消除噪声干扰，并利用改进的Sobel边缘算子对预处理后的图像边缘粗略定位，通过数学形态学操作等细化处理获得二值图像的块状连通候选区域，送入深度学习神经网络Faster RCNN模型进行精确定位和识别。本发明通过边缘检测截取候选区域降低背景对检测性能的干扰，同时改进的Sobel算子结合货架香烟图片特点着重检测垂直方向边缘；本发明中Faster RCNN检测模型针对香烟尺寸与形状特征对区域建议网络中锚框尺度和比例进行修改，降低小目标的漏检概率，提高检测和识别准确率。

Description

一种复杂场景下香烟品牌识别方法

技术领域

本发明涉及计算机视觉技术领域，尤其是一种复杂场景下香烟品牌识别方法。

背景技术

我国是世界上最大的烟草生产和消费国，香烟作为烟草制品的一种，其产销量和增产速度均位居世界前列。根据烟草成分和制作工艺的不同，香烟品质存在较大差异，烟草公司将香烟划分成不同品牌，并利用外壳图案、文字标识等特征加以区分。现阶段，香烟品牌的分类主要以人工为主，也开发出一些利用条形码信息自动分类的技术。然而，针对大量排布密集的香烟，例如超市烟柜，部分香烟外观相似度较大，且条形码位于包装外壳的侧边，目前尚未形成能够在短时间内统计香烟品牌信息的***方法。

近年来，随着计算机视觉检测技术的快速发展，摄像机和电脑逐步代替人眼对目标进行检测、识别和跟踪，将这一技术应用到复杂背景下排布规律的货架香烟品牌识别及统计，理论上可获得较好的性能。现阶段根据特征提取方式的不同，目标检测算法可大致分为传统的目标检测算法和基于深度学习的目标检测算法。传统的目标检测算法首先生成候选区域，对目标位置进行初步确定，多采用滑动窗口遍历算法，之后利用手工方式提取特征，最后将这些特征输入分类器进行分类。在候选区域生成过程中，采用滑动窗口遍历算法虽然能够较为全面的给出目标可能出现的区域，但是需对整幅图像进行遍历，计算复杂度高，并且会产生大量的冗余窗口。并且基于手工方式提取的特征，例如梯度方向直方图(Histogram of Oriented Gradient,HOG)、尺度不变特征(Scale Invariant FeatureTransform,SIFT)、哈尔特征(Haar-like)等，多为单一特征并且缺乏鲁棒性，考虑到货架香烟种类较多，每幅图像中约有50至100种香烟，单个香烟所占像素较少，即目标尺寸较小，并且同一大品牌下的各小品牌的外观相似，因此传统的目标检测方法无法适用于此类大量、相似并且尺寸较小的目标检测场景。

基于深度学习的目标检测算法能够较好地克服传统算法的缺点，目前深度学习的目标检测方法主要集中在两个方向：基于候选框和深度卷积神经网络的目标检测算法和基于回归计算的目标检测算法。这两类方法不仅需要获取目标的类别概率，而且还需对目标进行定位。基于候选框的检测算法事先划分出一些可能存在目标的区域，即区域推荐过程，再针对这些区域结合卷积神经网络提取的特征图进行分类和坐标位置精修，典型的算法有RCNN(Region with Convolutional Neural Network)系列算法。基于回归计算的检测方法则直接对图像划分网格，相当于将区域推荐过程简化为固定数量的网格划分，之后对网格进行预测，一步提取物体的类别概率和位置坐标值，例如YOLO(You Only Look Once)系列算法。因此，与基于候选框的检测算法相比，该类方法检测速度提升明显，但由于划分网格数目远小于区域推荐生成的候选框数目，会导致目标漏检概率升高。

目前针对货架香烟的品牌识别与统计，相比于运行速度，***对检测和识别准确率的要求更高，因此基于候选框的目标检测算法更加适用于该场景，RCNN系列算法中Faster RCNN和R-FCN(Region-based Fully Convolutional Network)模型是目前的主流检测算法，这两类算法将候选区域生成、特征提取、目标分类和位置回归统一到一个深度网络框架中，因此相比于原先的RCNN、Fast RCNN算法，检测速度有了明显的提升。此外，这两类算法基于特征提取网络利用区域建议网络(Region Proposal Network,RPN)生成一定数量的候选框，避免因目标中心不在网格内造成漏检现象。然而，由于背景复杂，香烟的尺度较小和无缝隙排列，仅利用Faster RCNN和R-FCN算法无法准确、全面的获得目标的位置和品牌信息。

综上所示，针对货架香烟背景复杂，排布密集且尺寸较小的品牌识别问题，现有端到端的目标检测算法还存在一定的缺陷，需要一种***的、具有较高精度的、计算复杂度较低的品牌识别和统计方法。

发明内容

本发明所要解决的技术问题在于，提供一种复杂场景下香烟品牌识别方法，能够有效降低小目标漏检概率的分步检测方法。

为解决上述技术问题，本发明提供一种复杂场景下香烟品牌识别方法，包括如下步骤：

(1)对待测图像进行预处理操作，将原始图像通过高斯滤波器滤除部分噪声，降低噪声对后续边缘微分计算的干扰；

(2)基于改进的Sobel算子对图像中的像素点(x,y)的灰度值f(x,y)逐个求解梯度值，获得梯度图像；

(3)经差分计算的图像边缘一般是孤立的或分段连续的，利用9×9内核低通滤波器滤除梯度图像的高频噪声，得到边界相对平滑的模糊图像，通过对其设定合适的阈值获取二值图像，此时图像存在较多的干扰区域；

(4)对粗糙的二值图像进行数学形态学操作，选择25×25矩形结构元对二值图像进行一次闭运算，对目标影像内的细小空间进行填充，平滑边界；

(5)对处理后的二值图像先后进行4次腐蚀和膨胀操作，腐蚀能够消除图像中的边界点，去除小且无意义的物体，膨胀将扩展目标边界，填补物体分割后的空洞使每横排香烟形成块状连通区域；

(6)对于二次处理的二值图像提取目标轮廓，由于纵向方向上相邻两排存在间隔，且互不包含，因此仅需检测外轮廓，获得目标轮廓各点坐标映射至原始彩色图像，并利用矩形框截取相应区域；

(7)构建Faster RCNN网络的训练样本集、验证样本集和测试样本集，样本集图片为横向规律排布货架香烟，利用加噪、调整亮度等方法对数据集进行增广；

(8)将图片输入VGG16基础特征提取网络，获得的特征图一方面输入区域建议网络RPN生成候选框Proposal，另一方面用于后续ROI Pooling处理；

(9)针对货架香烟尺寸调整RPN网络中锚框(anchor)的尺度(scale)和长宽比例(ratio)，并使用非极大值抑制算法对RPN网络输出的相互重叠的边界框进行筛选，设定训练阶段选取2000个候选框，测试阶段选取300个候选框；

(10)利用ROI Pooling将RPN网络生成的候选框映射到VGG16基础特征网络生成的特征图上，获得感兴趣的目标区域(Regions of Interest，ROIs)，并经过池化操作将ROIs调整到固定尺寸；

(11)将获得的ROIs特征输入全连接层，通过Softmax计算每一候选框的类别得分，并利用边框回归对候选框的位置进行精修，输出位置坐标；

(12)利用数据集对Faster RCNN模型进行训练，将边缘检测提取的矩形区域送入训练所得模型进行货架香烟的精确检测和识别。

优选的，步骤(2)中，基于改进的Sobel算子对图像中的像素点(x,y)的灰度值f(x,y)逐个求解梯度值，获得梯度图像具体为：鉴于货架香烟采用横向排布方式，相邻两横排存在明显间隔，改进的Sobel边缘检测算子增加检测垂直方向卷积模板的权重，降低检测水平方向的模板权重，并利用绝对值代替开平方近似求解梯度值，降低计算复杂度，计算公式如下：

|G|＝1.5×|G_x|+0.5×|G_y|

其中，G为求得的梯度图像，G_x(x,y)表示水平方向梯度值，G_y(x,y)表示垂直方向梯度值。

本发明的有益效果为：本发明通过边缘检测截取候选区域降低背景对检测性能的干扰，同时改进的Sobel算子结合货架香烟图片特点着重检测垂直方向边缘；本发明中Faster RCNN检测模型针对香烟尺寸与形状特征对区域建议网络中锚框尺度和比例进行修改，降低小目标的漏检概率，提高检测和识别准确率。

附图说明

图1为本发明的方法流程示意图。

图2为本发明Faster RCNN检测模块中区域建议网络RPN结构示意图。

图3为本发明边缘检测模块中基于改进的Sobel算子获得的梯度图像示意图。

图4为本发明中梯度图像经过低通滤波、二值化处理和形态学操作后获得的图像示意图。

图5为本发明基于边缘检测初步定位的目标轮廓图像示意图。

图6(a)为本发明经过边缘检测模块截取的候选区域送入Faster RCNN模型的识别结果示意图。

图6(b)为本发明经过边缘检测模块截取的候选区域送入Faster RCNN模型的识别结果示意图。

图6(c)为本发明经过边缘检测模块截取的候选区域送入Faster RCNN模型的识别结果示意图。

图6(d)为本发明经过边缘检测模块截取的候选区域送入Faster RCNN模型的识别结果示意图。

图6(e)为本发明经过边缘检测模块截取的候选区域送入Faster RCNN模型的识别结果示意图。

图6(f)为本发明经过边缘检测模块截取的候选区域送入Faster RCNN模型的识别结果示意图。

具体实施方式

如图1所示，一种复杂场景下香烟品牌识别方法，包括如下步骤：

步骤1：对待测图像进行预处理操作，将原始图像通过高斯滤波器滤除部分噪声，降低噪声对后续边缘微分计算的干扰；

步骤2：基于改进的Sobel算子对图像中的像素点(x,y)的灰度值f(x,y)逐个求解梯度值，获得梯度图像。鉴于货架香烟采用横向排布方式，相邻两横排存在明显间隔，改进的Sobel边缘检测算子增加检测垂直方向卷积模板的权重，降低检测水平方向的模板权重，并利用绝对值代替开平方近似求解梯度值，降低计算复杂度，计算公式如下：

|G|＝1.5×|G_x|+0.5×|G_y|

其中，G为求得的梯度图像，G_x(x,y)表示水平方向梯度值，G_y(x,y)表示垂直方向梯度值。

步骤3：经差分计算的图像边缘一般是孤立的或分段连续的，利用9×9内核低通滤波器滤除梯度图像的高频噪声，得到边界相对平滑的模糊图像，通过对其设定合适的阈值获取二值图像，此时图像存在较多的干扰区域；

步骤4：对粗糙的二值图像进行数学形态学操作，选择25×25矩形结构元对二值图像进行一次闭运算，对目标影像内的细小空间进行填充，平滑边界；

步骤5：对处理后的二值图像先后进行4次腐蚀和膨胀操作，腐蚀能够消除图像中的边界点，去除小且无意义的物体，膨胀将扩展目标边界，填补物体分割后的空洞使每横排香烟形成块状连通区域；

步骤6：对于二次处理的二值图像提取目标轮廓，由于纵向方向上相邻两排存在间隔，且互不包含，因此仅需检测外轮廓，获得目标轮廓各点坐标映射至原始彩色图像，并利用矩形框截取相应区域；

步骤7：构建Faster RCNN网络的训练样本集、验证样本集和测试样本集，样本集图片为横向规律排布货架香烟，利用加噪、调整亮度等方法对数据集进行增广；

步骤8：将图片输入VGG16基础特征提取网络，获得的特征图一方面输入区域建议网络RPN生成候选框Proposal，另一方面用于后续ROI Pooling处理；

步骤9：针对货架香烟尺寸调整RPN网络中锚框(anchor)的尺度(scale)和长宽比例(ratio)，并使用非极大值抑制算法对RPN网络输出的相互重叠的边界框进行筛选，设定训练阶段选取2000个候选框，测试阶段选取300个候选框；

步骤10：利用ROI Pooling将RPN网络生成的候选框映射到VGG16基础特征网络生成的特征图上，获得感兴趣的目标区域(Regions of Interest,ROIs)，并经过池化操作将ROIs调整到固定尺寸；

步骤11：将获得的ROIs特征输入全连接层，通过Softmax计算每一候选框的类别得分，并利用边框回归对候选框的位置进行精修，输出位置坐标；

步骤12：利用数据集对Faster RCNN模型进行训练，将边缘检测提取的矩形区域送入训练所得模型进行货架香烟的精确检测和识别。

图1给出本发明的实现流程框图，包含边缘检测和基于深度学***和垂直方向的梯度权重，使算法更加侧重于检测垂直方向的边缘点。经过形态学处理后，进一步平滑边界，填补影像空缺，获得横向块状连通区域。将该候选区域送入深度学习Faster RCNN模块中进行目标分类和识别，调整RPN区域建议网络生成锚框的尺度和比例使之适用于香烟品牌识别场景。

图2为Faster RCNN模块中RPN区域建议网络结构图。RPN网络与基础特征提取网络共享特征层。基础特征提取网络采用的VGG16网络包含13个卷积层，4个2×2最大池化层，因此conv5_3输出的特征图尺寸为原图尺寸的1/16。特征图上每一像素点为中心点生成k个大小、形状均不相同的锚框(anchor)并映射至原始图像，映射比例为16。将生成的锚框送入Softmax分类器计算该锚框属于前景或背景的概率，即判定该锚框内是否存在目标。同时，在训练过程中对包含目标的锚框进行位置回归，获得相对精确的坐标信息。鉴于这种方式生成的边界框与其他边界框存在包含或交叉的情况，若将所有边界框进行ROI Pooling操作，再映射回特征图获得感兴趣目标区域的特征，计算复杂度较高，因此采用基于交并比的非极大值抑制算法对互相重叠的边界框进行筛选，保留其中概率最高，并且抑制概率低的边界框，最终获得符合条件的候选框。

图3为基于改进的Sobel算子经边缘检测获得的梯度图像。原始图像首先通过高斯滤波预处理操作，减少噪声造成的干扰。传统的Sobel算子利用水平和垂直方向卷积模板等权重地计算每个像素点对应的梯度值，而在货架香烟边缘检测模块中，期望获得以横排为单位的块状连通区域，由于货架上香烟横向紧密排布，纵向存在明显间隔，本发明侧重纵向，即垂直方向上的边缘检测，因此增加检测垂直方向边缘点的水平卷积模板的权重值，降低检测水平方向边缘点的垂直卷积模板的权重。对图3进行分析，垂直方向的边缘点能够被较好地检测出来，此外，改进的Sobel算子也检测出单个烟盒中的边缘点，结合原始彩色图像进行分析，相对于货架隔断颜色单一，烟盒的颜色与图案要复杂许多，这将造成相应区域灰度值变化剧烈，但是这些被检测出的边缘点多是孤立的或者分段连续的，从而无法分辨出这些边缘点是由于两种品牌的香烟的外壳包装不同引起的，还是由于同一种品牌香烟外壳上花纹或图案引起的。因此仅利用传统边缘检测算法无法准确地分割出单个香烟的区域再进行后续识别。

图4是货架香烟经过细化处理后的二值图像，将改进的Sobel算子计算获得的梯度图像首先通过低通滤波器，然后进行二值化处理，本发明中设定阈值为80，最后经过数学形态学操作。对图4进行分析，由于光线、拍摄等多种因素以及烟盒外观的影响，经微分计算获得的梯度图像中的边缘点并不连续，并且存在许多噪点，此时选取阈值对图像进行二值化处理较为困难，因此先对图像采用低通滤波器消除部分高频噪声获得模糊图像再进行二值化处理。这种情况下的模糊图像还存在较多的干扰区域，需要进行数学形态学处理。首先，采用25×25的矩形结构元对该模糊图像进行一次闭运算，对间断的目标影像的细小空间进行填充，并平滑边界，然后进行4次腐蚀操作，消除二值图像中的边界点，去除小且无意义的物体，之后再进行4次膨胀操作，扩展目标边界，填补物体分割造成的空洞，这样每排的香烟可大致形成横向块状连通区域。

图5是基于边缘检测和数学形态学操作生成的块状连通区域提取目标轮廓的图像。鉴于相邻横排香烟存在间隔，且不存在轮廓包含关系，我们采用只检测外轮廓的方法进行边缘提取和输出。从图中可以看出，该货架共有6横排香烟，经改进的Sobel边缘检测算法均能完整、准确提取。

图6(a)、图6(b)、图6(c)、图6(d)、图6(e)和图6(f)是原始图像经边缘检测模块提取候选区域输入Faster RCNN模型中的香烟品牌识别结果。Faster RCNN网络训练参数如下：单次训练选取的样本数为16，训练次数为100000，锚框的尺度设置为{64²,128²,256²}，长宽比设置为{1:2,1:1,2:1,4:1}。图中货架上共有66种品牌的香烟，能够检测出63种，则检测的准确率为95.45％，其中正确识别出59种，即识别准确率为89.39％。而未经边缘检测模块提取候选域的单步深度学习检测算法，除去重复框定的香烟，则能够检测出54种香烟，准确识别其中51种，则单步检测算法的检测率和识别率分别为81.81％和77.27％。因此，基于边缘检测和深度学习的分步检测算法能够有效提高大量密集排布、且目标尺寸较小的货架香烟检测和品牌识别的准确率。

表1是RPN区域建议网络中设定锚框的比例为{1:2,1:1,2:1}时，采用{32²,64²,128²}，{64²,128²,256²}，{128²,256²,512²}三种不同锚框尺寸的分步检测算法的识别准确率和算法运行时间。对表格数据进行分析，可以发现当锚框尺寸设定为{64²,128²,256²}能够获得最优的识别准确度，这是因为在待测图片中，单个货架上存在大量香烟目标，则每个香烟所占的图片像素较少，即目标尺寸较小，若锚框尺寸设定过大，从特征图映射回原始图像过程中，可能会因为两个类别的目标存在于同一锚框中而造成目标漏检的现象。然而，如果锚框尺寸设定过小，则同一类别的目标被多个锚框选中，不仅增加后续非极大值抑制算法的计算复杂度，而且有可能造成目标特征的分离降低识别的准确率。

表1三种不同锚框尺寸的分步检测算法的识别准确率和算法运行时间

表2是RPN区域建议网络中采用三种锚框比例{1:2,1:1,2:1}，{1:1,2:1,4:1}，{1:2,1:1,2:1,4:1}，固定锚框尺寸为{64²,128²,256²}时的分步检测算法的识别准确率和算法运行时间。当检测模型使用{1:2,1:1,2:1,4:1}四种锚框比例时，识别准确率最优，与此同时，由于特征图中每一像素点需生成以该点为中心点的12个锚框，因此与三种锚框比例生成9种锚框的模型相比，运行时间有所增加。{1:2,1:1,2:1}是模型初始设定的锚框比例，鉴于香烟外壳多为竖向矩形，即目标的长度大于宽度，因此增加锚框比例4:1用于检测和识别。对表中数据进行分析，可以发现三种锚框比例下识别准确度相差较小，这是因为待识别的烟盒的长宽比在1:1到2:1之间，增加这之外的锚框比例对识别准确率的影响较小。

表2分步检测算法的识别准确率和算法运行时间

Claims (2)

1.一种复杂场景下香烟品牌识别方法，其特征在于，包括如下步骤：

(1)对待测图像进行预处理操作，将原始图像通过高斯滤波器滤除部分噪声，降低噪声对后续边缘微分计算的干扰；

(2)基于改进的Sobel算子对图像中的像素点(x,y)的灰度值f(x,y)逐个求解梯度值，获得梯度图像；

(3)经差分计算的图像边缘一般是孤立的或分段连续的，利用9×9内核低通滤波器滤除梯度图像的高频噪声，得到边界相对平滑的模糊图像，通过对其设定合适的阈值获取二值图像，此时图像存在较多的干扰区域；

(4)对粗糙的二值图像进行数学形态学操作，选择25×25矩形结构元对二值图像进行一次闭运算，对目标影像内的细小空间进行填充，平滑边界；

(5)对处理后的二值图像先后进行4次腐蚀和膨胀操作，腐蚀能够消除图像中的边界点，去除小且无意义的物体，膨胀将扩展目标边界，填补物体分割后的空洞使每横排香烟形成块状连通区域；

(6)对于二次处理的二值图像提取目标轮廓，由于纵向方向上相邻两排存在间隔，且互不包含，因此仅需检测外轮廓，获得目标轮廓各点坐标映射至原始彩色图像，并利用矩形框截取相应区域；

(7)构建Faster RCNN网络的训练样本集、验证样本集和测试样本集，样本集图片为横向规律排布货架香烟，利用加噪、调整亮度方法对数据集进行增广；

(8)将图片输入VGG16基础特征提取网络，获得的特征图一方面输入区域建议网络RPN生成候选框Proposal，另一方面用于后续ROI Pooling处理；

(9)针对货架香烟尺寸调整RPN网络中锚框anchor的尺度scale和长宽比例ratio，并使用非极大值抑制算法对RPN网络输出的相互重叠的边界框进行筛选，设定训练阶段选取2000个候选框，测试阶段选取300个候选框；

(10)利用ROI Pooling将RPN网络生成的候选框映射到VGG16基础特征网络生成的特征图上，获得感兴趣的目标区域ROIs，并经过池化操作将ROIs调整到固定尺寸；

(11)将获得的ROIs特征输入全连接层，通过Softmax计算每一候选框的类别得分，并利用边框回归对候选框的位置进行精修，输出位置坐标；

(12)利用数据集对Faster RCNN模型进行训练，将边缘检测提取的矩形区域送入训练所得模型进行货架香烟的精确检测和识别。

2.如权利要求1所述的复杂场景下香烟品牌识别方法，其特征在于，步骤(2)中，基于改进的Sobel算子对图像中的像素点(x,y)的灰度值f(x,y)逐个求解梯度值，获得梯度图像具体为：鉴于货架香烟采用横向排布方式，相邻两横排存在明显间隔，改进的Sobel边缘检测算子增加检测垂直方向卷积模板的权重，降低检测水平方向的模板权重，并利用绝对值代替开平方近似求解梯度值，降低计算复杂度，计算公式如下：

|G|＝1.5×|G_x|+0.5×|G_y|

其中，G为求得的梯度图像，G_x(x,y)表示水平方向梯度值，G_y(x,y)表示垂直方向梯度值。