CN105069466A - 基于数字图像处理的行人服饰颜色识别方法 - Google Patents

Abstract

本发明公开了一种基于数字图像处理的行人服饰颜色识别方法，包括：(1)采用HOG特征描述算子结合SVM分类器的行人检测方法采集行人图像；(2)采用Sobel算子检测行人边缘轮廓形状，得到待搜索图像；(3)制作行人轮廓形状模板，并将行人轮廓形状模板与待搜索图像中相应的区域进行匹配，得到行人的上半身和下半身图像；(4)采用种子填充方法分别对行人上半身和下半身区域的服饰颜色进行连通区域标记；(5)对颜色连通区域进行颜色特征提取；(6)利用SVM分类器进行颜色分类判别，得到行人服饰颜色，并输出最终结果。本发明提高了行人服饰颜色的识别精度，为危险区域规范着装的执行带来了很大的保障，消除了安全隐患。

Description

基于数字图像处理的行人服饰颜色识别方法

技术领域

本发明涉及一种颜色识别方法，属于图像处理技术领域，具体涉及的是一种基于数字图像处理的行人服饰颜色识别方法。

背景技术

安全是电力、油气田等特殊领域永恒的主题。近年来，油气田、电力等行业的各种安全事故时有发生，如何加强油气田、电力企业的安全生产能力和提高其管理水平已经成为相关人员必须面对的首要问题。

油气田、电力等领域的安全隐患之一就是工作人员在指定工作区域不严格执行着装要求，不按规定穿特制的安全服。与此同时，随着国家对安全生产作业越来越重视，油气田、电力等行业出现越来越多的视频监控***。但现有的监控***，大多停留在视频录像、存储、查询检索等阶段，因而对行人服饰颜色的判别有着较大的误差，难以准确识别出行人在油气田、电力等指定工作区域中的着装是否符合要求，从而导致相应的安全隐患一直存在。

发明内容

本发明的目的在于提供一种基于数字图像处理的行人服饰颜色识别方法，主要解决现有技术由于对行人服饰颜色识别误差较大而存在安全隐患的问题。

为了实现上述目的，本发明采用的技术方案如下：

基于数字图像处理的行人服饰颜色识别方法，包括以下步骤：

(1)采用HOG特征描述算子结合SVM分类器的行人检测方法采集行人图像；

(2)采用Sobel算子检测行人边缘轮廓形状，得到待搜索图像；

(3)根据行人常见的姿态制作行人轮廓形状模板T，并将行人轮廓形状模板与待搜索图像中相应的区域进行匹配，得到行人的上半身和下半身图像；

(4)采用种子填充方法分别对行人上半身和下半身区域的服饰颜色进行连通区域标记；

(5)对得到的颜色连通区域进行颜色特征提取；

(6)根据提取的颜色特征，利用SVM分类器进行颜色分类判别，得到行人服饰颜色，并输出最终结果。

进一步地，所述步骤(3)中，行人轮廓形状模板与待搜索图像匹配的具体过程如下：

(a)将行人轮廓形状模板T在待搜索图像上从左到右、从上到下依次平移滑动，得到代表模板覆盖待搜索图像区域的子图S_i,j，其中，i、j表示子图的左上角在待搜索图像中的坐标；

(b)利用下列公式比较行人轮廓形状模板与各个子图的匹配程度：

$D(i,j)=\underset{m=1}{\overset{M}{\Σ}}\underset{n=1}{\overset{M}{\Σ}}{\[S_{i,j}(m,n)-T(m,n)\]}^2$

(c)选取D(i,j)的最小值，得到的位置(i,j)即为行人在图像中所在的位置，而行人的宽、高则分别等于行人轮廓形状模板T的宽、高。

具体地说，所述步骤(5)包括以下步骤：

(5a)将步骤(4)中标记的每个颜色连通区域均从RGB颜色空间分别变换到HSV颜色空间、YCbCr颜色空间和Lab颜色空间；

(5b)分别提取HSV颜色空间、YCbCr颜色空间和Lab颜色空间各自的均值、方差、能量和对比度，然后将之串联，得到颜色特征向量；

(5c)重复步骤(5a)、(5b)，将若干行人训练样本的颜色特征向量输入到SVM分类器中进行训练学习，得到SVM分类器模型；后续提取得到的颜色特征向量，只需将其送入至SVM分类器中即可实现分类判别。

与现有技术相比，本发明具有以下显著效果：

(1)本发明将现有的几种算法进行结合，利用行人检测、上下半身形状分割、颜色连通区域标记的方法，并设计和整合了模板匹配、颜色特征提取和分类判别的方式，从而可以有效地识别出行人服饰颜色，其识别精度相当高，识别的颜色基本不存在多少误差，如此一来，即可很好地方便管理者对危险区域着装方面的管理，为规范着装的执行带来了更大的保障，有效地消除了这方面的安全隐患。

(2)本发明设计合理，流程清晰、明了，非常适合在电力、油气田等特殊领域方面进行推广应用。

附图说明

图1为本发明的流程示意图。

图2为本发明-实施例的行人轮廓形状模板示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。

实施例

如图1所示，本发明提供了一种适用于油气田、变电站等特殊场合工人安全服着装检测识别的方法，其主要由行人检测、行人上半身和下半身形状分割、上半身和下半身服饰颜色连通区域标记、颜色特征提取、颜色分类判别和结果输出几大步骤组成。

一、行人检测

本发明采用HOG特征描述算子结合SVM分类器的行人检测方法采集行人图像。HOG(HistogramofOrientationGradient)特征是一种对图像局部重叠区域的密集型描述符，它通过计算局部区域的梯度方向直方图来构成特征。能够很好地描述人体的边缘，同时对光照变化和小量的偏移不敏感。HOG特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。

HOG特征的计算需要用到梯度的概念，图像中像素点(x,y)的梯度为：

G_x(x，y)＝H(x+1，y)-H(x-1，y)

G_y(x，y)＝H(x，y+1)-H(x，y-1)

上面式子当中的G_x(x，y)，G_y(x，y)，H(x，y)分别表示像素点(x,y)水平方向的梯度、垂直方向的梯度以及像素值。像素点(x,y)处的梯度幅值和梯度方向分别是：

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}$

$\mathrm{\α}(x,y)={\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)$

HOG特征提取的过程：把图像分割为若干个像素的单元(cell)，把梯度方向平均划分为9个区间(bin)，在每个单元里面对所有像素的梯度方向在各个方向区间进行直方图统计，得到一个9维的特征向量，每相邻的4个单元构成一个块(block)，把一个块内的特征向量联起来得到36维的特征向量，用块对样本图像进行扫描，扫描步长为一个单元。最后将所有块的特征串联起来，就得到了人体的特征。例如，对于64*128的图像而言，每2*2的单元(16*16的像素)构成一个块，每个块内有4*9＝36个特征，以8个像素为步长，那么，水平方向将有7个扫描窗口，垂直方向将有15个扫描窗口。也就是说，64*128的图片，总共有36*7*15＝3780个特征。

SVM是一种常见的分类器，它是从线性可分情况下的最优分类面提出的。所谓最优分类，就是要求分类线(或者分类面)不但能够将两类无错误的分开，而且两类之间的分类间隔最大。前者是保证经验风险最小，而使分类间隔最大实际上就是使得推广性中的置信范围最小。推广到高维空间，最优分类线就成为最优分类面。

二、行人上半身和下半身形状分割

通过上一步的检测和图像采集，已经得到了监控视频画面中行人的图像。然而，通常而言，行人并非在图像的正中位置，例如，行人的上半身可能呈现正面姿态，也可能呈现身体倾斜，偏头等姿态。而行人的下半身姿态更为复杂，例如，双腿可能并立，也可能分开呈现各种不同角度。如果直接将行人图像的上半部分当作行人的上半身，将行人图像的下半部分当作行人的下半身，以此来做行人服饰颜色的识别判定，必然会造成很大的误差。因此，有必要对行人的上半身、下半身形状进行准确分割，方便后续准确的服饰颜色识别判断。

本发明通过行人边缘轮廓形状检测和模板匹配的方式，对行人上半身和下半身形状进行分割，并得到相应的上半身和下半身图像。

行人边缘轮廓形状检测

边缘是图像最基本的特征，常用的边缘轮廓检测方法有：Robert算子、Sobel算子、Prewitt算子、Canny算子等。本发明使用Sobel算子进行边缘轮廓检测。其计算步骤如下：

对原图像进行高斯滤波，这里的高斯核如下所示：

$K=\frac{1}{2\mathrm{\π}\mathrm{\σ}*\mathrm{\σ}}{e}^{-\frac{x*x+y*y}{2\mathrm{\σ}*\mathrm{\σ}}}$

利用卷积模板计算梯度的幅值和方向

水平方向的梯度卷积模板如下所示：

$s_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

垂直方向的梯度卷积模板如下所示：

$s_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$

这里，为了表述方便，给出待处理像素点(i,j)的领域点标记矩阵，如下所示：

$K=\left[\begin{array}{ccc}{a}_0& a_1& a_2\\ a_7& \[i,j\]& a_3\\ a_6& a_5& a_4\end{array}\right]$

显然，可用数学公式表达其每个点的梯度幅值为：

$G\[i,j\]=\sqrt{s_x^2+s_y^2}$

s_x＝(a₂+2a₃+a₄)-(a₀+2a₇+a₆)

s_y＝(a₀+2a₁+a₂)-(a₆+2a₅+a₄)

梯度方向可以表示为：

θ(x,y)＝S_y/S_x

根据不同场景的具体需求，设置阈值，并进行分割，得到边缘轮廓和图像。

模板匹配

本发明根据行人常见的姿态制作了不同的行人轮廓形状模板T，如图2所示。根据制作的行人轮廓形状模板，将其与待搜索图像中相应的区域进行匹配，即在待搜索图像中寻找具有相同尺寸、大小和方向的图像，然后通过一定的方法确定目标所在的位置。其匹配的过程如下：

(1)将行人轮廓形状模板T在待搜索图像上从左到右、从上到下依次平移滑动，得到不同的代表模板覆盖待搜索图像区域的子图S_i,j，其中，i、j表示子图的左上角在待搜索图像中的坐标；

(2)利用下列公式比较行人轮廓形状模板与各个子图的匹配程度：

$D(i,j)=\underset{m=1}{\overset{M}{\Σ}}\underset{n=1}{\overset{M}{\Σ}}{\[S_{i,j}(m,n)-T(m,n)\]}^2$

(3)选取D(i,j)的最小值，得出与之对应的子图S_i,j，然后将行人轮廓形状模板与该子图进行匹配，即可得到行人的准确位置区域。

匹配完成后，便可得到相应的行人上半身和下半身形状图像。

三、上半身和下半身服饰颜色连通区域标记

显然，上一步虽然得到了行人的上半身、下半身形状图像，但通常而言，行人的衣服、裤子并非单纯的某一种颜色，而是呈现多种颜色的混合，例如格子或条纹衣服，或者衣服上有各种花纹、图案等。因此，有必要对上述得到的行人上半身、下半身区域的服饰颜色进行连通区域标记。

这里的颜色连通区域标记跟二值图像的连通区域检测方法类似，常见的连通区域标记方法有两遍扫描法和种子填充法两种。本发明采用种子填充方法来进行颜色连通区域的标记，其处理步骤如下：

初始化一个掩码图像B，其大小跟待计算颜色连通域的图像大小相同，B的所有像素均

赋值为0；

扫描图像，直到当前掩码像素点B(x,y)＝1；

(1)将当前坐标(x,y)处的像素作为种子像素，并赋予其一个label，然后将该种子像素的所有4邻域内的相似像素都压入堆栈中；其中，种子像素(x1,y1)与邻域像素(x2,y2)的相似度计算公式如下所示：

$d_{12}=\sqrt{{(x_1-x_2)}^2-{(y_1-y_2)}^2}$

(2)弹出堆栈栈顶像素，赋予其相同的label，然后再将与该栈顶像素相邻的所有前景像素都压入堆栈中；

重复步骤(2)，直到堆栈为空；

此时，便找到了图像B中的一个连通区域，该区域内的像素值被标记为label；

重复步骤(1)，直到扫描结束；扫描结束就可以得到图像中所有颜色分量的连通区域。

四、颜色特征提取

将上一步中标记的每个颜色连通区域均从RGB颜色空间变换到HSV颜色空间、YCbCr颜色空间和Lab颜色空间，其中：

RGB颜色空间转换到HSV颜色空间的计算公式如下：

M＝max(R，G，B)

m＝min(R，G，B)

C＝M-m

$H^{\′}=\left\{\begin{array}{ccc}undefined,& if& C=0\\ \frac{G-B}{C}\mathrm{mod}6,& if& B=R\\ \frac{B-R}{C}+2,& if& B=G\\ \frac{R-G}{C}+4,& if& M=B\end{array}\right.$

H＝60°×H′

V＝M

$S_{HSV}=\left\{\begin{array}{cc}0,& \begin{array}{cc}if& C=0\end{array}\\ \frac{C}{V},& otherwise\end{array}\right.$

RGB颜色空间转换到YCbCr颜色空间的计算公式如下：

Y＝0.257R+0.564G+0.098B+16

Cb＝-0.148R-0.291G+0.439B+128

Cr＝0.439R-0.368G-0.071B+128

RGB颜色空间转换到Lab颜色空间的计算公式如下：

RGB无法直接转换成Lab，需要先转换成XYZ再转换成Lab，即：RGB—>XYZ—>Lab

因此转换公式分两部分：

RGB转换成XYZ

$\left\{\begin{array}{c}R=gamma\left(\frac{r}{255.0}\right)\\ G=gamma\left(\frac{g}{255.0}\right)\\ B=gamma\left(\frac{b}{255.0}\right)\end{array}\right.$

其中，

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=M*\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

$\[M\]=\left[\begin{array}{ccc}0.436052025& 0.385081593& 0.143087414\\ 0.222491598& 0.716886060& 0.060621486\\ 0.013929122& 0.097097002& 0.714185470\end{array}\right].$

上面的gamma函数，是用来对图像进行非线性色调编辑的，目的是提高图像对比度。

XYZ转换成Lab

L^＊＝116f(Y/Y_n)-16

a^＊＝500[f(X/X_n)-f(Y-Y_n)]

b^＊＝200[f(Y/Y_n)-f(Z/Z_n)]

$f\left(t\right)=\left\{\begin{array}{cc}{t}^{1/3}& \begin{array}{cc}if& t>{\left(\frac{6}{29}\right)}^3\end{array}\\ \frac{1}{3}{\left(\frac{29}{6}\right)}^{2}t+\frac{4}{29}& otherwise\end{array}\right..$

RGB颜色空间转换成HSV颜色空间、YCbCr颜色空间和Lab颜色空间后，分别提取HSV颜色空间、YCbCr颜色空间和Lab颜色空间各自的均值、方差、能量和对比度，然后将之串联，得到颜色特征向量，其中，均值、方差、能力和对比度的计算公式分别如下：

均值计算公式：

$\stackrel{\‾}{H}=\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{M}{\Σ}}{H}_{ij}/MN$

方差计算公式：

$\mathrm{\σ}=\sqrt{\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{M}{\Σ}}(H_{ij}-\stackrel{\‾}{H})/MN}$

能量计算公式：

$E=\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{M}{\Σ}}{H}_{ij}^2$

对比度计算公式：

$I=\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{M}{\Σ}}{(i-j)}^2{H}_{ij}$

上面公式当中的H_ij代表坐标(i,j)处的像素值，M和N分别代表图像的宽度和高度。

重复上述步骤，然后将若干颜色特征向量输入到SVM分类器中进行分类训练，得到SVM分类器模型并储存到SVM分类器中。SVM分类器是利用分类间隔的思想进行训练的，它依赖于对数据的预处理，即，在更高维的空间表达原始模式，通过适当的到一个足够高维的非线性映射分别属于两类的原始数据就能够被一个超平面来分隔。

五、颜色分类判别和结果输出

由于SVM分类器在使用之前进行了样本学习和训练，因此，在得到SVM分类器模型之后，后续提取得到的颜色向量特征，只需将其输入到SVM分类器中，便可对该颜色特征向量进行分类判别，最后输出结果。

本发明通过设计一种识别行人服饰颜色的方法来对现有的油气田、电力行业的监控视频进行分析判断，可以识别出生产作业区域的工作人员是否正确着装，进而有效地提高了对这些生产作业区域的安全生产管理水平。本发明相比现有技术来说，进步明显，具有突出的实质性特点和显著的进步。

上述实施例仅为本发明较佳的实现方式之一，不应当用以限制本发明的保护范围，凡在本发明的主体设计思想和精神下对本发明技术方案做出的改动或润色，或进行等同置换，其解决的技术问题实质上仍与本发明一致的，均应当在本发明的保护范围之内。

Claims (3)

1.基于数字图像处理的行人服饰颜色识别方法，其特征在于，包括以下步骤：

(1)采用HOG特征描述算子结合SVM分类器的行人检测方法采集行人图像；

(2)采用Sobel算子检测行人边缘轮廓形状，得到待搜索图像；

(3)根据行人常见的姿态制作行人轮廓形状模板T，并将行人轮廓形状模板与待搜索图像中相应的区域进行匹配，得到行人的上半身和下半身图像；

(4)采用种子填充方法分别对行人上半身和下半身区域的服饰颜色进行连通区域标记；

(5)对得到的颜色连通区域进行颜色特征提取；

(6)根据提取的颜色特征，利用SVM分类器进行颜色分类判别，得到行人服饰颜色，并输出最终结果。

2.根据权利要求1所述的基于数字图像处理的行人服饰颜色识别方法，其特征在于，所述步骤(3)中，行人轮廓形状模板T与待搜索图像匹配的具体过程如下：

(a)将行人轮廓形状模板T在待搜索图像上从左到右、从上到下依次平移滑动，得到代表模板覆盖待搜索图像区域的子图S_i,j，其中，i、j表示子图的左上角在待搜索图像中的坐标；

(b)利用下列公式比较行人轮廓形状模板与各个子图的匹配程度：

(c)选取D(i,j)的最小值，得到的位置(i,j)即为行人在图像中所在的位置，而行人的宽、高则分别等于行人轮廓形状模板T的宽、高。

3.根据权利要求2所述的基于数字图像处理的行人服饰颜色识别方法，其特征在于，所述步骤(5)包括以下步骤：

(5a)将步骤(4)中标记的每个颜色连通区域均从RGB颜色空间分别变换到HSV颜色空间、YCbCr颜色空间和Lab颜色空间；

(5b)分别提取HSV颜色空间、YCbCr颜色空间和Lab颜色空间各自的均值、方差、能量和对比度，然后将之串联，得到颜色特征向量；

(5c)重复步骤(5a)、(5b)，将若干行人训练样本的颜色特征向量输入到SVM分类器中进行训练学习，得到SVM分类器模型；后续提取得到的颜色特征向量，只需将其送入至SVM分类器中即可实现分类判别。