CN100561501C - 一种图像检测方法及装置 - Google Patents

Abstract

本发明公开了一种图像检测方法及装置，用以提供一种处理速度更快的图像检测技术。本发明提出的一种图像检测方法，包括：计算输入图像的积分图像和平方积分图像；当已经计算得到的所述积分图像的行数大于或等于物体检测器模型的高度时，根据所述积分图像和平方积分图像，采用所述物体检测器对处于已经计算得到的所述积分图像范围内的候选框位置进行验证；根据通过验证的候选框位置，确定所述输入图像上的物***置。本发明用于图像检测，使得对图像中的物体进行检测的速度得以提高。

Description

一种图像检测方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像检测方法及装置。

背景技术

在计算机视觉和图像处理技术领域，获取图像或者视频中的人脸信息在诸如人机交互、安全、娱乐等领域都具有重要的应用。因此，从图像中自动获取人脸的数目、大小、位置信息的技术，即人脸检测技术，受到了极大地重视。近年来，随着计算机视觉和模式识别技术的发展，人脸检测技术也得到了快速的发展，逐渐趋向成熟。

Voila等提出了一种基于微结构特征(Haar-like Features)和层次型自适应增强(Adaboost)分类器的人脸检测技术，该技术在性能上与基于向量机(SVM)和神经网络(Neural Network)的方法相当，但是，在速度上远远高于基于向量机和神经网络的方法，基本可以达到实时运行的水平。该方法提出后，便得到了研究者的重视，提出了很多改进技术，并且，应用于工业界的很多产品中。

Viola提出的人脸检测方法速度快的原因主要是两点，一是由于采用了基于积分图像(Integral Image)的方法计算微结构特征值，能够快速地计算出输入图像的微结构特征值；二是由于采用了层次型Adaboost算法，该算法先采用运算量小的层拒掉大部分容易排除的干扰，然后，采用运算量大的层处理少量候选干扰。该方法中的采用的微结构特征如图1所示，每个微结构特征值定义为灰色矩形区域内像素亮度(即像素灰度值)和与白色矩形区域内像素亮度和之差。

为了快速计算出微结构特征值，Viola提出的积分图像如图2所示，积分图像在点(x，y)处的值定义为其左上角的灰色矩形区域内的所有像素灰度值的和，即：

$\mathrm{II}(x,y)=\underset{0\≤x^{\′}\≤x,0\≤y^{\′}\≤y}{\mathrm{\Σ}}I(x^{\′},y^{\′})$

其中，II(x，y)表示积分图像在点(x，y)处的值，I(x′，y′)表示输入图像在点(x′，y′)处的像素灰度值。Viola采用如下迭代的方式对图像从左上角的灰色矩形区域扫描一遍得到积分图像：

s(x，y)＝s(x，y-1)+I(x，y)

II(x，y)＝II(x-1，y)+s(x，y)

其中，s(x，y)表示x行处于y列之前(包括y)的所有像素灰度值之和，并且，定义s(x，-1)＝0，II(-1，y)＝0。

采用积分图像可以快速求取任意矩形区域像素灰度值之和。用sum(r)表示矩形区域r的像素灰度值之和。如图3所示，根据积分图像的定义，可以根据如下公式：

sum(D)＝II(4)-II(2)-II(3)+II(1)

求取任意矩形区域D内的像素灰度值之和(A、B、C、D分别表示一个阴影矩形区域，点1、2、3、4分别对应区域A，B，C，D的右下角顶点)。

为了排除光照等条件的干扰，Viola进一步采用图像亮度方差(还可以称为归一化参数)对上述微结构特征值进行归一化。Viola将图像亮度方差定义为：

${\mathrm{\σ}}^2=\frac{1}{N}\underset{i,j}{\mathrm{\Σ}}{(I(i,j)-m)}^2$

其中， $m=\frac{1}{N}\underset{i,j}{\mathrm{\Σ}}I(i,j)$ 为图像亮度均值，I(i，j)为图像上的点(i，j)处的亮度值，N为图像中的像素数目。图像亮度方差可以采用公式：

${\mathrm{\σ}}^2=m^2-\frac{1}{N}\underset{i,j}{\mathrm{\Σ}}I{(i,j)}^2$

计算，则归一化后的微结构特征值定义为g_j＝f_j/σ，其中f_j为上述定义的微结构特征值，即灰色矩形区域内像素亮度和与白色矩形区域内像素亮度和之差。

Viola采用对每一微结构特征构造最简单的树分类器作为弱分类器，具体如下：

其中，x为固定尺度的输入图像，g_j(x)表示该图像对应的第j个微结构特征值，θ_j是第j个微结构特征对应的判决阈值，p_j的值为1或-1，当p_j为1时，判决器的判决符号为大于号，当p_j为-1时，判决器的符号为小于号，h_j(x)表示第j个弱分类器的判决输出。这样，每个弱分类器只需要一次的阈值比较就可以完成判决。

Viola提出的层次型Adaboost分类器结构如图4所示，人脸检测器由若干强分类器组成，每个强分类器由多个弱分类器组成，每个弱分类器对应一个微结构特征。对于某候选框，先采用第一层分类器进行判断，如果能通过第一层分类器，则继续采用第二层分类器进行判断，否则，直接拒掉。同理，进行后续各层处理，当一个候选框处理完毕后，再处理下一个候选框。最后，将能够通过所有分类器处理的候选框认为是人脸区域。

为了能够检测到不同大小、不同位置的人脸，Viola采用基于特征放缩的方式进行处理。首先设定人脸检测器模型的宽度和高度分别为MW和MH(Viola采用的MW＝24，MH＝24)，采用割取并放缩为此尺度的人脸样本和非人脸样本，训练层次型AdaBoost人脸检测模型。假定放缩比例为SR，则采用特征放缩的方式放缩得到的一系列不同尺度的分类器的宽度和高度分别为ROUND(MW*SR^s)和ROUND(MH*SR^s)。其中，s为大于0的整数，ROUND()表示对括号内的数值进行四舍五入取整运算。为了检测到不同大小的人脸，对输入图像计算一次积分图像，然后，采用上述得到的不同尺度的人脸检测器分别进行遍历搜索，从而检测到不同大小，不同位置的人脸，并将所有通过层次型检测器的候选矩形添加到人脸检测队列中记录下来。

考虑到一个人脸可能会因为尺度、位移变化而对应多个检测结果，因此，一般人脸检测算法都会采用后处理步骤来融合检测结果，使得一个人脸位置只输出一个检测结果。同时，通过融合还能合并某些误检结果，从而减少误检率。参见图5，为Viola提出的检测图像中的人脸区域的流程示意图。图6所示为步骤S503对候选框进行验证的具体步骤。其中，步骤S607中通过所有层的强分类器验证的候选框被认为是人脸框，步骤S504将这样的候选框加入候选队列中。

Viola提出的人脸检测方法虽然具有很多优点，但是，计算积分图像以及平方积分图像的模块和验证候选框的模块间，共享积分图像和平方积分图像内存，在时间先后顺序上，验证候选框的步骤必须在候选框内的所有点的积分图像和平方积分图像都计算完成后才能开始执行，因此，该方法的处理速度比较慢。

发明内容

本发明实施例提供了一种图像检测方法及装置，用以提供一种处理速度更快的图像检测技术。

本发明实施例提供的图像检测方法包括：

在并行计算输入图像的积分图像和平方积分图像的过程中，监测当前计算得到的积分图像的行数；当该行数大于或等于物体检测器模型的高度时，

同时对所述积分图像和平方积分图像进行运算处理，得到归一化参数；

对于所述物体检测器的每层分类器的各个弱分类器，通过计算两个矩形区域的亮度和之差，并通过所述归一化参数，得到与每层分类器的各个弱分类器对应的微结构特征值；

通过对所述每层分类器的各个弱分类器对应的微结构特征值与预先设置的阈值进行比较，判定各微结构特征值是否有效；

将所述每层分类器的有效的微结构特征值加权相加，并且，通过对相加后的结果与预先设置的阈值进行比较，判定所述候选框是否通过该层分类器的验证；其中，对于所述每层分类器，当一层分类器完成对一候选框的判定处理时，继续对下一候选框进行判定；

将通过所有分类器验证的候选框确定为通过验证的候选框位置；

根据通过验证的候选框位置，确定所述输入图像上的物***置。

本发明实施例提供的图像检测装置包括：

积分图像单元，用于并行计算输入图像的积分图像和平方积分图像；

验证单元，用于监测所述积分图像单元当前计算得到的积分图像的行数，当该行数大于或等于物体检测器模型的高度时，同时对所述积分图像和平方积分图像进行运算处理，得到归一化参数；对于所述物体检测器的每层分类器的各个弱分类器，通过计算两个矩形区域的亮度和之差，并通过所述归一化参数，得到与每层分类器的各个弱分类器对应的微结构特征值；通过对所述每层分类器的各个弱分类器对应的微结构特征值与预先设置的阈值进行比较，判定各微结构特征值是否有效；将所述每层分类器的有效的微结构特征值加权相加，并且，通过对相加后的结果与预先设置的阈值进行比较，判定所述候选框是否通过该层分类器的验证；其中，对于所述每层分类器，当一层分类器完成对一候选框的判定处理时，继续对下一候选框进行判定；将通过所有分类器验证的候选框确定为通过验证的候选框位置；

确定单元，用于根据通过验证的候选框位置，确定所述输入图像上的物***置。

本发明实施例，当已经计算得到的输入图像的积分图像的行数大于或等于物体检测器模型的高度时，根据所述积分图像和平方积分图像，采用所述物体检测器对处于已经计算得到的所述积分图像范围内的候选框位置进行验证；根据通过验证的候选框位置，确定所述输入图像上的物***置。通过该技术方案，避免了验证候选框的步骤必须在候选框内的所有点的积分图像和平方积分图像全都计算完成后才开始执行，从而使得对图像中的物体进行检测的速度得以提高。

附图说明

图1为现有技术中Viola等提出的人脸检测技术所采用的微结构特征示意图；

图2为现有技术中的积分图像示意图；

图3为现有技术中采用积分图像求取任意矩形像素灰度和的示意图，其中，点1、2、3、4分别为区域A、B、C、D的右下角顶点；

图4为现有技术中的层次型人脸检测器结构示意图；

图5为现有技术中Viola等提出的人脸检测方法流程示意图；

图6为现有技术中Viola等提出的对所有可能的矩形框进行验证，以确定候选框的具体流程示意图；

图7为本发明实施例提供的图像检测方法的流程示意图；

图8为本发明实施例提供的计算积分图像及平方积分图像和验证候选框是否通过各层分类器的并行处理示意图；

图9为本发明实施例提供的并行判定候选框是否能通过当前层分类器的流程示意图；

图10为本发明实施例提供的判定微结构特征是否有效的流程示意图。

具体实施方式

本发明实施例，提出了一种图像检测方法及装置，从积分图像和平方积分图像的计算方式，以及对候选框进行的验证方式等几个方面对现有技术做出了改进，以提高图像检测的处理速度。

下面结合附图，详细说明本发明实施例的具体实施方式。

参见图7，本发明实施例提供的一种图像检测方法包括：

S701、计算输入图像的部分积分图像和平方积分图像，其中，所述积分图像和/或所述平方积分图像是按照从上到下，从左到右的顺序，采用所述输入图像的第1行像素到当前像素的所有像素亮度和计算得到的，并且，积分图像和平方积分图像的计算是同步进行的。

S702、判断所有尺度的物体检测器中，是否存在某物体检测器模型的高度小于或等于已经计算得到的积分图像的行数，如果是，则执行步骤S703；否则，执行步骤S701，继续计算下一行图像的积分图像和平方积分图像。

本发明实施例中所述物体检测器可以为人脸检测器，也可以为用于检测图像中的其他物***置的检测器，例如检测人体、汽车等的检测器。

S703、根据所述积分图像和平方积分图像，采用物体检测器对处于所述已经计算得到的积分图像范围内的候选框位置进行验证。

S704、将通过验证的候选框位置信息加入候选队列中，并继续采用下一尺度的物体检测器进行检测。

S705、对候选队列中的所有交叠的候选框位置信息进行合并处理，确定输入图像上的物***置。

步骤S701中，积分图像和平方积分图像在运算上是相互独立，无时间上的先后关系，因此可以并行处理，针对每行的输入图像，读取或计算得到该行图像的每个像素点的亮度值；并行迭代计算积分图像和平方积分图像，得到该行图像对应的积分图像和平方积分图像。

本发明实施例中提到的并行处理，一般指在设计芯片等应用中，为各个部分分别提供各自独立的运算单元，并同时分别进行各个部分的运算。具体提供多少运算单元，如何同时处理，本领域的技术人员无需创造性劳动就可以实现。

而现有技术中，一般只存在一套运算单元，需要计算完积分图像后，再去计算平方积分图像，因而处理时间就长于本发明实施例提出的方案。

为了提高处理速度，本发明实施例在计算完成部分的积分图像和平方积分图像后，就开始验证完全处于已经计算得到的积分图像范围内的候选框是否为物体框，即对候选框的验证过程和积分图像及平方积分图像的计算过程是并行的，而不是等待输入图像的积分图像和平方积分图像全部计算完毕后，再进行候选框的验证过程。

例如，用THeight_n表示第n个尺度的物体检测器的高度，在对输入图像完成了k行的积分图像和平方积分图像的计算后，判断所有尺度的物体检测器中是否存在某物体检测器的高度有满足公式：

THeight_n≤k

如果存在某物体检测器的高度满足上述公式，则在计算输入图像的下面各行的积分图像和平方积分图像时，同时验证下边框纵坐标为k，横坐标为0至W-THeight_n，宽度和高度均为THeight_n的所有候选矩形框是否为物体框(如人脸框或人体框等)。同理，待k+delta_n行的积分图像和平方积分图像计算完成后，再在继续计算输入图像的下面各行的积分图像和平方积分图像的同时，验证下边框纵坐标为k+delta_n，横坐标为0至W-THeight_n的所有候选矩形框是否为物体框。

这样，对底部在不同行的各个候选框的验证过程和积分图像及平方积分图像的计算过程就实现了并行处理。

当然，也可以采用其他方式进行处理，例如，每计算一行的积分图像和平方积分图像，就进行一次判断，判断是否有满足公式THeight_n≤k的物体检测器，如果有满足的物体检测器，则进行候选框的验证过程。

步骤S703在验证候选框位置是否为物体框时，需要用层次型的分类器对该候选框位置进行逐级判定。较佳地，步骤S703具体包括：

同时对所述积分图像和平方积分图像进行运算处理，得到归一化参数；

对于所述物体检测器的每层分类器的各个弱分类器，通过计算两个矩形区域的亮度和之差，并通过所述归一化参数，得到与每层分类器的各个弱分类器对应的微结构特征值；

通过对所述每层分类器的各个弱分类器对应的微结构特征值与预先设置的阈值进行比较，判定各微结构特征值是否有效；

将所述每层分类器的有效的微结构特征值加权相加，并且，通过对相加后的结果与预先设置的阈值进行比较，判定所述候选框是否通过该层分类器的验证；

将通过所有分类器验证的候选框确定为通过验证的候选框位置。

各层分类器的处理有先后顺序，但是本发明实施例采用流水线结构对各个候选框进行处理，以提高对候选框验证的速度，具体包括：

对于层次型的分类器的每层分类器都设置一套独立的运算单元，用以对不同候选框进行流水线处理。

例如第1个候选框先占用第0层运算单元，当第0层运算单元处理完第1个候选框时，第2个候选框开始占用第0层运算单元，当第0层运算单元处理完第2个候选框时，第3个候选框开始占用第0层运算单元。同样，第1个通过第0层运算单元判定的候选框会占用第1层运算单元，处理完成后，则下一个通过第0层运算单元判定的候选框会占用第1层运算单元。因此，共需要Sn×CascNum套运算单元，其中，Sn表示所有尺度的物体检测器的总个数，CascNum表示分类器的总层数。但是，在实际应用中，如果认为这样做需要的硬件资源过多，可以部分采用这种方式。例如，考虑到前面各层分类器需要处理的候选框比较多，而后续各层分类器处理的候选框较少，可以在前面各层分类器分配较多的运算单元，后面各层分类器分配较少的运算单元。

较佳地，还为各层分类器设置相应的候选框数据结构队列(FIFO)，用于记录候选框的坐标信息等，例如包括候选框的左边坐标、上边坐标，候选框所在尺度的序号，以及归一化参数(stdDev)。各层分类器的判定模块，读取相应的FIFO中的候选框的坐标信息，并根据尺度序号，获取对应尺度的分类器参数，对该候选框进行判定。

其中，第0层分类器的处理方式和后面各层的分类器的处理方式略有不同，在第0层分类器中需要求取归一化参数，并将归一化参数记录在第0层的FIFO中，并依次传递给后续各层的FIFO，以便后续分类器的使用。

较佳地，为了方便处理，限定所有尺度的物体检测器的步长，例如，无论水平方向还是垂直方向，所有尺度的物体检测器的步长均为2个像素。

下面以步长等于2为例，讲述计算积分图像及平方积分图像和验证候选框是否通过各层分类器的并行处理步骤，具体请参见图8。假定当前已经计算完毕第2k+1行的积分图像和平方积分图像，则进一步判定某个尺度的物体检测器的高度是否小于或等于2k+1，如果是，则将该尺度的物体检测器的底边缘纵坐标在当前行的所有候选框添加到第0层分类器的FIFO中。具体如下，对于所有可能的候选框的左边框横坐标(假定为i)，其从0开始，步长为delta_n，直到maxx，其中maxx＝W-TWidth_n，将当前候选框R(i，2k+1-THeight_n，TWidth_n，THeight_n)添加到第0层分类器的FIFO中。其中，i表示候选框的左边框横坐标，2k+1-THeight_n表示候选框的上边框纵坐标，TWidth_n表示候选框的宽，THeight_n表示候选框的高。

在验证候选框的具体步骤中，假定在当前尺度的物体检测器中，当前层分类器共包含weakNum_stageOrder个微结构特征，其中weakNum_stageOrder为每层弱分类器数目。则这些微结构特征之间相互独立，只共享积分图像内存和归一化参数。因而，为了进一步提高验证速度，可以采用并行处理方式，并行计算不同微结构特征值，计算完毕再求和，如图9所示。

进一步，具体在计算某个微结构特征时，求取两个矩形区域的亮度和也可以并行处理，如图10所示。较佳地，可以设置一个硬件单元用于计算矩形区域亮度和。

进一步，在计算归一化参数方面，也可以进行并行处理，同时对积分图像和平方积分图像进行相关运算，得到归一化参数。

较佳地，步骤S704将候选框位置信息加入候选队列的步骤具体包括：

根据待添加的所述候选框的大小和位置，以及已被添加到候选队列中的候选框的大小和位置，判断所述待添加的候选框是否与所述已添加的候选框相近，如果是，则将相近的候选框合并，并将被合并的候选框的个数作为合并后的候选框的置信度；否则，将所述待添加的候选框加入所述候选队列中。

较佳地，步骤S705中对候选队列中的所有交叠的候选框位置信息进行合并处理，确定输入图像上的物***置的步骤具体包括：

当所述候选队列中的一候选框包含于另一候选框时，将置信度较小的候选框删除；当置信度相同时，删除面积较小的候选框；

将经过所述合并和删除处理后的候选队列中剩余的候选框的位置确定为所述输入图像上的物***置。

本发明实施例提供的图像检测装置包括：

积分图像单元，用于计算输入图像的积分图像和平方积分图像。

验证单元，用于当已经计算得到的所述积分图像的行数大于或等于物体检测器模型的高度时，根据所述积分图像和平方积分图像，采用所述物体检测器对处于已经计算得到的所述积分图像范围内的候选框位置进行验证。

确定单元，用于根据通过验证的候选框位置，确定所述输入图像上的物***置。

在对图像中的物体进行检测的领域中，人脸检测是物体检测的一个子领域，汽车检测、行人检测等其他应用和人脸检测技术类似，均属于模式识别领域的两类分类技术。因此，本发明实施例提出的方案，可以适用于检测图像中的人脸区域，还可以根据实际需要应用于检测图像中的其他类型物体所占的区域。例如，可以检测图像中的汽车所在区域，还可以检测图像中的各个人体或动物所在的区域等等。

综上所述，本发明从提高图像检测速度的角度出发，在积分图像和平方积分图像，以及验证候选框等几个方面分别实现并行处理，从而达到提高图像检测速度的目的。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1、一种图像检测方法，其特征在于，该方法包括：

在并行计算输入图像的积分图像和平方积分图像的过程中，监测当前计算得到的积分图像的行数；当该行数大于或等于物体检测器模型的高度时，

同时对所述积分图像和平方积分图像进行运算处理，得到归一化参数；

对于所述物体检测器的每层分类器的各个弱分类器，通过计算两个矩形区域的亮度和之差，并通过所述归一化参数，得到与每层分类器的各个弱分类器对应的微结构特征值；

通过对所述每层分类器的各个弱分类器对应的微结构特征值与预先设置的阈值进行比较，判定各微结构特征值是否有效；

将所述每层分类器的有效的微结构特征值加权相加，并且，通过对相加后的结果与预先设置的阈值进行比较，判定所述候选框是否通过该层分类器的验证；其中，对于所述每层分类器，当一层分类器完成对一候选框的判定处理时，继续对下一候选框进行判定；

将通过所有分类器验证的候选框确定为通过验证的候选框位置；

根据通过验证的候选框位置，确定所述输入图像上的物***置。

2、根据权利要求1所述的方法，其特征在于，所述积分图像和平方积分图像是同时计算得到的。

3、根据权利要求1所述的方法，其特征在于，所述每层分类器中的各个弱分类器对应的微结构特征值是同时计算的。

4、根据权利要求1或2所述的方法，其特征在于，所述两个矩形区域的亮度和是同时计算的。

5、根据权利要求1所述的方法，其特征在于，根据通过验证的候选框位置，确定所述输入图像上的物***置的步骤包括：

将通过验证的候选框位置加入预先设置的候选队列中；

从所述候选队列中确定所述输入图像上的物***置。

6、根据权利要求5所述的方法，其特征在于，将所述候选框加入候选队列的步骤包括：

根据待添加的所述候选框的大小和位置，以及已被添加到候选队列中的候选框的大小和位置，判断所述待添加的候选框是否与所述已添加的候选框相近，如果是，则将相近的候选框合并，并将被合并的候选框的个数作为合并后的候选框的置信度；否则，将所述待添加的候选框加入所述候选队列中。

7、根据权利要求6所述的方法，其特征在于，从所述候选队列中确定所述输入图像的物***置的步骤包括：

当所述候选队列中的一候选框包含于另一候选框时，将置信度较小的候选框删除；当置信度相同时，删除面积较小的候选框；

将经过所述合并和删除处理后的候选队列中剩余的候选框的位置确定为所述输入图像上的物***置。

8、一种图像检测装置，其特征在于，该装置包括：

积分图像单元，用于并行计算输入图像的积分图像和平方积分图像；

验证单元，用于监测所述积分图像单元当前计算得到的积分图像的行数，当该行数大于或等于物体检测器模型的高度时，同时对所述积分图像和平方积分图像进行运算处理，得到归一化参数；对于所述物体检测器的每层分类器的各个弱分类器，通过计算两个矩形区域的亮度和之差，并通过所述归一化参数，得到与每层分类器的各个弱分类器对应的微结构特征值；通过对所述每层分类器的各个弱分类器对应的微结构特征值与预先设置的阈值进行比较，判定各微结构特征值是否有效；将所述每层分类器的有效的微结构特征值加权相加，并且，通过对相加后的结果与预先设置的阈值进行比较，判定所述候选框是否通过该层分类器的验证；其中，对于所述每层分类器，当一层分类器完成对一候选框的判定处理时，继续对下一候选框进行判定；将通过所有分类器验证的候选框确定为通过验证的候选框位置；

确定单元，用于根据通过验证的候选框位置，确定所述输入图像上的物***置。

Images