CN101582163A - 视频监控图像中最清晰人脸的捕捉方法 - Google Patents

Abstract

本发明涉及一种视频监控图像中最清晰人脸的捕捉方法，利用快速离散傅里叶变换的方法选择最清晰人脸，包括：视频的获取；利用直方图均衡化、图像形态学处理等方法对图像预处理；利用快速目标检测的方法进行人脸检测；利用剔除区域相互包含的方法和YCbCr统计特性的方法去除不正确的人脸；根据多帧图像中的人脸估计人脸的位置和速度以此来跟踪人脸；利用快速离散傅里叶变换判断人脸的清晰度选择具有最佳清晰度的人脸。本发明能快速实现人脸的检测和跟踪，实时处理监控视频，不需要大量的空间存储监控视频，节约了时间、空间和成本。

Description

视频监控图像中最清晰人脸的捕捉方法

技术领域

本发明涉及一种视频监控图像中最清晰人脸的捕捉方法，是一种摄像头监控领域中的信息处理方法。

背景技术

目前，单摄像头的监控广泛应用于工业控制，安全保障，交通监控，门禁***等领域。在很多领域(如：安保***，门禁***)需要自动的将人脸的图像在视频中检测出，并且记录。由于视频记录的是连续的图像，同一个人根据其停留时间的长短可以产生几千至几万幅图像，如果将其全部记录是一种对空间的浪费，也为后期的查找工作带来很大的麻烦，选择其中清晰度高的记录是一种直观的可行办法。由于光线，视角，遮挡等因素，视频中检测到的人脸并不总是正面清晰的，很可能是模糊的，从大量的连续图像中自动的选取一个清晰人脸成为一个难题。

经过对现有技术文献的查找发现，Ying-Li Tian等人在2005年的ComputerVision and Pattern Recognition(计算机视觉与模式识别)会议上发表了题为“Robust and efficient foreground analysis for real-time video surveillance”(实时视频监控中鲁棒有效的前景分析)的论文，该文用混合高斯模板的方法对背景进行建模，然后通过灰度和纹理信息去除阴影，最后在得到的前景中检测人脸。该方法很好的解决了前景(人脸)的检测和跟踪问题，但是无法自动的从连续获得的人脸图像中选择高清晰度的图像，没有解决从这一系列图像中选取清晰图像的问题。

发明内容

本发明的目的在于针对现有技术的不足，提出一种视频监控图像中最清晰人脸的捕捉方法，能够自动的从连续获得的人脸图像中选择高清晰度的图像。

为实现上述目的，本发明利用快速离散傅里叶变换的方法，在大量人脸序列图像中选择最清晰人脸，包括：视频的获取；利用直方图均衡化、图像形态学处理等方法对图像预处理；利用快速目标检测的方法进行人脸检测；根据速度估计跟踪人脸；利用快速离散傅里叶变换对人脸进行选择。

本发明的方法通过以下步骤实现：

1、对监控区域摄像头捕获的视频进行图像预处理，调整亮度值后将彩色图像转化为黑白图像，对图像进行直方图均衡化使整个图像的灰度平衡，然后对图像进行形态学处理。

2、对形态学处理后的每一帧图像用开源函数库opencv中改进的AdaBoost方法检测人脸；对检测到的人脸利用剔除区域相互包含的方法和YCbCr统计特性的方法去除不正确的人脸；对每一帧图像都使用上述人脸检测算法检测人脸；记录人脸大小及坐标并且通过前后多帧图像中的人脸位置估计人脸运动的方向和速度。

3、如果在前后两帧图像中都检测到了人脸，并且后一帧的人脸在前一帧人脸的坐标附近，则认为是同一个人脸；如果在前帧图像中未检测到人脸而在后一帧图像中检测到，则认为是新出现的人脸；如果在前帧图像中检测到人脸而在后一帧中未检测到，根据人脸消失时间及人脸在图像中的位置来判断人是否离开监控区域；以此来实现人脸的跟踪，并保存所有检测到的人脸图像作为候选图像。

4、对同一个人的所有候选图像进行归一化，使之拥有相同的大小，然后去除这些候选图像的边框部分，对剩余部分做快速离散傅里叶变换，得到傅里叶变换值；将所有傅里叶变换值中最大的M个值所对应的候选图像挑选出来，从中选择一个像素最多的图像保存，完成视频监控图像中最清晰人脸的捕捉；其中M为傅里叶变换值总数量的5-10％。

图像是否清晰在频域是由其高频分量决定的，而高频分量越丰富，其傅里叶变换值越大，通过一定的预处理，可以使傅里叶变换值与清晰度成正比关系，以此来选择图像。

本发明与现有技术相比的显著效果在于：更加快速的实现人脸的检测和跟踪，能够实时的处理监控视频。本发明能够从大量的人脸中选择最清晰的人脸并且存储相关信息，不需要大量的空间存储监控视频，只需要少量空间存储关键信息，节约了时间、空间和成本。

附图说明

图1是本发明实施例中人脸跟踪部分的状态转移图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作详细说明。以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

本实施例具体步骤如下：

(1)视频捕获和图像预处理

由摄像头捕获视频，然后传输给后台程序进行处理。

对监控区域摄像头捕获的视频进行图像预处理，调整亮度值后将彩色图像转化为黑白图像，对图像进行直方图均衡化使整个图像的灰度平衡，然后对图像进行形态学处理。

为方便描述，假设此时环境亮度不高，先对亮度进行补偿。由于获取的图像的表达方式一般是使用RGB(红绿蓝)值，先将图像转换为HSI(色调、色饱和度、亮度)值表达，转换公式为：

$I=\frac{R+G+B}{3}$

$S=1-\frac{3}{R+G+B}\left[\min (R,G,B)\right]$

$H=\left\{\begin{array}{cc}\mathrm{\θ}& B\≤G\\ 360-\mathrm{\θ}& B>G\end{array}\right.$

其中

$\mathrm{\θ}={\cos }^{-1}(R-\frac{G}{2}-\frac{B}{2})/\sqrt{{(R-G)}^2+(R-G)(G-B)}$

式中，R表示红色分量，G表示绿色分量，B表示蓝色分量，H表示色调，S表示色饱和度，I表示亮度。然后增加适当的I值，这时将彩色图像转换为黑白图像。

将得到的黑白图像做直方图均衡化。对所得到的所有图像点的灰度进行统计，得到每个灰度值的概率密度，对概率密度进行积分即可。

(2)人脸检测

对预处理后的每一帧图像用开源函数库opencv中改进的AdaBoost方法检测人脸。尽管这个方法可以提供非常高的检测率和很低的错检率，但仍然会有一些错误的区域被当做人脸，如不是皮肤颜色的区域和相互包含的区域。本发明对检测到的人脸利用剔除区域相互包含的方法和YCbCr(亮度、蓝色色度、红色色度)统计特性的方法去除不正确的人脸。首先检查各个被认为是人脸的区域的坐标和大小，如果发现有一个大区域包含了一个小区域，去除那个较大的。然后检测各个区域的颜色，大量的统计表明，在YCbCr颜色空间中，只有那些值在0＜Y＜1.01，0.52＜Cb＜0.66，0.32＜Cr＜0.63范围内的区域才可能有人脸。如果颜色不在这个范围内，除去此区域。

记录人脸大小及坐标并且通过前后多帧图像中的人脸位置估计人脸运动的方向和速度。

(3)人脸跟踪

如果在前后两帧图像中都检测到了人脸，并且后一帧的人脸在前一帧人脸的坐标附近，则认为是同一个人脸；如果在前帧图像中未检测到人脸而在后一帧图像中检测到，则认为是新出现的人脸；如果在前帧图像中检测到人脸而在后一帧中未检测到，根据人脸消失时间及人脸在图像中的位置来判断人是否离开监控区域；以此来实现人脸的跟踪，并保存所有检测到的人脸图像作为候选图像。

图1给出了本实施例中人脸跟踪部分的状态转移图。如图1所示，本步骤如下所述：为便于描述，先定义几个变量。数组变量PRE[]用来记录前一帧捕获的人脸信息，数组变量CUR[]用来记录本帧捕获的人脸信息。数组变量有以下两种主要状态：有用，无用。有用表示这个变量正被用于记录信息，无用表示这个变量没有被使用或者已经被废弃。有用状态又有三个分支状态：新的，正常的，消失的。新的表示这个变量存储的是一个新探测到的人脸信息，并且其置信值小于置信阈值下限，还不能认为这是一个人脸。正常的表示这个人脸连续多次被检测到。消失的表示这个人脸以前是正常的，但在最近几帧中消失了，并且消失时间小于消失时间阈值。

对每个变量CUR，先查询哪个PRE能够和它匹配，如果有匹配的，记录是数组的第几个变量匹配。如果没有匹配的，则认为这个是新出现的人脸，将其信息保存在一个无用的PRE中。

对于每一个匹配的PRE，考虑它的状态。如果它是新的，增加它的置信值，保存人脸信息。如果它是正常的，只需要保存人脸信息。如果是消失的，这说明再次找到了这个人，将其状态变更为正常的，保存人脸信息。

对于数组CUR[]中每一个CUR执行以上步骤，然后处理那些数组PRE[]中未被匹配的。如果状态是新的并且置信值小于阈值，认为它是噪声，直接删除。如果状态是新的但是置信值大于阈值，减小置信值。如果是正常的并且在图像边界附近，认为它是走出了监控区域，输出现有信息。如果是正常的但是没有在图像边界附近，将其标记为消失。如果状态是消失但是消失时间小于阈值，增加消失时间。如果状态是消失的并且消失时间大于阈值，认为其消失了，输出现有信息。

如果此帧需要输出信息则进入人脸选择步骤，如果不需要则直接进入下一轮回的获取视频。

(4)人脸选择

所述人脸选择部分主要通过快速离散傅里叶变换实现。首先对同一个人的所有候选图像进行归一化，使之拥有相同的大小。然后去除这些候选图像的边框部分，对剩余部分做快速离散傅里叶变换，得到傅里叶变换值。本实施例截取候选图像正中间的20乘以20像素的图像，然后对这些图像进行快速离散傅里叶变换，再将变换中心转移到图像中心。

接着开始计算图像的高频分量。为了计算图像的高频分量，先制作一个20乘以20的权值矩阵，使得这个矩阵越靠近中间的值越小，越接近边缘的值越大。这是因为快速傅里叶变换将高频分量的信息变换到靠近边缘的地方。在本实施例中，其中心圈的值是1，以后每向外一圈加1。

将这个权值矩阵的对应值和图像的对应值相乘后相加即得到傅里叶变换值。

比较所有傅里叶变换值的大小，选择其中最大的5个(即M＝5，一般的，如果候选图像大于50个，则取M为傅里叶变换值总数量的5-10％)，从中选择一个像素最多的图像保存。这个图像在清晰度和大小两方面都会很合适，使人眼感觉非常清晰。到此，完成视频监控图像中最清晰人脸的捕捉。

最后将得到的人脸及其相关信息存储，以便以后的处理和使用。

Claims (1)

1、一种视频监控图像中最清晰人脸的捕捉方法，其特征在于包含以下步骤：

1)对监控区域摄像头捕获的视频进行图像预处理，调整亮度值后将彩色图像转化为黑白图像，对图像进行直方图均衡化使整个图像的灰度平衡，然后对图像进行形态学处理；

2)对形态学处理后的每一帧图像用开源函数库opencv中改进的AdaBoost方法检测人脸；对检测到的人脸利用剔除区域相互包含的方法和YCbCr统计特性的方法去除不正确的人脸；记录人脸大小及坐标并且通过前后多帧图像中的人脸位置估计人脸运动的方向和速度；

3)如果在前后两帧图像中都检测到了人脸，并且后一帧的人脸在前一帧人脸的坐标附近，则认为是同一个人脸；如果在前帧图像中未检测到人脸而在后一帧图像中检测到，则认为是新出现的人脸；如果在前帧图像中检测到人脸而在后一帧中未检测到，根据人脸消失时间及人脸在图像中的位置来判断人是否离开监控区域；以此来实现人脸的跟踪，并保存所有检测到的人脸图像作为候选图像；

4)对同一个人的所有候选图像进行归一化，使之拥有相同的大小，然后去除这些候选图像的边框部分，对剩余部分做快速离散傅里叶变换，得到傅里叶变换值；将所有傅里叶变换值中最大的M个值所对应的候选图像挑选出来，从中选择一个像素最多的图像保存，完成视频监控图像中最清晰人脸的捕捉；其中M为傅里叶变换值总数量的5-10％。

Images