CN101793562A - 一种红外热图像序列的人脸检测与跟踪的算法 - Google Patents

Abstract

本发明提出一种红外热图像序列的人脸检测与跟踪算法，其特征在于结合可见光图像的人脸检测算法进行红外热图像的人脸检测和结合可见光图像序列的人脸跟踪算法进行红外热图像序列的人脸跟踪。本发明提出的算法可以实现有选择的目标(人脸)测温和有选择的目标(达到示警温度的人脸)跟踪测温。本发明提出的算法避免了红外热图像和可见光图像二种性质不同的图像的整体配准的困难。本发明应用于红外热像仪，可以把红外热像仪的红外热图像信息***与可见光图像信息***有机地结合起来，构造一个具有一定智能信息处理能力的图像信息***，拓展红外热像仪的应用领域。

Description

一种红外热图像序列的人脸检测与跟踪的算法

技术领域

本发明涉及模式识别技术领域，具体涉及一种红外热图像序列的人脸检测与跟踪的算法。

背景技术

自从人们发现红外辐射以来，人们就开始不断运用各种方法对红外辐射进行检测，并根据红外辐射的特点而加以应用，相继制成了各种红外探测器。从应用上看，红外探测器可以分为两类，一类是红外夜视仪，另一类是红外测温仪。在民用领域，目前应用最多的红外测温仪是非制冷型微测辐射热计(亦称红外热像仪)，它能通过光电转换、电信号处理等手段，将目标物体的温度分布图像转换成视频图像，同时通过温度定标获得物体温度。随着SARS、禽流感等传染病疫情的流行，传统的检验检疫工作面临越来越严峻的挑战，红外热像仪具有非接触性、体积小、灵敏度高、不间断性工作及报警等功能，很好完成了在各种场所的测温任务。

目前，大部分红外热像仪都集成了两套图像信息***：红外热图像信息***和可见光图像信息***。红外热图像信息***是红外热像仪的基本图像信息***。红外热图像反映视场内物体的温度，但是，红外热图像的分辨率很低，对比度较小，不含纹理信息。因此，利用红外热图像进行模式识别有较大的难度。这导致在实际应用中，即使视场内某个物体的温度达到示警温度，但是，我们很难让红外热像仪自动判别这个物体是否是我们需要监控的物体。

可见光图像信息***是红外热像仪的辅助图像信息***。可见光图像不能反映视场内物体的温度，但是，可见光图像的分辨率较高，含有丰富的纹理信息，基于可见光图像的模式识别技术也比较完善。因此，红外热图像信息***和可见光图像信息***这两套图像信息***完全可以取长补短，优势互补，构成一套完整的、有一定智能信息处理能力的图像信息***。遗憾的是，在目前绝大多数的红外热像仪的应用中，除了简单粗糙的融合显示之外，可见光图像信息***之于红外热像仪，几乎成为一种廉价的摆设。

本发明结合可见光图像人脸检测的算法，进行红外热图像的人脸检测，对于达到示警温度的人脸，结合可见光图像序列人脸跟踪的算法，进行红外热图像序列的人脸跟踪，并以可见光图像为背景，融合显示人脸的红外热图像和可见光图像。

发明内容

本发明提出一种红外热图像序列的人脸检测与跟踪的算法。该算法结合可见光图像的人脸检测算法实现红外热图像的人脸检测，并在此基础上，结合可见光图像序列的人脸跟踪算法实现红外热图像序列的人脸跟踪。

(1)结合可见光图像人脸检测算法实现红外热图像的人脸检测

A、可见光图像的人脸区域的检测

目前成熟的可见光图像的人脸检测算法很多，这些算法原则上都可应用于本发明。进行人脸检测时，先使用一定大小的搜索窗口对可见光图像进行逐像素扫描，检测窗口内是否包含人脸。为了适应不同大小尺寸的人脸检测的需要，可以使用一个缩放比例参数，用于改变扫描窗口的大小，而不需要对可见光图像进行缩放。每次改变窗口的大小都要对可见光图像重新进行扫描与检测。搜索完成后，保留检测到的人脸区域，用作人脸模板的提取。

B、人脸模板的提取

完成人脸区域的检测后，从每个人脸区域里提取相应的人脸模板。人脸模板是一个人脸形状的区域，只含有人脸部分，不包含任何背景成分。人脸模板提取的主要过程如下：首先，利用肤色分割的算法，将人脸模板从人脸区域中分离出来。然后，利用人脸的长宽有一定的比例这个特点排除伪人脸模板。这些伪人脸模板可能由于类肤色区域或肤色区域但非人脸区域造成。最后，利用腐蚀和膨胀等数学形态学的处理方法对人脸模板做进一步的处理。腐蚀算法能够去除一些小的非肤色区域，这些非肤色区域主要由于人的五官造成。膨胀算法能够去除人脸模板边缘上的一些“棱角”，使人脸模板的轮廓变得清晰和完整。

C、红外热图像的人脸检测

使用人脸模板在红外热图像中搜索人脸。搜索开始前，先把人脸模板在可见光图像中的位置作为人脸模板在红外热图像中的初始位置，然后以单位像素为步长，以初始位置为中心，在红外热图像中上下左右作螺旋状移动。人脸模板每移动到一个新的位置，都要检测人脸模板与模板内的红外热图像区域是否匹配，若匹配则认为当前人脸模板所在红外热图像区域为人脸区域。

红外热图像像素灰度值分布范围不大，绝大部分像素的灰度级集中于某些区域内，其直方图有明显的单峰或双峰存在。人体温度大约在35℃至42℃之间(包含了低温和高烧)，这个温度范围是人脸的基本热信息，不在这个温度范围的红外热图像部分可以确定不会包含人脸。当红外热像仪视场范围内包含多个人脸或其他物体的时候，会存在多个人脸在红外热图像中互相遮挡或部分人脸被其他物体遮挡的情况。人的脸部与人的脖子温度大致相同，因此，当在红外热图像中搜索到匹配人脸的时候，人脸与脖子接壤的部分温度相差不大。根据以上红外热图像中人脸的特点，红外热图像中人脸检测的步骤如下：

1)检测红外热图像中人脸模板所在区域内的温度是否在人体温度的范围之内，若90％及以上的像素点的温度值满足此要求，则人脸模板所在区域可能是人脸，转到步骤2)；否则，转到步骤4)。人体温度范围定为35℃-42℃，包括低温和高烧。

在实际应用中，为了保持算法对噪声的鲁棒性，也可以计算红外热图像中人脸模板所在区域内温度的均值和方差，如果均值在人体温度的范围之内且方差足够小，则转到步骤2)；否则，转到步骤4)。

2)检测人脸模板所在区域边缘内外温差达到5℃及以上的部分是否占人脸模板所在区域周长的3/4以上，若是，转到步骤3)，否则转到步骤4)。考虑到应用场合的环境温度一般在30℃以下，人体温度在35℃以上，故确定温度阈值为5℃。此温度阈值可根据具体应用调整。

同样地，在实际应用中，为了保持算法对噪声的鲁棒性，也可以计算红外热图像中人脸模板所在区域内部的像素点和边缘区域外的像素点的温度均值，如果两个均值的差的绝对值足够大，则转到步骤3)，否则转到步骤4)。

3)终止搜索，匹配成功。红外热图像中人脸模板所在区域认为是人脸，从而完成红外热图像中人脸的检测，并以可见光图像为背景，融合显示人脸的红外热图像和可见光图像。

4)检测人脸模板是否已移动到红外热图像的边界，若是，转到步骤5)，否则，根据步长和移动规则在红外热图像中移动人脸模板，转到步骤1)。

5)丢弃此人脸模板，从下一帧可见光图像中提取新的人脸模板，在下一帧红外热图像中检测人脸模板与模板内的红外区域是否匹配，转到步骤1)。

红外热图像人脸检测算法的主流程图见图1。

红外热图像人脸检测算法的子流程图见图2。

(2)结合可见光图像序列的人脸跟踪算法实现红外热图像序列的人脸跟踪

在红外热图像人脸检测的基础上，对于达到示警温度的人脸，结合可见光图像序列的人脸跟踪算法，进行红外热图像序列的人脸跟踪，并以可见光图像为背景，融合显示被跟踪的人脸的红外热图像和可见光图像，具体步骤如下：

A、根据具体应用场合设置示警温度。人体正常体温平均在36～37℃之间，超出这个范围就是发热，38℃以下是低热，39℃以上是高热，低过35℃是体温过低。当红外热像仪应用于机场或口岸等人流密集的公共场所进行大面积检疫检验时，可设置温度阈值为39℃。

B、对于在红外热图像序列当前帧中已被搜索到人脸，检查其温度是否达到示警温度。对于没有达到示警温度的人脸，将不会在红外热图像序列中进行跟踪。对于达到示警温度的人脸，将以可见光图像为背景，融合显示这些人脸的红外热图像和可见光图像。

C、在可见光图像序列中对达到示警温度的人脸进行跟踪。在红外热图像的人脸检测中，人脸在红外热图像中的位置与在可见光图像中的位置是一一对应的。因此，一旦在红外热图像中确定达到示警温度的人脸，同时也就在可见光图像中确定了达到示警温度的人脸。在可见光图像序列中，利用可见光图像序列人脸跟踪的算法，搜索达到示警温度的人脸在可见光图像序列的下一帧中的位置并提取人脸模板。

D、根据达到示警温度的人脸在可见光图像序列的下一帧中提取的人脸模板，在红外热图像序列的下一帧中搜索人脸，从而实现在红外热图像序列中对达到示警温度的人脸的跟踪。

红外热图像人脸跟踪算法的流程图见图3。

本发明特点

(1)本发明提出的算法可以在红外热图像中实现有选择的目标测温。本发明先在可见光图像中检测人脸，再利用检测的结果在红外热图像中检测人脸。本发明提出的算法能够单独检测红外热像仪视场内人脸的温度，有效避免非人脸物体对人脸温度检测的影响。目前，红外热像仪对其视场内的物体都是一视同仁地进行测温，不能有效地区别目标物体和非目标物体，因而不能有效地进行有选择的目标测温。

(2)本发明提出的算法可以在红外热图像序列中实现有选择的目标跟踪测温。本发明在红外热图像人脸检测的基础上，根据具体应用场合设置示警温度，对于达到示警温度的人脸，利用可见光图像序列人脸跟踪的算法，实现在红外热图像序列上对达到示警温度的人脸的跟踪测温。

(3)虽然红外热像仪中的红外热图像和可见光图像都是同一视场的图像，但是，这二张图像是通过不同位置和不同性质的镜头独立摄取成像的，因此，这二张图像在景深、分辨率和量化深度等方面都不相同。另外，红外热图像只有景物的热信息，没有景物的纹理信息，而可见光图像没有景物的热信息，只有景物的纹理信息。因此，这二张图像的整体配准是非常困难的事情。本发明提出的算法，通过在红外热图像中只对目标(人脸)进行匹配搜索和在可见光图像中只对目标(人脸)进行融合显示的方式避开了红外热图像与可见光图像的整体配准问题。

(4)本发明提出的算法把红外热像仪中的红外热图像信息***和可见光图像信息***有机地结合起来，构成了一个具有一定智能信息处理功能的图像信息***，拓展了红外热像仪的应用领域。

附图说明

图1、红外热图像人脸检测算法主流程图

图2、红外热图像人脸检测算法子流程图

图3、红外热图像序列人脸跟踪算法流程图

具体实施方案

步骤1：结合可见光图像人脸检测算法实现红外热图像的人脸检测

结合可见光图像人脸检测算法实现红外热图像的人脸检测包括以下几个步骤：可见光图像的人脸区域的检测、人脸模板的提取以及红外热图像的人脸检测。下面分别说明。

(1)可见光图像的人脸区域的检测

目前成熟的可见光图像的人脸检测算法很多，这些算法原则上都可应用于本发明。本具体实施方案采用Adaboost算法。

Adaboost算法是一种分类器算法，其基本思想是利用样本的类Harr特征进行分类器训练，最终得到一个级联的boosted分类器。分类器训练完以后，就可以应用于输入图像中的感兴趣区域(与训练样本相同的尺寸)的检测。检测到目标区域分类器输出为1，否则输出为0。检测整幅图像时，可以在图像中移动搜索窗口，检测每一个位置来确定可能的目标。

进行人脸检测时，需要事先训练好用于人脸检测的层叠型Haar分类器，然后使用一定大小的搜索窗口对输入图像进行逐像素扫描，并使用分类器去检测窗口内是否包含人脸。为了适应不同大小人脸的检测需要，使用了一个缩放比例参数，用于改变扫描窗口的大小(则不需要对输入图像进行缩放)，每次改变窗口大小都会对输入图像重新进行扫描与检测。

(2)人脸模板的提取

本具体实施方案中采取肤色分割算法对上一步骤得到的人脸区域进行处理，分割出人脸部位。考虑到此方法处理后人脸边缘部位不够平滑及五官处会形成“空洞”，并且还会受到类肤色区域的影响，故又需要做数学形态学处理和类肤色区域滤除。几个关键步骤如下：

A、肤色分割

在本具体实施方案中，对于检测之后确定的人脸区域内的像素点首先完成从RGB→HSV色彩空间的转换。按照H的值判断某个像素点是否属于肤色，本具体实施方案中采取当0.02＜H＜0.08时，认为这个像素点是属于肤色的。

V＝max(R，G，B)

$H=\left\{\begin{array}{cc}\mathrm{NaN}\left(\mathrm{undefine}\right)& V=0\\ \frac{1-g}{6}& V=\mathrm{R\; and}\min (R,G,B)=B\\ \frac{5+b}{6}& V=\mathrm{R\; and}\min (R,G,B)=G\\ \frac{3-b}{6}& V=\mathrm{G\; and}\min (R,G,B)=R\\ \frac{1+r}{6}& V=\mathrm{G\; and}\min (R,G,B)=B\\ \frac{5-r}{6}& V=\mathrm{B\; and}\min (R,G,B)=G\\ \frac{3+g}{6}& V=\mathrm{B\; and}\min (R,G,B)=R\end{array}\right.$

其中

Delta＝V-min(R，G，B)

B、数学形态学处理

本具体实施方案中采取了腐蚀和膨胀的数学形态学处理方法对上一步得到的区域进行处理。

腐蚀是消除物体的所有边界点的一种过程，其结果是剩下的物体沿其周边比原物体小一个像素的面积。如果物体任一点的宽度小于3个像素，那么它在该点将变为非连通的(变为两个物体)。在任何方向上的宽度不大于2个像素的物体将被除去。腐蚀可以对一幅分割图像中除去小且无意义的物体。

膨胀是将与某物体接触的所有背景点合并到该物体的过程。过程的结果是使物体的面积增大了相应数量的点。如果两个物体在某一点相隔少于3个像素，它们将在该点连通起来(合并成一个物体)。膨胀可以填补分割后物体的空洞。

C、类肤色区域滤除

经过基于数学形态学的滤波方法处理后，图像中的小块噪声大多数被清除，但是背景中某些较小的类肤色区域仍存大。为了删除假人脸区域，我们必须对这些区域进行分析和计算。首先把类肤色区域标记出来，然后再利用人脸的长宽比符合一定比例这个特点来进行消除，排除那些过宽或过长或者长宽比过大过小的区域。

为了确定某一区域的长宽比，必须将该区域的长度L和宽度W分别求出。但是由于部分人脸可能存大一些旋转倾斜，这使得无法直接利用该区域的左、右、上、下4个顶点的坐标值(这里，采用的坐标系是以图像最左下角为原点，水平向右为X轴的正方向，垂直向上为Y轴的正方向)进行判断。其详细过程为：统计该区域边界上所有点的坐标值，寻找X轴上具有最小、最大X分量的坐标(X_min，X_max)，及Y轴上的最小、最大Y分量的坐标(Y_min，Y_max)，L＝X_max-X_min、W＝Y_max-Y_min值即为人脸的长宽(宽长)参数值。L与W的比值即为所求的区域长宽(或宽长)比。如果人脸为垂直正面，则该比值应该接近于1.2，但是由于人脸存在旋转，且肤色相似度分割可能造成人脸头颈部作为同一个区域分割，故r的上限可以适当放大，以防止把正确的分割区域作为错误的判断。本具体实施方案中，r的取值范围为(0.5，2)，不属于这个范围的候选区域则直接删除。

(3)红外热图像的人脸检测

A、确定人脸模板在红外热图像中的初始位置

可见光图像与红外热图像是同一视场的图像，像素水平一致，像素间隔相同。为了能最快地在红外热图像找到对应的人脸，设定人脸模板在可见光图像中的位置作为人脸模板在红外热图像中的初始位置。

B、确定人脸模板移动步长和规则

红外热像图中的人脸区域有大有小，为了尽可能提高匹配精度和准确率，确定以单位像素为步长。人脸模板的移动规则是以初始位置为中心，以螺旋状的形状向远离中心点处移动。

C、使用人脸模板在红外热图像中搜索人脸

搜索开始前，先把人脸模板在可见光图像中的位置作为人脸模板在红外热图像中的初始位置，然后以单位像素为步长，以初始位置为中心，在红外热图像中上下左右作螺旋状移动。人脸模板每移动到一个新的位置，都要检测人脸模板所在区域是否是人脸区域。

红外热图像像素灰度值分布范围不大，绝大部分像素的灰度级集中于某些区域内，其直方图有明显的单峰或双峰存在。人体温度大约在35℃至42℃之间(包含了低温和高烧)，这个温度范围是人脸的基本热信息，不在这个温度范围的红外热图像部分可以确定不会包含人脸。当红外热像仪视场范围内包含多个人脸或其他物体的时候，会存在多个人脸在红外热图像中互相遮挡或部分人脸被其他物体遮挡的情况。人的脸部与人的脖子温度大致相同，因此，当在红外热图像中搜索到匹配人脸的时候，人脸与脖子接壤部分的温度相差不大。根据以上红外热图像中人脸的特点，红外热图像中人脸检测的步骤如下：

1)检测红外热图像中人脸模板所在区域内的温度是否在人体温度的范围之内，若90％及以上的像素点的温度值满足此要求，则人脸模板所在区域可能存在人脸，转到步骤2)；否则，转到步骤4)。人体温度范围定为35℃-42℃，包括低温和高烧。

在实际应用中，为了保持算法对噪声的鲁棒性，也可以计算红外热图像中人脸模板所在区域内的温度均值T_avg和温度方差σ

$T_{\mathrm{avg}}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{T}_i,$ $\mathrm{\σ}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(T_{\mathrm{avg}}-T_i)}^2$

其中N为人脸模板所在红外区域内像素点的个数，T_i为模板所在红外区域第i个像素点的温度值，i＝1，2，…，N。

若T_avg不在人体温度范围内，则认为人脸模板所在区域不是人脸，转到步骤4)；否则，将σ与设置的方差阈值σ_th比较，若σ＜σ_th，则认为人脸模板所在区域可能是人脸，转到步骤2)，否则转到步骤4)。

2)检测人脸模板所在区域边缘内外温差达到5℃及以上的部分是否占人脸模板所在区域周长的3/4以上，若是，转到步骤3)，否则转到步骤4)。考虑到应用场合的环境温度一般在30℃以下，人体温度在35℃以上，故确定温度阈值为5℃。此温度阈值可根据具体应用调整。

同样地，在实际应用中，为了保持算法对噪声的鲁棒性，也可以考察红外热图像中人脸模板所在红外区域内部及其边缘外的温度均值，如果两个均值的差足够大，则认为模板所在区域可能是人脸。具体做法是：首先找出当前模板所在红外区域与移动单位像素前的模板所在红外区域相比增加的像素点和减少的像素点，增加的像素点个数与减少的像素点个数相同，记为M，再分别计算增加的像素点与减少的像素点的温度均值T_avg1和T_avg2

$T_{\mathrm{avg}1}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\α}}_i,$ $T_{\mathrm{avg}2}=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\β}}_i$

其中α_i为增加的第i个像素点的温度值，β_i为减少的第i个像素点的温度值，i＝1，2，…，M。如果当前模板所在红外区域为人脸区域，则增加的像素点的温度均值T_avg1应该在人体的温度范围内，减少的像素点(即当前模板所在的红外区域的一半边缘区域外的像素点)的温度均值T_avg2与当前模板所在红外区域像素点的温度均值T_avg的差的绝对值应该大于温度阈值T_th。因此，若T_avg1不在人体温度范围内，转到步骤4)；否则，计算|T_avg-T_avg2|，若|T_avg-T_avg2|＜T_th，转到步骤4)。

若|T_avg-T_avg2|≥T_th，即当前模板所在的红外区域的一半边缘区域外的像素点的温度值满足要求，再考察当前模板所在红外区域的另外一半边缘区域外的像素点。同理，先找出当前模板所在红外区域与移动单位像素后的模板所在红外区域相比增加的像素点和减少的像素点，增加的像素点个数与减少的像素点个数相同，记为L，再分别计算增加的像素点与减少的像素点的温度均值T_avg3和T_avg4。

$T_{\mathrm{avg}3}=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{\χ}}_i,$ $T_{\mathrm{avg}4}=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{\δ}}_i$

其中χ_i为增加的像素点的温度值，δ_i为减少的像素点的温度值，i＝1，2，…，L。如果当前模板所在红外区域为人脸区域，则减少的像素点的温度均值T_avg4应该在人体的温度范围内，增加的像素点(即当前模板所在的红外区域的另外一半边缘区域的像素点)的温度均值T_avg3与当前模板所在红外区域像素点的温度均值T_avg的差的绝对值应该大于温度阈值T_th。因此，若T_avg4不在人体温度范围内，转到步骤4)；否则，计算|T_avg-T_avg3|，若|T_avg-T_avg3|＜T_th，转到步骤4)；否则，转到步骤3)。

至此，当前人脸模板所在的红外区域的边缘区域全部考察完毕。本子步骤进行前保留移动单位像素前的模板所在的红外区域、当前模板所在的红外区域和移动单位像素后的模板所在的红外区域。

3)终止搜索，匹配成功。红外热图像中人脸模板所在区域认为是人脸，从而完成红外热图像中人脸的检测，并以可见光图像为背景，融合显示人脸的红外热图像和可见光图像。

4)检测人脸模板是否已移动到红外热图像的边界，若是，转到步骤5)，否则，根据步长和移动规则在红外热图像中移动人脸模板，转到步骤1)。

5)丢弃此人脸模板，从下一帧可见光图像中提取新的人脸模板，在下一帧红外热图像中检测人脸模板所在区域是否是人脸区域，转到步骤1)。

步骤2：结合可见光图像序列的人脸跟踪算法实现红外热图像序列的人脸跟踪

本红外人脸跟踪算法基于步骤1所应用的红外人脸检测算法，在此红外人脸检测的基础上，从已检测的红外人脸中找到达到示警温度的红外人脸，根据已得到的对应关系，获得此红外人脸对应的可见光人脸。然后，应用可见光人脸算法对此可见光人脸进行跟踪。最后，重新检测每帧可见光人脸图像对应的红外人脸，即可实现对此红外人脸的跟踪。具体步骤如下：

(1)根据具体应用场合设置示警温度

人体正常体温平均在36～37℃之间，超出这个范围就是发热，38℃以下是低热，39℃以上是高热，低过35℃是体温过低。当红外热像仪应用于机场或口岸等人流密集公共场所进行大面积检疫检验工作时，可设置温度阈值为39℃。

(2)在已检测的红外人脸中搜索达到示警温度的红外人脸

对于在红外热图像序列当前帧中已被搜索到人脸，检查其温度是否达到示警温度。对于没有达到示警温度的人脸，将不会在红外热图像序列中进行跟踪。对于达到示警温度的人脸，将以可见光图像为背景，融合显示这些人脸的红外热图像和可见光图像。

(3)对达到示警温度的红外人脸对应的可见光人脸进行跟踪。

在红外热图像的人脸检测中，人脸在红外热图像中的位置与在可见光图像中的位置是一一对应的。因此，一旦在红外热图像中确定达到示警温度的人脸，同时也就在可见光图像中确定了达到示警温度的人脸。在可见光图像序列中，利用可见光图像序列人脸跟踪的算法，搜索达到示警温度的人脸在可见光图像序列的下一帧中的位置并提取人脸模板。原则上，任何一种有效的可见光人脸跟踪算法都可应用于本步骤中。

(4)重新检测每帧可见光人脸对应的红外人脸，实现对红外人脸的跟踪

对跟踪获得的每一帧可见光人脸图像应用红外人脸检测算法，提取人脸模板，在相应的红外热图像进行红外人脸匹配，即进行红外人脸检测，确定人脸在可见光图像序列下一帧的位置。从整个视频流来看，只要此达到示警温度的人脸尚未离开红外热像仪视场范围，对跟踪得到的可见光人脸图像进行红外人脸检测，即可实现在红外热图像序列中跟踪人脸。

Claims (3)

1.本发明提出一种红外热图像序列的人脸检测与跟踪的算法，其特征在于

A、结合可见光图像的人脸检测算法进行红外热图像的人脸检测；

B、结合可见光图像序列的人脸跟踪算法进行红外热图像序列的人脸跟踪。

2.如权利要求1所述的红外热图像序列的人脸检测与跟踪算法，其特征在于所述步骤A具体包括：对于对同一视场同时拍摄的红外热图像和可见光图像，首先应用可见光图像的人脸检测算法在可见光图像上进行人脸检测，得到可见光图像上人脸的形状和位置，把可见光图像上人脸的形状做为红外热图像上人脸检测的模板，把可见光图像上人脸的位置做为红外热图像上人脸检测的初始位置，计算红外热图像上模板内温度的均值和方差以及模板周围温度的均值，如果模板内温度的均值在人体体温的许可范围内、模板内温度的方差足够小以及模板内温度的均值与模板周围温度的均值的差别足够大，则判定模板所在位置为红外热图像上人脸的位置，否则，在红外热图像上按照一定的规则移动模板的位置再进行计算和判别，直至检测到人脸为止。

3.如权利要求1所述的红外热图像序列的人脸检测与跟踪算法，其特征在于所述步骤B具体包括：对于对同一场景同时拍摄的红外热图像序列和可见光图像序列，首先应用可见光图像的人脸检测算法确定人脸在可见光图像序列当前帧的位置，然后应用权利要求2所述的方法，确定人脸在红外热图像序列当前帧的位置，然后应用可见光图像序列人脸跟踪的方法，确定人脸在可见光图像序列下一帧的位置，最后，再次应用权利要求2所述的方法，确定人脸在红外热图像序列下一帧的位置，从而实现在红外热图像序列中跟踪人脸。

Images