CN1963839A - 人的检测方法和设备 - Google Patents

Abstract

提供了一种人的检测方法和设备。在该方法中，从数字视频摄像机提供的图像中检测人。该方法包括(a)初始化用户检测用到的参数；(b)确定当前模式；(c)当确定当前检测模式为脸部检测模式时，对每一个图像帧执行脸部检测，当即使经过预设脸部试验次数后仍然没有检测到脸部时，选择运动检测模式，并返回到步骤(b)；(d)当确定当前检测模式为运动检测模式时，同时对预设数目的图像帧执行运动检测，当在预设时间内至少预设次数运动检测执行成功后，返回步骤(a)。

Description

人的检测方法和设备

本申请是2003年12月6日提交的申请号为200310124936.7的发明专利申请“人的检测方法和设备”的分案申请。

技术领域

本发明涉及人的检测，更特别地是，涉及一种使用从数字视频摄像机输入的图像进行的人检测的方法和设备。

背景技术

现有技术韩国专利公开号为2000-50405和1997-60927的专利揭示了运动检测方法。韩国专利公开号为2000-50405的专利揭示了一种使用不考虑环境亮度的安全摄像机进行运动检测的方法。在该方法中，采样每一个图像帧，获取每个被采样的图像帧中的像素之间的变化，对前一个图像帧中像素之间的变化和当前图像帧中像素之间的变化进行比较，两个变化之间的差和一个预先确定的参考值进行比较。韩国专利公开号为1997-60927的专利揭示了一种选择性的记录设备和方法，其中仅记录一个摄像机记录的许多图像中的一个图像帧，该图像帧具有不同于参考图像的图像信号。然而，由于这两种方法使用了两个连续图像中像素数值的变化，因此一个即使是因为一种像噪声一样的变化，例如照明度中的变动而产生的像素数值中的变化也被检测作为运动。

韩国专利公开号为1998-82154和2000-61100的专利揭示了一种控制用户访问与安全***相连的特殊服务器的方法。韩国专利公开号为1998-82154的专利揭示了一种用户识别***和采用该***的自动取款机(ATM)。用户识别***和自动取款机联合操作。用户识别***通过一个用来记录自动取款机用户脸部图像的监视摄像机获取一个脸部轮廓，分析脸部轮廓来决定是否某个后来被确定的特征存在于该脸部轮廓中，只有在可以确定的特征存在时，才允许处理用户的命令。韩国专利公开号为2000-61100的专利揭示了一种在银行***中认出用户脸部的方法。在该方法中，必须确定在给用户照得的脸部图像中眼睛和嘴是否可以清晰的监测到。当眼睛和嘴不能够被清晰的监测，例如，当用户用手盖住他/她的脸，戴着帽子或者面具，或者不能展示他/她清晰的脸部外观时，银行***的操作将被中断，因此可以阻止金融犯罪。然而，尽管提供这两种方法可以阻止可能的违法行为，不利的是，一个没有意图违法但是戴着太阳镜、面具或者帽子的诚实的人将会不便。

发明内容

本发明提供一种使用数字摄像机的人的检测方法，通过该方法可以精确的检测到一个真实的运动，不会被类似噪声的变化，例如照明度的变化影响，例如个人脸部的信息可以被精确地检测和存储，使用数字摄像机获取的图像存储使用效率得到提高。

本发明还提供使用人的检测方法的人的检测设备。

按照本发明的一个方面，其提供了一种通过数字视频摄像机提供的图像来检测人的方法。该方法包括：(a)初始化用于用户检测的参数；(b)决定当前的模式；(c)当决定当前模式为脸部检测模式时，对众多图像帧中的每一帧执行脸部检测，当经过预先设定的脸部检测试验次数后仍然没有检测到脸部时，选择运动检测模式，并且返回到步骤(b)；(d)当决定当前的检测模式是运动检测时，同时对预定数目的图像帧执行运动检测，当在一个预先设定的时间内至少成功地执行预定数目的运动检测时，返回到步骤(a)。

优选地，在步骤(c)中包含使用Gabor小波变换检测脸部选择区域。

优选地，在步骤(c)中包含使用低分辨率支持矢量机和高分辨率支持矢量机检测脸部。

按照本发明的另一个方面，提供一种检测由数字视频摄像机提供的图像运动的方法。该方法包括：接收多个预定数目的图像帧；使用时间边界检测算法和相对于时间的像素值变化来检测图像帧中的运动；决定是否已经检测到运动；当确定运动已经被检测时，存储图像。

按照本发明的另一个方面，提供一种从数字视频摄像机提供的图像中检测人的设备。该设备包括：用于初始化用户检测所需参数的装置；决定当前模式的检测模式决定装置；脸部检测装置，当决定当前模式是脸部检测模式时，在众多图像帧中的每一帧执行脸部检测，当经过预定数目的脸部检测试验后仍然没有检测到脸部时，选择运动检测模式；运动检测装置，当决定当前模式不是脸部模式时，同时对预定数目的图像帧执行运动检测，当在一个预先设定的时间内成功地执行预定数目的运动检测时，初始化参数。

按照本发明的另外一个方面，提供一种从数字视频摄像机提供的图像中检测运动的设备。该设备包括：一个接收预定数目的图像帧的装置；使用时间边界检测算法和相对于时间的像素值变化来检测图像帧中的运动的装置；决定是否一个运动已经被检测的装置；当确定运动已经被检测时，存储图像的装置。

附图说明

通过结合附图对本发明的优选实施例进行详细描述，本发明的上述和其他特性和优点将会变得更加清楚。

图1表示一个按照本发明实施例的人的检测方法的流程图；

图2表示图1中所示的步骤S30的具体实施例的流程图；

图3显示M形栅格图；

图4显示水平方向和垂直方向的栅格间隔；

图5A和5B显示了改变定义脸部检测区域的搜索窗口的过程，在该窗口中，脸部检测在包含使用Gabor小波变换检测的脸部候选区域和周围区域的图像中执行。

图6表示图1中所示步骤S40的具体实施例的流程图；

图7表示图6中所示步骤S404的具体实施例的流程图；

图8表示图7中所示步骤S4040的具体实施例的流程图；

图9表示按照本发明实施例在安全***中检测运动的方法的流程图；

图10表示按照本发明的实施例的人的检测设备的方框图。

具体实施方式

在下文中，将参照附图详细地描述本发明的优选实施例。

本发明关于使用从数字视频摄像机输入的图像所进行的人的检测方法。最优选的是用来检测图像中的个人脸部。本发明的目的是即使脸部不能被准确的检测也可以检测图像中个人的运动和轮廓。为了达到这个目的，本发明包含脸部检测和运动检测，两者补充执行，从而提供一种更加精确和高效的从输入图像检测个人的方法。另外，只有一个被检测到脸部或者运动的图像被存储，因此显著的提高了存储器使用效率。

图1是一个按照本发明的实施例使用数字视频摄像机进行人的检测方法的流程图。该方法包括初始化参数(S10)、决定检测模式(S20)、检测脸部(S30)和检测运动(S40)。

更加特别的，用来检测人的参数被初始化(S10)。参数包括检测模式DETECT_MODE，脸部检测试验次数COUNT_FD，运动检测试验次数COUNT_MD，运动检测成功次数SUCCESS_MD。这里，“FD”表示脸部检测，“MD”表示运动检测。在步骤S10中，所有的参数都被初始化为，例如0。当检测模式DETECT_MODE是0时，一个使用该方法的***在脸部检测模式下操作。当检测模式DETECT_MODE是1时，安全***在运动检测模式下操作。执行脸部检测和运动检测的顺序在该方法中不重要。然而，为了更清楚地描述，初始化检测模式DETECT_MODE被设置为0，使得在***开启时首先执行脸部检测。

经过步骤S10，确定检测模式DETECT_MODE是否为脸部检测模式(S20)。如果确定该检测模式DETECT_MODE是脸部检测模式，则执行脸部检测(S30)。如果确定检测模式DETECT_MODE不是脸部检测模式，则执行运动检测(S40)。

在步骤S30中，当经过预先设定的脸部检测试验次数后仍然没有检测到脸部时，选择运动检测模式，并且处理回到步骤S20。另外，步骤S30包含使用Gabor小波变换检测脸部候选区域和使用低分辨率支持矢量机(SVM)和高分辨率SVM检测脸部。在步骤S40中，运动检测同时执行于预先设定数量的图像帧中，当在预先设定的时间段内，至少预定次数的运动检测成功时，操作将返回到步骤S10。图2表示图1所示步骤S30的具体实施例的流程图。步骤S30的实施例包括：接收单个图像帧，从图像帧中检测脸部，当脸部被检测到时存储该图像帧，重复脸部检测，当从预先设定的任何数目的图像帧中都没有检测到脸部时选择运动检测(S300至S320)。

在步骤S30中，在单个图像帧上执行单个脸部检测，连续脸部检测的次数受限于预先设定的阈值TH1。步骤S30中执行的脸部检测经过三步：粗略检测(S304)、中等检测(S308)和详细检测(S312)。相应地，可以减少脸部检测消耗的时间，同时，可以保持一个令人满意的脸部检测速率。脸部检测(S30)的操作将参照图2进行详细描述。

接收到一个用于脸部检测的单个图像帧(S300)。在单个图像帧上执行单个脸部检测。

在步骤S300之后，脸部检测试验次数COUNT_FD增加1(S302)。步骤S302用来限制连续脸部检测次数为预先设定的阈值TH1。当一次脸部检测试验失败后使用一个新的图像帧试验脸部检测时，脸部检测试验次数COUNT_FD增加1。

在步骤S302后，对脸部候选区域进行检测(S304)。为了检测脸部候选区域，建立一个由训练多个模型脸部图形所构成的模型脸部数据库。在步骤S304，使用Gabor小波变换，更加特别地，使用M-栅格Gabor小波变换，将图像帧与模型脸部数据库进行比较以检测一个脸部候选区域。在M-栅格的Gabor小波变换中，训练模型脸部轮廓的栅格间距可以基于眼珠中间的距离和眼睛和嘴之间的距离来确定。使用M-栅格的Gabor小波变换的步骤S304将参考图3和图4详细介绍。

为了从连续的图像信号中检测脸部候选区域，执行许多关于图像中脸部色彩或者图形的研究和开发。尽管像素层次的皮肤颜色可以显著地减少检测间隔，但是人类皮肤的颜色将根据拍照环境以及光源的方向和强度的变化而改变。在本发明中，使用通过M型栅格的Gabor滤波器响应的相似匹配得到的图形信息检测脸部候选区域。

如图3中所示，M-栅格由一些预先设置的栅格点组成，例如20个栅格点，组成字母M的形状。栅格点在水平和垂直方向以预先设置的间隔排列。例如，如图4所示，栅格点的水平间隔可以设置为眼珠中间距离的1/4，垂直方向可以设置为从嘴到两眼连线的距离的1/3。

使用Gabor小波变换进行脸部候选区域的检测包括两步。一步是，训练包含脸部各种变化的模拟脸部图像，这里，通过执行训练将M-栅格结构应用于多个图像来构成模型脸部数据库。另一步是，使用M形栅格相似性匹配，对模拟脸部数据库中的模型脸部和接收到的图像画面进行比较。这里，如果确定具有与模型脸部高度近似性的非脸部图像部分作为执行M-型栅格匹配的结果，甚至一个非脸部图像部分被作为脸部候选区域进行检测。

在步骤S304之后，决定是否已经使用M-栅格的Gabor小波变换检测到脸部候选区域(S306)。根据M-栅格的Gabor小波变换，在图像中可以被估计为脸部的部分被检测作为脸部候选区域，不管这部分是不是真正的脸部。换句话说，一个预先设定的部分，即被确定具有属于整个图像中的脸部的最大可能性的部分，将被认定为脸部候选区域。这样，即使当脸部候选区域从图像中检测出来，也不能认定图像中实际上包含一个脸部。因此，一个低分辨率的脸部检测(S308)和一个高分辨率的脸部检测(S312)在所检测的脸部候选区域执行，以便更精确地检测脸部。然而，如果认定脸部候选区域没有被检测到，操作转到步骤S318，在那里，脸部检测试验次数COUNT_FD等于或者大于预先设定的阈值TH1。步骤S308将在后面详细描述。

在粗略、中等、详细检测的分级结构中，上述的使用Gabor小波变换的脸部检测是最低级的粗略检测。粗略检测不提供精确的检测，但是它对亮度和其他噪声引起的变化不敏感，因此可以在很短时间内完成。例如，当接收图像的大小为320×240，目标脸部两眼之间有40到80个像素，使用奔腾4，1.4GHz的计算机进行粗略检测需要花费大约170ms。

为了从使用M-栅格匹配所检测到的脸部候选区域中更精确地检测脸部，本发明使用基于PCA子空间中训练的SVM的分类。PCA是主成分分析的缩写，其将在下文中被描述。以下描述涉及用于步骤S308和S312的基于SVM脸部检测方法。

脸部图像不是随机地分散在高维图像空间中，因此它们可以由一个低维子空间代表。在基于SVM的分类中，脸部检测的速度根据支持矢量(SV)的数目变化。本发明的目的之一是提高分类速度。通过选择恰当数量的支持矢量，可提高分类速度，并且分类性能可以保持令人满意。本发明采用PCA作为减少脸部尺寸的恰当的方法。一个流传广的脸部识别技术是将PCA方法应用于脸部图像的处理。PCA是一种用于将图像数据影射到低维特征向量空间中具有最小唯一图像信息损失，以减少信息的技术。当PCA用于识别脸部，脸部的主成分矢量将从一个输入图像中提取出来，并且与预先被训练和存储在数据库中的图像的主成分矢量进行比较。

基于低分辨率SVM的分类提高了分类的速度。一个图像在基于低分辨率SVM的分类确定不是脸部时则最终确实不是脸部，然而，即使一个图像在基于低分辨率SVM的分类被认定为是脸部图像时，该图像也可能不是脸部。在该背景下，在步骤S308中使用基于低分辨率SVM的分类就可以高速滤掉非脸部图像。经过滤的图像可能包含非脸部图像。接下来，在步骤S312中经过滤的图像将通过基于高分辨率SVM的分类精确地滤掉非脸部图像。换句话而言，只有作为第一层低分辨率结果被分类为脸部的那部分将经过作为第二层高分辨率的分类。因此，在第二层分类处理的图像数据的数量将大大减少。

例如，一个使用在20×20脸部图像的20 PCA特征训练的低分辨率SVM被应用到在步骤S308中使用Gabor小波变换提取的脸部候选区域。之后，利用使用40×40脸部图像的50 PCA特征训练的二次多项式内核的高分辨率SVM被应用到步骤S312中。

为了执行一个基于SVM的脸部检测，必须向***提供一个经过训练的脸部数据库。脸部数据库通过使用脸部图像和非脸部图像进行训练而建立。在一个低分辨率SVM的训练中，脸和非脸图像被调整到预先设定的大小，例如20×20，这样，矢量的个数是400。只有一个预先设定数量的矢量，例如20个矢量，从400个矢量中选择出来，作为特征向量，特征向量建立。

下一步，调整位置和刻度来选择一区域，从该区域中在图像中检测到脸部，使用低分辨率SVM检测脸部。

图5A和5B表示在包含使用Gabor子波形变换检测到的脸部候选区域和周围区域的图像中为脸部检测而改变搜索窗口的过程。在使用低分辨率SVM的脸部检测中，搜索窗口的参考点和搜索窗口参考点的运动范围根据脸部候选区域的位置和大小决定。参照图5A，小的划阴影线的矩形表示脸部候选区域。外圈大的矩形代表脸部检测区域，在该范围内使用低分辨率SVM执行脸部检测。例如，在图5A中，左上角设置为第一个搜索窗口的参考点，搜索窗口设置为80×80，如图5B所示。接下来，在搜索窗口中的图像数据被调整大小为20×20。被调整大小的图像数据与经过训练的SV数据结果进行比较以检测脸部。之后，搜索窗口逐渐扩展，重复地进行调整大小和作比较。当搜索窗口的最大限制设置为160×160，搜索窗口同时在长度和宽度上分别扩展20个像素，搜索窗口从80×80逐步扩展到160×160，训练和比较被重复进行五次。由于脸部检测需要在图5A定义的外部大的矩形区域中执行，搜索窗口的参考点向右和向下移动以扩大搜索窗口，如图5B所示。当搜索窗口扩大时，脸部检测重复进行。

在步骤S312中使用高分辨率SVM的脸部检测按照与步骤S308中使用低分辨率SVM的脸部检测同样的方式执行，不同的是调整大小向量的数量和特征向量的数量增加了，结果可以更加精确地检测脸部。更明确地说，必须向***提供一个经过训练的脸部数据库。脸部数据库通过使用脸部图像和非脸部图像进行训练而建立。在一个高分辨率SVM的训练中，脸和非脸数据被调整到预先设定的大小，例如40×40，这样，矢量的个数是1600。只有一个预先设定数量的矢量，例如50个矢量，从1600个矢量中选择出来，作为特征向量，特征向量建立。

下一步，调整位置和刻度来选择一个区域，从该区域中在图像中检测到脸部，使用高分辨率SVM检测到脸部。搜索窗口参考点和它的移动范围按照与使用如图5A和5B所示的低分辨率SVM的脸部检测相同的方式执行，不同的是它们从使用低分辨率SVM检测到的脸部区域的周边面积中选择出来。

如上所述，一种根据本发明检测脸部的方法包括三步：检测脸部候选区域(S304)，使用低分辨率SVM检测脸部(S308)，使用高分辨率SVM检测脸部(S312)，从而，增加脸部检测的可靠性、准确性和速度。

因此，只有当确定使用高分辨率SVM(S314)检测的结果是检测到脸部时才最终决定脸部被检测到。即使当前图像帧中实际上不包含脸部，而确定在步骤S314中检测到脸部时，错误报警率(FAR)就会增加。当确定在步骤S314中检测到脸部，而当前图像帧中确实包含脸部，脸部检测率(FDR)就增加。

当在步骤S310或者S314中确定没有检测到脸部时，在步骤S318中确定脸部检测试验次数COUNT_FD是否等于或者大于预先设定的阈值TH1(参照第一阈值)。第一阈值TH1可以设置为，例如10。

在步骤S318中，操作是否进入运动检测是基于预先设定的脸部检测试验次数和预先设定的时间段而确定的。一个靠近终端的物体是否是一个人不能通过脸部检测100％地确定。当用户戴面具或者太阳镜或者背朝摄像机，即使用户移动，也很难检测到脸部。在这种情况下，脸部没有检测到，但是必须存储一个包含运动的图像。因此，如果基于有限的预先设定的脸部检测试验次数，确定从任何预先设定数目的输入图像帧中都没有检测到脸部时，脸部检测停止，执行运动检测。这里，脸部检测试验次数COUNT_FD和脸部检测失败的次数相等。步骤S318用于限制试验的次数。当脸部检测以失败告终，也就是，当确定在步骤S306中没有检测到脸部候选区域时，当确定在步骤S310中作为使用低分辨率SVM的检测结果没有检测到脸部时，或者当确定在步骤S314中作为使用高分辨率SVM的检测结果没有检测到脸部时，在步骤S318中确定脸部检测试验次数COUNT_FD是否等于或者大于第一阈值TH1。当确定脸部检测试验次数COUNT_FD小于第一阈值TH1时，操作转到步骤S300。当确定脸部检测试验次数COUNT_FD等于或者大于第一阈值TH1时，操作转到步骤S320。

在步骤S320中，检测模式DETECT_MODE被设置为“1”，使得模式转变到运动检测模式。换句话说，即使经过预先设定的脸部检测试验次数(TH1)之后仍然没有检测到脸部，模式转变为运动检测模式。此后，操作转到步骤S20。由于检测模式DETECT_MODE被设置为“1”，根据步骤S20决定的结果执行运动检测。

其间，当确定在步骤S314中使用高分辨率SVM的检测结果为检测到脸部，当前图像帧被存储，在步骤S316中脸部检测试验次数COUNT_FD被初始化为0。然后，操作进入步骤S300。换句话说，当检测到脸部时，脸部检测继续。

图6是图1所示步骤S40中具体实施例的流程图。步骤S40的具体实施例包括：接收预先设定数量的图像帧；根据时间边缘检测算法检测运动；如果在预先设定的时间内成功执行预定次数的运动监测，则跳转到脸部检测；如果没有，则继续执行运动检测(S400到S414)。

在本发明中，基于通过将空间边缘扩展到时域定义的时间边缘检测运动。在预先设定的一段时间内输入的图像帧被组成并且定义为运动检测单元。估计这些图像帧中的时间变化以检测运动。

在本发明的具体实施例中，在预先设定的时间段内，通过拍摄一个靠近终端的物体得到的一系列的图像帧，例如10个图像帧，将进行单独的运动检测。换句话说，运动检测在预先设定数量的图像帧单元中执行，例如，10个图像帧。单个图像帧包含“n”个具有预设分辨率的像素，因此，当执行单个运动检测时，对一个关注的像素中10个像素值的时间变化进行估计以决定关注像素是否是一个运动像素。这种估计在“n”个像素上重复执行。

在本发明中，数字摄像机的特征在于每个单位时间预先设定数目的图像帧。因此，如果每秒取出30帧，大约每秒可以执行3次运动检测。

现在可以参照图6详细地描述图1中所示的步骤S40的具体实施例。一个预设数目的图像帧，例如10帧图像帧，被接收(S400)。接下来，运动检测试验次数COUNT_MD加1(S402)。接下来，通过使用时间边缘检测算法检测图像帧中的运动(S404)。

空间边缘是两个具有不同亮度的区域的边缘。可以用Sobel掩码、Prewitt掩码、Laplacian掩码或者Canny掩码来检测空间边缘。在使用Laplacian掩码的边缘检测中，空间边缘的概念可以扩展为时间边缘的概念，因此，在图像帧中的运动可以使用该时间边缘检测法检测。

图7是步骤S404的具体实施例的流程图。步骤S404所示的具体实施例包括：通过查找关于时间的拉普拉斯算子零相交来检测像素，将这些点的局部变化和预设值比较，认为局部变化等于或者大于预先设定的值的像素是运动像素(从S4040到S4044)。

更明确地，在步骤S4040中，使用预设数量的图像帧检测通过查找关于时间的拉普拉斯算子零相交确定的像素。

图8是图7中步骤S4040的具体实施例流程图。关于假定接收到2m图像帧(这里m是一个正整数)，每个图像帧存在n个像素，步骤S4040的具体实施例包括：将2m图像帧分成两组，一组从f(t₁)到f(t_2m-1)，另一组从f(t₂)到f(t_2m)，获得这两组关于时间的拉普拉斯算子，确定拉普拉斯算子的零相交或非零相交(从S4040a到S4040c)。这里，从f(t₁)到f(t_2m)表示在2m个图像帧中被处理的当前所关注像素的像素值。步骤S4040a到S4040c重复运行与每一个图像帧中的像素数目相同的次数，也就是，在单个运动检测中“n”次。步骤S4040的具体实施例将在下文详细介绍。

公式(1)和(2)是使用典型的3×3拉普拉斯算子掩码检测空间边缘计算的例子。

²f＝4z₅-(z₂+z₄+z₆+z₈)                  (1)

²f＝8z₅-(z₁+z₂+z₃+z₄+z₆+z₇+z₈+z₉)      (2)

在步骤S4040a中，从一组中f(t₁)到f(t_2m-1)的每一个图像帧乘以一个预先设定的权重，然后取平均值，以此可以得到f(t_m)时间拉普拉斯算子。为了通过将典型的3×3拉普拉斯算子掩码扩展为时间域来检测时间边缘，包含在一组图像帧中的图像帧数设为9。例如，当m＝5时，从f(t₁)到f(t₉)9帧中的每一帧乘以一个预设的权重，然后取平均值，由此得到f(t₅)时间拉普拉斯算子，也就是²f(t₅)。²f(t₅)可以用公式(3)或公式(4)计算。

²f(t₅)＝4f(t₅)-(f(t₂)+f(t₄)+f(t₆)+f(t₈))            (3)

²f(t₅)＝8f(t₅)-(f(t₁)+f(t₂)+f(t₃)+f(t₄)+f(t₆)+f(t₇)+f(t₈)+f(t₉))(4)

另一个像素值的时间拉普拉斯算子被用于检测具有拉普拉斯算子零相交的像素。因此，在步骤S4040b中，从另一组f(t₂)到f(t_2m)中的每一个图像帧乘以一个预先设定的权重，然后取平均值，以此可以得到一个f(t_m+1)时间拉普拉斯算子。为了使用典型的3×3拉普拉斯算子掩码，例如，从f(t₂)到f(t₁₀)9个图像帧中的每一帧乘以一个预设的权重，然后取平均值，于是得到f(t₆)时间拉普拉斯算子，也就是²f(t₆)。²f(t₆)可以用公式(5)或公式(6)计算。

²f(t₆)＝4f(t₆)-(f(t₃)+f(t₅)+f(t₇)+f(t₉))                           (5)

²f(t₆)＝8f(t₆)-(f(t₂)+f(t₃)+f(t₄)+f(t₅)+f(t₇)+f(t₈)+f(t₉)+f(t₁₀))  (6)

在步骤S4040c中，确定拉普拉斯算子零相交或者非零相交。更明确地，当²f(t_m)是负数并且²f(t_m+1)是正数时，或者当²f(t_m)是正数并且²f(t_m+1)是负数时，关注的像素被确定为零相交像素。换句话说，当m＝5时，一个零相交像素根据²f(t₅)和²f(t₆)之间是否出现零相交被确定。当确定零相交发生，一个关注的像素f(t_m)就被检测作为运动像素。

在步骤S4042中，使用预先设定数量的图像帧来计算像素值关于时间的变化。步骤S4042可以在步骤S4040之后或者与其同步执行。变量σ可以使用公式(7)计算。

$\mathrm{\σ}=\frac{\underset{i=1}{\overset{2m-1}{\mathrm{\Σ}}}{(x-f\left(t_i\right))}^2}{2m-1},$ $x=\frac{\underset{i=1}{\overset{2m-1}{\mathrm{\Σ}}}f\left(t_i\right)}{2m-1}---\left(7\right)$

在步骤S4040和S4042之后，确定通过查找拉普拉斯算子零相交检测到的每一个像素的变化是否等于或者大于预设阈值，如果确定变化等于或者大于预设阈值，则在步骤S4044确定该像素是运动像素。如果确定变化小于预设阈值，尽管在像素中有随时间的变化，但确定这种变化是类似噪声的变化，例如，由亮度，而不是由于物体的实际运动造成的。因为步骤S4044，一种根据本发明检测运动的方法对类似亮度和环境变化的噪声是不敏感的。

在步骤S404之后，在步骤S406确定是否检测到运动。步骤S406可以被具体表达为包含：确定在步骤S404中认定为运动像素的像素数量是否等于或者大于预设值，并且确定当运动像素的数量至少是预设值时检测到运动。

当确定运动已经被检测时，在步骤S408运动检测成功次数SUCCESS_MD增加1，并且保存图像。这里，被存储的图像是图像帧f(t_m)。当m＝5时，图像帧f(t₅)被存储。

在步骤S408之后，在步骤S410中确定是否运动检测试验次数COUNT_MD小于第三阈值TH3，例如30(COUNT_MD＜30)，以及运动检测成功的次数SUCCESS_MD等于或者大于第二阈值TH2，例如10(SUCCESS_MD≥10)的条件被满足。如果确定条件满足，操作返回到S10。换句话说，当条件满足时，运动检测模式的目的被实现。当预设运动检测次数在预设的时间内成功执行，就确定实现了脸部检测的条件，因为安全***最终目的是准确地检测脸部，所以执行脸部检测。在步骤S10中，所有的参数被初始化，于是操作执行脸部检测模式。

当在步骤S406中确定了没有检测到运动时，或者当确定在步骤S410中的条件没有满足时，在步骤S412中，判断运动检测试验次数COUNT_MD是否等于或者大于第三阈值TH3。当确定运动检测试验次数COUNT_MD小于第三阈值TH3时，操作转到步骤S400。

然而，当确定运动检测试验次数COUNT_MD等于或者大于第三阈值TH3时，运动检测试验次数COUNT_MD和运动检测成功的次数SUCCESS_MD在步骤S414初始化，于是操作转到S400。本发明的目的是在“预设时间段内”成功执行预设次数的运动检测。当开始运动检测模式之后经过很长时间才检测到运动，就认为不可能检测到脸部。因此，当在预定次数运动检测被成功执行之前预设时间段流逝，也就是，当运动检测试验次数COUNT_MD等于或者大于第三阈值TH3时，运动检测的计数值被初始化，以便执行一个新的运动检测。

同时，为了高效地检测用户，在执行运动检测当中执行一个脸部检测是必要的。换句话说，有必要准备一情况，其中靠近终端的用户在一段时间内不移动。因此，步骤S40可以具体表达为包含在预设的时间内中断运动检测，以执行脸部检测。

由于拉普拉斯算子对噪声敏感，步骤S404可以进一步包含：在步骤S4040中得到像素值的拉普拉斯算子之前，对图像帧执行一高斯滤波以平滑图像帧。

图9是按照本发明具体实施例在安全***中检测运动的方法的流程图。该方法包括：接收预设数量的图像帧，使用时间边缘检测算法检测运动，当在预设的时间内检测到运动时存储图像，当在预设的时间内没有检测到运动时继续运动检测(从S500到S506)。

更明确地，在步骤S500接收预设数量的图像帧。接下来，在步骤S502中，使用时间边缘检测算法和像素值关于时间的变化来检测运动。步骤S502可以具体表现为包括图7中所示的步骤S4040到S4044。

更明确地，步骤S502包括使用预设数量的图像帧，通过查找关于时间的拉普拉斯算子零相交来检测像素(步骤S4040)。关于假定接收到2m图像帧，每帧图像帧有“n”个像素，步骤S4040可以具体表现为包括图8所示的步骤S4040a到S4040c。

步骤S4040包括从一组图像帧f(t₁)到f(t_2m-1)中的每一个图像帧乘以一个预先设定的权重，然后对乘积的结果取平均值以此得到²f(t_m)(S4040a)，从另一组图像帧f(t₂)到f(t_2m)中的每一个图像帧乘以一个预先设定的权重，然后对乘积的结果取平均值以此得到²f(t_m+1)(S4040b)，当²f(t_m)是负数并且²f(t_m+1)是正数，或者当²f(t_m)是正数并且²f(t_m+1)是负数时，关注的像素被确定为零相交像素。这里，从f(t₁)到f(t_2m)表示被处理的当前所关注像素的像素值。步骤S4040a到S4040c重复“n”次。

在步骤S4040后，在步骤S4042中，使用预设数量图像帧计算像素值关于时间的变化。检测运动的方法可以进一步包含在步骤S4040之前对图像帧执行高斯滤波以平滑图像帧。

在步骤S4042之后，确定对于每个拉普拉斯算子零相交像素计算的变化是否等于或者大于预设阈值，如果确定变化等于或者大于预设阈值，在步骤S4044确定该像素是运动像素。如果确定变化小于预设阈值，尽管在像素中具有随时间的变化，但确定这种变化是类似噪声的变化，例如，亮度，而不是由于物体的实际运动造成的。因为步骤S4044，一种根据本发明检测运动的方法对类似亮度和环境中的变化的噪声是不敏感的。

在步骤S502之后，确定在步骤S504中是否检测到运动。优选地，确定运动像素的数量是否等于或者大于预设的值，当运动像素的数量等于或者大于预设的值时确定检测到运动。

当确定没有检测到运动时，操作转到步骤S500，并且不存储图像。当确定检测到运动时，在步骤S506中存储图像，操作进入步骤S500。

图10是按照本发明的具体实施例用于检测人的设备20的方框图。设备20包括：脸部检测单元200，用来从由数字视频摄像机10输入的图像检测脸部；运动检测单元210，用来检测运动；控制单元220，用来控制脸部检测和运动检测；存储单元230，用来存储图像。

脸部检测单元200响应于从控制单元220接收到的检测模式信号221，对输入图像执行脸部检测，并且输出表示脸部检测成功或者失败的脸部检测结果信号222。

响应于从控制单元220接收到的检测模式信号221，运动检测单元210同时接收预设数目的图像帧，使用时间边缘检测算法执行运动检测，输出表示运动检测结果成功或者失败的运动检测结果信号223。

响应于从控制单元220接收到的图像存储命令信号224，存储单元230存储数字视频摄像机10输入的图像。

控制单元220初始化用于用户检测的参数，输出检测模式信号221激活脸部检测单元200或者运动检测单元210，响应于脸部检测结果信号222或者运动检测结果信号223输出图像存储命令信号224，响应于脸部检测结果信号222累计脸部检测试验次数，响应于运动检测结果信号223累计运动检测试验次数和运动检测成功次数。当脸部检测试验次数等于或者大于第一阈值TH1，例如10时，控制单元220输出高电平的检测模式信号221以激活运动检测单元210，在预设的时间段内当运动检测成功次数等于或者大于第三阈值TH3，例如10时，输出低电平的检测模式信号221来激活脸部检测单元200。

如图1所示的步骤S10和S20可以通过控制单元220执行。图1所示的步骤S30由脸部检测单元200、存储单元230和控制单元240执行。图1所示的步骤S40可以由运动检测单元210、存储单元230和控制单元240执行。

如图10所示，脸部检测单元200包括：脸部候选区域检测器201、低分辨率脸部检测器202、高分辨率脸部检测器203和脸部检测结果信号生成器204。

脸部候选区域检测器201使用M-栅格的Gabor小波变换，从数字视频摄像机10输入的图像中检测脸部候选区域，输出被检测的脸部候选区域，并输出检测结果作为第一脸部检测结果。例如，当检测脸部候选区域时，第一脸部检测结果以高电平输出。但是，当没有检测到脸部检测区域时，第一脸部检测结果以低电平输出。如图2所示的步骤S304和S306可以由脸部候选区域检测器201来执行。

低分辨率脸部检测器202使用低分辨率SVM从包含由脸部候选区域检测器201检测的脸部候选区域的预设区域检测脸部区域，输出被检测的脸部区域，并且输出检测结果作为第二脸部检测结果。例如，当检测到低分辨率脸部区域时，第二脸部检测结果以高电平输出，但是，当没有检测到低分辨率脸部区域时，第二脸部检测结果以低电平输出。图2所示的步骤S308和S310可以通过低分辨率脸部检测器202执行。

高分辨率脸部检测器203使用高分辨率SVM从包含由低分辨率脸部检测器202检测的低分辨率脸部检测区域的预设区域检测脸部区域，并且输出检测结果作为第三脸部检测结果。例如，当检测到高分辨率脸部区域时，第三脸部检测结果以高电平输出。但是，当没有检测到高分辨率脸部区域时，第三脸部检测结果以低电平输出。图2所示的步骤S312和S314可以通过高分辨率脸部检测器203执行。

脸部检测结果信号生成器204响应于第一到第三脸部检测结果生成脸部检测结果信号222。脸部检测结果信号生成器204可以具体表现为当第一到第三检测结果的任何一个是低电平时，产生脸部检测结果信号222为低电平。例如，脸部检测结果信号生成器204可以用与门来实现，该与门通过输入端子接收第一到第三脸部检测结果。

如图10所示，运动检测单元210包括：边缘检测器211、变化计算器212、运动像素检测器213和运动检测结果信号生成器214。

边缘检测器211通过搜索时间拉普拉斯算子零相交来确定边缘像素。图7所示的步骤S4040可以由边缘检测器211执行。

变化计算器212计算像素值关于时间的变化。图7所示的步骤S4042可以由变化计算器212来执行。

当变化计算器212计算的变化等于或者大于预设值时，运动像素检测器213确定边缘像素为运动像素。图7所示的步骤S4044可以由运动像素检测器213执行。

运动检测结果信号生成器214根据在图像帧中的运动像素的数目是否至少为预设值来产生运动检测结果信号223。例如，运动检测结果信号生成器214可以具体表现为当运动像素的数量至少为预设值时，产生高电平运动检测结果信号223；当运动像素数量小于预设值时，产生低电平的运动检测结果信号223。

如上所述，按照本发明的人的检测方法和设备，当***处于操作状态，脸部检测和运动检测是重复地或互补地执行，以便实现所获图像的精确检测，高速度执行和高存储使用效率。另外，可以不受类似亮度和环境中的变化的噪声的影响精确地检测到物体的实际运动。

尽管仅仅描述了本发明的几个实施例，但对于本领域的技术人员来说，在不偏离本发明的精神和范围的情况下，可以对其中的一些元件做些改变，本发明的保护范围在附加的权利要求中限定。

Claims (10)

1.一种从数字视频摄像机提供的图像检测运动的方法，该方法包括：

e1.接收预定数目的图像帧；

e2.使用时间边缘检测算法和像素值关于时间的变化来检测在图像帧中的运动；

e3.确定是否检测到运动；

e4.当确定检测到运动时，存储图像。

2.如权利要求1所述的方法，其中步骤e2中包含：

e20.使用预设数量的图像帧，通过查找关于时间的拉普拉斯算子的零相交来检测像素；

e22.使用预设数量的图像帧，计算像素值关于时间的变化；

e24.确定计算的每一个拉普拉斯算子零相交像素的变化是否等于或者大于预设值，当确定变化等于或者大于预设值时，确定像素为运动像素。

3.如权利要求2所述的方法，其中当接收到2m帧图像，每个图像帧中有“n”个像素时，步骤e20中包含：

e200.一组图像帧从f(t₁)到f(t_2m-1)的每一个乘以一个预先设定的权重，然后对乘积结果取平均，以获得^2f(t_m)；

e202.一组图像帧从f(t₂)到f(t_2m)的每一个乘以一个预先设定的权重，然后对乘积结果取平均，以获得^2f(t_m+1)；

e204.当^2f(t_m)是负数并且^2f(t_m+1)是正数，或者当^2f(t_m)是正数并且^2f(t_m+1)是负数时，确定被关注的像素为零相交像素，

其中，从f(t₁)到f(t_2m)表示被处理的当前关注像素的像素值，从步骤e200到e204重复“n”次。

4.如权利要求2所述的方法，其中步骤e3中包含：确定在步骤e2被确定为运动像素的像素数量是否等于或大于预设值，当确定运动像素的数量至少为预设值时，确定检测到运动。

5.如权利要求2所述的方法，进一步包含在步骤e20之前，对接收图像帧执行高斯滤波以平滑图像帧。

6.一种从数字视频摄像机提供的图像检测运动的设备，该设备包括：

接收预定数目的图像帧的装置；

使用时间边缘检测算法和像素值关于时间的变化来检测在图像帧中的运动的装置；

确定是否检测到运动的装置；

当检测到运动，存储图像的装置。

7.如权利要求6所述的方法，其中在拍摄的图像中检测运动的装置包含：

使用预设数量的图像帧，通过查找关于时间的拉普拉斯算子零相交来检测像素的装置；

使用预设数量的图像帧，计算像素值关于时间的变化的装置；

确定计算的每一个拉普拉斯算子零相交像素的变化是否等于或者大于预设值，当确定变化等于或者大于预设值时，确定像素为运动像素的装置。

8.如权利要求7所述的设备，其中通过查找关于像素坐标和时间的拉普拉斯算子零相交来检测像素的装置包含：

用于将一组图像帧从f(t₁)到f(t_2m-1)的每一个乘以一个预先设定的权重，然后取多个乘积结果的平均值，以此得到f(t_m)关于时间的拉普拉斯算子，也就是^2f(t_m)的装置；

用于将另一组图像帧从f(t₂)到f(t_2m)的每一个乘以一个预先设定的权重，然后取多个乘积结果的平均值，以此得到f(t_m+1)关于时间的拉普拉斯算子，也就是^2f(t_m+1)的装置；

当^2f(t_m)是负数并且^2f(t_m+1)是正数，或者当^2f(t_m)是正数并且^2f(t_m+1)是负数时，将关注的像素确定为零相交像素的装置，

其中，接收到2m帧图像，每帧图像中有“n”个像素，从f(t₁)到f(t_2m)表示被处理的当前关注像素的像素值，以上三种装置的操作重复“n”次。

9.如权利要求7所述的设备，其中确定是否检测到运动的装置包括：用于确定被确定为运动像素的像素的数目是否等于或者大于预设值，当确定运动像素的数目等于或者大于预设值时，确定检测到运动的装置。

10.如权利要求7所述的设备，进一步包含：对接收图像帧执行高斯滤波以平滑图像帧并且将平滑后的图像帧传送到用于检测所拍摄图像中运动的装置的装置。

Images