CN109002786B - 人脸检测方法、设备及计算机可读存储介质 - Google Patents

人脸检测方法、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN109002786B
CN109002786B CN201810741579.5A CN201810741579A CN109002786B CN 109002786 B CN109002786 B CN 109002786B CN 201810741579 A CN201810741579 A CN 201810741579A CN 109002786 B CN109002786 B CN 109002786B
Authority
CN
China
Prior art keywords
frame
face image
visible light
face
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810741579.5A
Other languages
English (en)
Other versions
CN109002786A (zh
Inventor
徐建明
柴勇
李大江
邹志鹏
许同玲
杜水荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Fuji Intelligent Co.,Ltd.
Original Assignee
Shenzhen Fujica Intelligentized System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Fujica Intelligentized System Co ltd filed Critical Shenzhen Fujica Intelligentized System Co ltd
Priority to CN201810741579.5A priority Critical patent/CN109002786B/zh
Publication of CN109002786A publication Critical patent/CN109002786A/zh
Application granted granted Critical
Publication of CN109002786B publication Critical patent/CN109002786B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种人脸检测方法，该方法包括：获取同一时刻可见光摄像头拍摄到的可见光帧和红外摄像头拍摄到的红外帧，检测可见光帧和红外帧中是否包含人脸图像；当检测到可见光帧和红外帧中均包含人脸图像时，判断可见光帧中的人脸图像是否与预设的人脸图像匹配；若匹配，则将可见光帧和红外帧重叠；在可见光帧与红外帧重叠后，采用预设算法计算可见光帧中的人脸图像与红外帧中的人脸图像的重叠度；判断计算得到的重叠度是否大于或等于预设阈值，若是，则判定人脸检测通过。本发明还公开了一种人脸检测设备和一种计算机可读存储介质。本发明能够提高人脸检测的安全性和可靠性。

Description

人脸检测方法、设备及计算机可读存储介质
技术领域
本发明涉及安防技术领域，尤其涉及人脸检测方法、设备及计算机可读存储介质。
背景技术
目前人脸检测技术在门禁等安防***中应用非常广泛，相较于虹膜、指纹等体貌特征，人脸更直观，而且可以配合城市监控网络使用，方便查询者的后期调查。
在现有的人脸检测技术中，一般是通过可见光摄像头采集人脸图像，从而进行人脸识别，然而由于可见光摄像头无法区分照片和真实的人脸，因此未经授权的陌生人可以通过照片欺骗识别***，从而导致安全隐患。
因而，现有的人脸检测技术的安全性和可靠性还有待提高。
发明内容
本发明的主要目的在于提出一种人脸检测方法、设备及计算机可读存储介质，旨在提高人脸检测的安全性和可靠性。
为实现上述目的，本发明提供一种人脸检测方法，应用于人脸检测设备，所述人脸检测设备与一双目摄像头连接，所述双目摄像头包括一个可见光摄像头和一个红外摄像头，所述方法包括如下步骤：
获取同一时刻所述可见光摄像头拍摄到的可见光帧和所述红外摄像头拍摄到的红外帧，检测所述可见光帧和所述红外帧中是否包含人脸图像；
当检测到所述可见光帧和所述红外帧中均包含人脸图像时，判断所述可见光帧中的人脸图像是否与预设的人脸图像匹配；
若所述可见光帧中的人脸图像与预设的人脸图像匹配，则将所述可见光帧和所述红外帧重叠；
在所述可见光帧与所述红外帧重叠后，采用预设算法计算所述可见光帧中的人脸图像与所述红外帧中的人脸图像的重叠度；
判断计算得到的所述重叠度是否大于或等于预设阈值，若是，则判定人脸检测通过。
优选地，所述获取同一时刻所述可见光摄像头拍摄到的可见光帧和所述红外摄像头拍摄到的红外帧，检测所述可见光帧和所述红外帧中是否包含人脸图像的步骤之前，还包括：
接收重叠度阈值设置指令，根据所述设置指令设置重叠度阈值。
优选地，所述在所述可见光帧与所述红外帧重叠后，采用预设算法计算所述可见光帧中的人脸图像与所述红外帧中的人脸图像的重叠度的步骤包括：
在所述可见光帧与所述红外帧重叠后，采用第一人脸图像框标识所述可见光帧中的人脸图像的位置，采用第二人脸图像框标识所述红外帧中人脸图像的位置；
计算所述第一人脸图像框和所述第二人脸图像框的重叠面积；
根据所述重叠面积计算所述可见光帧中的人脸图像与所述红外帧中的人脸图像的重叠度。
优选地，所述计算所述第一人脸图像框和所述第二人脸图像框的重叠面积的步骤包括：
建立平面直角坐标系；
获取所述第一人脸图像框和所述第二人脸图像框中与所述平面直角坐标系的原点距离最近的顶点的坐标，分别记为(x1,y1)和(x2,y2)，同时，获取所述第一人脸图像框和所述第二人脸图像框在x轴方向的宽度，分别记为w1和w2，及所述第一人脸图像框和所述第二人脸图像框在y轴方向的高度，分别记为h1和h2；
通过公式：重叠面积＝(xR-xL)×(yR-yL)，计算所述第一人脸图像框和所述第二人脸图像框的重叠面积，其中，
xL＝max{x1,x2}，yL＝max{y1,y2}，xR＝min{x1+w1，x2+w2}，yR＝min{y1+h1，y2+h2}。
优选地，所述根据所述重叠面积计算所述可见光帧中的人脸图像与所述红外帧中的人脸图像的重叠度的步骤包括：
计算所述第一人脸图像框和所述第二人脸图像框中的面积较大者的面积；
根据所述重叠面积和所述面积较大者的面积计算所述可见光帧中的人脸图像与所述红外帧中的人脸图像的重叠度。
优选地，所述计算所述第一人脸图像框和所述第二人脸图像框中的面积较大者的面积的步骤包括：
通过公式：面积较大者的面积＝max{w1×h1,w2×h2}，计算所述第一人脸图像框和所述第二人脸图像框中的面积较大者的面积；
所述根据所述重叠面积和所述面积较大者的面积计算所述可见光帧中的人脸图像与所述红外帧中的人脸图像的重叠度的步骤包括：
当xR<xL或yR<yL时，重叠度δ＝0；
当xR≥xL且yR≥yL时，重叠度δ＝(xR-xL)×(yR-yL)/max{w1×h1,w2×h2}。
优选地，所述检测所述可见光帧和所述红外帧中是否包含人脸图像的步骤之后，还包括：
若检测到所述可见光帧中包含人脸图像而所述红外帧中不包含人脸图像，则判定人脸检测不通过。
优选地，所述判断计算得到的所述重叠度是否大于或等于预设阈值的步骤之后，还包括：
若所述重叠度小于预设阈值，则判定人脸检测不通过。
此外，为实现上述目的，本发明还提供一种人脸检测设备，所述人脸检测设备与一双目摄像头连接，所述双目摄像头包括一个可见光摄像头和一个红外摄像头，所述人脸检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人脸检测程序，所述人脸检测程序被所述处理器执行时实现如上所述的人脸检测方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸检测程序，所述人脸检测程序被处理器执行时实现如上所述的人脸检测方法的步骤。
本发明提出的人脸检测方法，通过双目摄像头采集可见光帧和红外帧，当可见光帧和红外帧中均包含人脸图像，且可见光帧中的人脸图像和预设的人脸图像匹配且与红外帧中的人脸图像重叠度大于或等于预设阈值时，才判定人脸检测通过，相比于现有技术中单一通过可见光摄像头采集人脸图像从而进行人脸识别，本发明能够提高人脸检测的安全性和可靠性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明人脸检测方法第一实施例的流程示意图；
图3为本发明人脸检测方法第二实施例中步骤S40的细化流程示意图；
图4为本发明实施例中可见光帧与红外帧中人脸图像的重叠示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：人脸检测设备连接一双目摄像头，该双目摄像头包括一个可见光摄像头和一个红外摄像头，获取同一时刻可见光摄像头拍摄到的可见光帧和红外摄像头拍摄到的红外帧，检测可见光帧和红外帧中是否包含人脸图像；当检测到可见光帧和红外帧中均包含人脸图像时，判断可见光帧中的人脸图像是否与预设的人脸图像匹配；若可见光帧中的人脸图像与预设的人脸图像匹配，则将可见光帧和红外帧重叠；在可见光帧与红外帧重叠后，采用预设算法计算可见光中的人脸图像与红外帧中的人脸图像的重叠度；判断计算得到的重叠度是否大于或等于预设阈值，若是，则判定人脸检测通过。
在现有的人脸检测技术中，一般是通过可见光摄像头采集人脸图像，从而进行人脸检测，然而由于可见光摄像头无法区分照片和真实的人脸，因此未经授权的陌生人可以通过照片欺骗识别***，从而导致安全隐患。
本发明提出的人脸检测方法，通过双目摄像头采集可见光帧和红外帧，当且仅当可见光帧和红外帧中均包含人脸图像，且可见光帧中的人脸图像和预设的人脸图像匹配且与红外帧中的人脸图像重叠度大于或等于预设阈值时，才判定人脸检测通过，相比于现有技术中单一通过可见光摄像头采集人脸图像从而进行人脸识别，本发明能够提高人脸检测的安全性和可靠性。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例人脸检测设备可以是PC机或服务器，该人脸检测设备与一双目摄像头连接，该双目摄像头包括一个可见光摄像头和一个红外摄像头，其中可见光摄像头用于采集可见光帧，红外摄像头用于采集红外帧。
如图1所示，该设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及人脸检测程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的人脸检测程序，并执行以下操作：
获取同一时刻所述可见光摄像头拍摄到的可见光帧和所述红外摄像头拍摄到的红外帧，检测所述可见光帧和所述红外帧中是否包含人脸图像；
当检测到所述可见光帧和所述红外帧中均包含人脸图像时，判断所述可见光帧中的人脸图像是否与预设的人脸图像匹配；
若所述可见光帧中的人脸图像与预设的人脸图像匹配，则将所述可见光帧和所述红外帧重叠；
在所述可见光帧与所述红外帧重叠后，采用预设算法计算所述可见光帧中的人脸图像与所述红外帧中的人脸图像的重叠度；
判断计算得到的所述重叠度是否大于或等于预设阈值，若是，则判定人脸检测通过。
进一步地，处理器1001可以调用存储器1005中存储的人脸检测程序，还执行以下操作：
接收重叠度阈值设置指令，根据所述设置指令设置重叠度阈值。
进一步地，处理器1001可以调用存储器1005中存储的人脸检测程序，还执行以下操作：
在所述可见光帧与所述红外帧重叠后，采用第一人脸图像框标识所述可见光帧中的人脸图像的位置，采用第二人脸图像框标识所述红外帧中人脸图像的位置；
计算所述第一人脸图像框和所述第二人脸图像框的重叠面积；
根据所述重叠面积计算所述可见光帧中的人脸图像与所述红外帧中的人脸图像的重叠度。
进一步地，处理器1001可以调用存储器1005中存储的人脸检测程序，还执行以下操作：
建立平面直角坐标系；
获取所述第一人脸图像框和所述第二人脸图像框中与所述平面直角坐标系的原点距离最近的顶点的坐标，分别记为(x1,y1)和(x2,y2)，同时，获取所述第一人脸图像框和所述第二人脸图像框在x轴方向的宽度，分别记为w1和w2，及所述第一人脸图像框和所述第二人脸图像框在y轴方向的高度，分别记为h1和h2；
通过公式：重叠面积＝(xR-xL)×(yR-yL)，计算所述第一人脸图像框和所述第二人脸图像框的重叠面积，其中，
xL＝max{x1,x2}，yL＝max{y1,y2}，xR＝min{x1+w1，x2+w2}，yR＝min{y1+h1，y2+h2}。
进一步地，处理器1001可以调用存储器1005中存储的人脸检测程序，还执行以下操作：
计算所述第一人脸图像框和所述第二人脸图像框中的面积较大者的面积；
根据所述重叠面积和所述面积较大者的面积计算所述可见光帧中的人脸图像与所述红外帧中的人脸图像的重叠度。
进一步地，处理器1001可以调用存储器1005中存储的人脸检测程序，还执行以下操作：
通过公式：面积较大者的面积＝max{w1×h1,w2×h2}，计算所述第一人脸图像框和所述第二人脸图像框中的面积较大者的面积；
当xR<xL或yR<yL时，取重叠度δ＝0；
当xR≥xL且yR≥yL时，取重叠度δ＝(xR-xL)×(yR-yL)/max{w1×h1,w2×h2}。
进一步地，处理器1001可以调用存储器1005中存储的人脸检测程序，还执行以下操作：
若检测到所述可见光帧中包含人脸图像而所述红外帧中不包含人脸图像，则判定人脸检测不通过。
进一步地，处理器1001可以调用存储器1005中存储的人脸检测程序，还执行以下操作：
若所述重叠度小于预设阈值，则判定人脸检测不通过。
本发明人脸检测设备的具体实施例与下述人脸检测方法的各具体实施例基本相同，在此不作赘述。
基于上述硬件结构，提出本发明人脸检测方法实施例。
参照图2，图2为本发明人脸检测方法第一实施例的流程示意图，所述方法包括：
步骤S10，获取同一时刻所述可见光摄像头拍摄到的可见光帧和所述红外摄像头拍摄到的红外帧，检测所述可见光帧和所述红外帧中是否包含人脸图像；
本实施例人脸检测方法应用于人脸检测设备，该人脸检测设备与一双目摄像头连接，该双目摄像头包括一个可见光摄像头和一个红外摄像头，其中可见光摄像头用于采集可见光帧，红外摄像头用于采集红外帧。具体实施时，双目摄像头可以安装在门禁或道闸处以对用户的人脸图像进行拍摄。
在进行人脸检测时，人脸检测设备首先获取同一时刻可见光摄像头拍摄到的可见光帧和红外摄像头拍摄到的红外帧，并检测可见光帧和红外帧中是否包含人脸图像，其中，检测可见光帧和红外帧中是否包含人脸图像可以参照现有技术中的人脸检测算法，此处不作赘述。
当检测到所述可见光帧和所述红外帧中均包含人脸图像时，执行步骤S20，判断所述可见光帧中的人脸图像是否与预设的人脸图像匹配；
根据可见光摄像头的特性，其无法区分照片和真实的人脸，因此未经授权的陌生人可以通过照片欺骗识别***；而根据红外摄像头的特性，其仅能拍摄到真实人脸的照片，因此通过红外摄像头可以进行活体检测，能够避免照片欺骗。然而，当未经授权的陌生人手持一张具有通行权限的人脸照片时，有可能会同时骗过可见光摄像头和红外摄像头：可见光算法会判定照片上的人脸具有通行权限，红外算法会判定当前人脸为真人，最终导致未经授权的陌生人可以通行。
针对上述问题，当检测到可见光帧和红外帧中均包含人脸图像时，说明当前场景存在真人，此时需要进一步判断该真人是否具备通行权限。由于可见光帧中可能包含多张人脸图像(如真人手持照片)，此时，可以从可见光帧中任选一张人脸图像作为判断对象，判断其是否与预设的人脸图像匹配，其中，预设的人脸图像为预设的具有通行权限的白名单中的人脸图像，判断可见光帧中的人脸图像是否与预设的人脸图像匹配的具体过程可以参照现有技术中的人脸匹配技术，此处不作赘述。
若所述可见光帧中的人脸图像与预设的人脸图像匹配，则执行步骤S30，将所述可见光帧和所述红外帧重叠；
若所述可见光帧中的人脸图像与预设的人脸图像匹配，则该匹配的人脸图像可能为真实的人脸图像，也可能为照片，为将两者进行区分，该步骤中，进一步将可见光帧和上述获取到的红外帧进行重叠，此处有一个假定，即可见光摄像头和红外摄像头的成像尺寸是一样的，也即可见光帧和红外帧的整体尺寸大小相同。
步骤S40，在所述可见光帧与所述红外帧重叠后，采用预设算法计算所述可见光帧中的人脸图像与所述红外帧中的人脸图像的重叠度；
该步骤中，当可见光帧和红外帧重叠后，采用预设算法计算可见光帧中的人脸图像与所述红外帧中的人脸图像的重叠度，该重叠度表示可见光帧中的人脸图像与所述红外帧中的人脸图像的重合程度，重叠度越大，表示可见光帧中的人脸图像与所述红外帧中的人脸图像越重合。
具体地，计算所述可见光帧中的人脸图像与所述红外帧中的人脸图像的重叠度可以为：首先计算可见光帧中的人脸图像与所述红外帧中的人脸图像的重合面积，然后计算该重合面积与可见光帧中的人脸图像面积的比值，将该比值作为两个人脸图像的重叠度，或者，计算该重合面积与红外帧中的人脸图像面积的比值，将该比值作为两个人脸图像的重合度。
步骤S50，判断计算得到的所述重叠度是否大于或等于预设阈值，若是，则判定人脸检测通过。
该步骤中，判断上述计算得到的重叠度是否大于或等于预设阈值，若是，则判定人脸检测通过。该判断的依据在于：由于双目摄像头中的可见光摄像头和红外摄像头具有一定间隔，因此可见光帧中的人脸图像和红外帧中的人脸图像的位置和宽高是有差异的，两者往往不能完全重合；由此，当计算得到两者的重叠度大于或等于预设阈值时，说明可见光帧中的人脸图像和红外帧中的人脸图像极有可能是同一个真人的人脸图像，此时即判定人脸检测通过。通过这种方式，能够排除未经授权的陌生人手持一张具有通行权限的人脸照片而导致可以通行的情况，从而提高了人脸检测的安全性和可靠性。
进一步地，上述步骤S10之前还可以包括：接收重叠度阈值设置指令，根据所述设置指令设置重叠度阈值。
本实施例中，重叠度阈值可由用户根据经验值进行灵活设置，不难理解，同等条件下，重叠度阈值设置得过高，会导致将某些正常情况也过滤掉，重叠度阈值设置得过低，则会导致不能识别到异常情况，因此需要合理设置重叠度阈值，从而保证人脸检测的准确性。比如针对行业标准(镜头中心距离为17mm)的双目摄像头，可以将重叠度阈值设置为0.3，若后续计算得到的重叠度大于或等于0.3，则判定人脸检测通过。
需要说明的是，重叠度阈值还可以根据双目摄像头两个镜头的中心距离、人脸可识别距离以及摄像头的焦距等因素进行调整，比如焦距越大，则同等距离的人脸成像越大，两个摄像头中正常人脸重合度将越高，此时可适当调高重合度阈值；可识别距离越大，即人离相机的距离越远，人脸在画面中越小，两个摄像头中正常人脸重合度将较低，此时可适当调低阈值，等等。
本实施例提出的人脸检测方法，通过双目摄像头采集可见光帧和红外帧，当且仅当可见光帧和红外帧中均包含人脸图像，且可见光帧中的人脸图像和预设的人脸图像匹配且与红外帧中的人脸图像重叠度大于或等于预设阈值时，才判定人脸检测通过，相比于现有技术中单一通过可见光摄像头采集人脸图像从而进行人脸检测，本实施例能够提高人脸检测的安全性和可靠性。
进一步地，基于上述第一实施例，提出本发明人脸检测方法第二实施例。参照图3，图3为本发明人脸检测方法第二实施例中步骤S40的细化流程示意图。基于上述图2所示的实施例，步骤S40可以包括：
步骤S41，在所述可见光帧与所述红外帧重叠后，采用第一人脸图像框标识所述可见光帧中的人脸图像的位置，采用第二人脸图像框标识所述红外帧中人脸图像的位置；
步骤S42，计算所述第一人脸图像框和所述第二人脸图像框的重叠面积；
步骤S43，根据所述重叠面积计算所述可见光帧中的人脸图像与所述红外帧中的人脸图像的重叠度。
参照图4，图4为本发明实施例中可见光帧与红外帧中人脸图像的重叠示意图。在本实施例中，可以首先采用第一人脸图像框标识可见光帧中的人脸图像的位置，采用第二人脸图像框标识红外帧中人脸图像的位置，其中第一人脸图像框和第二人脸图像框均为矩形框；然后，计算该第一人脸图像框和第二人脸图像框的重叠面积，之后再根据该重叠面积计算可见光帧中的人脸图像与红外帧中的人脸图像的重叠度。
具体地，作为一种实施方式，可以首先以重叠后图像帧的某一顶点为原点建立平面直角坐标系，这里不妨以图4中图像帧的左上顶点为原点建立平面直角坐标系，设第一人脸图像框中离原点最近的点P1的坐标为(x1,y1)，第二人脸图像框中离原点最近的点P2的坐标为(x2,y2)，第一人脸图像框的宽度为w1，高度为h1，第二人脸图像框的宽度为w2，高度为h2，则第一人脸图像框和所述第二人脸图像框的重叠面积可以通过公式：重叠面积＝(xR-xL)×(yR-yL)计算得到，其中，xL＝max{x1,x2}，yL＝max{y1,y2}，xR＝min{x1+w1，x2+w2}，yR＝min{y1+h1，y2+h2}。
进一步地，根据所述重叠面积计算所述可见光帧中的人脸图像与所述红外帧中的人脸图像的重叠度的步骤可以包括：计算所述第一人脸图像框和所述第二人脸图像框中的面积较大者的面积；根据所述重叠面积和所述面积较大者的面积计算所述可见光帧中的人脸图像与所述红外帧中的人脸图像的重叠度。
其中，可以通过公式：面积较大者的面积＝max{w1×h1,w2×h2}，计算所述第一人脸图像框和所述第二人脸图像框中的面积较大者的面积；而重叠度的计算方式为：当xR≥xL且yR≥yL时，重叠度δ＝(xR-xL)×(yR-yL)/max{w1×h1,w2×h2}，特别地，当xR<xL或yR<yL时，两个人脸图像无重叠，此时取重叠度δ＝0；
相较于对红外人脸和可见光人脸进行特征上的对比分析，上述重叠度计算方式简单且效率高，实际测试中，其花费的时间远小于1毫秒。
当然，在计算重叠度时，也可以计算第一人脸图像框和第二人脸图像框中的面积较小者的面积，然后将上述重叠面积与该面积较小者的面积的比值作为可见光帧中的人脸图像与红外帧中的人脸图像的重叠度，具体实施时可灵活设置。
进一步地，基于上述的实施例，提出本发明人脸检测方法第三实施例。
本实施例与上述实施例的区别之处在于，在步骤S10之后，还可以包括：若检测到所述可见光帧中包含人脸图像而所述红外帧中不包含人脸图像，则判定人脸检测不通过。
当检测到可见光帧中包含人脸图像而红外帧中不包含人脸图像时，说明可见光帧中的人脸图像为照片而非真人，此时判定人脸检测不通过。
进一步地，在步骤S20之后，还可以包括：若所述重叠度小于预设阈值，则判定人脸检测不通过。
当计算得到的重叠度小于预设阈值时，其对应的场景极有可能为未经授权的陌生人手持一张具有通行权限的人脸照片进行人脸检测，因为该场景下可见光帧中的照片人脸和红外帧中的真实人脸具有不重叠或重叠度较小的特点，此时判定人脸检测不通过。
本实施例根据实际安防场景特点，考虑了人脸检测不通过的情况，进一提高了人脸检测的安全性和可靠性。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有人脸检测程序，所述人脸检测程序被处理器执行时实现如上所述的人脸检测方法的步骤。
其中，在所述处理器上运行的人脸检测程序被执行时所实现的方法可参照本发明人脸检测方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种人脸检测方法，应用于人脸检测设备，其特征在于，所述人脸检测设备与一双目摄像头连接，所述双目摄像头包括一个可见光摄像头和一个红外摄像头，所述人脸检测方法包括如下步骤：
获取同一时刻所述可见光摄像头拍摄到的可见光帧和所述红外摄像头拍摄到的红外帧，检测所述可见光帧和所述红外帧中是否包含人脸图像；
当检测到所述可见光帧和所述红外帧中均包含人脸图像时，判断所述可见光帧中的人脸图像是否与预设的人脸图像匹配；
若所述可见光帧中的人脸图像与预设的人脸图像匹配，则将所述可见光帧和所述红外帧重叠；
在所述可见光帧与所述红外帧重叠后，采用预设算法计算所述可见光帧中的人脸图像与所述红外帧中的人脸图像的重叠度；
判断计算得到的所述重叠度是否大于或等于预设阈值，若是，则判定人脸检测通过。
2.如权利要求1所述的人脸检测方法，其特征在于，所述获取同一时刻所述可见光摄像头拍摄到的可见光帧和所述红外摄像头拍摄到的红外帧，检测所述可见光帧和所述红外帧中是否包含人脸图像的步骤之前，还包括：
接收重叠度阈值设置指令，根据所述设置指令设置重叠度阈值。
3.如权利要求1所述的人脸检测方法，其特征在于，所述在所述可见光帧与所述红外帧重叠后，采用预设算法计算所述可见光帧中的人脸图像与所述红外帧中的人脸图像的重叠度的步骤包括：
在所述可见光帧与所述红外帧重叠后，采用第一人脸图像框标识所述可见光帧中的人脸图像的位置，采用第二人脸图像框标识所述红外帧中人脸图像的位置；
计算所述第一人脸图像框和所述第二人脸图像框的重叠面积；
根据所述重叠面积计算所述可见光帧中的人脸图像与所述红外帧中的人脸图像的重叠度。
4.如权利要求3所述的人脸检测方法，其特征在于，所述计算所述第一人脸图像框和所述第二人脸图像框的重叠面积的步骤包括：
建立平面直角坐标系；
获取所述第一人脸图像框和所述第二人脸图像框中与所述平面直角坐标系的原点距离最近的顶点的坐标，分别记为(x1,y1)和(x2,y2)，同时，获取所述第一人脸图像框和所述第二人脸图像框在x轴方向的宽度，分别记为w1和w2，及所述第一人脸图像框和所述第二人脸图像框在y轴方向的高度，分别记为h1和h2；
通过公式：重叠面积＝(xR-xL)×(yR-yL)，计算所述第一人脸图像框和所述第二人脸图像框的重叠面积，其中，
xL＝max{x1,x2}，yL＝max{y1,y2}，xR＝min{x1+w1，x2+w2}，yR＝min{y1+h1，y2+h2}。
5.如权利要求4所述的人脸检测方法，其特征在于，所述根据所述重叠面积计算所述可见光帧中的人脸图像与所述红外帧中的人脸图像的重叠度的步骤包括：
计算所述第一人脸图像框和所述第二人脸图像框中的面积较大者的面积；
根据所述重叠面积和所述面积较大者的面积计算所述可见光帧中的人脸图像与所述红外帧中的人脸图像的重叠度。
6.如权利要求5所述的人脸检测方法，其特征在于，所述计算所述第一人脸图像框和所述第二人脸图像框中的面积较大者的面积的步骤包括：
通过公式：面积较大者的面积＝max{w1×h1,w2×h2}，计算所述第一人脸图像框和所述第二人脸图像框中的面积较大者的面积；
所述根据所述重叠面积和所述面积较大者的面积计算所述可见光帧中的人脸图像与所述红外帧中的人脸图像的重叠度的步骤包括：
当xR<xL或yR<yL时，取重叠度δ＝0；
当xR≥xL且yR≥yL时，取重叠度δ＝(xR-xL)×(yR-yL)/max{w1×h1,w2×h2}。
7.如权利要求1至6中任一项所述的人脸检测方法，其特征在于，所述检测所述可见光帧和所述红外帧中是否包含人脸图像的步骤之后，还包括：
若检测到所述可见光帧中包含人脸图像而所述红外帧中不包含人脸图像，则判定人脸检测不通过。
8.如权利要求7所述的人脸检测方法，其特征在于，所述判断计算得到的所述重叠度是否大于或等于预设阈值的步骤之后，还包括：
若所述重叠度小于预设阈值，则判定人脸检测不通过。
9.一种人脸检测设备，其特征在于，所述人脸检测设备与一双目摄像头连接，所述双目摄像头包括一个可见光摄像头和一个红外摄像头，所述人脸检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人脸检测程序，所述人脸检测程序被所述处理器执行时实现如权利要求1至8中任一项所述的人脸检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有人脸检测程序，所述人脸检测程序被处理器执行时实现如权利要求1至8中任一项所述的人脸检测方法的步骤。
CN201810741579.5A 2018-07-06 2018-07-06 人脸检测方法、设备及计算机可读存储介质 Active CN109002786B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810741579.5A CN109002786B (zh) 2018-07-06 2018-07-06 人脸检测方法、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810741579.5A CN109002786B (zh) 2018-07-06 2018-07-06 人脸检测方法、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109002786A CN109002786A (zh) 2018-12-14
CN109002786B true CN109002786B (zh) 2022-02-18

Family

ID=64599271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810741579.5A Active CN109002786B (zh) 2018-07-06 2018-07-06 人脸检测方法、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109002786B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110186167B (zh) * 2019-05-31 2021-08-13 广东美的制冷设备有限公司 空调器的控制方法、装置、空调器及存储介质
CN110532957B (zh) * 2019-08-30 2021-05-07 北京市商汤科技开发有限公司 人脸识别方法及装置、电子设备和存储介质
CN110740315B (zh) * 2019-11-07 2021-07-16 杭州宇泛智能科技有限公司 摄像头矫正方法、装置、电子设备及存储介质
CN111027541A (zh) * 2019-11-15 2020-04-17 国网安徽省电力有限公司检修分公司 基于可见光和热成像的火焰检测方法、***及存储介质
CN110705530B (zh) * 2019-12-13 2020-05-15 珠海亿智电子科技有限公司 双目活体识别同一人脸框的方法、装置、设备及存储介质
CN111597988B (zh) * 2020-05-15 2024-04-19 深圳市中联讯科技有限公司 红外测温仪进行人数统计的方法及终端
CN111920391B (zh) * 2020-06-23 2022-05-31 联想(北京)有限公司 一种测温方法及设备
CN112488018A (zh) * 2020-12-09 2021-03-12 巽腾(广东)科技有限公司 双目活体检测方法、装置、设备和存储介质
CN112907680B (zh) * 2021-02-22 2022-06-14 上海数川数据科技有限公司 一种可见光与红外双光相机旋转矩阵自动校准方法
CN115205772A (zh) * 2021-04-12 2022-10-18 南宁富联富桂精密工业有限公司 重叠度计算方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964056A (zh) * 2010-10-26 2011-02-02 徐勇 一种具有活体检测功能的双模态人脸认证方法和***
CN103400108A (zh) * 2013-07-10 2013-11-20 北京小米科技有限责任公司 人脸识别方法、装置和移动终端
CN106372601A (zh) * 2016-08-31 2017-02-01 上海依图网络科技有限公司 一种基于红外可见双目图像的活体检测方法及装置
CN107967677A (zh) * 2017-12-15 2018-04-27 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4944055B2 (ja) * 2008-03-19 2012-05-30 富士フイルム株式会社 撮像装置及び撮像制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964056A (zh) * 2010-10-26 2011-02-02 徐勇 一种具有活体检测功能的双模态人脸认证方法和***
CN103400108A (zh) * 2013-07-10 2013-11-20 北京小米科技有限责任公司 人脸识别方法、装置和移动终端
CN106372601A (zh) * 2016-08-31 2017-02-01 上海依图网络科技有限公司 一种基于红外可见双目图像的活体检测方法及装置
CN107967677A (zh) * 2017-12-15 2018-04-27 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备

Also Published As

Publication number Publication date
CN109002786A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
CN109002786B (zh) 人脸检测方法、设备及计算机可读存储介质
CN110443016B (zh) 信息防泄露方法、电子装置及存储介质
US10956715B2 (en) Decreasing lighting-induced false facial recognition
JP5076563B2 (ja) 顔照合装置
CN107392137B (zh) 人脸识别方法及装置
US20180012094A1 (en) Spoofing attack detection during live image capture
CN110059644A (zh) 一种基于人脸图像的活体检测方法、***及相关组件
US11227170B2 (en) Collation device and collation method
US10441198B2 (en) Face detection device, face detection system, and face detection method
WO2019216091A1 (ja) 顔認証装置、顔認証方法および顔認証システム
JP5538963B2 (ja) 非常通報装置
JP2007328572A (ja) 顔認証装置および顔認証方法
CN113780212A (zh) 用户身份核验方法、装置、设备及存储介质
CN109492509A (zh) 身份识别方法、装置、计算机可读介质及***
US9064172B2 (en) System and method for object detection
CN108460319B (zh) 异常人脸检测方法及装置
CN110246292B (zh) 家庭视频监控方法、装置及存储介质
US20240054819A1 (en) Authentication control device, authentication system, authentication control method and non-transitory computer readable medium
CN109196517B (zh) 对照装置和对照方法
KR20120032223A (ko) 차량 내 운전자 인증 장치 및 그 방법
JP7039084B1 (ja) セルフレジ監視システム及びセルフレジ監視方法
WO2018179723A1 (ja) 顔認証処理装置、顔認証処理方法及び顔認証処理システム
CN113222809B (zh) 实现隐私保护的图片处理方法及装置
JP2012133411A (ja) 顔照合システム、顔照合装置及び顔照合方法
JP2020052788A (ja) 画像処理装置及びその方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 518055 floor 1-5, building 6, jiuxiangling Industrial Zone, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen Fuji Intelligent Co.,Ltd.

Address before: 518055 floor 1-5, building 6, jiuxiangling Industrial Zone, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN FUJICA INTELLIGENTIZED SYSTEM CO.,LTD.

CP01 Change in the name or title of a patent holder