CN108764053A - 图像处理方法、装置、计算机可读存储介质和电子设备 - Google Patents

图像处理方法、装置、计算机可读存储介质和电子设备 Download PDF

Info

Publication number
CN108764053A
CN108764053A CN201810404835.1A CN201810404835A CN108764053A CN 108764053 A CN108764053 A CN 108764053A CN 201810404835 A CN201810404835 A CN 201810404835A CN 108764053 A CN108764053 A CN 108764053A
Authority
CN
China
Prior art keywords
image
human face
infrared
face region
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810404835.1A
Other languages
English (en)
Inventor
郭子青
周海涛
惠方方
谭筱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810404835.1A priority Critical patent/CN108764053A/zh
Publication of CN108764053A publication Critical patent/CN108764053A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机可读存储介质和电子设备。所述方法包括:当检测到采集的红外图像中存在人脸区域时,开始采集连续的至少两帧红外图像作为目标红外图像;遍历所述目标红外图像,并获取所述目标红外图像中的目标人脸区域;若获取的目标人脸区域的目标数量大于第一数量阈值,且所获取的目标人脸区域对应同一张人脸,则根据所述目标人脸区域进行人脸验证处理。上述图像处理方法、装置、计算机可读存储介质和电子设备,可以提高图像处理的准确性。

Description

图像处理方法、装置、计算机可读存储介质和电子设备
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像处理方法、装置、计算机可读存储介质和电子设备。
背景技术
由于人脸具有唯一性特征,因此人脸识别技术在智能终端中的应用越来越广泛。智能终端的很多应用程序都会通过人脸进行认证,例如通过人脸进行智能终端的解锁、通过人脸进行支付认证。同时,智能终端还可以对包含人脸的图像进行处理。例如,对人脸特征进行识别,根据人脸表情制作表情包,或者通过人脸特征进行美颜处理等。
发明内容
本申请实施例提供一种图像处理方法、装置、计算机可读存储介质和电子设备,可以提高图像处理的准确性。
一种图像处理方法,包括:
当检测到采集的红外图像中存在人脸区域时,开始采集连续的至少两帧红外图像作为目标红外图像;
遍历所述目标红外图像,并获取所述目标红外图像中的目标人脸区域;
若获取的目标人脸区域的目标数量大于第一数量阈值,且所获取的目标人脸区域对应同一张人脸,则根据所述目标人脸区域进行人脸验证处理。
一种图像处理装置,包括:
图像采集模块,用于当检测到采集的红外图像中存在人脸区域时,开始采集连续的至少两帧红外图像作为目标红外图像;
人脸检测模块,用于遍历所述目标红外图像,并获取所述目标红外图像中的目标人脸区域;
人脸验证模块,用于若获取的目标人脸区域的目标数量大于第一数量阈值,且所获取的目标人脸区域对应同一张人脸,则根据所述目标人脸区域进行人脸验证处理。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
当检测到采集的红外图像中存在人脸区域时,开始采集连续的至少两帧红外图像作为目标红外图像;
遍历所述目标红外图像,并获取所述目标红外图像中的目标人脸区域;
若获取的目标人脸区域的目标数量大于第一数量阈值,且所获取的目标人脸区域对应同一张人脸,则根据所述目标人脸区域进行人脸验证处理。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如下步骤:
当检测到采集的红外图像中存在人脸区域时,开始采集连续的至少两帧红外图像作为目标红外图像;
遍历所述目标红外图像,并获取所述目标红外图像中的目标人脸区域;
若获取的目标人脸区域的目标数量大于第一数量阈值,且所获取的目标人脸区域对应同一张人脸,则根据所述目标人脸区域进行人脸验证处理。
上述图像处理方法、装置、计算机可读存储介质和电子设备,在检测到采集的红外图像中存在人脸区域时,开始采集连续的红外图像作为目标红外图像。然后检测目标红外图像中的目标人脸区域,若目标人脸区域的目标数量大于第一数量阈值,且所获取的目标人脸区域对应同一张人脸,则根据该目标人脸区域进行人脸验证处理。这样在检测到人脸的时候,会获取连续几帧红外图像来判断是否存在人脸,再根据判断结果来进行人脸验证处理,以避免用户误操作,提高了图像处理的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的应用场景图;
图2为一个实施例中图像处理方法的流程图;
图3为另一个实施例中图像处理方法的流程图;
图4为又一个实施例中图像处理方法的流程图;
图5为又一个实施例中图像处理方法的流程图;
图6为一个实施例中计算深度信息的原理图;
图7为一个实施例中实现图像处理方法的硬件结构图;
图8为另一个实施例中实现图像处理方法的硬件结构图;
图9为一个实施例中实现图像处理方法的软件架构示意图;
图10为一个实施例中图像处理装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。
图1为一个实施例中图像处理方法的应用场景图。如图1所示,该应用场景中包括电子设备104。电子设备104中可安装摄像头模组,并通过安装的摄像头模组获取红外图像。当电子设备104检测到采集的红外图像102中存在人脸区域时,开始采集连续的至少两帧红外图像102作为目标红外图像。遍历目标红外图像,并获取目标红外图像中的目标人脸区域;若获取的目标人脸区域的目标数量大于第一数量阈值,且所获取的目标人脸区域对应同一张人脸,则根据目标人脸区域进行人脸验证处理。其中,电子设备104可为智能手机、平板电脑、个人数字助理、穿戴式设备等。
图2为一个实施例中图像处理方法的流程图。如图2所示,该图像处理方法包括步骤202至步骤208。其中:
步骤202,当检测到采集的红外图像中存在人脸区域时,开始采集连续的至少两帧红外图像作为目标红外图像。
在一个实施例中,电子设备上可以安装摄像头,并通过安装的摄像头获取图像。摄像头可以根据获取的图像的不同分为激光摄像头、可见光摄像头等类型,激光摄像头可以获取激光照射到物体上所形成的图像,可见光图像可以获取可见光照射到物体上所形成的图像。电子设备上可以安装若干个摄像头,且安装的位置不做限定。例如,可以在电子设备的正面面板上安装一个摄像头,在背面面板上安装两个摄像头,摄像头还可以以内嵌的方式安装于电子设备的内部,然后通过旋转或滑动的方式打开摄像头。具体地,电子设备上可安装前置摄像头和后置摄像头,前置摄像头和后置摄像头可以从不同的视角获取图像,一般前置摄像头可以从电子设备的正面视角获取图像,后置摄像头可以从电子设备的背面视角获取图像。
具体地,电子设备在打开摄像头之后,可以每间隔一定时长采集一次红外图像,并检测采集的红外图像中是否存在人脸区域。当检测到采集的红外图像中存在人脸区域时,开始采集连续的至少两帧红外图像作为目标红外图像。例如,电子设备在打开摄像头之后,可以每间隔0.2秒采集一帧红外图像,每采集一帧红外图像,都会检测该采集的红外图像中是否存在人脸区域。红外图像是经过泛光灯发射的激光照射到被拍摄物体上,并通过激光摄像头采集的图像,采集的红外图像中可包括被拍摄物体的细节信息。红外图像不受环境光的影响,因此在暗光环境下也能采集到被拍摄物体的细节信息。
可以理解的是,当检测到采集的红外图像中存在人脸区域时,可以是从该检测到人脸区域的红外图像开始采集连续的至少两帧红外图像,也可以是从该检测到人脸区域的红外图像的下一帧开始采集连续的至少两帧红外图像,在此不做限定。人脸区域是指红外图像中人脸所在的区域,根据人脸检测算法可以检测出图像中人脸所在的位置,上述人脸检测算法在此不做限定。当检测到人脸区域时,可以标记该人脸区域在红外图像中的人脸坐标,根据该人脸坐标即可以查找该人脸区域在红外图像中的具***置。
步骤204,遍历目标红外图像,并获取目标红外图像中的目标人脸区域。
电子设备获取连续的红外图像作为目标红外图像,获取的目标红外图像具有时序性,按照采集时刻由先到后的顺序进行排列。在获取到目标红外图像之后,电子设备可以遍历目标红外图像,并检测目标红外图像中的目标人脸区域。每一张目标红外图像对应一个图像标识,在检测到目标人脸区域之后,还可以通过人脸标识对目标人脸进行标记,并建立图像标识和人脸标识的对应关系,这样就可以根据图像标识查找对应的人脸标识。
步骤206,若获取的目标人脸区域的目标数量大于第一数量阈值,且所获取的目标人脸区域对应同一张人脸,则根据目标人脸区域进行人脸验证处理。
采集到目标红外图像之后,可以分别检测每一张目标红外图像中包含的目标人脸区域。可以理解的是,目标红外图像中可能不存在人脸区域,也可能存在一张人脸区域,还可能包含两张或两张以上的人脸区域。那么电子设备在检测人脸区域的时候,若目标红外图像中只存在一张人脸区域,就会将该人脸区域直接作为目标人脸区域。若目标红外图像中存在两张或两张以上的人脸区域,可以选取其中一张人脸区域作为目标人脸区域。也就是说,一张目标红外图像中要么不存在目标人脸区域,要么只能获取一张对应的目标人脸区域。然后统计检测到的目标人脸区域的目标数量,只有当获取的目标人脸区域的目标数量大于第一数量阈值,且所获取的目标人脸区域对应同一张人脸时,才会开始根据目标人脸区域进行人脸验证处理。最后得到的人脸验证结果可以返回给上层的应用程序,应用程序再根据人脸验证结果进行后续的处理。
例如,采集连续的5帧红外图像作为目标红外图像,然后提取每一张目标红外图像中包含的目标人脸区域。假设第一数量阈值为4,那么当目标人脸区域的目标数量大于4时且所获取的目标人脸区域对应同一张人脸时,才会进行人脸验证处理。也就是说,要满足每一张目标红外图像中都存在目标人脸区域,且都对应同一张人脸,才会进行人脸验证处理,这样可以避免电子设备进行误操作。
人脸验证处理是指根据图像中的人脸进行权限验证的处理。例如,可以根据拍摄的人脸图像进行身份识别,从而进行解锁、支付等操作。人脸验证的过程一般分为两个阶段:人脸匹配阶段和活体检测阶段。在人脸匹配阶段时,会将提取的人脸区域与预设人脸区域进行比较,若提取的人脸区域与预设人脸区域相匹配,则认为人脸匹配成功。在活体检测阶段,会检测提取的人脸区域是否为活体,当提取的人脸区域为活体人脸,而非如照片、三维模型等中的人脸时,才认为活体检测成功。一般认为人脸匹配和活体检测都成功时,该人脸区域才算是验证成功。
在本申请提供的实施例中,当电子设备检测到采集的红外图像中存在人脸区域时,进入一次权限检测,并开始根据采集的连续的目标红外图像判断是否满足进行人脸验证处理的条件。若判断满足进入人脸验证处理的条件,则对目标人脸区域进行人脸验证处理。若判断不满足进入人脸验证处理的条件,则可以结束本次检测。在结束本次检测之后,可以直接退出人脸检测的过程,也可以继续判断是否在采集的红外图像中检测到人脸区域,若在采集的红外图像中检测到存在人脸区域,则进入下一次权限检测。具体地,若获取的目标人脸区域的目标数量大于数量阈值,且所获取的目标人脸区域对应不同的人脸,则退出本次权限检测;或若获取的目标人脸区域的目标数量小于或等于数量阈值,则退出本次权限检测。上述权限检测用于检测获取的红外图像是否满足进行人脸验证处理的条件,当验证获得的红外图像满足进行人脸验证处理的条件时,则对目标人脸区域进行人脸验证处理,否则,直接退出本次权限检测过程。
上述实施例提供的图像处理方法,在检测到采集的红外图像中存在人脸区域时,开始采集连续的红外图像作为目标红外图像。然后检测目标红外图像中的目标人脸区域,若目标人脸区域的目标数量大于第一数量阈值,且所获取的目标人脸区域对应同一张人脸,则根据该目标人脸区域进行人脸验证处理。这样在检测到人脸的时候,会获取连续几帧红外图像来判断是否存在人脸,再根据判断结果来进行人脸验证处理,以避免用户误操作,提高了图像处理的准确性。
图3为另一个实施例中图像处理方法的流程图。如图3所示,该图像处理方法包括步骤302至步骤310。其中:
步骤302,当检测到采集的红外图像中存在人脸区域时,获取人脸区域对应的区域面积。
在一个实施例中,电子设备的处理单元可以接收来自上层应用程序的指令,当处理单元接收到人脸验证指令时,就可以控制摄像头模组进行工作,通过摄像头采集红外图像。处理单元连接于摄像头,摄像头获取的图像就可以传输给处理单元,并通过处理单元进行裁剪、亮度调节、人脸检测、人脸识别等处理。摄像头模组中可以但不限于包括激光摄像头和泛光灯。当处理单元接收到人脸验证指令时,会控制泛光灯进行工作。当泛光灯开启时,通过激光摄像头采集红外图像。
步骤304,当区域面积大于第一面积阈值时,开始采集连续的至少两帧红外图像作为目标红外图像。
具体地,当电子设备中的第一处理单元检测到人脸验证指令时,会控制摄像头模组采集红外图像。摄像头打开之后,电子设备会控制摄像头持续采集红外图像,并在每次获取到红外图像时,检测采集到的红外图像中是否存在人脸区域。当检测到采集的红外图像中存在人脸区域时,会获取人脸区域的区域面积。当区域面积大于第一面积阈值时,开始采集连续的至少两帧红外图像作为目标红外图像。
其中,区域面积是指人脸区域的面积大小。可以理解的是,红外图像是有若干个像素点构成的二维像素矩阵,那么区域面积就可以用其中包含的像素点的数量进行表示。人脸区域中包含的像素点数量越多,对应的区域面积越大。人脸区域中包含的像素点数量越少,对应的区域面积越小。可以预先定义第一面积阈值,当区域面积小于或等于第一面积阈值,则认为人脸区域太小,则不进行人脸验证。当区域面积大于第一面积阈值时,认为人脸区域比较大,则可以对人脸进行验证。这样防止用户在误操作时,对人脸进行验证处理,使得图像处理不准确。
步骤306,遍历目标红外图像,并检测目标红外图像中的人脸区域,将目标红外图像中包含的区域面积最大的人脸区域作为目标人脸区域。
用户在通过人脸进行验证处理的时候,往往需要将人脸对准电子设备的摄像头,并通过摄像头采集的人脸图像进行验证处理,直到验证通过之后,用户的人脸才会离开摄像头的视场范围。也就是说,一般在人脸验证的过程中,用户会将脸部放到摄像头前面并保持一段时间,以保证摄像头可以采集到用户的脸部。因此电子设备在打开摄像头之后,若检测到红外图像中包含人脸的话,就会继续获取连续的几帧目标红外图像,并根据获取的几帧连续的目标红外图像来判断用户的脸部是否一直处于摄像头前面。若用户的脸部一直处于摄像头前面,则认为用户是需要进行人脸验证的操作的;若否,在认为用户不需要进行人脸验证的操作。
具体地,电子设备会遍历目标红外图像,并检测目标红外图像中包含的所有人脸区域,并将各个目标红外图像中包含的区域面积最大的人脸区域作为目标人脸区域。若目标红外图像中不包含人脸区域,则认为该目标红外图像中不存在目标人脸区域。
步骤308,若获取的目标人脸区域的目标数量大于第一数量阈值,且所获取的目标人脸区域对应不同的人脸,则统计每一张人脸对应的目标人脸区域的人脸数量。
在本申请提供的实施例中,若获取的目标人脸区域的目标数量大于第一数量阈值,则目标红外图像中存在的目标人脸区域较多。若所获取的目标人脸区域对应同一张人脸,则直接对目标人脸区域进行人脸验证处理。若所获取的目标人脸区域对应不同的人脸,则可以根据人脸对目标人脸区域进行分类。将同一张人脸对应的目标人脸区域分到同一类型,然后统计每一类人脸对应的目标人脸区域的人脸数量。具体地,可以所获取的目标人脸区域进行两两比较,得到两张目标人脸区域之间的相似度,相似度高于阈值的目标人脸区域为同一张人脸对应的目标人脸区域,从而将目标人脸区域进行分类。
步骤310,若最大人脸数量大于第二数量阈值,则根据对应人脸数量最多的目标人脸区域进行人脸验证处理,其中第一数量阈值大于或等于第二数量阈值。
分类之后可以得到每一类目标人脸区域对应的人脸数量,然后将得到的人脸数量按照降序进行排列,若最大人脸数量大于第二数量阈值,则将该人脸数量最多的目标人脸区域作为需要进行人脸验证处理的人脸区域,并对该人脸数量最多的目标人脸区域进行人脸验证处理。在进行人脸验证处理的过程中,可以从所获取的目标人脸区域中随机选取一张目标人脸区域进行人脸验证处理,也可以对获取时刻最晚的目标人脸区域进行人脸验证处理,在本实施例中不做限定。
例如,获取的连续8帧目标红外图像分别为“pic_01”→“pic_02”→“pic_03”→“pic_04”→“pic_05”→“pic_06”→“pic_07”→“pic_08”,分别提取上述8帧目标红外图像中的目标人脸区域,提取的目标人脸区域对应的用户分别为“用户1”→“用户1”→“用户1”→“用户1”→“用户2”→“用户1”→“用户1”→“用户1”。则上述目标红外图像就可以分为两类,“用户1”对应的目标人脸区域的人脸数量为7,“用户2”对应的目标人脸区域的人脸数量为1。假设第二数量阈值为6,则上述获取的最大人脸数量就大于第二数量阈值,则可以根据人脸数量最多的目标人脸区域,即“用户1”对应的目标人脸区域进行人脸验证处理。
在一个实施例中,获取目标人脸区域的方法还包括:
步骤402,检测目标红外图像中的人脸区域,将目标红外图像中包含的区域面积最大的人脸区域作为参考人脸区域。
具体地,遍历上述获取的目标红外图像,并检测目标红外图像中的人脸区域,将各个目标红外图像中包含的区域面积最大的人脸区域作为参考人脸区域。若目标红外图像中不存在人脸区域,则该目标红外图像中没有对应的参考人脸区域。若目标红外图像中存在人脸区域,则获取各个人脸区域对应的区域面积,并将区域面积最大的人脸区域作为参考人脸去区域。也就是说,一张目标红外图像要么对应一张参考人脸区域,要么不存在对应的参考人脸区域。
步骤404,若参考人脸区域的区域面积大于第二面积阈值,则将参考人脸区域作为目标人脸区域。
将各个目标红外图像所对应的参考人脸区域的区域面积与第二面积阈值进行比较,若参考人脸区域的区域面积大于第二面积阈值,则可以将该参考人脸区域作为目标人脸区域,并根据该目标人脸区域进行权限检测。上述第一面积阈值与第二面积阈值可以是相等的,也可以不相等的阈值,在此不做限定。
在一个实施例中,人脸验证处理的过程具体可以包括:
步骤502,从目标红外图像中获取待识别红外图像,并获取待识别红外图像所对应的待识别深度图像,待识别深度图像用于表示待识别红外图像的深度信息。
人脸验证处理可以包括人脸匹配处理和活体检测处理,具体可以根据红外图像进行人脸匹配处理,根据深度图像进行人脸活体检测处理。用于进行人脸验证处理的待识别红外图像和待识别深度图像是对应的,待识别深度图像可以表示待识别红外图像对应的深度信息。在对用户人脸进行验证处理的过程中,在摄像头打开之后会持续的采集用户脸部生成的红外图像,当权限检测通过之后,直接进入人脸验证处理的过程。可以理解的是,在持续采集红外图像的过程中,可以每采集一帧红外图像对应地采集一张深度图像,在权限检测通过之后,随机选取一张目标红外图像作为待识别红外图像,并获取该待识别红外图像对应的深度图像作为待识别深度图像,进行人脸验证处理。也可以只采集获取时刻最晚的目标红外图像所对应的深度图像,在权限检测通过之后,将该获取时刻最晚的目标红外图像作为待识别红外图像,并将该最后一帧目标红外图像对应的深度图像作为待识别深度图像进行人脸验证处理。
在一个实施例中,深度图像可以是摄像头直接采集的,也可以是由摄像头采集散斑图像,并根据散斑图像计算得到的。具体地,处理单元会控制镭射灯和泛光灯进行分时工作,当镭射灯开启时,通过激光摄像头采集散斑图像;当泛光灯开启时,通过激光摄像头采集红外图像。镭射灯可以发射出若干个激光散斑点,激光散斑点照射到不同距离的物体上时,在图像上所呈现的斑点位置不同。
具体地,电子设备可以预先采集一个标准的参考图像,参考图像是激光散斑照射到平面上所形成的图像。所以参考图像上的散斑点一般是均匀分布的,然后建立该参考图像中每一个散斑点与参考深度的对应关系。当需要采集散斑图像时,控制镭射灯发出激光散斑,激光散斑照射到物体上之后,通过激光摄像头采集得到散斑图像。然后将散斑图像中的每一个散斑点与参考图像中的散斑点进行比较,获取散斑图像中的散斑点相对于参考图像中对应的散斑点的位置偏移量,并散斑点的位置偏移量与参考深度来获取散斑点对应的实际深度信息。
摄像头采集的红外图像与散斑图像是对应的,散斑图像可以用于计算红外图像中每一个像素点对应的深度信息。这样可以通过红外图像对人脸进行检测和识别,根据散斑图像可以计算得到人脸对应的深度信息。具体地,根据散斑图像计算深度信息的过程中,首先要根据散斑图像相对与参考图像的散斑点的位置偏移量计算相对深度,相对深度可以表示实际拍摄物体到参考平面的深度信息。然后再根据获取的相对深度和参考深度计算物体的实际深度信息。深度图像用于表示红外图像对应的深度信息,可以是表示的物体到参考平面的相对深度,也可以是物体到摄像头的绝对深度。
根据散斑图像计算得到深度图像的步骤具体可以包括:获取参考图像,参考图像为标定得到的带有参考深度信息的图像;将参考图像与散斑图像进行比较得到偏移信息,偏移信息用于表示散斑图像中散斑点相对于参考图像中对应散斑点的水平偏移量;根据偏移信息和参考深度信息计算得到深度图像。
图6为一个实施例中计算深度信息的原理图。如图6所示,镭射灯602可以生成激光散斑,激光散斑经过物体进行反射后,通过激光摄像头604获取形成的图像。在摄像头的标定过程中,镭射灯602发射的激光散斑会经过参考平面608进行反射,然后通过激光摄像头604采集反射光线,通过成像平面610成像得到参考图像。参考平面608到镭射灯602的参考深度为L,该参考深度为已知的。在实际计算深度信息的过程中,镭射灯602发射的激光散斑会经过物体606进行反射,再由激光摄像头604采集反射光线,通过成像平面610成像得到实际的散斑图像。则可以得到实际的深度信息的计算公式为:
其中,L是镭射灯602到与参考平面608之间的距离,f为激光摄像头604中透镜的焦距,CD为镭射灯602到激光摄像头604之间的距离,AB为物体606的成像与参考平面608的成像之间的偏移距离。AB可为像素偏移量n与像素点的实际距离p的乘积。当物体604到镭射灯602之间的距离Dis大于参考平面606到镭射灯602之间的距离L时,AB为负值;当物体604到镭射灯602之间的距离Dis小于参考平面606到镭射灯602之间的距离L时,AB为正值。
具体地,遍历散斑图像中每一个像素点(x,y),以该像素点为中心,选择一个预设大小像素块。例如,可以是选取31pixel*31pixel大小的像素块。然后在参考图像上搜索相匹配的像素块,计算在参考图像上匹配的像素点的坐标与像素点(x,y)坐标的水平偏移量,向右偏移即为正,向左偏移记为负。再把计算出的水平偏移量带入公式(1)可以得到像素点(x,y)的深度信息。这样依次计算散斑图像中每个像素点的深度信息,就可以得到带有散斑图像中各个像素点所对应的深度信息。
深度图像可以用于表示红外图像对应的深度信息,深度图像中包含的每一个像素点表示一个深度信息。具体地,参考图像中的每一个散斑点都对应一个参考深度信息,当获取到参考图像中散斑点与散斑图像中散斑点的水平偏移量后,可以根据该水平偏移量计算得到散斑图像中的物体到参考平面的相对深度信息,然后再根据相对深度信息和参考深度信息,就可以计算得到物体到摄像头的实际深度信息,即得到最后的深度图像。
步骤504,根据待识别红外图像和待识别深度图像进行人脸验证处理。
在一个实施例中,人脸验证的过程包括人脸匹配阶段和活体检测阶段,人脸匹配阶段是指识别人脸身份的过程,活体检测阶段是指检测被拍摄人脸是否为活体的过程。具体地,获取待识别红外图像对应的目标人脸区域作为待识别人脸区域;获取待识别人脸区域对应的目标人脸属性参数,根据目标人脸属性参数对待识别人脸区域进行人脸匹配处理;若人脸匹配成功,则提取待识别人脸区域在待识别深度图像中对应的待识别人脸深度区域,根据待识别人脸深度区域获取目标活体属性参数;根据目标活体属性参数进行活体检测处理;根据活体检测结果得到人脸验证结果。
在人脸匹配阶段,可以将提取的待识别人脸区域与预设人脸区域进行匹配。在对待识别人脸图像进行匹配的时候,可以提取待识别人脸图像的目标人脸属性参数,再将提取的目标人脸属性参数与电子设备中存储的预设人脸图像的人脸属性参数进行匹配,若匹配值超过匹配阈值,则认为人脸匹配成功。例如,可以提取人脸图像中人脸的偏转角度、亮度信息、五官特征等特征作为人脸属性参数,若提取的目标人脸属性参数与存储的人脸属性参数匹配度超过90%,则认为人脸匹配成功。具体地,判断待识别人脸区域的目标人脸属性参数与预设人脸区域的人脸属性参数否匹配;若是,则待识别人脸区域的人脸匹配成功;若否,则待识别人脸区域的人脸匹配失败。
一般地,在对人脸进行匹配处理的过程中,可以根据待识别红外图像认证人脸区域是否与预设的人脸区域匹配。假设拍摄的为照片、雕塑等人脸时,也可能匹配成功。因此,需要根据采集的待识别深度图像进行活体检测处理,这样必须保证采集的是活体的人脸才能验证成功。可以理解的是,采集的待识别红外图像可以表示人脸的细节信息,采集待识别深度图像可以表示待识别红外图像对应的深度信息,根据待识别深度图像可以进行活体检测处理。例如,被拍摄的人脸为照片中的人脸的话,根据待识别深度图像就可以判断采集的人脸不是立体的,则可以认为采集的人脸为非活体的人脸。
根据上述待识别深度图像进行活体检测包括:在待识别深度图像中查找与上述待识别人脸区域对应的待识别人脸深度区域,根据待识别人脸深度区域提取目标活体属性参数,根据目标活体属性参数进行活体检测处理。可选地,目标活体属性参数可以包括人脸对应的人脸深度信息、肤质特征、纹理的方向、纹理的密度、纹理的宽度等。例如,目标活体属性参数可以为人脸深度信息,若上述人脸深度信息符合人脸活体规则,则认为上述目标人脸区域具有生物活性,即为活体人脸区域。
具体地,电子设备中可包括第一处理单元和第二处理单元,第一处理单元和第二处理单元都运行在安全运行环境中。安全运行环境可以包括第一安全环境和第二安全环境,第一处理单元运行在第一安全环境中,第二处理单元运行在第二安全环境中。第一处理单元和第二处理单元为分布在不同的处理器上处理单元,且处于不同的安全环境下。例如,第一处理单元可以是外置的MCU(Microcontroller Unit,微控制单元)模块,或者DSP(Digital Signal Processing,数字信号处理器)中的安全处理模块,第二处理单元可以是处于TEE(Trust Execution Environment,可信执行环境)下的CPU(Central ProcessingUnit,中央处理器)内核。当第一处理单元检测到人脸验证指令时,开始控制摄像头模组采集红外图像和深度图像。第一处理单元每采集到一帧红外图像和深度图像,都会将深度图像发送给第二处理单元。第二处理单元再根据红外图像和深度图像进行人脸验证处理。
在本申请提供的实施例中,人脸验证处理可以在第二处理单元中进行,第二处理单元在得到人脸验证结果之后,可以将人脸验证结果发送给发起人脸验证指令的目标应用程序。具体的,可将人脸验证结果进行加密处理,并将加密处理后的人脸验证结果发送给发起人脸验证指令的目标应用程序。将人脸验证结果进行加密处理,具体的加密算法不做限定。例如,可以是根据DES(Data Encryption Standard,数据加密标准)、MD5(Message-Digest Algorithm 5,信息-摘要算法5)、HAVAL(Diffie-Hellman,密钥交换算法)。
在一个实施例中,可以根据电子设备的网络环境进行加密处理:获取电子设备当前所处的网络环境的网络安全等级;根据网络安全等级获取加密等级,将人脸验证结果进行加密等级对应的加密处理。可以理解的是,应用程序在获取图像进行操作的时候,一般需要进行联网操作。例如,对人脸进行支付认证的时候,可以将人脸验证结果发送给应用程序,应用程序再发送给对应的服务器完成相应的支付操作。应用程序在发送人脸验证结果时,需要连接网络,再通过网络将人脸验证结果发送给对应的服务器。因此,在发送人脸验证结果时,可以首先对人脸验证结果进行加密。检测电子设备当前所处的网络环境的网络安全等级,并根据网络安全等级进行加密处理。
网络安全等级越低,认为网络环境的安全性越低,对应的加密等级越高。电子设备预先建立网络安全等级与加密等级的对应关系,根据网络安全等级可以获取对应的加密等级,并根据加密等级对人脸验证结果进行加密处理。可以根据获取的参考图像对人脸验证结果进行加密处理。
在一个实施例中,参考图像是电子设备在对摄像头模组进行标定时采集的散斑图像,由于参考图像具有高度唯一性,不同的电子设备采集的参考图像是不同的。所以参考图像本身就可以作为一个加密的密钥,用来对数据进行加密处理。电子设备可以将参考图像存放在安全环境中,这样可以防止数据泄露。具体地,获取的参考图像是由一个二维的像素矩阵构成的,每一个像素点都有对应的像素值。可以根据参考图像的全部或部分像素点对人脸验证结果进行加密处理。例如,人脸验证结果中可包含深度图像,则可以将参考图像直接与深度图像进行叠加,得到一张加密图像。也可以深度图像对应的像素矩阵与参考图像对应的像素矩阵进行乘积运算,得到加密图像。还可以取参考图像中某一个或多个像素点对应的像素值作为加密密钥,对深度图像进行加密处理,具体加密算法在本实施例不做限定。
参考图像是在电子设备标定时生成的,则电子设备可以将参考图像预先存储在安全环境中,在需要对人脸验证结果进行加密的时候,可以在安全环境下读取参考图像,并根据参考图像对人脸验证结果进行加密处理。同时,会在目标应用程序对应的服务器上存储一张相同的参考图像,当电子设备将加密处理后的人脸验证结果发送给目标应用程序对应的服务器之后,目标应用程序的服务器获取参考图像,并根据获取的参考图像对加密后的人脸验证结果进行解密处理。
可以理解的是,目标应用程序的服务器中可能会存储多张不同电子设备采集的参考图像,每个电子设备对应的参考图像不同。因此,服务器中可以对每一张参考图像定义一个参考图像标识,并存储电子设备的设备标识,然后建立参考图像标识与设备标识之间的对应关系。当服务器接收到人脸验证结果时,接收到的人脸验证结果会同时携带电子设备的设备标识。服务器就可以根据设备标识查找对应的参考图像标识,并根据参考图像标识找到对应的参考图像,然后根据找到的参考图像对人脸验证结果进行解密处理。
在本申请提供的其他实施例中,根据参考图像进行加密处理的方法具体可以包括:获取参考图像对应的像素矩阵,根据该像素矩阵获取加密密钥;根据加密密钥对人脸验证结果进行加密处理。参考图像是由一个二维像素矩阵构成的,由于获取的参考图像是唯一的,因此参考图像对应的像素矩阵也是唯一的。该像素矩阵本身可以作为一个加密密钥对人脸验证结果进行加密,也可以对像素矩阵进行一定的转换得到加密密钥,再通过转换得到的加密密钥对人脸验证结果进行加密处理。举例来说,像素矩阵是一个由多个像素值构成的二维矩阵,每一个像素值在像素矩阵中的位置可以通过一个二维坐标进行表示,则可以通过一个或多个位置坐标获取对应的像素值,并将获取的这一个或多个像素值组合成一个加密密钥。获取到加密密钥之后,可以根据加密密钥对人脸验证结果进行加密处理,具体地加密算法在本实施例中不做限定。例如,可以直接将加密密钥与数据进行叠加或乘积,或者可以将加密密钥作为一个数值***数据中,得到最终的加密数据。
电子设备还可以对不同的应用程序采用不同的加密算法。具体地,电子设备可以预先建立应用程序的应用标识与加密算法的对应关系,人脸验证指令中可包含目标应用程序的目标应用标识。在接收到人脸验证指令后,可以获取人脸验证指令中包含的目标应用标识,并根据目标应用标识获取对应的加密算法,根据获取的加密算法对人脸验证结果进行加密处理。
上述实施例提供的图像处理方法,在检测到采集的红外图像中存在人脸区域时,开始采集连续的红外图像作为待识别红外图像。然后检测目标红外图像中的目标人脸区域,若目标人脸区域的目标数量大于第一数量阈值,且所获取的目标人脸区域对应同一张人脸,则根据该目标人脸区域进行人脸验证处理。这样在检测到人脸的时候,会获取连续几帧红外图像来判断是否存在人脸,再根据判断结果来进行人脸验证处理,以避免用户误操作,提高了图像处理的准确性。
应该理解的是,虽然图2、图3、图4、图5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图3、图4、图5中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图7为一个实施例中实现图像处理方法的硬件结构图。如图7所示,该电子设备中可包括摄像头模组710、中央处理器(CPU)720和第一处理单元730,上述摄像头模组710中包括激光摄像头712、泛光灯714、RGB(Red/Green/Blue,红/绿/蓝色彩模式)摄像头716和镭射灯718。第一处理单元730包括PWM(Pulse Width Modulation,脉冲宽度调制)模块732、SPI/I2C(Serial Peripheral Interface/Inter-Integrated Circuit,串行外设接口/双向二线制同步串行接口)模块734、RAM(Random Access Memory,随机存取存储器)模块736、Depth Engine模块738。其中,第二处理单元722可为处于TEE(Trusted executionenvironment,可信运行环境)下的CPU内核,第一处理单元730为MCU(MicrocontrollerUnit,微控制单元)处理器。可以理解的是,中央处理器720可以为多核运行模式,中央处理器720中的CPU内核可以在TEE或REE(Rich Execution Environment,自然运行环境)下运行。TEE和REE均为ARM模块(Advanced RISC Machines,高级精简指令集处理器)的运行模式。通常情况下,电子设备中安全性较高的操作行为需要在TEE下执行,其他操作行为则可在REE下执行。本申请实施例中,当中央处理器720接收到目标应用程序发起的人脸验证指令,TEE下运行的CPU内核即第二处理单元722,会通过SECURE SPI/I2C向MCU730中SPI/I2C模块734发送人脸验证指令至第一处理单元730。第一处理单元730在接收到人脸验证指令后,通过PWM模块732发射脉冲波控制摄像头模组710中泛光灯714开启来采集原始红外图像、控制摄像头模组710中镭射灯718开启来采集原始散斑图像。摄像头模组710可将采集到的原始红外图像和原始散斑图像传送给第一处理单元730中Depth Engine模块738,DepthEngine模块738可根据原始红外图像计算红外视差图像,根据原始散斑图像计算原始深度图像,并根据原始深度图像得到深度视差图像。然后将红外视差图像和深度视差图像发送给TEE下运行的第二处理单元722。第二处理单元722会根据红外视差图像进行校正得到校正后的红外图像,并根据深度视差图像进行校正得到校正后的深度图像。当检测到红外图像中存在人脸区域时,开始采集连续的至少两帧红外图像作为目标红外图像。然后遍历目标红外图像,并获取目标红外图像中的目标人脸区域。若获取的目标人脸区域的目标数量大于第一数量阈值,且所获取的目标人脸区域对应同一张人脸,则根据目标人脸区域进行人脸验证处理。根据目标人脸区域进行人脸验证处理包括:检测上述目标人脸区域与预设人脸区域是否匹配;若人脸匹配成功,再根据上述目标红外图像对应的深度图像来进行活体检测,检测上述目标人脸区域是否为活体人脸。根据活体检测结果得到最后的人脸验证结果,若活体检测成功,则得到人脸验证成功的结果;若活体检测失败,则得到人脸验证失败的结果。可以理解的是,上述人脸匹配失败后,则得到人脸验证失败的结果,并不再继续进行活体检测处理。第二处理单元722在得到人脸验证结果后,会将人脸验证结果发送至目标应用程序。
图8为另一个实施例中实现图像处理方法的硬件结构图。如图8所示,该硬件结构中包括第一处理单元80、摄像头模组82和第二处理单元84。摄像头模组82中包括激光摄像头820、泛光灯822、RGB摄像头824和镭射灯826。其中,中央处理器中可包括处于TEE下的CPU内核与处于REE下的CPU内核,第一处理单元80为中央处理器中开辟的DSP处理模块,第二处理单元84即为处于TEE下的CPU内核,第二处理单元84和第一处理单元80可以通过一个安全缓冲区(secure buffer)进行连接,这样可以保证图像传输过程中的安全性。通常情况下,中央处理器在处理安全性较高的操作行为时,需要将处理器内核切换到TEE下执行,安全性较低的操作行为则可在REE下执行。本申请实施例中,可通过第二处理单元84接收上层应用发送的人脸验证指令,然后通过PWM模块发射脉冲波控制摄像头模组82中泛光灯822开启来采集原始红外图像,控制摄像头模组82中镭射灯826开启来采集原始散斑图像。摄像头模组82可将采集到的原始红外图像和原始散斑图像传送给第一处理单元80中,第一处理单元80可根据原始散斑图像计算得到原始深度图像,然后根据原始深度图像计算得到深度视差图像,并根据原始红外图像计算得到红外视差图像。然后将红外视差图像和深度视差图像发送给第二处理单元84。第二处理单元84可以根据红外视差图像进行校正得到校正后的红外图像,并根据深度视差图像进行校正得到校正后的深度图像。第二处理单元84在检测到红外图像中存在人脸区域时,开始采集连续的至少两帧红外图像作为目标红外图像。然后遍历目标红外图像,并获取目标红外图像中的目标人脸区域。若获取的目标人脸区域的目标数量大于第一数量阈值,且所获取的目标人脸区域对应同一张人脸,则根据目标人脸区域进行人脸验证处理。根据目标人脸区域进行人脸验证处理包括:检测上述目标人脸区域与预设人脸区域是否匹配;若人脸匹配成功,再根据上述目标红外图像对应的深度图像来进行活体检测,检测上述目标人脸区域是否为活体人脸。根据活体检测结果得到最后的人脸验证结果,若活体检测成功,则得到人脸验证成功的结果;若活体检测失败,则得到人脸验证失败的结果。可以理解的是,上述人脸匹配失败后,则得到人脸验证失败的结果,并不再继续进行活体检测处理。在第二处理单元84在得到人脸验证结果后,会将人脸验证结果发送至目标应用程序。
图9为一个实施例中实现图像处理方法的软件架构示意图。如图9所示,该软件架构包括应用层910、操作***920和安全运行环境930。其中,处于安全运行环境930中的模块包括第一处理单元931、摄像头模组932、第二处理单元933和加密模块934等;操作***930中包含安全管理模块921、人脸管理模块922、摄像头驱动923和摄像头框架924;应用层910中包含应用程序911。应用程序911可以发起图像采集指令,并将图像采集指令发送给第一处理单元931进行处理。例如,在通过采集人脸进行支付、解锁、美颜、增强现实技术(Augmented Reality,AR)等操作时,应用程序会发起采集人脸图像的图像采集指令。可以理解的是,应用程序911发起的图像采集指令可以首先发送到第二处理单元933,再由第二处理单元933发送给第一处理单元931。
第一处理单元931接收到图像采集指令之后,若判断图像采集指令为对人脸进行验证的人脸验证指令,则会根据人脸验证指令控制摄像头模组932采集原始红外图像和原始散斑图像,摄像头模组932采集的原始红外图像和原始散斑图像传输给第一处理单元931。第一处理单元931根据原始散斑图像计算得到包含深度信息的原始深度图像,并根据原始深度图像计算得到深度视差图像,根据原始红外图像计算得到红外视差图像。然后通过安全传输通道将深度视差图像和红外视差图像发送给第二处理单元933。第二处理单元933会根据红外视差图像进行校正得到校正后的红外图像,根据深度视差图像进行校正得到校正后的深度图像。然后根据红外图像进行权限检测,在权限检测通过之后,再进行人脸验证处理。根据目标人脸区域进行人脸验证处理包括:检测上述目标人脸区域与预设人脸区域是否匹配;若人脸匹配成功,再根据上述目标红外图像对应的深度图像来进行活体检测,检测上述目标人脸区域是否为活体人脸,并根据活体检测结果得到最后的人脸验证结果。第二处理单元933得到的人脸验证结果可以发送给加密模块934,通过加密模块934进行加密后,将加密后的人脸验证结果发送给安全管理模块921。一般地,不同的应用程序911都有对应的安全管理模块921,安全管理模块921会将加密后的人脸验证结果进行解密处理,并将解密处理后得到的人脸验证结果发送给相应的人脸管理模块922。人脸管理模块922会将人脸验证结果发送给上层的应用程序911,应用程序911再根据人脸验证结果进行相应的操作。
若第一处理单元931接收到的人脸验证指令不是人脸验证指令,则第一处理单元931可以控制摄像头模组932采集原始散斑图像,并根据原始散斑图像计算原始深度图像,然后根据原始深度图像得到深度视差图像。第一处理单元931会通过非安全传输通道将深度视差图像发送给摄像头驱动923,摄像头驱动923再根据深度视差图像进行校正处理得到校正后的深度图像,然后将校正后的深度图像发送给摄像头框架924,再由摄像头框架924发送给人脸管理模块922或应用程序911。
图10为一个实施例中图像处理装置的结构示意图。如图10所示,该图像处理装置1000包括图像采集模块1002、人脸检测模块1004和人脸验证模块1006。其中:
图像采集模块1002,用于当检测到采集的红外图像中存在人脸区域时,开始采集连续的至少两帧红外图像作为目标红外图像。
人脸检测模块1004,用于遍历所述目标红外图像,并获取所述目标红外图像中的目标人脸区域。
人脸验证模块1006,用于若获取的目标人脸区域的目标数量大于第一数量阈值,且所获取的目标人脸区域对应同一张人脸,则根据所述目标人脸区域进行人脸验证处理。
上述实施例提供的图像处理装置,在检测到采集的红外图像中存在人脸区域时,开始采集连续的红外图像作为目标红外图像。然后检测目标红外图像中的目标人脸区域,若目标人脸区域的目标数量大于第一数量阈值,且所获取的目标人脸区域对应同一张人脸,则根据该目标人脸区域进行人脸验证处理。这样在检测到人脸的时候,会获取连续几帧红外图像来判断是否存在人脸,再根据判断结果来进行人脸验证处理,以避免用户误操作,提高了图像处理的准确性。
在一个实施例中,图像采集模块1002还用于当检测到采集的红外图像中存在人脸区域时,获取所述人脸区域对应的区域面积;当所述区域面积大于第一面积阈值时,开始采集连续的至少两帧红外图像作为目标红外图像。
在一个实施例中,人脸检测模块1004还用于检测所述目标红外图像中的人脸区域,将所述目标红外图像中包含的区域面积最大的人脸区域作为目标人脸区域。
在一个实施例中,人脸检测模块1004还用于检测所述目标红外图像中的人脸区域,将所述目标红外图像中包含的区域面积最大的人脸区域作为参考人脸区域;若所述参考人脸区域的区域面积大于第二面积阈值,则将所述参考人脸区域作为目标人脸区域。
在一个实施例中,人脸验证模块1006还用于若获取的目标人脸区域的目标数量大于第一数量阈值,且所获取的目标人脸区域对应不同的人脸,则统计每一张人脸对应的目标人脸区域的人脸数量;若最大人脸数量大于第二数量阈值,则根据对应人脸数量最多的目标人脸区域进行人脸验证处理,其中所述第一数量阈值大于或等于所述第二数量阈值。
在一个实施例中,人脸验证模块1006还用于若获取的目标人脸区域的目标数量大于数量阈值,且所获取的目标人脸区域对应不同的人脸,则退出本次权限检测,所述权限检测用于检测获取的红外图像是否满足进行人脸验证处理的条件;或若获取的目标人脸区域的目标数量小于或等于数量阈值,则退出本次权限检测。
在一个实施例中,人脸验证模块1006还用于从所述目标红外图像中获取待识别红外图像,并获取所述待识别红外图像所对应的待识别深度图像,所述待识别深度图像用于表示所述待识别红外图像的深度信息;根据所述待识别红外图像和待识别深度图像进行人脸验证处理。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
当检测到采集的红外图像中存在人脸区域时,开始采集连续的至少两帧红外图像作为目标红外图像;
遍历所述目标红外图像,并获取所述目标红外图像中的目标人脸区域;
若获取的目标人脸区域的目标数量大于第一数量阈值,且所获取的目标人脸区域对应同一张人脸,则根据所述目标人脸区域进行人脸验证处理。
2.根据权利要求1所述的方法,其特征在于,所述当检测到采集的红外图像中存在人脸区域时,开始采集连续的至少两帧红外图像作为目标红外图像,包括:
当检测到采集的红外图像中存在人脸区域时,获取所述人脸区域对应的区域面积;
当所述区域面积大于第一面积阈值时,开始采集连续的至少两帧红外图像作为目标红外图像。
3.根据权利要求1所述的方法,其特征在于,所述获取所述目标红外图像中的目标人脸区域,包括:
检测所述目标红外图像中的人脸区域,将所述目标红外图像中包含的区域面积最大的人脸区域作为目标人脸区域。
4.根据权利要求1所述的方法,其特征在于,所述获取所述目标红外图像中的目标人脸区域,包括:
检测所述目标红外图像中的人脸区域,将所述目标红外图像中包含的区域面积最大的人脸区域作为参考人脸区域;
若所述参考人脸区域的区域面积大于第二面积阈值,则将所述参考人脸区域作为目标人脸区域。
5.根据权利要求1所述的方法,其特征在于,所述若获取的目标人脸区域的目标数量大于第一数量阈值,且所获取的目标人脸区域对应同一张人脸,则根据所述目标人脸区域进行人脸验证处理,包括:
若获取的目标人脸区域的目标数量大于第一数量阈值,且所获取的目标人脸区域对应不同的人脸,则统计每一张人脸对应的目标人脸区域的人脸数量;
若最大人脸数量大于第二数量阈值,则根据对应人脸数量最多的目标人脸区域进行人脸验证处理,其中所述第一数量阈值大于或等于所述第二数量阈值。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若获取的目标人脸区域的目标数量大于数量阈值,且所获取的目标人脸区域对应不同的人脸,则退出本次权限检测,所述权限检测用于检测获取的红外图像是否满足进行人脸验证处理的条件;或
若获取的目标人脸区域的目标数量小于或等于数量阈值,则退出本次权限检测。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述对所述目标人脸区域进行人脸验证处理,包括:
从所述目标红外图像中获取待识别红外图像,并获取所述待识别红外图像所对应的待识别深度图像,所述待识别深度图像用于表示所述待识别红外图像的深度信息;
根据所述待识别红外图像和待识别深度图像进行人脸验证处理。
8.一种图像处理装置,其特征在于,包括:
图像采集模块,用于当检测到采集的红外图像中存在人脸区域时,开始采集连续的至少两帧红外图像作为目标红外图像;
人脸检测模块,用于遍历所述目标红外图像,并获取所述目标红外图像中的目标人脸区域;
人脸验证模块,用于若获取的目标人脸区域的目标数量大于第一数量阈值,且所获取的目标人脸区域对应同一张人脸,则根据所述目标人脸区域进行人脸验证处理。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
10.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的方法。
CN201810404835.1A 2018-04-28 2018-04-28 图像处理方法、装置、计算机可读存储介质和电子设备 Pending CN108764053A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810404835.1A CN108764053A (zh) 2018-04-28 2018-04-28 图像处理方法、装置、计算机可读存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810404835.1A CN108764053A (zh) 2018-04-28 2018-04-28 图像处理方法、装置、计算机可读存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN108764053A true CN108764053A (zh) 2018-11-06

Family

ID=64008953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810404835.1A Pending CN108764053A (zh) 2018-04-28 2018-04-28 图像处理方法、装置、计算机可读存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN108764053A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008810A (zh) * 2019-01-09 2019-07-12 阿里巴巴集团控股有限公司 人脸图像采集的方法、装置、设备、及机器可读存储介质
CN111337142A (zh) * 2020-04-07 2020-06-26 北京迈格威科技有限公司 体温修正方法、装置及电子设备
CN111836102A (zh) * 2019-04-23 2020-10-27 杭州海康威视数字技术股份有限公司 视频帧的分析方法和装置
CN112070065A (zh) * 2020-10-01 2020-12-11 深圳奥比中光科技有限公司 一种检测红外图像与深度图像的方法、装置及人脸识别***
CN112183227A (zh) * 2020-09-08 2021-01-05 瑞芯微电子股份有限公司 一种智能泛人脸区域的编码方法和设备
CN113537993A (zh) * 2020-08-27 2021-10-22 腾讯科技(深圳)有限公司 一种基于脸部支付的数据检测方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182024A (zh) * 2013-05-24 2014-12-03 联想(北京)有限公司 一种信息处理的方法及电子设备
US20150104082A1 (en) * 2013-10-15 2015-04-16 Samsung Electronics Co., Ltd. Image processing apparatus and control method thereof
CN104834916A (zh) * 2015-05-14 2015-08-12 上海太阳能科技有限公司 一种多人脸检测跟踪方法
CN105979363A (zh) * 2015-11-09 2016-09-28 乐视致新电子科技(天津)有限公司 一种身份识别法和装置
CN106101461A (zh) * 2016-08-26 2016-11-09 乐视控股(北京)有限公司 一种应用软件的控制方法及装置
CN107194817A (zh) * 2017-03-29 2017-09-22 腾讯科技(深圳)有限公司 用户社交信息的展示方法、装置和计算机设备
CN107292283A (zh) * 2017-07-12 2017-10-24 深圳奥比中光科技有限公司 混合人脸识别方法
CN107563329A (zh) * 2017-09-01 2018-01-09 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和移动终端
CN107944247A (zh) * 2017-12-13 2018-04-20 联想(北京)有限公司 解锁控制方法、装置及电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182024A (zh) * 2013-05-24 2014-12-03 联想(北京)有限公司 一种信息处理的方法及电子设备
US20150104082A1 (en) * 2013-10-15 2015-04-16 Samsung Electronics Co., Ltd. Image processing apparatus and control method thereof
CN104834916A (zh) * 2015-05-14 2015-08-12 上海太阳能科技有限公司 一种多人脸检测跟踪方法
CN105979363A (zh) * 2015-11-09 2016-09-28 乐视致新电子科技(天津)有限公司 一种身份识别法和装置
CN106101461A (zh) * 2016-08-26 2016-11-09 乐视控股(北京)有限公司 一种应用软件的控制方法及装置
CN107194817A (zh) * 2017-03-29 2017-09-22 腾讯科技(深圳)有限公司 用户社交信息的展示方法、装置和计算机设备
CN107292283A (zh) * 2017-07-12 2017-10-24 深圳奥比中光科技有限公司 混合人脸识别方法
CN107563329A (zh) * 2017-09-01 2018-01-09 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和移动终端
CN107944247A (zh) * 2017-12-13 2018-04-20 联想(北京)有限公司 解锁控制方法、装置及电子设备

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008810A (zh) * 2019-01-09 2019-07-12 阿里巴巴集团控股有限公司 人脸图像采集的方法、装置、设备、及机器可读存储介质
CN111836102A (zh) * 2019-04-23 2020-10-27 杭州海康威视数字技术股份有限公司 视频帧的分析方法和装置
CN111836102B (zh) * 2019-04-23 2023-03-24 杭州海康威视数字技术股份有限公司 视频帧的分析方法和装置
CN111337142A (zh) * 2020-04-07 2020-06-26 北京迈格威科技有限公司 体温修正方法、装置及电子设备
CN113537993A (zh) * 2020-08-27 2021-10-22 腾讯科技(深圳)有限公司 一种基于脸部支付的数据检测方法及装置
CN113537993B (zh) * 2020-08-27 2024-02-13 腾讯科技(深圳)有限公司 一种基于脸部支付的数据检测方法及装置
CN112183227A (zh) * 2020-09-08 2021-01-05 瑞芯微电子股份有限公司 一种智能泛人脸区域的编码方法和设备
CN112183227B (zh) * 2020-09-08 2023-12-22 瑞芯微电子股份有限公司 一种智能泛人脸区域的编码方法和设备
CN112070065A (zh) * 2020-10-01 2020-12-11 深圳奥比中光科技有限公司 一种检测红外图像与深度图像的方法、装置及人脸识别***
CN112070065B (zh) * 2020-10-01 2024-06-04 奥比中光科技集团股份有限公司 一种检测红外图像与深度图像的方法、装置及人脸识别***

Similar Documents

Publication Publication Date Title
CN108764052A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108805024A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108764053A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108804895A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108549867A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108668078A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US9619723B1 (en) Method and system of identification and authentication using facial expression
CN108419017B (zh) 控制拍摄的方法、装置、电子设备及计算机可读存储介质
WO2019196683A1 (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108830141A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
WO2019206020A1 (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108573170B (zh) 信息处理方法和装置、电子设备、计算机可读存储介质
CN108711054A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
KR101444538B1 (ko) 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법
CN110971836B (zh) 控制拍摄的方法、装置、电子设备及计算机可读存储介质
CN108921903A (zh) 摄像头标定方法、装置、计算机可读存储介质和电子设备
CN108564032A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN109213610A (zh) 数据处理方法、装置、计算机可读存储介质和电子设备
CN108985255A (zh) 数据处理方法、装置、计算机可读存储介质和电子设备
US11170204B2 (en) Data processing method, electronic device and computer-readable storage medium
CN108924421A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108846310A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN108833885A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
WO2019205889A1 (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108881712A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181106