CN112446252A - 图像识别方法及电子设备 - Google Patents

图像识别方法及电子设备 Download PDF

Info

Publication number
CN112446252A
CN112446252A CN201910816996.6A CN201910816996A CN112446252A CN 112446252 A CN112446252 A CN 112446252A CN 201910816996 A CN201910816996 A CN 201910816996A CN 112446252 A CN112446252 A CN 112446252A
Authority
CN
China
Prior art keywords
image information
image
electronic device
face
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910816996.6A
Other languages
English (en)
Inventor
袁江峰
陈国乔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910816996.6A priority Critical patent/CN112446252A/zh
Priority to PCT/CN2020/111801 priority patent/WO2021037157A1/zh
Publication of CN112446252A publication Critical patent/CN112446252A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Collating Specific Patterns (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供了一种图像识别方法和电子设备,该方法包括:响应于接收到进行人脸识别的指令,通过摄像头采集图像信息,所述图像信息用于对目标对象进行身份验证;基于所述图像信息,确定是否能够检测到面部轮廓;响应于无法检测到面部轮廓,确定所述图像信息中、预设图像坐标区域的平均像素亮度值,基于平均像素亮度值,调节摄像头参数;基于调节后的摄像头参数,重新通过所述摄像头采集图像信息。通过采用本申请所示的图像识别方法,可以使得所拍摄的面部图像过暗的情况下,仍然可以识别出用户面部图像,提高人脸识别成功率。

Description

图像识别方法及电子设备
技术领域
本申请实施例涉及图像处理技术,尤其涉及一种图像识别方法及电子设备。
背景技术
随着人工智能技术的发展,人脸识别技术得到广泛的应用。通常,人脸识别技术应用在例如终端解锁、支付、门禁识别、闸机入口等场景中。
在人脸识别技术中,通常采集用户面部图像,将采集的面部图像与预先存储的面部图像进行匹配以识别是否为目标用户。
在利用拍摄设备进行用户面部图像采集的过程中,当周围环境过暗或在逆光环境下采集图像时,所拍摄的用户面部图像过暗,导致用户的面部图像模糊不清,难以进行图像识别。
相关技术中,通常采用整体亮度补偿的方法或局部亮度补偿的方法,以提高逆光拍摄的用户面部图像的亮度。在整体亮度补偿的方法中,通常是基于预设的目标亮度值,对整幅画面进行亮度调节以提高局部图像亮度值。由于整幅画面中通常包括其他亮度较高的物体(例如白墙、浅色物体等),利用此方法,通常在亮度补偿到一定值时无法再进行补偿,从而使得用户面部图像仍然过暗无法进行人脸识别。在局部亮度补偿的方法中,通常从图像中检测出用户面部轮廓,然后对用户面部轮廓所在的部分进行亮度补偿。然而,当图像过暗导致用户面部轮廓模糊时,通常无法检测出用户面部轮廓,从而导致无法进行人脸识别。
发明内容
通过采用本申请所示的图像识别方法,可以使得所拍摄的面部图像过暗的情况下,仍然可以识别出用户面部图像,提高识别成功率。
为达到上述目的,本申请采用如下技术方案:
第一方面,本申请实施例提供一种图像识别方法,该方法包括:响应于接收到进行面部识别的指令,电子设备通过摄像头采集图像信息,所述图像信息用于对目标对象进行身份验证;基于所述图像信息,所述电子设备确定是否检测到面部轮廓;响应于无法检测到所述面部轮廓,所述电子设备确定所述图像信息中位于预设区域的部分图像信息的第一亮度值参数;基于所述第一亮度值参数,所述电子设备调节所述摄像头的摄像头参数;基于调节后的摄像头参数,所述电子设备重新通过所述摄像头采集图像信息,以用于进行身份验证;然后基于重新采集的图像信息,重复前面的步骤。
在基于面部识别的身份验证场景中,在由于所采集到的图像的像素亮度值过低,导致所生成的图像过暗,从而在无法检测到用户面部轮廓的情况下,通过对预先生成预设图像坐标区域进行亮度调节,可以使得面部图像过暗的情况下,仍然可以识别出用户面部图像,提高人脸识别成功率。
在本申请中,该预设区域是基于大数据统计得出的、人脸对象在图像中高概率出现的预设图像坐标区域。该预设区域的图像信息是所采集的整幅图像信息中的部分图像信息。当用户触发人脸识别事件时,所采集到的面部图像信息通常会位于该预设图像坐标区域。该区域通常与周围对比度强烈的环境区域分割开来。从而,当该区域的像素亮度值提高到目标亮度时,如果存在人脸对象,通常可以检测出面部轮廓、提取出面部特征,以进行人脸识别和活体检测。由此,大大提高了背光场景或光线较暗的场景下,对用户人脸识别成功的概率。本申请中的第一亮度值参数可以是亮度值,也可以是用于表征亮度的参数或者跟亮度值相关的参数(例如灰度值、感光度值)等。
优选的,第一亮度值参数为平均像素亮度值。
基于第一方面,在一些可能的实现方式中,方法还包括:响应于检测到所述面部轮廓,所述电子设备确定从所述图像信息中是否检测到用于进行面部识别的特征点;响应于无法检测到所述用于进行面部识别的特征点,所述电子设备确定所述图像信息中、面部轮廓部分的第二亮度值参数;基于所述第二亮度值参数,所述电子设备调节所述摄像头的摄像头参数;基于调节后的摄像头参数,所述电子设备执行重新通过所述摄像头采集图像信息的步骤。
本申请中,当所采集到的图像还未足够亮,使得电子设备可以检测出面部轮廓,但无法提取面部特征时,需要对面部轮廓部分继续提高亮度。通过确定图像中面部轮廓部分的亮度值参数,以针对该部分进行提亮,可以避免图像中周围环境部分(例如对比度强烈的白墙)参与到亮度调节中来,从而提高人脸识别速度。
基于第一方面,在一些可能的实现方式中,方法还包括:响应于检测到所述面部轮廓,所述电子设备将所述图像信息与预先存储的人脸图像进行比对,确定是否比对成功;响应于比对成功,基于所述图像信息,进行防伪认证;响应于所述防伪认证通过,通过所述身份验证。
基于第一方面,在一些可能的实现方式中,该方法还包括:响应于检测到所述用于进行面部识别的特征点,所述电子设备将所述图像信息与预先存储的人脸图像进行比对,确定是否比对成功;响应于比对成功,基于所述图像信息,进行防伪认证;响应于所述防伪认证通过,通过所述身份验证。
在本申请中,可以在检测到面部轮廓时,直接对采集到的图像信息形成的图像与预先存储的人脸图像进行比对,也可以在检测到用于进行人脸识别的面部特征点时,进行比对。根据应用场景的需要确定。
基于第一方面,在一些可能的实现方式中,方法还包括:响应于没有比对成功,确定所述图像信息中、面部轮廓部分的第三亮度值参数,基于所述第三亮度值参数,调节摄像头参数;基于调节后的摄像头参数,所述电子设备执行重新通过所述摄像头采集图像信息的步骤。
基于第一方面,在一些可能的实现方式中,所述基于调节后的摄像头参数,所述电子设备重新通过所述摄像头采集图像信息之后,所述方法还包括:基于重新采集的图像信息,所述电子设备确定是否检测到面部轮廓;响应于从所述重新采集的图像信息中无法检测到面部轮廓,所述电子设备确定所述重新采集的图像信息中位于预设区域的部分图像信息的第四亮度值参数;响应于从所述重新采集的图像信息中检测到面部轮廓,所述电子设备确定从所述重新采集的图像信息中是否检测到用于进行面部识别的特征点,响应于从所述重新采集的图像信息中无法检测到用于进行面部识别的特征点,所述电子设备确定所述重新采集的图像信息中、面部轮廓部分的第五亮度值参数;响应于从所述重新采集的图像信息中检测到用于进行面部识别的特征点,所述电子设备将所述重新采集的图像信息与预先存储的人脸图像信息进行比对,确定是否比对成功;基于所述第四亮度值参数或者所述第五亮度值参数,所述电子设备调节所述摄像头的摄像头参数;基于调节后的摄像头参数,所述电子设备执行重新通过所述摄像头采集图像信息的步骤。
基于第一方面,在一些可能的实现方式中,所述预设区域为矩形区域。
基于第一方面,在一些可能的实现方式中,所述预设区域所围成的矩形区域包括第一边和第二边,所述第一边的长度小于所述第二边的长度;其中,所述第一边与所述第二边的比值为4:5。
第二方面,本申请提供一种电子设备,包括一个或多个处理器、存储器以及摄像头,所述存储器和所述摄像头耦合至所述处理器,所述存储器用于存储信息,所述处理器执行所述存储器中的指令,使得所述电子设备执行如上述第一方面所述的图像识别方法。
第三方面,本申请提供一种计算机可读存储介质,计算机可读存储介质存储有指令,当指令在计算机上运行时,用于执行上述第一方面中任一的图像识别方法。
第四方面,本申请提供一种计算机程序或计算机程序产品,当计算机程序或计算机程序产品在计算机上被执行时,使得计算机实现上述第一方面中任一的图像识别方法。
应当理解的是,本申请的第二至四方面与本申请的第一方面的技术方案一致,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
附图说明
图1a是在逆光条件下采集的人脸图像的一个示意图;
图1b是现有技术中针对图1a所示的人脸图像进行亮度调节后的人脸图像的一个示意图;
图2a是本申请实施例提供的一个电子设备的结构示意图;
图2b是本申请实施例提供的一个电子设备的硬件结构示意图;
图3是本申请实施例提供的一个电子设备的软件结构示意图;
图4是本申请实施例提供的一个图像识别方法的流程图;
图5a是本申请实施例提供的一个预设图像位置区域的示意图;
图5b是本申请实施例提供的另外一个一个预设图像位置区域的示意图;
图6a-图6c是本申请实施例提供的一个图像识别方法的应用场景示意图;
图7是本申请实施例提供的预设图像位置区域的确定方法的一个流程图;
图8是本申请实施例提供的又一个图像识别方法的流程图;
图9是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一目标对象和第二目标对象等是用于区别不同的目标对象,而不是用于描述目标对象的特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个处理单元是指两个或两个以上的处理单元;多个***是指两个或两个以上的***。
随着人工智能技术以及图像处理技术的发展,人脸识别技术得到广泛的发展和应用。通常,人脸识别技术可以应用于终端屏幕解锁、面部识别支付、身份验证(例如门禁身份验证、闸机身份验证)等。本申请实施例提供的图像识别方法,可以应用于人脸识别技术的各种场景中。
当前的人脸识别技术中,针对正常光照条件(例如光线直接照射至人脸上或者外部环境光照亮度较高)采集人脸图像,通常可以清晰的采集出面部特征,从而具有较高的人脸识别率。然而,针对逆光场景条件下采集的人脸图像,如图1a所示,其采集到的人脸图像亮度较低,无法检测出其面部特征,需要对图1a所示的人脸图像进行图像提亮以检测出面部特征。当对图1a进行整体提亮时,通常计算出图1a的平均亮度值,也即是对图1a的全部像素值求和后取平均。从图1a中可以看出,由于人脸对象所在的区域与背景区域之间的亮度差距较大,也即像素值差距较大,对图1a进行整体亮度补偿后的,得到如图1b所示的图像。在图1b中,人脸对象所在的区域的亮度仍然较低,无法检测出面部特征。通过本申请实施例的方案,电子设备可以在所拍摄的人脸对象过暗以至于于无法检测出人脸面部特征的情况下,对利用大数据预先确定出的、人脸对象高概率分布的图像区域进行局部提亮,经过反复迭代提亮,人脸对象的特征可以清晰的呈现,从而电子设备可以基于检测出的人脸特征进行有效的人脸识别,提高背光或黑暗环境下对用户身份校验的准确度,进而提高用户体验。
请参见图2a,图2a是的本申请实施例提供的电子设备200的外部结构示意图。在如图2a所示,电子设备200可以包括摄像头201。
摄像头201可以为红绿蓝(red green blue,RGB)摄像头。RGB摄像头为可见光摄像头,其用于采集用户的人脸图像信息。摄像头201还可以为其他诸如双通摄像头、全通摄像头等。其中,双通摄像头是指该摄像头既可以采集可见光图像,也可以采集红外光图像。全通摄像头是指可以采集可见光图像、红外光图像以及其它波长的光的图像。
在图2a所示的电子设备200中,还可以包括环境光传感器202。环境光传感器202用于感知环境光亮度。其可以与摄像头201相互配合,采集用户图像信息。
具体的,当用户触发人脸识别操作(例如唤醒电子设备200屏幕、在安装于电子设备200的支付类应用中点击支付操作)时,电子设备200的环境光传感器202可以首先感测外部环境光亮信息,电子设备200基于感测到的外部环境光亮信息,调节摄像头201 的参数,然后采集用户图像信息。电子设备200基于采集到的用户图像信息,在无法检测出用户面部轮廓时,对预先设置的图像位置区域迭代提亮,直到检测出用户面部特征,从而基于用户面部特征对用户进行识别认证。本申请实施例中的迭代提亮具体可以是:基于预设区域的图像信息的亮度值参数,调节摄像头参数,重新获取图像,以使得重新获取的图像中、预设区域的图像信息的亮度值提高;如果重新获取的图像还无法进行识别,则基于重新获取的图像中的预设预期中的图像信息的亮度值参数,进一步调节摄像头参数,并再次重新获取图像,使得图像亮度进一步提高。
需要注意的是,在一些实施例中,图2a所示的电子设备200的外部结构示意图可以为电子设备200的正面的局部示意图。也就是说,上述摄像头201、环境光传感器202 置在电子设备200的正面。此外,在图2a所示的电子设备中,还可以包括第二摄像头,该第二摄像头可以设置于电子设备200的背面。
在一些实施中,图2a所示的电子设备200的外部结构示意图还可以为电子设备200的背面的局部示意图。也就是说,上述摄像头201、环境光传感器202置在电子设备200 的背面。此外,在图2a所示的电子设备中,还可以包括第二摄像头,该第二摄像头可以设置于电子设备200的正面。
上述电子设备200的正面是指电子设备200显示图形用户界面(如电子设备200的主界面,即桌面)的一面,即显示面板所在的面通常称为正面;而电子设备200的背面则是与正面的朝向相反的一面。通常的,电子设备的正面指的是:在被用户正常使用状态下,朝向用户的一面;而背离用户的一面称为背面。
本申请实施例电子设备可以为包括上述RGB摄像头、环境光传感器的手机、笔记本电脑、可穿戴电子设备(如智能手表)、平板电脑、增强现实(augmentedreality,AR)、虚拟现实(virtual reality,VR)设备或车载设备、门禁设备、闸机设备等,以下实施例对该电子设备的具体形式不做特殊限制。
请参考图2b,其示出本申请实施例提供的一种电子设备200的结构示意图。
电子设备200可以包括处理器210,外部存储器接口220,内部存储器221,USB接口230,充电管理模块240,电源管理模块241,电池242,天线1,天线2,移动通信模块251,无线通信模块252,音频模块270,扬声器270A,受话器270B,麦克风270C,耳机接口270D,传感器模块280,按键290,马达291,指示器292,摄像头293,显示屏294,以及SIM卡接口295等。其中传感器模块280可以包括陀螺仪传感器280A,加速度传感器280B,接近光传感器280G、指纹传感器280H,触摸传感器280K、转轴传感器280M(当然,电子设备200还可以包括其它传感器,比如温度传感器,压力传感器、距离传感器、磁传感器、环境光传感器、气压传感器、骨传导传感器等,图中未示出)。
可以理解的是,本申请实施例示意的结构并不构成对电子设备200的具体限定。在本申请另一些实施例中,电子设备200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器210可以包括一个或多个处理单元,例如:处理器210可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器 (Neural-network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。其中,控制器可以是电子设备200的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器210中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器210的等待时间,因而提高了***的效率。
显示屏294用于显示图像,视频等。显示屏294包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode, OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled, MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备200可以包括1个或N个显示屏294,N为大于1的正整数。
摄像头293(前置摄像头或者后置摄像头,或者一个摄像头既可作为前置摄像头,也可作为后置摄像头)用于捕获静态图像或视频。通常,摄像头293可以包括感光元件比如镜头组和图像传感器,其中,镜头组包括多个透镜(凸透镜或凹透镜),用于采集待拍摄物体反射的光信号,并将采集的光信号传递给图像传感器。图像传感器根据所述光信号生成待拍摄物体的原始图像。摄像头293可以包括1~N个摄像头。该1~N个其他摄像头可以包括RGB摄像头,还可以包括红外摄像头等。
内部存储器221可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器210通过运行存储在内部存储器221的指令,从而执行电子设备200的各种功能应用以及信号处理。内部存储器221可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,应用程序(比如相机应用,微信应用等)的代码等。存储数据区可存储电子设备200使用过程中所创建的数据(比如相机应用采集的图像、视频等)等。
内部存储器221还可以存储本申请实施例提供的防误触算法的代码。当内部存储器 321中存储的防误触算法的代码被处理器210运行时,可以对折叠或者展开过程中的触摸操作进行屏蔽。
此外,内部存储器221可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS) 等。
当然,本申请实施例提供的用于实现视频编辑的算法的代码还可以存储在外部存储器中。这种情况下,处理器210可以通过外部存储器接口220运行存储在外部存储器中算法的代码,实现对视频进行编辑。
下面介绍传感器模块280的功能。
陀螺仪传感器280A,可以用于确定电子设备200的运动姿态。在一些实施例中,可以通过陀螺仪传感器280A确定电子设备200围绕三个轴(即,x,y和z轴)的角速度。即陀螺仪传感器280A可以用于检测电子设备200当前的运动状态,比如抖动还是静止。
加速度传感器280B可检测电子设备200在各个方向上(一般为三轴)加速度的大小。即陀螺仪传感器280A可以用于检测电子设备200当前的运动状态,比如抖动还是静止。
接近光传感器380G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。手机通过发光二极管向外发射红外光。手机使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定手机附近有物体。当检测到不充分的反射光时,手机可以确定手机附近没有物体。
陀螺仪传感器280A(或加速度传感器280B)可以将检测到的运动状态信息(比如角速度)发送给处理器210。处理器210基于运动状态信息确定当前是手持状态还是脚架状态(比如,角速度不为0时,说明电子设备200处于手持状态)。
指纹传感器280H用于采集指纹。电子设备200可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
触摸传感器280K,也称“触控面板”。触摸传感器280K可以设置于显示屏294,由触摸传感器280K与显示屏294组成触摸屏,也称“触控屏”。触摸传感器280K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏294提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器280K也可以设置于电子设备200的表面,与显示屏294所处的位置不同。
示例性的,电子设备200的显示屏294显示主界面,主界面中包括多个应用(比如相机应用、微信应用等)的图标。用户通过触摸传感器280K点击主界面中相机应用的图标,触发处理器210启动相机应用,打开摄像头293。显示屏294显示相机应用的界面,例如取景界面。
电子设备200的无线通信功能可以通过天线1,天线2,移动通信模块251,无线通信模块252,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块251可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块251可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块251可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块 251还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块251的至少部分功能模块可以被设置于处理器210中。在一些实施例中,移动通信模块251的至少部分功能模块可以与处理器210的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器270A,受话器270B 等)输出声音信号,或通过显示屏294显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器310,与移动通信模块251或其他功能模块设置在同一个器件中。
无线通信模块252可以提供应用在电子设备200上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequency modulation, FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块252可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块352经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器210。无线通信模块252还可以从处理器210接收待发送的信号,对其进行调频、放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备200的天线1和移动通信模块251耦合,天线2和无线通信模块252耦合,使得电子设备200可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS 可以包括全球卫星定位***(global positioning system,GPS),全球导航卫星***(global navigation satellite system,GLONASS),北斗卫星导航***(beidounavigation satellite system,BDS),准天顶卫星***(quasi-zenith satellitesystem,QZSS))和/或星基增强***(satellite based augmentation systems,SBAS)。
另外,电子设备200可以通过音频模块270,扬声器270A,受话器270B,麦克风270C,耳机接口270D,以及应用处理器等实现音频功能。例如音乐播放,录音等。电子设备200可以接收按键290输入,产生与电子设备200的用户设置以及功能控制有关的键信号输入。电子设备200可以利用马达291产生振动提示(比如来电振动提示)。电子设备200中的指示器292可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。电子设备200中的SIM卡接口295用于连接SIM卡。 SIM卡可以通过***SIM卡接口295,或从SIM卡接口295拔出,实现和电子设备200 的接触和分离。
电子设备200可以通过GPU、显示屏209,以及应用处理器等实现显示功能。GPU 为图像处理的微处理器,连接显示屏209和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器203可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
电子设备200可以通过ISP,摄像头201,视频编解码器,GPU,显示屏209以及应用处理器等实现拍摄功能。
ISP主要用于处理摄像头200反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备200在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备200可以支持一种或多种视频编解码器。这样,电子设备200可以播放或录制多种编码格式的视频,例如:动态图像专家组(movingpicture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
电子设备200可以包括诸如音频模块,扬声器,受话器,麦克风,耳机接口等实现音频功能的模块,电子设备200可以利用该实现音频功能的模块进行音乐播放、视频播放、录音等。
应理解,在实际应用中,电子设备200可以包括比图2b所示的更多或更少的部件,本申请实施例不作限定。
请参考图3,其示出本申请实施例提供的一种电子设备200的软件***架构示意图。如图3所示,电子设备200可以的软件***包括多个应用301、摄像头模块302、ISP模块303和人脸识别模块304。
如图3所示,多个应用301可以包括支付类应用、锁屏类应用、设置应用和应用锁等应用的人脸识别软件开发工具包(software development kit,SDK)。该多个应用301中的各个应用在不同的场景中可以触发电子设备200进行人脸识别。
电子设备200接收到上述多个应用301发起的人脸识别请求时,可以启动摄像头模块302,并初始化摄像头模块302,以采集用户头像信息。其中,ISP模块可以向摄像头模块302传输摄像头模块的初始化参数,例如曝光亮度参数等。
由于摄像头模块302采集的图像信息是原生(raw)图像,因此,摄像头模块302采集的图像信息经过图像处理后,才可以用于进行人脸识别。如图3所示,ISP模块303可以对摄像头模块302采集的图像信息进行图像处理(例如降噪处理)。
人脸识别模块304可以包括人脸检测模块、人脸比对和防伪模块等。人脸识别模块304可以执行人脸检测、活体检测(包括上述深度防伪认证和红外防伪认证)、特征提取、特征比对和模板管理等。人脸检测是检测图像中的人脸轮廓信息、人脸特征信息等。如果检测出人脸轮廓信息、人脸特征信息等,人脸比对和防伪模块才可以执行活体检测、特征提取、特征比对等操作。特征提取是指提取出图像信息中的人脸特征。特征比对是指对比预先存储的人脸模板和从图像信息中提取的人脸特征,判断从图像信息中提取的人脸特征与人脸模板是否匹配。人脸检测模块可以预先写入预设的图像区域。
亮度调节子模块可以设置于ISP模块中。当人脸检测模块基于摄像模块302采集到的图像信息,无法检测出人脸轮廓时,可以将预设的图像区域返回给亮度调节子模块,以使亮度调节子模块对采集到的图像中预设的图像区域进行亮度平均值计算,然后基于计算结果,重新设置拍摄参数(例如曝光度)发送给摄像头模块302,从而摄像头模块 302继续采集用户人脸图像信息。通常,亮度调节子模块设置有图像的目标亮度值,当上述预设的图像区域达到目标亮度值以后,将不再增加。从而,人脸识别模块304可以基于该目标亮度值进行后续的人脸轮廓检测、人脸特征提取、人脸比对等。
在一些实施例中,为了提高对图像的亮度调节速度,人脸检测模块可以与亮度调节子模块封装在一起,也即均设置于ISP模块中。
通常用于进行亮度处理的算法模块与用于人脸识别的算法模块之间无法直接进行数据传输,在用于亮度处理的算法模块与用于人脸识别的算法之间通常设置有用于二者通信的接口框架。为了提高人脸轮廓检测的灵活性,上述人脸检测模块还可以设置于接口框架中。
需要说明的是,图3所示的软件模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时还可以有另外的划分方式。
请继续参考图4,图4示出了本申请实施例提供的一种图像识别方法,该方法可以应用于电子设备200。该电子设备200包括摄像头201。该图像识别方法可以包括S401-S408:
S401:响应于接收到进行人脸识别的指令,通过摄像头采集图像信息。
本实施例中以人脸识别替代面部识别。一般而言,面部识别可以指人脸识别。
其中,电子设备200可以接收用户对电子设备的操作。该操作用于触发电子设备执行某一事件(例如支付、解锁、通过闸机、开门)。该事件需要通过人脸识别完成。当电子设备200检测到上述某一操作时,可以确定为接收到进行人脸识别的指令。
在通过验票闸机的场景中,当用户将身份证和车票以预设放置的方式放置于指定位置时,可以确定用户对电子设备进行操作。电子设备检测到该做操后,可以触发进行人脸识别的指令。
在开启人脸识别支付的场景中,上述用户对电子设备的操作例如可以为用户在支付类应用中点击“支付”操作,或者扫描二维码的操作。从而,电子设备检测到该两种操作中的任意一种操作时,可以触发进行人脸识别的指令。
在手机解锁的场景中,当用户对屏幕进行点击操作以唤醒屏幕时,电子设备检测到该操作,可以触发进行人脸识别的指令;在电脑解锁的场景中,当用户利用外部输入/输出设备(例如键盘、鼠标)进行点击操作时,电子设备检测到该操作,可以触发进行人脸识别的指令。
上述触发人脸识别的指令的场景为示意性的,在此不做具体限定。只要基于用户的某一操作而触发人脸识别的场景,均适用于本申请。
电子设备200在接收到进行人脸识别的指令后,可以通过摄像头201采集图像信息。该图像信息用于对目标对象进行身份验证。摄像头201可以为RGB摄像头。从而,该图像信息可以包括图像中各像素的RGB值、图像的灰度值、图像的像素亮度值、各像素点在图像中的坐标位置等。通过图像信息可以形成图像。
在一种可能的实现方式中,在采集图像信息之前,可以对摄像头201进行参数初始化。具体的,电子设备200中可以预先存储有外部环境光照亮度与摄像头参数之间的第一对应关系表。在接收到进行人脸识别的指令后,电子设备200可以首先利用环境光传感器获取外部光照亮度。然后,将获取到的外部光照亮度与第一对应关系表进行比较,查询出与光照亮度对应的摄像头参数。该摄像头参数可以包括但不限于曝光时间、感光度等。然后基于查询出的摄像头参数,来初始化摄像头,以使摄像头基于该参数获取图像信息。
S402:基于图像信息,确定是否能够检测到面部轮廓。
其中,图像信息是电子设备200基于外部环境光照亮度控制摄像头获取的。光线照射的角度不同,图像信息呈现的画面亮度也不相同。当光线直接照射在用户面部时,用户面部轮廓以及面部特征均较为清晰。
然而,当用户背对光源、且用户周围参照物的颜色过暗时,所拍摄出的面部头像与周围参照物融为一体,如图1a所示。从而,电子设备200无法检测出面部轮廓信息。
电子设备200可以确定是否能够从图像信息中检测到面部轮廓。
通常,电子设备无法获取面部轮廓信息包括两种情况。第一,摄像头所采集的图像信息中、人脸部分的像素亮度值过低,以至于无法提取出面部轮廓。第二,摄像头采集的图像信息中没有人脸对象。
电子设备200可以首先确定是否为第一种情况。具体的,电子设备200可以计算图像信息的平均像素亮度值。当电子设备200计算出图像信息的平均亮度值低于预设阈值时,可以确定为第一种情况。此时,可以首先确定出所采集的图像信息中、预设图像坐标区域的平均像素亮度值,然后执行步骤S403。
当电子设备200计算出图像信息的平均亮度值高于预设阈值时,可以进一步确定图像信息中、预设图像坐标区域的平均像素亮度值,当图像信息中、预设图像坐标区域的平均像素亮度值低于预设阈值时,说明图像中人脸部分与图像中其他部分的亮度差距过大,而导致图像的整体平均像素亮度值过高,此时也可以确定为第一种情况。然后,执行步骤S403。
当电子设备200计算出图像信息中、预设图像坐标区域的平均像素亮度值高于预设阈值,并且此时仍然无法从图像信息中检测到面部轮廓时,此时可以确定为第二种情况。需要重新执行S401中的采集图像信息的步骤。如果在特定时间内均未检测到人脸对象,则认证失败。
当电子设备200能够从采集到的图像信息中检测到面部轮廓时,可以执行S404。
S403,基于采集的图像信息中、预设图像坐标区域的平均像素亮度值,调节摄像头参数,执行S406。
在本实施例中,电子设备200中还可以存储有图像亮度值与摄像头参数之间的第二对应关系表。电子设备200可以将计算出的预设图像区域的平均像素亮度值与图像目标亮度值进行比较。若二者的差值小于或等于预设阈值,电子设备200可以将下一帧图像中、当前预设图像坐标区域的图像亮度值提高至目标亮度值。然后,电子设备200可以从该第二对应关系表中查询出与提高后的亮度值对应的摄像头参数。若二者之间的差值大于预设阈值时,电子设备200无法一次提高到目标亮度值。此时,电子设备200可以基于预设步长提高图像亮度值。然后,电子设备200可以从该第二对应关系表中查询出与提高后的亮度值对应的摄像头参数。
这里,查询出与提高后的亮度值对应的摄像头参数也即查找出与亮度值对应的感光度参数、白平衡参数、光圈大小、曝光时间等。从而,控制摄像头在该摄像头参数下重新获取图像信息。
具体的,在电子设备200中可以预先设置有一个图像区域。该图像区域可以是基于大数据统计得出的、人脸对象在图像中高概率出现的区域,该区域可以为矩形区域,也可以为诸如圆形等其他形状的区域。
优选的,该区域为矩形区域。如图5a-图5b所示。在图5a或5b中,矩形ABCD标记出的区域即为预设图像坐标区域。图5a和图5b不同的是,图5a画幅的第一方向长度小于第二方向长度,图5b画幅的第一方向长度大于第二方向长度。因此,图5a可以看作在手机竖屏的情况下所采集的图像信息形成的图像,图5b可以看作在手机横屏的情况下所采集的图像信息形成的图像。
这里,预设图像坐标区域在图像中的比例大小可以根据应用场景的需要设定,预设图像坐标区域沿第一方向的长度与沿第二方向的长度之间的比值也可以基于应用场景的需要设定。其中,预设图像坐标区域沿第一方向的长度与沿第二方向的长度之间的比值例如可以为4:6。
在一种可能的实现方式中,预设图像坐标区域沿第一方向的长度与沿第二方向的长度之间的比值为4:5。以图5a和图5b为例,矩形ABCD中,AB边的长度与AC边的长度之间的比值为4:5。
可选的,沿如图5a或图5b所示的第一方向,图像坐标区域的边界长度为320mm,沿如图5a或图5b所示的第二方向,图像坐标区域的边界长度为400mm。也即是说,无论所采集的图像信息中、图像画幅增大或缩小,图像坐标区域的边长不变,均可以是沿第一方向的边长320mm、沿第二方向的边长400mm围成的矩形区域。
可选的,沿如图5a所示的第一方向或者沿如图5b所示的第二方向,图像坐标区域的边界长度为320mm,沿如图5a所示的第二方向或者沿如图5b所示的第一方向,图像坐标区域的边界长度为400mm。也即是说,以用户视角看手机屏幕时,图像坐标区域的边长随着手机的横屏或竖屏而改变,图像坐标区域中较长的边界的方向与图像画幅的长边的方向相同,图像坐标区域中较短的边界的方向与图像画幅的短边的方向相同。
在一种可能的实现方式中,图像坐标区域的第一边界与第二边界形成第一顶点,第一边界与第三边界形成第二顶点;图像信息形成的图像的第一边与第二边形成第三顶点,图像信息形成的图像的第一边与第三边形成第四顶点,第一边界与第一边重合,第一顶点与第三顶点之间的距离和第二顶点与第四顶点之间的距离相等。
继续以图5a和图5b为例,图像坐标区域ABCD中,第一边界AB与整幅图像的第一边EF重合,第一顶点A与第三顶点E之间的距离等于第二顶点B与第四顶点F之间的距离。
S404,基于图像信息,确定是否可以检测到可进行人脸识别的特征点。
通常,人脸识别需要提取人脸部位的多个特征点。在本实施例中,当电子设备200检测出人脸轮廓后,可以进一步对图像信息中人脸部分进行特征点检测和提取。这里,对人脸部分进行特征点检测的结果可以包括两种情况。第一种情况为,人脸部分足够清晰,可以从图像信息中提取出用于进行人脸识别的特征点。此时,电子设备200可以执行步骤S405。
另一种情况为,人脸部分不够清晰,导致从图像信息中仅能够检测出部分特征点。所检测出的特征点由于数目较少,不足以进行人脸识别和验证。此时,电子设备200可以执行步骤S406。
上述关键点可以包括与人的鼻子、嘴巴和眼睛等器官的特征匹配的特征。即电子设备200可以通过判断图像信息中是否包括人的鼻子、嘴巴和眼睛等器官的图像特征,来确定是否可以检测出用于人脸识别的关键点。
S405,进行人脸识别和防伪验证,确定是否可以通过身份验证。
当电子设备200检测出人脸对象的关键点时,可以对用户进行身份验证。对用户进行身份验证通常可以包括人脸比对验证和防伪验证。
具体的,电子设备200中可以预先存储有用于用户身份验证的人脸图像信息。该人脸图像信息可以包括电子设备200预先录入的人脸图像的特征信息。电子设备200可以对比图像信息与预先录入的人脸图像的特征信息,判断该图像信息是否匹配。
电子设备200可以将从第二图像信息中提取的人脸特征与预先录入的人脸特征进行比对,判断提取的人脸特征与预先录入的人脸特征是否匹配。
具体的,如果第二图像信息与预先录入的图像匹配,电子设备200可以对第二图像信息中的人脸对象进行进一步防伪认证。该防伪认证用于检测是否为活体。防止通过用户的照片、模型等代替用户本人进行身份验证。当防伪认证通过后,则可以执行身份验证通过的步骤S408,也即人脸识别成功,从而可以进行某一事件(例如支付、解锁、通过闸机、开门)等。
如果图像信息与原始图像不匹配,有可能是因为图像信息形成的图像中,人脸对象的面部两侧区域亮度差距较大,导致电子设备200在进行特征点检测时,只检测出亮度较高的面部区域的特征点,此时电子设备可能认为可以从图像信息中提取出满足用于人脸识别的全部特征点。而在进行人脸对比验证时,由于人脸对象的某一侧面(例如右侧面)区域亮度暗导致特征匹配不准确。此时,可以执行步骤S406。
S406,确定采集的图像信息中、面部轮廓部分的平均像素亮度值,基于平均像素亮度值,调节摄像头参数,然后执行步骤S407。
本实施例中,当电子设备200可以从图像信息中检测出用户面部轮廓时,为了提高面部特征的检测速度,避免图像中由于周围环境与人脸之间的亮度差值较大,需要多次迭代才可以检测出用于进行人脸识别的人脸特征点。此时,电子设备可以确定出面部轮廓部分的平均像素亮度值,从而可以仅针对面部轮廓部分的平均像素亮度值,对后续采集的图像进行画面提亮。
S407,基于调节后的摄像头参数,重新通过摄像头采集图像信息,然后执行步骤S402。
也即是说,通过摄像头获取到的图像的像素亮度值过低而无法获取到面部轮廓信息时,或者在获取到面部轮廓信息但无法进行特征点检测时,或者是由于特点较少导致与原始图像比对后未通过认证时,可以重新调节摄像头参数(例如提高曝光时间,提高感光度),从而对所拍摄的物体、对象等进行亮度补偿,继续获取新的图像信息。
本申请实施例可以反复执行步骤S402-步骤S408,直到电子设备200可以清楚的检测出预设图像区域的内容、或者检测到人脸对象。从而,电子设备200可以基于检测出的图像内容对用户进行身份验证。
需要说明的是,当步骤S402-步骤S408迭代执行的次数超过预设阈值时,可以确定用户身份验证失败,此时电子设备将不在进行某一事件(例如支付、解锁、通过闸机、开门等事件)。
下面以电子设备为手机作为示示例,结合图6a-图6c,以具体的场景对本申请各实施例所示的面部识别方法进行阐述。
首先,用户通过点击手机屏幕,触发了手机通过面部识别以对手机屏幕解锁的事件。此时,手机中用于执行面部识别指令的部件控制手机的摄像头获取图像信息。在该应用场景中,所获取到的图像信息形成的图像中,人脸部分过暗,此时无法从图像中检测到用户面部轮廓。如图6a所示,图6a示意性的示出了摄像头当前采集的图像信息形成的图像。在图6a中,区域A与区域B之间的亮度对比强烈,也即区域A与区域B之间的亮度差值过大。此时,即使图6a所示的整幅图像的平均像素亮度值达到目标值,仍然无法从该图像中检测出面部轮廓。这里假定区域A为预设图像坐标区域。然后,手机可以确定图6a中预设图像坐标区域A的平均像素亮度值。接着,基于平均像素亮度值调节摄像头的感光度、曝光时间等参数,重新采集图像信息以生成第二帧图像6b,从而使得所获取的第二帧图像中,预设图像坐标区域A的平均像素亮度值提高。从图6b中可以看出,与图6a所示的图像相比,图6b中预设图像坐标区域A的平均像素亮度值提高。此时,手机可以继续确定是否可以从图6b中检测到面部轮廓。当手机从图6b中检测到面部轮廓,但无法从图6b中提取出面部特征点时,可以进一步确定图6b中面部轮廓区域C的平均像素亮度值。这里假定图6b中的区域B为面部轮廓区域。然后,基于面部轮廓区域 C的平均像素亮度值,继续调节摄像头的感光度、曝光时间等参数,重新采集图像信息以生成第三帧图像6c。与图6b所示的图像相比,图6c中面部轮廓区域的平均像素亮度值进一步提高。进而,手机可以清楚的从图6c中提取出面部特征,然后进行后续人脸识别与人脸防伪认证步骤。
这里需要说明的是,通过参数调节后的摄像头获取第二帧图像、第三帧图像时,与前一帧图像相比,整幅图像的亮度值均变化。从图6a-图6c中可以看出,背景区域B的亮度也逐渐提高。但在本申请中,不需要关注除了预设图像区域或者面部轮廓区域之外的区域的像素亮度。也即是说,在一些场景中存在某种情况,预设图像坐标区域或者面部轮廓区域可以正常检测面部轮廓或提取面部特征,而此时预设图像坐标区域或者面部轮廓区域之外的区域的亮度过曝导致该其他区域的对象模糊。
在一种可能的实现方式中,预设图像区域可以通过图7所示的步骤得到。该步骤包括:
S701:获取样本图像集合。
其中,样本图像集合中的每一个样本图像均包括人脸对象。样本图像可以为基于光线直射用户面部时获取到的,也可以为用户面部背对光源时获取到的。光线直射用户面部时获取到的样本图像中,可以较为清晰的呈现用户对象的面部特征。而用户面部背对光源时获取到的样本图像中,通常仅可以呈现用户对象的面部轮廓。
值得注意的是,为了提高所确定出的图像坐标区域的准确性,样本图像的获取可以采用与电子设备200相同的电子设备获取。或者,样本图像的尺寸以及长宽比例与电子设备200的摄像头所采集的图像的尺寸以及长宽比例相同。
基于S701获取到的样本图像结合,在S702中:确定人脸对象在样本图像中的坐标区域信息。
该人脸对象在样本图像中的坐标区域信息可以是基于人工标注得到的,也可以是利用轮廓检测算法检测得到的。
具体的,当样本图像是基于光线直射用户面部时获取到的时,电子设备200可以基于轮廓检测算法直接检测出人脸对象在样本图像中的坐标区域信息。当样本图像是基于用户面部背对光源时获取到的时,为了提高人脸对象标记的准确性,人脸对象在样本图像中的坐标区域信息可以是人工标注的。
为了便于电子设备后续的计算以及对图像亮度的处理,人脸对象在样本图像中的坐标区域通常为矩形区域。通过确定矩形的四个顶点在图像中的坐标位置,即可确定出人脸对象在样本图像中的坐标区域信息。
S703:对所得到的各样本图像的坐标区域信息进行重合度计算,选取出重合度大于预设阈值的区域。
在超过预设数目个样本图像中,人脸对象在图像中的位置分布均落在某一区域范围内,则该区域范围即为重合度大于预设阈值的区域。
举例来说,假设有100个样本图像。其中95个样本图像中,人脸对象在图像中的坐标区域均落在如图5a所示的A(0,20)、B(0,80)、C(70,20)、D(70,80)该四个坐标点所围成矩形区域范围内,可以将ABCD四个坐标点在图像中围成的区域作为上述重合度大于预设阈值的区域。
S704:基于重合度大于预设阈值的坐标区域,生成预设图像坐标区域。
为了尽可能的使人脸对象落在图像的某一区域范围内,S703选取出的重合度大于预设阈值的区域通常范围较大。而电子设备200对图像进行亮度调节时所能达到的最大亮度值是基于图像的平均亮度决定。如果图像区域范围过大,电子设备200基于设定的目标使得所选取出的图像区域达到最大亮度值时,有可能仍然无法对人脸进行识别。
再例如,电子设备200通常基于计算出的图像亮度值与预定目标亮度值之间的差值,来设置亮度调节步长。差值越小,步长越小,差值越大,步长越大。如果所选取出的图像区域范围过大,导致周围环境部分落入图像区域范围内。当图像中人脸部分与周围环境部分的亮度差距过大时,电子设备200计算出的图像区域范围的平均亮度值远远高于人脸部分的平均亮度值。而此时的平均亮度值与预定目标亮度值之间的差值较小,导致电子设备以较小的步长提高图像区域范围。当亮度调节后,有可能仍然无法检出出人脸轮廓,需要迭代多次才有可能对人脸进行识别,从而严重影响人脸识别速度。
为了兼顾电子设备200所能处理的最大亮度值以及其亮度调节速度,因此,还需要对重合度大于预设阈值的坐标区域的大小进行调节,从而根据最终的调节结果得到最终的预设图像坐标区域。
为此,首先可以获取预设环境条件下,包括人脸对象的测试图像。为了尽可能的对预设图像区域进行优化,该预设环境条件可以为昏暗的背光环境。该测试图像中,人脸对象与背景图像尽可能的重叠。该测试图像例如可以为如图1a所示。
然后,可以对测试图像中、预先选取出的重合度大于预设阈值的坐标区域进行亮度调节。
响应于亮度调节次数大于预设阈值,调整坐标区域的大小。该亮度调节次数即为:预先选取出的图像坐标区域能够识别出人脸特征时、亮度迭代调节的次数。该次数如果大于预设次数,则说明所选取出的图像坐标区域过大,以预设比例减小该图像坐标区域。然后,继续对测试图像中、重新选取出的图像坐标区域进行亮度调节。如果当前坐标区域的亮度调节次数小于预设阈值,则可以将当前的坐标图像区域作为上述预设图像坐标区域。
通过S701-S704所确定出的预设图像坐标区域,可以使得该图像坐标区域内尽可能完整的呈现用户对象特征,同时还尽可能减少图像亮度的迭代次数,从而提高背光场景或昏暗场景下、人脸识别成功的效率。
请继续参考图8,图8示出了本申请实施例提供的又一个图像识别方法,该方法可以应用于电子设备200。该电子设备200包括摄像头201。该图像识别方法可以包括 S801-S807:
S801:响应于接收到进行人脸识别的指令,通过摄像头采集图像信息。
S802:基于图像信息,确定是否能够检测到面部轮廓信息。
此时,若无法检测到面部轮廓信息,则执行步骤S803;若检测到面部轮廓信息,则执行步骤S804。
S803:确定采集的图像信息中、预设图像坐标区域的平均像素亮度值,基于平均像素亮度值,调节摄像头参数,执行S406。
S804:进行人脸识别和防伪验证,确定是否可以通过身份验证。
在本实施例中,当电子设备200检测到面部轮廓信息后,可以直接进行人脸识别。也即是说,这里,可以在进行人脸识别时提取面部关键点特征,将面部关键点特征与预先录入的人脸图像对应的人脸特征进行比对。当图像面部轮廓部分亮度过低导致无法从图像信息中提取面部关键点特征、或者所提取的面部关键点特征较少时,可以执行步骤 S805。
若可以从图像信息中提取到面部关键点特征,并与预先录入的人脸图像对应的人脸特征比对成功后,可进一步进行防伪验证。也即进行活体检测。当防伪认证通过后,则可以执行身份验证通过的步骤S707,也即人脸识别成功,从而可以进行某一事件(例如支付、解锁、通过闸机、开门)等。
S805:确定采集的图像信息中、面部轮廓部分的平均像素亮度值,基于平均像素亮度值,调节摄像头参数,然后执行步骤S806。
S806:基于调节后的参数,重新通过摄像头采集图像信息,然后执行步骤S802。
本申请实施例可以反复执行步骤S802-步骤S807,直到电子设备200可以清楚的检测出预设图像区域的内容、或者检测到人脸对象。从而,电子设备200可以基于检测出的图像内容对用户进行身份验证。
需要说明的是,当步骤S802-步骤S807迭代执行的次数超过预设阈值时,可以确定用户身份验证失败,此时电子设备将不在进行某一事件(例如支付、解锁、通过闸机、开门)等。
本实施例所示的步骤S801、S802、S803、S805、S806以及S807的具体实现以及带来的有益效果可以参考图4所示的步骤S401、S402、S403、S406、S407以及S408的描述,在此不再赘述。
从图8中可以看出,与图4所示的图像识别方法不同的时,本实施例中省去了S404中单独进行面部特征点检测的步骤,在检测到面部轮廓信息时直接进行面部特征提取以及面部特征比对,从而可以提高图像识别方法的灵活性。
值得注意的是,图4、图8所示的各方法步骤仅是示例,本申请实施例还可以执行其他操作或者图4、图8中的各个操作的变形。此外,图4、图8中的各个步骤可以按照与图4呈现的不同的顺序来执行,并且有可能并非要执行图4中的全部操作。
可以理解的是,上述电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
本申请实施例可以根据上述方法示例对上述电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用集成的单元的情况下,图9示出了上述实施例中所涉及的电子设备900的一种可能的结构示意图。该电子设备900可以包括:处理模块901和RGB采集模块902。可选的,该电子设备900还可以包括显示模块、通信模块,该通信模块包括蓝牙模块和 Wi-Fi模块等。
其中,处理模块901用于对电子设备900的动作进行控制管理。RGB采集模块902 用于采集可见光下目标对象的图像。
显示模块用于显示处理模块901生成的图像和RGB采集模块902采集的图像。
通信模块用于支持电子设备900与其他设备的通信。处理模块901还用于根据RGB采集模块902采集的图像进行目标对象的身份验证。
具体的,上述处理模块901可以用于支持电子设备900执行上述方法实施例中的S402–S408,S701-S704,S802-807,和/或用于本文所描述的技术的其它过程。RGB采集模块902可以用于支持电子设备900采集可见光下的图像信息,和/或用于本文所描述的技术的其它过程。
当然,上述电子设备900中的单元模块包括但不限于上述处理模块901和RGB采集模块902等。例如,电子设备900中还可以包括存储模块。存储模块用于保存电子设备900的程序代码和数据,和/或用于本文所描述的技术的其它过程。
其中,处理模块901可以是处理器或控制器,例如可以是中央处理器(Cen tralProcessing Unit时,CPU),数字信号处理器(Digital Signal Processor,DSP),专用集成电路(Application-Specific Integrated Circuit,ASIC),现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。处理器可以包括应用处理器和基带处理器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。存储模块可以是存储器。
例如,处理模块901为一个或多个处理器(如图2b所示的处理器220),通信模块包括无线通信模块(如图2b所示的无线通信模块252,该无线通信模块252包括BT(即蓝牙模块)、WLAN(如Wi-Fi模块))。无线通信模块可以称为通信接口。存储模块可以为存储器(如图2b所示的内部存储器221)。显示模块可以为显示屏(如图2b所示的显示屏294)。上述RGB采集模块902可以为图2b所示的1-N个摄像头293。本申请实施例所提供的电子设备900可以为图2b所示的电子设备200。其中,上述一个或多个处理器、存储器、显示屏和摄像头等可以连接在一起,例如通过总线连接。
本申请实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机程序代码,当上述处理器执行该计算机程序代码时,电子设备900执行图4、图7或图8中任一附图中的相关方法步骤实现上述实施例中的方法。
本申请实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行图4、图7或图8中任一附图中的相关方法步骤实现上述实施例中的方法。
其中,本申请实施例提供的电子设备900、计算机存储介质或者计算机程序产品均用于执行土文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要丽将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的相合或直接相合或通信连接可以是通过一些接口,装置或单元的间接相合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以使用硬件的形式实现,也可以使用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不同限于此,任何在本申请揭露的技术范围内的变化或苔换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种图像识别方法,其特征在于,所述方法包括:
响应于接收到进行面部识别的指令,电子设备通过摄像头采集图像信息,所述图像信息用于对目标对象进行身份验证;
基于所述图像信息,所述电子设备确定是否检测到面部轮廓;
响应于无法检测到所述面部轮廓,所述电子设备确定所述图像信息中位于预设区域的部分图像信息的第一亮度值参数;
基于所述第一亮度值参数,所述电子设备调节所述摄像头的摄像头参数;
基于调节后的摄像头参数,所述电子设备重新通过所述摄像头采集图像信息,以用于进行身份验证。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于检测到所述面部轮廓,所述电子设备确定从所述图像信息中是否检测到用于进行面部识别的特征点;
响应于无法检测到所述用于进行面部识别的特征点,所述电子设备确定所述图像信息中、面部轮廓部分的第二亮度值参数;
基于所述第二亮度值参数,所述电子设备调节所述摄像头的摄像头参数;
基于调节后的摄像头参数,所述电子设备执行重新通过所述摄像头采集图像信息的步骤。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于检测到所述面部轮廓,所述电子设备将所述图像信息与预先存储的人脸图像信息进行比对,确定是否比对成功;
响应于比对成功,基于所述图像信息,进行防伪认证;
响应于所述防伪认证通过,通过所述身份验证。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
响应于检测到所述用于进行面部识别的特征点,所述电子设备将所述图像信息与预先存储的人脸图像信息进行比对,确定是否比对成功;
响应于比对成功,基于所述图像信息,进行防伪认证;
响应于所述防伪认证通过,通过所述身份验证。
5.根据权利要求3或4所述的方法,其特征在于,所述方法还包括:
响应于没有比对成功,确定所述图像信息中、面部轮廓部分的第三亮度值参数;
基于所述第三亮度值参数,调节摄像头参数;
基于调节后的摄像头参数,所述电子设备执行重新通过所述摄像头采集图像信息的步骤。
6.根据权利要求1-5任一所述的方法,其特征在于,所述基于调节后的摄像头参数,所述电子设备重新通过所述摄像头采集图像信息之后,所述方法还包括:
基于重新采集的图像信息,所述电子设备确定是否检测到面部轮廓;
响应于从所述重新采集的图像信息中无法检测到面部轮廓,所述电子设备确定所述重新采集的图像信息中位于预设区域的部分图像信息的第四亮度值参数;
响应于从所述重新采集的图像信息中检测到面部轮廓,所述电子设备确定从所述重新采集的图像信息中是否检测到用于进行面部识别的特征点;响应于从所述重新采集的图像信息中无法检测到用于进行面部识别的特征点,所述电子设备确定所述重新采集的图像信息中、面部轮廓部分的第五亮度值参数;响应于从所述重新采集的图像信息中检测到用于进行面部识别的特征点,所述电子设备将所述重新采集的图像信息与预先存储的人脸图像信息进行比对,确定是否比对成功;
基于所述第四亮度值参数或者所述第五亮度值参数,所述电子设备调节所述摄像头的摄像头参数;
基于调节后的摄像头参数,所述电子设备执行重新通过所述摄像头采集图像信息的步骤。
7.根据权利要求1-6任一所述的方法,其特征在于,所述预设区域为矩形区域。
8.根据权利要求7所述的方法,其特征在于,所述预设区域所围成的矩形区域包括第一边和第二边,所述第一边的长度小于所述第二边的长度;其中,
所述第一边与所述第二边的比值为4:5。
9.一种电子设备,其特征在于,所述电子设备包括:一个或多个处理器、存储器以及摄像头,所述存储器和所述摄像头耦合至所述处理器,所述存储器用于存储信息,所述处理器执行所述存储器中的指令,使得所述电子设备执行如权利要求1-8中任一所述的图像识别方法。
10.一种计算机存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-8中任一项所述的图像识别方法。
11.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1-8中任一项所述的图像识别方法。
CN201910816996.6A 2019-08-30 2019-08-30 图像识别方法及电子设备 Pending CN112446252A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910816996.6A CN112446252A (zh) 2019-08-30 2019-08-30 图像识别方法及电子设备
PCT/CN2020/111801 WO2021037157A1 (zh) 2019-08-30 2020-08-27 图像识别方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910816996.6A CN112446252A (zh) 2019-08-30 2019-08-30 图像识别方法及电子设备

Publications (1)

Publication Number Publication Date
CN112446252A true CN112446252A (zh) 2021-03-05

Family

ID=74684643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910816996.6A Pending CN112446252A (zh) 2019-08-30 2019-08-30 图像识别方法及电子设备

Country Status (2)

Country Link
CN (1) CN112446252A (zh)
WO (1) WO2021037157A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861743A (zh) * 2023-02-20 2023-03-28 上海励驰半导体有限公司 基于车载台架的人脸识别装置测试方法、***及车机

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065487B (zh) * 2021-04-09 2023-01-31 深圳市汇顶科技股份有限公司 指纹识别的方法、装置和电子设备
CN113923372B (zh) * 2021-06-25 2022-09-13 荣耀终端有限公司 曝光调整方法及相关设备
CN113807172B (zh) * 2021-08-11 2022-10-18 荣耀终端有限公司 一种人脸识别方法和装置
CN114694191A (zh) * 2022-03-11 2022-07-01 北京极豪科技有限公司 图像处理方法、计算机程序产品、设备以及存储介质
CN117292418A (zh) * 2022-03-25 2023-12-26 荣耀终端有限公司 一种人脸识别方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101115140A (zh) * 2006-07-25 2008-01-30 富士胶片株式会社 图像摄取***
WO2018054054A1 (zh) * 2016-09-23 2018-03-29 中兴通讯股份有限公司 一种人脸识别的方法、装置、移动终端及计算机存储介质
CN108171032A (zh) * 2017-12-01 2018-06-15 平安科技(深圳)有限公司 一种身份鉴定方法、电子装置及计算机可读存储介质
CN108288044A (zh) * 2018-01-31 2018-07-17 广东欧珀移动通信有限公司 电子装置、人脸识别方法及相关产品
CN110163160A (zh) * 2019-05-24 2019-08-23 北京三快在线科技有限公司 人脸识别方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006197499A (ja) * 2005-01-17 2006-07-27 Canon Inc 撮像装置
CN106357987B (zh) * 2016-10-19 2018-08-07 浙江大华技术股份有限公司 一种曝光方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101115140A (zh) * 2006-07-25 2008-01-30 富士胶片株式会社 图像摄取***
WO2018054054A1 (zh) * 2016-09-23 2018-03-29 中兴通讯股份有限公司 一种人脸识别的方法、装置、移动终端及计算机存储介质
CN108171032A (zh) * 2017-12-01 2018-06-15 平安科技(深圳)有限公司 一种身份鉴定方法、电子装置及计算机可读存储介质
CN108288044A (zh) * 2018-01-31 2018-07-17 广东欧珀移动通信有限公司 电子装置、人脸识别方法及相关产品
CN110163160A (zh) * 2019-05-24 2019-08-23 北京三快在线科技有限公司 人脸识别方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861743A (zh) * 2023-02-20 2023-03-28 上海励驰半导体有限公司 基于车载台架的人脸识别装置测试方法、***及车机

Also Published As

Publication number Publication date
WO2021037157A1 (zh) 2021-03-04

Similar Documents

Publication Publication Date Title
CN112446252A (zh) 图像识别方法及电子设备
CN109635539B (zh) 一种人脸识别方法及电子设备
CN109544618B (zh) 一种获取深度信息的方法及电子设备
CN114092364B (zh) 图像处理方法及其相关设备
CN113741681B (zh) 一种图像校正方法与电子设备
US11978231B2 (en) Wrinkle detection method and terminal device
CN111144365A (zh) 活体检测方法、装置、计算机设备及存储介质
CN112087649B (zh) 一种设备搜寻方法以及电子设备
CN113542613B (zh) 一种用于拍照的装置及方法
CN112929558B (zh) 图像处理方法和电子设备
WO2021218695A1 (zh) 一种基于单目摄像头的活体检测方法、设备和可读存储介质
CN116055712B (zh) 成片率确定方法、装置、芯片、电子设备及介质
US20210117708A1 (en) Method for obtaining face data and electronic device therefor
CN113592751B (zh) 图像处理方法、装置和电子设备
CN115150542B (zh) 一种视频防抖方法及相关设备
CN114827442B (zh) 生成图像的方法和电子设备
CN113591526A (zh) 人脸活体检测方法、装置、设备及计算机可读存储介质
CN115631250B (zh) 图像处理方法与电子设备
CN115484383B (zh) 拍摄方法及相关装置
CN113591514B (zh) 指纹活体检测方法、设备及存储介质
WO2020077544A1 (zh) 一种物体识别方法和终端设备
CN115150543B (zh) 拍摄方法、装置、电子设备及可读存储介质
CN116896626B (zh) 视频运动模糊程度的检测方法和装置
CN112702564B (zh) 图像监控方法及设备
CN115705663B (zh) 图像处理方法与电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination