CN107992794A - 一种活体检测方法、装置和存储介质 - Google Patents
一种活体检测方法、装置和存储介质 Download PDFInfo
- Publication number
- CN107992794A CN107992794A CN201711012244.1A CN201711012244A CN107992794A CN 107992794 A CN107992794 A CN 107992794A CN 201711012244 A CN201711012244 A CN 201711012244A CN 107992794 A CN107992794 A CN 107992794A
- Authority
- CN
- China
- Prior art keywords
- detection
- detection object
- light
- sequence
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明实施例公开了一种活体检测方法、装置和存储介质;本发明实施例在需要进行活体检测时,可以启动光源向检测对象投射光线,并对该检测对象进行图像采集,当识别出采集得到的图像序列中检测对象的表面存在该投射光线所产生的反射光信号时,采用预设识别模型对该反射光信号在该检测对象表面形成图像特征所属对象的类型进行识别,若识别结果指示该图像特征所属对象的类型为活体,则确定该检测对象为活体;该方案可以改善活体检测效果,从而提高身份验证的准确性和安全性。
Description
本申请要求于2016年12月30日提交中国专利局、申请号为2016112570522、发明名称为“一种活体检测方法和装置”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本发明涉及通信技术领域,具体涉及一种活体检测方法、装置和存储介质。
背景技术
近年来,身份验证技术,如指纹识别、眼纹识别、虹膜识别、以及人脸识别等都得到了极大的发展。其中,人脸识别技术最为突出,其已经越来越广泛地应用到各类身份认证***中。
基于人脸识别的身份认证***,主要需要解决两个问题,一个是人脸验证,另一是活体检测。其中,活体检测主要是用来确认采集到的人脸图像等数据是来自用户本人,而不是回放或者伪造材料。针对目前活体检测的攻击手段,比如照片攻击、视频回放攻击、合成人脸攻击等,现有提出了“随机化交互”技术,所谓“随机化交互”技术,指的是由视频中面部不同部位的运动变化切入,融入需要用户主动配合的随机化交互动作,比如眨眼、摇头、或唇语识别,等等,并据此来判断检测对象是否为活体,等等。
在对现有技术的研究和实践过程中,本发明的发明人发现,现有方案活体检测所采用的算法,其判别的准确率并不高,而且,也无法有效抵挡合成人脸攻击,另外,繁琐的主动交互也会大大降低正确样本的通过率,所以,整体而言,现有方案的活体检测效果并不佳,大大影响身份验证的准确性和安全性。
发明内容
本发明实施例提供一种活体检测方法、装置和存储介质,可以改善活体检测效果,从而提高身份验证的准确性和安全性。
本发明实施例提供一种活体检测方法,包括:
接收活体检测请求;
根据所述活体检测请求启动光源,并向检测对象投射光线;
对所述检测对象进行图像采集,以得到图像序列;
识别出所述图像序列中检测对象的表面存在所述投射光线所产生的反射光信号,所述反射光信号在所述检测对象表面形成图像特征;
采用预设识别模型对所述图像特征所属对象的类型进行识别,所述预设识别模型由多个特征样本训练而成,所述特征样本为所述反射光信号在已标注类型的对象表面所形成的图像特征;
若识别结果指示所述图像特征所属对象的类型为活体,则确定所述检测对象为活体。
相应的,本发明实施例还提供一种活体检测装置,包括:
一种活体检测装置,其特征在于,包括:
接收单元,用于接收活体检测请求;
启动单元,用于根据所述活体检测请求启动光源,并向检测对象投射光线;
采集单元,用于对所述检测对象进行图像采集,以得到图像序列;
检测单元,用于识别出所述图像序列中检测对象的表面存在所述投射光线所产生的反射光信号,所述反射光信号在所述检测对象表面形成图像特征,采用预设识别模型对所述图像特征所属对象的类型进行识别,所述预设识别模型由多个特征样本训练而成,所述特征样本为所述反射光信号在已标注类型的对象表面所形成的图像特征,若识别结果指示所述图像特征所属对象的类型为活体,则确定所述检测对象为活体。
可选的,在一些实施例中,所述启动单元,具体用于根据所述活体检测请求启动预设的颜色遮罩,所述颜色遮罩作为光源向检测对象投射光线。
可选的,在一些实施例中,所述启动单元,具体用于根据所述活体检测请求启动检测界面,所述检测界面包括非检测区域,所述非检测区域闪现颜色遮罩,所述颜色遮罩作为光源向检测对象投射光线。
可选的,在一些实施例中,所述活体检测装置还可以包括生成单元,如下:
所述生成单元,用于生成颜色遮罩,使得所述颜色遮罩所投射出的光线能够按照预设规律进行变化。
可选的,在一些实施例中,所述生成单元,还用于:
对于同颜色的光线,获取预设的屏幕亮度调整参数,根据所述屏幕亮度调整参数调整所述同颜色的光线在变化前后的屏幕亮度,以调整光线的变化强度;
对于不同颜色的光线,获取预设的色差调整参数,根据所述色差调整参数调整所述不同颜色的光线在变化前后的色差,以调整光线的变化强度。
可选的,在一些实施例中,所述生成单元,具体用于:
获取预设编码序列,所述编码序列包括多个编码;
根据预设编码算法,按照所述编码序列中编码的顺序依次确定各个编码对应的颜色,得到颜色序列;
基于所述颜色序列生成颜色遮罩,使得所述颜色遮罩所投射出的光线按照所述颜色序列所指示的颜色进行变化。
可选的,在一些实施例中,所述检测单元可以包括计算子单元、判断子单元和识别子单元,如下:
所述计算子单元,用于回归分析所述图像序列中帧的变化,得到回归结果;
所述判断子单元,用于根据所述回归结果确定所述图像序列中检测对象的表面是否存在所述投射光线所产生的反射光信号;
所述识别子单元,用于在判断子单元确定所述图像序列中检测对象的表面存在所述投射光线所产生的反射光信号时,采用预设识别模型对所述图像特征所属对象的类型进行识别,若识别结果指示所述图像特征所属对象的类型为活体,则确定所述检测对象为活体。
可选的,在一些实施例中,所述判断子单元,具体用于确定所述回归结果是否大于预设阈值,若是,则确定所述图像序列中检测对象的表面存在所述投射光线所产生的反射光信号;若否,则确定所述图像序列中检测对象的表面不存在所述投射光线所产生的反射光信号。
可选的,在一些实施例中,所述判断子单元,具体用于通过预设全局特征算法或预设识别模型对所述回归结果进行分类分析;若分析结果指示检测对象的表面的帧间变化大于设定值,则确定所述图像序列中检测对象的表面存在所述投射光线所产生的反射光信号;若分析结果指示检测对象的表面的帧间变化不大于设定值,则确定所述图像序列中检测对象的表面不存在所述投射光线所产生的反射光信号。
可选的,在一些实施例中,所述颜色遮罩为根据预设编码序列生成的,则所述判断子单元,具体用于根据所述回归结果,按照预设解码算法对所述图像序列进行解码,得到解码后序列;确定所述解码后序列与所述编码序列是否匹配;若匹配,则确定所述图像序列中检测对象的表面存在所述投射光线所产生的反射光信号;若不匹配,则确定所述图像序列中检测对象的表面不存在所述投射光线所产生的反射光信号。
可选的,在一些实施例中,所述计算子单元,具体用于确定检测对象的位置变化程度小于预设变化值时,分别获取所述图像序列中邻近帧的像素坐标,基于像素坐标计算帧间差;或者,
所述计算子单元,具体用于确定检测对象的位置变化程度小于预设变化值时,分别从所述图像序列中获取投射光线变化前后所对应的帧的像素坐标,基于像素坐标计算帧差;或者,
所述计算子单元,具体用于确定检测对象的位置变化程度小于预设变化值时,分别从所述图像序列中获取投射光线变化前后所对应的帧的色度/亮度,通过预设回归函数对所述色度/亮度进行计算,得到投射光线变化前后所对应的帧之间的色度/亮度变化相对值,将色度/亮度变化相对值作为投射光线变化前后所对应的帧之间的帧差。
此外,本发明实施例还提供一种存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本发明实施例所提供的任一种活体检测方法中的步骤。
本发明实施例在需要进行活体检测时,可以启动光源向检测对象投射光线,并对该检测对象进行图像采集,当识别出采集得到的图像序列中检测对象的表面存在该投射光线所产生的反射光信号时,采用预设识别模型对该反射光信号在该检测对象表面形成图像特征所属对象的类型进行识别,若识别结果指示该图像特征所属对象的类型为活体,则确定该检测对象为活体;由于该方案无需与用户进行繁琐的交互操作和运算(现有活体检测方案一般采用指令动作配合的方式,如人脸左转、右转、张嘴、眨眼等来进行检测,需要用户配合,这种方式一般称为主动交互活体检测,而本发明实施例属于无交互活体检测,即无需用户配合,对于用户而言,是无感的),因此,可以降低对硬件配置的需求,而且,由于该方案进行活体判别的依据是检测对象表面的反射光信号,而真正的活体与伪造的活体(合成图片或视频的载体,比如相片、手机或平板电脑等)的反射光信号是不同的,因此,该方案也可以有效抵挡合成人脸攻击,提高判别的准确性;总而言之,该方案可以改善提高活体检测效果,从而提高身份验证的准确性和安全性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的活体检测方法的场景示意图;
图1b是本发明实施例提供的活体检测方法的另一场景示意图;
图1c是本发明实施例提供的活体检测方法的流程图;
图2是本发明实施例提供的活体检测方法的另一流程图;
图3a是本发明实施例提供的活体检测方法的另一流程图;
图3b是本发明实施例提供的活体检测方法中颜色变化的示例图;
图3c是本发明实施例提供的活体检测方法中颜色变化的另一示例图;
图4a是本发明实施例提供的活体检测装置的结构示意图;
图4b是本发明实施例提供的活体检测装置的另一结构示意图;
图5是本发明实施例提供的终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种活体检测方法、装置和存储介质。
其中,该活体检测装置具体可以集成在终端等设备中,它可以利用终端的屏幕光强和颜色变化、或利用闪光灯或红外发射器等其他部件或设备作为光源,投射至检测对象上,然后,通过分析接收到的图像序列中检测对象的表面,比如面部的反射光信号,来进行活体检测。
例如,以集成在终端中,且该光源为一颜色遮罩为例,当终端接收到活体检测请求时,可以根据该活体检测请求启动检测界面,其中,如图1a所示,该检测界面除了设置有检测区域之外,还设置有一非检测区域(图1a中所标记的灰色部分),主要用于闪现颜色遮罩,该颜色遮罩可以作为光源向检测对象投射光线,比如,可参见图1b。由于真正的活体与伪造的活体(合成图片或视频的载体,如相片、手机或平板电脑等)的反射光信号是不同的,因此,可以通过判断检测对象的表面是否存在该投射光线所产生的反射光信号,且该反射光信号是否符合预设条件,来对活体进行判别,譬如,可以对该检测对象进行图像采集(可以通过该检测界面中的检测区域对监控的情况进行显示),然后,确定采集得到的图像序列中检测对象的表面是否存在该投射光线所产生的反射光信号,若存在,则采用预设识别模型对该反射光信号在该检测对象表面形成图像特征所属对象的类型进行识别,若识别结果指示该图像特征所属对象的类型为活体,则确定该检测对象为非活体,等等。
以下分别进行详细说明。需说明的是,以下实施例的序号不作为对实施例优选顺序的限定。
本实施例将从终端的活体检测装置(简称活体检测装置)的角度进行描述,该活体检测装置具体可以集成在终端等设备中,该终端具体可以为手机、平板电脑、笔记本电脑或个人计算机(PC,Personal Computer)等设备。
一种活体检测方法,包括:接收活体检测请求,根据该活体检测请求启动光源,并向检测对象投射光线,然后,对该检测对象进行图像采集,以得到图像序列,识别出该图像序列中检测对象的表面存在该投射光线所产生的反射光信号,该反射光信号在该检测对象表面形成图像特征,采用预设识别模型对该图像特征所属对象的类型进行识别,若识别结果指示该图像特征所属对象的类型为活体,则确定该检测对象为活体。
如图1c所示,该活体检测方法的具体流程可以如下:
101、接收活体检测请求。
例如,具体可以接收用户触发的活体检测请求,或者,也可以接收其他设备发送的活体检测请求,等等。
102、根据该活体检测请求启动光源,并向检测对象投射光线。
例如,具体可以根据该活体检测请求调用相应的活体检测进程,根据该活体检测进程启动光源,等等。
其中,该光源可以根据实际应用的需求进行设置,比如,可以通过调节终端屏幕的亮度来实现,或者,也可以利用闪光灯或红外发射器等其他发光部件或外置设备来实现、或者,还可以通过在终端或终端的显示界面上设置一颜色遮罩来实现,等等,即步骤“根据该活体检测请求启动光源”具体可以采用如下任意一种方式来实现:
(1)根据该活体检测请求调整屏幕亮度,使得该屏幕作为光源向检测对象投射光线。
(2)根据该活体检测请求开启预设发光部件,使得该发光部件作为光源向检测对象投射光线。
其中,该发光部件可以包括闪光灯或红外发射器等部件。
(3)根据该活体检测请求启动预设的颜色遮罩,该颜色遮罩作为光源向检测对象投射光线。
例如,具体可以根据该活体检测请求启动终端上的颜色遮罩,所谓颜色遮罩,指的是可以闪现带有颜色光线的发光区域或部件,比如,可以在终端外壳边缘设置可以闪现颜色遮罩的部件,然后,在接收到该活体检测请求后,便可以启动该部件,以闪现颜色遮罩;或者,也可以通过显示检测界面来闪现颜色遮罩,如下:
根据该活体检测请求启动检测界面,该检测界面闪现颜色遮罩,该颜色遮罩作为光源向检测对象投射光线。
其中,该检测界面中闪现颜色遮罩的区域可以根据实际应用的需求而定,例如,该检测界面可以包括检测区域和非检测区域,检测区域主要用于对监控情况进行显示,而该非检测区域可以闪现颜色遮罩,该颜色遮罩作为光源向检测对象投射光线,等等。
其中,该非检测区域中闪现颜色遮罩的区域可以根据实际应用的需求而定,可以是整个非检测区域均设置有颜色遮罩,也可以是在该非检测区域的某部分区域或某若干个部分区域设置有颜色遮罩,等等。该颜色遮罩的颜色和透明度等参数可以根据实际应用的需求进行设置,该颜色遮罩可以由***预先进行设定,并在启动检测界面时直接调取,或者,也可以在接收到活体检测请求之后自动生成,即在步骤“接收活体检测请求”之后,该活体检测方法还可以包括:
生成颜色遮罩,使得该颜色遮罩所投射出的光线能够按照预设规律进行变化。
可选的,为了便于后续可以更好地识别出光线的变化,还可以调整该光线的变化强度。
其中,该预设规律可以根据实际应用的需求而定,而调整该光线的变化强度的方式也可以有多种,例如,对于同颜色的光线(即同一波长的光线),可以通过调整变化前后的屏幕亮度来调整光线的变化强度,比如,让变化前后的屏幕亮度设置为最大和最小,而对于不同颜色的光线(即不同波长的光线),则可以通过调整变化前后的色差来调整光线的变化强度,等等。即在生成颜色遮罩之后,该活体检测方法还可以包括:
对于同颜色的光线,获取预设的屏幕亮度调整参数,根据该屏幕亮度调整参数调整该同颜色的光线在变化前后的屏幕亮度,以调整光线的变化强度;
对于不同颜色的光线,获取预设的色差调整参数,根据该色差调整参数调整该不同颜色的光线在变化前后的色差,以调整光线的变化强度。
其中,该光线的变化强度的调整幅度可以根据实际应用的需求进行设置,可以包括大幅调整,比如最大化光线的变化强度等等,也可以包括小幅调整,为了描述方便,后续将均以最大化光线的变化强度为例进行说明。
可选的,为了后续可以更好地从图像帧间差中检测出反射光信号,除了可以调整该光线的变化强度之外,还可以在颜色的选择上,尽量选择对信号分析最鲁棒的颜色空间,比如,在预设颜色空间下,屏幕由红色最亮转变到绿色最亮,其反射光的色度变化最大,等等。
可选的,为了提高身份验证的准确性和安全性,还可以采用预设编码的光线组合来作为该颜色遮罩,即步骤“生成颜色遮罩,使得所述颜色遮罩所投射出的光线能够按照预设规律进行变化”可以包括:
获取预设编码序列,该编码序列包括多个编码,根据预设编码算法,按照该编码序列中编码的顺序依次确定各个编码对应的颜色,得到颜色序列,基于该颜色序列生成颜色遮罩,使得该颜色遮罩所投射出的光线按照该颜色序列所指示的颜色进行变化。
其中,该预设编码序列可以是随机生成的,也可以根据实际应用的需求进行设置,而该预设编码算法也可以根据实际应用的需求而定,该编码算法,可以反映编码序列中的各个编码与各种颜色之间的对应关系,比如,可以令红色代表数字-1,绿色代表0,蓝色代表1,等等,则若获取到的编码序列为“0,-1,1,0”,那么,可以得到颜色序列“绿色,红色,蓝色,绿色”,从而生成一颜色遮罩,使得该颜色遮罩所投射出的光线可以按照“绿色,红色,蓝色,绿色”的顺序进行变化。
需说明的是,在投射时,各颜色的显示时长、以及各颜色之间切换时的等待时间间隔可以根据实际应用的需求进行设置,比如,可以让每一种颜色的显示时长为2秒,而等待时间间隔设置为0秒或1秒,等等。
其中,在等待时间间隔期间,可以不投射光线,或者,也可以投射预定的光线,比如,以该待时间间隔期不为0,且在等待时间间隔期间不投射光线为例,若颜色遮罩所投射出的光线的颜色次序为“绿色,红色,蓝色,绿色”,则该投射光线具体表现为:“绿色—>无光线—>红色—>无光线—>蓝色—>无光线—>绿色”。而若该待时间间隔期为0秒,则该颜色遮罩所投射出的光线可以直接切换颜色,即该投射光线具体表现为:“绿色—>红色—>蓝色—>绿色”,以此类推,在此不再赘述。
可选的,为了进一步提高安全性,还可以进一步复杂化光线的变化规则,比如,将每一种颜色的显示时长、以及不同颜色之间切换时的等待时间间隔也也设置为不一致的数值,比如,绿色的显示时长可以为3秒,而红色的显示时长为2秒,蓝色为4秒,绿色与红色之间切换时的等待时间间隔为1秒,而红色与蓝色之间切换时的等待时间间隔为1.5秒,以此类推,等等。
103、对该检测对象进行图像采集,以得到图像序列。
例如,具体可以调用摄像装置实时对检测对象进行拍摄,得到图像序列,并将拍摄得到的图像序列在该检测区域中进行显示,等等。
其中,该摄像装置包括但不限于终端自带的摄像头、网络摄像头、以及监控摄像头、以及其他可以采集图像的设备等。需说明的是,由于向检测对象所投射的光线可以是可见光,也可以是不可见光,因此,本发明实施例所提供的摄像装置中,还可以根据实际应用的需求,配置不同的光线接收器,比如红外光线接收器等,以对不同光线进行感应,从而采集到所需的图像序列,在此不再赘述。
可选的,为了减少噪声所造成的数值浮动对信号的影响,在得到图像序列后,还可以对该图像序列进行去噪声处理。例如,以噪声模型为高斯噪声为例,具体可以使用时序上多帧平均和/或同帧多尺度平均来尽可能地减小噪声,在此不再赘述。
可选的,也可以对该图像序列进行其他的预处理,比如缩放、裁剪、锐化、背景模糊等操作,以提高后续识别的效率和准确性。
104、识别出该图像序列中检测对象的表面存在该投射光线所产生的反射光信号。
其中,该反射光信号在该检测对象表面形成图像特征,所谓图像特征,可以包括图像的颜色特征、纹理特征、形状特征和空间关系特征等。颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质;纹理特征也是一种全局特征,它也描述了图像或图像区域所对应景物的表面性质;形状特征有两类表示方法,一类是轮廓特征,另一类是区域特征,图像的轮廓特征主要针对物体的外边界,而图像的区域特征则关系到整个形状区域;空间关系特征,是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系,这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等;具体实施时,该图像特征具体可以包括局部二值模式(LBP,Local Binary Patterns)特征描述子、尺度不变特征变换(SIFT,Scale-invariant feature transform)特征描述子、和/或卷积神经网络提取出来的特征描述子等信息。在此不作赘述。
其中,识别该图像序列中检测对象的表面是否存在该投射光线所产生的反射光信号的方式可以有多种,例如,具体可以利用图像序列中帧的变化来检测该反射光信息,比如,具体可以如下:
(1)回归分析(Regression Analysis)该图像序列中帧的变化,得到回归结果。
例如,具体可以回归分析图像序列中每帧的色度/亮度的数值表达,该数值表达可以为数值序列,然后,根据该数值表达如数值序列来判断该图像序列中帧的色度/亮度的变化,得到回归结果;也就是说,可以利用数值表达,比如数值序列的变化来代表每帧的色度变化或者亮度变化,而该每帧的色度变化或者亮度变化即可作为该回归结果。
其中,回归分析图像序列中每帧的色度/亮度的数值表达的方式可以有多种,比如,可以利用预设的图像回归分析模型列来对该图像序列中的每帧的色度/亮度进行回归分析,得到每帧的色度/亮度的数值表达,等等。
其中,该图像回归分析模型可以是回归树或者回归卷积神经网络,等等,具体可以根据实际应用的需求进行设置。该图像回归分析模型可以由其他设备预先进行训练,也可以由该活体检测装置进行训练,比如,该训练过程可以如下:
采集预设数目带有不同表面反光信息(如面部反光信息)的图像作为采集样本集,对该采集样本集中的采集样本按照预设策略进行标注,将标注后的采集样本作为训练样本,得到训练样本集,然后,利用预设的图像回归分析初始模型(比如回归树或者回归卷积神经网络等),对训练样本集进行学习,得到该图像回归分析模型。
其中,该标注的预设策略可以根据实际应用的需求而定,比如,以回归分析帧的亮度变化,且将反光信息类型划分为存在较强反光、较弱反光、无任何反光三类为例进行说明,则此时可以对存在较强反光的采集样本的标签标注为1,对存在较弱反光的采集样本的标签标注为0.5,对无任何反光的采集样本的标签标注为0,等等,然后,利用预设的图像回归分析初始模型,对训练样本集进行学习,以找到在训练样本集中,最能拟合原始图像与回归分析的连续数值标签之间映射关系的回归函数,便可得到该图像回归分析模型。
同理,帧的色度变化的回归分析也与此类似,比如,具体可以采集检测对象表面存在不同颜色光的图像帧(即采集样本),然后对这些图像帧进行标注,其中,标注的标签不再是一维标量,而是对应RGB(Red,Green,Blue,即三原色)色彩的三元组,如(255,0,0)代表红色,等等,然后,利用预设的图像回归分析初始模型,对标注后得到的图像帧(即训练样本集)进行学习,以得到该图像回归分析模型,等等。
在得到该图像回归分析模型后,便可以利用该图像回归分析模型,对该图像序列的每帧进行回归分析。比如,若该图像回归分析模型为根据不同光线强度变化的图像训练而成的,则对于检测对象表面存在不同光线强度变化(即亮度变化)的图像帧,可直接回归出一个0到1的连续数值,来表达该图像帧的面部反光强弱程度,等等,在此不再赘述。
可选的,除了可以通过回归分析图像序列中每帧的色度/亮度的数值表达来计算回归结果之外,也可以直接回归分析该图像序列中帧间的变化,得到回归结果。
其中,该图像序列中帧之间的变化可以通过计算该图像序列中帧之间的差分来得到,该帧之间的差分可以是帧间差,也可以是帧差,帧间差指的是相邻两帧之间的差,而帧差为投射光线变化前后所对应的帧之间的差。
例如,以计算帧间差为例,具体可以在确定检测对象的位置变化程度小于预设变化值时,分别获取该图像序列中邻近帧的像素坐标,然后,基于该像素坐标计算帧间差。
又例如,以计算帧差为例,具体可以确定检测对象的位置变化程度小于预设变化值时,分别从该图像序列中获取投射光线变化前后所对应的帧的像素坐标,基于像素坐标计算帧差。
其中,基于该像素坐标计算帧间差或帧差的方式可以有多种,比如,可以如下:
对邻近帧的像素坐标进行变换,以最小化该像素坐标的配准误差,根据变换结果筛选出相关性符合预设条件的像素点,根据筛选出的像素点计算帧间差。
或者,对投射光线变化前后所对应的帧的像素坐标进行变换,以最小化该像素坐标的配准误差,根据变换结果筛选出相关性符合预设条件的像素点,根据筛选出的像素点计算帧差。
其中,预设变化值和预设条件均可根据实际应用的需求进行设置,在此不再赘述。
可选的,除了上述计算帧差的方式之外,还可以采用其他的方式,比如,可以在某一个颜色空间的通道上,或任意个能描述色度或亮度变化的维度上,去分析两帧之间的色度变化的相对值或亮度变化的相对值即可,即步骤“回归分析所述图像序列中帧的变化,得到回归结果”可以包括:
在确定检测对象的位置变化程度小于预设变化值时,分别从图像序列中获取投射光线变化前后所对应的帧的色度/亮度,根据获取到的色度/亮度计算投射光线变化前后所对应的帧之间的色度变化相对值或亮度变化相对值,将色度/亮度变化相对值作为投射光线变化前后所对应的帧之间的帧差,该帧差即为回归结果。
比如,具体可以通过预设回归函数对该色度/亮度进行计算,得到投射光线变化前后所对应的帧之间的色度/亮度变化相对值(即色度变化相对值或亮度变化相对值),等等。
其中,该回归函数可以根据实际应用的需求进行设置,比如,具体可以是回归神经网络,等等。
需说明的是,若确定检测对象的位置变化程度大于等于预设变化值,则可从图像序列中获取其他的邻近帧或其他投射光线变化前后所对应的帧来进行计算,或重新获取图像序列。
(2)根据该回归结果确定该图像序列中检测对象的表面是否存在该投射光线所产生的反射光信号,例如,具体可以采用如下任意一种方式:
第一种方式:
确定该回归结果是否大于预设阈值,若是,则确定该图像序列中检测对象的表面存在该投射光线所产生的反射光信号,若否,则确定该图像序列中检测对象的表面不存在该投射光线所产生的反射光信号。
其中,该预设阈值可以根据实际应用的需求而定,在此不再赘述。
第二种方式:
通过预设全局特征算法或预设识别模型对该回归结果进行分类分析,若分析结果指示检测对象的表面的帧间变化大于设定值,则确定该图像序列中检测对象的表面存在该投射光线所产生的反射光信号,若分析结果指示检测对象的表面的帧间变化不大于设定值,则确定该图像序列中检测对象的表面不存在该投射光线所产生的反射光信号。
其中,该设定值可以根据实际应用的需求而定,而该“通过预设全局特征算法或预设识别模型对该帧间差进行分类分析”的方式也可以有多种,例如,可以如下:
对该回归结果进行分析,以判断该图像序列中是否存在该投射光线所产生的反射光信号,若不存在该投射光线所产生的反射光信号,则生成指示检测对象的表面的帧间变化不大于设定值的分析结果;若存在该投射光线所产生的反射光信号,则通过预设全局特征算法或预设识别模型判断存在的反射光信息的反射体是否为该检测对象,若为该检测对象,则生成指示检测对象的表面的帧间变化大于设定值的分析结果,若不是该检测对象,则生成指示检测对象的表面的帧间变化不大于设定值的分析结果。
或者,也可以通过预设全局特征算法或预设识别模型对该图像序列中的图像进行分类,以筛选出存在该检测对象的帧,得到候选帧,分析该候选帧的帧间差,以判断该检测对象是否存在该投射光线所产生的反射光信号,若不存在该投射光线所产生的反射光信号,则生成指示检测对象的表面的帧间变化不大于设定值的分析结果;若存在该投射光线所产生的反射光信号,则生成指示检测对象的表面的帧间变化大于设定值的分析结果,等等。
其中,全局特征算法指的是基于全局特征的算法,其中,全局特征可以包括灰度的均值方差、灰度共生矩阵、快速傅氏变换(FFT,Fast Fourier Transformation)和离散余弦变换(DCT,Discrete cosine transform)等变换后的频谱。预设识别模型可以包括分类器或其他的识别模型(如人脸识别模型)等,分类器可以包括支持向量机(SVM,SupportVector Machine)、神经网络和决策树等。
第三种方式:
可选的,若颜色遮罩为根据预设编码序列而生成的,则也可以通过对光信号进行解码,来识别该图像序列中检测对象的表面是否存在该投射光线所产生的反射光信号,例如,具体可以如下:
根据该回归结果,按照预设解码算法对该图像序列进行解码,得到解码后序列,确定该解码后序列与编码序列是否匹配,若匹配,则确定该图像序列中检测对象的表面存在该投射光线所产生的反射光信号;若解码后序列与编码序列不匹配,则确定该图像序列中检测对象的表面不存在该投射光线所产生的反射光信号。
比如,若回归结果为投射光线变化前后所对应的帧之间的色度/亮度变化相对值(详见(1)中关于计算该回归结果的描述),则此时,可以采用预设解码算法,依次对该图像序列中的色度/亮度变化相对值(即投射光线变化前后所对应的帧之间的色度/亮度变化相对值)进行计算,得到各投射光线变化前后所对应的帧的色度/亮度绝对值,然后,将得到的色度/亮度绝对值作为解码后序列,或按照预设策略对得到的色度/亮度绝对值进行转换,得到解码后序列。
其中,预设解码算法与编码算法相匹配,具体可以可根据编码算法而定;而预设策略也可以根据实际应用的需求进行设置,在此不再赘述。
可选的,确定该解码后序列与编码序列是否匹配的方式也可以有多种,比如,可以确定该解码后序列与编码序列是否一致,若一致,则确定该解码后序列与编码序列匹配,若不一致,则确定该解码后序列与编码序列不匹配;或者,也可以确定该解码后序列与编码序列之间的关系是否符合预设对应关系,若是,则定该解码后序列与编码序列匹配,否则,若不符合,则确定该解码后序列与编码序列不匹配,等等。其中,该预设对应关系可以根据实际应用的需求进行设置。
需说明的是,若识别出该图像序列中检测对象的表面不存在该投射光线所产生的反射光信号,则流程结束,或者,可确定该检测对象为非活体,又或者,也可以返回执行步骤103,即重新对该检测对象进行图像采集,又或者,还可以对启动的光源进行检测,若确定光源向检测对象所投射的光线不存在问题,则流程结束、确定该检测对象为非活体、或者重新对该检测对象进行图像采集,而若确定光源向检测对象所投射的光线存在问题,则返回执行步骤102,即重新启动光源,并向检测对象投射光线,具体执行的策略可根据实际应用的需求而进行设置,在此不再赘述。
105、采用预设识别模型对该图像特征(即反射光信号在该检测对象表面所形成的图像特征)所属对象的类型进行识别,若识别结果指示该图像特征所属对象的类型为活体,则确定该检测对象为活体。
反之,若识别结果指示该图像特征所属对象的类型为非活体,比如为“手机屏幕”等,则可确定该检测对象为非活体。
由于反射光信号在该检测对象表面会形成图像特征,因此,当识别出检测对象的表面存在该投射光线所产生的反射光信号(即步骤104)时,可以获取该“反射光信号在该检测对象表面所形成的图像特征”,然后,采用预设识别模型对该图像特征进行识别,进而基于识别结果判断该检测对象是否为活体,比如,如果识别结果指示该图像特征所属对象的类型为活体,譬如指示该图像特征所属对象的类型为“人脸”,那么,此时便可以确定该检测对象为活体;否则,如果识别结果指示该图像特征所属对象的类型不为活体,譬如指示该图像特征所属对象的类型为“手机屏幕”,则此时可以确定该检测对象为非活体,以此类推,等等。
其中,预设识别模型可以包括分类器或其他的识别模型(如人脸识别模型)等,分类器可以包括SVM、神经网络和决策树等。
该预设识别模型可以由多个特征样本训练而成,该特征样本为该反射光信号在已标注类型的对象表面所形成的图像特征。比如,可以将该投射光线照射在人的面部上后会所形成的图像特征作为特征样本,并标注为“人脸”,将该投射光线照射在手机屏幕上所形成的图像特征作为特征样本,并标注为“手机屏幕”,以此类推,在采集到大量的特征样本后,便可以通过这些特征样本(即已标注类型的图像特征)来建立识别模型。
需说明的是,该识别模型可以由其他的设备建立之后,保存在预设存储空间中,当该活体检测装置需要对图像特征所属对象的类型进行识别时,从该存储空间中直接获取,或者,该识别模型也可以由该活体检测装置自行进行建立,即在步骤“采用预设识别模型对该图像特征所属对象的类型进行识别”之前,该活体检测方法还可以包括:
获取多个特征样本,根据该特征样本对预设初始识别模型进行训练,得到预设识别模型。
此外,还需说明的是,若在步骤103中,主要是通过该预设的识别模型来识别出该图像序列中检测对象的表面存在该投射光线所产生的反射光信号的话,则也可以根据识别结果来直接判断该检测对象是否为活体,即识别模型再判断该图像序列中检测对象的表面存在该投射光线所产生的反射光信号的同时,也可以识别出该图像特征所属对象的类型,换而言之,即可以通过该预设的识别模型,来识别该图像序列中检测对象的表面是否存在该投射光线所产生的反射光信号,并且在识别出存在该投射光线所产生的反射光信号时,识别相应图像特征(即该反射光线在检测对象的表面所形成的图像特征)所属对象的类型,在此不再赘述。
由上可知,本实施例在需要进行活体检测时,可以启动光源向检测对象投射光线,并对该检测对象进行图像采集,当识别出采集得到的图像序列中检测对象的表面存在该投射光线所产生的反射光信号时,采用预设识别模型对该反射光信号在该检测对象表面形成图像特征所属对象的类型进行识别,若识别结果指示该图像特征所属对象的类型为活体,则确定该检测对象为活体;由于该方案无需与用户进行繁琐的交互操作和运算,因此,可以降低对硬件配置的需求,而且,由于该方案进行活体判别的依据是检测对象表面的反射光信号,而真正的活体与伪造的活体(合成图片或视频的载体,比如相片、手机或平板电脑等)的反射光信号是不同的,因此,该方案也可以有效抵挡合成人脸攻击,提高判别的准确性;所以,总而言之,该方案可以提高活体检测效果,从而提高身份验证的准确性和安全性。
根据上一个实施例所描述的方法以下将举例作进一步详细说明。
在本实施例中,将以该活体检测装置具体集成在终端中,光源具体为颜色遮罩,检测对象具体为人的面部,且具体通过回归分析该图像序列中帧间的变化来得到回归结果为例进行说明。
如图2所示,一种活体检测方法,具体流程可以如下:
201、终端接收活体检测请求。
例如,终端具体可以接收用户触发的活体检测请求,或者,也可以接收其他设备发送的活体检测请求,等等。
比如,以用户触发为例,当用户启动该活体检测功能,比如点击活体检测的启动键时,便可以触发生成该活体检测请求,从而使得终端接收到该活体检测请求。
202、终端生成颜色遮罩,使得该颜色遮罩所投射出的光线能够按照预设规律进行变化。
可选的,为了便于后续可以更好地识别出光线的变化,还可以最大化该光线的变化强度。
其中,该预设规律可以根据实际应用的需求而定,而最大化该光线的变化强度的方式也可以有多种,例如,对于同颜色的光线,可以通过调整变化前后的屏幕亮度来最大化光线的变化强度,比如,让变化前后的屏幕亮度设置为最大和最小,而对于不同颜色的光线,则可以通过调整变化前后的色差来最大化光线的变化强度,比如将屏幕由黑色最暗转变为白色最亮,等等。
可选的,为了后续可以更好地从图像帧间差中检测出反射光信号,除了可以最大化该光线的变化强度之外,还可以在颜色的选择上,尽量选择对信号分析最鲁棒的颜色空间,比如,在预设颜色空间下,屏幕由红色最亮转变到绿色最亮,其反射光的色度变化最大,以此类推,等等。
203、终端根据该活体检测请求启动检测界面,并通过该检测界面中的非检测区域闪现颜色遮罩,使得该颜色遮罩作为光源向检测对象,比如人的面部投射光线。
例如,终端具体可以根据该活体检测请求调用相应的活体检测进程,根据该活体检测进程启动相应的检测界面,等等。
其中,该检测界面可以包括检测区域和非检测区域,检测区域主要用于对获取到的图像序列进行显示,而该非检测区域可以闪现颜色遮罩,该颜色遮罩作为光源向检测对象投射光线,具体可以参加图1b,这样,在检测对象上,便会因该光线而产生反射光,而且,根据光的颜色和强度等参数的不光,其产生的反射光也会有所区别。
需说明的是,为了保证颜色遮罩所发射的光线可以投射至检测对象,该检测对象需要与该移动设备的屏幕保持在一定的距离内,比如,当用户需要检测某个人脸是否为活体时,可以将移动设备拿到该人脸的正前方距离适当的地方,以便对该人脸进行监控,等等。
204、终端对该检测对象进行图像采集,以得到图像序列。
例如,具体可以调用终端的摄像头,实时对检测对象进行拍摄,得到图像序列,并将拍摄得到的图像序列在该检测区域中进行显示。
可选的,为了减少噪声所造成的数值浮动对信号的影响,在得到图像序列后,还可以对该图像序列进行去噪声处理。例如,以噪声模型为高斯噪声为例,具体可以使用时序上多帧平均和/或同帧多尺度平均来尽可能地减小噪声,在此不再赘述。
可选的,为了提高后续识别的效率和准确性,也可以对该图像序列进行其他的预处理,比如缩放、裁剪、锐化、背景模糊等操作。
205、终端计算该图像序列中的帧间差。
其中,用帧间差来检测反射光信号,就需要图像序列中图像之间的二维像素点能够尽量的一一对应。因此,可以在检测用户面部没有剧烈位置变化的情况下,使用帧间对齐方法来更加精细的矫正作帧间差的像素对。即可以在确定检测对象的位置变化程度小于预设变化值时,分别获取该图像序列中邻近帧的像素坐标,然后,对该像素坐标进行变换,以最小化该像素坐标的配准误差,再基于变换结果来计算帧间差,例如,可以如下:
令物体上的同一点在两张邻近帧I和I’的像素坐标分别为p=[x,y,w]T和p0=[x0,y0,w0]T,其中w为齐次坐标项,求解3*3变换矩阵M,如下:
[x',y',w']=Mp0
在这里,所采用的变换矩阵M的变换类型为自由度最高的单应性变换,从而可以最小化配准误差。
在最优化求解M的方法上,较常用的方法是均方误差(MSE,Mean Square Error)估计和随机抽样一致算法(RANSAC,Random Sample Consensus)。可选的,为了得到更鲁棒的结果,还可以使用单应流算法(homography flow)。
由于即便能求解出最优变换矩阵M,帧间还是有可能无法匹配的像素点,因此,可以筛选出相关性较强的像素点,而忽略掉相关性较弱的像素点,然后,基于筛选出的像素点再来作帧间差计算,从而一方面可以减少计算量,另一方面,可以增强结果,即可选的,步骤“基于变换结果来计算帧间差”可以包括:
根据变换结果筛选出相关性符合预设条件的像素点,并根据筛选出的像素点计算帧间差。
其中,预设变化值和预设条件均可根据实际应用的需求进行设置,在此不再赘述。
需说明的是,若确定检测对象的位置变化程度大于等于预设变化值,则可从图像序列中获取其他的邻近帧来进行计算,或重新获取图像序列,再进行计算。
206、终端根据该帧间差确定该图像序列中人的面部是否存在该投射光线所产生的反射光信号,若存在,则执行步骤207,若不存在,则可以按照预设策略进行操作。
例如,终端可以确定该帧间差是否大于预设阈值,若是,则确定该图像序列中人的面部存在该投射光线所产生的反射光信号,可以执行步骤207,若否,则确定该图像序列中人的面部不存在该投射光线所产生的反射光信号,可以按照预设策略进行操作。
其中,该预设阈值可以根据实际应用的需求而定,而该预设策略也可以根据实际应用的需求而定,比如,可以设置为“结束流程”,或者,可以设置为“生成不存在反射光信号的提示信息”,或者,也可以设置为“确定该检测对象为非活体”,或者,也可以返回执行步骤204,即重新对该检测对象进行图像采集,又或者,还可以对启动的光源进行检测,以确定该光源是否投射到该检测对象如人的面部上,若确定光源向该检测对象所投射的光线不存在问题,则流程结束、确定该检测对象为非活体、或者重新对该检测对象进行图像采集,而若确定光源向检测对象如人的面部所投射的光线存在问题,比如该光源并没有投射到人的面部,而是投射到其旁边的物体上,或者,该光源并没有投射出光线,则返回执行步骤203,即重新启动光源,并向检测对象投射光线,等等,在此不再赘述。
可选的,为了提高检测的准确率,以及减小检测的计算量,还可以使用级联判别模型来进行处理,比如,可以采用全局特征算法或者预设识别模型(如分类器)来对帧间差进行预先处理,以粗略判定反射光信号的发生,使得可以跳过大部分没有反射光信号的普通帧的后续处理,即后续只需要对存在有反射光信号的帧进行处理即可。即,步骤“终端根据该帧间差确定该图像序列中人的面部是否存在该投射光线所产生的反射光信号”可以包括:
通过预设全局特征算法或预设识别模型对该帧间差进行分类分析,若分析结果指示人的面部的帧间变化大于设定值,则确定该图像序列中人的面部存在该投射光线所产生的反射光信号,若分析结果指示人的面部的帧间变化不大于设定值,则确定该图像序列中人的面部不存在该投射光线所产生的反射光信号。
其中,该设定值可以根据实际应用的需求而定,而该“通过预设全局特征算法或预设识别模型对该帧间差进行分类分析”的方式也可以有多种,例如,可以如下:
对该帧间差进行分析,以判断该图像序列中是否存在该投射光线所产生的反射光信号,若不存在该投射光线所产生的反射光信号,则生成指示人的面部的帧间变化不大于设定值的分析结果;若存在该投射光线所产生的反射光信号,则通过预设全局特征算法或预设识别模型判断存在的反射光信息的反射体是否为人的面部,若为人的面部,则生成指示人的面部的帧间变化大于设定值的分析结果,若不是人的面部,则生成指示人的面部的帧间变化不大于设定值的分析结果。
或者,也可以通过预设全局特征算法或预设识别模型对该图像序列中的图像进行分类,以筛选出存在人的面部的帧,得到候选帧,分析该候选帧的帧间差,以判断该人的面部是否存在该投射光线所产生的反射光信号,若不存在该投射光线所产生的反射光信号,则生成指示人的面部的帧间变化不大于设定值的分析结果;若存在该投射光线所产生的反射光信号,则生成指示人的面部的帧间变化大于设定值的分析结果,等等。
其中,全局特征算法指的是基于全局特征的算法,其中,全局特征可以包括灰度的均值方差、灰度共生矩阵、FFT和DCT等变换后的频谱。
而预设识别模型具体可以为分类器或其他识别模型(如人脸识别模型),以分类器为例,该分类器可以根据实际应用的需求进行设置,比如,若只用于判别是否存在反射光信号,则可采用较为简单的分类器,而若用于判别是否为人的面部等处,则可采用更加复杂的分类器,比如神经网络分类器等来进行处理,在此不再赘述。
需说明的是,除了可以通过计算帧间差来分析图像序列中人的面部是否存在该投射光线所产生的反射光信号之外,还可以通过计算投射光线变化前后的帧差(即不一定是相邻的两帧)来分析图像序列中人的面部是否存在该投射光线所产生的反射光信号,具体可参见前面的实施例,在此不再赘述。
207、终端采用预设识别模型对该图像特征(即反射光信号在该检测对象表面,如人的面部所形成的图像特征)所属对象的类型进行识别,若识别结果指示该图像特征所属对象的类型为活体,则确定该检测对象为活体。
反之,若识别结果指示该图像特征所属对象的类型为非活体,比如为“手机屏幕”等,则可确定该检测对象为非活体。
其中,预设识别模型可以包括分类器或其他的识别模型等,分类器可以包括SVM、神经网络和决策树等。
该预设识别模型可以由多个特征样本训练而成,该特征样本为该反射光信号在已标注类型的对象表面所形成的图像特征。
可选的,该识别模型可以由其他的设备建立之后,保存在预设存储空间中,当该终端需要对图像特征所属对象的类型进行识别时,由该终端从该存储空间中直接获取,或者,该识别模型也可以由该终端自行进行建立,比如,终端可以获取多个特征样本,根据该特征样本对预设初始识别模型进行训练,得到预设识别模型,等等,具体可参见前面的实施例,在此不再赘述。
可选的,为了更加进一步提高检测的准确率,还可以适当地加入一些互动操作,比如,让用户执行眨眼或张嘴等动作,即在步骤“确定该图像序列中人的面部存在该投射光线所产生的反射光信号”之后,该活体检测方法还可以包括:
生成指示检测对象(比如人的面部)执行预设动作的提示信息,显示该提示信息,并对该检测对象进行监控,若监控到检测对象执行了该预设动作,才确定该检测对象为活体,否则,若监控到检测对象没有执行该预设动作,则确定该检测对象为非活体。
其中,该预设动作可以根据实际应用的需求进行设置,需说明的是,为了避免繁琐的交互操作,可以对该预设动作的数量和难易程度进行一定限制,比如,只需进行一次简单的交互,如眨眼或张嘴等即可,在此不再赘述。
由上可知,本实施例可以通过在检测界面设置一非检测区域,可以闪现颜色遮罩,其中,该颜色遮罩可以作为光源向检测对象,如人的面部投射光线,这样,当需要进行活体检测时,便可以对该人的面部进行图像采集,然后确定得到的图像序列中人的面部是否存在该投射光线所产生的反射光信号,且该反射光信号在该人的面部所形成图像特征所属对象的类型是否为活体,如果存在且类型为活体,则确定该人的面部为活体;由于该方案无需与用户进行繁琐的交互操作和运算,因此,可以降低对硬件配置的需求,而且,由于该方案进行活体判别的依据是检测对象表面的反射光信号,而真正的活体与伪造的活体(合成图片或视频的载体,比如相片、手机或平板电脑等)的反射光信号是不同的,因此,该方案也可以有效抵挡合成人脸攻击,提高判别的准确性;所以,总而言之,该方案可以在终端有限的硬件配置下,提高活体检测效果,从而提高身份验证的准确性和安全性。
与前一个实施例相同的是,本实施例同样以该活体检测装置具体集成在终端中,光源具体为颜色遮罩,且检测对象的表面具体为人的面部为例进行说明,与前一个实施例不同的是,在本实施例中,将采用预设编码的光线组合来作为该颜色遮罩,以下将进行详细说明。
如图3a所示,一种活体检测方法,具体流程可以如下:
301、终端接收活体检测请求。
例如,终端具体可以接收用户触发的活体检测请求,或者,也可以接收其他设备发送的活体检测请求,等等。
比如,以用户触发为例,当用户启动该活体检测功能,比如点击活体检测的启动键时,便可以触发生成该活体检测请求,从而使得终端接收到该活体检测请求。
302、终端获取预设编码序列,该编码序列包括多个编码。
其中,该预设编码序列可以是随机生成的,也可以根据实际应用的需求进行设置。
例如,该编码序列可以是数字序列,比如:0,-1,1,0,……,等等。
303、终端根据预设编码算法,按照该编码序列中编码的顺序依次确定各个编码对应的颜色,得到颜色序列。
其中,该预设编码算法可以反映编码序列中的各个编码与各种颜色之间的对应关系,该对应关系具体可以根据实际应用的需求而定,比如,可以令红色代表数字-1,绿色代表0,蓝色代表1,等等。
例如,以令红色代表数字-1,绿色代表0,蓝色代表1为例,若在步骤302中,获取到的编码序列为“0,-1,1,0”,则此时,终端可以根据各个编码与各种颜色之间的对应关系,按照该编码序列中编码的顺序依次确定各个编码对应的颜色,得到颜色序列“绿色,红色,蓝色,绿色”。
304、终端基于该颜色序列生成颜色遮罩,使得该颜色遮罩所投射出的光线按照该颜色序列所指示的颜色进行变化。
例如,若在步骤303中,得到颜色序列“绿色,红色,蓝色,绿色”,则终端可以生成一颜色遮罩,使得该颜色遮罩所投射出的光线可以按照“绿色,红色,蓝色,绿色”的顺序进行变化,参见图3b和图3c。
需说明的是,在投射时,各颜色的显示时长、以及各颜色之间切换时的等待时间间隔可以根据实际应用的需求进行设置,比如,如图3b所示,可以让每一种颜色的显示时长为1秒,而等待时间间隔设置为0秒,等等,即按照图3b中时间轴所指的方向,该投射光线具体可以表现为“绿色—>红色—>蓝色—>绿色”,其中,从一种颜色切换到另一种颜色的时刻称为颜色突变点。
可选的,该等待时间间隔也可以不为0,比如,如图3c所示,可以让每一种颜色的显示时长为1秒,而等待时间间隔设置为0.5秒,等等,其中,在等待时间间隔期间,可以不投射光线(即无光线),即按照图3c中时间轴所指的方向,该投射光线具体可以表现为“绿色—>无光线—>红色—>无光线—>蓝色—>无光线—>绿色”。
可选的,为了进一步提高安全性,还可以进一步复杂化光线的变化规则,比如,将每一种颜色的显示时长、以及不同颜色之间切换时的等待时间间隔也设置为不一致的数值,比如,绿色的显示时长可以为3秒,而红色的显示时长为2秒,蓝色为4秒,绿色与红色之间切换时的等待时间间隔为1秒,而红色与蓝色之间切换时的等待时间间隔为1.5秒,以此类推,等等。
305、终端对该检测对象进行图像采集,以得到图像序列。
例如,终端具体可以调用终端的摄像头,实时对检测对象进行拍摄,得到图像序列,并对拍摄得到的图像序列进行显示,比如,将拍摄得到的图像序列在该检测区域中进行显示,等等。
比如,以颜色遮罩所投射出的光线为如图3b所示的颜色序列(即绿色—>红色—>蓝色—>绿色),且检测对象为用户的面部为例,那么在这四秒的视频中,第一秒内的图像帧1对应的面部上有绿色的屏幕反射光,第二秒内的图像帧2对应的面部上有红色的屏幕反射光,第三秒内的图像帧3对应的面部上有蓝色的屏幕反射光,第四秒的图像帧4对应的面部上有绿色的屏幕反射光。所有的图像帧,便是原始的带有反射光信号的数据,即为本发明实施例的图像序列。
可选的,为了减少噪声所造成的数值浮动对信号的影响,在得到图像序列后,还可以对该图像序列进行去噪声处理。例如,以噪声模型为高斯噪声为例,具体可以使用时序上多帧平均和/或同帧多尺度平均来尽可能地减小噪声,在此不再赘述。
306、终端在确定检测对象的位置变化程度小于预设变化值时,分别从图像序列中获取投射光线变化前后所对应的帧的色度/亮度。
例如,还是以颜色变化为“绿色—>红色—>蓝色—>绿色”为例,当终端在确定检测对象的位置变化程度小于预设变化值时,可以分别从图像序列中获取投射光线由绿色转换为红色时所对应的帧的色度/亮度、由红色转换为蓝色时所对应的帧的色度/亮度、由蓝色转换为绿色时所对应的帧的色度/亮度。
比如,若该图像序列依次包括图像帧1、图像帧2、图像帧3、以及图像帧4。其中,图像帧1对应的面部上有绿色的屏幕反射光,图像帧2对应的面部上有红色的屏幕反射光,图像帧3对应的面部上有蓝色的屏幕反射光,图像帧4对应的面部上有绿色的屏幕反射光,则此时,可以分别获取图像帧1、图像帧2、图像帧3、以及图像帧4的色度/亮度。
又比如,若该图像序列依次包括图像帧1、图像帧2、图像帧3、图像帧4、图像帧5、图像帧6、图像帧7、图像帧8、图像帧9、图像帧10、图像帧11、以及图像帧12。其中,图像帧1、图像帧2和图像帧3对应的面部上有绿色的屏幕反射光,图像帧4、图像帧5和图像帧6对应的面部上有红色的屏幕反射光,图像帧7、图像帧8和图像帧9对应的面部上有蓝色的屏幕反射光,图像帧10、图像帧11和图像帧12对应的面部上有绿色的屏幕反射光,则此时,可以分别获取图像帧3、图像帧4、图像帧6、图像帧7、图像帧9、以及图像帧l0的色度/亮度,其中,图像帧3和图像帧4为颜色由绿变为红时前后的两个帧,图像帧6和图像帧7为颜色由红变为蓝时前后的两个帧,图像帧9和图像帧10为颜色由蓝变为绿时前后的两个帧。
需说明的是,若确定检测对象的位置变化程度大于等于预设变化值,则可从图像序列中获取其他的邻近帧或其他投射光线变化前后所对应的帧来进行计算,或重新获取图像序列。
307、终端根据获取到的色度/亮度计算投射光线变化前后所对应的帧之间的色度变化相对值或亮度变化相对值。
例如,终端具体可以通过预设回归函数对该色度/亮度进行计算,得到投射光线变化前后所对应的帧之间的色度/亮度变化相对值(即色度变化相对值或亮度变化相对值),等等。
其中,该回归函数可以根据实际应用的需求进行设置,比如,具体可以是回归神经网络,等等。
比如,以图像帧3和图像帧4为颜色由绿变为红时前后的两个帧,图像帧6和图像帧7为颜色由红变为蓝时前后的两个帧,图像帧9和图像帧10为颜色由蓝变为绿时前后的两个帧,且以计算色度变化相对值为例,则可以计算出如下色度变化相对值:
通过预设回归函数,比如回归神经网络计算图像帧3的色度和图像帧4的色度的差值,得到图像帧3和图像帧4的色度变化相对值;
通过预设回归函数,比如回归神经网络计算图像帧6的色度和图像帧7的色度的差值,得到图像帧6和图像帧7的色度变化相对值;
通过预设回归函数,比如回归神经网络计算图像帧9的色度和图像帧10的色度的差值,得到图像帧9和图像帧10的色度变化相对值。
需说明的是,亮度变化相对值的计算方式与此类似,在此不再赘述。
其中,这些色度变化相对值或亮度变化相对值相当于信号强度的一种度量△I,在上面的例子中,图像帧3与图像帧4的变化相对值(色度/亮度变化相对值)即为△I34,图像帧6与图像帧7的变化相对值(色度/亮度变化相对值)为△I67,图像帧9与图像帧10的变化相对值(色度/亮度变化相对值)为△I910。
308、终端根据该色度/亮度变化相对值(即投射光线变化前后所对应的帧之间的色度/亮度变化相对值),按照预设解码算法对该图像序列进行解码,得到解码后序列。
例如,终端可以采用预设解码算法,依次对该图像序列中的色度/亮度变化相对值(即投射光线变化前后所对应的帧之间的色度/亮度变化相对值)进行计算,得到各投射光线变化前后所对应的帧的色度/亮度绝对值,将得到的色度/亮度绝对值作为解码后序列,或按照预设策略对得到的色度/亮度绝对值进行转换,得到解码后序列。
其中,预设解码算法与编码算法相匹配,具体可以可根据编码算法而定;而预设策略也可以根据实际应用的需求进行设置,在此不再赘述。
比如,若在步骤307中,确定图像帧3与图像帧4的变化相对值(色度/亮度变化相对值)为△I34,图像帧6与图像帧7的变化相对值(色度/亮度变化相对值)为△I67,图像帧9与图像帧10的变化相对值(色度/亮度变化相对值)为△I910,则此时可以根据这些变化相对值,得出所有帧的反光信号的绝对强度值(如色度绝对值或亮度绝对值),具体如下:
假设该空间内的原点和最小单位长度已给定,比如令图像帧1的绝对强度值I1=0,而各个变化相对值△I34=-1、△I67=2,△I910=-1,则由于图像帧1、图像帧2和图像帧3均为绿色,因此,可知图像帧1、图像帧2和图像帧3的反光信号的绝对强度值相同,即I3=I2=I1=0;而由于图像帧4、图像帧5和图像帧6均为红色,因此,可知图像帧4、图像帧5和图像帧6的反光信号的绝对强度值相同;同理,由于图像帧7、图像帧8和图像帧9均为蓝色,图像帧10、图像帧11和图像帧12均为绿色,因此,图像帧7、图像帧8和图像帧9的反光信号的绝对强度值相同,图像帧10、图像帧11和图像帧12的反光信号的绝对强度值相同,据此,可以通过如下公式计算出各个图像帧的绝对强度值:
I4=I5=I6=I3+△I34=0-1=-1;
I7=I8=I9=I6+△I67=-1+2=1;
I10=I11=I12=I9+△I910=1-1=0;
至此,便可以解码出该数字序列,即得到解码后序列:0,-1,1,0(分别代表绿,红,蓝,绿)。
309、终端确定该解码后序列与编码序列是否匹配,若匹配,则确定该图像序列中检测对象的表面存在所述投射光线所产生的反射光信号,可以执行步骤310;否则,若解码后序列与编码序列不匹配,则确定所述图像序列中检测对象的表面不存在该投射光线所产生的反射光信号,此时可以按照预设策略进行操作。
例如,终端可以确定该解码后序列与编码序列是否一致,若一致,则确定该图像序列中检测对象的表面存在所述投射光线所产生的反射光信号,可以执行步骤310;否则,若解码后序列与编码序列不一致,则确定所述图像序列中检测对象的表面不存在该投射光线所产生的反射光信号,进而按照预设策略进行操作。
比如,若在步骤308中,得到解码后序列“0,-1,1,0”,与编码序列为“0,-1,1,0”一致,因此,可以确定该图像序列中检测对象的表面存在该投射光线所产生的反射光信号,等等。
其中,该预设策略可以根据实际应用的需求而定,具体可参见上一个实施例中的步骤206,在此不再赘述。
310、终端采用预设识别模型对该图像特征(即反射光信号在该检测对象表面,如人的面部所形成的图像特征)所属对象的类型进行识别,若识别结果指示该图像特征所属对象的类型为活体,则确定该检测对象为活体。
反之,若识别结果指示该图像特征所属对象的类型为非活体,比如为“手机屏幕”等,则可确定该检测对象为非活体。
其中,预设识别模型可以包括分类器或其他的识别模型等,分类器可以包括SVM、神经网络和决策树等。该预设识别模型可以由多个特征样本训练而成,该特征样本为该反射光信号在已标注类型的对象表面所形成的图像特征。
可选的,该识别模型可以由其他的设备建立,并提供给该终端进行使用,也可以由该终端自行进行建立,具体可参见前面的实施例,在此不再赘述。
可选的,为了更加进一步提高检测的准确率,还可以适当地加入一些互动操作,比如,让用户执行眨眼或张嘴等动作,即在“确定该解码后序列与编码序列匹配”之后,该活体检测方法还可以包括:
终端生成指示检测对象(比如人的面部)执行预设动作的提示信息,显示该提示信息,并对该检测对象进行监控,若监控到检测对象执行了该预设动作,才确定该检测对象为活体,否则,若监控到检测对象没有执行该预设动作,则确定该检测对象为非活体。
其中,该预设动作可以根据实际应用的需求进行设置,需说明的是,为了避免繁琐的交互操作,可以对该预设动作的数量和难易程度进行一定限制,比如,只需进行一次简单的交互,如眨眼或张嘴等即可,在此不再赘述。
可选的,由于采集到的带有反射光信号的每一帧图像都记录有相应的时间戳,因此,在确定解码后序列与编码序列匹配之后,还可以进一步确定这些时间戳是否能够与颜色遮罩变换光线的时间一一对应上,若可以对应上,才确定该图像序列中检测对象的表面存在所述投射光线所产生的反射光信号;否则,若不能对应上,则确定反射光信号与预设光信号样本不匹配。也就是说,若攻击者想用人脸合成渲染攻击,就不仅仅要在编码的颜色序列顺序上能够匹配,还要在绝对时间点上不能有偏移(因为实时合成的话,合成渲染的运算也需要至少毫秒级的时间),其攻击难度大大提高,因此,可以进一步提高安全性。
由上可知,本实施例可以通过编码序列生成一颜色遮罩,其中,该颜色遮罩可以作为光源向检测对象,如人的面部投射光线,这样,当需要进行活体检测时,便可以对该人的面部进行监控,然后对监控得到的图像序列中人的面部上的反射光信号进行解码,以确定是否与编码序列相匹配,若匹配,则确定该人的面部为活体;由于该方案无需与用户进行繁琐的交互操作和运算,因此,可以降低对硬件配置的需求,而且,由于该方案进行活体判别的依据是检测对象表面的反射光信号,而真正的活体与伪造的活体(合成图片或视频的载体,比如相片、手机或平板电脑等)的反射光信号是不同的,因此,该方案也可以有效抵挡合成人脸攻击,提高判别的准确性。
进一步的,由于该投射光线是根据随机的编码序列生成的,且后续在判别时需要对反射光信号进行解码,因此,即便攻击者根据当前的颜色序列合成了一个对应的反光视频,也无法在下一次中使用,所以,相对于上一个实施例的方案而言,可以进一步改善活体检测效果,进而提高身份验证的准确性和安全性。
为了更好地实施以上方法,本发明实施例还提供一种活体检测装置,简称活体检测装置,如图4a所示,该活体检测装置包括接收单元401、启动单元402、采集单元403和检测单元404,如下:
(1)接收单元401;
接收单元401,用于接收活体检测请求。
例如,接收单元401,具体可以用于接收用户触发的活体检测请求,或者,也可以接收其他设备发送的活体检测请求,等等。
(2)启动单元402;
启动单元402,用于根据该活体检测请求启动光源,并向检测对象投射光线。
比如,该启动单元402,具体可以用于根据该活体检测请求调用相应的活体检测进程,根据该活体检测进程启动光源,等等。
其中,该光源可以根据实际应用的需求进行设置,比如,可以通过调节终端屏幕的亮度来实现,或者,也可以利用闪光灯或红外发射器等其他发光部件或外置设备来实现、或者,还可以通过在显示界面上设置一颜色遮罩来实现,等等,即启动单元402具体可以执行如下任意一种操作:
(1)启动单元402,具体可以用于根据该活体检测请求调整屏幕亮度,使得该屏幕作为光源向检测对象投射光线。
(2)启动单元402,具体可以用于根据该活体检测请求开启预设发光部件,使得该发光部件作为光源向检测对象投射光线。
其中,该发光部件可以包括闪光灯或红外发射器等部件。
(3)启动单元402,具体可以用于)根据该活体检测请求启动预设的颜色遮罩,该颜色遮罩作为光源向检测对象投射光线。
例如,启动单元402,具体可以用于根据该活体检测请求启动终端上的颜色遮罩,比如,可以在终端外壳边缘设置可以闪现颜色遮罩的部件,然后,在接收到该活体检测请求后,便可以启动该部件,以闪现颜色遮罩;或者,也可以通过显示检测界面来闪现颜色遮罩,如下:
根据该活体检测请求启动检测界面,该检测界面可以闪现颜色遮罩,该颜色遮罩作为光源向检测对象投射光线。
其中,该闪现颜色遮罩的区域可以根据实际应用的需求而定,例如,该检测界面可以包括检测区域和非检测区域,检测区域主要用于对监控情况进行显示,而该非检测区域可以闪现颜色遮罩,该颜色遮罩作为光源向检测对象投射光线,等等。
其中,该非检测区域中闪现颜色遮罩的区域可以根据实际应用的需求而定,可以是整个非检测区域均设置有颜色遮罩,也可以是在该非检测区域的某部分区域或某若干个部分区域设置有颜色遮罩,等等。该颜色遮罩的颜色和透明度等参数可以根据实际应用的需求进行设置,该颜色遮罩可以由***预先进行设定,并在启动检测界面时直接调取,或者,也可以在接收到活体检测请求之后自动生成,即如图4b所示,该活体检测装置还可以包括生成单元405,如下:
该生成单元405,可以用于生成颜色遮罩,使得该颜色遮罩所投射出的光线能够按照预设规律进行变化。
可选的,为了便于后续可以更好地识别出光线的变化,该生成单元405还可以用于最大化该光线的变化强度。
其中,该预设规律可以根据实际应用的需求而定,而最大化该光线的变化强度的方式也可以有多种,例如,对于同颜色的光线,可以通过调整变化前后的屏幕亮度来最大化光线的变化强度,比如,让变化前后的屏幕亮度设置为最大和最小,而对于不同颜色的光线,则可以通过调整变化前后的色差来最大化光线的变化强度,等等。即:
生成单元405,具体可以用于对于同颜色的光线,获取预设的屏幕亮度调整参数,根据该屏幕亮度调整参数调整该同颜色的光线在变化前后的屏幕亮度,以调整光线的变化强度;对于不同颜色的光线,获取预设的色差调整参数,根据该色差调整参数调整该不同颜色的光线在变化前后的色差,以调整光线的变化强度。
其中,该光线的变化强度的调整幅度可以根据实际应用的需求进行设置,可以包括大幅调整,比如最大化光线的变化强度,也可以包括小幅调整,等等,在此不再赘述。
可选的,为了后续可以更好地从图像帧间差中检测出反射光信号,除了可以调整该光线的变化强度之外,还可以在颜色的选择上,尽量选择对信号分析最鲁棒的颜色空间,具体可参见前面的实施例,在此不再赘述。
可选的,为了提高身份验证的准确性和安全性,还可以采用预设编码的光线组合来作为该颜色遮罩,即:
生成单元405,具体可以用于:获取预设编码序列,该编码序列包括多个编码,根据预设编码算法,按照该编码序列中编码的顺序依次确定各个编码对应的颜色,得到颜色序列,基于该颜色序列生成颜色遮罩,使得该颜色遮罩所投射出的光线按照该颜色序列所指示的颜色进行变化。
其中,该预设编码序列可以是随机生成的,也可以根据实际应用的需求进行设置,而该预设编码算法也可以根据实际应用的需求而定。该编码算法,可以反映编码序列中的各个编码与各种颜色之间的对应关系,比如,可以令红色代表数字-1,绿色代表0,蓝色代表1,等等,则若获取到的编码序列为“0,-1,1,0”,那么,可以得到颜色序列“绿色,红色,蓝色,绿色”,从而生成一颜色遮罩,使得该颜色遮罩所投射出的光线可以按照“绿色,红色,蓝色,绿色”的顺序进行变化。
需说明的是,在投射时,各颜色的显示时长、以及各颜色之间切换时的等待时间间隔可以根据实际应用的需求进行设置;此外,在等待时间间隔期间,可以不投射光线,或者,也可以投射预定的光线,具体可参见前面的方法实施例,在此不再赘述。
(3)采集单元403;
采集单元403,用于对该检测对象进行图像采集,以得到图像序列。
例如,采集单元403,具体可以用于调用摄像装置,实时对检测对象进行拍摄,得到图像序列,并将拍摄得到的图像序列在该检测区域中进行显示。
其中,该摄像装置包括但不限于终端自带的摄像头、网络摄像头、以及监控摄像头、以及其他可以采集图像的设备等。
可选的,为了减少噪声所造成的数值浮动对信号的影响,在得到图像序列后,采集单元403还可以对该图像序列进行去噪声处理,详见前面的实施例,在此不再赘述。
可选的,采集单元403还可以对该图像序列进行其他的预处理,比如缩放、裁剪、锐化、背景模糊等操作,以提高后续识别的效率和准确性。
(4)检测单元404;
检测单元404,用于识别出该图像序列中检测对象的表面存在该投射光线所产生的反射光信号,该反射光信号在所述检测对象表面形成图像特征,采用预设识别模型对该图像特征所属对象的类型进行识别,若识别结果指示该图像特征所属对象的类型为活体,则确定该检测对象为活体。
该检测单元404,还可以用于确定该图像序列中检测对象的表面不存在该投射光线所产生的反射光信号时,按照预设策略进行操作。
其中,该预设策略具体可以根据实际应用的需求进行设置,比如,可以确定该检测对象为非活体,又或者,也可以触发采集单元403重新对该检测对象进行图像采集,又或者,还可以触发启动单元402重新启动光源,并向检测对象投射光线,等等,具体可参见前面的方法实施例,在此不再赘述。
该检测单元404,还可以用于在识别结果指示该图像特征所属对象的类型为非活体时,确定该检测对象为非活体。
例如,该检测单元404可以包括计算子单元、判断子单元和识别子单元,如下:
计算子单元,可以用于回归分析该图像序列中帧的变化,得到回归结果。
例如,计算子单元,具体可以用于回归分析该图像序列中每帧的色度/亮度的数值表达,该数值表达可以为数值序列,根据该数值表达如数值序列来判断该图像序列中帧的色度/亮度的变化,得到回归结果。
或者,计算子单元,具体可以用于回归分析该图像序列中帧之间的变化,得到回归结果,等等。
其中,回归分析该图像序列中每帧的色度/亮度的数值表达的具体方式可参见前面的方法实施例,而该图像序列中帧之间的变化可以通过计算该图像序列中帧之间的差分来得到,该帧之间的差分可以是帧间差,也可以是帧差,帧间差指的是相邻两帧之间的差,而帧差为投射光线变化前后所对应的帧之间的差。
比如,该计算子单元,具体可以用于确定检测对象的位置变化程度小于预设变化值时,分别获取该图像序列中邻近帧的像素坐标,基于该像素坐标计算帧间差;比如,可以对该像素坐标进行变换,以最小化该像素坐标的配准误差,然后,根据变换结果筛选出相关性符合预设条件的像素点,并根据筛选出的像素点计算帧间差,等等。
又比如,该计算子单元,具体可以用于确定检测对象的位置变化程度小于预设变化值时,分别从该图像序列中获取投射光线变化前后所对应的帧的像素坐标,基于该像素坐标计算帧差;比如,可以对该像素坐标进行变换,以最小化该像素坐标的配准误差,然后,根据变换结果筛选出相关性符合预设条件的像素点,并根据筛选出的像素点计算帧差,等等。
可选的,除了上述计算帧差的方式之外,还可以采用其他的方式,比如,可以在某一个颜色空间的通道上,或任意个能描述色度或亮度变化的维度上,去分析两帧之间的色度变化的相对值或亮度变化的相对值即可,即:
计算子单元,具体可以用于在确定检测对象的位置变化程度小于预设变化值时,分别从图像序列中获取投射光线变化前后所对应的帧的色度/亮度,根据获取到的色度/亮度计算投射光线变化前后所对应的帧之间的色度变化相对值或亮度变化相对值,将色度/亮度变化相对值作为投射光线变化前后所对应的帧之间的帧差。
比如,计算子单元,具体可以用于通过预设回归函数对该色度/亮度进行计算,得到投射光线变化前后所对应的帧之间的色度/亮度变化相对值(即色度变化相对值或亮度变化相对值),等等。
其中,该回归函数可以根据实际应用的需求进行设置,比如,具体可以是回归神经网络等。
其中,该预设变化值和预设条件均可以根据实际应用的需求进行设置。
判断子单元,可以用于根据该回归结果确定该图像序列中检测对象的表面是否存在该投射光线所产生的反射光信号,该反射光信号在所述检测对象表面形成图像特征。
识别子单元,可以用于在判断子单元确定该图像序列中检测对象的表面存在该投射光线所产生的反射光信号时,采用预设识别模型对该图像特征所属对象的类型进行识别,若识别结果指示该图像特征所属对象的类型为活体,则确定该检测对象为活体。
该识别子单元,还可以用于在判断子单元确定不存在该投射光线所产生的反射光信号时,按照预设策略进行操作,具体可参见检测单元404中关于预设策略的描述,在此不再赘述。
该识别子单元,还可以用于在识别结果指示该图像特征所属对象的类型为非活体时,确定该检测对象为非活体。
其中,该预设识别模型可以由多个特征样本训练而成,该特征样本为该反射光信号在已标注类型的对象表面所形成的图像特征。该识别模型可以由其他的设备进行建立,并提供给该活体检测装置,也可以由该活体检测装置自行进行建立,即该活体检测装置还可以包括模型建立单元,如下:
模型建立单元,用于获取多个特征样本,根据该特征样本对预设初始识别模型进行训练,得到预设识别模型。
其中,根据该回归结果确定该图像序列中检测对象的表面是否存在该投射光线所产生的反射光信号的方式可以有多种,例如,可以采用如下任意一种方式:
第一种方式:
判断子单元,具体可以用于确定该回归结果是否大于预设阈值,若是,则确定该图像序列中检测对象的表面存在该投射光线所产生的反射光信号;若否,则确定该图像序列中检测对象的表面不存在该投射光线所产生的反射光信号。
第二种方式:
该判断子单元,具体可以用于通过预设全局特征算法或预设识别模型对该回归结果进行分类分析,若分析结果指示检测对象的表面的帧间变化大于设定值,则确定该图像序列中检测对象的表面存在该投射光线所产生的反射光信号;若分析结果指示检测对象的表面的帧间变化不大于设定值,则确定该图像序列中检测对象的表面不存在该投射光线所产生的反射光信号。
其中,该设定值可以根据实际应用的需求而定,而该“通过预设全局特征算法或预设识别模型对该帧间差进行分类分析”的方式也可以有多种,比如,可以如下:
该判断子单元,具体可以用于对该回归结果进行分析,以判断该图像序列中是否存在该投射光线所产生的反射光信号,若不存在该投射光线所产生的反射光信号,则生成指示检测对象的表面的帧间变化不大于设定值的分析结果;若存在该投射光线所产生的反射光信号,则通过预设全局特征算法或预设识别模型判断存在的反射光信息的反射体是否为该检测对象,若为该检测对象,则生成指示检测对象的表面的帧间变化大于设定值的分析结果,若不是该检测对象,则生成指示检测对象的表面的帧间变化不大于设定值的分析结果。
或者,该判断子单元,具体可以用于通过预设全局特征算法或预设识别模型对该图像序列中的图像进行分类,以筛选出存在该检测对象的帧,得到候选帧,分析该候选帧的帧间差,以判断该检测对象是否存在该投射光线所产生的反射光信号,若不存在该投射光线所产生的反射光信号,则生成指示检测对象的表面的帧间变化不大于设定值的分析结果;若存在该投射光线所产生的反射光信号,则生成指示检测对象的表面的帧间变化大于设定值的分析结果。
其中,全局特征算法指的是基于全局特征的算法,其中,全局特征可以包括灰度的均值方差、灰度共生矩阵、FFT和DCT等变换后的频谱。
可选的,若颜色遮罩为根据预设编码序列而生成的,则可以采用第三种方式,即通过对光信号进行解码,来确定该图像序列中检测对象的表面是否存在该投射光线所产生的反射光信号,具体如下:
第三种方式:
判断子单元,具体可以用于根据该回归结果,按照预设解码算法对该图像序列进行解码,得到解码后序列,确定该解码后序列与编码序列是否匹配,若匹配,则确定该图像序列中检测对象的表面存在该投射光线所产生的反射光信号;若解码后序列与编码序列不匹配,则确定该图像序列中检测对象的表面不存在该投射光线所产生的反射光信号。
比如,若回归结果为投射光线变化前后所对应的帧之间的色度/亮度变化相对值,则此时,判断子单元可以采用预设解码算法,依次对该图像序列中的色度/亮度变化相对值(即投射光线变化前后所对应的帧之间的色度/亮度变化相对值)进行计算,得到各投射光线变化前后所对应的帧的色度/亮度绝对值,然后,将得到的色度/亮度绝对值作为解码后序列,或按照预设策略对得到的色度/亮度绝对值进行转换,得到解码后序列。
其中,预设解码算法与编码算法相匹配,具体可以可根据编码算法而定;而预设策略也可以根据实际应用的需求进行设置,在此不再赘述。
可选的,确定该解码后序列与编码序列是否匹配的方式也可以有多种,比如,判断子单元可以确定该解码后序列与编码序列是否一致,若一致,则确定该解码后序列与编码序列匹配,若不一致,则确定该解码后序列与编码序列不匹配;或者,判断子单元也可以确定该解码后序列与编码序列之间的关系是否符合预设对应关系,若是,则定该解码后序列与编码序列匹配,否则,若不符合,则确定该解码后序列与编码序列不匹配,等等。其中,该预设对应关系可以根据实际应用的需求进行设置。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
该活体检测装置具体可以集成在终端等设备中,该终端具体可以为手机、平板电脑、笔记本电脑或PC等设备。
由上可知,本实施例的活体检测装置在需要进行活体检测时,可以由启动单元402启动光源向检测对象投射光线,并由采集单元403通过该检测界面中的检测区域对该检测对象进行图像,然后由检测单元404在识别出采集得到的图像序列中检测对象的表面存在该投射光线所产生的反射光信号时,采用预设识别模型对该反射光信号在该检测对象表面形成图像特征所属对象的类型进行识别,若识别结果指示该图像特征所属对象的类型为活体,则确定该检测对象为活体;由于该方案无需与用户进行繁琐的交互操作和运算,因此,可以降低对硬件配置的需求,而且,由于该方案进行活体判别的依据是检测对象表面的反射光信号,而真正的活体与伪造的活体(合成图片或视频的载体,比如相片、手机或平板电脑等)的反射光信号是不同的,因此,该方案也可以有效抵挡合成人脸攻击,提高判别的准确性。
进一步的,该活体检测装置的生成单元405还可以根据随机的编码序列来生成该投射光线,并由检测单元404通过解码该反射光信号来进行判别,因此,即便攻击者根据当前的颜色序列合成了一个对应的反光视频,也无法在下一次中使用,所以,可以使得其安全性得到大大提高。总而言之,该方案可以大大提高活体检测效果,有利于提高身份验证的准确性和安全性。
相应的,本发明实施例还提供一种终端,如图5所示,该终端可以包括射频(RF,Radio Frequency)电路501、包括有一个或一个以上计算机可读存储介质的存储器502、输入单元503、显示单元504、传感器505、音频电路506、无线保真(WiFi,Wireless Fidelity)模块507、包括有一个或者一个以上处理核心的处理器508、以及电源509等部件。本领域技术人员可以理解,图5中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路501可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器508处理;另外,将涉及上行的数据发送给基站。通常,RF电路501包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM,Subscriber IdentityModule)卡、收发信机、耦合器、低噪声放大器(LNA,Low Noise Amplifier)、双工器等。此外,RF电路501还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯***(GSM,Global System of Mobile communication)、通用分组无线服务(GPRS,GeneralPacket Radio Service)、码分多址(CDMA,Code Division Multiple Access)、宽带码分多址(WCDMA,Wideband Code Division Multiple Access)、长期演进(LTE,Long TermEvolution)、电子邮件、短消息服务(SMS,Short Messaging Service)等。
存储器502可用于存储软件程序以及模块,处理器508通过运行存储在存储器502的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器502还可以包括存储器控制器,以提供处理器508和输入单元503对存储器502的访问。
输入单元503可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元503可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器508,并能接收处理器508发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元503还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元504可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元504可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid Crystal Display)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器508以确定触摸事件的类型,随后处理器508根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图5中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
终端还可包括至少一种传感器505,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在终端移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路506、扬声器,传声器可提供用户与终端之间的音频接口。音频电路506可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路506接收后转换为音频数据,再将音频数据输出处理器508处理后,经RF电路501以发送给比如另一终端,或者将音频数据输出至存储器502以便进一步处理。音频电路506还可能包括耳塞插孔,以提供外设耳机与终端的通信。
WiFi属于短距离无线传输技术,终端通过WiFi模块507可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图5示出了WiFi模块507,但是可以理解的是,其并不属于终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器508是终端的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器502内的软件程序和/或模块,以及调用存储在存储器502内的数据,执行终端的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器508可包括一个或多个处理核心;优选的,处理器508可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器508中。
终端还包括给各个部件供电的电源509(比如电池),优选的,电源可以通过电源管理***与处理器508逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源509还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,终端还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,终端中的处理器508会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中,并由处理器508来运行存储在存储器502中的应用程序,从而实现各种功能:
接收活体检测请求,根据该活体检测请求启动光源,并向检测对象投射光线,然后,对检测对象进行图像采集,以得到图像序列,识别出该图像序列中检测对象的表面存在该投射光线所产生的反射光信号,该反射光信号在该检测对象表面形成图像特征,采用预设识别模型对该图像特征所属对象的类型进行识别,若识别结果指示该图像特征所属对象的类型为活体,则确定该检测对象为活体。
其中,确定该图像序列中检测对象的表面是否存在该投射光线所产生的反射光信号,以及对该图像特征所属对象的类型进行识别的方式可以有多种,具体可参见前面的实施例,在此不再赘述。
其中,该光源的实现方式也可以有多种,比如,可以通过调节终端屏幕的亮度来实现,或者,也可以利用闪光灯或红外发射器等其他发光部件或外置设备来实现、或者,还可以通过在显示界面上设置一颜色遮罩来实现,等等,即该存储器502中的应用程序,也可以实现如下功能:
根据该活体检测请求调整屏幕亮度,使得该屏幕作为光源向检测对象投射光线。
或者,根据该活体检测请求开启预设发光部件,使得该发光部件作为光源向检测对象投射光线。其中,该发光部件可以包括闪光灯或红外发射器等部件。
或者,根据该活体检测请求启动颜色遮罩,比如启动检测界面,该检测界面可以闪现颜色遮罩,该颜色遮罩作为光源向检测对象投射光线,等等。
其中,该闪现颜色遮罩的区域可以根据实际应用的需求而定,例如,该检测界面可以包括检测区域和非检测区域,检测区域主要用于对监控情况进行显示,而该非检测区域可以闪现颜色遮罩,该颜色遮罩作为光源向检测对象投射光线,等等。
另外,需说明的是,该颜色遮罩的颜色和透明度等参数可以根据实际应用的需求进行设置,该颜色遮罩可以由***预先进行设定,并在启动检测界面时直接调取,或者,也可以在接收到活体检测请求之后自动生成,即该存储在存储器502中的应用程序,还可以实现如下功能:
生成颜色遮罩,使得该颜色遮罩所投射出的光线能够按照预设规律进行变化。
可选的,为了便于后续可以更好地识别出光线的变化,还可以最大化该光线的变化强度。
其中,最大化该光线的变化强度的方式也可以有多种,具体可参见前面的实施例,在此不再赘述。
可选的,为了后续可以更好地从图像帧间差中检测出反射光信号,除了可以最大化该光线的变化强度之外,还可以在颜色的选择上,尽量选择对信号分析最鲁棒的颜色空间。
可选的,为了提高身份验证的准确性和安全性,还可以采用预设编码的光线组合来作为该颜色遮罩,即该存储在存储器502中的应用程序,还可以实现如下功能:
获取预设编码序列,该编码序列包括多个编码,根据预设编码算法,按照该编码序列中编码的顺序依次确定各个编码对应的颜色,得到颜色序列,基于该颜色序列生成颜色遮罩,使得该颜色遮罩所投射出的光线按照该颜色序列所指示的颜色进行变化。
其中,该预设编码序列可以是随机生成的,也可以根据实际应用的需求进行设置,而该预设编码算法也可以根据实际应用的需求而定,该编码算法,可以反映编码序列中的各个编码与各种颜色之间的对应关系,比如,可以令红色代表数字-1,绿色代表0,蓝色代表1,等等。
若颜色遮罩为根据预设编码序列而生成的,则也可以通过对光信号进行解码,来确定该图像序列中检测对象的表面是否存在该投射光线所产生的反射光信号,具体可参见前面的实施例,在此不再赘述。
可选的,为了减少噪声所造成的数值浮动对信号的影响,在得到图像序列后,还可以对该图像序列进行去噪声处理,即该存储在存储器502中的应用程序,还可以实现如下功能:
对该图像序列进行去噪声处理。
例如,以噪声模型为高斯噪声为例,具体可以使用时序上多帧平均和/或同帧多尺度平均来尽可能地减小噪声,等等。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本实施例的终端在需要进行活体检测时,可以启动光源向检测对象投射光线,并对该检测对象进行图像采集,然后确定采集得到的图像序列中检测对象的表面是否存在该投射光线所产生的反射光信号,如果存在,则采用预设识别模型对该图像特征所属对象的类型进行识别,若识别结果指示该图像特征所属对象的类型为活体,则确定该检测对象为活体;由于该方案无需与用户进行繁琐的交互操作和运算,因此,可以降低对硬件配置的需求,而且,由于该方案进行活体判别的依据是检测对象表面的反射光信号,而真正的活体与伪造的活体(合成图片或视频的载体,比如相片、手机或平板电脑等)的反射光信号是不同的,因此,该方案也可以有效抵挡合成人脸攻击,提高判别的准确性;所以,总而言之,该方案可以在终端,特别是移动终端有限的硬件配置下,提高活体检测效果,从而提高身份验证的准确性和安全性。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例还提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种活体检测方法中的步骤。例如,该指令可以如下步骤:
接收活体检测请求,根据该活体检测请求启动光源,并向检测对象投射光线,然后,对该检测对象进行图像采集,以得到图像序列,识别出该图像序列中检测对象的表面存在该投射光线所产生的反射光信号,该反射光信号在该检测对象表面形成图像特征,采用预设识别模型对该图像特征所属对象的类型进行识别,若识别结果指示该图像特征所属对象的类型为活体,则确定该检测对象为活体。
其中,确定该图像序列中检测对象的表面是否存在该投射光线所产生的反射光信号,以及对该图像特征所属对象的类型进行识别的方式可以有多种,具体可参见前面的实施例,在此不再赘述。
其中,该光源的实现方式也可以有多种,比如,可以通过调节终端屏幕的亮度来实现,或者,也可以利用闪光灯或红外发射器等其他发光部件或外置设备来实现、或者,还可以通过在显示界面上设置一颜色遮罩来实现,等等,即该指令还可以如下步骤:
根据该活体检测请求调整屏幕亮度,使得该屏幕作为光源向检测对象投射光线。
或者,根据该活体检测请求开启预设发光部件,使得该发光部件作为光源向检测对象投射光线。其中,该发光部件可以包括闪光灯或红外发射器等部件。
或者,根据该活体检测请求启动颜色遮罩,比如启动检测界面,该检测界面可以闪现颜色遮罩,该颜色遮罩作为光源向检测对象投射光线。
其中,该闪现颜色遮罩的区域可以根据实际应用的需求而定,例如,该检测界面可以包括检测区域和非检测区域,检测区域主要用于对监控情况进行显示,而该非检测区域可以闪现颜色遮罩,该颜色遮罩作为光源向检测对象投射光线,等等。
另外,需说明的是,该颜色遮罩的颜色和透明度等参数可以根据实际应用的需求进行设置,该颜色遮罩可以由***预先进行设定,并在启动检测界面时直接调取,或者,也可以在接收到活体检测请求之后自动生成,即该指令还可以如下步骤:
生成颜色遮罩,使得该颜色遮罩所投射出的光线能够按照预设规律进行变化,比如,具体可以用预设编码的光线组合来作为该颜色遮罩,等等。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一种活体检测方法中的步骤,因此,可以实现本发明实施例所提供的任一种活体检测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本发明实施例所提供的一种活体检测方法、装置和存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (19)
1.一种活体检测方法,其特征在于,包括:
接收活体检测请求;
根据所述活体检测请求启动光源,并向检测对象投射光线;
对所述检测对象进行图像采集,以得到图像序列;
识别出所述图像序列中检测对象的表面存在所述投射光线所产生的反射光信号,所述反射光信号在所述检测对象表面形成图像特征;
采用预设识别模型对所述图像特征所属对象的类型进行识别,所述预设识别模型由多个特征样本训练而成,所述特征样本为所述反射光信号在已标注类型的对象表面所形成的图像特征;
若识别结果指示所述图像特征所属对象的类型为活体,则确定所述检测对象为活体。
2.根据权利要求1所述的方法,其特征在于,所述根据所述活体检测请求启动光源,包括:
根据所述活体检测请求启动预设的颜色遮罩,所述颜色遮罩作为光源向检测对象投射光线。
3.根据权利要求2所述的方法,其特征在于,所述根据所述活体检测请求启动预设的颜色遮罩,包括:
根据所述活体检测请求启动检测界面,所述检测界面包括非检测区域,所述非检测区域闪现颜色遮罩,所述颜色遮罩作为光源向检测对象投射光线。
4.根据权利要求2所述的方法,其特征在于,所述接收活体检测请求之后,还包括:
生成颜色遮罩,使得所述颜色遮罩所投射出的光线能够按照预设规律进行变化。
5.根据权利要求4所述的方法,其特征在于,所述生成颜色遮罩之后,还包括:
对于同颜色的光线,获取预设的屏幕亮度调整参数,根据所述屏幕亮度调整参数调整所述同颜色的光线在变化前后的屏幕亮度,以调整光线的变化强度;
对于不同颜色的光线,获取预设的色差调整参数,根据所述色差调整参数调整所述不同颜色的光线在变化前后的色差,以调整光线的变化强度。
6.根据权利要求4所述的方法,其特征在于,所述生成颜色遮罩,使得所述颜色遮罩所投射出的光线能够按照预设规律进行变化包括:
获取预设编码序列,所述编码序列包括多个编码;
根据预设编码算法,按照所述编码序列中编码的顺序依次确定各个编码对应的颜色,得到颜色序列;
基于所述颜色序列生成颜色遮罩,使得所述颜色遮罩所投射出的光线按照所述颜色序列所指示的颜色进行变化。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述识别出所述图像序列中检测对象的表面存在所述投射光线所产生的反射光信号,包括:
回归分析所述图像序列中帧的变化,得到回归结果;
根据所述回归结果识别出所述图像序列中检测对象的表面存在所述投射光线所产生的反射光信号。
8.根据权利要求7所述的方法,其特征在于,所述根据所述回归结果识别出所述图像序列中检测对象的表面存在所述投射光线所产生的反射光信号,包括:
确定所述回归结果是否大于预设阈值;
若是,则确定所述图像序列中检测对象的表面存在所述投射光线所产生的反射光信号;
若否,则确定所述图像序列中检测对象的表面不存在所述投射光线所产生的反射光信号。
9.根据权利要求7所述的方法,其特征在于,所述根据所述回归结果识别出所述图像序列中检测对象的表面存在所述投射光线所产生的反射光信号,包括:
通过预设全局特征算法或预设识别模型对所述回归结果进行分类分析;
若分析结果指示检测对象的表面的帧间变化大于设定值,则确定所述图像序列中检测对象的表面存在所述投射光线所产生的反射光信号;
若分析结果指示检测对象的表面的帧间变化不大于设定值,则确定所述图像序列中检测对象的表面不存在所述投射光线所产生的反射光信号。
10.根据权利要求9所述的方法,其特征在于,所述通过预设全局特征算法或预设识别模型对所述回归结果进行分类分析,包括:
对所述回归结果进行分析,以判断所述图像序列中是否存在所述投射光线所产生的反射光信号;
若不存在所述投射光线所产生的反射光信号,则生成指示检测对象的表面的帧间变化不大于设定值的分析结果;
若存在所述投射光线所产生的反射光信号,则通过预设全局特征算法或预设识别模型判断存在的反射光信息的反射体是否为所述检测对象,若为所述检测对象,则生成指示检测对象的表面的帧间变化大于设定值的分析结果,若不是所述检测对象,则生成指示检测对象的表面的帧间变化不大于设定值的分析结果。
11.根据权利要求9所述的方法,其特征在于,所述通过预设全局特征算法或预设识别模型对所述回归结果进行分类分析,包括:
通过预设全局特征算法或预设识别模型对所述图像序列中的图像进行分类,以筛选出存在所述检测对象的帧,得到候选帧;
分析所述候选帧的帧间差,以判断所述检测对象的表面是否存在所述投射光线所产生的反射光信号;
若不存在所述投射光线所产生的反射光信号,则生成指示检测对象的表面的帧间变化不大于设定值的分析结果;
若存在所述投射光线所产生的反射光信号,则生成指示检测对象的表面的帧间变化大于设定值的分析结果。
12.根据权利要求7所述的方法,其特征在于,所述颜色遮罩为根据预设编码序列生成的,所述根据所述回归结果识别出所述图像序列中检测对象的表面存在所述投射光线所产生的反射光信号,包括:
根据所述回归结果,按照预设解码算法对所述图像序列进行解码,得到解码后序列;
确定所述解码后序列与所述编码序列是否匹配;
若匹配,则确定所述图像序列中检测对象的表面存在所述投射光线所产生的反射光信号;
若不匹配,则确定所述图像序列中检测对象的表面不存在所述投射光线所产生的反射光信号。
13.根据权利要求12所述的方法,其特征在于,所述回归结果为投射光线变化前后所对应的帧之间的色度/亮度变化相对值,所述根据所述回归结果,按照预设解码算法对所述图像序列进行解码,得到解码后序列,包括:
采用预设解码算法,依次对所述图像序列中的所述色度/亮度变化相对值进行计算,得到各投射光线变化前后所对应的帧的色度/亮度绝对值;
将得到的色度/亮度绝对值作为解码后序列,或按照预设策略对得到的色度/亮度绝对值进行转换,得到解码后序列。
14.根据权利要求7所述的方法,其特征在于,所述回归分析所述图像序列中帧的变化,得到回归结果,包括:
确定检测对象的位置变化程度小于预设变化值时,分别从所述图像序列中获取投射光线变化前后所对应的帧的色度/亮度,通过预设回归函数对所述色度/亮度进行计算,得到投射光线变化前后所对应的帧之间的色度/亮度变化相对值,将色度/亮度变化相对值作为回归结果。
15.一种活体检测装置,其特征在于,包括:
接收单元,用于接收活体检测请求;
启动单元,用于根据所述活体检测请求启动光源,并向检测对象投射光线;
采集单元,用于对所述检测对象进行图像采集,以得到图像序列;
检测单元,用于识别出所述图像序列中检测对象的表面存在所述投射光线所产生的反射光信号,所述反射光信号在所述检测对象表面形成图像特征,采用预设识别模型对所述图像特征所属对象的类型进行识别,所述预设识别模型由多个特征样本训练而成,所述特征样本为所述反射光信号在已标注类型的对象表面所形成的图像特征,若识别结果指示所述图像特征所属对象的类型为活体,则确定所述检测对象为活体。
16.根据权利要求15所述的方法,其特征在于,
所述启动单元,具体用于根据所述活体检测请求启动预设的颜色遮罩,所述颜色遮罩作为光源向检测对象投射光线。
17.根据权利要求16所述的装置,其特征在于,
所述启动单元,具体用于根据所述活体检测请求启动检测界面,所述检测界面包括非检测区域,所述非检测区域闪现颜色遮罩,所述颜色遮罩作为光源向检测对象投射光线。
18.根据权利要求16所述的装置,其特征在于,还包括生成单元;
所述生成单元,用于生成颜色遮罩,使得所述颜色遮罩所投射出的光线能够按照预设规律进行变化。
19.一种存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至14任一项所述的活体检测方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2018/111218 WO2019080797A1 (zh) | 2016-12-30 | 2018-10-22 | 一种活体检测方法、终端和存储介质 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611257052 | 2016-12-30 | ||
CN2016112570522 | 2016-12-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107992794A true CN107992794A (zh) | 2018-05-04 |
CN107992794B CN107992794B (zh) | 2019-05-28 |
Family
ID=62031297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711012244.1A Active CN107992794B (zh) | 2016-12-30 | 2017-10-26 | 一种活体检测方法、装置和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN107992794B (zh) |
WO (2) | WO2018121428A1 (zh) |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107832712A (zh) * | 2017-11-13 | 2018-03-23 | 深圳前海微众银行股份有限公司 | 活体检测方法、装置和计算机可读存储介质 |
CN109101881A (zh) * | 2018-07-06 | 2018-12-28 | 华中科技大学 | 一种基于多尺度时序图像的实时眨眼检测方法 |
CN109376592A (zh) * | 2018-09-10 | 2019-02-22 | 阿里巴巴集团控股有限公司 | 活体检测方法、装置和计算机可读存储介质 |
CN109660745A (zh) * | 2018-12-21 | 2019-04-19 | 深圳前海微众银行股份有限公司 | 视频录制方法、装置、终端及计算机可读存储介质 |
WO2019080797A1 (zh) * | 2016-12-30 | 2019-05-02 | 腾讯科技(深圳)有限公司 | 一种活体检测方法、终端和存储介质 |
CN109961025A (zh) * | 2019-03-11 | 2019-07-02 | 烟台市广智微芯智能科技有限责任公司 | 一种基于图像偏斜度的真假脸部识别检测方法和检测*** |
CN110414346A (zh) * | 2019-06-25 | 2019-11-05 | 北京迈格威科技有限公司 | 活体检测方法、装置、电子设备及存储介质 |
CN110516644A (zh) * | 2019-08-30 | 2019-11-29 | 深圳前海微众银行股份有限公司 | 一种活体检测方法及装置 |
CN110688946A (zh) * | 2019-09-26 | 2020-01-14 | 上海依图信息技术有限公司 | 基于图片识别的公有云静默活体检测设备和方法 |
CN111126229A (zh) * | 2019-12-17 | 2020-05-08 | 中国建设银行股份有限公司 | 数据处理方法和装置 |
CN111274928A (zh) * | 2020-01-17 | 2020-06-12 | 腾讯科技(深圳)有限公司 | 一种活体检测方法、装置、电子设备和存储介质 |
CN111310515A (zh) * | 2018-12-11 | 2020-06-19 | 上海耕岩智能科技有限公司 | 编码遮罩生物特征分析方法、存储介质及神经网络 |
CN111310575A (zh) * | 2020-01-17 | 2020-06-19 | 腾讯科技(深圳)有限公司 | 一种人脸活体检测的方法、相关装置、设备及存储介质 |
CN111310514A (zh) * | 2018-12-11 | 2020-06-19 | 上海耕岩智能科技有限公司 | 编码遮罩生物特征重建方法及存储介质 |
WO2020151489A1 (zh) * | 2019-01-25 | 2020-07-30 | 杭州海康威视数字技术股份有限公司 | 基于面部识别的活体检测的方法、电子设备和存储介质 |
CN111783640A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 检测方法、装置、设备以及存储介质 |
CN111899232A (zh) * | 2020-07-20 | 2020-11-06 | 广西大学 | 利用图像处理对竹木复合集装箱底板无损检测的方法 |
CN111914763A (zh) * | 2020-08-04 | 2020-11-10 | 网易(杭州)网络有限公司 | 活体检测方法、装置和终端设备 |
WO2020259128A1 (zh) * | 2019-06-28 | 2020-12-30 | 北京旷视科技有限公司 | 活体检测方法、装置、电子设备及计算机可读存储介质 |
CN112183156A (zh) * | 2019-07-02 | 2021-01-05 | 杭州海康威视数字技术股份有限公司 | 一种活体检测方法和设备 |
CN112528909A (zh) * | 2020-12-18 | 2021-03-19 | 平安银行股份有限公司 | 活体检测方法、装置、电子设备及计算机可读存储介质 |
CN112818900A (zh) * | 2020-06-08 | 2021-05-18 | 支付宝实验室(新加坡)有限公司 | 人脸活性检测***、装置和方法 |
CN112818782A (zh) * | 2021-01-22 | 2021-05-18 | 电子科技大学 | 一种基于媒介感知的泛化性静默活体检测方法 |
CN113807159A (zh) * | 2020-12-31 | 2021-12-17 | 京东科技信息技术有限公司 | 人脸识别处理方法、装置、设备及其存储介质 |
CN113837930A (zh) * | 2021-09-24 | 2021-12-24 | 重庆中科云从科技有限公司 | 人脸图像合成方法、装置以及计算机可读存储介质 |
CN113869219A (zh) * | 2021-09-29 | 2021-12-31 | 平安银行股份有限公司 | 人脸活体检测方法、装置、设备及存储介质 |
WO2023061123A1 (zh) * | 2021-10-15 | 2023-04-20 | 北京眼神科技有限公司 | 人脸静默活体检测方法、装置、存储介质及设备 |
WO2023197739A1 (zh) * | 2022-04-14 | 2023-10-19 | 京东科技信息技术有限公司 | 活体检测方法和装置、***、电子设备、计算机可读介质 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110969077A (zh) * | 2019-09-16 | 2020-04-07 | 成都恒道智融信息技术有限公司 | 一种基于颜色变化的活体检测方法 |
CN113298747A (zh) * | 2020-02-19 | 2021-08-24 | 北京沃东天骏信息技术有限公司 | 图片、视频检测方法和装置 |
CN111444831B (zh) * | 2020-03-25 | 2023-03-21 | 深圳中科信迅信息技术有限公司 | 一种活体检测人脸识别的方法 |
CN111797735A (zh) * | 2020-06-22 | 2020-10-20 | 深圳壹账通智能科技有限公司 | 人脸视频识别方法、装置、设备及存储介质 |
WO2023221996A1 (zh) * | 2022-05-16 | 2023-11-23 | 北京旷视科技有限公司 | 一种活体检测方法、电子设备、存储介质及程序产品 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105260731A (zh) * | 2015-11-25 | 2016-01-20 | 商汤集团有限公司 | 一种基于光脉冲的人脸活体检测***及方法 |
CN105612533A (zh) * | 2015-06-08 | 2016-05-25 | 北京旷视科技有限公司 | 活体检测方法、活体检测***以及计算机程序产品 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016197297A1 (zh) * | 2015-06-08 | 2016-12-15 | 北京旷视科技有限公司 | 活体检测方法、活体检测***以及计算机程序产品 |
CN104951769B (zh) * | 2015-07-02 | 2018-11-30 | 京东方科技集团股份有限公司 | 活体识别装置、活体识别方法和活体认证*** |
CN105912986B (zh) * | 2016-04-01 | 2019-06-07 | 北京旷视科技有限公司 | 一种活体检测方法和*** |
CN106529512B (zh) * | 2016-12-15 | 2019-09-10 | 北京旷视科技有限公司 | 活体人脸验证方法及装置 |
CN107992794B (zh) * | 2016-12-30 | 2019-05-28 | 腾讯科技(深圳)有限公司 | 一种活体检测方法、装置和存储介质 |
CN107273794A (zh) * | 2017-04-28 | 2017-10-20 | 北京建筑大学 | 一种人脸识别过程中的活体鉴别方法及装置 |
CN107220635A (zh) * | 2017-06-21 | 2017-09-29 | 北京市威富安防科技有限公司 | 基于多造假方式的人脸活体检测方法 |
-
2017
- 2017-10-26 CN CN201711012244.1A patent/CN107992794B/zh active Active
- 2017-12-22 WO PCT/CN2017/117958 patent/WO2018121428A1/zh active Application Filing
-
2018
- 2018-10-22 WO PCT/CN2018/111218 patent/WO2019080797A1/zh active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105612533A (zh) * | 2015-06-08 | 2016-05-25 | 北京旷视科技有限公司 | 活体检测方法、活体检测***以及计算机程序产品 |
CN105260731A (zh) * | 2015-11-25 | 2016-01-20 | 商汤集团有限公司 | 一种基于光脉冲的人脸活体检测***及方法 |
Cited By (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019080797A1 (zh) * | 2016-12-30 | 2019-05-02 | 腾讯科技(深圳)有限公司 | 一种活体检测方法、终端和存储介质 |
CN107832712A (zh) * | 2017-11-13 | 2018-03-23 | 深圳前海微众银行股份有限公司 | 活体检测方法、装置和计算机可读存储介质 |
CN109101881A (zh) * | 2018-07-06 | 2018-12-28 | 华中科技大学 | 一种基于多尺度时序图像的实时眨眼检测方法 |
CN109101881B (zh) * | 2018-07-06 | 2021-08-20 | 华中科技大学 | 一种基于多尺度时序图像的实时眨眼检测方法 |
US11210541B2 (en) | 2018-09-10 | 2021-12-28 | Advanced New Technologies Co., Ltd. | Liveness detection method, apparatus and computer-readable storage medium |
US11093773B2 (en) | 2018-09-10 | 2021-08-17 | Advanced New Technologies Co., Ltd. | Liveness detection method, apparatus and computer-readable storage medium |
CN109376592B (zh) * | 2018-09-10 | 2021-04-27 | 创新先进技术有限公司 | 活体检测方法、装置和计算机可读存储介质 |
CN113408403A (zh) * | 2018-09-10 | 2021-09-17 | 创新先进技术有限公司 | 活体检测方法、装置和计算机可读存储介质 |
CN109376592A (zh) * | 2018-09-10 | 2019-02-22 | 阿里巴巴集团控股有限公司 | 活体检测方法、装置和计算机可读存储介质 |
CN111310514A (zh) * | 2018-12-11 | 2020-06-19 | 上海耕岩智能科技有限公司 | 编码遮罩生物特征重建方法及存储介质 |
CN111310515A (zh) * | 2018-12-11 | 2020-06-19 | 上海耕岩智能科技有限公司 | 编码遮罩生物特征分析方法、存储介质及神经网络 |
CN109660745A (zh) * | 2018-12-21 | 2019-04-19 | 深圳前海微众银行股份有限公司 | 视频录制方法、装置、终端及计算机可读存储介质 |
WO2020151489A1 (zh) * | 2019-01-25 | 2020-07-30 | 杭州海康威视数字技术股份有限公司 | 基于面部识别的活体检测的方法、电子设备和存储介质 |
US11830230B2 (en) | 2019-01-25 | 2023-11-28 | Hangzhou Hikvision Digital Technology Co., Ltd. | Living body detection method based on facial recognition, and electronic device and storage medium |
CN109961025A (zh) * | 2019-03-11 | 2019-07-02 | 烟台市广智微芯智能科技有限责任公司 | 一种基于图像偏斜度的真假脸部识别检测方法和检测*** |
CN109961025B (zh) * | 2019-03-11 | 2020-01-24 | 烟台市广智微芯智能科技有限责任公司 | 一种基于图像偏斜度的真假脸部识别检测方法和检测*** |
CN110414346A (zh) * | 2019-06-25 | 2019-11-05 | 北京迈格威科技有限公司 | 活体检测方法、装置、电子设备及存储介质 |
WO2020259128A1 (zh) * | 2019-06-28 | 2020-12-30 | 北京旷视科技有限公司 | 活体检测方法、装置、电子设备及计算机可读存储介质 |
CN112183156B (zh) * | 2019-07-02 | 2023-08-11 | 杭州海康威视数字技术股份有限公司 | 一种活体检测方法和设备 |
CN112183156A (zh) * | 2019-07-02 | 2021-01-05 | 杭州海康威视数字技术股份有限公司 | 一种活体检测方法和设备 |
CN110516644A (zh) * | 2019-08-30 | 2019-11-29 | 深圳前海微众银行股份有限公司 | 一种活体检测方法及装置 |
CN110688946A (zh) * | 2019-09-26 | 2020-01-14 | 上海依图信息技术有限公司 | 基于图片识别的公有云静默活体检测设备和方法 |
CN111126229A (zh) * | 2019-12-17 | 2020-05-08 | 中国建设银行股份有限公司 | 数据处理方法和装置 |
CN111274928A (zh) * | 2020-01-17 | 2020-06-12 | 腾讯科技(深圳)有限公司 | 一种活体检测方法、装置、电子设备和存储介质 |
CN111310575A (zh) * | 2020-01-17 | 2020-06-19 | 腾讯科技(深圳)有限公司 | 一种人脸活体检测的方法、相关装置、设备及存储介质 |
WO2021143266A1 (zh) * | 2020-01-17 | 2021-07-22 | 腾讯科技(深圳)有限公司 | 一种活体检测方法、装置、电子设备和存储介质 |
CN111274928B (zh) * | 2020-01-17 | 2023-04-07 | 腾讯科技(深圳)有限公司 | 一种活体检测方法、装置、电子设备和存储介质 |
CN111310575B (zh) * | 2020-01-17 | 2022-07-08 | 腾讯科技(深圳)有限公司 | 一种人脸活体检测的方法、相关装置、设备及存储介质 |
CN112818900A (zh) * | 2020-06-08 | 2021-05-18 | 支付宝实验室(新加坡)有限公司 | 人脸活性检测***、装置和方法 |
CN111783640A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 检测方法、装置、设备以及存储介质 |
CN111899232B (zh) * | 2020-07-20 | 2023-07-04 | 广西大学 | 利用图像处理对竹木复合集装箱底板无损检测的方法 |
CN111899232A (zh) * | 2020-07-20 | 2020-11-06 | 广西大学 | 利用图像处理对竹木复合集装箱底板无损检测的方法 |
CN111914763B (zh) * | 2020-08-04 | 2023-11-28 | 网易(杭州)网络有限公司 | 活体检测方法、装置和终端设备 |
CN111914763A (zh) * | 2020-08-04 | 2020-11-10 | 网易(杭州)网络有限公司 | 活体检测方法、装置和终端设备 |
CN112528909A (zh) * | 2020-12-18 | 2021-03-19 | 平安银行股份有限公司 | 活体检测方法、装置、电子设备及计算机可读存储介质 |
CN112528909B (zh) * | 2020-12-18 | 2024-05-21 | 平安银行股份有限公司 | 活体检测方法、装置、电子设备及计算机可读存储介质 |
CN113807159A (zh) * | 2020-12-31 | 2021-12-17 | 京东科技信息技术有限公司 | 人脸识别处理方法、装置、设备及其存储介质 |
CN112818782A (zh) * | 2021-01-22 | 2021-05-18 | 电子科技大学 | 一种基于媒介感知的泛化性静默活体检测方法 |
CN113837930A (zh) * | 2021-09-24 | 2021-12-24 | 重庆中科云从科技有限公司 | 人脸图像合成方法、装置以及计算机可读存储介质 |
CN113837930B (zh) * | 2021-09-24 | 2024-02-02 | 重庆中科云从科技有限公司 | 人脸图像合成方法、装置以及计算机可读存储介质 |
CN113869219A (zh) * | 2021-09-29 | 2021-12-31 | 平安银行股份有限公司 | 人脸活体检测方法、装置、设备及存储介质 |
CN113869219B (zh) * | 2021-09-29 | 2024-05-21 | 平安银行股份有限公司 | 人脸活体检测方法、装置、设备及存储介质 |
WO2023061123A1 (zh) * | 2021-10-15 | 2023-04-20 | 北京眼神科技有限公司 | 人脸静默活体检测方法、装置、存储介质及设备 |
WO2023197739A1 (zh) * | 2022-04-14 | 2023-10-19 | 京东科技信息技术有限公司 | 活体检测方法和装置、***、电子设备、计算机可读介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107992794B (zh) | 2019-05-28 |
WO2019080797A1 (zh) | 2019-05-02 |
WO2018121428A1 (zh) | 2018-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107992794B (zh) | 一种活体检测方法、装置和存储介质 | |
US10579853B2 (en) | Method and apparatus for acquiring fingerprint image and terminal device | |
CN110321790B (zh) | 一种对抗样本的检测方法及电子设备 | |
US11074466B2 (en) | Anti-counterfeiting processing method and related products | |
CN111274928B (zh) | 一种活体检测方法、装置、电子设备和存储介质 | |
CN106557678B (zh) | 一种智能终端模式切换方法及其装置 | |
CN110689500B (zh) | 一种人脸图像的处理方法、装置、电子设备及存储介质 | |
CN107437009B (zh) | 权限控制方法及相关产品 | |
WO2019052329A1 (zh) | 人脸识别方法及相关产品 | |
CN102193962B (zh) | 对照装置、数字图像处理***、以及对照装置的控制方法 | |
CN107463818B (zh) | 解锁控制方法及相关产品 | |
CN107292290B (zh) | 人脸活体识别方法及相关产品 | |
CN104143078A (zh) | 活体人脸识别方法、装置和设备 | |
WO2015127313A1 (en) | Multi-band biometric camera system having iris color recognition | |
EP3623973B1 (en) | Unlocking control method and related product | |
CN104598870A (zh) | 基于智能移动信息设备的指纹活体检测方法 | |
CN108494996B (zh) | 图像处理方法、装置、存储介质及移动终端 | |
CN107995422A (zh) | 图像拍摄方法和装置、计算机设备、计算机可读存储介质 | |
CN107506697B (zh) | 防伪处理方法及相关产品 | |
CN112446252A (zh) | 图像识别方法及电子设备 | |
CN113591517A (zh) | 一种活体检测方法及相关设备 | |
WO2017185728A1 (zh) | 按键操作的识别方法和装置 | |
WO2019011106A1 (zh) | 状态控制方法及相关产品 | |
CN111310575A (zh) | 一种人脸活体检测的方法、相关装置、设备及存储介质 | |
CN107729833B (zh) | 人脸检测方法及相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |