CN111814564A - 基于多光谱图像的活体检测方法、装置、设备和存储介质 - Google Patents
基于多光谱图像的活体检测方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN111814564A CN111814564A CN202010526830.3A CN202010526830A CN111814564A CN 111814564 A CN111814564 A CN 111814564A CN 202010526830 A CN202010526830 A CN 202010526830A CN 111814564 A CN111814564 A CN 111814564A
- Authority
- CN
- China
- Prior art keywords
- target pixel
- spectral
- spectral response
- face picture
- response curve
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 230000003595 spectral effect Effects 0.000 claims abstract description 175
- 230000004044 response Effects 0.000 claims abstract description 103
- 238000000034 method Methods 0.000 claims description 35
- 238000001228 spectrum Methods 0.000 claims description 17
- 210000001747 pupil Anatomy 0.000 claims description 15
- 238000001727 in vivo Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 18
- 210000000088 lip Anatomy 0.000 description 15
- 210000003467 cheek Anatomy 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 210000001508 eye Anatomy 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 239000000463 material Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 4
- 210000000887 face Anatomy 0.000 description 3
- 230000036555 skin type Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种基于多光谱图像的活体检测方法、装置、终端设备和存储介质。对多光谱相机应用不同光谱波段采集的人脸图片进行关键点检测；基于关键点检测的结果提取每张人脸图片至少两种目标像素点；获取人脸图片中目标像素点的光谱响应曲线；根据光谱响应曲线计算每张人脸图片中至少两种不同类型的目标像素点之间的光谱差值和；基于所有人脸图片中的光谱差值的和判断人脸图片是否是活体人脸图片。通过多光谱相机采集的人脸图片内部目标像素点之间的比较计算，对各个波段对应人脸图片的比较计算的结果进行综合判断，通过多光谱相机采集的人脸图片本身即可实现活体判断，避免了基于多光谱相机进行活体检测对攻击样本数据的收集和更新。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及基于多光谱图像的活体检测方法、装置、终端设备和存储介质。
背景技术
在支付等对安全性要求较高的场景下，需要确保操作者是本人，除了传统的密码、指纹和短信验证码之外，人脸识别是一个比较自然和快速的验证应用，但人脸识别可能会被照片、面具等方式攻破。
相较于在单一图片基础上的人脸识别，基于多光谱相机进行的活体检测应用一方面结合了更多的光谱信息，可以提高安全性，同时可以区分出具体的攻击方式，另一方面安全人员提升***安全等级和对攻击方式进行更细粒度的防控。
但是发明人在基于多光谱相机进行活体检测时发现，现有的人脸活体检测需要收集各种攻击方式的样本数据，并且随着攻击手段的更新，样本数据也需要不断更新。
发明内容
本发明提供了一种基于多光谱图像的活体检测方法、装置、终端设备和存储介质，以解决现有技术在基于多光谱相机进行活体检测时需要收集且不断更新样本数据的技术问题。
第一方面，本发明实施例提供了一种基于多光谱图像的活体检测方法，包括：
对多光谱相机应用不同光谱波段采集的至少两张人脸图片进行关键点检测；
基于所述关键点检测的结果提取每张所述人脸图片至少两种不同类型的目标像素点；
获取所述至少两张所述人脸图片中所述目标像素点的光谱响应曲线；
根据所述光谱响应曲线计算每张所述人脸图片中所述至少两种不同类型的目标像素点之间的光谱差值和；
基于所有所述人脸图片中的光谱差值和判断所述人脸图片是否是活体人脸图片。
第二方面，本发明实施例还提供了一种基于多光谱图像的活体检测装置，包括：
关键点检测单元，用于对多光谱相机应用不同光谱波段采集的至少两张人脸图片进行关键点检测；
目标点提取单元，用于基于所述关键点检测的结果提取每张所述人脸图片至少两种不同类型的目标像素点；
曲线获取单元，用于获取所述至少两张所述人脸图片中所述目标像素点的光谱响应曲线；
差值计算单元，用于根据所述光谱响应曲线计算每张所述人脸图片中所述至少两种不同类型的目标像素点之间的光谱差值和；
活体判断单元，用于基于所有所述人脸图片中的光谱差值和判断所述人脸图片是否是活体人脸图片。
第三方面，本发明实施例还提供了一种终端设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于多光谱图像的活体检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的基于多光谱图像的活体检测方法。
上述基于多光谱图像的活体检测方法、装置、终端设备和存储介质，对多光谱相机应用不同光谱波段采集的至少两张人脸图片进行关键点检测；基于所述关键点检测的结果提取每张所述人脸图片至少两种不同类型的目标像素点；获取所述至少两张所述人脸图片中所述目标像素点的光谱响应曲线；根据所述光谱响应曲线计算每张所述人脸图片中所述至少两种不同类型的目标像素点之间的光谱差值和；基于所有所述人脸图片中的光谱差值的和判断所述人脸图片是否是活体人脸图片。通过多光谱相机采集的人脸图片内部目标像素点之间的比较计算，对各个波段对应人脸图片的比较计算的结果进行综合，根据综合结果判断人脸图片是否活体人脸图片，通过多光谱相机采集的人脸图片本身即可实现活体判断，避免了基于多光谱相机进行活体检测对攻击样本数据的收集和更新。
附图说明
图1为本发明实施例一提供的一种基于多光谱图像的活体检测方法的流程图；
图2为多光谱相机采集到的人脸图像的示意图；
图3为人脸图像关键点检测的位置模型图；
图4为人脸图像关键点检测的示例结果；
图5为目标像素点示意图；
图6为目标像素点的光谱响应曲线的示意图；
图7和图8分别为目标像素点归一化前后的光谱响应曲线的示意图；
图9和图10分别为真实人脸和攻击样本的光谱响应曲线的示意图；
图11为本发明实施例二提供的一种基于多光谱图像的活体检测装置的结构示意图；
图12为本发明实施例三提供的一种终端设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
需要注意的是，由于篇幅所限，本申请说明书没有穷举所有可选的实施方式，本领域技术人员在阅读本申请说明书后，应该能够想到，只要技术特征不互相矛盾，那么技术特征的任意组合均可以构成可选的实施方式。
例如，在实施例一的一个实施方式中，记载了一个技术特征：初始光谱响应曲线是获取以所述目标像素点为中心的n×n像素区域的平均灰度值，将所述平均灰度值映射到光谱响应坐标系得到，在实施例一的另一个实施方式中，记载了另一个技术特征：通过计算两种不同类型的目标像素点之间的光谱差值，然后对所有差值的绝对值求和得到两种不同类型的目标像素点之间的光谱差值和。由于以上两个技术特征不互相矛盾，本领域技术人员在阅读本申请说明书后，应该能够想到，同时具有这两个特征的实施方式也是一种可选的实施方式，即基于n×n像素区域的平均灰度值得到初始光谱响应曲线，然后根据初始光谱响应曲线计算两种不同类型的目标像素点之间的光谱差值和。
另外需要注意的是，本方案的实施形态也不是实施例一中记载的所有技术特征的集合，其中某些技术特征的描述是为了方案的优化实现，实施例一中记载的若干技术特征的组合如果可以实现本方案的设计初衷，其即可作为一种未独立的实施方式，当然也可以作为一种具体的产品形态。
下面对各实施例进行详细说明。
实施例一
图1为本发明实施例一提供的一种基于多光谱图像的活体检测方法的流程图。实施例中提供的基于多光谱图像的活体检测方法可以由用于人脸检测的各种操作设备执行，该操作设备可以通过软件和/或硬件的方式实现，该操作设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。例如，该操作设备可以具体以门禁机、支付终端、车站机场闸机等产品形态呈现，其实质都是带有多光谱图像采集功能的计算机设备。
具体的，参考图1，该基于多光谱图像的活体检测方法具体包括：
步骤S101：对多光谱相机应用不同光谱波段采集的至少两张人脸图片进行关键点检测。
多光谱相机可以采集到不同光谱波段的图像，在一次完整的图像采集过程中，对应于不同的光谱波段分别采集图像，最终得到多张图像。对应的光谱波段越多，得到的图像越多。如图2所示，对应于9个光谱波段(例如分别为740nm、760nm、775nm、785nm、805nm、820nm、845nm、860nm、880nm)，得到9张图像，适应于本方案中的应用场景，图2中呈现的是9张人脸图像，为保护隐私，9张图像中人眼区域后期添加有黑色遮挡区域。
人脸中的关键点用于在给定图像中定位出描述人脸位置和人脸细节，人脸位置主要是在给定图像中定位出脸部轮廓，人脸细节主要是在给定图像中定位出眉毛、眼睛、鼻子、嘴巴等。最终定位出的关键点如图3所示，其中关键点1-17表示脸部轮廓；关键点18-17表示眉毛细节；关键点28-36表示鼻子细节；关键点37-48表示眼睛细节；关键点49-68表示嘴巴细节。人脸中的关键点的检测具体可以通过例如基于模型的ASM(Active ShapeModel，主动形状模型)和AAM(Active Appearnce Model，主动外观模型)、基于CPR(Cascaded pose regression，级联形状回归)、基于深度学习的方法等策略实现。最终在图片中可以实现如图4所示真实人脸中关键点的检测结果。
步骤S102：基于所述关键点检测的结果提取每张所述人脸图片至少两种不同类型的目标像素点。
真实的人不同面部区域的肤质不同，尤其例如眼睛瞳孔、脸颊和嘴唇之间的肤质差异更加明显，这种肤质的差异主要体现在反射率不同，多张人脸图片中对应的光谱响应曲线不同，基于不同材质的光谱响应曲线不同，从关键点中提取出对应各种不同材质所在的位置信息进行后续的识别判断。对应到在人脸图片中的数据处理上，不同关键点的位置和数据差异通过对应的目标像素点的信息进行表征。如图5所示，瞳孔通过眼睛相关的关键点进行确认，具体来说，单个眼睛相关的6个关键点中选取4个关键点分为两组，两组关键点的连线的交点即为瞳孔的位置，例如关键点38和关键41的连线与关键点39和关键点42的连线的交点可以确认右眼瞳孔的位置，关键点44和关键点47的连线与关键点45和关键点48的连线的交点可以确认左眼瞳孔的位置。脸颊的位置通过眼角对应的关键点以及嘴角对应的关键点的确认，例如右脸颊的位置通过右眼角对应的关键点37和右嘴角对应的关键点49确认，具体取这两个关键点的中点，左脸颊基于关键点46和关键点55以相同的方式确认。嘴唇的位置包括上嘴唇的位置和下嘴唇的位置，同样通过对应的关键点所在的中点确认(关键点52和关键点63的连线中点确认为上嘴唇的位置，关键点67和关键点58的连线中点确认为下嘴唇的位置)。通常来说，每种目标像素点有两个(分为左右或上下)。
步骤S103：获取所述至少两张所述人脸图片中所述目标像素点的光谱响应曲线。
光谱响应曲线体现的是同一目标像素点在不同波段中的反射率变化情况。为获得更准确的处理结果，可以先获取所述目标像素点的初始光谱响应曲线；然后对所述初始光谱响应曲线进行归一化处理得到光谱响应曲线。初始光谱响应曲线是基于多光谱相机采集到的图像中最初的灰度值生成，但是在实际的采集过程中，由于多光谱相机采集的到的多个通道图片是按照时间序列控制快门依次曝光成像的，各通道图片曝光量可能不同，导致光谱响应曲线可能会由于受到曝光量的不同而引起偏差，因此需要基于曝光量校正对光谱响应曲线做归一化。图7和图8显示了多光谱相机采集到的某个人脸瞳孔、脸颊和嘴唇的光谱响应曲线归一化前后的结果。归一化通过使用标准白块(一般由特殊物质组成，具有高朗伯反射比)对各通道进行校正实现。具体来说，可以在多光谱相机的取景范围内设置标准白块，多光谱相机在进行图像采集时，每个通道对应的人脸图片中都存在对应于标准白块的图像内容，在归一化过程中，首先识别出每个通道对应的人脸图片中的标准白块区域，然后将各通道图像中的标准白块区域的像素值都调整到255并计算调整比例，例如从240调整到255，那么调整比例为(255-240)/240＝1/16。同一人脸图像中标准白块区域之外的其它区域的像素值都等比例进行调整，基于调整比例计算得到的调整结果如果不为整数，最终调整的像素值则按常规的取整方式(四舍五入、进一取整和去尾取整)择一实现取整即可，根据调整后的像素值对所述初始光谱响应曲线进行修正得到光谱响应曲线，即可完成各通道图像的归一化操作。
对于初始光谱响应曲线，为保证提取的信息的稳定性，并不是直接基于目标像素点本身的灰度值绘制，而是获取以所述目标像素点为中心的n×n(例如9×9)像素区域的平均灰度值，将所述平均灰度值映射到光谱响应坐标系，所述光谱响应坐标系的纵轴表示平均灰度值的大小，横轴表示光谱的波段。通过一定区域内的像素点的平均灰度值可以尽可能避免信息异常的情况出现，当然，9×9只是确认像素区域的一种可选实现方式，在实际处理过程中，也可以选择7×7、11×11等区域大小，甚至也可以选择以偶数个像素为边长的区域，例如10×10、12×12，此时目标像素点不在像素区域的正中心，而是作为中心四个像素点中的一个。
在具体实现过程中，绘制光谱响应曲线采用的灰度值可以是根据像素值的绝对值确定，也可以根据像素值的的范围(0-255)将灰度值控制在0-1之间，在附图所示的光谱响应曲线中，即采用的后一种方案将灰度值控制在0-1之间。
步骤S104：根据所述光谱响应曲线计算每张所述人脸图片中所述至少两种不同类型的目标像素点之间的光谱差值和。
在具体的判断过程中，针对真实人脸和攻击方式本身各自不同的光学属性，基于具体光学属性的区别进行活体判断。根据攻击方式的成本和实现难度，较为常见的攻击方式是通过人脸打印纸张、手机电脑屏幕、证件照片等方式的攻击。对于这一类攻击方式，可以对比分析其与真实人脸的光学属性的不同。请参考图9所示的真实人脸中不同位置对应的光谱响应曲线，从中可以看出在瞳孔(Iris)、脸颊(Skin)和嘴唇(Lips)三个不同区域的光谱响应曲线有着明显区别。从拍摄打印人脸的纸张(或手机电脑屏幕、证件照片)得到的人脸图像中的目标像素点对应的光谱响应曲线如图10所示，从中可以看出在瞳孔(Iris)、脸颊(Skin)和嘴唇(Lips)三个不同区域因为材质相同，对应的光谱响应曲线高度接近，所以可以通过不同区域对应的光谱响应曲线的区别判断当前检测到的人脸是否是平面图像的攻击。
不同光谱波段采集同一人脸得到的多张人脸图片，其不同目标像素点对应的光谱响应曲线之间的差异可以通过目标像素点之间的光谱差值和进行表征。大体来说，首先需要从所述至少两种不同类型的目标像素点中选择至少一组对比目标像素点，每组所述对比目标像素点包括两种不同类型的目标像素点；然后计算各个光谱波段在所述对比目标像素点对应的光谱响应曲线中的平均灰度值的差值；最后累加所述差值的绝对值得到所述至少两种不同类型的目标像素点的光谱差值和。其中对比目标像素点可以为一组，也可以是多组，具体根据判断全面性的要求确定，例如同时进行瞳孔和脸颊、脸颊和嘴唇、瞳孔和嘴唇的对比(计算光谱差值和)，也可以从中选择一组或两组进行对比，当然，还可以人脸图片中的其它目标像素点的对比。
对于不同目标像素点的光谱差值和，可以通过以下公式计算：
D1＝|S1–S2|
其中S1和S2分别表示两个目标像素点的平均光谱响应曲线(每个区域有两个很接近的光谱响应曲线，取均值得到平均光谱响应曲线)中对应光谱通道的像素值，D1表示各个光谱通道的像素值的差值的绝对值之和。
在前一种基于平面图像的攻击方式(定义为第一种攻击方式)的基础上，本方案可以进一步针对第二种攻击方式进行判断。第二种攻击方式，主要是通过面具、头套等立体伪装的人脸进行攻击。对应于这种攻击方式，本方案进一步可以判断当前采集到的人脸图像是否是使用面具、头套等方式的攻击。对于面具、头套的攻击而言，其瞳孔、脸颊和嘴唇的材质也可能不同，如果仅判断人脸图像中不同区域的差别大小，面具、头套可能也会因为差别足够大而误判为活体人脸，基于此，进一步事先采集多个真实人脸，基于多个真实人脸计算各个区域对应的平均光谱响应曲线作为基准光谱响应曲线，在判断时，将人脸图像中至少一个区域的光谱响应曲线与对应的平均光谱响应曲线进行比对，根据比对得到的差异大小判断是否是立体面具的攻击。
在具体比对过程中，需要计算基准像素点对应的光谱响应曲线(可以是平均光谱响应区域)与对应的基准光谱响应曲线的差异度，该差异度通过对应的差值和进行表征。也就是说，根据基准目标像素点对应的光谱响应曲线与对应的基准光谱响应曲线，计算基准目标像素点的光谱差值和；所述基准光谱响应曲线为预先采集的多张真实人脸图片中所述基准目标像素点对应的平均光谱响应曲线。具体来说，计算各个光谱波段在所述基准像素点对应的光谱响应曲线和基准光谱响应曲线中的平均灰度值的差值；累加所述差值的绝对值得到所述基准目标像素点的光谱差值和。
以上对于基准目标像素点的光谱差值和的计算，可以基于如下公式表达：
D2＝|S0–S3|
其中S3表示基准目标像素点对应的平均光谱响应曲线中对应各个光谱通道的像素值，S0表示基准目标像素点对应的基准光谱响应曲线中对应各个光谱通道的像素值，D2表示各个光谱通道的像素值的差值的绝对值之和。
通过一个基准目标像素点计算绝对值之和是实现后续对第二种攻击判断的一种可选基础方案，例如通过脸颊对应的目标像素点。还可以将多个区域对应的目标像素点作为基准目标像素点，然后对所有差值的绝对值求和，可以有更全面的判断依据。
步骤S105：基于所有所述人脸图片中的光谱差值和判断所述人脸图片是否是活体人脸图片。
在具体实施过程中，基于光谱差值和判断人脸图片是否是活体人脸图片的过程，根据步骤S104中实际计算出的光谱差值和的种类，进行对应的攻击方式的确认。
如果在步骤S104中，仅计算目标像素点的光谱差值和，那么在步骤S105中对应可以判断是否是第一种攻击方式。也就是说当所述光谱差值和在第一攻击参考值范围内，判断所述人脸图片不是活体人脸图片，更具体可以判断当前是第一种攻击方式。
如果在步骤S104中，既计算两种不同类型的目标像素点的光谱差值和，也计算基准像素点的光谱差值和，那么在步骤S105中对应可以判断是否是第一种攻击方式以及是否是第二种攻击方式。也就是说当两种不同类型的目标像素点之间的光谱差值和在第一攻击参考值范围内，判断所述人脸图片不是活体人脸图片，更具体可以判断当前是第一种攻击方式；若所述至少两种不同类型的目标像素点之间的光谱差值和在第一攻击参考值范围外，则当基准目标像素点的光谱差值和在第二攻击参考值范围内，判断所述人脸图片不是活体人脸图片，更具体可以判断当前是第二种攻击方式。整体而言，在基于两种光谱差值和进行活体检测时，根据步骤S104中阐述的计算原理，如果是活体人脸，D1较大，D2较小；如果是平面图像的攻击，D1较小，D2较大；如果是立体面具的攻击，D1较大，D2页较大。基于以上，对两类光谱差值和分别根据在先实验设定好的参考值范围判断是否是人脸活体，只有两类光谱差值和均在对应的参考值范围内才判断为人脸活体。简单而言，当两类光谱差值和均不在对应的攻击参考值范围内，判断所述人脸图片是活体人脸图片。
此外，在有实际需要时，也可以在步骤S104中仅计算基准目标像素点的光谱差值和，在步骤S105中仅针对第二种攻击方式进行判断。
上述，对多光谱相机应用不同光谱波段采集的至少两张人脸图片进行关键点检测；基于所述关键点检测的结果提取每张所述人脸图片至少两种不同类型的目标像素点；获取所述至少两张所述人脸图片中所述目标像素点的光谱响应曲线；根据所述光谱响应曲线计算每张所述人脸图片中所述至少两种不同类型的目标像素点之间的光谱差值和；基于所有所述人脸图片中的光谱差值的和判断所述人脸图片是否是活体人脸图片。通过多光谱相机采集的人脸图片内部目标像素点之间的比较计算，对各个波段对应人脸图片的比较计算的结果进行综合，根据综合结果判断人脸图片是否活体人脸图片，通过多光谱相机采集的人脸图片本身即可实现活体判断，避免了基于多光谱相机进行活体检测对攻击样本数据的收集和更新。
实施例二
图11为本发明实施例二提供的一种基于多光谱图像的活体检测装置的结构示意图。参考图11，该基于多光谱图像的活体检测装置包括：关键点检测单元201、目标点提取单元202、曲线获取单元203、差值计算单元204和活体判断单元205。
其中，关键点检测单元201，用于对多光谱相机应用不同光谱波段采集的至少两张人脸图片进行关键点检测；目标点提取单元202，用于基于所述关键点检测的结果提取每张所述人脸图片至少两种不同类型的目标像素点；曲线获取单元203，用于获取所述至少两张所述人脸图片中所述目标像素点的光谱响应曲线；差值计算单元204，用于根据所述光谱响应曲线计算每张所述人脸图片中所述至少两种不同类型的目标像素点之间的光谱差值和；活体判断单元205，用于基于所有所述人脸图片中的光谱差值和判断所述人脸图片是否是活体人脸图片。
在上述实施例的基础上，所述活体判断单元205，包括：
第一判断模块，用于当所述光谱差值和在第一攻击参考值范围内，判断所述人脸图片不是活体人脸图片。
在上述实施例的基础上，所述装置，还包括：
基准计算单元，用于根据基准目标像素点对应的光谱响应曲线与对应的基准光谱响应曲线，计算基准目标像素点的光谱差值和；所述基准光谱响应曲线为预先采集的多张真实人脸图片中所述基准目标像素点对应的平均光谱响应曲线。
在上述实施例的基础上，所述活体判断单元205，包括：
第一攻击判断模块，用于当所述至少两种不同类型的目标像素点之间的光谱差值和在第一攻击参考值范围内，判断所述人脸图片不是活体人脸图片；
第二攻击判断模块，用于若所述至少两种不同类型的目标像素点之间的光谱差值和在第一攻击参考值范围外，则当所述基准目标像素点的光谱差值和在第二攻击参考值范围内，判断所述人脸图片不是活体人脸图片。
在上述实施例的基础上，所述基准计算单元，包括：
基准差值计算模块，用于计算各个光谱波段在所述基准像素点对应的光谱响应曲线和基准光谱响应曲线中的平均灰度值的差值；
基准差值求和模块，用于累加所述差值的绝对值得到所述基准目标像素点的光谱差值和。
在上述实施例的基础上，所述基准目标像素点包括所述人脸图片中脸颊对应的目标像素点。
在上述实施例的基础上，所述差值计算单元204，包括：
像素点选择模块，用于从所述至少两种不同类型的目标像素点中选择至少一组对比目标像素点，每组所述对比目标像素点包括两种不同类型的目标像素点；
目标差值计算模块，用于计算各个光谱波段在所述对比目标像素点对应的光谱响应曲线中的平均灰度值的差值；
目标差值求和模块，用于累加所述差值的绝对值得到所述至少两种不同类型的目标像素点的光谱差值和。
在上述实施例的基础上，所述目标像素点为所述人脸图片中瞳孔和脸颊对应的像素点，或所述人脸图片中瞳孔和嘴唇对应的像素点。
在上述实施例的基础上，所述曲线获取单元203，包括：
初始获取模块，用于获取所述目标像素点的初始光谱响应曲线；
归一化模块，用于基于曝光量校正对所述初始光谱响应曲线进行归一化处理得到光谱响应曲线。
在上述实施例的基础上，所述多光谱相机的取景范围内设置有标准白块；
对应的，所述归一化模块，包括：
白块识别子模块，用于识别所述至少两张人脸图片中的标准白块区域；
像素值调整子模块，用于将所述标准白块区域的像素值调整为255并计算所述标准白块区域的像素值调整比例；
同步调整子模块，用于将所述至少两张人脸图片中所述标准白块区域之外的区域根据所述像素值调整比例进行像素值调整；
曲线修正子模块，用于根据调整后的像素值对所述初始光谱响应曲线进行修正得到光谱响应曲线。
在上述实施例的基础上，所述初始获取模块，具体用于：
获取以所述目标像素点为中心的9×9像素区域的平均灰度值，将所述平均灰度值映射到光谱响应坐标系，所述光谱响应坐标系的纵轴表示平均灰度值的大小，横轴表示光谱的波段。
本发明实施例提供的基于多光谱图像的活体检测装置包含在活体检测设备中，且可用于执行上述实施例一中提供的任一基于多光谱图像的活体检测方法，具备相应的功能和有益效果。
实施例三
图12为本发明实施例三提供的一种终端设备的结构示意图，该终端设备是前文所述活体检测设备的一种具体的硬件呈现方案。如图12所示，该终端设备包括处理器310、存储器320、输入装置330、输出装置340以及通信装置350；终端设备中处理器310的数量可以是一个或多个，图12中以一个处理器310为例；终端设备中的处理器310、存储器320、输入装置330、输出装置340以及通信装置350可以通过总线或其他方式连接，图12中以通过总线连接为例。
存储器320作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于多光谱图像的活体检测方法对应的程序指令/模块(例如，基于多光谱图像的活体检测装置中的关键点检测单元201、目标点提取单元202、曲线获取单元203、差值计算单元204和活体判断单元205)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述的基于多光谱图像的活体检测方法。
存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置330可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
上述终端设备包含基于多光谱图像的活体检测装置，可以用于执行任意基于多光谱图像的活体检测方法，具备相应的功能和有益效果。
实施例四
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本申请任意实施例中提供的基于多光谱图像的活体检测方法中的相关操作，且具备相应的功能和有益效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。
因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (14)
1.基于多光谱图像的活体检测方法，其特征在于，包括：
对多光谱相机应用不同光谱波段采集的至少两张人脸图片进行关键点检测；
基于所述关键点检测的结果提取每张所述人脸图片至少两种不同类型的目标像素点；
获取所述至少两张所述人脸图片中所述目标像素点的光谱响应曲线；
根据所述光谱响应曲线计算每张所述人脸图片中所述至少两种不同类型的目标像素点之间的光谱差值和；
基于所有所述人脸图片中的光谱差值和判断所述人脸图片是否是活体人脸图片。
2.根据权利要求1所述的方法，其特征在于，所述基于所有所述人脸图片中的光谱差值和判断所述人脸图片是否是活体人脸图片，包括：
当所述光谱差值和在第一攻击参考值范围内，判断所述人脸图片不是活体人脸图片。
3.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
根据基准目标像素点对应的光谱响应曲线与对应的基准光谱响应曲线，计算基准目标像素点的光谱差值和；所述基准光谱响应曲线为预先采集的多张真实人脸图片中所述基准目标像素点对应的平均光谱响应曲线。
4.根据权利要求3所述的方法，其特征在于，所述基于所有所述人脸图片中的光谱差值和判断所述人脸图片是否是活体人脸图片，包括：
当所述至少两种不同类型的目标像素点之间的光谱差值和在第一攻击参考值范围内，判断所述人脸图片不是活体人脸图片；
若所述至少两种不同类型的目标像素点之间的光谱差值和在第一攻击参考值范围外，则当所述基准目标像素点的光谱差值和在第二攻击参考值范围内，判断所述人脸图片不是活体人脸图片。
5.根据权利要求3所述的方法，其特征在于，所述根据基准目标像素点对应的光谱响应曲线与对应的基准光谱响应曲线，计算基准目标像素点的光谱差值和，包括：
计算各个光谱波段在所述基准像素点对应的光谱响应曲线和基准光谱响应曲线中的平均灰度值的差值；
累加所述差值的绝对值得到所述基准目标像素点的光谱差值和。
6.根据权利要求3-5任一所述的方法，其特征在于，所述基准目标像素点包括所述人脸图片中脸颊对应的目标像素点。
7.根据权利要求1所述的方法，其特征在于，所述根据所述光谱响应曲线计算每张所述人脸图片中所述至少两种不同类型的目标像素点之间的光谱差值和，包括：
从所述至少两种不同类型的目标像素点中选择至少一组对比目标像素点，每组所述对比目标像素点包括两种不同类型的目标像素点；
计算各个光谱波段在所述对比目标像素点对应的光谱响应曲线中的平均灰度值的差值；
累加所述差值的绝对值得到所述至少两种不同类型的目标像素点的光谱差值和。
8.根据权利要求1所述的方法，其特征在于，所述目标像素点为所述人脸图片中瞳孔和脸颊对应的像素点，或所述人脸图片中瞳孔和嘴唇对应的像素点。
9.根据权利要求1所述的方法，其特征在于，所述获取所述目标像素点的光谱响应曲线，包括：
获取所述目标像素点的初始光谱响应曲线；
基于曝光量校正对所述初始光谱响应曲线进行归一化处理得到光谱响应曲线。
10.根据权利要求9所述的方法，其特征在于，所述多光谱相机的取景范围内设置有标准白块；
对应的，所述基于曝光量校正对所述初始光谱响应曲线进行归一化处理得到光谱响应曲线，包括：
识别所述至少两张人脸图片中的标准白块区域；
将所述标准白块区域的像素值调整为255并计算所述标准白块区域的像素值调整比例；
将所述至少两张人脸图片中所述标准白块区域之外的区域根据所述像素值调整比例进行像素值调整；
根据调整后的像素值对所述初始光谱响应曲线进行修正得到光谱响应曲线。
11.根据权利要求9所述的方法，其特征在于，所述获取所述目标像素点的初始光谱响应曲线，包括：
获取以所述目标像素点为中心的n×n像素区域的平均灰度值，将所述平均灰度值映射到光谱响应坐标系，所述光谱响应坐标系的纵轴表示平均灰度值的大小，横轴表示光谱的波段。
12.基于多光谱图像的活体检测装置，其特征在于，包括：
关键点检测单元，用于对多光谱相机应用不同光谱波段采集的至少两张人脸图片进行关键点检测；
目标点提取单元，用于基于所述关键点检测的结果提取每张所述人脸图片至少两种不同类型的目标像素点；
曲线获取单元，用于获取所述至少两张所述人脸图片中所述目标像素点的光谱响应曲线；
差值计算单元，用于根据所述光谱响应曲线计算每张所述人脸图片中所述至少两种不同类型的目标像素点之间的光谱差值和；
活体判断单元，用于基于所有所述人脸图片中的光谱差值和判断所述人脸图片是否是活体人脸图片。
13.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11任一所述的基于多光谱图像的活体检测方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11任一所述的基于多光谱图像的活体检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010526830.3A CN111814564B (zh) | 2020-06-09 | 2020-06-09 | 基于多光谱图像的活体检测方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010526830.3A CN111814564B (zh) | 2020-06-09 | 2020-06-09 | 基于多光谱图像的活体检测方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111814564A true CN111814564A (zh) | 2020-10-23 |
| CN111814564B CN111814564B (zh) | 2024-07-12 |
Family
ID=72846501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010526830.3A Active CN111814564B (zh) | 2020-06-09 | 2020-06-09 | 基于多光谱图像的活体检测方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111814564B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112580433A (zh) * | 2020-11-24 | 2021-03-30 | 奥比中光科技集团股份有限公司 | 一种活体检测的方法及设备 |
| CN112801049A (zh) * | 2021-03-26 | 2021-05-14 | 北京至真互联网技术有限公司 | 图像分类方法和装置及设备 |
| CN113609924A (zh) * | 2021-07-15 | 2021-11-05 | 奥比中光科技集团股份有限公司 | 一种光谱数据的确定方法、装置、终端和存储介质 |
| CN116723409A (zh) * | 2022-02-28 | 2023-09-08 | 荣耀终端有限公司 | 自动曝光方法与电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104881632A (zh) * | 2015-04-28 | 2015-09-02 | 南京邮电大学 | 高光谱人脸识别方法 |
| CN107437064A (zh) * | 2017-07-05 | 2017-12-05 | 北京中科虹霸科技有限公司 | 基于频谱分析的虹膜活体检测方法 |
| US20180239944A1 (en) * | 2015-09-17 | 2018-08-23 | Nec Corporation | Living body determination device, living body determination method, and program |
| US20180239979A1 (en) * | 2015-09-03 | 2018-08-23 | Nec Corporation | Living body recognition device, living body recognition method, and living body recognition program |
-
2020
- 2020-06-09 CN CN202010526830.3A patent/CN111814564B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104881632A (zh) * | 2015-04-28 | 2015-09-02 | 南京邮电大学 | 高光谱人脸识别方法 |
| US20180239979A1 (en) * | 2015-09-03 | 2018-08-23 | Nec Corporation | Living body recognition device, living body recognition method, and living body recognition program |
| US20180239944A1 (en) * | 2015-09-17 | 2018-08-23 | Nec Corporation | Living body determination device, living body determination method, and program |
| CN107437064A (zh) * | 2017-07-05 | 2017-12-05 | 北京中科虹霸科技有限公司 | 基于频谱分析的虹膜活体检测方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112580433A (zh) * | 2020-11-24 | 2021-03-30 | 奥比中光科技集团股份有限公司 | 一种活体检测的方法及设备 |
| WO2022110846A1 (zh) * | 2020-11-24 | 2022-06-02 | 奥比中光科技集团股份有限公司 | 一种活体检测的方法及设备 |
| CN112801049A (zh) * | 2021-03-26 | 2021-05-14 | 北京至真互联网技术有限公司 | 图像分类方法和装置及设备 |
| CN113609924A (zh) * | 2021-07-15 | 2021-11-05 | 奥比中光科技集团股份有限公司 | 一种光谱数据的确定方法、装置、终端和存储介质 |
| CN116723409A (zh) * | 2022-02-28 | 2023-09-08 | 荣耀终端有限公司 | 自动曝光方法与电子设备 |
| CN116723409B (zh) * | 2022-02-28 | 2024-05-24 | 荣耀终端有限公司 | 自动曝光方法与电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111814564B (zh) | 2024-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109359575B (zh) | 人脸检测方法、业务处理方法、装置、终端及介质 | |
| CN111814564B (zh) | 基于多光谱图像的活体检测方法、装置、设备和存储介质 | |
| CN110852160B (zh) | 以图像为基准的生物识别***及计算机实施方法 | |
| KR102667740B1 (ko) | 영상 정합 방법 및 장치 | |
| JP2020523665A (ja) | 生体検出方法及び装置、電子機器並びに記憶媒体 | |
| US20170091550A1 (en) | Multispectral eye analysis for identity authentication | |
| US20160019420A1 (en) | Multispectral eye analysis for identity authentication | |
| US20160019421A1 (en) | Multispectral eye analysis for identity authentication | |
| CN108416291B (zh) | 人脸检测识别方法、装置和*** | |
| JP2018022360A (ja) | 画像解析装置、画像解析方法およびプログラム | |
| CN107239735A (zh) | 一种基于视频分析的活体检测方法和*** | |
| CN103902958A (zh) | 人脸识别的方法 | |
| WO2020071008A1 (ja) | 生体認証システム、生体認証方法およびプログラム | |
| CN112446322B (zh) | 眼球特征检测方法、装置、设备及计算机可读存储介质 | |
| CN113298158B (zh) | 数据检测方法、装置、设备及存储介质 | |
| CN113642639B (zh) | 活体检测方法、装置、设备和存储介质 | |
| CN110008943B (zh) | 一种图像处理方法及装置、一种计算设备及存储介质 | |
| CN112802081A (zh) | 一种深度检测方法、装置、电子设备及存储介质 | |
| CN113673474B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN109993090B (zh) | 基于级联回归森林和图像灰度特征的虹膜中心定位方法 | |
| WO2022199395A1 (zh) | 人脸活体检测方法、终端设备及计算机可读存储介质 | |
| CN113128428A (zh) | 基于深度图预测的活体检测方法和相关设备 | |
| CN113837019B (zh) | 一种化妆进度检测方法、装置、设备及存储介质 | |
| JPWO2020213166A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| CN113837020B (zh) | 一种化妆进度检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |