CN113052142A - 一种基于多模态数据的静默活体检测方法 - Google Patents
一种基于多模态数据的静默活体检测方法 Download PDFInfo
- Publication number
- CN113052142A CN113052142A CN202110452515.5A CN202110452515A CN113052142A CN 113052142 A CN113052142 A CN 113052142A CN 202110452515 A CN202110452515 A CN 202110452515A CN 113052142 A CN113052142 A CN 113052142A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- living body
- detection method
- full
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多模态数据的静默活体检测方法,包括:(1)利用传感器采集人脸RGB图像、红外图像和深度图像,抠出三种原始图像中人脸区域图;(2)建立特征提取网络,利用特征提取网络对步骤1中人脸区域图进行特征提取,得到RGB图像、红外图像和深度图像的卷积特征图;(3)将步骤2中三个卷积特征图利用深度神经网络进行数据层面的融合,得到多模态融合特征图;(4)利用深度神经网络提取多模态融合特征图的特征向量;(5)对特征向量进行处理,输出活体分类的结果。本发明利用RGB图像、深度图像和红外图像三种模态数据对人脸进行活体检测,提高活体判别精度;将不同硬件的信息融合后提升活体判别效果。
Description
技术领域
本发明涉及活体检测方法,特别涉及一种基于多模态数据的静默活体检测方法。
背景技术
活体检测是在一些身份验证场景确定对象真实生理特征的方法,可以有效抵御照片、换脸、面具、遮挡以及屏幕翻拍等常见的攻击手段,从而帮助用户甄别欺诈行为,保障用户的利益。静默活体检测只需要求用户实时拍摄一张照片或一段人脸视频,就可以进行真人活体校验。
现有的静默活体检测方法多是基于单一模态数据情况下进行,没有考虑不同模态数据之间的表征差异,致使检测精度较低;即使在使用多模态数据时,也只是针对不同传感器获得的图像数据做简单的叠加处理,忽略了活体数据在不同传感器之间的关联性,没有将不同的图像数据进行数据层的融合,进而降低了活体检测的精度。
发明内容
发明目的:针对以上问题,本发明目的是提供一种基于多模态数据的静默活体检测方法,考虑了RGB图像、红外图像及深度图像三个模态数据,提高活体检测精度。
技术方案:本发明的一种基于多模态数据的静默活体检测方法,包括:
(1)利用传感器采集人脸RGB图像、红外图像和深度图像,抠出三种原始图像中人脸区域图;
(2)建立特征提取网络,特征提取网络包括卷积层,利用特征提取网络对步骤1中人脸区域图进行特征提取,得到RGB图像、红外图像和深度图像的卷积特征图;
(3)将步骤2中三个卷积特征图利用深度神经网络进行数据层面的融合,得到多模态融合特征图;
(4)利用深度神经网络提取多模态融合特征图的特征向量;
(5)对步骤4的特征向量进行处理,输出活体分类的结果,包括活体和非活体。
进一步,步骤1进行人脸区域抠图后分别对三种人脸区域图进行仿射变换。
进一步,步骤2特征提取网络包括4个卷积层,每个卷积层使用激活函数,4个卷积层依次对每个模态数据进行处理。
进一步,步骤4包括:先将多模态融合特征图输入第一全连接层,得到第一全连接层特征向量;再将第一全连接层特征向量输入到第二全连接层,得到第二全连接层特征向量。
进一步,步骤5利用分类算法函数对第二全连接层特征向量进行分类,得出二元分类结果,输出值为0或1,对输出值进行判断,如果为0,则检测结果为非活体;如果为1,则检测结果为活体。
有益效果:本发明与现有技术相比,其显著优点是:本发明利用RGB图像、深度图像和红外图像三种模态数据对人脸进行活体检测,提高活体判别精度;利用多模态数据进行活体判别,将不同硬件的信息融合后提升活体判别效果。
附图说明
图1为特征提取网络示意图;
图2为多模态数据融合和处理流程图。
具体实施方式
本实施例所述的一种基于多模态数据的静默活体检测方法,包括:
(1)利用传感器采集人脸RGB图像、红外图像和深度图像,抠出三种原始图像中人脸区域图;
(11)对RGB图像进行人脸区域抠图并进行仿射变换,最终的RGB图像数据大小为224*224像素;
(12)对红外图像进行人脸区域抠图并进行仿射变换,最终的红外图像数据大小为224*224像素;
(13)对深度图像进行人脸区域抠图并进行仿射变换,最终的深度图像数据大小为224*224像素。
(2)建立特征提取网络,特征提取网络包括4个卷积层,如图1所示,每个卷积层使用激活函数,4个卷积层依次对每个模态数据进行处理。利用特征提取网络对步骤1中人脸区域图进行特征提取,得到RGB图像、红外图像和深度图像的卷积特征图分别为F1、F2、F3;
其中卷积层包括:
第一卷积层:卷积核大小11*11,卷积核数量为94,步长为4,使用relu激活;
第二卷积层:卷积核大小5*5,卷积核数量为256,步长为1,使用relu激活;
第三卷积层:卷积核大小3*3,卷积核数量为384,步长为1,使用relu激活;
第四卷积层:卷积核大小为1*1,卷积核数量为64,步长为1,使用relu激活。
(3)将步骤2中三个卷积特征图F1、F2和F3利用深度神经网络进行数据层面的融合,得到多模态融合特征图F,如图2所示。
(4)利用深度神经网络提取多模态融合特征图的特征向量:
先将多模态融合特征图输入第一全连接层FC1,全连接通道数为256,得到第一全连接层特征向量F-FC1;再将第一全连接层特征向量输入到第二全连接层FC2,全连接通道数为128,得到第二全连接层特征向量F-FC2。
(5)利用softmax算法对第二全连接层特征向量F-FC2进行分类,得出二元分类结果score,score值为0或1,对score值进行判断,如果为0,则检测结果为非活体;如果为1,则检测结果为活体。
Claims (5)
1.一种基于多模态数据的静默活体检测方法,其特征在于,包括:
(1)利用传感器采集人脸RGB图像、红外图像和深度图像,抠出三种原始图像中人脸区域图;
(2)建立特征提取网络,特征提取网络包括卷积层,利用特征提取网络对步骤1中人脸区域图进行特征提取,得到RGB图像、红外图像和深度图像的卷积特征图;
(3)将步骤2中三个卷积特征图利用深度神经网络进行数据层面的融合,得到多模态融合特征图;
(4)利用深度神经网络提取多模态融合特征图的特征向量;
(5)对步骤4的特征向量进行处理,输出活体分类的结果,包括活体和非活体。
2.根据权利要求1所述的静默活体检测方法,其特征在于,步骤1进行人脸区域抠图后分别对三种人脸区域图进行仿射变换。
3.根据权利要求2所述的静默活体检测方法,其特征在于,步骤2特征提取网络包括4个卷积层,每个卷积层使用激活函数,4个卷积层依次对每个模态数据进行处理。
4.根据权利要求3所述的静默活体检测方法,其特征在于,步骤4包括:先将多模态融合特征图输入第一全连接层,得到第一全连接层特征向量;再将第一全连接层特征向量输入到第二全连接层,得到第二全连接层特征向量。
5.根据权利要求4所述的静默活体检测方法,其特征在于,步骤5利用分类算法函数对第二全连接层特征向量进行分类,得出二元分类结果,输出值为0或1,对输出值进行判断,如果为0,则检测结果为非活体;如果为1,则检测结果为活体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110452515.5A CN113052142A (zh) | 2021-04-26 | 2021-04-26 | 一种基于多模态数据的静默活体检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110452515.5A CN113052142A (zh) | 2021-04-26 | 2021-04-26 | 一种基于多模态数据的静默活体检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113052142A true CN113052142A (zh) | 2021-06-29 |
Family
ID=76520553
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110452515.5A Pending CN113052142A (zh) | 2021-04-26 | 2021-04-26 | 一种基于多模态数据的静默活体检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113052142A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113505682A (zh) * | 2021-07-02 | 2021-10-15 | 杭州萤石软件有限公司 | 活体检测方法及装置 |
CN113705400A (zh) * | 2021-08-18 | 2021-11-26 | 中山大学 | 一种基于多模态人脸训练的单模态人脸活体检测方法 |
WO2023273297A1 (zh) * | 2021-06-30 | 2023-01-05 | 平安科技(深圳)有限公司 | 基于多模态的活体检测方法、装置、电子设备及存储介质 |
CN115953589A (zh) * | 2023-03-13 | 2023-04-11 | 南京航空航天大学 | 一种基于深度相机的发动机缸体孔径尺寸测量方法 |
WO2023124869A1 (zh) * | 2021-12-30 | 2023-07-06 | 杭州萤石软件有限公司 | 用于活体检测的方法、装置、设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109034102A (zh) * | 2018-08-14 | 2018-12-18 | 腾讯科技(深圳)有限公司 | 人脸活体检测方法、装置、设备及存储介质 |
CN109684924A (zh) * | 2018-11-21 | 2019-04-26 | 深圳奥比中光科技有限公司 | 人脸活体检测方法及设备 |
CN111401107A (zh) * | 2019-01-02 | 2020-07-10 | 上海大学 | 基于特征融合神经网络的多模态人脸识别方法 |
CN111597918A (zh) * | 2020-04-26 | 2020-08-28 | 北京金山云网络技术有限公司 | 人脸活体检测模型的训练、检测方法、装置及电子设备 |
CN111611934A (zh) * | 2020-05-22 | 2020-09-01 | 北京华捷艾米科技有限公司 | 一种人脸检测模型生成和人脸检测方法、装置及设备 |
CN112036331A (zh) * | 2020-09-03 | 2020-12-04 | 腾讯科技(深圳)有限公司 | 活体检测模型的训练方法、装置、设备及存储介质 |
CN112052832A (zh) * | 2020-09-25 | 2020-12-08 | 北京百度网讯科技有限公司 | 人脸检测的方法、装置和计算机存储介质 |
US20200410267A1 (en) * | 2018-09-07 | 2020-12-31 | Beijing Sensetime Technology Development Co., Ltd. | Methods and apparatuses for liveness detection, electronic devices, and computer readable storage media |
CN112487922A (zh) * | 2020-11-25 | 2021-03-12 | 奥比中光科技集团股份有限公司 | 一种多模态人脸活体检测方法及*** |
-
2021
- 2021-04-26 CN CN202110452515.5A patent/CN113052142A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109034102A (zh) * | 2018-08-14 | 2018-12-18 | 腾讯科技(深圳)有限公司 | 人脸活体检测方法、装置、设备及存储介质 |
US20200410267A1 (en) * | 2018-09-07 | 2020-12-31 | Beijing Sensetime Technology Development Co., Ltd. | Methods and apparatuses for liveness detection, electronic devices, and computer readable storage media |
CN109684924A (zh) * | 2018-11-21 | 2019-04-26 | 深圳奥比中光科技有限公司 | 人脸活体检测方法及设备 |
CN111401107A (zh) * | 2019-01-02 | 2020-07-10 | 上海大学 | 基于特征融合神经网络的多模态人脸识别方法 |
CN111597918A (zh) * | 2020-04-26 | 2020-08-28 | 北京金山云网络技术有限公司 | 人脸活体检测模型的训练、检测方法、装置及电子设备 |
CN111611934A (zh) * | 2020-05-22 | 2020-09-01 | 北京华捷艾米科技有限公司 | 一种人脸检测模型生成和人脸检测方法、装置及设备 |
CN112036331A (zh) * | 2020-09-03 | 2020-12-04 | 腾讯科技(深圳)有限公司 | 活体检测模型的训练方法、装置、设备及存储介质 |
CN112052832A (zh) * | 2020-09-25 | 2020-12-08 | 北京百度网讯科技有限公司 | 人脸检测的方法、装置和计算机存储介质 |
CN112487922A (zh) * | 2020-11-25 | 2021-03-12 | 奥比中光科技集团股份有限公司 | 一种多模态人脸活体检测方法及*** |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023273297A1 (zh) * | 2021-06-30 | 2023-01-05 | 平安科技(深圳)有限公司 | 基于多模态的活体检测方法、装置、电子设备及存储介质 |
CN113505682A (zh) * | 2021-07-02 | 2021-10-15 | 杭州萤石软件有限公司 | 活体检测方法及装置 |
CN113505682B (zh) * | 2021-07-02 | 2024-07-02 | 杭州萤石软件有限公司 | 活体检测方法及装置 |
CN113705400A (zh) * | 2021-08-18 | 2021-11-26 | 中山大学 | 一种基于多模态人脸训练的单模态人脸活体检测方法 |
CN113705400B (zh) * | 2021-08-18 | 2023-08-15 | 中山大学 | 一种基于多模态人脸训练的单模态人脸活体检测方法 |
WO2023124869A1 (zh) * | 2021-12-30 | 2023-07-06 | 杭州萤石软件有限公司 | 用于活体检测的方法、装置、设备及存储介质 |
CN115953589A (zh) * | 2023-03-13 | 2023-04-11 | 南京航空航天大学 | 一种基于深度相机的发动机缸体孔径尺寸测量方法 |
CN115953589B (zh) * | 2023-03-13 | 2023-05-16 | 南京航空航天大学 | 一种基于深度相机的发动机缸体孔径尺寸测量方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113052142A (zh) | 一种基于多模态数据的静默活体检测方法 | |
US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
CN107423690B (zh) | 一种人脸识别方法及装置 | |
WO2018216629A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US8676733B2 (en) | Using a model tree of group tokens to identify an object in an image | |
JP4755202B2 (ja) | 顔特徴の検出方法 | |
JP4663013B2 (ja) | 色類別方法、色認識方法及び色認識装置 | |
JP2018198053A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2022206319A1 (zh) | 图像处理方法、装置、设备、存储介质计算机程序产品 | |
JP2018092610A (ja) | 画像認識装置、画像認識方法及びプログラム | |
CN107944416A (zh) | 一种通过视频进行真人验证的方法 | |
CN113793336A (zh) | 一种检测血细胞的方法、装置、设备及可读存储介质 | |
CN115131880A (zh) | 一种多尺度注意力融合的双重监督人脸活体检测方法 | |
CN111767879A (zh) | 一种活体检测方法 | |
CN111767877A (zh) | 一种基于红外特征的活体检测方法 | |
CN112434647A (zh) | 一种人脸活体检测方法 | |
CN114581456A (zh) | 一种多图像分割模型的构建方法、图像检测方法及装置 | |
CN110363111B (zh) | 基于镜头失真原理的人脸活体检测方法、装置及存储介质 | |
CN113807237B (zh) | 活体检测模型的训练、活体检测方法、计算机设备及介质 | |
CN111079585B (zh) | 图像增强结合伪孪生卷积神经网络的行人再识别方法 | |
JPH11306348A (ja) | 対象物検出装置及び対象物検出方法 | |
CN111898400A (zh) | 一种基于多模态特征融合的指纹活性检测方法 | |
Hadiprakoso | Face anti-spoofing method with blinking eye and hsv texture analysis | |
CN112183357B (zh) | 一种基于深度学习的多尺度活体检测方法及*** | |
CN114565918A (zh) | 一种基于多特征提取模块的人脸静默活体检测方法与*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |