CN111091089A - 一种人脸图像处理方法、装置、电子设备及存储介质 - Google Patents
一种人脸图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111091089A CN111091089A CN201911276211.7A CN201911276211A CN111091089A CN 111091089 A CN111091089 A CN 111091089A CN 201911276211 A CN201911276211 A CN 201911276211A CN 111091089 A CN111091089 A CN 111091089A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- convolution
- preset
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 108
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000000605 extraction Methods 0.000 claims abstract description 46
- 238000013145 classification model Methods 0.000 claims abstract description 17
- 238000011176 pooling Methods 0.000 claims description 84
- 238000004458 analytical method Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 18
- 238000006073 displacement reaction Methods 0.000 claims description 13
- 238000003708 edge detection Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 230000001815 facial effect Effects 0.000 claims description 10
- 230000002265 prevention Effects 0.000 abstract description 7
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 210000000887 face Anatomy 0.000 description 26
- 238000010586 diagram Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 13
- 238000005070 sampling Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004080 punching Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请公开一种人脸图像处理方法、装置、电子设备及存储介质，该方法包括：从单目摄像头拍摄的视频数据中截取多帧包含人脸的图像；通过预先训练的单人脸特征提取网络分别对每帧图像进行特征提取，得到每帧图像对应的人脸特征图像；根据每个人脸特征图像，生成融合人脸特征图像；通过预先训练的分类模型确定融合人脸特征图像中包含的人脸是否为真实人脸。本申请仅利用单目摄像头，分析真实人脸和欺骗人脸表现形式差异，既利用单人脸信息，又综合多时刻下多人脸信息，进行特征融合，防欺骗的准确性高。在单目摄像头上实现人脸防欺骗功能，能防止大多数情况下人脸识别被不法分子欺骗的情况，降低生产成本，环境部署能力强。
Description
技术领域
本申请涉及人脸识别技术领域，具体涉及一种人脸图像处理方法、装置、电子设备及存储介质。
背景技术
近年来，通过人脸识别进行身份认证的技术日趋成熟，被越来越多地应用于考勤、门检、安检和刑侦等领域。但人脸易用照片、视频等方式进行复制，因此不法分子可能用照片或视频假冒合法用户，对身份认证***的安全构成了严重威胁。
相关技术中主要通过双目摄像头、红外感应、摄像头外置传感器等形式，在单个摄像头的基础上，另外增加感知维度，或者直接采用多目摄像头，感知当前人脸的三维空间信息，用以区分真实人脸和欺骗人脸。
但相关技术中在单个摄像头的基础上增加额外设备，防欺骗的成本高。
发明内容
为解决以上问题，本申请提供一种人脸图像处理方法、装置、电子设备及存储介质，在单目摄像头上实现人脸防欺骗功能，既利用单人脸信息，又综合多时刻下多人脸信息，进行特征融合，防欺骗的准确性高，成本低。本申请通过以下几个方面来解决以上问题。
第一方面，本申请实施例提供了一种人脸图像处理方法，包括：
从单目摄像头拍摄的视频数据中截取多帧包含人脸的图像；
通过预先训练的单人脸特征提取网络分别对每帧图像进行特征提取，得到每帧图像对应的人脸特征图像；
根据每个人脸特征图像，生成对应的融合人脸特征图像；
根据所述融合人脸特征图像，通过预先训练的分类模型确定所述融合人脸特征图像中包含的人脸是否为真实人脸。
在本申请一些实施例中，所述单人脸特征提取网络包括依次排列的第一卷积层、第一子模块、第二子模块、第二卷积层、第三卷积层、第四卷积层和第一池化层；所述第一子模块包括依次排列的第五卷积层、第六卷积层和第二池化层；所述第二子模块包括依次排列的第七卷积层、第八卷积层和第三池化层；
所述通过预先训练的单人脸特征提取网络分别对每帧图像进行特征提取，得到每帧图像对应的人脸特征图像，包括：
将第一图像输入所述第一卷积层进行第一预设比例和第一预设迭代次数的卷积处理，得到所述第一图像对应的第一卷积图像，所述第一图像为所述多帧包含人脸的图像中的任意一帧图像；
将所述第一卷积图像输入所述第五卷积层进行第二预设比例和第二预设迭代次数的卷积处理，得到所述第一图像对应的第二卷积图像；
将所述第二卷积图像输入所述第六卷积层进行第三预设比例和第三预设迭代次数的卷积处理，得到所述第一图像对应的第三卷积图像；
将所述第三卷积图像输入所述第二池化层进行第四预设比例的池化处理，得到所述第一图像对应的第一池化图像；
将所述第一池化图像输入所述第七卷积层进行第五预设比例和第四预设迭代次数的卷积处理，得到所述第一图像对应的第四卷积图像；
将所述第四卷积图像输入所述第八卷积层进行第六预设比例和第五预设迭代次数的卷积处理，得到所述第一图像对应的第五卷积图像；
将所述第一池化图像进行第七预设比例的池化处理得到第二池化图像，将所述第五卷积图像和所述第二池化图像输入所述第三池化层，对所述第五卷积图像进行所述第八预设比例的池化处理得到第三池化图像；将所述第二池化图像和所述第三池化图像进行叠加，得到所述第一图像对应的第四池化图像；
将所述第四池化图像输入所述第二卷积层进行第九预设比例和第六预设迭代次数的卷积处理，得到所述第一图像对应的第六卷积图像；
将所述第六卷积图像输入所述第三卷积层进行第十预设比例和第七预设迭代次数的卷积处理，得到所述第一图像对应的第七卷积图像；
将所述第七卷积图像输入第四卷积层进行第十一预设比例和第八预设迭代次数的卷积处理，得到所述第一图像对应的第八卷积图像；
将所述第八卷积图像输入所述第一池化层进行第十二预设比例的池化处理，得到所述第一图像对应的人脸特征图像。
在本申请一些实施例中，所述根据每个人脸特征图像，生成对应的融合人脸特征图像，包括：
将每个人脸特征图像中时间戳相邻的两个人脸特征图像组成特征图像集；
分别对每个特征图像集中包括的两个人脸特征图像进行运动特征分析，得到每个特征图像集对应的运动特征图像；
根据每个特征图像集对应的运动特征图像，生成融合人脸特征图像。
在本申请一些实施例中，所述分别对每个特征图像集中包括的两个人脸特征图像进行运动特征分析，得到每个特征图像集对应的运动特征图像，包括：
通过第一预设算子分别对每个特征图像集包括的两个人脸特征图像进行边缘检测处理；
通过第二预设算子分别对每个特征图像集包括的两个人脸特征图像进行位移相减处理；
将边缘检测处理的结果和位移相减处理的结果进行累加，得到每个特征图像集对应的运动特征图像。
在本申请一些实施例中，所述根据每个特征图像集对应的运动特征图像，生成融合人脸特征图像，包括：
将每个特征图像集对应的运动特征图像中所有像素点的坐标值进行加权平均运算，得到融合人脸特征图像。
在本申请一些实施例中，所述通过预先训练的单人脸特征提取网络分别对每帧图像进行特征提取之前，还包括：
获取预设数目的人脸图像，所述预设数目的人脸图像中包括真实人脸的人脸图像和欺骗人脸的人脸图像；
分别从每个人脸图像中确定出人脸关键点坐标；
分别对每个人脸图像中的人脸关键点坐标的像素值、人脸关键点坐标周围与人脸关键点坐标相邻的一圈像素点的像素值以及除人脸关键点坐标及所述一圈像素点外的其它像素点的像素值进行重置，得到每个人脸图像对应的第一人脸特征图像；
将每个人脸图像分别输入包括依次排列的第一卷积层、第一子模块、第二子模块、第二卷积层、第三卷积层、第四卷积层和第一池化层的网络模型中进行模型训练，得到每个人脸图像对应的第二人脸特征图像；
根据每个人脸图像对应的第一人脸特征图像和第二人脸特征图像，分别计算所述网络模型的精度值；
在模型训练过程中调整所述网络模型的模型参数，直至所述精度值大于或等于预设阈值时，将训练的所述网络模型确定为单人脸特征提取网络。
第二方面，本申请实施例提供了一种人脸图像处理装置，所述装置包括：
图像截取模块，用于从单目摄像头拍摄的视频数据中截取多帧包含人脸的图像；
单人脸特征提取模块，用于通过预先训练的单人脸特征提取网络分别对每帧图像进行特征提取，得到每帧图像对应的人脸特征图像；
特征融合模块，用于根据每个人脸特征图像，生成对应的融合人脸特征图像；
确定模块，用于根据所述融合人脸特征图像，通过预先训练的分类模型确定所述融合人脸特征图像中包含的人脸是否为真实人脸。
在本申请一些实施例中，单人脸特征提取网络包括依次排列的第一卷积层、第一子模块、第二子模块、第二卷积层、第三卷积层、第四卷积层和第一池化层；所述第一子模块包括依次排列的第五卷积层、第六卷积层和第二池化层；所述第二子模块包括依次排列的第七卷积层、第八卷积层和第三池化层；
所述单人脸特征提取模块，用于将第一图像输入所述第一卷积层进行第一预设比例和第一预设迭代次数的卷积处理，得到所述第一图像对应的第一卷积图像，所述第一图像为所述多帧包含人脸的图像中的任意一帧图像；将所述第一卷积图像输入所述第五卷积层进行第二预设比例和第二预设迭代次数的卷积处理，得到所述第一图像对应的第二卷积图像；将所述第二卷积图像输入所述第六卷积层进行第三预设比例和第三预设迭代次数的卷积处理，得到所述第一图像对应的第三卷积图像；将所述第三卷积图像输入所述第二池化层进行第四预设比例的池化处理，得到所述第一图像对应的第一池化图像；将所述第一池化图像输入所述第七卷积层进行第五预设比例和第四预设迭代次数的卷积处理，得到所述第一图像对应的第四卷积图像；将所述第四卷积图像输入所述第八卷积层进行第六预设比例和第五预设迭代次数的卷积处理，得到所述第一图像对应的第五卷积图像；将所述第一池化图像进行第七预设比例的池化处理得到第二池化图像，将所述第五卷积图像和所述第二池化图像输入所述第三池化层，对所述第五卷积图像进行所述第八预设比例的池化处理得到第三池化图像；将所述第二池化图像和所述第三池化图像进行叠加，得到所述第一图像对应的第四池化图像；将所述第四池化图像输入所述第二卷积层进行第九预设比例和第六预设迭代次数的卷积处理，得到所述第一图像对应的第六卷积图像；将所述第六卷积图像输入所述第三卷积层进行第十预设比例和第七预设迭代次数的卷积处理，得到所述第一图像对应的第七卷积图像；将所述第七卷积图像输入第四卷积层进行第十一预设比例和第八预设迭代次数的卷积处理，得到所述第一图像对应的第八卷积图像；将所述第八卷积图像输入所述第一池化层进行第十二预设比例的池化处理，得到所述第一图像对应的人脸特征图像。
在本申请一些实施例中，所述特征融合模块包括：
图像集组成单元，用于将每个人脸特征图像中时间戳相邻的两个人脸特征图像组成特征图像集；
运动特征分析单元，用于分别对每个特征图像集中包括的两个人脸特征图像进行运动特征分析，得到每个特征图像集对应的运动特征图像；
生成单元，用于根据每个特征图像集对应的运动特征图像，生成融合人脸特征图像。
在本申请一些实施例中，所述运动特征分析单元，用于通过第一预设算子分别对每个特征图像集包括的两个人脸特征图像进行边缘检测处理；通过第二预设算子分别对每个特征图像集包括的两个人脸特征图像进行位移相减处理；将边缘检测处理的结果和位移相减处理的结果进行累加，得到每个特征图像集对应的运动特征图像。
在本申请一些实施例中，所述生成单元，用于将每个特征图像集对应的运动特征图像中所有像素点的坐标值进行加权平均运算，得到所述人脸对应的融合特征图像。
在本申请一些实施例中，所述装置还包括：
网络训练模块，用于获取预设数目的人脸图像，所述预设数目的人脸图像中包括真实人脸的人脸图像和欺骗人脸的人脸图像；分别从每个人脸图像中确定出人脸关键点坐标；分别对每个人脸图像中的人脸关键点坐标的像素值、人脸关键点坐标周围与人脸关键点坐标相邻的一圈像素点的像素值以及除人脸关键点坐标及所述一圈像素点外的其它像素点的像素值进行重置，得到每个人脸图像对应的第一人脸特征图像；将每个人脸图像分别输入包括依次排列的第一卷积层、第一子模块、第二子模块、第二卷积层、第三卷积层、第四卷积层和第一池化层的网络模型中进行模型训练，得到每个人脸图像对应的第二人脸特征图像；根据每个人脸图像对应的第一人脸特征图像和第二人脸特征图像，分别计算所述网络模型的精度值；在模型训练过程中调整所述网络模型的模型参数，直至所述精度值大于或等于预设阈值时，将训练的所述网络模型确定为单人脸特征提取网络。
第三方面，本申请实施例提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行以实现上述第一方面所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现上述第一方面所述的方法。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
本申请中仅利用单目摄像头，分析真实人脸和欺骗人脸表现形式差异，既利用单人脸信息，又综合多时刻下多人脸信息，进行特征融合，防欺骗的准确性高。在单目摄像头上实现人脸防欺骗功能，能防止大多数情况下人脸识别被不法分子欺骗的情况，降低生产成本，环境部署能力强。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变的明显，或通过本申请的实践了解到。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本申请实施例所提供的一种人脸图像处理方法的流程示意图；
图2示出了本申请实施例所提供的视频数据间隔采样的示意图；
图3示出了本申请实施例所提供的已采样连续图片帧的采样的示意图；
图4示出了本申请实施例所提供的单人脸特征提取网络的结构示意图；
图5示出了本申请实施例所提供的第一子模块和第二子模块的结构示意图；
图6示出了本申请实施例所提供的第一子模块与第二子模块之间的数据流向的示意图；
图7示出了本申请实施例所提供的人脸图像的示意图；
图8示出了图7所示的人脸图像对应的人脸特征图；
图9示出了本申请实施例所提供的生成多个人脸特征图的融合特征图的流程示意图；
图10示出了图9中的分析模块(2)的结构示意图；
图11示出了本申请实施例所提供的分类模型的结构示意图；
图12示出了本申请实施例所提供的一种人脸图像处理装置的结构示意图；
图13示出了本申请实施例所提供的一种电子设备的结构示意图；
图14示出了本申请实施例所提供的一种计算机可读存储介质的示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
本申请实施例提供一种人脸图像处理方法、装置、电子设备及存储介质，下面结合附图进行说明。
本申请实施例提供了一种人脸图像处理方法，该方法通过单目摄像头拍摄用户的视频数据，从视频数据中截取包括人脸的图像，对包括人脸的图像进行单人脸特征提取，然后对用户在不同时间的人脸特征进行特征融合，根据最终得到的融合人脸特征图像判断用户的人脸是否为真实人脸。由于真实人脸在不同时间必然会有表情变化或肌肉的微小颤动等，该方法在人脸图像处理过程中对不同时间的人脸特征进行特征融合，综合考虑了真实人脸随时间变化的特性，大大提高了真实人脸检测的准确性。而且仅使用单目摄像头即可实现真实人脸检测，无需使用额外的摄像头或传感设备等，成本低。
参见图1，该方法包括以下步骤：
步骤101：从单目摄像头拍摄的视频数据中截取多帧包含人脸的图像。
本申请实施例的执行主体为用于人脸图像处理的终端，该终端上设置有单目摄像头，该单目摄像头用于拍摄人体上侧，尤其是人脸部位。当用户处于该单目摄像头的拍摄范围内时，该单目摄像头会拍摄用户的视频数据。终端按照预设采样间隔从视频数据中截取多帧图像；通过预设的人脸检测模型检测每帧图像中是否包含人脸，丢弃不包含人脸的图像。
上述预设采样间隔可以为1/4或1/5等，预设采样间隔为1/4时即为从视频数据中每4帧中截取1帧图像。预设采样间隔为1/5时即为从视频数据中每5帧中截取1帧图像。
终端通过单目摄像头拍摄得到视频数据后，终端按照一定频率截取视频片段，如图2所示，以每隔1秒进行采样为例，图2中Tb、Td、Tf为某个时间段内的采样视频。截取出视频片段后，进行图像帧的间隔性采样。
上述截取视频片段的频率可以为1s、3s或5s等，即Ta+Tb＝1s，或者Ta+Tb＝3s，或者Ta+Tb＝5s。本申请实施例并不限定截取视频片段的频率，实际应用中可根据具体的应用场景来确定。例如，对于通道闸机、安检过道、人脸打卡等应用场景，短时间内的人脸切换会比较块，这时的视频片段截取间隔往往需要小于1s，用于增大真实人脸检测的实时性。而对于银行ATM机、移动端手机人脸输入、密码箱人脸验证等应用场景，人脸切换不太频繁，视频片段截取间隔往往可以增大到3-5s，用于增高设备的安全等级。
对于截取出的任意一个视频片段，如图3所示，把视频片段转换为按时间顺序排布的一帧一帧的图像，然后按照上述预设采样频率对排序好的图像序列进行采样。例如，若预设采样频率为1/4，则每四帧图像中抽取一张图像，图3中黑色的图像为抽取的图像，保存抽取出的图像，以便后续处理。
上述抽取的图像的帧数可以在5-10帧之间，本申请实施例并不限制抽取的图像帧数，实际应用中可根据应用场景对人脸防欺骗检测的实时性的要求来确定。抽取的帧数越多，检测结果的准确性越好，但处理过程相应的耗时也会增多。抽取的帧数少，处理过程耗时短，实时性高，但相应地准确性会差一些。对于通道闸机、安检过道、人脸打卡等应用场景，短时间内的人脸切换会比较块，对人脸检测的实时性要求很高，在这些应用场景中，可以截取5帧或6帧等数目较少的图像，用于增大设备的实时性。而对于银行ATM机、移动端手机人脸输入、密码箱人脸验证等对实时性要求不是很高，但是对安全等级要求很高的应用场景，可以截取9帧或10帧等数目较多的图像，以提高人脸防欺骗检测的准确性，增高设备的安全等级。
通过上述方式从拍摄的视频数据中截取出多帧图像后，通过预设的人脸检测模型检测截取出的每帧图像中是否包含人脸，保存包含人脸的图像，丢弃不包含人脸的图像。
步骤102：通过预先训练的单人脸特征提取网络分别对每帧图像进行特征提取，得到每帧图像对应的人脸特征图像。
在本申请实施例提供的方法上线应用之前，预先训练了用于提取人脸特征的单人脸特征提取网络，该单人脸特征提取网络的结构如图4所示，该单人脸特征提取网络分为7个层次，即依次排列的第一卷积层①、第一子模块②、第二子模块③、第二卷积层④、第三卷积层⑤、第四卷积层⑥和第一池化层⑦。
其中，如图5所示，第一子模块②包括依次排列的第五卷积层(a)、第六卷积层(b)和第二池化层(c)；第二子模块③包括依次排列的第七卷积层(d)、第八卷积层(e)和第三池化层(f)。第二池化层(c)的输出作为第七卷积层的输入(d)，且第二池化层(c)的输出经预设比例的池化后与第三池化层(f)的输出进行叠加，得到的叠加结果作为第二卷积层④的输入。上述预设比例可以为1/2。
在图4所示的单人脸特征提取网络中，上一层的输出作为下一层的输入，每层的输出结果的表示形式为(Batch_size，W，H，Channel)。其中，第一个特征矩阵纬度batch_size表示可以同时输入处理的图像数量，第二个特征矩阵纬度W表示图像的宽度，第三个特征矩阵纬度H表示图像的高度，第四个特征矩阵纬度channel表示该层输出多少个特征图像。
通过图4所示的单人脸特征提取网络进行特征提取的过程包括：
将第一图像输入第一卷积层进行第一预设比例和第一预设迭代次数的卷积处理，得到第一图像对应的第一卷积图像，第一图像为多帧包含人脸的图像中的任意一帧图像；将第一卷积图像输入第五卷积层进行第二预设比例和第二预设迭代次数的卷积处理，得到第一图像对应的第二卷积图像；将第二卷积图像输入第六卷积层进行第三预设比例和第三预设迭代次数的卷积处理，得到第一图像对应的第三卷积图像；将第三卷积图像输入第二池化层进行第四预设比例的池化处理，得到第一图像对应的第一池化图像；将第一池化图像输入第七卷积层进行第五预设比例和第四预设迭代次数的卷积处理，得到第一图像对应的第四卷积图像；将第四卷积图像输入第八卷积层进行第六预设比例和第五预设迭代次数的卷积处理，得到第一图像对应的第五卷积图像；将第一池化图像进行第七预设比例的池化处理得到第二池化图像，将第五卷积图像和第二池化图像输入第三池化层，对第五卷积图像进行第八预设比例的池化处理得到第三池化图像；将第二池化图像和第三池化图像进行叠加，得到第一图像对应的第四池化图像；将第四池化图像输入第二卷积层进行第九预设比例和第六预设迭代次数的卷积处理，得到第一图像对应的第六卷积图像；将第六卷积图像输入第三卷积层进行第十预设比例和第七预设迭代次数的卷积处理，得到第一图像对应的第七卷积图像；将第七卷积图像输入第四卷积层进行第十一预设比例和第八预设迭代次数的卷积处理，得到第一图像对应的第八卷积图像；将第八卷积图像输入第一池化层进行第十二预设比例的池化处理，得到第一图像对应的人脸特征图像。
其中，第一预设比例可以为1/2，第一预设迭代次数可以为1；第二预设比例可以为1，第二预设迭代次数可以为128；第三预设比例可以为1，第三预设迭代次数可以为128；第四预设比例可以为1/2；第五预设比例可以为1，第四预设迭代次数可以为128；第六预设比例可以为1，第五预设迭代次数可以为128；第七预设比例可以为1/2；第八预设比例可以为1/2，第九预设比例可以为1，第六预设迭代次数可以为64；第十预设比例可以为1，第七预设迭代次数可以为32；第十一预设比例可以为1，第八预设迭代次数可以为1；第十二预设比例可以为1/2。
上述第一预设比例至第十二预设比例的取值，以及第一预设迭代次数至第八预设迭代次数的取值，仅仅是示意性地，本申请实施例中并不限制第一预设比例至第十二预设比例的取值以及第一预设迭代次数至第八预设迭代次数的取值，实际应用中第一预设比例至第十二预设比例的取值以及第一预设迭代次数至第八预设迭代次数的取值，是通过大量的人脸图像对图4所示结构的网络模型进行训练得到的。
假设输入图4所示的单人脸网络结构的包含人脸的图像的尺寸为1024*1024，且第一预设比例为1/2，第一预设迭代次数为1；第二预设比例为1，第二预设迭代次数为128；第三预设比例为1，第三预设迭代次数为128；第四预设比例为1/2；第五预设比例为1，第四预设迭代次数为128；第六预设比例为1，第五预设迭代次数为128；第七预设比例为1/2；第八预设比例为1/2，第九预设比例为1，第六预设迭代次数为64；第十预设比例为1，第七预设迭代次数为32；第十一预设比例为1，第八预设迭代次数为1；第十二预设比例为1/2。则图4所示各层的输出结果的特征矩阵纬度如下所示：
第一卷积层①：(4，512，512，1)
第一子模块②：(4，256，256，256)
第二子模块③：(4，128，128，256)
第二卷积层④：(4，128，128，64)
第三卷积层⑤：(4，128，128，32)
第四卷积层⑥：(4，128，128，1)
第一池化层⑦：(4，64，64，1)
图4所示的⑧为特征图像输出，其输出结果可表示为(64，64)的图像，即输出结果为宽和高均为64的人脸特征图像。
在图5所示的第一子模块②和第二子模块③的结构图中，各层的输出结构的特征矩阵纬度如下所示：
第五卷积层(a)：(4，512，512，128)
第六卷积层(b)：(4，512，512，128)
第二池化层(c)：(4，256，256，128)
第七卷积层(d)：(4，256，256，128)
第八卷积层(e)：(4，256，256，128)
第三池化层(f)：(4，128，128，128)
本申请实施例中，上述各层的特征矩阵纬度的取值仅用于示意，实际应用中可根据需求设计各层输出结果中各个特征矩阵纬度的取值。
如图6所示，第一子模块②中第二池化层(c)的输出结果作为第二子模块③中第七卷积层(d)的输入。同时，第二池化层(c)的输出结果还经过一次1/2池化，之后进入第二子模块③中的第三池化层(f)的输出，同第三池化层(f)的输出进行叠加，作为第一子模块②和第二子模块③的最终输出，然后再经过图4中后面的4层网络，得到最终的结果。
在本申请实施例提供的方法上线应用之前，预先训练图4所示网络结构的单人脸特征提取网络，具体训练过程包括：
获取预设数目的人脸图像，预设数目的人脸图像中包括真实人脸的人脸图像和欺骗人脸的人脸图像；分别从每个人脸图像中确定出人脸关键点坐标；分别对每个人脸图像中的人脸关键点坐标的像素值、人脸关键点坐标周围与人脸关键点坐标相邻的一圈像素点的像素值以及除人脸关键点坐标及一圈像素点外的其它像素点的像素值进行重置，得到每个人脸图像对应的第一人脸特征图像；将每个人脸图像分别输入包括依次排列的第一卷积层、第一子模块、第二子模块、第二卷积层、第三卷积层、第四卷积层和第一池化层的网络模型中进行模型训练，得到每个人脸图像对应的第二人脸特征图像；根据每个人脸图像对应的第一人脸特征图像和第二人脸特征图像，分别计算网络模型的精度值；在模型训练过程中调整网络模型的模型参数，直至精度值大于或等于预设阈值时，将训练的网络模型确定为单人脸特征提取网络。
其中，真实人脸的人脸图像为直接对人的人脸进行拍摄得到的人脸图像，欺骗人脸为对非活体人脸进行拍摄得到的人脸图像，包括对包含人脸的图像或视频等载体进行拍摄得到的人脸图像，以及包括对带有仿真立体面具的人的面部进行拍摄得到的人脸图像等。
上述人脸关键点包括人脸的轮廓、双眼、眉毛、鼻子及嘴巴等关键位置的像素点。其中，人脸的轮廓、双眼、眉毛、鼻子及嘴巴等关键位置的像素点可以取50或60等数目个像素点，一个人脸关键点周围与该人脸关键点相邻的一圈像素点可以取9个与该人脸关键点相邻的像素点。
由于在单人脸特征提取网络中只关注人脸关键点，所以在获取预设数目的人脸图像时，可以采用一些已有的人脸定点的模型文件，并从这些模型文件中获取出人脸关键点坐标，确定出人脸关键点坐标后，对于每个人脸关键点坐标，进一步定位出该人脸关键点坐标周围与该人脸关键点坐标相邻的一圈9个像素点。然后分别对人脸图像中人脸关键点坐标的像素值、人脸关键点坐标周围与人脸关键点坐标相邻的一圈像素点的像素值以及除人脸关键点坐标及所述一圈像素点外的其它像素点的像素值进行重置，得到人脸图像对应的第一人脸特征图像。
其中，可以将人脸图像中的人脸关键点及与其相邻的一圈9个像素点的灰度值设置为第一预设数值，将除人脸关键点及与其相邻的一圈9个像素点外的其它像素点的灰度值设置为第二预设数值，将该人脸图像转换为预设尺寸的灰度图像。预设尺寸可以为64*64。第一预设数值与第二预设数值为区别较大的两个数值，如第一预设数值可以取值为0、10或50等，第二预设数值可以为200、230或255等。
本申请实施例还可以保持人脸图像中的人脸关键点及与其相邻的一圈9个像素点的灰度值不变，将除人脸关键点及与其相邻的一圈9个像素点以外的其它像素点的灰度值重置为第二预设数值，将该人脸图像转换为预设尺寸的灰度图像。第二预设数值可以为200、230或255等。
本申请实施例还可以将人脸图像中人脸关键点及与其相邻的一圈9个像素点的RGB(Red-Green-Blue)的值修改为第三预设数值，将除人脸关键点及与其相邻的一圈9个像素点以外的其它像素点的RGB的值修改为第四预设数值。第三预设数值可以为(235,235,235)或(240,240,240)等。第四预设数值可以为(10,10,10)或(20,20,20)等。
通过上述重置像素值的方式得到人脸图像对应的第一人脸特征图像，能够使得人脸关键位置处的像素点和其它像素点明显区别开来，将人脸关键点体现在尺寸较小的人脸特征图像中，能够减少后续运算过程的数据量，提高运算速度。
如图7所示的人脸图像中标出了人脸的轮廓、双眼、眉毛、鼻子及嘴巴等关键位置的像素点，将这些人脸关键点及与这些像素点相邻的一圈9个像素点的像素值重置为第一预设数值，将其它的像素点重置为第二预设数值，得到图8所示的第一人脸特征图像。图8所示的第一人脸特征图像中核心的特性信息就是图7中的人脸关键点，图8中第一人脸特征图像的内容核心即为人脸中的关键位置点。通过这样的方式，保存人脸特征，以方便后续分析。
通过上述方式获取到大量的人脸图像及每个人脸图像对应的第一人脸特征图像后，将这些人脸图像及其对应的第一人脸特征图像输入图4所示结构的网络中进行模型训练，通过图4所示的网络模型运算得到输入的人脸图像对应的第二人脸特征图像。计算该网络模型运算出的第二人脸图像与上述第一人脸图像的相似度，将计算的相似度作为当前网络模型对应的精度值。将该精度值与预设阈值进行比较，若精度值小于预设阈值，则重新调整网络模型的模型参数，然后按照上述方式将人脸图像再次输入调整参数后的网络模型中继续进行训练，直至训练到计算出的精度值大于或等于预设阈值时，停止训练，将训练的网络模型确定为单人脸特征提取网络。
其中，上述预设阈值可以为90％或95％等。上述模型参数包括上文所述的第一预设比例至第十二预设比例以及第一预设迭代次数至第八预设迭代次数。
该单人脸特征提取网络上线应用之后，通过步骤101获取到包含人脸的图像后，将包含人脸的图像输入到图4所示的单人脸特征提取网络中，得到包含人脸的图像对应的人脸特征图像。
本申请实施例中将人脸的轮廓、双眼、眉毛、鼻子、嘴巴等位置的关键点体现在尺寸较小的人脸特征图像中，能够加速算法的运算过程，减少人脸防欺骗检测的耗时，提高检测效率。
步骤103：根据每个人脸特征图像，生成对应的融合人脸特征图像。
通过步骤102的操作获得每个包含人脸的图像对应的人脸特征图像后，将每个人脸特征图像中时间戳相邻的两个人脸特征图像组成特征图像集；分别对每个特征图像集中包括的两个人脸特征图像进行运动特征分析，得到每个特征图像集对应的运动特征图像；根据每个特征图像集对应的运动特征图像，生成融合人脸特征图像。其中，人脸特征图像对应的时间戳可以为人脸特征图像对应的步骤101中所述的包含人脸的图像的时间戳。
上述对两两相邻的人脸特征图像进行运动特征分析，具体通过第一预设算子分别对特征图像集包括的两个人脸特征图像进行边缘检测处理；通过第二预设算子分别对特征图像集包括的两个人脸特征图像进行位移相减处理；将边缘检测处理的结果和位移相减处理的结果进行累加，得到特征图像集对应的运动特征图像。
第一预设算子用于对人脸进行边缘检测，第一预设算子可以为sobel(索贝尔)算子。第二预设算子用于对时间上相邻的两个人脸特征图像进行位移相减操作，第二预设算子可以为substract(减法)算子。
通过上述方式得到每个特征图像集对应的运动特征图像后，将每个特征图像集对应的运动特征图像中所有像素点的坐标值进行加权平均运算，得到融合人脸特征图像。具体地，根据每个特征图像集对应的运动特征图像，通过如下公式(1)生成融合人脸特征图像。
在上述公式(1)中Sfinal为融合人脸特征图像，i为人脸特征图像的编号，Ci为第i个人脸特征图像。
为了便于理解上述特征融合过程，下面结合附图进行进一步说明。假设步骤101中获得了4个包含人脸的特征图像A、B、D和E，通过步骤102获得了对应的4个人脸特征图像。如图9所示，这4个人脸特征图像分别用A、B、D和E表示，将这4个人脸特征图像中两两相邻的人脸特征图像输入到分析模块(2)中。即将人脸特征图像A和B，B和D，以及D和E这三种组合分别输入到分析模块(2)中。
假设第一预设算子为sobel算子，第二预设算子为substract算子，则分析模块(2)的结构如图10所示，图10中将1/2A和1/2B输入sobel算子，1/2A和1/2B输入substract算子，经过两个算子的两轮处理后累加输出C1，C1即为人脸特征图像A和B对应的运动特征图像。
对于人脸特征图像B和D，以及D和E这两种组合，同样地可以通过图10所示的分析模块(2)进行运动特征分析，得到人脸特征图像B和D对应的运动特征图像C2，以及人脸特征图像D和E对应的运动特征图像C3。通过上述方式得到人脸特征图像A和B对应的运动特征图像C1，人脸特征图像B和D对应的运动特征图像C2，以及人脸特征图像D和E对应的运动特征图像C3，之后通过上述公式(1)计算融合人脸特征图像。
即
步骤104：根据融合人脸特征图像，通过预先训练的分类模型确定融合人脸特征图像中包含的人脸是否为真实人脸。
上述预先训练的分类模型的结构如图11所示，该分类模型包括依次排列的卷积层、池化层、卷积层、池化层、卷积层、池化层、全连接层、全连接层。该分类模型为二分类模型，用于判别输入的融合人脸特征图像的真假。若该分类模型判断输入的融合人脸特征图像为真，则表明该融合人脸特征图像中包含的的人脸为真实人脸。若该分类模型判断输入的融合人脸特征图像为假，则表明该融合人脸特征图像中包含的人脸为欺骗人脸。
在应用上述分类模型之前，本申请实施例采集各种人脸的数据，包含一些真实人脸的照片、视频，以及欺骗人脸的照片、视频等，收取到这些以后，进行视频帧的提取、人脸定位识别、剪切、筛选等步骤，分类送入图11所示的网络结构中，训练得到最终的分类模型。
通过上述后103的操作得到融合人脸特征图像后，将该融合人脸特征图像输入到图11所示的分类模型中，得到判断结果。根据该判断结果确认当前摄像头前面的人脸是否是真实人脸。
本申请实施例利用现有的单目摄像头，分析真实人脸和欺骗人脸的表现形式差异，既利用单人脸的信息，又综合了多时刻下多人脸的信息，进行特征融合，综合特性信息，进行防欺骗分析，防欺骗的准确性很高。在单目摄像头上实现人脸防欺骗功能，能防止大多数情况下人脸识别被不法分子用照片或视频欺骗设备，降低生产成本，提高环境部署能力。
本申请实施例还提供一种人脸防欺骗检测装置，该装置用于执行上述实施例所述的人脸防欺骗检测方法，如图12所示，该装置包括：
图像截取模块1201，用于从单目摄像头拍摄的视频数据中截取多帧包含人脸的图像；
单人脸特征提取模块1202，用于通过预先训练的单人脸特征提取网络分别对每帧图像进行特征提取，得到每帧图像对应的人脸特征图像；
特征融合模块1203，用于根据每个人脸特征图像，生成对应的融合人脸特征图像；
确定模块1204，用于根据融合人脸特征图像，通过预先训练的分类模型确定融合人脸特征图像中包含的人脸是否为真实人脸。
上述单人脸特征提取网络包括依次排列的第一卷积层、第一子模块、第二子模块、第二卷积层、第三卷积层、第四卷积层和第一池化层；第一子模块包括依次排列的第五卷积层、第六卷积层和第二池化层；第二子模块包括依次排列的第七卷积层、第八卷积层和第三池化层；
单人脸特征提取模块1202，用于将第一图像输入第一卷积层进行第一预设比例和第一预设迭代次数的卷积处理，得到第一图像对应的第一卷积图像，第一图像为多帧包含人脸的图像中的任意一帧图像；将第一卷积图像输入第五卷积层进行第二预设比例和第二预设迭代次数的卷积处理，得到第一图像对应的第二卷积图像；将第二卷积图像输入第六卷积层进行第三预设比例和第三预设迭代次数的卷积处理，得到第一图像对应的第三卷积图像；将第三卷积图像输入第二池化层进行第四预设比例的池化处理，得到第一图像对应的第一池化图像；将第一池化图像输入第七卷积层进行第五预设比例和第四预设迭代次数的卷积处理，得到第一图像对应的第四卷积图像；将第四卷积图像输入第八卷积层进行第六预设比例和第五预设迭代次数的卷积处理，得到第一图像对应的第五卷积图像；将第一池化图像进行第七预设比例的池化处理得到第二池化图像，将第五卷积图像和第二池化图像输入第三池化层，对第五卷积图像进行第八预设比例的池化处理得到第三池化图像；将第二池化图像和第三池化图像进行叠加，得到第一图像对应的第四池化图像；将第四池化图像输入第二卷积层进行第九预设比例和第六预设迭代次数的卷积处理，得到第一图像对应的第六卷积图像；将第六卷积图像输入第三卷积层进行第十预设比例和第七预设迭代次数的卷积处理，得到第一图像对应的第七卷积图像；将第七卷积图像输入第四卷积层进行第十一预设比例和第八预设迭代次数的卷积处理，得到第一图像对应的第八卷积图像；将第八卷积图像输入第一池化层进行第十二预设比例的池化处理，得到第一图像对应的人脸特征图像。
上述特征融合模块1203包括：
图像集组成单元，用于将每个人脸特征图像中时间戳相邻的两个人脸特征图像组成特征图像集；
运动特征分析单元，用于分别对每个特征图像集中包括的两个人脸特征图像进行运动特征分析，得到每个特征图像集对应的运动特征图像；
特征融合单元，用于根据每个特征图像集对应的运动特征图像，生成融合人脸特征图像。
上述运动特征分析单元，用于通过第一预设算子分别对特征图像集包括的两个人脸特征图像进行边缘检测处理；通过第二预设算子分别对特征图像集包括的两个人脸特征图像进行位移相减处理；将边缘检测处理的结果和位移相减处理的结果进行累加，得到特征图像集对应的运动特征图像。
上述特征融合单元，用于将每个特征图像集对应的运动特征图像中所有像素点的坐标值进行加权平均运算，得到所述人脸对应的融合特征图像。
在本申请实施例中，该装置还包括：网络训练模块，用于获取预设数目的人脸图像，预设数目的人脸图像中包括真实人脸的人脸图像和欺骗人脸的人脸图像；分别从每个人脸图像中确定出人脸关键点坐标；分别对每个人脸图像中的人脸关键点坐标的像素值、人脸关键点坐标周围与人脸关键点坐标相邻的一圈像素点的像素值以及除人脸关键点坐标及一圈像素点外的其它像素点的像素值进行重置，得到每个人脸图像对应的第一人脸特征图像；将每个人脸图像分别输入包括依次排列的第一卷积层、第一子模块、第二子模块、第二卷积层、第三卷积层、第四卷积层和第一池化层的网络模型中进行模型训练，得到每个人脸图像对应的第二人脸特征图像；根据每个人脸图像对应的第一人脸特征图像和第二人脸特征图像，分别计算网络模型的精度值；在模型训练过程中调整网络模型的模型参数，直至精度值大于或等于预设阈值时，将训练的网络模型确定为单人脸特征提取网络。
本申请实施例利用现有的单目摄像头，分析真实人脸和欺骗人脸的表现形式差异，既利用单人脸的信息，又综合了多时刻下多人脸的信息，进行特征融合，综合特性信息，进行防欺骗分析，防欺骗的准确性很高。在单目摄像头上实现人脸防欺骗功能，能防止大多数情况下人脸识别被不法分子用照片或视频欺骗设备，降低生产成本，提高环境部署能力。
本申请实施方式还提供一种与前述实施方式所提供的人脸图像处理方法对应的电子设备。请参考图13，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图13所示，所述电子设备20可以包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的人脸图像处理方法。
其中，存储器201可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个物理端口203(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述图像处理方法可以应用于处理器200中，或者由处理器200实现。
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的人脸图像处理方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的人脸图像处理方法对应的计算机可读存储介质，请参考图14，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的人脸图像处理方法。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的人脸图像处理方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (14)
1.一种人脸图像处理方法，其特征在于，包括：
从单目摄像头拍摄的视频数据中截取多帧包含人脸的图像；
通过预先训练的单人脸特征提取网络分别对每帧图像进行特征提取，得到每帧图像对应的人脸特征图像；
根据每个人脸特征图像，生成对应的融合人脸特征图像；
根据所述融合人脸特征图像，通过预先训练的分类模型确定所述融合人脸特征图像中包含的人脸是否为真实人脸。
2.根据权利要求1所述的方法，其特征在于，所述单人脸特征提取网络包括依次排列的第一卷积层、第一子模块、第二子模块、第二卷积层、第三卷积层、第四卷积层和第一池化层；所述第一子模块包括依次排列的第五卷积层、第六卷积层和第二池化层；所述第二子模块包括依次排列的第七卷积层、第八卷积层和第三池化层；
所述通过预先训练的单人脸特征提取网络分别对每帧图像进行特征提取，得到每帧图像对应的人脸特征图像，包括：
将第一图像输入所述第一卷积层进行第一预设比例和第一预设迭代次数的卷积处理，得到所述第一图像对应的第一卷积图像，所述第一图像为所述多帧包含人脸的图像中的任意一帧图像；
将所述第一卷积图像输入所述第五卷积层进行第二预设比例和第二预设迭代次数的卷积处理，得到所述第一图像对应的第二卷积图像；
将所述第二卷积图像输入所述第六卷积层进行第三预设比例和第三预设迭代次数的卷积处理，得到所述第一图像对应的第三卷积图像；
将所述第三卷积图像输入所述第二池化层进行第四预设比例的池化处理，得到所述第一图像对应的第一池化图像；
将所述第一池化图像输入所述第七卷积层进行第五预设比例和第四预设迭代次数的卷积处理，得到所述第一图像对应的第四卷积图像；
将所述第四卷积图像输入所述第八卷积层进行第六预设比例和第五预设迭代次数的卷积处理，得到所述第一图像对应的第五卷积图像；
将所述第一池化图像进行第七预设比例的池化处理得到第二池化图像，将所述第五卷积图像和所述第二池化图像输入所述第三池化层，对所述第五卷积图像进行所述第八预设比例的池化处理得到第三池化图像；将所述第二池化图像和所述第三池化图像进行叠加，得到所述第一图像对应的第四池化图像；
将所述第四池化图像输入所述第二卷积层进行第九预设比例和第六预设迭代次数的卷积处理，得到所述第一图像对应的第六卷积图像；
将所述第六卷积图像输入所述第三卷积层进行第十预设比例和第七预设迭代次数的卷积处理，得到所述第一图像对应的第七卷积图像；
将所述第七卷积图像输入第四卷积层进行第十一预设比例和第八预设迭代次数的卷积处理，得到所述第一图像对应的第八卷积图像；
将所述第八卷积图像输入所述第一池化层进行第十二预设比例的池化处理，得到所述第一图像对应的人脸特征图像。
3.根据权利要求1所述的方法，其特征在于，所述根据每个人脸特征图像，生成对应的融合人脸特征图像，包括：
将每个人脸特征图像中时间戳相邻的两个人脸特征图像组成特征图像集；
分别对每个特征图像集中包括的两个人脸特征图像进行运动特征分析，得到每个特征图像集对应的运动特征图像；
根据每个特征图像集对应的运动特征图像，生成融合人脸特征图像。
4.根据权利要求3所述的方法，其特征在于，所述分别对每个特征图像集中包括的两个人脸特征图像进行运动特征分析，得到每个特征图像集对应的运动特征图像，包括：
通过第一预设算子分别对每个特征图像集包括的两个人脸特征图像进行边缘检测处理；
通过第二预设算子分别对每个特征图像集包括的两个人脸特征图像进行位移相减处理；
将边缘检测处理的结果和位移相减处理的结果进行累加，得到每个特征图像集对应的运动特征图像。
5.根据权利要求3所述的方法，其特征在于，所述根据每个特征图像集对应的运动特征图像，生成融合人脸特征图像，包括：
将每个特征图像集对应的运动特征图像中所有像素点的坐标值进行加权平均运算，得到所述人脸对应的融合特征图像。
6.根据权利要求2所述的方法，其特征在于，所述通过预先训练的单人脸特征提取网络分别对每帧图像进行特征提取之前，还包括：
获取预设数目的人脸图像，所述预设数目的人脸图像中包括真实人脸的人脸图像和欺骗人脸的人脸图像；
分别从每个人脸图像中确定出人脸关键点坐标；
分别对每个人脸图像中的人脸关键点坐标的像素值、人脸关键点坐标周围与人脸关键点坐标相邻的一圈像素点的像素值以及除人脸关键点坐标及所述一圈像素点外的其它像素点的像素值进行重置，得到每个人脸图像对应的第一人脸特征图像；
将每个人脸图像分别输入包括依次排列的第一卷积层、第一子模块、第二子模块、第二卷积层、第三卷积层、第四卷积层和第一池化层的网络模型中进行模型训练，得到每个人脸图像对应的第二人脸特征图像；
根据每个人脸图像对应的第一人脸特征图像和第二人脸特征图像，分别计算所述网络模型的精度值；
在模型训练过程中调整所述网络模型的模型参数，直至所述精度值大于或等于预设阈值时，将训练的所述网络模型确定为单人脸特征提取网络。
7.一种人脸图像处理装置，其特征在于，所述装置包括：
图像截取模块，用于从单目摄像头拍摄的视频数据中截取多帧包含人脸的图像；
单人脸特征提取模块，用于通过预先训练的单人脸特征提取网络分别对每帧图像进行特征提取，得到每帧图像对应的人脸特征图像；
特征融合模块，用于根据每个人脸特征图像，生成对应的融合人脸特征图像；
确定模块，用于根据所述融合人脸特征图像，通过预先训练的分类模型确定所述融合人脸特征图像中包含的人脸是否为真实人脸。
8.根据权利要求7所述的装置，其特征在于，单人脸特征提取网络包括依次排列的第一卷积层、第一子模块、第二子模块、第二卷积层、第三卷积层、第四卷积层和第一池化层；所述第一子模块包括依次排列的第五卷积层、第六卷积层和第二池化层；所述第二子模块包括依次排列的第七卷积层、第八卷积层和第三池化层；
所述单人脸特征提取模块，用于将第一图像输入所述第一卷积层进行第一预设比例和第一预设迭代次数的卷积处理，得到所述第一图像对应的第一卷积图像，所述第一图像为所述多帧包含人脸的图像中的任意一帧图像；将所述第一卷积图像输入所述第五卷积层进行第二预设比例和第二预设迭代次数的卷积处理，得到所述第一图像对应的第二卷积图像；将所述第二卷积图像输入所述第六卷积层进行第三预设比例和第三预设迭代次数的卷积处理，得到所述第一图像对应的第三卷积图像；将所述第三卷积图像输入所述第二池化层进行第四预设比例的池化处理，得到所述第一图像对应的第一池化图像；将所述第一池化图像输入所述第七卷积层进行第五预设比例和第四预设迭代次数的卷积处理，得到所述第一图像对应的第四卷积图像；将所述第四卷积图像输入所述第八卷积层进行第六预设比例和第五预设迭代次数的卷积处理，得到所述第一图像对应的第五卷积图像；将所述第一池化图像进行第七预设比例的池化处理得到第二池化图像，将所述第五卷积图像和所述第二池化图像输入所述第三池化层，对所述第五卷积图像进行所述第八预设比例的池化处理得到第三池化图像；将所述第二池化图像和所述第三池化图像进行叠加，得到所述第一图像对应的第四池化图像；将所述第四池化图像输入所述第二卷积层进行第九预设比例和第六预设迭代次数的卷积处理，得到所述第一图像对应的第六卷积图像；将所述第六卷积图像输入所述第三卷积层进行第十预设比例和第七预设迭代次数的卷积处理，得到所述第一图像对应的第七卷积图像；将所述第七卷积图像输入第四卷积层进行第十一预设比例和第八预设迭代次数的卷积处理，得到所述第一图像对应的第八卷积图像；将所述第八卷积图像输入所述第一池化层进行第十二预设比例的池化处理，得到所述第一图像对应的人脸特征图像。
9.根据权利要求8所述的装置，其特征在于，所述特征融合模块包括：
图像集组成单元，用于将每个人脸特征图像中时间戳相邻的两个人脸特征图像组成特征图像集；
运动特征分析单元，用于分别对每个特征图像集中包括的两个人脸特征图像进行运动特征分析，得到每个特征图像集对应的运动特征图像；
生成单元，用于根据每个特征图像集对应的运动特征图像，生成融合人脸特征图像。
10.根据权利要求9所述的装置，其特征在于，
所述运动特征分析单元，用于通过第一预设算子分别对每个特征图像集包括的两个人脸特征图像进行边缘检测处理；通过第二预设算子分别对每个特征图像集包括的两个人脸特征图像进行位移相减处理；将边缘检测处理的结果和位移相减处理的结果进行累加，得到每个特征图像集对应的运动特征图像。
11.根据权利要求9所述的装置，其特征在于，所述生成单元，用于将每个特征图像集对应的运动特征图像中所有像素点的坐标值进行加权平均运算，得到所述人脸对应的融合特征图像。
12.根据权利要求8所述的装置，其特征在于，所述装置还包括：
网络训练模块，用于获取预设数目的人脸图像，所述预设数目的人脸图像中包括真实人脸的人脸图像和欺骗人脸的人脸图像；分别从每个人脸图像中确定出人脸关键点坐标；分别对每个人脸图像中的人脸关键点坐标的像素值、人脸关键点坐标周围与人脸关键点坐标相邻的一圈像素点的像素值以及除人脸关键点坐标及所述一圈像素点外的其它像素点的像素值进行重置，得到每个人脸图像对应的第一人脸特征图像；将每个人脸图像分别输入包括依次排列的第一卷积层、第一子模块、第二子模块、第二卷积层、第三卷积层、第四卷积层和第一池化层的网络模型中进行模型训练，得到每个人脸图像对应的第二人脸特征图像；根据每个人脸图像对应的第一人脸特征图像和第二人脸特征图像，分别计算所述网络模型的精度值；在模型训练过程中调整所述网络模型的模型参数，直至所述精度值大于或等于预设阈值时，将训练的所述网络模型确定为单人脸特征提取网络。
13.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现如权利要求1-6任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911276211.7A CN111091089B (zh) | 2019-12-12 | 2019-12-12 | 一种人脸图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911276211.7A CN111091089B (zh) | 2019-12-12 | 2019-12-12 | 一种人脸图像处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111091089A true CN111091089A (zh) | 2020-05-01 |
| CN111091089B CN111091089B (zh) | 2022-07-29 |
Family
ID=70396362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911276211.7A Active CN111091089B (zh) | 2019-12-12 | 2019-12-12 | 一种人脸图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111091089B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112668453A (zh) * | 2020-12-24 | 2021-04-16 | 平安科技（深圳）有限公司 | 视频识别方法及相关设备 |
| CN114360073A (zh) * | 2022-01-04 | 2022-04-15 | 腾讯科技（深圳）有限公司 | 一种图像识别方法及相关装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018054283A1 (zh) * | 2016-09-23 | 2018-03-29 | 北京眼神科技有限公司 | 人脸模型的训练方法和装置、人脸认证方法和装置 |
| CN108345818A (zh) * | 2017-01-23 | 2018-07-31 | 北京中科奥森数据科技有限公司 | 一种人脸活体检测方法及装置 |
| WO2018153319A1 (zh) * | 2017-02-23 | 2018-08-30 | 北京市商汤科技开发有限公司 | 物体检测方法、神经网络的训练方法、装置和电子设备 |
| CN109934195A (zh) * | 2019-03-21 | 2019-06-25 | 东北大学 | 一种基于信息融合的反欺骗三维人脸识别方法 |
| WO2019128367A1 (zh) * | 2017-12-26 | 2019-07-04 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
| CN110414305A (zh) * | 2019-04-23 | 2019-11-05 | 苏州闪驰数控***集成有限公司 | 人工智能卷积神经网络人脸识别*** |
-
2019
- 2019-12-12 CN CN201911276211.7A patent/CN111091089B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018054283A1 (zh) * | 2016-09-23 | 2018-03-29 | 北京眼神科技有限公司 | 人脸模型的训练方法和装置、人脸认证方法和装置 |
| CN108345818A (zh) * | 2017-01-23 | 2018-07-31 | 北京中科奥森数据科技有限公司 | 一种人脸活体检测方法及装置 |
| WO2018153319A1 (zh) * | 2017-02-23 | 2018-08-30 | 北京市商汤科技开发有限公司 | 物体检测方法、神经网络的训练方法、装置和电子设备 |
| WO2019128367A1 (zh) * | 2017-12-26 | 2019-07-04 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
| CN109934195A (zh) * | 2019-03-21 | 2019-06-25 | 东北大学 | 一种基于信息融合的反欺骗三维人脸识别方法 |
| CN110414305A (zh) * | 2019-04-23 | 2019-11-05 | 苏州闪驰数控***集成有限公司 | 人工智能卷积神经网络人脸识别*** |
Non-Patent Citations (4)
| Title |
|---|
| JI, Q: "3D Face pose estimation and tracking from a monocular camera", 《IMAGE AND VISION COMPUTING》 * |
| 刘奇聪: "基于人脸边缘图像的人脸防伪", 《现代计算机(专业版)》 * |
| 王科俊; 邹国锋: "基于子模式的Gabor特征融合的单样本人脸识别", 《模式识别与人工智能》 * |
| 章坚武等: "卷积神经网络的人脸隐私保护识别", 《中国图象图形学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112668453A (zh) * | 2020-12-24 | 2021-04-16 | 平安科技（深圳）有限公司 | 视频识别方法及相关设备 |
| WO2022134418A1 (zh) * | 2020-12-24 | 2022-06-30 | 平安科技（深圳）有限公司 | 视频识别方法及相关设备 |
| CN112668453B (zh) * | 2020-12-24 | 2023-11-14 | 平安科技（深圳）有限公司 | 视频识别方法及相关设备 |
| CN114360073A (zh) * | 2022-01-04 | 2022-04-15 | 腾讯科技（深圳）有限公司 | 一种图像识别方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111091089B (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11195037B2 (en) | Living body detection method and system, computer-readable storage medium | |
| CN109697416B (zh) | 一种视频数据处理方法和相关装置 | |
| CN109858371B (zh) | 人脸识别的方法及装置 | |
| US9104914B1 (en) | Object detection with false positive filtering | |
| CN108805047B (zh) | 一种活体检测方法、装置、电子设备和计算机可读介质 | |
| CN109299658B (zh) | 脸部检测方法、脸部图像渲染方法、装置及存储介质 | |
| CN108009466B (zh) | 行人检测方法和装置 | |
| CN111753782B (zh) | 一种基于双流网络的假脸检测方法、装置及电子设备 | |
| CN109670383A (zh) | 视频遮蔽区域选取方法、装置、电子设备及*** | |
| CN111626163A (zh) | 一种人脸活体检测方法、装置及计算机设备 | |
| CN111091089B (zh) | 一种人脸图像处理方法、装置、电子设备及存储介质 | |
| CN113642639B (zh) | 活体检测方法、装置、设备和存储介质 | |
| CN114049512A (zh) | 模型蒸馏方法、目标检测方法、装置及电子设备 | |
| CN116453067B (zh) | 基于动态视觉识别的短跑计时方法 | |
| CN113505682A (zh) | 活体检测方法及装置 | |
| US20110182497A1 (en) | Cascade structure for classifying objects in an image | |
| WO2023279799A1 (zh) | 对象识别方法、装置和电子*** | |
| CN115830002A (zh) | 一种红外图像质量评价方法及装置 | |
| CN111476132A (zh) | 视频场景识别方法、装置及电子设备、存储介质 | |
| CN111950507B (zh) | 数据处理和模型训练方法、装置、设备及介质 | |
| Ma et al. | Multi-perspective dynamic features for cross-database face presentation attack detection | |
| CN116152908A (zh) | 动作识别、活体检测和模型训练方法及装置、电子设备 | |
| Van der Haar | Face antispoofing using shearlets: an empirical study | |
| CN114913470A (zh) | 一种事件检测方法及装置 | |
| CN110572618B (zh) | 一种非法拍照行为监控方法、装置及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |