CN112560753A - 基于特征融合的人脸识别方法、装置、设备及存储介质 - Google Patents
基于特征融合的人脸识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112560753A CN112560753A CN202011545964.6A CN202011545964A CN112560753A CN 112560753 A CN112560753 A CN 112560753A CN 202011545964 A CN202011545964 A CN 202011545964A CN 112560753 A CN112560753 A CN 112560753A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- fusion
- face image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 134
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000005457 optimization Methods 0.000 claims abstract description 33
- 238000001514 detection method Methods 0.000 claims description 33
- 238000004088 simulation Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000009432 framing Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000005267 amalgamation Methods 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000001815 facial effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 9
- 210000000887 face Anatomy 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例属于人工智能中的人脸识别技术领域，涉及一种基于特征融合的人脸识别方法、装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，目标身份标识和目标人脸图像可存储于区块链中。本申请通过构建可以威胁原本训练好的人脸识别模型的融合人脸图像输入至该人脸识别模型进行人脸识别操作，并通过识别结果鉴定该人脸识别模型是否受该融合人脸图像的干扰，当出现干扰情况时，基于该干扰图像对该人脸识别模型进行优化训练操作，从而得到可以识别融合人脸图像的优化识别模型，通过该优化识别模型进行人脸识别，可以有效提高人脸识别的准确性，进而有效保障用户的安全。
Description
技术领域
本申请涉及人工智能中的人脸识别技术领域，尤其涉及一种基于特征融合的人脸识别方法、装置、计算机设备及存储介质。
背景技术
目前，人脸识别技术随着摄像头、算法、数据量等方面条件的成熟，逐渐成为一种底层应用工具类技术，得到不断普及。利用人脸识别技术实现考勤管理、安防验证等构思已经不再罕见。
现有的人脸识别方法，通过设置在合适区域的摄像设备来采集通过的人群的脸部数据，将该数据与***预存的人脸数据进行比对，或者通过通过深度学习、数据训练等方式，从而实现身份验证与识别判断。
然而，申请人发现传统的人脸识别方法普遍精准度较低，在现实生活中，存在不少不法分子想方设法地通过各种途径去攻击微信、支付宝等软件的1：1人脸识别***，且有成功攻破的案例，盗刷了客户的账户资金，由此可知，传统的人脸识别方法精准度较低，存在极大的安全隐患。
发明内容
本申请实施例的目的在于提出一种基于特征融合的人脸识别方法、装置、计算机设备及存储介质，以解决传统的人脸识别方法精准度较低，存在极大的安全隐患的问题。
为了解决上述技术问题，本申请实施例提供基于特征融合的人脸识别方法，采用了如下所述的技术方案：
接收用户终端发送的模拟攻击请求，所述模拟攻击请求至少携带有目标身份标识、目标人脸图像以及干扰人脸图像；
对所述目标人脸图像以及干扰人脸图像进行特征融合操作，得到融合人脸图像；
将所述融合人脸图像输入至训练好的人脸识别模型进行人脸识别操作，得到人脸识别结果；
判断所述人脸识别结果与所述目标身份标识是否一致；
若所述人脸识别结果与所述目标身份标识不一致，则确定该人脸识别模型不受该干扰人脸图像影响；
若所述人脸识别结果与所述目标身份标识一致，则基于所述目标人脸图像以及融合人脸图像对所述训练好的人脸识别模型进行优化训练操作，得到可以识别所述融合人脸图像的优化识别模型。
为了解决上述技术问题，本申请实施例还提供一种基于特征融合的人脸识别装置，采用了如下所述的技术方案：
请求接收模块，用于接收用户终端发送的模拟攻击请求，所述模拟攻击请求至少携带有目标身份标识、目标人脸图像以及干扰人脸图像；
特征融合模块，用于对所述目标人脸图像以及干扰人脸图像进行特征融合操作，得到融合人脸图像；
人脸识别模块，用于将所述融合人脸图像输入至训练好的人脸识别模型进行人脸识别操作，得到人脸识别结果；
结果判断模块，用于判断所述人脸识别结果与所述目标身份标识是否一致；
第一结果模块，用于若所述人脸识别结果与所述目标身份标识不一致，则确定该人脸识别模型不受该干扰人脸图像影响；
第二结果模块，用于若所述人脸识别结果与所述目标身份标识一致，则基于所述目标人脸图像以及融合人脸图像对所述训练好的人脸识别模型进行优化训练操作，得到可以识别所述融合人脸图像的优化识别模型。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的基于特征融合的人脸识别方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的基于特征融合的人脸识别方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请提供的提高人脸识别精准度的方法，包括：接收用户终端发送的模拟攻击请求，所述模拟攻击请求至少携带有目标身份标识、目标人脸图像以及干扰人脸图像；对所述目标人脸图像以及干扰人脸图像进行特征融合操作，得到融合人脸图像；将所述融合人脸图像输入至训练好的人脸识别模型进行人脸识别操作，得到人脸识别结果；判断所述人脸识别结果与所述目标身份标识是否一致；若所述人脸识别结果与所述目标身份标识不一致，则确定该人脸识别模型不受该干扰人脸图像影响；若所述人脸识别结果与所述目标身份标识一致，则基于所述目标人脸图像以及融合人脸图像对所述训练好的人脸识别模型进行优化训练操作，得到可以识别所述融合人脸图像的优化识别模型。通过构建可以威胁原本训练好的人脸识别模型的融合人脸图像输入至该人脸识别模型进行人脸识别操作，并通过识别结果鉴定该人脸识别模型是否受该融合人脸图像的干扰，当出现干扰情况时，基于该干扰图像对该人脸识别模型进行优化训练操作，从而得到可以识别融合人脸图像的优化识别模型，通过该优化识别模型进行人脸识别，可以有效提高人脸识别的准确性，进而有效保障用户的安全。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的基于特征融合的人脸识别方法的实现流程图；
图2是本申请实施例一提供的特征融合效果图；
图3是图1中步骤S102的实现流程图；
图4是本申请实施例一提供的人脸检测与人脸关键点定位的效果图；
图5是本申请实施例一提供的融合生成网络的架构示意图；
图6是本申请实施例一提供的AAD ResBlock的结构示意图；
图7是本申请实施例一提供的AAD的结构示意图；
图8是本申请实施例一提供的获取融合生成网络的实现流程图；
图9是本申请实施例一提供的获取融合人脸图像的实现流程图；
图10是本申请实施例一提供的人脸对齐效果图；
图11是本申请实施例二提供的基于特征融合的人脸识别装置的结构示意图；
图12是图11中特征融合模块120的结构示意图；
图13是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，示出了本申请实施例一提供的基于特征融合的人脸识别方法的实现流程图，为了便于说明，仅示出与本申请相关的部分。
上述的基于特征融合的人脸识别方法，包括以下步骤：
步骤S101：接收用户终端发送的模拟攻击请求，模拟攻击请求至少携带有目标身份标识、目标人脸图像以及干扰人脸图像。
在本申请实施例中，用户终端指的是用于执行本申请提供的预防证件滥用的图像处理方法的终端设备，该用户终端可以是诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端，应当理解，此处对用户终端的举例仅为方便理解，不用于限定本申请。
在本申请实施例中，目标身份标识主要用于唯一标识“受害者”的身份，该目标身份标识可以是基于目标用户的名称进行设定，作为示例，例如：张三、李四等等；该目标身份标识还可以是基于序号进行设定，作为示例，例如：001、002、003等等；该目标身份标识还可以是基于名称+序号进行设定，作为示例，例如：张三001、李四002等等，应当理解，此处对目标身份标识的举例仅为便于理解，不用于限定本申请。
在本申请实施例中，目标人脸图像指的是与上述目标身份标识相对应的目标用户的正脸素材图像，该目标人脸图像可以是目标用户的证件照，该目标人脸图像还可以是微信头像、朋友圈、微博等公开自拍图像，应当理解，此处对目标人脸图像的举例仅为方便理解，不用于限定本申请。
在本申请实施例中，干扰人脸图像指的是“攻击者”拍摄的素材图像，该干扰人脸图像可以是照片图像，该干扰人脸图像也可以是视频图像。
步骤S102：对目标人脸图像以及干扰人脸图像进行特征融合操作，得到融合人脸图像。
在本申请实施例中，特征融合操作可以是基于Centerface算法对干扰人脸图像进行脸部检测操作，得到干扰脸部信息；将目标脸部信息输入至Arcface神经网络进行特征提取操作，得到目标脸部特征；将干扰脸部信息以及目标脸部特征输入至融合生成网络进行脸部融合操作，得到融合人脸图像。
在本申请实施例中，融合人脸图像指的是将目标人脸图像的人脸特征信息融合至干扰人脸图像中得到的携带有“受害者”人脸特征的“攻击者”人脸图像，使得融合人脸图像携带有目标人脸图像的面部特征，以达到模拟“受害者”本人的效果，如图2所示。
步骤S103：将融合人脸图像输入至训练好的人脸识别模型进行人脸识别操作，得到人脸识别结果。
在本申请实施例中，训练好的人脸识别模型指的是经过人脸图像样本集训练完成的人脸识别模型，该模型为本领域通用的深度学习模型。
在本申请实施例中，人脸识别操作指的是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术。
在本申请实施例中，本地数据库中，会预先存储有人脸图像与用户标识的关联关系的标识集合，当检测到输入的人脸图像的目标身份信息时，会输出与该输入的人脸图像相对应的用户标识信息。
步骤S104：判断人脸识别结果与目标身份标识是否一致。
在本申请实施例中，可以通过比对人脸识别结果输出的用户标识与用户终端提供的目标身份标识是否一致，来判断人脸识别结果与目标身份标识是否一致。
步骤S105：若人脸识别结果与目标身份标识不一致，则确定该人脸识别模型不受该干扰人脸图像影响。
在本申请实施例中，当人脸识别结果与目标身份标识不一致，则说明该融合人脸图像并不能携带目标人脸图像的面部特征，以进行身份验证操作，从而确定该人脸识别模型并不会受到该干扰人脸图像攻击，其准确度能够得到保证。
步骤S106：若人脸识别结果与目标身份标识一致，则基于目标人脸图像以及融合人脸图像对训练好的人脸识别模型进行优化训练操作，得到可以识别融合人脸图像的优化识别模型。
在本申请实施例中，当人脸识别结果与目标身份标识一致，则说明该融合人脸图像并能够携带目标人脸图像的面部特征，以进行身份验证操作，从而确定该人脸识别模型并会受到该干扰人脸图像攻击，其准确度较低。
在本申请实施例中，由于模型训练并不能保证绝对的准确性，因此会存在部分融合人脸图像可以干扰该人脸识别模型，因此，需要通过筛选部分能够干扰人脸识别模型准确度的图像信息，并对该人脸识别模型进行二次训练，进而调整该人脸识别模型的参数，使得该人脸识别模型能够识别被干扰的攻击图像信息，进而提高该人脸识别模型的识别准确性。
本申请提供的基于特征融合的人脸识别方法，包括：接收用户终端发送的模拟攻击请求，模拟攻击请求至少携带有目标身份标识、目标人脸图像以及干扰人脸图像；对目标人脸图像以及干扰人脸图像进行特征融合操作，得到融合人脸图像；将融合人脸图像输入至训练好的人脸识别模型进行人脸识别操作，得到人脸识别结果；判断人脸识别结果与目标身份标识是否一致；若人脸识别结果与目标身份标识不一致，则确定该人脸识别模型不受该干扰人脸图像影响；若人脸识别结果与目标身份标识一致，则基于目标人脸图像以及融合人脸图像对训练好的人脸识别模型进行优化训练操作，得到可以识别融合人脸图像的优化识别模型。通过构建可以威胁原本训练好的人脸识别模型的融合人脸图像输入至该人脸识别模型进行人脸识别操作，并通过识别结果鉴定该人脸识别模型是否受该融合人脸图像的干扰，当出现干扰情况时，基于该干扰图像对该人脸识别模型进行优化训练操作，从而得到可以识别融合人脸图像的优化识别模型，通过该优化识别模型进行人脸识别，可以有效提高人脸识别的准确性，进而有效保障用户的安全。
继续参考图3，示出了图1中步骤S102的实现流程图，为了便于说明，仅示出与本申请相关的部分。
在本实施例的一些可选的实现方式中，上述步骤S102具体包括：步骤S301以及步骤S302。
步骤S301：基于人脸检测算法对干扰人脸图像进行脸部检测操作，得到干扰脸部信息。
在本申请实施例中，人脸检测算法可以是Centerface算法，该Centerface算法指的是一种基于无锚点的快速且高召回率和低误检率的人脸检测方法，输出人脸框坐标同时输出5个人脸关键点(两个眼睛中心点、鼻尖点、两个嘴角点)的坐标，如图4所示。
在本申请实施例中，脸部检测操作具体为：
1、将自拍视频图像输入到人脸检测网络中进行人脸检测，输出人脸热度图、人脸尺度图、人脸中心偏移量图和人脸关键点偏移量图；
2、将人脸热度图中大于预设阈值0.35的点认为是人脸，然后：
2.1、在人脸中心偏移量图上对应位置取出人脸坐标偏移量，与人脸热度图的坐标相加，得到最终人脸的中心位置；
2.2、在人脸尺度图上经过指数换算计算出人脸的宽高，得到人脸检测框；
2.3、在人脸关键点偏移量图上对应位置取人脸关键点偏移量，与人脸左上角点坐标相加，得到最终人脸关键点坐标
2.4、经过非极大值抑制(NMS)剔除重复的人脸框。
步骤S302：将目标脸部信息输入至Arcface神经网络进行特征提取操作，得到目标脸部特征。
在本申请实施例中，人脸特征提取操作采用深度神经网络(Arcface)，该方法广泛应用于人脸识别特征提取比对，输入大小为112*112的人脸图像后，输出512维人脸特征向量，即上述目标脸部特征。
步骤S303：将干扰脸部信息以及目标脸部特征输入至融合生成网络进行脸部融合操作，得到融合人脸图像。
继续参考图5，示出了本申请实施例一提供的融合生成网络的架构示意图，为了便于说明，仅示出与本申请相关的部分。
在本实施例的一些可选的实现方式中，融合生成网络由多级属性编码器、身份编码器和生成器构成。
在本申请实施例中，融合生成网络由多级属性编码器(Multi-level AttributesEncoder)、身份编码器(ID Encoder)和生成器(Generator)构成，其中：
1)多级属性编码器：采用Unet结构，下采样过程中进行了8次卷积(conv)操作，每次卷积的卷积核为4*4，步长为2，padding为1，每次卷积后都接入BN层和LeakyRelu层。上采样过程中进行了7次反卷积(deconv)操作得到Z1…Zn-1,每次反卷积的卷积核为4*4，步长为2，padding为1，每次反卷积后都接入Batch Normalization(BN)层和LeakyRelu层，Zn-1到Zn只做双线性插值上采样。
2)ID编码器：采用Arcface网络，基础网络选用的是resnet101，目标人脸图像Xs输入Arcface网络得到512维特征向量目标脸部特征FXs。
3)生成器(Generator)：由8个AAD ResBlock级联而成，首个AAD ResBlock的3个输入分别为目标脸部特征FXs、目标脸部特征FXs经过上采样后的
和Z1,后7个AAD ResBlock的3个输入分别为目标脸部特征FXs、上一个AAD ResBlock经过上采样后的
和Zk(k＝2...8),最终输出3通道分辨率为256*256的融合人脸图像
4)AAD ResBlock：采用残差结构，由两个AAD、Relu层及3*3卷积层构成，如图6所示。
5)AAD如图7所示:由三支构成，Zk经过两个1*1卷积得到
和
FXs经过两个1*1卷积得到
和
进行Instance Normalization操作得到
经过1*1卷积和Sigmoid得到Mk。Ak、Ik和
分别由以下方式获得：
在本申请实施例中，融合生成网络还包括多尺度判别器D，该多尺度判别器是指多个判别器分别判别不同分辨率的真假图像，D采用3个尺度的判别器，分别判别256*256、128*128和64*64分辨率图像。至于获得不同分辨率图像，直接经过pooling(池化)下采样即可。每个尺度的判别器由5个卷积层和sigmoid层构成，每个卷积层后面均接了BatchNormalization(BN)层和LeakyRelu层。
继续参阅图8，示出了本申请实施例一提供的获取融合生成网络的实现流程图，为了便于说明，仅示出与本申请相关的部分。
在本实施例的一些可选的实现方式中，在上述步骤S303之前，还包括：步骤S801、步骤S802以及步骤S803。
步骤S801：基于对抗生成网络模式对原始生成网络进行训练操作，得到训练结果数据。
在本申请实施例中，训练原始生成网络是基于GAN(对抗生成网络)模式进行训练，还包括训练上述多尺度判别器D，训练原始生成网络的目的是使得生成的融合人脸图像越来越像“受害者”人脸图像Xs并同步“攻击者”的人脸属性(姿态等)。多尺度判别器D目的是对抗生成的融合人脸图像，判断生成的假脸为假，判断Xt为真，生成器和判别器两者不停地迭代对抗直至达到理想的纳什均衡。
步骤S802：基于训练结果数据计算原始生成网络的损失值。
在本申请实施例中，原始生成网络G的损失值具体包括ID损失、多级属编码器性损失、人脸重建损失和对抗损失。其中：
1)ID损失：
其中，
FXs为生成的假脸图像和原图像Xs分别用Arcface提取的人脸特征,ID损失表示
FXs的差异性。
2)多级属性编码器损失：
其中，
和Zk(Xt)表示生成的假脸图像和Xt的第k个属性编码器输出，用k个属性编码器输出的差异累加值表示多级属性编码器的损失。
3)人脸重建损失：
4)对抗损失：
对抗损失采用Hinge Loss。
步骤S803：基于损失值对原始生成网络进行反向传播操作，得到融合生成网络。
在本申请实施例中，假脸生成网络G的损失由上述对抗损失、ID损失、多级属编码器性损失和人脸重建损失串联而成。即：
LG＝Ladv+λatt*Latt+λid*Lid+λrec*Lrec
其中，λatt＝10，λid＝20，λrec＝10。
在本申请实施例中，判别器损失为：
其中，D(Xs)和
分别代表真脸和假脸的判别结果，用二者的判别结果平均值来表示判别器损失。
在本申请实施例中，训练生成器和判别器过程中，需保证另一个的参数是不变的，不能同时更新两个网络的参数。
生成器和判别器的学习率均为4e-4；
生成器和判别器的训练优化器均为Adam，超参数β1和β2分别均为0.9和0.999；
重复迭代50次直至假脸生成网络和判别网络的参数收敛，各自损失降至最小。
继续参阅图9，示出了本申请实施例一提供的获取融合人脸图像的实现流程图，为了便于说明，仅示出与本申请相关的部分。
在本实施例的一些可选的实现方式中，在步骤S301之前，还包括：步骤S901以及步骤S902；步骤S303具体包括：步骤S903、步骤S904以及步骤S905。
步骤S901：对视频流图像进行分帧操作，得到视频帧信息。
在本申请实施例中，视频流图像经过分帧获得各个视频帧的视频帧信息。
步骤S902：基于视频帧信息读取干扰人脸图像。
在本申请实施例中，上述得到的视频帧信息经过人脸检测得到干扰人脸图像。
步骤S903：将干扰脸部信息以及目标脸部特征输入至融合生成网络进行脸部融合操作，得到脸部融合图像。
在本申请实施例中，当融合干扰脸部信息以及目标脸部特征后，得到各个视频帧的融合图像。
步骤S904：将分帧融合图像融合至视频帧信息中，得到分帧融合图像。
在本申请实施例中，将分帧融合图像至视频帧信息中的操作，可以是将上述干扰人脸图像转换成矩阵M的逆矩阵M′；各个视频帧的融合图像根据逆矩阵M′做仿射变换旋转平移到视频帧信息中，得到该分帧融合图像。
在本申请实施例中，可以定义一个与融合图像同大小的掩码图像Mask，掩码图像是用来虚化融合图像直接贴合到视频流图像上产生的边缘，掩码图像像素值的值由以下公式得到：
掩码图像Mask根据M′做仿射变换得到Mask_；最后经过掩码边缘虚化处理后的视频帧Y，该视频帧Y表示为：
步骤S905：将得到的所有分帧融合图像贴合至视频流图像中，得到融合人脸图像。
在本申请实施例中，当获得各个已经融合图像后的分帧融合图像时，对所有分帧融合图像进行串联保存，即可得到融合有“受害者”人脸图像面部特征的视频流图像，即上述融合人脸图像。
在本实施例的一些可选的实现方式中，上述步骤S301之前，还包括下述步骤：
对目标人脸图像以及干扰人脸图像进行人脸对齐操作，得到对齐后的目标人脸图像以及干扰人脸图像。
在本申请实施例中，人脸对齐操作指的是根据平均脸模板矩阵和人脸关键点坐标矩阵相似变换计算得到齐次变换矩阵M，原图根据M做仿射变换实现人脸对齐。
在本申请实施例中，人脸对齐操作可以是：
1、借助平均脸算出来的模板矩阵
与五个人脸关键点的坐标Landmarks做相似变换，相似变换公式如下：
2、求解上述变换公式，并变换成矩阵M；
3、根据矩阵M对原图做仿射变换，输出对齐人脸图像(两眼连线与水平线平行)，大小为112*112，如图10所示。
综上，本申请提供的基于特征融合的人脸识别方法，包括：接收用户终端发送的模拟攻击请求，模拟攻击请求至少携带有目标身份标识、目标人脸图像以及干扰人脸图像；对目标人脸图像以及干扰人脸图像进行特征融合操作，得到融合人脸图像；将融合人脸图像输入至训练好的人脸识别模型进行人脸识别操作，得到人脸识别结果；判断人脸识别结果与目标身份标识是否一致；若人脸识别结果与目标身份标识不一致，则确定该人脸识别模型不受该干扰人脸图像影响；若人脸识别结果与目标身份标识一致，则基于目标人脸图像以及融合人脸图像对训练好的人脸识别模型进行优化训练操作，得到可以识别融合人脸图像的优化识别模型。通过构建可以威胁原本训练好的人脸识别模型的融合人脸图像输入至该人脸识别模型进行人脸识别操作，并通过识别结果鉴定该人脸识别模型是否受该融合人脸图像的干扰，当出现干扰情况时，基于该干扰图像对该人脸识别模型进行优化训练操作，从而得到可以识别融合人脸图像的优化识别模型，通过该优化识别模型进行人脸识别，可以有效提高人脸识别的准确性，进而有效保障用户的安全。
需要强调的是，为进一步保证上述目标身份标识和目标人脸图像的私密和安全性，上述目标身份标识和目标人脸图像还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请可用于众多通用或专用的计算机***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
实施例二
进一步参考图11，作为对上述图1所示方法的实现，本申请提供了一种基于特征融合的人脸识别装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图11所示，本实施例的基于特征融合的人脸识别装置100包括：请求接收模块110、特征融合模块120、人脸识别模块130、结果判断模块140、第一结果模块150以及第二结果模块160。其中：
请求接收模块110，用于接收用户终端发送的模拟攻击请求，模拟攻击请求至少携带有目标身份标识、目标人脸图像以及干扰人脸图像；
特征融合模块120，用于对目标人脸图像以及干扰人脸图像进行特征融合操作，得到融合人脸图像；
人脸识别模块130，用于将融合人脸图像输入至训练好的人脸识别模型进行人脸识别操作，得到人脸识别结果；
结果判断模块140，用于判断人脸识别结果与目标身份标识是否一致；
第一结果模块150，用于若人脸识别结果与目标身份标识不一致，则确定该人脸识别模型不受该干扰人脸图像影响；
第二结果模块160，用于若人脸识别结果与目标身份标识一致，则基于目标人脸图像以及融合人脸图像对训练好的人脸识别模型进行优化训练操作，得到可以识别融合人脸图像的优化识别模型。
在本申请实施例中，用户终端指的是用于执行本申请提供的预防证件滥用的图像处理方法的终端设备，该用户终端可以是诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端，应当理解，此处对用户终端的举例仅为方便理解，不用于限定本申请。
在本申请实施例中，目标身份标识主要用于唯一标识“受害者”的身份，该目标身份标识可以是基于目标用户的名称进行设定，作为示例，例如：张三、李四等等；该目标身份标识还可以是基于序号进行设定，作为示例，例如：001、002、003等等；该目标身份标识还可以是基于名称+序号进行设定，作为示例，例如：张三001、李四002等等，应当理解，此处对目标身份标识的举例仅为便于理解，不用于限定本申请。
在本申请实施例中，目标人脸图像指的是与上述目标身份标识相对应的目标用户的正脸素材图像，该目标人脸图像可以是目标用户的证件照，该目标人脸图像还可以是微信头像、朋友圈、微博等公开自拍图像，应当理解，此处对目标人脸图像的举例仅为方便理解，不用于限定本申请。
在本申请实施例中，干扰人脸图像指的是“攻击者”拍摄的素材图像，该干扰人脸图像可以是照片图像，该干扰人脸图像也可以是视频图像。
在本申请实施例中，特征融合操作可以是基于Centerface算法对干扰人脸图像进行脸部检测操作，得到干扰脸部信息；将目标脸部信息输入至Arcface神经网络进行特征提取操作，得到目标脸部特征；将干扰脸部信息以及目标脸部特征输入至融合生成网络进行脸部融合操作，得到融合人脸图像。
在本申请实施例中，融合人脸图像指的是将目标人脸图像的人脸特征信息融合至干扰人脸图像中得到的携带有“受害者”人脸特征的“攻击者”人脸图像，使得融合人脸图像携带有目标人脸图像的面部特征，以达到模拟“受害者”本人的效果，如图2所示。
在本申请实施例中，训练好的人脸识别模型指的是经过人脸图像样本集训练完成的人脸识别模型，该模型为本领域通用的深度学习模型。
在本申请实施例中，人脸识别操作指的是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术。
在本申请实施例中，本地数据库中，会预先存储有人脸图像与用户标识的关联关系的标识集合，当检测到输入的人脸图像的目标身份信息时，会输出与该输入的人脸图像相对应的用户标识信息。
在本申请实施例中，可以通过比对人脸识别结果输出的用户标识与用户终端提供的目标身份标识是否一致，来判断人脸识别结果与目标身份标识是否一致。
在本申请实施例中，当人脸识别结果与目标身份标识不一致，则说明该融合人脸图像并不能携带目标人脸图像的面部特征，以进行身份验证操作，从而确定该人脸识别模型并不会受到该干扰人脸图像攻击，其准确度能够得到保证。
在本申请实施例中，当人脸识别结果与目标身份标识一致，则说明该融合人脸图像并能够携带目标人脸图像的面部特征，以进行身份验证操作，从而确定该人脸识别模型并会受到该干扰人脸图像攻击，其准确度较低。
在本申请实施例中，由于模型训练并不能保证绝对的准确性，因此会存在部分融合人脸图像可以干扰该人脸识别模型，因此，需要通过筛选部分能够干扰人脸识别模型准确度的图像信息，并对该人脸识别模型进行二次训练，进而调整该人脸识别模型的参数，使得该人脸识别模型能够识别被干扰的攻击图像信息，进而提高该人脸识别模型的识别准确性。
本申请提供的基于特征融合的人脸识别装置，通过构建可以威胁原本训练好的人脸识别模型的融合人脸图像输入至该人脸识别模型进行人脸识别操作，并通过识别结果鉴定该人脸识别模型是否受该融合人脸图像的干扰，当出现干扰情况时，基于该干扰图像对该人脸识别模型进行优化训练操作，从而得到可以识别融合人脸图像的优化识别模型，通过该优化识别模型进行人脸识别，可以有效提高人脸识别的准确性，进而有效保障用户的安全。
继续参阅图12，示出了图11中特征融合模块120的结构示意图，为了便于说明，仅示出与本申请相关的部分。
在本实施例的一些可选的实现方式中，特征融合模块120具体包括：脸部检测子模块121、特征提取子模块122以及脸部融合子模块123。其中：
脸部检测子模块121，用于基于人脸检测算法对干扰人脸图像进行脸部检测操作，得到干扰脸部信息；
特征提取子模块122，用于将目标脸部信息输入至Arcface神经网络进行特征提取操作，得到目标脸部特征；
脸部融合子模块123，用于将干扰脸部信息以及目标脸部特征输入至融合生成网络进行脸部融合操作，得到融合人脸图像。
在本申请实施例中，人脸检测算法可以是Centerface算法，该Centerface算法指的是一种基于无锚点的快速且高召回率和低误检率的人脸检测方法，输出人脸框坐标同时输出5个人脸关键点(两个眼睛中心点、鼻尖点、两个嘴角点)的坐标，如图4所示。
在本申请实施例中，脸部检测操作具体为：
1、将自拍视频图像输入到人脸检测网络中进行人脸检测，输出人脸热度图、人脸尺度图、人脸中心偏移量图和人脸关键点偏移量图；
2、将人脸热度图中大于预设阈值0.35的点认为是人脸，然后：
2.1、在人脸中心偏移量图上对应位置取出人脸坐标偏移量，与人脸热度图的坐标相加，得到最终人脸的中心位置；
2.2、在人脸尺度图上经过指数换算计算出人脸的宽高，得到人脸检测框；
2.3、在人脸关键点偏移量图上对应位置取人脸关键点偏移量，与人脸左上角点坐标相加，得到最终人脸关键点坐标
2.4、经过非极大值抑制(NMS)剔除重复的人脸框。
在本申请实施例中，人脸特征提取操作采用深度神经网络(Arcface)，该方法广泛应用于人脸识别特征提取比对，输入大小为112*112的人脸图像后，输出512维人脸特征向量，即上述目标脸部特征。
在本实施例的一些可选的实现方式中，融合生成网络由多级属性编码器、身份编码器和生成器构成。
在本实施例的一些可选的实现方式中，上述特征融合模块120还包括：训练操作子模块、损失值计算子模块以及反向传播子模块。其中：
训练操作子模块，用于基于对抗生成网络模式对原始生成网络进行训练操作，得到训练结果数据；
损失值计算子模块，用于基于训练结果数据计算原始生成网络的损失值；
反向传播子模块，用于基于损失值对原始生成网络进行反向传播操作，得到融合生成网络。
在本实施例的一些可选的实现方式中，上述特征融合模块120还包括：分帧操作子模块以及人脸图像读取子模块；上述脸部融合子模块123具体包括：脸部融合图获取子模块、分帧融合图融合子模块以及融合人脸图像获取子模块。其中：
分帧操作子模块，用于对视频流图像进行分帧操作，得到视频帧信息；
人脸图像读取子模块，用于基于视频帧信息读取干扰人脸图像；
脸部融合图获取子模块，用于将干扰脸部信息以及目标脸部特征输入至融合生成网络进行脸部融合操作，得到脸部融合图像；
分帧融合图融合子模块，用于将分帧融合图像融合至视频帧信息中，得到分帧融合图像；
融合人脸图像获取子模块，用于将得到的所有分帧融合图像贴合至视频流图像中，得到融合人脸图像。
在本实施例的一些可选的实现方式中，上述特征融合模块120还包括：人脸对齐子模块。其中：
人脸对齐子模块，用于对目标人脸图像以及干扰人脸图像进行人脸对齐操作，得到对齐后的目标人脸图像以及干扰人脸图像。
综上所述，本申请提供的基于特征融合的人脸识别装置，通过构建可以威胁原本训练好的人脸识别模型的融合人脸图像输入至该人脸识别模型进行人脸识别操作，并通过识别结果鉴定该人脸识别模型是否受该融合人脸图像的干扰，当出现干扰情况时，基于该干扰图像对该人脸识别模型进行优化训练操作，从而得到可以识别融合人脸图像的优化识别模型，通过该优化识别模型进行人脸识别，可以有效提高人脸识别的准确性，进而有效保障用户的安全。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图13，图13为本实施例计算机设备基本结构框图。
所述计算机设备200包括通过***总线相互通信连接存储器210、处理器220、网络接口230。需要指出的是，图中仅示出了具有组件210-230的计算机设备200，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器210至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器210可以是所述计算机设备200的内部存储单元，例如该计算机设备200的硬盘或内存。在另一些实施例中，所述存储器210也可以是所述计算机设备200的外部存储设备，例如该计算机设备200上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器210还可以既包括所述计算机设备200的内部存储单元也包括其外部存储设备。本实施例中，所述存储器210通常用于存储安装于所述计算机设备200的操作***和各类应用软件，例如基于特征融合的人脸识别方法的计算机可读指令等。此外，所述存储器210还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器220在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器220通常用于控制所述计算机设备200的总体操作。本实施例中，所述处理器220用于运行所述存储器210中存储的计算机可读指令或者处理数据，例如运行所述基于特征融合的人脸识别方法的计算机可读指令。
所述网络接口230可包括无线网络接口或有线网络接口，该网络接口230通常用于在所述计算机设备200与其他电子设备之间建立通信连接。
本申请提供的基于特征融合的人脸识别方法，通过构建可以威胁原本训练好的人脸识别模型的融合人脸图像输入至该人脸识别模型进行人脸识别操作，并通过识别结果鉴定该人脸识别模型是否受该融合人脸图像的干扰，当出现干扰情况时，基于该干扰图像对该人脸识别模型进行优化训练操作，从而得到可以识别融合人脸图像的优化识别模型，通过该优化识别模型进行人脸识别，可以有效提高人脸识别的准确性，进而有效保障用户的安全。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于特征融合的人脸识别方法的步骤。
本申请提供的基于特征融合的人脸识别方法，通过构建可以威胁原本训练好的人脸识别模型的融合人脸图像输入至该人脸识别模型进行人脸识别操作，并通过识别结果鉴定该人脸识别模型是否受该融合人脸图像的干扰，当出现干扰情况时，基于该干扰图像对该人脸识别模型进行优化训练操作，从而得到可以识别融合人脸图像的优化识别模型，通过该优化识别模型进行人脸识别，可以有效提高人脸识别的准确性，进而有效保障用户的安全。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (10)
1.一种基于特征融合的人脸识别方法，其特征在于，包括下述步骤：
接收用户终端发送的模拟攻击请求，所述模拟攻击请求至少携带有目标身份标识、目标人脸图像以及干扰人脸图像；
对所述目标人脸图像以及干扰人脸图像进行特征融合操作，得到融合人脸图像；
将所述融合人脸图像输入至训练好的人脸识别模型进行人脸识别操作，得到人脸识别结果；
判断所述人脸识别结果与所述目标身份标识是否一致；
若所述人脸识别结果与所述目标身份标识不一致，则确定该人脸识别模型不受该干扰人脸图像影响；
若所述人脸识别结果与所述目标身份标识一致，则基于所述目标人脸图像以及融合人脸图像对所述训练好的人脸识别模型进行优化训练操作，得到可以识别所述融合人脸图像的优化识别模型。
2.根据权利要求1所述的基于特征融合的人脸识别方法，其特征在于，所述对所述目标人脸图像以及干扰人脸图像进行特征融合操作，得到融合人脸图像的步骤，具体包括：
基于人脸检测算法对所述干扰人脸图像进行脸部检测操作，得到干扰脸部信息；
将所述目标脸部信息输入至Arcface神经网络进行特征提取操作，得到目标脸部特征；
将所述干扰脸部信息以及所述目标脸部特征输入至融合生成网络进行脸部融合操作，得到所述融合人脸图像。
3.根据权利要求2所述的基于特征融合的人脸识别方法，其特征在于，所述融合生成网络由多级属性编码器、身份编码器和生成器构成。
4.根据权利要求2所述的基于特征融合的人脸识别方法，其特征在于，在所述将所述干扰脸部信息以及所述目标脸部特征输入至融合生成网络进行脸部融合操作，得到所述融合人脸图像的步骤之前，还包括：
基于对抗生成网络模式对原始生成网络进行训练操作，得到训练结果数据；
基于所述训练结果数据计算所述原始生成网络的损失值；
基于所述损失值对所述原始生成网络进行反向传播操作，得到所述融合生成网络。
5.根据权利要求2所述的基于特征融合的人脸识别方法，其特征在于，所述干扰人脸图像为视频流图像，在所述基于人脸检测算法对所述干扰人脸图像进行脸部检测操作，得到干扰脸部信息的步骤之前，还包括：
对所述视频流图像进行分帧操作，得到视频帧信息；
基于所述视频帧信息读取所述干扰人脸图像；
所述将所述干扰脸部信息以及所述目标脸部特征输入至融合生成网络进行脸部融合操作，得到所述融合人脸图像的步骤，具体包括：
将所述干扰脸部信息以及所述目标脸部特征输入至融合生成网络进行脸部融合操作，得到脸部融合图像；
将所述分帧融合图像融合至所述视频帧信息中，得到分帧融合图像；
将得到的所有所述分帧融合图像贴合至所述视频流图像中，得到所述融合人脸图像。
6.根据权利要求2所述的基于特征融合的人脸识别方法，其特征在于，在所述基于人脸检测算法对所述干扰人脸图像进行脸部检测操作，得到干扰脸部信息的步骤之前，还包括：
对所述目标人脸图像以及所述干扰人脸图像进行人脸对齐操作，得到对齐后的所述目标人脸图像以及所述干扰人脸图像。
7.一种基于特征融合的人脸识别装置，其特征在于，包括：
请求接收模块，用于接收用户终端发送的模拟攻击请求，所述模拟攻击请求至少携带有目标身份标识、目标人脸图像以及干扰人脸图像；
特征融合模块，用于对所述目标人脸图像以及干扰人脸图像进行特征融合操作，得到融合人脸图像；
人脸识别模块，用于将所述融合人脸图像输入至训练好的人脸识别模型进行人脸识别操作，得到人脸识别结果；
结果判断模块，用于判断所述人脸识别结果与所述目标身份标识是否一致；
第一结果模块，用于若所述人脸识别结果与所述目标身份标识不一致，则确定该人脸识别模型不受该干扰人脸图像影响；
第二结果模块，用于若所述人脸识别结果与所述目标身份标识一致，则基于所述目标人脸图像以及融合人脸图像对所述训练好的人脸识别模型进行优化训练操作，得到可以识别所述融合人脸图像的优化识别模型。
8.根据权利要求7所述的基于特征融合的人脸识别装置，其特征在于，所述特征融合模块包括：
脸部检测子模块，用于基于人脸检测算法对所述干扰人脸图像进行脸部检测操作，得到干扰脸部信息；
特征提取子模块，用于将所述目标脸部信息输入至Arcface神经网络进行特征提取操作，得到目标脸部特征；
脸部融合子模块，用于将所述干扰脸部信息以及所述目标脸部特征输入至融合生成网络进行脸部融合操作，得到所述融合人脸图像。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至6中任一项所述的基于特征融合的人脸识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至6中任一项所述的基于特征融合的人脸识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011545964.6A CN112560753B (zh) | 2020-12-23 | 基于特征融合的人脸识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011545964.6A CN112560753B (zh) | 2020-12-23 | 基于特征融合的人脸识别方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112560753A true CN112560753A (zh) | 2021-03-26 |
| CN112560753B CN112560753B (zh) | 2024-06-28 |
Family
ID=
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113361387A (zh) * | 2021-06-03 | 2021-09-07 | 湖南快乐阳光互动娱乐传媒有限公司 | 人脸图像融合方法及装置、存储介质及电子设备 |
| CN113763366A (zh) * | 2021-09-10 | 2021-12-07 | 网易（杭州）网络有限公司 | 一种换脸方法、装置、设备及存储介质 |
| WO2023040679A1 (zh) * | 2021-09-16 | 2023-03-23 | 百果园技术(新加坡)有限公司 | 人脸图片的融合方法、装置、设备及存储介质 |
| CN115906032A (zh) * | 2023-02-20 | 2023-04-04 | 之江实验室 | 一种识别模型的修正方法、装置和存储介质 |
| CN116524418A (zh) * | 2023-07-03 | 2023-08-01 | 平安银行股份有限公司 | 一种人脸嘴部识别方法、装置、***及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109902546A (zh) * | 2018-05-28 | 2019-06-18 | 华为技术有限公司 | 人脸识别方法、装置及计算机可读介质 |
| US20190236738A1 (en) * | 2018-02-01 | 2019-08-01 | Fst21 Ltd | System and method for detection of identity fraud |
| CN110210393A (zh) * | 2019-05-31 | 2019-09-06 | 百度在线网络技术（北京）有限公司 | 人脸图像的检测方法和装置 |
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190236738A1 (en) * | 2018-02-01 | 2019-08-01 | Fst21 Ltd | System and method for detection of identity fraud |
| CN109902546A (zh) * | 2018-05-28 | 2019-06-18 | 华为技术有限公司 | 人脸识别方法、装置及计算机可读介质 |
| CN110210393A (zh) * | 2019-05-31 | 2019-09-06 | 百度在线网络技术（北京）有限公司 | 人脸图像的检测方法和装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113361387A (zh) * | 2021-06-03 | 2021-09-07 | 湖南快乐阳光互动娱乐传媒有限公司 | 人脸图像融合方法及装置、存储介质及电子设备 |
| CN113763366A (zh) * | 2021-09-10 | 2021-12-07 | 网易（杭州）网络有限公司 | 一种换脸方法、装置、设备及存储介质 |
| CN113763366B (zh) * | 2021-09-10 | 2023-07-25 | 网易（杭州）网络有限公司 | 一种换脸方法、装置、设备及存储介质 |
| WO2023040679A1 (zh) * | 2021-09-16 | 2023-03-23 | 百果园技术(新加坡)有限公司 | 人脸图片的融合方法、装置、设备及存储介质 |
| CN115906032A (zh) * | 2023-02-20 | 2023-04-04 | 之江实验室 | 一种识别模型的修正方法、装置和存储介质 |
| CN116524418A (zh) * | 2023-07-03 | 2023-08-01 | 平安银行股份有限公司 | 一种人脸嘴部识别方法、装置、***及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114913565B (zh) | 人脸图像检测方法、模型训练方法、装置及存储介质 | |
| CN110222573B (zh) | 人脸识别方法、装置、计算机设备及存储介质 | |
| WO2021139324A1 (zh) | 图像识别方法、装置、计算机可读存储介质及电子设备 | |
| CN109977832B (zh) | 一种图像处理方法、装置及存储介质 | |
| WO2023035531A1 (zh) | 文本图像超分辨率重建方法及其相关设备 | |
| CN110795714A (zh) | 一种身份验证方法、装置、计算机设备及存储介质 | |
| CN112560683A (zh) | 一种翻拍图像识别方法、装置、计算机设备及存储介质 | |
| CN111160555A (zh) | 基于神经网络的处理方法、装置及电子设备 | |
| CN114529574A (zh) | 基于图像分割的图像抠图方法、装置、计算机设备及介质 | |
| CN114677722A (zh) | 一种融合多尺度特征的多监督人脸活体检测方法 | |
| CN111914769B (zh) | 用户合法性判定方法、装置、计算机可读存储介质及设备 | |
| CN112560753A (zh) | 基于特征融合的人脸识别方法、装置、设备及存储介质 | |
| CN112967216B (zh) | 人脸图像关键点的检测方法、装置、设备以及存储介质 | |
| CN112560753B (zh) | 基于特征融合的人脸识别方法、装置、设备及存储介质 | |
| CN113362249B (zh) | 文字图像合成方法、装置、计算机设备及存储介质 | |
| CN113628349B (zh) | 基于场景内容自适应的ar导航方法、设备及可读存储介质 | |
| CN115410257A (zh) | 图像保护方法及相关设备 | |
| CN111461091B (zh) | 万能指纹生成方法和装置、存储介质及电子装置 | |
| CN114429661A (zh) | 基于局域监督的人脸三维卡通化方法、装置、设备及介质 | |
| CN115965839A (zh) | 图像识别方法、存储介质及设备 | |
| CN114677611A (zh) | 数据识别方法、存储介质及设备 | |
| CN112950501A (zh) | 基于噪声场的图像降噪方法、装置、设备及存储介质 | |
| CN113420628B (zh) | 一种群体行为识别方法、装置、计算机设备及存储介质 | |
| CN117974414B (zh) | 基于融合新闻素材的数字水印签名校验方法、装置和设备 | |
| CN116704588B (zh) | 面部图像的替换方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |