CN112613488A - 人脸识别方法及装置、存储介质、电子设备 - Google Patents

人脸识别方法及装置、存储介质、电子设备 Download PDF

Info

Publication number
CN112613488A
CN112613488A CN202110019239.3A CN202110019239A CN112613488A CN 112613488 A CN112613488 A CN 112613488A CN 202110019239 A CN202110019239 A CN 202110019239A CN 112613488 A CN112613488 A CN 112613488A
Authority
CN
China
Prior art keywords
sample
face
image
feature
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110019239.3A
Other languages
English (en)
Other versions
CN112613488B (zh
Inventor
刘向阳
赵晨旭
刘星
唐大闰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Minglue Artificial Intelligence Group Co Ltd
Original Assignee
Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Minglue Artificial Intelligence Group Co Ltd filed Critical Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority to CN202110019239.3A priority Critical patent/CN112613488B/zh
Publication of CN112613488A publication Critical patent/CN112613488A/zh
Application granted granted Critical
Publication of CN112613488B publication Critical patent/CN112613488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人脸识别方法及装置、存储介质、电子设备，属于人工智能领域。其中，该方法包括：采集目标对象的人脸图像；提取所述人脸图像的关键点特征；使用所述关键点特征，将所述人脸图像对齐到模板图像，生成虚拟人脸；采用人脸识别模型从所述虚拟人脸中提取人脸特征，并基于所述人脸特征对所述目标对象进行人脸识别，其中，所述人脸识别模型通过数据增强的样本图像训练得到。通过本发明，解决了相关技术中的人脸识别模型只能适配固定人脸对齐方式的技术问题，提高了人脸识别模型的准确性和适应性，增加了模型的应用场景和应用范围。

Description

人脸识别方法及装置、存储介质、电子设备
技术领域
本发明涉及人工智能领域，具体而言，涉及一种人脸识别方法及装置、存储介质、电子设备。
背景技术
相关技术中，深度学习要求推理阶段的数据应该与模型训练阶段的数据保持同样的分布。在人脸识别任务中，训练模型的人脸数据要和推理阶段的人脸数据分布保持一致。然而，在实际应用中，常常会根据不同情况选择不同的对齐方式，当推理阶段与训练阶段的对齐方式不同时，识别效果会大大降低。比如训练时用5点对齐，而实际部署时用98点对齐；比如训练时用A模型的98点对齐，部署时用B模型的98点对齐，这些对齐方式的变化很可能是因为显存大小对模型大小的限制或者推理时间的不同要求造成，而最终的结果是人脸识别的准确率低。
针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。
发明内容
本发明实施例提供了一种人脸识别方法及装置、存储介质、电子设备。
根据本申请实施例的一个方面，提供了一种人脸识别方法，包括：采集目标对象的人脸图像；提取所述人脸图像的关键点特征；使用所述关键点特征，将所述人脸图像对齐到模板图像，生成虚拟人脸；采用人脸识别模型从所述虚拟人脸中提取人脸特征，并基于所述人脸特征对所述目标对象进行人脸识别，其中，所述人脸识别模型通过数据增强的样本图像训练得到。
进一步，在采用人脸识别模型从所述虚拟人脸中提取人脸特征之前，所述方法还包括：获取人脸样本数据集；将所述人脸样本数据集划分为第一样本集和第二样本集；执行以下迭代步骤，直到损失值达到目标值：根据所述第一样本集中的N个样本ID生成第一样本特征和第二样本特征，根据所述第二样本集中的K个样本图像生成K个第三样本特征，根据所述第一样本特征，所述第二样本特征，所述K个第三样本特征计算损失值，其中，N，K均为大于0的整数。
进一步，根据所述第一样本集中的N个样本图像生成第一样本特征和第二样本特征包括：针对所述N个样本ID的每个样本ID，选择两张样本图像，其中，每个样本ID对应一个样本实体；针对所述两张样本图像中的每张样本图像，对样本图像进行数据增强，得到与所述两张样本图像对应的四张中间图像；从所述四张中间图像中随机选择两张中间图像进行特征编码，生成第一样本特征和第二样本特征。
进一步，对样本图像进行数据增强包括：从M套人脸关键点检测模型中随机选择两套人脸关键点检测模型，其中，每套人脸关键点检测模型对应一套权重参数或模型结构，其中，M为大于2的整数；采用所述两套人脸关键点检测模型分别对每张所述样本图像进行人脸对齐，得到对应的两张中间图像。
进一步，根据所述第二样本集中的中的K个样本图像生成K个第三样本特征包括：从所述第二样本集中随机选择K个样本图像；在图像字典中的队列前端添加所述K个样本图像；在图像字典的队列末端取出K个样本图像；对所述K个样本图像进行特征编码，生成K个第三样本特征。
进一步，根据所述第一样本特征，所述第二样本特征，所述K个第三样本特征计算损失值包括：针对每个所述第一样本特征与每个所述第三样本特征组成的样本对，采用以下公式计算特征距离：D＝max(margin-d,0)2；针对每个所述第一样本特征与每个所述第二样本特征组成的样本对，当第一样本特征和所述第二样本特征来自不同样本图像时，采用以下公式计算特征距离：D＝d2；当第一样本特征和所述第二样本特征来自同一样本图像时，采用以下公式计算特征距离：D＝αd2,其中α>1；采用以下公式计算损失值：
Figure BDA0002888092450000021
其中，d代表两个样本特征之间的欧氏距离，margin为设定阈值，P为样本对的数量，i为1到P之间的整数。
进一步，在损失值达到目标值之前，所述方法还包括：基于所述人脸样本数据集重新划分第一样本集和第二样本集；基于重新划分的第一样本集和第二样本集继续执行所述迭代步骤。
根据本申请实施例的另一个方面，还提供了一种人脸识别装置，包括：采集模块，用于采集目标对象的人脸图像；提取模块，用于提取所述人脸图像的关键点特征；生成模块，用于使用所述关键点特征，将所述人脸图像对齐到模板图像，生成虚拟人脸；识别模块，用于采用人脸识别模型从所述虚拟人脸中提取人脸特征，并基于所述人脸特征对所述目标对象进行人脸识别，其中，所述人脸识别模型通过数据增强的样本图像训练得到。
进一步，所述装置还包括：获取模块，用于在所述识别模块采用人脸识别模型从所述虚拟人脸中提取人脸特征之前，获取人脸样本数据集；第一划分模块，用于将所述人脸样本数据集划分为第一样本集和第二样本集；第一迭代模块，用于执行以下迭代步骤，直到损失值达到目标值：根据所述第一样本集中的N个样本ID生成第一样本特征和第二样本特征，根据所述第二样本集中的K个样本图像生成K个第三样本特征，根据所述第一样本特征，所述第二样本特征，所述K个第三样本特征计算损失值，其中，N，K均为大于0的整数。
进一步，所述第一迭代模块包括：第一选择单元，用于针对所述N个样本ID的每个样本ID，选择两张样本图像，其中，每个样本ID对应一个样本实体；增强单元，用于针对所述两张样本图像中的每张样本图像，对样本图像进行数据增强，得到与所述两张样本图像对应的四张中间图像；第二选择单元，用于从所述四张中间图像中随机选择两张中间图像进行特征编码，生成第一样本特征和第二样本特征。
进一步，所述增强单元包括：选择子单元，用于从M套人脸关键点检测模型中随机选择两套人脸关键点检测模型，其中，每套人脸关键点检测模型对应一套权重参数或模型结构，其中，M为大于2的整数；对齐子单元，用于采用所述两套人脸关键点检测模型分别对每张所述样本图像进行人脸对齐，得到对应的两张中间图像。
进一步，所述第一迭代模块包括：第三选择单元，用于从所述第二样本集中随机选择K个样本图像；添加单元，用于在图像字典中的队列前端添加所述K个样本图像；取值单元，用于在图像字典的队列末端取出K个样本图像；编码单元，用于对所述K个样本图像进行特征编码，生成K个第三样本特征。
进一步，所述第一迭代模块包括：第一计算单元，用于针对每个所述第一样本特征与每个所述第三样本特征组成的样本对，采用以下公式计算特征距离：D＝max(margin-d,0)2；第二计算单元，用于针对每个所述第一样本特征与每个所述第二样本特征组成的样本对，当第一样本特征和所述第二样本特征来自不同样本图像时，采用以下公式计算特征距离：D＝d2；当第一样本特征和所述第二样本特征来自同一样本图像时，采用以下公式计算特征距离：D＝αd2,其中α>1；第三计算单元，用于采用以下公式计算损失值：
Figure BDA0002888092450000041
其中，d代表两个样本特征之间的欧氏距离，margin为设定阈值，P为样本对的数量，i为1到P之间的整数。
进一步，所述装置还包括：第二划分模块，用于在所述第一迭代模块计算的损失值达到目标值之前，基于所述人脸样本数据集重新划分第一样本集和第二样本集；第二迭代模块，用于基于重新划分的第一样本集和第二样本集继续执行所述迭代步骤。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。
根据本申请实施例的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。
通过本发明，采集目标对象的人脸图像，提取人脸图像的关键点特征，使用关键点特征，将人脸图像对齐到模板图像，生成虚拟人脸，采用人脸识别模型从虚拟人脸中提取人脸特征，并基于人脸特征对目标对象进行人脸识别，人脸识别模型通过数据增强的样本图像训练得到，能够适应不同对齐方式裁剪出的模板图像，解决了相关技术中的人脸识别模型只能适配固定人脸对齐方式的技术问题，提高了人脸识别模型的准确性和适应性，增加了模型的应用场景和应用范围。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种服务器的硬件结构框图；
图2是根据本发明实施例的一种人脸识别方法的流程图；
图3是本发明实施例的训练原理图；
图4是根据本发明实施例的一种人脸识别装置的结构框图；
图5是实施本发明实施例的一种电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
本申请实施例一所提供的方法实施例可以在服务器、计算机、手机、安防设备、或者类似的运算装置中执行。以运行在服务器上为例，图1是本发明实施例的一种服务器的硬件结构框图。如图1所示，服务器10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述服务器还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述服务器的结构造成限定。例如，服务器10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储服务器程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种人脸识别方法对应的服务器程序，处理器102通过运行存储在存储器104内的服务器程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至服务器10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种人脸识别方法，图2是根据本发明实施例的一种人脸识别方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，采集目标对象的人脸图像；
在本实施例中，目标对象是用户可以是人或者是包括脸部的其他生物，如狗、猪等。人脸识别指的是基于人的脸部特征信息进行身份识别的一种生物识别技术，用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。
步骤S204，提取人脸图像的关键点特征；
可选的，该关键点特征包括人脸器官等关键点在坐标系中的坐标位置，两个关键点之间的距离，三个关键点围成的形状等人脸特征。
步骤S206，使用关键点特征，将人脸图像对齐到模板图像，生成虚拟人脸；
步骤S208，采用人脸识别模型从虚拟人脸中提取人脸特征，并基于人脸特征对目标对象进行人脸识别，其中，人脸识别模型通过数据增强的样本图像训练得到。
人脸识别流程包括人脸检测(从图像中检测出人脸框的位置)，人脸关键点检测(从人脸框中检测出人脸关键点，包括5个点，72个点，98个点等多种关键点模式)，得到关键点特征，人脸对齐(利用检测出来的关键点，根据模板脸做一个仿射变换，使人脸对齐到模版脸)，得到模板图像，特征提取(在对齐后的模板图像上提取特征)，特征比对(根据提取的人脸特征与已保存的特征比对判断该人脸属于哪个人)。
通过上述步骤，采集目标对象的人脸图像，提取人脸图像的关键点特征，使用关键点特征，将人脸图像对齐到模板图像，采用人脸识别模型从虚拟人脸中提取人脸特征，并基于人脸特征对目标对象进行人脸识别，人脸识别模型通过数据增强的样本图像训练得到，能够适应不同对齐方式裁剪出的模板图像，解决了相关技术中的人脸识别模型只能适配固定人脸对齐方式的技术问题，提高了人脸识别模型的准确性和适应性，增加了模型的应用场景和应用范围。
本实施例中，在采用人脸识别模型从虚拟人脸中提取人脸特征之前，还包括：
S11，获取人脸样本数据集；
S12，将人脸样本数据集划分为第一样本集和第二样本集；
S13，执行以下迭代步骤，直到损失值达到目标值：根据第一样本集中的N个样本ID生成第一样本特征和第二样本特征，根据第二样本集中的K个样本图像生成K个第三样本特征，根据第一样本特征，第二样本特征，K个第三样本特征计算损失值，其中，N，K均为大于0的整数。
在本实施例中，样本ID为样本图像对应用户的ID，如张三，李四，小狗A，每个样本ID可以取多张不同的样本图像。基于同一个样本ID生成第一样本特征和第二样本特征为正样本对，而第一样本特征或第二样本特征，与K个第三样本特征为负样本对。
可选的，在损失值达到目标值之前，还包括：基于人脸样本数据集重新划分第一样本集和第二样本集；基于重新划分的第一样本集和第二样本集继续执行迭代步骤。
在本实施例的一个实施方式中，根据第一样本集中的N个样本图像生成第一样本特征和第二样本特征包括：针对N个样本ID的每个样本ID，选择两张样本图像，其中，每个样本ID对应一个样本实体；针对两张样本图像中的每张样本图像，对样本图像进行数据增强，得到与两张样本图像对应的四张中间图像；从四张中间图像中随机选择两张中间图像进行特征编码，生成第一样本特征和第二样本特征。
基于上述实施方式，对样本图像进行数据增强包括：从M套人脸关键点检测模型中随机选择两套人脸关键点检测模型，其中，每套人脸关键点检测模型对应一套权重参数或模型结构，其中，M为大于2的整数；采用两套人脸关键点检测模型分别对每张样本图像进行人脸对齐，得到对应的两张中间图像。
在一个示例中，选择4种模型结构的关键点检测模型，每个模型选择4个不同的权重参数，则有16套人脸关键点检测模型，对于一张原始人脸图像，从16套人脸关键点检测模型中随机选择不同的两种关键点检测方法检测其关键点并利用关键点进行人脸对齐，从4张图里，随机抽出两张经过EncoderQ得到相应的两个特征feature1和feature2，即第一样本特征和第二样本特征。
在本实施例的一个实施方式中，根据第二样本集中的中的K个样本图像生成K个第三样本特征包括：从第二样本集中随机选择K个样本图像；在图像字典中的队列前端添加K个样本图像；在图像字典的队列末端取出K个样本图像；对K个样本图像进行特征编码，生成K个第三样本特征。
图3是本发明实施例的训练原理图，在一个示例中，已有标签的人脸数据集，人脸都是未经对齐过的，将其按照某种比例分成D-Q(第一样本集)和D-K(第二样本集)两部分，两部分没有相同的人脸ID。每一次迭代在D-Q上选择N个ID的图，每个ID选择两张图像，为了方便解释，以N＝1为例，即每次选择一个ID的2张图。每张图经过2次数据增强，则得到1个ID的四张图face-1，face1-2，face2-1，face2-2。其中数据增强的方式为不同的人脸关键点检测方式，其中不同的关键点检测方式包括不同的算法模型或者相同算法模型但是有不同的权重参数。比如选择4种关键点检测算法模型，每个模型选择4个不同的权重参数，则有16种关键点检测方法，对于一张原始人脸图像，从16种方法中随机选择不同的两种关键点检测方法检测其关键点并利用关键点进行人脸对齐。从4张图里，随机抽出两张经过EncoderQ得到相应的两个特征feature1(第一样本特征)和feature2(第二样本特征)。另一方面，初始化时在D-K里随机选择K张图(可以来自不同ID)构建一个包含K张图的字典，每一次迭代后在D-K里选择k张图加入字典，同时在字典里取出k张图，字典为队列，所以字典更新原则为先进先出，每一次迭代，K张图经过EncoderK得到K个特征(第三样本特征)。
在本实施例的一个实施方式中，基于样本对的类型计算每组样本对的特征距离，进而根据所有样本对的特征距离求和计算损失值。根据第一样本特征，第二样本特征，K个第三样本特征计算损失值包括：针对每个第一样本特征与每个第三样本特征组成的样本对，采用以下公式计算特征距离：D＝max(margin-d,0)2；针对每个第一样本特征与每个第二样本特征组成的样本对，当第一样本特征和第二样本特征来自不同样本图像时，采用以下公式计算特征距离：D＝d2；当第一样本特征和第二样本特征来自同一样本图像时，采用以下公式计算特征距离：D＝αd2,其中α>1；采用以下公式计算损失值：
Figure BDA0002888092450000091
其中，d代表两个样本特征之间的欧氏距离，margin为设定阈值，P为样本对的数量，i为1到P之间的整数，对每个样本对进行积分求和。
在本实施例中，人脸识别模型包括EncoderQ和EncoderK两个网络结构，为相同的特征提取网络结构，如人脸识别模型主干网络(如Resnet50)。利用特征feature1和feature2和K个特征计算一次迭代的Contrastive Loss(损失值)，初始化时两个EncoderQ和EncoderK是相同参数，每个迭代后，EncoderQ通过Contrastive Loss更新，EncoderK通过EncoderQ动量获得。
上文中提到的contrastive loss的表达式如下：
Figure BDA0002888092450000101
损失函数可以有效的处理孪生神经网络中的paired data的关系，d＝||an-bn||2，代表两个样本特征(an和bn)的欧氏距离，y为两个样本是否匹配的标签，y＝1代表两个样本相似或者匹配，y＝0则代表不匹配，margin为设定的阈值。原本相似的样本，如果在特征空间的欧式距离较大，则说明当前的模型不好，因此加大损失；样本不相似时，其特征空间的欧式距离反而小的话，损失值会变大。
在一方面，令D＝yd2+(1-y)max(margin-d,0)2,计算feature1和K个特征的距离时，为K个负样本对，此时y＝0，D＝max(margin-d,0)2；
在另一方面，计算feature1和feature2的特征距离时，此时y＝1。进一步的，当两个特征来自不同图的数据增强，D＝d2,特别的，当两个特征来自同一张图的数据增强时，两张图应该是更加相似的正样本对，应该增加对其距离的惩罚，此时D＝αd2,其中α>1。
设EncoderQ的模型参数为θq，那么其更新方程为
Figure BDA0002888092450000102
设EncoderK的模型参数为θk，那么其更新方程为θk＝mθk+(1-m)θq′,m∈[0,1),其中m越大越好，可选0.999。
当loss降到目标值，保存训练好的EncoderQ模型参数，将该参数作为预训练模型参数应用到其他场景，作为初始化模型参数在其他人脸识别模型数据集上训练，训练好的模型可以适应不同的对齐方式的数据。
本实施例提出一种适应不同对齐方式的人脸识别模型训练方法，能够通过在训练阶段利用人脸关键点进行数据增强，使模型在推理阶段能够适应不同对齐方式裁剪出的人脸图片。通过设计不同的正样本对(来源同一张图的不同数据增强图片和同一样本ID的样本图像)，保证同一ID的不同图属于正样本对，设计更加适用于人脸识别任务，针对不同的正样本对设计了不同的距离计算方法。
利用不同的人脸关键点检测方法设计了人脸数据增强方法，使模型能适应不同关键点检测方法带来的人脸识别模型在训练和推理阶段数据不同分布的问题。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种人脸识别装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本发明实施例的一种人脸识别装置的结构框图，如图4所示，该装置包括：采集模块40，提取模块42，生成模块44，识别模块46，其中，
采集模块40，用于采集目标对象的人脸图像；
提取模块42，用于提取所述人脸图像的关键点特征；
生成模块44，用于使用所述关键点特征，将所述人脸图像对齐到模板图像，生成虚拟人脸；
识别模块46，用于采用人脸识别模型从所述虚拟人脸中提取人脸特征，并基于所述人脸特征对所述目标对象进行人脸识别，其中，所述人脸识别模型通过数据增强的样本图像训练得到。
可选的，所述装置还包括：获取模块，用于在所述识别模块采用人脸识别模型从所述虚拟人脸中提取人脸特征之前，获取人脸样本数据集；第一划分模块，用于将所述人脸样本数据集划分为第一样本集和第二样本集；第一迭代模块，用于执行以下迭代步骤，直到损失值达到目标值：根据所述第一样本集中的N个样本ID生成第一样本特征和第二样本特征，根据所述第二样本集中的K个样本图像生成K个第三样本特征，根据所述第一样本特征，所述第二样本特征，所述K个第三样本特征计算损失值，其中，N，K均为大于0的整数。
可选的，所述第一迭代模块包括：第一选择单元，用于针对所述N个样本ID的每个样本ID，选择两张样本图像，其中，每个样本ID对应一个样本实体；增强单元，用于针对所述两张样本图像中的每张样本图像，对样本图像进行数据增强，得到与所述两张样本图像对应的四张中间图像；第二选择单元，用于从所述四张中间图像中随机选择两张中间图像进行特征编码，生成第一样本特征和第二样本特征。
可选的，所述增强单元包括：选择子单元，用于从M套人脸关键点检测模型中随机选择两套人脸关键点检测模型，其中，每套人脸关键点检测模型对应一套权重参数或模型结构，其中，M为大于2的整数；对齐子单元，用于采用所述两套人脸关键点检测模型分别对每张所述样本图像进行人脸对齐，得到对应的两张中间图像。
可选的，所述第一迭代模块包括：第三选择单元，用于从所述第二样本集中随机选择K个样本图像；添加单元，用于在图像字典中的队列前端添加所述K个样本图像；取值单元，用于在图像字典的队列末端取出K个样本图像；编码单元，用于对所述K个样本图像进行特征编码，生成K个第三样本特征。
可选的，所述第一迭代模块包括：第一计算单元，用于针对每个所述第一样本特征与每个所述第三样本特征组成的样本对，采用以下公式计算特征距离：D＝max(margin-d,0)2；第二计算单元，用于针对每个所述第一样本特征与每个所述第二样本特征组成的样本对，当第一样本特征和所述第二样本特征来自不同样本图像时，采用以下公式计算特征距离：D＝d2；当第一样本特征和所述第二样本特征来自同一样本图像时，采用以下公式计算特征距离：D＝αd2,其中α>1；第三计算单元，用于采用以下公式计算损失值：
Figure BDA0002888092450000121
其中，d代表两个样本特征之间的欧氏距离，margin为设定阈值，P为样本对的数量，i为1到P之间的整数。
可选的，所述装置还包括：第二划分模块，用于在所述第一迭代模块计算的损失值达到目标值之前，基于所述人脸样本数据集重新划分第一样本集和第二样本集；第二迭代模块，用于基于重新划分的第一样本集和第二样本集继续执行所述迭代步骤。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，采集目标对象的人脸图像；
S2，提取所述人脸图像的关键点特征；
S3，使用所述关键点特征，将所述人脸图像对齐到模板图像，生成虚拟人脸；
S4，采用人脸识别模型从所述虚拟人脸中提取人脸特征，并基于所述人脸特征对所述目标对象进行人脸识别，其中，所述人脸识别模型通过数据增强的样本图像训练得到。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，采集目标对象的人脸图像；
S2，提取所述人脸图像的关键点特征；
S3，使用所述关键点特征，将所述人脸图像对齐到模板图像，生成虚拟人脸；
S4，采用人脸识别模型从所述虚拟人脸中提取人脸特征，并基于所述人脸特征对所述目标对象进行人脸识别，其中，所述人脸识别模型通过数据增强的样本图像训练得到。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
图5是本发明实施例的一种电子设备的结构图，如图5所示，包括处理器51、通信接口52、存储器53和通信总线54，其中，处理器51，通信接口52，存储器53通过通信总线54完成相互间的通信，存储器53，用于存放计算机程序；处理器51，用于执行存储器53上所存放的程序。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：
采集目标对象的人脸图像；
提取所述人脸图像的关键点特征；
使用所述关键点特征，将所述人脸图像对齐到模板图像，生成虚拟人脸；
采用人脸识别模型从所述虚拟人脸中提取人脸特征，并基于所述人脸特征对所述目标对象进行人脸识别，其中，所述人脸识别模型通过数据增强的样本图像训练得到。
2.根据权利要求1所述的方法，其特征在于，在采用人脸识别模型从所述虚拟人脸中提取人脸特征之前，所述方法还包括：
获取人脸样本数据集；
将所述人脸样本数据集划分为第一样本集和第二样本集；
执行以下迭代步骤，直到损失值达到目标值：根据所述第一样本集中的N个样本ID生成第一样本特征和第二样本特征，根据所述第二样本集中的K个样本图像生成K个第三样本特征，根据所述第一样本特征，所述第二样本特征，所述K个第三样本特征计算损失值，其中，N，K均为大于0的整数。
3.根据权利要求2所述的方法，其特征在于，根据所述第一样本集中的N个样本图像生成第一样本特征和第二样本特征包括：
针对所述N个样本ID的每个样本ID，选择两张样本图像，其中，每个样本ID对应一个样本实体；
针对所述两张样本图像中的每张样本图像，对样本图像进行数据增强，得到与所述两张样本图像对应的四张中间图像；
从所述四张中间图像中随机选择两张中间图像进行特征编码，生成第一样本特征和第二样本特征。
4.根据权利要求3所述的方法，其特征在于，对样本图像进行数据增强包括：
从M套人脸关键点检测模型中随机选择两套人脸关键点检测模型，其中，每套人脸关键点检测模型对应一套权重参数或模型结构，其中，M为大于2的整数；
采用所述两套人脸关键点检测模型分别对每张所述样本图像进行人脸对齐，得到对应的两张中间图像。
5.根据权利要求2所述的方法，其特征在于，根据所述第二样本集中的中的K个样本图像生成K个第三样本特征包括：
从所述第二样本集中随机选择K个样本图像；
在图像字典中的队列前端添加所述K个样本图像；
在图像字典的队列末端取出K个样本图像；
对所述K个样本图像进行特征编码，生成K个第三样本特征。
6.根据权利要求2所述的方法，其特征在于，根据所述第一样本特征，所述第二样本特征，所述K个第三样本特征计算损失值包括：
针对每个所述第一样本特征与每个所述第三样本特征组成的样本对，采用以下公式计算特征距离：D＝max(margin-d,0)2；
针对每个所述第一样本特征与每个所述第二样本特征组成的样本对，当第一样本特征和所述第二样本特征来自不同样本图像时，采用以下公式计算特征距离：D＝d2；当第一样本特征和所述第二样本特征来自同一样本图像时，采用以下公式计算特征距离：D＝αd2,其中α>1；
采用以下公式计算损失值：
Figure FDA0002888092440000021
其中，d代表两个样本特征之间的欧氏距离，margin为设定阈值，P为样本对的数量，i为1到P之间的整数。
7.根据权利要求2所述的方法，其特征在于，在损失值达到目标值之前，所述方法还包括：
基于所述人脸样本数据集重新划分第一样本集和第二样本集；
基于重新划分的第一样本集和第二样本集继续执行所述迭代步骤。
8.一种人脸识别装置，其特征在于，包括：
采集模块，用于采集目标对象的人脸图像；
提取模块，用于提取所述人脸图像的关键点特征；
生成模块，用于使用所述关键点特征，将所述人脸图像对齐到模板图像，生成虚拟人脸；
识别模块，用于采用人脸识别模型从所述虚拟人脸中提取人脸特征，并基于所述人脸特征对所述目标对象进行人脸识别，其中，所述人脸识别模型通过数据增强的样本图像训练得到。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7中任一项所述的方法步骤。
10.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：
存储器，用于存放计算机程序；
处理器，用于通过运行存储器上所存放的程序来执行权利要求1至7中任一项所述的方法步骤。
CN202110019239.3A 2021-01-07 2021-01-07 人脸识别方法及装置、存储介质、电子设备 Active CN112613488B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110019239.3A CN112613488B (zh) 2021-01-07 2021-01-07 人脸识别方法及装置、存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110019239.3A CN112613488B (zh) 2021-01-07 2021-01-07 人脸识别方法及装置、存储介质、电子设备

Publications (2)

Publication Number Publication Date
CN112613488A true CN112613488A (zh) 2021-04-06
CN112613488B CN112613488B (zh) 2024-04-05

Family

ID=75254708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110019239.3A Active CN112613488B (zh) 2021-01-07 2021-01-07 人脸识别方法及装置、存储介质、电子设备

Country Status (1)

Country Link
CN (1) CN112613488B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919909A (zh) * 2017-02-10 2017-07-04 华中科技大学 一种行人重识别的度量学习方法和***
CN107871107A (zh) * 2016-09-26 2018-04-03 北京眼神科技有限公司 人脸认证方法和装置
CN108985232A (zh) * 2018-07-18 2018-12-11 平安科技（深圳）有限公司 人脸图像比对方法、装置、计算机设备及存储介质
CN109359575A (zh) * 2018-09-30 2019-02-19 腾讯科技（深圳）有限公司 人脸检测方法、业务处理方法、装置、终端及介质
CN111079830A (zh) * 2019-12-12 2020-04-28 北京金山云网络技术有限公司 目标任务模型的训练方法、装置和服务器
CN111339869A (zh) * 2020-02-18 2020-06-26 北京拙河科技有限公司 一种人脸识别方法、装置、计算机可读存储介质及设备
CN111861924A (zh) * 2020-07-23 2020-10-30 成都信息工程大学 一种基于进化gan的心脏磁共振图像数据增强方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871107A (zh) * 2016-09-26 2018-04-03 北京眼神科技有限公司 人脸认证方法和装置
CN106919909A (zh) * 2017-02-10 2017-07-04 华中科技大学 一种行人重识别的度量学习方法和***
CN108985232A (zh) * 2018-07-18 2018-12-11 平安科技（深圳）有限公司 人脸图像比对方法、装置、计算机设备及存储介质
CN109359575A (zh) * 2018-09-30 2019-02-19 腾讯科技（深圳）有限公司 人脸检测方法、业务处理方法、装置、终端及介质
CN111079830A (zh) * 2019-12-12 2020-04-28 北京金山云网络技术有限公司 目标任务模型的训练方法、装置和服务器
CN111339869A (zh) * 2020-02-18 2020-06-26 北京拙河科技有限公司 一种人脸识别方法、装置、计算机可读存储介质及设备
CN111861924A (zh) * 2020-07-23 2020-10-30 成都信息工程大学 一种基于进化gan的心脏磁共振图像数据增强方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAIMING HE ET AL: "Momentum Contrast for Unsupervised Visual Representation Learning", 《ARXIV:1911.05722V3》, pages 1 - 12 *

Also Published As

Publication number Publication date
CN112613488B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
CN113536864B (zh) 手势识别方法、装置、计算机可读存储介质及终端设备
CN104680119B (zh) 图像身份识别方法和相关装置及身份识别***
CN111444828A (zh) 一种模型训练的方法、目标检测的方法、装置及存储介质
CN110222607B (zh) 人脸关键点检测的方法、装置及***
CN111108508B (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN107944381B (zh) 人脸跟踪方法、装置、终端及存储介质
CN109815823B (zh) 数据处理方法及相关产品
CN114612987A (zh) 一种表情识别方法及装置
CN113052096A (zh) 一种视频检测方法、装置、设备及存储介质
CN112802081A (zh) 一种深度检测方法、装置、电子设备及存储介质
CN112287911A (zh) 数据标注方法、装置、设备及存储介质
CN110991298A (zh) 图像的处理方法和装置、存储介质及电子装置
CN114596618A (zh) 戴口罩的人脸识别训练方法、装置、电子设备及存储介质
CN112101072A (zh) 人脸匹配方法、装置、设备及介质
CN110807380B (zh) 一种人体关键点检测方法及装置
CN112257689A (zh) 人脸识别模型的训练和识别方法、存储介质及相关设备
CN109376581B (zh) 对象关系识别方法和装置、存储介质及电子装置
CN110210425B (zh) 人脸识别方法、装置、电子设备及存储介质
CN112613488B (zh) 人脸识别方法及装置、存储介质、电子设备
CN116959113A (zh) 步态识别方法及装置
CN109034059B (zh) 静默式人脸活体检测方法、装置、存储介质及处理器
CN112560554A (zh) 基于唇语的活体检测方法、装置以及存储介质
CN107944429B (zh) 一种面部识别方法、装置及其使用的移动终端
CN115690488A (zh) 基于卷积神经网络模型的图像识别方法、装置及终端设备
CN114596453A (zh) 图像处理方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant