CN108932459A - 脸部识别模型训练方法和装置及脸部识别方法 - Google Patents

脸部识别模型训练方法和装置及脸部识别方法 Download PDF

Info

Publication number
CN108932459A
CN108932459A CN201710384934.3A CN201710384934A CN108932459A CN 108932459 A CN108932459 A CN 108932459A CN 201710384934 A CN201710384934 A CN 201710384934A CN 108932459 A CN108932459 A CN 108932459A
Authority
CN
China
Prior art keywords
face
ethnic
neural network
training
data collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710384934.3A
Other languages
English (en)
Other versions
CN108932459B (zh
Inventor
张梦
缪倩文
刘汝杰
孙俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201710384934.3A priority Critical patent/CN108932459B/zh
Publication of CN108932459A publication Critical patent/CN108932459A/zh
Application granted granted Critical
Publication of CN108932459B publication Critical patent/CN108932459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及脸部识别模型训练方法和装置及脸部识别方法。该训练方法包括：使用第一种族脸部数据集来训练神经网络模型；基于第一种族脸部数据集和第二种族脸部三维模型进行变换获得类似第二种族脸部数据集；以及使用类似第二种族脸部数据集来进一步训练神经网络模型，对神经网络的权重进行微调，用训练得到的神经网络模型作为脸部识别模型。根据本发明的方法和装置无需花费大量的时间、人力和资源来收集脸部数据，而可以进行跨种族脸部识别模型的训练。

Description

脸部识别模型训练方法和装置及脸部识别方法
技术领域
本发明涉及图像处理领域，更具体地涉及一种脸部识别模型训练方法和装置及脸部识别方法。
背景技术
近年来，脸部识别在学术界和工业界得到了广泛的关注并取得了很多进展，其主要原因是大规模的脸部数据收集和卷积神经网络(CNN)的发展。目前，跨种族的脸部识别难度较大，对特定的种族识别性能好，而对其他种族识别性能差。比如模型的训练集以某个种族数据为主，那么这个脸部识别***会更好的识别这个种族，对其他种族识别性能不是很好。目前，有很多开源的脸部数据以西方人为主，而亚洲人、非洲脸部数据较少。而卷积神经网络训练需要大量的脸部数据，收集大量的脸部数据会浪费大量的时间、人力和资源。
因此，需要一种能够解决上述问题的、跨种族的脸部识别模型训练方法和装置及脸部识别方法。
发明内容
在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
本发明的一个主要目的在于，提供了一种基于神经网络的脸部识别模型的训练方法，包括：使用第一种族脸部数据集来训练神经网络模型；基于第一种族脸部数据集和第二种族脸部三维模型进行变换获得类似第二种族脸部数据集；以及使用类似第二种族脸部数据集来进一步训练神经网络模型，对神经网络的权重进行微调，用训练得到的神经网络模型作为脸部识别模型。
根据本发明的一个方面，提供一种脸部识别方法，包括：将待识别数据输入训练得到的脸部识别模型中进行计算；将计算得到的特征与训练得到相似度特征进行比较；以及基于比较结果确定待识别数据的识别结果。
根据本发明的又一个方面，提供一种基于神经网络的脸部识别模型的训练装置，包括：第一神经网络模型训练单元，被配置为使用第一种族脸部数据集来训练神经网络模型；类似第二种族脸部数据集获得单元，被配置为基于第一种族脸部数据集和第二种族脸部三维模型进行变换得到类似第二种族脸部数据集；以及第二神经网络模型训练单元，被配置为使用类似第二种族脸部数据集来进一步训练神经网络模型，从而对神经网络的权重进行微调，用训练得到的神经网络模型作为脸部识别模型。
另外，本发明的实施例还提供了用于实现上述方法的计算机程序。
此外，本发明的实施例还提供了至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述方法的计算机程序代码。
通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。
附图说明
参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。
图1示出了训练脸部识别模型的总体框架示意图；
图2示出了根据本发明的一个实施例的基于神经网络的脸部识别模型的训练方法200的示例性过程的流程图；
图3是示出图2中的步骤S204的一种示例性过程的流程图；
图4示出了从脸部图像提取脸部局部图像块的示意图；
图5示出了训练得到多个卷积神经网络的示意图；
图6是示出了利用训练得到的脸部识别模型进行脸部识别的示例性过程的流程图；
图7是示出根据本发明的另一个实施例的基于神经网络的脸部识别模型的训练装置700的示例性配置的框图；
图8是示出图7中的类似第二种族脸部数据集获得单元704的一种示例性配置的框图；以及
图9是示出可以用于实施本发明的基于神经网络的脸部识别模型的训练方法和装置的计算设备的示例性结构图。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与***及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的设备结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
本发明提出了一种跨种族的脸部识别方法。通过使用现有的种族脸部数据集和已有的目标种族脸部三维模型得到大量具有目标种族脸部特征的类似目标种族脸部数据集作为训练数据。并且提出一种新的脸部局部图像块的选取方法，选取具有互补性特征的局部图像块，然后利用局部图像块进行神经网络模型的训练。在训练的过程中，先使用现有种族脸部数据训练多个神经网络模型，然后使用目标种族脸部数据微调多个神经网络模型，还可以训练相似度度量用于进行测试，最终得到跨种族脸部识别的模型。
下面结合附图详细说明根据本发明的实施例的基于神经网络的脸部识别模型的训练方法和装置。下文中的描述按如下顺序进行：
1.基于神经网络的脸部识别模型的训练方法
2.基于神经网络的脸部识别模型的训练装置
3.用以实施本申请的方法和装置的计算设备
[1.基于神经网络的脸部识别模型的训练方法]
图1示出了根据本发明的方法训练得到脸部识别模型的总体框架示意图。在图1中以训练卷积神经网络为例进行说明。
如图1所示，在神经网络的训练过程中，首先使用第一种族脸部数据集训练多个卷积神经网络模型，然后使用类似第二种族脸部数据集对训练得到的多个卷积神经网络的权重进行微调，最后用训练得到的多个卷积神经网络模型来训练相似度度量，训练的过程就是使得损失不断减小的过程。在识别过程中，用第二种族脸部数据输入训练得到的作为脸部识别模型的多个卷积神经网络，与已训练的相似度特征进行比较，最终可以得到识别结果。
图2示出了根据本发明的一个实施例的基于神经网络的脸部识别模型的训练方法200的示例性过程的流程图。下面将结合图2具体说明基于神经网络的脸部识别模型的训练方法200的过程。
首先，在步骤S202中，使用第一种族脸部数据集来训练神经网络模型。
第一种族脸部数据集例如可以是现有的WebFace数据库，利用WebFace数据库来训练神经网络模型。
接着，在步骤S204中，基于第一种族脸部数据集和第二种族脸部三维模型进行变换获得类似第二种族脸部数据集。
通过对第二种族脸部三维模型施加变换方法，得到第二种族脸部二维图像，再利用第一种族数据库来产生大量的具有第二种族人们的特征的数据。
图3是示出图2中的步骤S204(即，基于第一种族脸部数据集和第二种族脸部三维模型进行变换得到类似第二种族脸部数据集)的一种示例性过程的流程图。
如图3所示，在步骤S2042中，基于第二种族脸部三维模型提取第二种族脸部二维图像。
接着，在步骤S2044中，分别对第一种族脸部数据集中的第一种族脸部二维图像和所提取的第二种族脸部二维图像进行脸部关键点检测。
然后，在步骤S2046中，将检测到的脸部关键点进行对准。例如，可以通过相机标定来将检测到的脸部关键点进行对准，从而将第一种族脸部二维图像和第二种族脸部二维图像对齐。
最后，在步骤S2048中，生成类似第二种族脸部数据。
在步骤S204中得到类似第二种族脸部数据集之后，在步骤S206中，使用所生成的类似第二种族脸部数据集来进一步训练神经网络模型，对神经网络的权重进行微调，最终训练得到的神经网络模型即为用于脸部识别的脸部识别模型。
在本发明中，提出了一种对脸部数据集进行预处理的方法。优选地，在使用第一种族脸部数据集来训练神经网络模型之前先要对第一种族脸部数据集进行预处理，并且在使用类似第二种族脸部数据集来进一步训练神经网络模型之前也要对类似第二种族脸部数据集进行预处理。
具体地，预处理包括：首先，在脸部二维图像上选取M个脸部关键点；然后，基于M个脸部关键点从脸部二维图像采样N个局部图像块，其中，M和N都为正整数。
现有的选取局部图像块的方法通常是随机采样大量的局部图像块，而在本发明中，提出了一种基于多个脸部关键点来采样少量的局部图像块的方法。
在一个示例中，多个脸部关键点可以包括两个眼睛、鼻尖和两个嘴角这五个关键点，即M＝5。这些脸部关键点有助于提供包含在局部图像块内的互补信息。
在一个示例中，脸部的局部图像块的选取过程如下。
首先，利用以下公式计算脸部局部图像块的高和宽：
xmin＝{x1,x2,x3,x4,x5}
xmax＝{x1,x2,x3,x4,x5}
ymin＝{y1,y2,y3,y4,y5}
ymax＝{y1,y2,y3,y4,y5}
其中，(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)、(x4,y4)分别为左眼、右眼、鼻尖、左嘴角、右嘴角这五个关键点的坐标。xmin表示x1至x5中的最小值，xmax表示x1至x5中的最大值，ymin和ymax具有类似的含义。Hbase和Wbase分别是脸部局部图像块的基本高和宽，且Hbase＝Wbase。
接着，根据脸部局部图像块的基本高和宽，按照预定比例确定所有局部图像的高和宽。
例如，在一个示例中，取N＝6，即采样6个局部图像块，则可以用如下等式来计算各个脸部局部图像的高和宽。
H1＝0.6*Hbase
H2＝0.5*Hbase
H3＝0.6*Hbase
H4＝Hbase
H5＝Hbase
H6＝Hbase
其中，H1、H2、H3、H4、H5和H6分别为6个脸部局部图像块的高，脸部局部图像块的宽和高相等。这六个脸部局部图像块的中心点分别为(x1,y1)、(x3,y3)、(0.5*(x4+x5),y4)、(0.5*(x1+x2),y1)、(0.5*(x4+x5),y4)、(x3,y3)。通过中心点、宽和高，可以提取如图4下部所示的六个脸部局部图像块。
优选地，在进行神经网络模型的训练时，先利用上述预处理方法分别对第一种族脸部数据集中的图像和类似第二种族脸部数据集中的图像进行预处理，然后再分别使用第一种族脸部数据集中的完整脸部图像和通过预处理得到的N个脸部局部图像块来训练得到N+1个神经网络模型，并且使用类似第二种族脸部数据集中的完整脸部图像和通过预处理得到的N个局部图像块来进一步训练神经网络模型，对N+1个神经网络模型的权重进行微调。
优选地，训练得到的神经网络模型为卷积神经网络模型(MCNN)。
图5示出了利用完整脸部图像和局部图像块训练卷积神经网络的示意图。在图5中，首先使用完整脸部图像(图5最上面的箭头所示)和局部图像块分别训练得到多个(N+1个)CNN(卷积神经网络)模型，不同的CNN用于学习脸部的互补性特征。
在训练得到多个卷积神经网络模型之后，对于预定脸部图像，可以进一步基于训练得到的多个卷积神经网络模型来训练得到相似度特征，便于进行脸部识别。
具体地，对于预定脸部图像，首先基于训练得到的N+1个卷积神经网络模型分别得到N+1个特征，这些特征可以表示脸部的互补特征。
然后，将得到的N+1个特征连接在一起作为相似度特征，以用于脸部识别。
在本发明中，通过预处理得到六个脸部局部图像块。本领域技术人员可以理解，也可以通过预处理得到其它数量的局部图像块，而不限于6个。
在一个示例中，第一种族为西方种族，第二种族为东方种族。本领域技术人员可以理解，第一种族和第二种族不限于此，也可以是除以上的其他种族。
本发明提出了一种跨种族的脸部识别方法。通过使用现有的种族脸部数据集和已有的目标种族脸部三维模型得到大量具有目标种族脸部特征的类似目标种族脸部数据集作为训练数据。并且提出一种新的脸部局部图像块的选取方法，选取具有互补性特征的局部图像块，然后利用局部图像块进行神经网络模型的训练。在训练的过程中，先使用现有种族脸部数据训练多个神经网络模型，然后使用目标种族脸部数据微调多个神经网络模型，还可以训练相似度度量用于进行测试，最终得到跨种族脸部识别模型。
图6是示出了利用上述基于神经网络的脸部识别模型的训练方法200训练得到的脸部识别模型进行脸部识别的示例性过程的流程图。下面将结合图6具体说明脸部识别方法600的过程。
首先，在步骤S602中，将待识别数据输入到利用上述训练方法200训练得到的脸部识别模型中进行计算。
接着，在步骤S604中，将计算得到的特征与训练得到相似度特征进行比较。
最后，在步骤S606中，基于比较结果确定待识别数据的识别结果。
2.基于神经网络的语言模型训练装置
图7是示出根据本发明的另一个实施例的基于神经网络的脸部识别模型的训练装置700的示例性配置的框图。
如图7所示，基于神经网络的脸部识别模型的训练装置700包括第一神经网络模型训练单元702、类似第二种族脸部数据集获得单元704以及第二神经网络模型训练单元706。
其中，第一神经网络模型训练单元702被配置为使用第一种族脸部数据集来训练神经网络模型。
类似第二种族脸部数据集获得单元704被配置为基于第一种族脸部数据集和第二种族脸部三维模型进行变换得到类似第二种族脸部数据集。
第二神经网络模型训练单元706被配置为使用类似第二种族脸部数据集来进一步训练神经网络模型，对神经网络的权重进行微调，用训练得到的神经网络模型作为脸部识别模型。
图8是示出图7中的类似第二种族脸部数据集获得单元704的一种示例性配置的框图。
如图7所示，类似第二种族脸部数据集获得单元704包括：二维图像提取子单元7042、关键点检测子单元7044、对准子单元7046和数据生成子单元7048。
二维图像提取子单元7042被配置为基于第二种族脸部三维模型提取第二种族脸部二维图像。
关键点检测子单元7044被配置为分别检测第一种族脸部数据集中的第一种族脸部二维图像和所提取的第二种族脸部二维图像的脸部关键点。
对准子单元7046被配置为将检测到的脸部关键点进行对准。
数据生成子单元7048被配置为生成类似第二种族脸部数据。
在一个示例中，基于神经网络的脸部识别模型的训练装置700还包括预处理单元(图中未示出)。预处理单元被配置为：在脸部二维图像上选取M个脸部关键点，M为正整数；以及基于M个脸部关键点从脸部二维图像采样N个局部图像块，N为正整数。
预处理单元用于在第一神经网络模型训练单元使用第一种族脸部数据集来训练神经网络模型之前以及第二神经网络模型训练单元使用类似第二种族脸部数据集来进一步训练神经网络模型之前分别对第一种族脸部数据集和类似第二种族脸部数据集进行预处理。
其中，M个脸部关键点包括：两个眼睛、鼻尖和两个嘴角。
其中，第一神经网络模型训练单元702进一步被配置为使用第一种族脸部数据集中的完整脸部图像和通过预处理得到的N个局部图像块训练得到N+1个神经网络模型。
其中，第二神经网络模型训练单元706进一步被配置为使用类似第二种族脸部数据集中的完整脸部图像和通过预处理得到的N个局部图像块进行训练，对N+1个神经网络模型的权重进行微调。
其中，基于神经网络的脸部识别模型的训练装置700还包括相似度特征训练单元(图中未示出)。相似度特征训练单元被配置为：对于预定脸部图像，基于训练得到的神经网络模型来训练得到相似度特征。
其中，相似度特征训练单元进一步被配置为：基于N+1个神经网络模型分别得到N+1个特征；以及将N+1个特征连接在一起作为相似度特征。
其中，N＝6。
其中，第一种族为西方种族，第二种族为东方种族。
其中神经网络为卷积神经网络。
关于基于神经网络的脸部识别模型的训练装置700的各个部分的操作和功能的细节可以参照结合图1-5描述的本发明的基于神经网络的脸部识别模型的训练方法的实施例，这里不再详细描述。
在此需要说明的是，图7-8所示的基于神经网络的脸部识别模型的训练装置700及其组成单元的结构仅仅是示例性的，本领域技术人员可以根据需要对图6-7所示的结构框图进行修改。
本发明提出了一种跨种族脸部数据的扩充方法。在没有某种种族的脸部数据的情况下，根据本发明的方法无需花费大量的时间、人力和资源来收集脸部数据，而可以进行跨种族脸部识别。
[3.用以实施本申请的方法和装置的计算设备]
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
在通过软件和/或固件实现本发明的实施例的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图9所示的通用计算机900安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。
在图9中，中央处理单元(CPU)901根据只读存储器(ROM)902中存储的程序或从存储部分908加载到随机存取存储器(RAM)903的程序执行各种处理。在RAM 903中，也根据需要存储当CPU 901执行各种处理等等时所需的数据^CPU 901、ROM 902和RAM 903经由总线904彼此链路。输入/输出接口905也链路到总线904。
下述部件链路到输入/输出接口905：输入部分906(包括键盘、鼠标等等)、输出部分907(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分908(包括硬盘等)、通信部分909(包括网络接口卡比如LAN卡、调制解调器等)。通信部分909经由网络比如因特网执行通信处理。根据需要，驱动器910也可链路到输入/输出接口905。可拆卸介质911比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器910上，使得从中读出的计算机程序根据需要被安装到存储部分908中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质911安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图9所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质911。可拆卸介质911的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 902、存储部分908中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
本发明还提出一种存储有机器可读取的指令代码的程序产品。指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。
相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等。
本领域的普通技术人员应理解，在此所例举的是示例性的，本发明并不局限于此。
在本说明书中，“第一”、“第二”以及“第N个”等表述是为了将所描述的特征在文字上区分开，以清楚地描述本发明。因此，不应将其视为具有任何限定性的含义。
作为一个示例，上述方法的各个步骤以及上述设备的各个组成模块和/或单元可以实施为软件、固件、硬件或其组合，并作为相应设备中的一部分。上述装置中各个组成模块、单元通过软件、固件、硬件或其组合的方式进行配置时可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。
作为一个示例，在通过软件或固件实现的情况下，可以从存储介质或网络向具有专用硬件结构的计算机(例如图9所示的通用计算机900)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。
在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其他实施方式中使用，与其他实施方式中的特征相组合，或替代其他实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其他特征、要素、步骤或组件的存在或附加。
此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本发明的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。
基于以上的说明，可知公开至少公开了以下技术方案：
附记1、一种基于神经网络的脸部识别模型的训练方法，包括：
使用第一种族脸部数据集来训练神经网络模型；
基于所述第一种族脸部数据集和第二种族脸部三维模型进行变换获得类似第二种族脸部数据集；以及
使用所述类似第二种族脸部数据集来进一步训练所述神经网络模型，对所述神经网络的权重进行微调，用训练得到的神经网络模型作为脸部识别模型。
附记2、根据附记1所述的方法，基于所述第一种族脸部数据集和第二种族脸部三维模型进行变换得到类似第二种族脸部数据集包括：
基于所述第二种族脸部三维模型提取第二种族脸部二维图像；
分别检测所述第一种族脸部数据集中的第一种族脸部二维图像和所提取的第二种族脸部二维图像的脸部关键点；
将检测到的脸部关键点进行对准；以及
生成所述类似第二种族脸部数据。
附记3、根据附记1所述的方法，在使用第一种族脸部数据集来训练神经网络模型之前要对所述第一种族脸部数据集进行预处理，以及在使用所述类似第二种族脸部数据集来进一步训练所述神经网络模型之前要对所述类似第二种族脸部数据集进行预处理，其中，所述预处理包括：
在脸部二维图像上选取M个脸部关键点，M为正整数；以及
基于所述M个脸部关键点从所述脸部二维图像采样N个局部图像块，N为正整数。
附记4、根据附记3所述的方法，其中，所述M个脸部关键点包括：两个眼睛、鼻尖和两个嘴角。
附记5、根据附记3所述的方法，其中，
使用第一种族脸部数据集来训练神经网络模型包括使用所述第一种族脸部数据集中的完整脸部图像和通过预处理得到的N个局部图像块训练得到N+1个神经网络模型；以及
使用所述类似第二种族脸部数据集来进一步训练所述神经网络模型包括使用所述类似第二种族脸部数据集中的完整脸部图像和通过预处理得到的N个局部图像块进行训练，对所述N+1个神经网络模型的权重进行微调。
附记6、根据附记5所述的方法，还包括：
对于预定脸部图像，基于训练得到的所述神经网络模型来训练得到相似度特征。
附记7、根据附记6所述的方法，其中，对于预定脸部图像，基于训练得到的所述神经网络模型来训练得到相似度特征包括：
基于所述N+1个神经网络模型分别得到N+1个特征；以及
将所述N+1个特征连接在一起作为所述相似度特征。
附记8、根据附记3所述的方法，其中，N＝6。
附记9、根据附记1所述的方法，其中，所述第一种族为西方种族，所述第二种族为东方种族。
附记10、根据附记1所述的方法，其中，所述神经网络为卷积神经网络。
附记11、一种脸部识别方法，包括：
将待识别数据输入到利用根据附记1-10所述的方法训练得到的脸部识别模型中进行计算；
将计算得到的特征与训练得到相似度特征进行比较；以及
基于比较结果确定所述待识别数据的识别结果。
附记12、一种基于神经网络的脸部识别模型的训练装置，包括：
第一神经网络模型训练单元，被配置为使用第一种族脸部数据集来训练神经网络模型；
类似第二种族脸部数据集获得单元，被配置为基于所述第一种族脸部数据集和第二种族脸部三维模型进行变换得到类似第二种族脸部数据集；以及
第二神经网络模型训练单元，被配置为使用所述类似第二种族脸部数据集来进一步训练所述神经网络模型，对所述神经网络的权重进行微调，用训练得到的神经网络模型作为脸部识别模型。
附记13、根据附记12所述的装置，其中，所述类似第二种族脸部数据集获得单元包括：
二维图像提取子单元，被配置为基于所述第二种族脸部三维模型提取第二种族脸部二维图像；
关键点检测子单元，被配置为分别检测所述第一种族脸部数据集中的第一种族脸部二维图像和所提取的第二种族脸部二维图像的脸部关键点；
对准子单元，被配置为将检测到的脸部关键点进行对准；以及
数据生成子单元，被配置为生成所述类似第二种族脸部数据。
附记14、根据附记12所述的装置，还包括预处理单元，所述预处理单元被配置为：
在脸部二维图像上选取M个脸部关键点，M为正整数；以及
基于所述M个脸部关键点从所述脸部二维图像采样N个局部图像块，N为正整数，
其中，所述预处理单元在所述第一神经网络模型训练单元使用第一种族脸部数据集来训练神经网络模型之前以及所述第二神经网络模型训练单元使用所述类似第二种族脸部数据集来进一步训练所述神经网络模型之前分别对所述第一种族脸部数据集和所述类似第二种族脸部数据集进行预处理。
附记15、根据附记14所述的装置，其中，所述M个脸部关键点包括：两个眼睛、鼻尖和两个嘴角。
附记16、根据附记14所述的装置，其中，
所述第一神经网络模型训练单元进一步被配置为使用所述第一种族脸部数据集中的完整脸部图像和通过预处理得到的N个局部图像块训练得到N+1个神经网络模型；以及
第二神经网络模型训练单元进一步被配置为使用所述类似第二种族脸部数据集中的完整脸部图像和通过预处理得到的N个局部图像块进行训练，对所述N+1个神经网络模型的权重进行微调。
附记17、根据附记16所述的装置，还包括相似度特征训练单元，所述相似度特征训练单元被配置为：对于预定脸部图像，基于训练得到的所述神经网络模型来训练得到相似度特征。
附记18、根据附记17所述的装置，其中，所述相似度特征训练单元进一步被配置为：
基于所述N+1个神经网络模型分别得到N+1个特征；以及
将所述N+1个特征连接在一起作为所述相似度特征。
附记19、根据附记14所述的装置，其中，N＝6。
附记20、根据附记12所述的装置，其中，所述第一种族为西方种族，所述第二种族为东方种族。

Claims (10)

1.一种基于神经网络的脸部识别模型的训练方法，包括：
使用第一种族脸部数据集来训练神经网络模型；
基于所述第一种族脸部数据集和第二种族脸部三维模型进行变换获得类似第二种族脸部数据集；以及
使用所述类似第二种族脸部数据集来进一步训练所述神经网络模型，对所述神经网络的权重进行微调，用训练得到的神经网络模型作为脸部识别模型。
2.根据权利要求1所述的方法，其中，基于所述第一种族脸部数据集和第二种族脸部三维模型进行变换得到类似第二种族脸部数据集包括：
基于所述第二种族脸部三维模型提取第二种族脸部二维图像；
分别检测所述第一种族脸部数据集中的第一种族脸部二维图像和所提取的第二种族脸部二维图像的脸部关键点；
将检测到的脸部关键点进行对准；以及
生成所述类似第二种族脸部数据。
3.根据权利要求1所述的方法，在使用第一种族脸部数据集来训练神经网络模型之前要对所述第一种族脸部数据集进行预处理，以及在使用所述类似第二种族脸部数据集来进一步训练所述神经网络模型之前要对所述类似第二种族脸部数据集进行预处理，其中，所述预处理包括：
在脸部二维图像上选取M个脸部关键点，M为正整数；以及
基于所述M个脸部关键点从所述脸部二维图像采样N个局部图像块，N为正整数。
4.根据权利要求3所述的方法，其中，所述M个脸部关键点包括：两个眼睛、鼻尖和两个嘴角。
5.根据权利要求3所述的方法，其中，
使用第一种族脸部数据集来训练神经网络模型包括使用所述第一种族脸部数据集中的完整脸部图像和通过预处理得到的N个局部图像块训练得到N+1个神经网络模型；以及
使用所述类似第二种族脸部数据集来进一步训练所述神经网络模型包括使用所述类似第二种族脸部数据集中的完整脸部图像和通过预处理得到的N个局部图像块进行训练，对所述N+1个神经网络模型的权重进行微调。
6.根据权利要求5所述的方法，还包括：
对于预定脸部图像，基于训练得到的所述神经网络模型来训练得到相似度特征。
7.根据权利要求6所述的方法，其中，对于预定脸部图像，基于训练得到的所述神经网络模型来训练得到相似度特征包括：
基于所述N+1个神经网络模型分别得到N+1个特征；以及
将所述N+1个特征连接在一起作为所述相似度特征。
8.根据权利要求1所述的方法，其中，所述第一种族为西方种族，所述第二种族为东方种族。
9.一种脸部识别方法，包括：
将待识别数据输入到利用根据权利要求1-8所述的方法训练得到的脸部识别模型中进行计算；
将计算得到的特征与训练得到相似度特征进行比较；以及
基于比较结果确定所述待识别数据的识别结果。
10.一种基于神经网络的脸部识别模型的训练装置，包括：
第一神经网络模型训练单元，被配置为使用第一种族脸部数据集来训练神经网络模型；
类似第二种族脸部数据集获得单元，被配置为基于所述第一种族脸部数据集和第二种族脸部三维模型进行变换得到类似第二种族脸部数据集；以及
第二神经网络模型训练单元，被配置为使用所述类似第二种族脸部数据集来进一步训练所述神经网络模型，从而对所述神经网络的权重进行微调，用训练得到的神经网络模型作为脸部识别模型。
CN201710384934.3A 2017-05-26 2017-05-26 脸部识别模型训练方法和装置及脸部识别方法 Active CN108932459B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710384934.3A CN108932459B (zh) 2017-05-26 2017-05-26 脸部识别模型训练方法和装置及脸部识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710384934.3A CN108932459B (zh) 2017-05-26 2017-05-26 脸部识别模型训练方法和装置及脸部识别方法

Publications (2)

Publication Number Publication Date
CN108932459A true CN108932459A (zh) 2018-12-04
CN108932459B CN108932459B (zh) 2021-12-10

Family

ID=64450378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710384934.3A Active CN108932459B (zh) 2017-05-26 2017-05-26 脸部识别模型训练方法和装置及脸部识别方法

Country Status (1)

Country Link
CN (1) CN108932459B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112825122A (zh) * 2019-11-20 2021-05-21 北京眼神智能科技有限公司 基于二维人脸图像的种族判断方法、装置、介质及设备
CN112990121A (zh) * 2021-04-25 2021-06-18 中国人民解放军国防科技大学 一种目标检测方法、装置、电子设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499132A (zh) * 2009-03-12 2009-08-05 广东药学院 一种人脸图像中特征点提取的三维变换搜索方法
CN101877146A (zh) * 2010-07-15 2010-11-03 北京工业大学 一种扩充三维人脸数据库的方法
KR101212110B1 (ko) * 2011-06-22 2012-12-13 한국과학기술원 2ｄ 및 3ｄ 가상 얼굴 모델링 방법
US20130307848A1 (en) * 2012-05-17 2013-11-21 Disney Enterprises, Inc. Techniques for processing reconstructed three-dimensional image data
CN103440479A (zh) * 2013-08-29 2013-12-11 湖北微模式科技发展有限公司 一种活体人脸检测方法与***
CN104036247A (zh) * 2014-06-11 2014-09-10 杭州巨峰科技有限公司 基于脸部特征的人脸种族分类方法
CN104376594A (zh) * 2014-11-25 2015-02-25 福建天晴数码有限公司 三维人脸建模方法和装置
CN104850825A (zh) * 2015-04-18 2015-08-19 中国计量学院 一种基于卷积神经网络的人脸图像颜值计算方法
CN105631398A (zh) * 2014-11-24 2016-06-01 三星电子株式会社 识别对象的方法和设备以及训练识别器的方法和设备
CN106067190A (zh) * 2016-05-27 2016-11-02 俞怡斐 一种基于单幅图像的快速人脸三维模型生成和变换方法
US20160335480A1 (en) * 2015-05-15 2016-11-17 Toshiba Tec Kabushiki Kaisha Video Based Facial Recognition for Customer Verification at Touchless Checkout
CN106203248A (zh) * 2014-09-05 2016-12-07 三星电子株式会社 用于脸部识别的方法和设备
CN106250877A (zh) * 2016-08-19 2016-12-21 深圳市赛为智能股份有限公司 近红外人脸识别方法及装置
CN106295584A (zh) * 2016-08-16 2017-01-04 深圳云天励飞技术有限公司 深度迁移学习在人群属性的识别方法
CN106485192A (zh) * 2015-09-02 2017-03-08 富士通株式会社 用于图像识别的神经网络的训练方法和装置
CN106503684A (zh) * 2016-10-28 2017-03-15 厦门中控生物识别信息技术有限公司 一种人脸图像处理方法和装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499132A (zh) * 2009-03-12 2009-08-05 广东药学院 一种人脸图像中特征点提取的三维变换搜索方法
CN101877146A (zh) * 2010-07-15 2010-11-03 北京工业大学 一种扩充三维人脸数据库的方法
KR101212110B1 (ko) * 2011-06-22 2012-12-13 한국과학기술원 2ｄ 및 3ｄ 가상 얼굴 모델링 방법
US20130307848A1 (en) * 2012-05-17 2013-11-21 Disney Enterprises, Inc. Techniques for processing reconstructed three-dimensional image data
CN103440479A (zh) * 2013-08-29 2013-12-11 湖北微模式科技发展有限公司 一种活体人脸检测方法与***
CN104036247A (zh) * 2014-06-11 2014-09-10 杭州巨峰科技有限公司 基于脸部特征的人脸种族分类方法
CN106203248A (zh) * 2014-09-05 2016-12-07 三星电子株式会社 用于脸部识别的方法和设备
CN105631398A (zh) * 2014-11-24 2016-06-01 三星电子株式会社 识别对象的方法和设备以及训练识别器的方法和设备
CN104376594A (zh) * 2014-11-25 2015-02-25 福建天晴数码有限公司 三维人脸建模方法和装置
CN104850825A (zh) * 2015-04-18 2015-08-19 中国计量学院 一种基于卷积神经网络的人脸图像颜值计算方法
US20160335480A1 (en) * 2015-05-15 2016-11-17 Toshiba Tec Kabushiki Kaisha Video Based Facial Recognition for Customer Verification at Touchless Checkout
CN106485192A (zh) * 2015-09-02 2017-03-08 富士通株式会社 用于图像识别的神经网络的训练方法和装置
CN106067190A (zh) * 2016-05-27 2016-11-02 俞怡斐 一种基于单幅图像的快速人脸三维模型生成和变换方法
CN106295584A (zh) * 2016-08-16 2017-01-04 深圳云天励飞技术有限公司 深度迁移学习在人群属性的识别方法
CN106250877A (zh) * 2016-08-19 2016-12-21 深圳市赛为智能股份有限公司 近红外人脸识别方法及装置
CN106503684A (zh) * 2016-10-28 2017-03-15 厦门中控生物识别信息技术有限公司 一种人脸图像处理方法和装置

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
AMIN JOURABLOO等: "Large-pose Face Alignment via CNN-based Dense 3D Model Fitting", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR)》 *
KOICHIRO NIINUMA等: "Automatic Multi-view Face Recognition via 3D Model Based Pose Regularization", 《2013 IEEE SIXTH INTERNATIONAL CONFERENCE ON BIOMETRICS: THEORY, APPLICATIONS AND SYSTEMS(BTAS)》 *
NEERU NARANG 等: "Gender and Ethnicity Classification using Deep Learning in Heterogeneous Face Recognition", 《2016 INTERNATIONAL CONFERENCE ON BIOMETRICS(ICB)》 *
宋顶利等: "关键点匹配三维人脸识别方法", 《计算机应用研究》 *
李辉等: "基于卷积神经网络的人脸识别算法", 《软件导刊》 *
蒋玉等: "一种侧视图的三维人脸重建方法", 《宁波大学学报(理工版)》 *
邢健飞: "基于三维人脸建模的多视角人脸识别方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
邱盛: "基于深度学习的人脸民族识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112825122A (zh) * 2019-11-20 2021-05-21 北京眼神智能科技有限公司 基于二维人脸图像的种族判断方法、装置、介质及设备
CN112990121A (zh) * 2021-04-25 2021-06-18 中国人民解放军国防科技大学 一种目标检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN108932459B (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
US10706332B2 (en) Analog circuit fault mode classification method
CN111582009B (zh) 训练分类模型的装置和方法及利用分类模型分类的装置
CN108229651A (zh) 神经网络模型迁移方法和***、电子设备、程序和介质
US11915104B2 (en) Normalizing text attributes for machine learning models
CN111582008B (zh) 训练分类模型的装置和方法及利用分类模型分类的装置
CN110232373A (zh) 人脸聚类方法、装置、设备和存储介质
CN106897746A (zh) 数据分类模型训练方法和装置
CN112006654B (zh) 基于卷积神经网络和多重注意力机制的骨骼年龄评估方法
US12002289B2 (en) Expression recognition method and apparatus, computer device, and readable storage medium
CN107273458A (zh) 深度模型训练方法及装置、图像检索方法及装置
CN112949408B (zh) 一种过鱼通道目标鱼类实时识别方法和***
CN111144215A (zh) 图像处理方法、装置、电子设备及存储介质
CN111666846A (zh) 一种人脸属性识别方法和装置
US20220092359A1 (en) Image data classification method, device and system
Xiao et al. Deterministic model fitting by local-neighbor preservation and global-residual optimization
Xue et al. Automated tongue segmentation in Chinese medicine based on deep learning
CN108932459A (zh) 脸部识别模型训练方法和装置及脸部识别方法
CN112420125A (zh) 分子属性预测方法、装置、智能设备和终端
CN107633058A (zh) 一种基于深度学习的数据动态过滤***及其方法
CN112839185B (zh) 用于处理图像的方法、装置、设备和介质
CN111666748B (zh) 一种自动化分类器的构造方法以及识别决策的方法
CN108334602A (zh) 数据标注方法和装置、电子设备、计算机存储介质、程序
CN109740750A (zh) 数据收集方法及装置
CN109472276A (zh) 模式识别模型的构建方法和装置及模式识别方法
CN108764068A (zh) 一种图像识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant