CN106415594B - 用于面部验证的方法和*** - Google Patents
用于面部验证的方法和*** Download PDFInfo
- Publication number
- CN106415594B CN106415594B CN201480079316.2A CN201480079316A CN106415594B CN 106415594 B CN106415594 B CN 106415594B CN 201480079316 A CN201480079316 A CN 201480079316A CN 106415594 B CN106415594 B CN 106415594B
- Authority
- CN
- China
- Prior art keywords
- feature extraction
- deep
- face
- verification
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012795 verification Methods 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims description 40
- 238000000605 extraction Methods 0.000 claims abstract description 139
- 230000001815 facial effect Effects 0.000 claims abstract description 82
- 238000012549 training Methods 0.000 claims abstract description 57
- 238000011176 pooling Methods 0.000 claims abstract description 26
- 210000002569 neuron Anatomy 0.000 claims description 70
- 239000013598 vector Substances 0.000 claims description 49
- 230000008569 process Effects 0.000 claims description 16
- 238000010200 validation analysis Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 10
- 230000001902 propagating effect Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 11
- 210000004027 cell Anatomy 0.000 description 7
- 230000004913 activation Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000000644 propagated effect Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
Abstract
公开了用于面部验证的设备。该设备可包括特征提取单元和验证单元。在一个实施方式中，特征提取单元包括使用不同的面部训练集训练的多个卷积特征提取***，其中，***中的每个包括：多个级联的卷积特征提取单元、池化特征提取单元、局部连接特征提取单元和全连接特征提取单元，这些特征提取单元配置为从面部图像的面部区域中提取用于面部验证的面部特征；其中，在本申请的一个实施方式中可作为全连接单元的单元层级的输出单元连接至先前单元中的至少一个并为在所连接的单元中提取用于面部验证的面部特征(称作DeepID2)。验证单元可配置为比较从待比较的两个面部图像提取的所获得的DeepID2，从而确定这两个面部图像是否来自同一身份。
Description
技术领域
本申请涉及用于面部验证的方法及其***。
背景技术
早期的子空间面部识别方法(诸如LDA和贝叶斯面部)减小了由于姿势、照明条件、表情、年龄和遮挡情况而引起的在同一人中的变化，同时扩大了人与人之间的变化。例如，LDA通过使用两个线性子空间对人与人之间的面部变化和同一人的面部变化作近似，以及得到最大化这两者之间的比例的投影方向。
更近期的研究也已明确地或隐含地瞄准了相同目标。例如，提出了距离学习(metric learning)以将面部图像映射到一些特征表示上，以使得同一身份的面部图像彼此靠近而不同身份的面部图像保持分开。但是，这些模型非常受限于它们的线性本质或浅层结构，而人与人之间的变化和同一人内的变化是复杂的、高度非线性的以及是在高维度图像空间中被观察的。
近年来，大量的努力被用来通过深度模型使用识别监督信号或验证监督信号学习用于面部识别的有效特征。使用识别信号学习的特征已经在LFW上获得了大约97.45％的准确度。
连同地解决分类任务和验证任务的思想被应用到一般的对象识别中，其集中于改善对于固定的对象种类而非隐藏特征表示的分类准确度。
发明内容
在本申请的一方面中公开了用于面部验证的设备。该设备可包括特征提取单元和验证单元。在一个实施方式中，特征提取单元包括通过使用不同的面部训练集而训练出的多个卷积特征提取***，其中，***中的每个包括：多个级联的卷积特征提取单元、池化特征提取单元、局部连接特征提取单元和全连接特征提取单元，这些特征提取单元配置为从面部图像的面部区域中提取用于面部验证的面部特征；其中，在本申请的一个实施方式中可作为全连接单元的单元层级中的输出单元连接至先前的卷积单元、池化单元、局部连接单元或全连接单元中的至少一个并且配置为从所连接的单元中的面部特征中提取用于面部验证的面部特征(称作深度识别-验证特征或DeepID2)。该设备还可包括验证单元和训练单元。验证单元可配置为比较从待比较的两个面部图像提取的所获得的DeepID2，从而确定这两个面部图像是否来自同一身份。训练单元可配置为将成对的面部图像、识别监督信号和验证监督信号输入至卷积特征提取***，以调节卷积特征提取***的神经元之间的连接权重，其中，识别监督信号通过比较面部图像的参考身份与基于卷积特征提取***从面部图像提取的DeepID2而确定的面部图像的身份之间的差异而生成，验证监督信号通过比较利用卷积特征提取***分别从面部图像提取的DeepID2的差异性而生成。
在本申请的一个实施方式中，输出层包括全连接层。
在本申请的一个实施方式中，用于面部验证的设备还包括训练单元，其配置为将成对的面部图像、识别监督信号和验证监督信号输入至卷积特征提取***，以调节卷积特征提取***的神经元之间的连接权重。
在本申请的一个实施方式中，用于输出DeepID2的层之后跟随n路softmax层以用于将从每个面部区域提取的DeepID2分类到面部身份的全部种类中的一种中；以及其中，训练单元包括识别器，识别器配置为将经过分类的身份与给定参考身份进行比较以生成识别误差，所生成的识别误差反向传播通过卷积特征提取***，从而调节卷积特征提取***的神经元之间的连接权重。
在本申请的一个实施方式中，训练单元包括验证器，验证器配置为通过将分别从两个面部区域提取的两个DeepID2矢量之间的相异性进行比较以生成验证误差，其中，所生成的验证误差反向传播通过卷积特征提取***，从而调节卷积特征提取***的神经元之间的连接权重。
在本申请的一个实施方式中，对于卷积特征提取***中的每个，训练单元和***中的每个协作以执行以下操作：
1)从预定训练集采样两个面部区域-标签对；
2)分别从所采样的两个面部区域-标签对中的两个面部区域提取DeepID2；
3)基于从两个面部区域提取的DeepID2生成识别误差和验证误差；
4)将识别误差和验证误差反向传播通过卷积特征提取***，从而调节卷积特征提取***的神经元之间的连接权重；以及
5)重复步骤1)-4)直至训练过程收敛，从而确定卷积特征提取***的神经元之间的连接权重。
在本申请的一个实施方式中，验证单元包括：特征选择单元，配置为从所提取的DeepID2中选择一组或多组DeepID2，每组DeepID2包括从每个面部图像的多个面部区域提取的DeepID2；比较单元，配置为比较所选择的一组或多组DeepID2以输出一个或多个面部验证分数；以及融合单元，配置为融合一个或多个面部验证分数从而作出单个面部验证判定。
在本申请的一个实施方式中，卷积特征提取层中的每个在卷积特征提取层中的神经元或神经元的子集中包含具有局部接收域并共享连接权重的多个神经元。
在本申请的一个实施方式中，两个DeepID2矢量之间的相异性包括L1范数的负数、L2范数或者两个DeepID2矢量之间的余弦相似性。
在本申请的另一方面中公开了用于面部验证的方法。该方法可包括：通过使用不同训练的卷积特征提取***从面部图像的不同区域提取DeepID2的步骤，以及比较分别从待比较的两个面部图像提取的DeepID2以确定这两个面部图像是否来自同一身份的步骤，其中，所述卷积特征提取***的输出层的神经元激活值被认为是DeepID2。该方法还可包括：通过输入成对的面部区域、识别监督信号和验证监督信号来训练多个用于同时进行身份分类和身份验证的卷积特征提取***，以调节卷积特征提取***的神经元之间的连接权重，其中，识别监督信号通过比较面部图像的参考身份与基于卷积特征提取***从面部图像提取的DeepID2而确定的面部图像的身份之间的差异而生成，验证监督信号通过比较利用卷积特征提取***分别从面部图像提取的DeepID2的差异性而生成。
在本申请的一个实施方式中，输出层包括所述全连接层。
在本申请的一个实施方式中，用于面部验证的方法还包括：通过输入成对的面部区域、识别监督信号和验证监督信号来训练多个用于同时进行身份分类和身份验证的卷积特征提取***，以调节所述卷积特征提取***的神经元之间的连接权重。
在本申请的一个实施方式中，所述训练的步骤还包括：将从每个面部区域提取的所述DeepID2分类到面部身份的全部种类中的一种中；将经过分类的身份与给定参考身份进行比较以生成识别误差；以及将所生成的识别误差反向传播通过所述卷积特征提取***，从而调节所述卷积特征提取***的神经元之间的连接权重。
在本申请的一个实施方式中，所述训练的步骤还包括：将分别从待比较的两个面部区域提取的两个DeepID2矢量之间的相异性进行比较以生成验证误差；以及将所生成的验证误差反向传播通过所述卷积特征提取***，从而调节所述卷积特征提取***的神经元之间的连接权重。
在本申请的一个实施方式中，所述训练的步骤还包括：将从每个面部区域提取的所述DeepID2分类到面部身份的全部种类中的一种中；将经过分类的身份与给定参考身份进行比较以生成识别误差；将分别从待比较的两个面部区域提取的两个DeepID2矢量之间的相异性进行比较来生成验证误差；将所生成的验证误差和所生成的识别误差的组合反向传播通过所述卷积特征提取***，从而调节所述卷积特征提取***的神经元之间的连接权重。
在本申请的一个实施方式中，所述比较的步骤还包括：从所提取的DeepID2中选择一组或多组DeepID2，每组DeepID2包括从每个面部图像的多个面部区域提取的DeepID2；比较所选择的一组或多组DeepID2以输出一个或多个面部验证分数；以及融合所述一个或多个面部验证分数从而作出单个面部验证判定。
在本申请的一个实施方式中，每个卷积特征提取层在所述卷积特征提取层中的神经元或神经元的子集中包含具有局部接收域并共享连接权重的多个神经元。
在本申请的一个实施方式中，对于所述卷积特征提取***中的每个，所述训练还包括：
1)从预定训练集采样两个面部区域-标签对；
2)通过所述卷积特征提取***分别从所采样的两个面部区域-标签对中的两个面部区域提取DeepID2；
3)通过使用从所述两个面部区域提取的DeepID2生成识别误差和验证误差；
4)将所述识别误差和所述验证误差反向传播通过所述卷积特征提取***，从而调节所述卷积特征提取***的神经元之间的连接权重；以及
5)重复步骤1)-4)直至训练过程收敛，从而确定所述卷积特征提取***的神经元之间的连接权重。
在本申请的一个实施方式中，两个DeepID2矢量之间的所述相异性包括L1范数的负数、L2范数或者所述两个DeepID2矢量之间的余弦相似性。
根据本申请，上述设备还可包括训练单元，该训练单元配置为通过输入成对的对准面部区域以及同时将识别监督信号和验证监督信号添加至卷积特征提取***来训练用于同时身份分类和身份验证的多个卷积特征提取***。
根据本申请，还具有用于训练卷积特征提取***的方法，该方法包括：
1)从预定训练集采样两个面部区域-标签对；
2)分别从所采样的两个面部区域-标签对中的两个面部区域提取DeepID2；
3)将从每个面部区域提取的DeepID2分类到面部身份的全部种类中的一种中；
4)将经过分类的身份与给定参考身份进行比较从而生成识别误差；
5)将分别从待比较的两个面部区域提取的两个DeepID2矢量之间的相异性进行比较来生成验证误差；
6)将所生成的验证误差和所生成的识别误差的组合反向传播通过卷积特征提取***，从而调节卷积特征提取***的神经元之间的连接权重；以及
7)重复步骤1)-6)直至训练过程收敛，从而确定卷积特征提取***的神经元之间的连接权重。
根据本申请，还具有用于训练卷积特征***的***，该***包括：
从预定训练集采样两个面部区域-标签对的装置；
分别从所采样的两个面部区域-标签对中的两个面部区域提取DeepID2的装置；
将从每个面部区域提取的DeepID2分类到面部身份的全部种类中的一种中的装置；
将经过分类的身份与给定参考身份进行比较从而生成识别误差的装置；
将分别从待比较的两个面部区域提取的两个DeepID2矢量之间的相异性进行比较来生成验证误差的装置；
将所生成的验证误差和所生成的识别误差的组合反向传播通过卷积特征提取***从而调节卷积特征提取***的神经元之间的连接权重的装置；以及
重复以上步骤直至训练过程收敛从而确定卷积特征提取***的神经元之间的连接权重的装置。
根据本申请，还提供了计算机可读介质，该计算机可读介质用于存储可由一个或多个处理器运行从而执行以下操作的指令：
1)从预定训练集采样两个面部区域-标签对；
2)分别从所采样的两个面部区域-标签对中的两个面部区域提取DeepID2；
3)将从每个面部区域提取的DeepID2分类到面部身份的全部种类中的一种中；
4)将经过分类的身份与给定参考身份进行比较从而生成识别误差；
5)将分别从待比较的两个面部区域提取的两个DeepID2矢量之间的相异性进行比较来生成验证误差；
6)将所生成的验证误差和所生成的识别误差的组合反向传播通过卷积特征提取***，从而调节卷积特征提取***的神经元之间的连接权重；以及
7)重复步骤1)-6)直至训练过程收敛，从而确定卷积特征提取***的神经元之间的连接权重。
与现有方法对比，本申请使用深度卷积特征提取***处理人与人之间的面部变化和同一人的面部变化，该深度卷积特征提取***由于其深度架构和强大的学习能力，可通过分层非线性映射来学习有效的用于面部识别的DeepID2。
本申请通过同时使用两个监督信号(即，面部识别信号和面部验证信号)来学习DeepID2。面部识别信号通过将从不同身份提取的DeepID2分开而增加人与人之间的变化，而面部验证信号通过将从同一身份提取的DeepID2聚拢而减小同一人内的变化，这两种信号对于面部识别都至关重要。
本申请通过从多种面部区域和分辨率提取互补的DeepID2而从不同的方面表征面部，这些表征随后被组合从而在PCA降维处理后形成最终面部表示。学习的DeepID2在以下方面优于通过现有方法学习的特征：学习的DeepID2在不同身份之间分化而在同一身份之内保持一致，从而使得以下面部识别变得更容易。
附图说明
下文中参照附图对本发明的示例性非限制实施方式进行描述。附图是说明性的并且通常不表示精确尺寸。不同附图上的相同或相似的元件使用相同的附图标记表示。
图1是示出了根据一些公开的实施方式的用于面部验证的设备的示意图。
图2是示出了根据一些公开的实施方式的用于面部验证的设备在用软件实施时的示意图。
图3是示出了根据第一公开实施方式的一组选择的面部区域的示意图，其中，DeepID2从这组选择的面部区域中被提取。
图4是示出了根据第二公开实施方式的卷积特征提取***的具体结构的示意图。
图5是示出了被添加至卷积特征提取***的输出层中的DeepID2的识别监督信号和验证监督信号的示意图。
图6是示出了根据一些公开的实施方式的面部验证的示意性流程图。
图7是示出了根据一些公开的实施方式的用于提取DeepID2的深度卷积特征提取***的训练过程的示意性流程图。
图8是示出了根据一些公开的实施方式的如图1所示的训练单元的示意图。
具体实施方式
现在将详细参照示例性实施方式，其中在附图中示出了这些示例性实施方式的示例。在恰当的情况下，在全部附图中使用相同的附图标记表示相同或相似的部件。图1是示出了根据一些公开的实施方式的用于面部验证的示例性设备1000的示意图。
应理解的是，设备1000可使用特定硬件、软件或者硬件与软件的组合实现。此外，本发明的实施方式可改造为实现于包含计算机程序代码的一个或多个计算机可读储存介质(包括但不限于磁盘储存器、CD-ROM、光存储器等)上的计算机程序产品。
在使用软件实现设备1000的情况下，设备1000可包括通用计算机、计算机群、主流计算机、专用于提供在线内容的计算机装置、或包括以集中方式或分布方式运行的一组计算机的计算机网络。如图2中所示，设备1000可包括一个或多个处理器(处理器102、104、106等)、存储器112、储存装置116、通信接口114以及便于在设备1000的各种部件之间交换信息的总线。处理器102-106可包括中央处理单元(“CPU”)、图形处理单元(“GPU”)或其它合适的信息处理装置。根据所使用的硬件的类型，处理器102-106可包括一个或多个印刷电路板、和/或一个或多个微处理器芯片。处理器102-106可运行计算机程序指令序列以执行将在下文更为详细地解释的各种方法。
存储器112还可包括随机存取存储器(“RAM”)和只读存储器(“ROM”)。计算机程序指令可存储在存储器112中、从存储器112中被访问和读取，从而供处理器102-106中的一个或多个处理器来运行。例如，存储器112可存储一个或多个软件应用。此外，存储器112可存储全部软件应用或仅存储软件应用中可由处理器102-106中的一个或多个处理器执行的部分。应注意到的是，虽然图2仅示出了一个框来表示存储器，但是存储器112可包括安装在中央计算装置上或安装在不同计算装置上的多个实体装置。
再次参照图1，当设备1000通过硬件实现时，其可包括特征提取单元10和验证单元20。特征提取单元10配置为通过使用经过不同地训练的卷积特征提取***从面部图像的不同区域提取DeepID2(深度识别-验证特征)，以及将所述卷积特征提取***的输出层的神经元激活值作为DeepID2。验证单元20配置为比较分别从待比较的两个面部图像提取的DeepID2，从而确定这两个面部图像是否来自同一身份。
特征提取单元(提取器)10
特征提取单元10包括多个卷积特征提取***并操作为将特定面部区域输入至卷积特征提取***中的每个以提取DeepID2。图3示出了在面部对准之后选择的用于提取DeepID2的输入面部区域的示例，其中，面部区域包括在位置、尺寸、颜色通道和水平翻转方面的大的变化。图4示出了卷积特征提取***的示例，其包括输入层(本文中也称作输入单元)32、多个卷积层(本文中也称作卷积单元)34、多个池化层(本文中也称作池化单元)36、多个局部连接层(本文中也称作局部连接单元)38以及多个全连接层(本文中也称作全连接单元)40，其中，卷积特征提取***的输出层(在本申请的一个实施方式中可以是全连接层40)连接至一个或多个先前的卷积层、池化层、局部连接层或全连接层。卷积层、池化层、局部连接层和全连接层中的每个包含具有局部接收域或全局接收域的多个神经元，并且在神经元之间共享或不共享连接权重。卷积特征提取***的输出层(可以是全连接层40)神经元激活值是提取的DeepID2，其将在下文中进一步讨论。
在如图4所示的本申请的实施方式中，卷积特征提取***中的每个包括n个(例如，n＝3)卷积层34，其中这n个卷积层34中的每个之后都跟随有最大池化层36。第三最大池化层之后跟随有局部连接层38和全连接层40。全连接层40是DeepID2层，其全连接至局部连接层38和第三最大池化层36。不需要在较高卷积层中的全部特征图上进行权重共享。具体地，在所示出的深度卷积特征提取***的第三卷积层中，在(例如)每个2×2局部区域局部地共享神经元权重。卷积特征提取***在特征提取层级的最后一层(DeepID2层40)提取多维度(例如，160维度)DeepID2矢量。在卷积层34、局部连接层38和全连接DeepID2层40中对神经元使用ReLU(Rectified linear unit，修正线性单元)。在如图4所示的实施方式中，使用了尺寸为(例如)55×47的RGB输入。当输入区域的尺寸改变时，后续层中的特征图尺寸将相应改变。
下文中将进一步讨论如在上文中所提及的卷积特征提取***中的卷积操作、池化操作、局部连接操作和全连接操作。
卷积层34配置为从输入特征图(先前层的输出特征图)提取局部面部特征以形成当前层的输出特征图。每个特征图均是以2D形式组织的某种特征。使用同一组神经元连接权重从输入特征图中提取出同一输出特征图中的特征或者同一特征图的局部区域中的特征。在如图4所示的卷积特征提取***的每个卷积层34中的卷积操作可表示为：
其中xi和yj分别是第i个输入特征图和第j个输出特征图。kij是第i个输入特征图与第j个输出特征图之间的卷积核。*表示卷积。bj是第j个输出特征图的偏置值。本文中，ReLU非线性函数y＝max(0,x)用于神经元，相较于sigmoid函数，该非线性函数展示出了对于大量的训练数据具有更好的拟合能力。在ConvNet的较高卷积层中的权重被局部共享以学习不同区域中的不同的中级特征或高级特征。r表示权重被共享的局部区域。
池化层36配置为提取更全局且不变的面部特征。在图4的池化层36中使用最大池化，其由以下公式表示：
其中第i个输出特征图yi中的每个神经元在第i个输入特征图xi中的s×s的非重叠局部区域上池化。
局部连接层38配置为从输入特征图(先前层的输出特征图)提取局部面部特征以形成当前层的输出特征图。使用不同组的神经元连接权重从输入特征图提取输出特征图中的特征。在本申请的实施方式中，局部连接层38在第三池化层36之后。局部连接层38的操作可表示为：
其中，第j个输出特征图中的每个神经元局部连接至在全部先前特征图中的同一s×s局部区域中的神经元，其后跟随ReLU激活函数。
全连接层40(在本申请的实施方式中用作输出层或DeepID2层)可全连接至先前的卷积层34、池化层36、局部连接层38或全连接层40中的至少一个。在如图4所示的实施方式中，DeepID2的全连接层40全连接至第三池化层36和局部连接层38，使得DeepID2的全连接层40感知多尺寸特征(局部连接层38中的特征比第三池化层36中的特征更全局)。这对于特征学习是至关重要的，因为在沿着层级连续下采样之后，局部连接层38包含太少的神经元，并且成为信息传播的瓶颈。在第三池化层36(称作跳层)与DeepID2层40之间添加旁路连接减少了在局部连接层38中的可能的信息损失。输出DeepID2层40可通过以下方式获得DeepID2矢量y：
其中，x1、x2分别表示第三池化层36和局部连接层38中的神经元输出(特征)；w1和w2表示对应的连接权重。DeepID2层40中的神经元线性地组合先前的两层(第三池化层36和局部连接层38)中的特征，其后进行ReLU非线性操作。yj是多维度真值矢量y的第j个元素，即，DeepID2矢量的第j个元素。
在本申请的实施方式中，首先用EGM算法检测多个面部特征点(faciallandmarks)。本文中，采取21个面部特征点作为示例对本申请进行讨论。面部图像中的每个根据检测到的特征点通过相似变换来全局对准。随后，根据全局对准的面部图像和面部特征点的位置裁取多个(例如，400个)面部区域，这些面部区域在位置、尺寸、颜色通道和水平翻转方面变化。作为示例，如果存在400个裁取的面部区域，则将通过总计200个深度卷积特征提取***提取400个DeepID2矢量，这200个深度卷积特征提取***中的每个被训练用于分别在每个面部图像的一个特定面部区域以及其水平翻转对应面部区域上提取两个160维度的DeepID2矢量。为了减少大量DeepID2之间的冗余，使用正向-反向贪婪算法(forward-backward greedy algorithm)选择少量有效且互补的DeepID2矢量(在如图3所示的实施方式中为25个)，从这些有效且互补的DeepID2矢量中提取25个160维度的DeepID2矢量并且将这25个160维度的DeepID2矢量组合成4000维度的DeepID2矢量。该4000维度的矢量通过PCA进一步压缩以用于进一步的面部验证。
验证单元(验证器)20
根据本申请的一个实施方式，提取的DeepID2中的每个可形成特征矢量。形成的矢量可例如具有如图4所示的160维度。验证单元20可选择每个面部图像中的多个面部区域来提取DeepID2。例如，在如图3所示的实施方式中，选择了25个面部区域，但是其它数量的面部区域也适用。更长的DeepID2矢量通过组合从每个面部图像的选择的面部区域提取的DeepID2而形成。例如，在如图3和图4所示的选择了25个面部区域的实施方式中，组合的矢量可以是160×25＝4000维度的。通过面部验证算法来比较分别从待比较的两个面部图像的选择的面部区域提取出的两个组合的DeepID2矢量，从而得到面部验证分数。可使用SVM、LDA、联合贝叶斯或其它面部验证模型来实现面部验证算法。在通过面部验证算法进行比较之前，组合的DeepID2矢量可经过降维算法(例如PCA)。通过对从不同组的选择的面部区域提取的不同的DeepID2矢量运行面部验证算法可获得多个面部验证分数。通过融合算法将多个面部验证分数融合以得到最终的面部验证判定。
在本申请的实施方式中，可通过例如联合贝叶斯模型进行面部验证，其比较分别从待比较的两个面部图像提取出的两个(组合的)DeepID2矢量并输出面部验证分数。联合贝叶斯模型将面部图像的特征表示假设为人与人之间的变化和同一人内的变化的总和，这两种变化都用高斯分布建模并且可从训练数据估测。面部验证是测试两个面部图像的联合概率之间的对数似然比值，其分别给出人与人之间的变化假设或同一人内的变化假设。
在本申请的实施方式中，为了进一步利用从大量面部区域提取的DeepID2的丰富的池，特征选择算法被重复多次(例如七次)，每次从在先前特征选择步骤中未被选择的面部区域中选择DeepID2。随后分别在一组或多组(例如，七组)选择的DeepID2中的每个上学习联合贝叶斯模型。融合(例如，通过SVM)每对比较的面部图像的联合贝叶斯分数以获得最终面部验证判定。
训练单元(训练器)30
设备1000还包括训练单元30，训练单元30配置为通过输入成对的对准面部区域以及同时将识别监督信号和验证监督信号添加至卷积特征提取***的输出层40(如图5所示的DeepID2层)来训练用于同时身份分类和身份验证的多个卷积特征提取***。在如图8所示的本申请的一个实施方式中，训练单元30可包括面部区域选择器301、矢量提取器302、识别器303、验证器304和确定器305。对于卷积特征提取***中的每个，图7示出了根据一些公开的实施方式的训练过程的示意性流程图，下文中参照图7进一步讨论训练单元30的部件301-305。
如所示出的，在步骤S701中，样品选择器301从预定训练集中选择两个面部区域-标签对，这两个面部区域-标签对是成对的对准的面部区域及其对应的面部身份标签。在一个实施方式中，可用属于同一身份或不同身份的相等的概率随机地选择这两个面部区域-标签对。在步骤S702中，矢量提取器302使用具有初始化的神经元之间的连接权重或先前学习的神经元之间的连接权重的卷积特征提取***来从由选择器301在两个采样面部区域-标签对中选择的两个面部区域中分别提取两个DeepID2矢量，在如图4所示的实施方式中，这两个DeepID2矢量中的每个均是多维度的(例如，160维度)。
以及随后在步骤S703中，识别器303操作为通过跟随DeepID2层的softmax层(未示出)将两个面部区域-标签对中的两个面部区域中的每个分类到n个身份中的一个中。随后识别器303通过比较分类的身份与给定参考身份之间的差异而生成识别误差(识别监督信号)。生成的识别误差反向传播通过卷积特征提取***从而调节卷积特征提取***的神经元之间的连接权重。
在本申请的一个实施方式中，使用softmax层通过输出在n类面部身份上的概率分布将每个面部区域分类到n个(例如，n＝8192)不同面部身份中的一个中。Softmax层由下式限定：
其中，
是作为第i个身份的预测概率，
线性地组合160维度的DeepID2，xi作为神经元j的输入，而yj是其输出。卷积特征提取***训练成最小化softmax层中的互熵损失，该互熵损失称作识别损失。该损失由下式表示：
其中，f是DeepID2矢量，t是目标种类，以及θid表示n路softmax层的神经元之间的连接权重。pi是目标概率分布，其中，对于目标种类t，pt＝1，而对于其它的所有i，pi＝0。
是由n路softmax层预测的概率分布。
验证器304操作为通过比较分别从待比较的两个面部区域提取的两个DeepID2矢量fi与fj之间的相异性来生成验证误差(验证监督信号)，如公式5所示。在一个实施方式中，可通过最小化从同一身份的面部区域提取的DeepID2之间的相异性而同时最大化从不同身份的面部区域提取的DeepID2之间的相异性(或者保持从不同身份的面部区域提取的DeepID2之间的相异性大于阈值)来生成验证误差。DeepID2之间的相异性可以是但不限于L1范数的负数、L2范数以及DeepID2之间的余弦相似性。面部验证信号可用于促使从同一身份的面部图像提取出的DeepID2变得相似。通常使用的用于验证信号的约束包括L1/L2范数和余弦相似性。L2范数约束可由以下公式表示：
其中，fi和fj是从待比较的两个面部区域提取的DeepID2。yij＝1表示fi和fj来自同一身份。在这种情况下，其最小化这两个DeepID2矢量之间的L2距离。yij＝-1表示不同的身份，以及L2范数约束要求距离大于边缘m。基于L1范数的损失函数可具有相似的公式。
余弦相似性约束可由以下公式表示：
其中，
是DeepID2之间的余弦相似性，w和b是可学习的尺寸参数和偏移参数，σ是sigmoid函数，以及yij是两个比较的面部区域是否属于同一身份的二值化目标。
生成的验证误差可反向传播通过卷积特征提取***从而调节卷积特征提取***的神经元之间的连接权重。可替代地，在本申请的一个实施方式中，识别误差和验证误差的组合可反向传播通过卷积特征提取***从而调节卷积特征提取***的神经元之间的连接权重。
在步骤S704中，识别误差和验证误差反向传播通过卷积特征提取***的全部层从而调节卷积特征提取***的神经元之间的连接权重。在步骤S705中，确定器305确定训练过程是否收敛，如果收敛，则训练过程终止；否则，将重复步骤S701-S704直至训练过程收敛，从而确定卷积特征提取***的神经元之间的连接权重。
图6示出了根据一些公开的实施方式的用于面部验证的方法的流程图。在图6中，过程600包括可由处理器102-106中的一个或多个或设备1000中的每个模块/单元执行的一系列步骤以实现数据处理操作。出于描述的目的，以下讨论参照设备1000中的每个模块/单元由硬件或者硬件与软件的组合而构成的情况来进行。本领域技术人员应理解，其它合适的装置或***应适合于执行以下过程，而设备1000仅用作对执行该过程的说明。
在步骤S601中，设备1000操作为通过使用不同训练的卷积特征提取***从面部图像的不同区域提取DeepID2，其中，所述卷积特征提取***的输出层神经元激活值被认为是DeepID2。在一个实施方式中，设备1000的单元10可例如使用现有技术提出的面部点检测方法来检测21个面部特征点(其它数目的特征点也可行)，诸如两个眼睛中心、鼻尖以及两个嘴角。在本申请的实施方式中，首先用EGM算法检测21个面部特征点(其它数目的特征点也可行)。根据检测到的特征点通过相似变换来全局对准面部图像中的每个。随后，根据全局对准的面部图像和面部特征点的位置裁取多个面部区域，这些面部区域在位置、尺寸、颜色通道和水平翻转方面变化。相应地，通过不同训练的深度卷积特征提取***来提取多个DeepID2矢量，该多个深度卷积特征提取***中的每个在每个面部图像的一个特定面部区域上提取一个多维度DeepID2矢量。
以及随后在步骤S602中，设备1000(具体地，单元10)操作为组合DeepID2矢量。组合的长DeepID2矢量通过PCA进一步压缩以用于面部验证。
以及随后在步骤S603中，通过联合贝叶斯模型进行面部验证，其通过单元30比较分别从待比较的两个面部图像提取出的DeepID2并输出面部验证分数。联合贝叶斯模型将面部图像的特征表示取作人与人之间的变化和同一人内的变化的总和，这两种变化都用高斯分布建模并且可从训练数据估测。面部验证是测试两个面部图像的联合概率之间的对数似然比值，该对数似然比值分别给出人与人之间的变化假设或同一人内的变化假设，其具有封闭式的解并且是有效的。
在本申请的实施方式中，为了进一步利用从大量面部区域提取的DeepID2的丰富的池，特征选择算法被重复多次(例如七次)，每次从在先前特征选择步骤中未被选择的面部区域中选择DeepID2。随后分别在七组选择的DeepID2中的每个上学习联合贝叶斯模型。融合(例如，通过SVM)每对比较的面部图像的七个联合贝叶斯分数以获得最终面部验证判定。
虽然已经描述了本发明的优选示例，但是本领域技术人员可在知晓基本发明构思的情况下对这些示例进行改变或修改。所附权利要求旨在理解为包括优选示例以及落入本发明范围内的全部改变或修改。
明显地，本领域技术人员可在不背离本发明精神和范围的情况下对本发明进行改变或修改。因而，如果这些改变或修改属于权利要求和等效技术的范围，则这些改变或修改也可落入本发明的范围中。
Claims (18)
1.用于面部验证的设备，包括：
特征提取单元，包括经过使用不同的面部训练集而训练出的多个卷积特征提取***，其中，所述***中的每个包括：
层级联，包括多个卷积层、多个池化层、多个局部连接层和多个全连接层，其中所述层级联的输出层连接至先前的卷积层、池化层、局部连接层或全连接层中的至少一个并且配置为从所连接的层中的面部特征中提取面部特征以作为用于面部验证的DeepID2；
验证单元，配置为比较通过所述输出层从待比较的两个面部图像提取的所述面部特征，以确定所述两个面部图像是否来自同一身份；以及
训练单元，配置为将成对的面部图像、识别监督信号和验证监督信号输入至所述卷积特征提取***，以调节所述卷积特征提取***的神经元之间的连接权重，其中，所述识别监督信号通过比较所述面部图像的参考身份与基于所述卷积特征提取***从所述面部图像提取的DeepID2而确定的所述面部图像的身份之间的相异性而生成，所述验证监督信号通过比较利用所述卷积特征提取***分别从所述面部图像提取的DeepID2的相异性而生成。
2.根据权利要求1所述的设备，其中，所述输出层包括所述全连接层。
3.根据权利要求1所述的设备，其中，用于输出DeepID2的层之后跟随n路softmax层以用于将从每个面部区域提取的所述DeepID2分类到面部身份的全部种类中的一种中；以及
其中，所述训练单元包括识别器，所述识别器配置为将经过分类的身份与给定参考身份进行比较以生成识别误差，所生成的识别误差反向传播通过所述卷积特征提取***，从而调节所述卷积特征提取***的神经元之间的连接权重。
4.根据权利要求1所述的设备，其中，所述训练单元包括验证器，所述验证器配置为通过将分别从两个面部区域提取的两个DeepID2矢量之间的相异性进行比较以生成验证误差，
其中，所生成的验证误差反向传播通过所述卷积特征提取***，从而调节所述卷积特征提取***的神经元之间的连接权重。
5.根据权利要求1所述的设备，其中，对于所述卷积特征提取***中的每个，所述训练单元和所述***中的每个协作以执行以下操作：
1)从预定训练集采样两个面部区域-标签对；
2)分别从所采样的两个面部区域-标签对中的两个面部区域提取DeepID2；
3)基于从所述两个面部区域提取的DeepID2生成识别误差和验证误差；
4)将所述识别误差和所述验证误差反向传播通过所述卷积特征提取***，从而调节所述卷积特征提取***的神经元之间的连接权重；以及
5)重复步骤1)-4)直至训练过程收敛，从而确定所述卷积特征提取***的神经元之间的连接权重。
6.根据权利要求1所述的设备，其中，所述验证单元包括：
特征选择单元，配置为从所提取的DeepID2中选择一组或多组DeepID2，每组DeepID2包括从每个面部图像的多个面部区域提取的DeepID2；
比较单元，配置为比较所选择的一组或多组DeepID2以输出一个或多个面部验证分数；以及
融合单元，配置为融合所述一个或多个面部验证分数从而作出单个面部验证判定。
7.根据权利要求1所述的设备，其中，所述卷积特征提取层中的每个在所述卷积特征提取层中的神经元或神经元的子集中包含具有局部接收域并共享连接权重的多个神经元。
8.根据权利要求5所述的设备，其中，两个DeepID2矢量之间的所述相异性包括L1范数的负数、L2范数或者所述两个DeepID2矢量之间的余弦相似性。
9.用于面部验证的方法，包括：
通过使用不同地训练出的卷积特征提取***从面部图像的不同区域提取DeepID2，其中，所述***中的每个包括层级联，所述层级联包括多个卷积层、多个池化层、多个局部连接层和多个全连接层，其中所述层级联的输出层连接至先前的卷积层、池化层、局部连接层或全连接层中的至少一个，并且配置为从所连接的层中的面部特征中提取面部特征以作为用于面部验证的DeepID2；
比较分别从待比较的两个面部图像提取的DeepID2，以确定所述两个面部图像是否来自同一身份；以及
通过输入成对的面部区域、识别监督信号和验证监督信号来训练多个用于同时进行身份分类和身份验证的卷积特征提取***，以调节所述卷积特征提取***的神经元之间的连接权重，其中，所述识别监督信号通过比较所述面部图像的参考身份与基于所述卷积特征提取***从所述面部图像提取的DeepID2而确定的所述面部图像的身份之间的相异性而生成，所述验证监督信号通过比较利用所述卷积特征提取***分别从所述面部图像提取的DeepID2的相异性而生成。
10.根据权利要求9所述的方法，其中，所述输出层包括所述全连接层。
11.根据权利要求9所述的方法，其中，所述训练的步骤还包括：
将从每个面部区域提取的所述DeepID2分类到面部身份的全部种类中的一种中；
将经过分类的身份与给定参考身份进行比较以生成识别误差；以及
将所生成的识别误差反向传播通过所述卷积特征提取***，从而调节所述卷积特征提取***的神经元之间的连接权重。
12.根据权利要求9所述的方法，其中，所述训练的步骤还包括：
将分别从待比较的两个面部区域提取的两个DeepID2矢量之间的相异性进行比较以生成验证误差；以及
将所生成的验证误差反向传播通过所述卷积特征提取***，从而调节所述卷积特征提取***的神经元之间的连接权重。
13.根据权利要求9所述的方法，其中，所述训练的步骤还包括：
将从每个面部区域提取的所述DeepID2分类到面部身份的全部种类中的一种中；
将经过分类的身份与给定参考身份进行比较以生成识别误差；
将分别从待比较的两个面部区域提取的两个DeepID2矢量之间的相异性进行比较来生成验证误差；
将所生成的验证误差和所生成的识别误差的组合反向传播通过所述卷积特征提取***，从而调节所述卷积特征提取***的神经元之间的连接权重。
14.根据权利要求10所述的方法，其中，所述比较的步骤还包括：
从所提取的DeepID2中选择一组或多组DeepID2，每组DeepID2包括从每个面部图像的多个面部区域提取的DeepID2；
比较所选择的一组或多组DeepID2以输出一个或多个面部验证分数；以及
融合所述一个或多个面部验证分数从而作出单个面部验证判定。
15.根据权利要求9所述的方法，其中，每个卷积特征提取层在所述卷积特征提取层中的神经元或神经元的子集中包含具有局部接收域并共享连接权重的多个神经元。
16.根据权利要求9所述的方法，其中，对于所述卷积特征提取***中的每个，所述训练还包括：
1)从预定训练集采样两个面部区域-标签对；
2)通过所述卷积特征提取***分别从所采样的两个面部区域-标签对中的两个面部区域提取DeepID2；
3)通过使用从所述两个面部区域提取的DeepID2生成识别误差和验证误差；
4)将所述识别误差和所述验证误差反向传播通过所述卷积特征提取***，从而调节所述卷积特征提取***的神经元之间的连接权重；以及
5)重复步骤1)-4)直至训练过程收敛，从而确定所述卷积特征提取***的神经元之间的连接权重。
17.根据权利要求13所述的方法，其中，两个DeepID2矢量之间的所述相异性包括L1范数的负数、L2范数或者所述两个DeepID2矢量之间的余弦相似性。
18.训练卷积特征提取***的方法，包括：
1)从预定训练集采样两个面部区域-标签对；
2)分别从所采样的两个面部区域-标签对中的两个面部区域提取DeepID2；
3)将从每个面部区域提取的所述DeepID2分类到面部身份的全部种类中的一种中；
4)将经过分类的身份与给定参考身份进行比较从而生成识别误差；
5)将分别从待比较的两个面部区域提取的两个DeepID2矢量之间的相异性进行比较来生成验证误差；
6)将所生成的验证误差和所生成的识别误差的组合反向传播通过所述卷积特征提取***，从而调节所述卷积特征提取***的神经元之间的连接权重；以及
7)重复步骤1)-6)直至训练过程收敛，从而确定所述卷积特征提取***的神经元之间的连接权重。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2014/000588 WO2015192263A1 (en) | 2014-06-16 | 2014-06-16 | A method and a system for face verification |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106415594A CN106415594A (zh) | 2017-02-15 |
| CN106415594B true CN106415594B (zh) | 2020-01-10 |
Family
ID=54934629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480079316.2A Active CN106415594B (zh) | 2014-06-16 | 2014-06-16 | 用于面部验证的方法和*** |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10289897B2 (zh) |
| JP (1) | JP6345276B2 (zh) |
| CN (1) | CN106415594B (zh) |
| WO (1) | WO2015192263A1 (zh) |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10628985B2 (en) * | 2017-12-01 | 2020-04-21 | Affectiva, Inc. | Avatar image animation using translation vectors |
| CN106127103B (zh) * | 2016-06-12 | 2019-06-25 | 广州广电运通金融电子股份有限公司 | 一种离线身份认证的方法和装置 |
| WO2017220667A1 (de) * | 2016-06-21 | 2017-12-28 | Stefan Zechner | Verfahren und vorrichtung zur veränderung der affektiven visuellen information im gesichtsfeld eines benutzers |
| WO2018033137A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 在视频图像中展示业务对象的方法、装置和电子设备 |
| WO2018053246A1 (en) | 2016-09-15 | 2018-03-22 | Google Llc | Control policies for robotic agents |
| US11023711B2 (en) * | 2016-10-10 | 2021-06-01 | University Of Maryland, College Park | All-in-one convolutional neural network for face analysis |
| WO2018081135A1 (en) | 2016-10-25 | 2018-05-03 | Vmaxx Inc. | Point to set similarity comparison and deep feature learning for visual recognition |
| US20180129868A1 (en) * | 2016-11-08 | 2018-05-10 | Qualcomm Incorporated | System and method associated with object verification |
| CN106780658B (zh) | 2016-11-16 | 2021-03-09 | 北京旷视科技有限公司 | 人脸特征添加方法、装置及设备 |
| CN106780662B (zh) * | 2016-11-16 | 2020-09-18 | 北京旷视科技有限公司 | 人脸图像生成方法、装置及设备 |
| CN106709532B (zh) * | 2017-01-25 | 2020-03-10 | 京东方科技集团股份有限公司 | 图像处理方法和装置 |
| CN108664782B (zh) * | 2017-03-28 | 2023-09-12 | 三星电子株式会社 | 面部验证方法和设备 |
| CN108965687B (zh) * | 2017-05-22 | 2021-01-29 | 阿里巴巴集团控股有限公司 | 拍摄方向识别方法、服务器及监控方法、***及摄像设备 |
| CN109685087B9 (zh) * | 2017-10-18 | 2023-02-03 | 富士通株式会社 | 信息处理方法和装置以及信息检测方法 |
| WO2019127273A1 (zh) * | 2017-12-28 | 2019-07-04 | 深圳市锐明技术股份有限公司 | 一种多人脸检测方法、装置、服务器、***及存储介质 |
| US10943096B2 (en) * | 2017-12-31 | 2021-03-09 | Altumview Systems Inc. | High-quality training data preparation for high-performance face recognition systems |
| CN108229444B (zh) * | 2018-02-09 | 2021-10-12 | 天津师范大学 | 一种基于整体和局部深度特征融合的行人再识别方法 |
| CN109034044B (zh) * | 2018-06-14 | 2022-04-05 | 天津师范大学 | 一种基于融合卷积神经网络的行人再识别方法 |
| CN110659631B (zh) * | 2018-06-30 | 2023-12-15 | 华为技术有限公司 | 车牌识别方法和终端设备 |
| CN112368708B (zh) * | 2018-07-02 | 2024-04-30 | 斯托瓦斯医学研究所 | 使用伪图像的面部图像识别 |
| CN109308679B (zh) | 2018-08-13 | 2022-08-30 | 深圳市商汤科技有限公司 | 一种图像风格转换方法及装置、设备、存储介质 |
| US11151362B2 (en) * | 2018-08-30 | 2021-10-19 | FaceValue B.V. | System and method for first impression analysis and face morphing by adjusting facial landmarks using faces scored for plural perceptive traits |
| US11222233B2 (en) * | 2018-09-26 | 2022-01-11 | Samsung Electronics Co., Ltd. | Method and apparatus for multi-category image recognition |
| US11003892B2 (en) * | 2018-11-09 | 2021-05-11 | Sap Se | Landmark-free face attribute prediction |
| CN109543655A (zh) * | 2018-12-14 | 2019-03-29 | 深圳壹账通智能科技有限公司 | 疲劳驾驶检测方法、装置、计算机设备和存储介质 |
| CN110363081B (zh) * | 2019-06-05 | 2022-01-11 | 深圳云天励飞技术有限公司 | 人脸识别方法、装置、设备及计算机可读存储介质 |
| WO2021030178A1 (en) * | 2019-08-09 | 2021-02-18 | Clearview Ai, Inc. | Methods for providing information about a person based on facial recognition |
| CN110807108A (zh) * | 2019-10-15 | 2020-02-18 | 华南理工大学 | 一种亚洲人脸数据自动收集及清洗的方法和*** |
| US10997399B1 (en) * | 2019-11-25 | 2021-05-04 | Karya Property Management, Llc | Facial recognition tool |
| EP4072403A1 (en) | 2019-12-11 | 2022-10-19 | QuantiFace GmbH | Method and system to provide a computer-modified visualization of the desired face of a person |
| WO2021115797A1 (en) | 2019-12-11 | 2021-06-17 | QuantiFace GmbH | Generating videos, which include modified facial images |
| CN111191723B (zh) * | 2019-12-30 | 2023-06-20 | 创新奇智(北京)科技有限公司 | 基于级联分类器的少样本商品分类***及分类方法 |
| CN113447128B (zh) | 2020-03-10 | 2023-06-23 | 百度在线网络技术（北京）有限公司 | 一种多人体温检测方法、装置、电子设备及存储介质 |
| CN113642363A (zh) * | 2020-05-11 | 2021-11-12 | 富士通株式会社 | 神经网络及其训练方法 |
| CN111865702A (zh) * | 2020-08-04 | 2020-10-30 | 北京航空航天大学 | 基于卷积神经网络的网络故障诊断方法及装置 |
| KR102529552B1 (ko) * | 2020-08-06 | 2023-05-04 | 주식회사 카카오뱅크 | 신경망을 이용한 영상통화 기반의 인증 모니터링 방법 및 시스템 |
| CN113420709A (zh) * | 2021-07-07 | 2021-09-21 | 内蒙古科技大学 | 牛脸特征提取模型训练方法、***及牛的保险方法、*** |
| CN113762118B (zh) * | 2021-08-27 | 2022-08-26 | 合肥的卢深视科技有限公司 | 人脸识别的方法、电子设备及存储介质 |
| CA3235841A1 (en) * | 2021-10-23 | 2023-04-27 | Nima Schei | System and method for continuous privacy-preserving facial-based authentication and feedback |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101807245A (zh) * | 2010-03-02 | 2010-08-18 | 天津大学 | 基于人工神经网络的多源步态特征提取与身份识别方法 |
| CN103824055A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联神经网络的人脸识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8582807B2 (en) * | 2010-03-15 | 2013-11-12 | Nec Laboratories America, Inc. | Systems and methods for determining personal characteristics |
| US10095917B2 (en) * | 2013-11-04 | 2018-10-09 | Facebook, Inc. | Systems and methods for facial representation |
-
2014
- 2014-06-16 CN CN201480079316.2A patent/CN106415594B/zh active Active
- 2014-06-16 WO PCT/CN2014/000588 patent/WO2015192263A1/en active Application Filing
- 2014-06-16 JP JP2016570873A patent/JP6345276B2/ja active Active
-
2016
- 2016-12-01 US US15/366,944 patent/US10289897B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101807245A (zh) * | 2010-03-02 | 2010-08-18 | 天津大学 | 基于人工神经网络的多源步态特征提取与身份识别方法 |
| CN103824055A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联神经网络的人脸识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| Hybrid Deep Learning for Face Verification;SUN LI 等;《2013 IEEE International Conference on Computer Vision》;20131208;第1490页左栏第2-6段，第3节，图1-3 * |
| ImageNet Classification with Deep Convolutional Neural Networks;Alex Krizhevsky 等;《Proceeding NIPS"12 Proceedings of the 25th International Conference on Neural Information Processing System》;20121206;第1097-1105页 * |
| Large Scale Strongly Supervised Ensemble Metric Learning,with Applications to Face Verification and Retrieval;Chang Huang 等;《Technical Report of NEC Laboratories America, 2011-TR115》;20121225;第1-8页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2015192263A1 (en) | 2015-12-23 |
| JP6345276B2 (ja) | 2018-06-20 |
| US20170083755A1 (en) | 2017-03-23 |
| US10289897B2 (en) | 2019-05-14 |
| JP2017517076A (ja) | 2017-06-22 |
| CN106415594A (zh) | 2017-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106415594B (zh) | 用于面部验证的方法和*** | |
| WO2021026805A1 (zh) | 对抗样本检测方法、装置、计算设备及计算机存储介质 | |
| CN106358444B (zh) | 用于面部验证的方法和*** | |
| EP3074918B1 (en) | Method and system for face image recognition | |
| CN108564129B (zh) | 一种基于生成对抗网络的轨迹数据分类方法 | |
| CN108960080B (zh) | 基于主动防御图像对抗攻击的人脸识别方法 | |
| Baró et al. | Traffic sign recognition using evolutionary adaboost detection and forest-ECOC classification | |
| US8606022B2 (en) | Information processing apparatus, method and program | |
| CN107004115B (zh) | 用于人脸识别的方法和*** | |
| Gao et al. | The labeled multiple canonical correlation analysis for information fusion | |
| CN109063719B (zh) | 一种联合结构相似性和类信息的图像分类方法 | |
| WO2016119076A1 (en) | A method and a system for face recognition | |
| CN110602120B (zh) | 一种面向网络的入侵数据检测方法 | |
| Dong et al. | Adaptive cascade deep convolutional neural networks for face alignment | |
| Xie et al. | Inducing predictive uncertainty estimation for face recognition | |
| Lee et al. | Reinforced adaboost learning for object detection with local pattern representations | |
| CN108496174B (zh) | 用于面部识别的方法和*** | |
| Deng et al. | A lightweight deep learning model for real‐time face recognition | |
| Farfan-Escobedo et al. | Towards accurate building recognition using convolutional neural networks | |
| Pryor et al. | Deepfake detection analyzing hybrid dataset utilizing CNN and SVM | |
| Shekar et al. | Blockwise binary pattern: a robust and an efficient approach for offline signature verification | |
| CN103150574B (zh) | 基于最邻近标签传播算法的图像型垃圾邮件检测方法 | |
| Tang et al. | Learning Hough regression models via bridge partial least squares for object detection | |
| CN112183336A (zh) | 表情识别模型训练方法、装置、终端设备及存储介质 | |
| Kundu et al. | A modified RBFN based on heuristic based clustering for location invariant fingerprint recognition and localization with and without occlusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |