CN106446768A - 用于脸部识别的方法和设备 - Google Patents

用于脸部识别的方法和设备 Download PDF

Info

Publication number
CN106446768A
CN106446768A CN201610651797.0A CN201610651797A CN106446768A CN 106446768 A CN106446768 A CN 106446768A CN 201610651797 A CN201610651797 A CN 201610651797A CN 106446768 A CN106446768 A CN 106446768A
Authority
CN
China
Prior art keywords
image
illumination
model
face recognition
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610651797.0A
Other languages
English (en)
Other versions
CN106446768B (zh
Inventor
金亭培
鲁斯兰·萨拉赫丁诺夫
韩在濬
俞炳仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Toronto
Samsung Electronics Co Ltd
Original Assignee
University of Toronto
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Toronto, Samsung Electronics Co Ltd filed Critical University of Toronto
Publication of CN106446768A publication Critical patent/CN106446768A/zh
Application granted granted Critical
Publication of CN106446768B publication Critical patent/CN106446768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

提供用于脸部识别的方法和设备。一种训练光照补偿模型的训练方法包括：从训练图像提取脸部区域的反射率图像、脸部区域的表面法线图像和光照特征，所述提取基于光照补偿模型；基于反射率图像、表面法线图像和光照特征生成光照恢复图像；基于训练图像和光照恢复图像来训练光照补偿模型。

Description

用于脸部识别的方法和设备
本申请要求于2015年8月10日提交到韩国知识产权局的第10-2015-0112589号韩国专利申请的优先权，该申请的全部内容通过引用包含于此。
技术领域
至少一个示例实施例涉及一种用于识别在图像中呈现的脸部的脸部识别技术。
背景技术
脸部识别技术与其他识别技术(例如，需要用户执行特定的运动或动作的指纹和虹膜识别)不同，被认为是可在不接触目标的情况下验证目标的方便且有竞争力的生物识别技术。由于脸部识别技术的方便性和有效性，这样的脸部识别技术已被广泛地使用于各种应用领域，例如，安全***、移动认证和多媒体搜索。然而，脸部识别技术的性能对于用户的脸部姿态和面部表情、遮挡、光照的变化等可能是敏感的。
识别注册的脸部和未注册的脸部的模式分类器的性能可影响脸部识别技术的性能。可基于，例如，使用神经网络模型的方法来训练模式分类器。神经网络模型可以是通过由数学表达式对人类神经细胞的特征进行建模获得的模型，并且可具有将输入模式分类为预定的组的能力。为了解决将输入模式分类为预定的组的问题，神经网络模型可使用模仿人类学习的能力的算法。基于该算法，神经网络模型可产生可被表示为神经网络模型的学习能力的输入模式与输出模式之间的映射。
发明内容
一些示例实施例涉及训练光照补偿模型的训练方法。
根据至少一些示例实施例，训练光照补偿模型的训练方法包括：从训练图像提取脸部区域的反照率图像、脸部区域的表面法线图像和光照特征，所述提取基于光照补偿模型；基于反照率图像、表面法线图像和光照特征生成光照恢复图像；基于训练图像和光照恢复图像来训练光照补偿模型。
所述生成的步骤可包括：通过将反照率图像、表面法线图像和光照特征应用到朗伯模型来生成光照恢复图像。
光照补偿模型可基于被应用到自动编码器的编码器的卷积神经网络(CNN)模型。
所述训练的步骤可包括：基于训练图像与光照恢复图像之间的差来更新光照补偿模型的参数。
所述提取的步骤还可包括：基于光照补偿模型，从训练图像提取脸部区域的掩模图像。
所述方法还可包括：基于光照恢复图像和掩模图像生成掩模恢复图像，其中，所述训练的步骤包括基于训练图像和掩模恢复图像来训练光照补偿模型。
根据本发明构思的至少一些示例实施例，一种训练脸部识别模型的训练方法可包括：从训练图像提取脸部区域的反照率图像和脸部区域的表面法线图像，所述提取基于光照补偿模型；将反照率图像和表面法线图像输入到脸部识别模型；基于反照率图像和表面法线图像从脸部识别模型获得估计值；基于估计值以及与训练图像相应的期望值来训练脸部识别模型。
所述训练的步骤可包括：基于脸部识别模型的估计值与期望值之间的差来更新脸部识别模型的参数。
脸部识别模型可基于卷积神经网络(CNN)模型。
根据至少一些示例实施例，一种脸部识别方法可包括：从输入图像提取脸部区域的反照率图像和脸部区域的表面法线图像，所述提取基于光照补偿模型；将反照率图像和表面法线图像输入到脸部识别模型；基于脸部识别模型的输出值确定脸部识别结果。
光照补偿模型和脸部识别模型可基于卷积神经网络(CNN)模型。
所述方法还可包括：基于反照率图像和表面法线图像，从脸部识别模型输出与输入图像相应的标识值。
反照率图像和表面法线图像可独立于包括在输入图像中的光照分量。
反照率图像可指示脸部区域的与脸部区域的光照无关的纹理分量，表面法线图像可指示脸部区域的与光照无关的三维(3D)形状分量。
根据至少一些示例实施例，一种在非暂时性计算机可读介质上呈现的计算机程序，所述计算机程序被配置为控制处理器以执行：从训练图像提取脸部区域的反照率图像、脸部区域的表面法线图像和光照特征，所述提取基于光照补偿模型；基于反照率图像、表面法线图像和光照特征生成光照恢复图像；基于训练图像和光照恢复图像来训练光照补偿模型。
根据至少一些示例实施例，一种脸部识别设备包括：存储器，存储指令；一个或更多个处理器，被配置为执行指令，从而所述一个或多个处理器被配置为：从输入图像提取脸部区域的反照率图像和脸部区域的表面法线图像，所述提取基于光照补偿模型；将反照率图像和表面法线图像输入到脸部识别模型；基于脸部识别模型的输出值确定脸部识别结果。
所述一个或多个处理器可被配置为执行指令，从而所述一个或多个处理器被配置为基于光照补偿模型从输入图像提取光照分量和遮挡分量。
根据至少一些示例实施例，一种训练设备可包括：存储器，存储指令；一个或多个处理器，被配置为执行指令，从而所述一个或多个处理器被配置为：从训练图像提取脸部区域的反照率图像、脸部区域的表面法线图像和光照特征，所述提取基于光照补偿模型；基于反照率图像、表面法线图像和光照特征生成光照恢复图像；基于训练图像和光照恢复图像来训练光照补偿模型。
所述一个或多个处理器可被配置为执行指令，从而所述一个或多个处理器被配置为：将反照率图像和表面法线图像输入到脸部识别模型，基于反照率图像和表面法线图像从脸部识别模型获得估计值，基于估计值以及与训练图像相应的期望值训练脸部识别模型。
附图说明
通过参照附图详细地描述示例实施例，示例实施例的上述以及其它特征和优点将会变得更加清楚。附图意在描述示例实施例，而不应该被解释为限制权利要求的预期的范围。除非明确地指出，否则附图将不被认为按比例绘制。
图1示出根据至少一个示例实施例的训练设备的示例；
图2示出根据至少一个示例实施例的脸部识别设备的示例；
图3示出根据至少一个示例实施例的自动编码器的形变模型的示例；
图4示出根据至少一个示例实施例的训练光照补偿模型和脸部识别模型的示例；
图5示出根据至少一个示例实施例的训练光照补偿模型和脸部识别模型的另一示例；
图6示出根据至少一个示例实施例的执行脸部识别的示例；
图7是根据至少一个示例实施例的示出训练光照补偿模型的训练方法的示例的流程图；
图8是根据至少一个示例实施例的示出训练光照补偿模型的训练方法的另一示例的流程图；
图9是根据至少一个示例实施例的示出训练脸部识别模型的训练方法的示例的流程图；
图10是根据至少一个示例实施例的示出脸部识别方法的示例的流程图；
图11示出根据至少一个示例实施例的脸部识别设备的另一示例；
图12示出根据至少一个示例实施例的脸部识别设备的又一示例。
具体实施方式
在此公开了详细的示例实施例。然而，为了描述示例实施例的目的，在此公开的特定结构和功能的细节仅是代表性的。然而，可以以许多替换形式来实现示例实施例，并且示例实施例不应被解释为仅限于在此阐述的实施例。
因此，虽然示例实施例能够具有各种修改和替换形式，但是其实施例通过示例的方式在附图中被示出，并且在此将被详细地描述。然而，应理解，不意在将示例实施例限制为所公开的具体形式，而是与此相反，示例实施例将覆盖落入示例实施例的范围内的所有修改、等同物以及替换物。贯穿附图的描述，相同的标号表示相同的元件。
将理解，虽然在此可使用术语“第一”、“第二”等来描述各种元件，但是这些元件不应被这些术语所限制。这些术语仅用于将一个元件与另一元件进行区分。例如，在不脱离示例实施例的范围的情况下，第一元件可被称为第二元件，类似地，第二元件可被称为第一元件。如在此使用的，术语“和/或”包括相关列出项中的一个或多个的任意和全部组合。
将理解，当元件被称为被“连接”或“耦合”到另一元件时，该元件可被直接地连接到或耦合到该另一元件或者可存在中间元件。相反，当元件被称为被“直接地连接”或“直接地耦合”到另一元件时，不存在中间元件。用于描述元件之间的关系的其他词语应以类似方式被解释(例如，“在…之间”与“直接在…之间”、“相邻”与“直接相邻”等)。
在此使用的术语仅出于描述具体实施例的目的，而不意在限制示例实施例。除非上下文另有清楚地指示，否则如在此使用的单数形式也意图包括复数形式。还将理解，当在此使用术语“包括”和/或“包含”时，说明存在叙述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或它们的组。
还应注意的是，在一些替代实施方式中，所提出的功能/动作可不按附图中所指出的顺序发生。例如，根据涉及的功能/动作，连续示出的两个附图实际上可被基本同时地执行，或者有时可以以相反的顺序被执行。
在此参照理想实施例(和中间结构)的示意图示来描述示例实施例。如此，由例如制造技术和/或容差导致的图示的形状的变化将被预期。因此，示例实施例不应被解释为受限于在此示出的区域的具体形状，而将包括由例如制造导致的形状的偏差。
虽然一些剖视图的相应平面图和/或立体图可能未被示出，但是在此示出的装置结构的剖视图对沿着平面图中将会示出的两个不同方向和/或沿着透视图中将会示出的三个不同方向扩展的多个装置结构提供支持。这两个不同方向可以互相正交，或者可以不互相正交。这三个不同方向可包括可与这两个不同方向正交的第三方向。多个装置结构可被整合在同一电子装置中。例如，当在剖视图中示出装置结构(例如，存储器单元结构或晶体管结构)时，电子装置可包括将由电子装置的平面图示出的多个装置结构(例如，多个存储器单元结构或多个晶体管结构)。多个装置结构可以以阵列和/或二维图案布置。
图1示出根据至少一个示例实施例的训练设备的示例。训练设备110基于训练数据来训练用于脸部识别的模型。在此，训练表示机器学习，存储在训练数据存储器140中的训练数据包括各种图像数据。例如，训练数据可包括各种人的图像数据以及在各种光照环境中拍摄的人的脸部的图像数据。此外，具有各种遮挡的脸部区域的图像数据(例如，当在脸部区域中存在眼镜、太阳镜或口罩(mask)时)可被用作训练数据。下文，包括在训练数据中的图像数据被称为训练图像。
参照图1，训练设备110包括预处理器120和模型训练器130。根据至少一个示例实施例，可通过至少一个处理器来实现预处理器120和模型训练器130。
根据至少一个示例实施例，训练设备110可包括被具体构造为执行在此描述的由训练设备110(或其元件)执行的操作中的一些或全部的一个或多个电路或电路***(例如，硬件)，或者可通过被具体构造为执行在此描述的由训练设备110(或其元件)执行的操作中的一些或全部的一个或多个电路或电路***(例如，硬件)来实现训练设备110。根据至少一个示例实施例，训练设备110可包括存储器以及一个或多个处理器或者通过存储器以及一个或多个处理器来实现，其中，所述一个或多个处理器执行存储在存储器中并包括与在此描述的由训练设备110(或其元件)执行的操作中的一些或全部相应的指令的计算机可读代码(例如，软件)。根据至少一个示例实施例，可通过例如上述的硬件和执行计算机可读代码的处理器的组合，来实现训练设备110。
预处理器120基于光照补偿模型，从训练图像提取脸部区域的反射率图像(albedoimage，反照率图像)、脸部区域的表面法线图像(surface normal image)以及光照特征。光照特征表示关于出现在输入图像中的外部光的特征，并且包括关于光的方向和强度的特征。反射率图像表示与指示从脸部表面反射的光的程度的漫反射率有关的图像。脸部区域的脸部法线图像表示指示与脸部表面的每个点中的一个点的切平面的垂直方向有关的特征的图像。例如，表面法线图像可指示在关于x轴、y轴和z轴的每个方向的三个表面法向矢量的信息。
反射率图像和表面法线图像可独立于(例如，不考虑)光照地被生成，并且具有独立于光照的特性。例如，即使当输入图像的光照分量是亮的或暗的时，反射率图像和表面法线图像也可以是相同的。反射率图像指示脸部的与光照不相关的纹理分量(texturecomponent，质地分量)，表面法线图像指示脸部的与光照不相关的三维(3D)形状分量。
模型训练器130训练光照补偿模型和脸部识别模型。基于训练处理，光照补偿模型的参数和脸部识别模型的参数可被改善，或可选地被优化。
根据至少一个示例实施例，模型训练器130可基于自动编码器的形变模型来训练光照补偿模型。自动编码器表示能够使期望的输出与输入相同的神经网络模型。自动编码器可包括在输入层和编码层提供的编码器以及在输出层和解码层提供的解码器。自动编码器可具有神经网络结构，其中，在神经网络结构中，编码器的输出值被输入到解码器，解码器输出与输入到编码器的输入值相同的输出值。模型训练器130可表示自动编码器的形变模型，并且可使用卷积神经网络(CNN)模型被用作编码器并且朗伯(Lambertian)模型被用作解码器的模型。在本示例中，编码器可对应于光照补偿模型。将参照图3提供自动编码器的形变模型的描述。
模型训练器130基于通过光照补偿模型提取的特征，来生成光照恢复图像。模型训练器130可通过将反射率图像、表面法线图像以及光照特征应用到朗伯模型，来重建光照恢复图像。模型训练器130可基于训练图像与光照恢复图像之间的差来确定针对训练的损失函数，并且基于损失函数更新光照补偿模型的参数。例如，模型训练器130可调整光照补偿模型的参数，以降低损失函数的值。
在另一示例中，除了脸部区域的反射率图像、脸部区域的表面法线图像和光照特征以外，预处理器120还从训练图像提取掩模图像。模型训练器130可基于反射率图像、表面法线图像和光照特征来重建光照恢复图像，并且通过将光照恢复图像与掩模图像合并来生成掩模恢复图像。模型训练器130可基于训练图像与掩模恢复图像之间的差来确定损失函数，并且基于损失函数更新光照补偿模型的参数。
模型训练器130可如以下地训练脸部识别模型。模型训练器130可将通过光照补偿模型提取的反射率图像和表面法线图像输入到脸部识别模型，并且可从脸部识别模型获得估计值。例如，脸部识别模型可基于CNN模型，并且可将与训练图像相应的标识值(例如，身份证明(ID))作为估计值输出。模型训练器130可基于脸部识别模型的估计值以及与训练图像相应的期望值，来训练脸部识别模型。模型训练器130可基于脸部识别模型的估计值与期望值之间的差来确定损失函数，并且基于损失函数更新脸部识别模型的参数。
光照补偿模型和脸部识别模型(通过前述的处理来完成它们中的每个的训练)可被存储在模型存储器150中。
图2示出根据至少一个示例实施例的脸部识别设备的示例。脸部识别设备210可被利用于各种应用领域，应用领域的示例包括(但不限于)：监视/安全***、移动装置认证以及多媒体搜索与分类。此外，脸部识别设备210可被用于通过与指纹识别设备(未示出)组合来实现复杂的生物测定认证***。
脸部识别设备210可对通过数字静态相机或摄像机获得的输入图像执行包括脸部认证的脸部识别。例如，脸部识别设备210可识别出现在输入图像中的用户，或者验证出现在输入图像中的用户是否与出现在预定的注册图像中的用户相同。注册图像可在脸部识别被执行之前被预先注册、存储在数据库中，并且可包括至少一个用户的脸部图像。下文，为了容易且便于描述，假设输入图像包括一个脸部区域。然而，本公开不限于此。
脸部识别设备210可执行预处理，以从输入图像去除光照分量和遮挡分量，并且基于去除了光照分量和遮挡分量的输入图像执行脸部识别。脸部识别设备210可基于由图1中的训练设备预先训练的模型，来执行上述的预处理以及脸部识别。
参照图2，脸部识别设备210包括预处理器220和脸部识别器230。根据至少一个示例实施例，可通过至少一个处理器来实现预处理器220和脸部识别器230。
根据至少一个示例实施例，脸部识别设备210可包括被具体构造为实现在此描述的由脸部识别设备210(或其元件)执行的操作中的一些或全部的一个或多个电路或电路***(例如，硬件)，或者可通过被具体构造为实现在此描述的由脸部识别设备210(或其元件)执行的操作中的一些或全部的一个或多个电路或电路***(例如，硬件)来实现脸部识别设备210。根据至少一个示例实施例，脸部识别设备210可包括存储器以及一个或多个处理器或者通过存储器以及一个或多个处理器来实现，其中，所述一个或多个处理器执行存储在存储器中并包括与在此描述的由脸部识别设备210(或其元件)执行的操作中的一些或全部相应的指令的计算机可读代码(例如，软件)。根据至少一个示例实施例，可通过例如上述的硬件和执行计算机可读代码的处理器的组合，来实现脸部识别设备210。
预处理器220可基于存储在模型存储器240中的光照补偿模型，从输入图像提取光照分量和遮挡分量。例如，预处理器220可基于光照补偿模型从输入图像提取脸部区域的反射率图像以及脸部区域的表面法线图像。可基于参照图1的描述预先训练光照补偿模型。
脸部识别器230可基于与由预处理器220提取的输入图像的光照分量和遮挡分量不相关的脸部区域的反射率图像和表面法线图像，来执行脸部识别。脸部识别器230可将由预处理器220提取的反射率图像和表面法线图像输入到脸部识别模型，并且可基于脸部识别模型的输出值确定脸部识别结果。例如，脸部识别模型可输出与输入图像相应的标识值。可基于参照图1的描述预先训练脸部识别模型。
在另一示例中，脸部识别设备210可通过比较输入图像与预注册图像，来确定出现在输入图像中的用户是否与出现在注册图像中的用户相同。预处理器220可基于关于输入图像以及注册图像的光照补偿模型，提取反射率图像和表面法线图像。脸部识别器230可通过将提取的反射率图像和表面法线图像输入到脸部识别模型，来获得与注册图像相应的最终特征值。脸部识别器230可确定关于输入图像的最终特征值与关于注册图像的最终特征值之间的相似度，并且基于相似度来确定脸部识别结果。例如，脸部识别器230可使用来自在脸部识别模型中包括的多个层之中的预定层的输出值作为最终特征值。
如以上所描述，脸部识别设备210可具有鲁棒性，以通过从输入图像提取光照分量和遮挡分量并且对去除了光照分量和遮挡分量的输入图像执行脸部识别，来执行关于光照和遮挡的脸部识别。此外，脸部识别设备210可使用与光照不相关的反射率图像和表面法线图像，以及基于用于脸部识别的深度学习的脸部识别模型和光照补偿模型，由此提高脸部识别的识别率。
图3示出根据至少一个示例实施例的自动编码器的形变模型的示例。
参照图3，自动编码器的形变模型300包括编码器310和解码器320。编码器310的输出可被输入到解码器320。在编码器310中，基于卷积神经网络(CNN)模型，将训练图像330输入到光照补偿模型340，光照补偿模型340可输出关于训练图像330的反射率图像350、表面法线图像360以及光照特征370。表面法线图像360表示在光从x轴、y轴和z轴的每个方向被反射时的脸部的3D形状。表面法线图像360可被表示为关于x轴、y轴和z轴的每个方向的三个法线图像。
根据至少一个示例实施例，编码器310和/或解码器320可包括被具体构造为执行在此描述的由编码器310和/或解码器320(或其元件)执行的操作中的一些或全部的一个或多个电路或电路***(例如，硬件)，或者可由被具体构造为执行在此描述的由编码器310和/或解码器320(或其元件)执行的操作中的一些或全部的一个或多个电路或电路***(例如，硬件)来实现。根据至少一个示例实施例，编码器310和/或解码器320可包括存储器以及一个或多个处理器或者由存储器以及一个或多个处理器来实现，其中，所述一个或多个处理器执行存储在存储器中并包括与在此描述的由编码器310和/或解码器320(或其元件)执行的操作中的一些或全部相应的指令的计算机可读代码(例如，软件)。根据至少一个示例实施例，可通过例如上述的硬件和执行计算机可读代码的处理器的组合，来实现编码器310和/或解码器320。
根据至少一个示例实施例，编码器310和解码器320中的一个或两个可以是自动编码器的元件，可通过例如上述的硬件、上述的执行计算机可读代码的处理器或上述的硬件和执行计算机可读代码的处理器的组合，来实现自动编码器。
解码器320可基于朗伯模型来重建光照恢复图像380。解码器320可通过将由编码器310输出的反射率图像350、表面法线图像360以及光照特征370应用到朗伯模型，来重建光照恢复图像380。
在自动编码器的形变模型300中，可如表达式1所示来表示配置解码器320的朗伯模型。
[表达式1]
在表达式1中，I表示基于朗伯模型生成的光照恢复图像，操作数a表示出现在训练图像中的脸部区域的反射率图像，操作数表示作为脸部区域的光照特征的3D光源。操作数表示脸部区域的表面法线，操作数θ表示光源与表面法线方向的角度。
在脸部识别处理中，自动编码器的形变模型300的编码器310可被使用，而解码器320可不被使用。
图4示出根据至少一个示例实施例的训练光照补偿模型和脸部识别模型的示例。
训练设备可基于光照补偿模型420从训练图像410提取各种特征图，并且基于朗伯模型从特征图生成光照恢复图像460。
训练设备可从训练图像410提取出现在训练图像410中的脸部区域的反射率图像430、表面法线图像440以及光照特征450。训练设备可基于图3中所描述的自动编码器的形变模型300，从反射率图像430、表面法线图像440以及光照特征450生成光照恢复图像460。
训练数据可基于训练图像410与光照恢复图像460之间的差，确定光照补偿模型420的损失函数，并且基于损失函数更新光照补偿模型420的参数。训练设备可调整光照补偿模型420的参数，以基于损失函数降低训练图像410与光照恢复图像460之间的差。在这样的示例中，损失函数表示用于定义期望值与从光照补偿模型420输出的估计值之间的误差的函数。
训练设备可将通过光照补偿模型420提取的反射率图像430和表面法线图像440输入到脸部识别模型470，并且基于与输入图像410相应的期望值与从脸部识别模型470输出的估计值之间的差，确定脸部识别模型470的损失函数。例如，脸部识别模型470可基于输入的反射率图像430和表面法线图像440来输出ID值。训练设备可基于从脸部识别模型470输出的ID值与期望的ID值(例如，正确答案ID)之间的差来确定损失函数，并且基于损失函数更新脸部识别模型470的参数。
图5示出根据至少一个示例实施例的训练光照补偿模型和脸部识别模型的另一示例。
参照图5，光照补偿模型520从训练图像510提取反射率图像530、表面法线图像540、光照特征550以及掩模图像560。掩模图像560表示具有由于口罩或眼镜而遮挡脸部区域的遮挡区域的特征的掩模图像。
训练设备可使用如以上图4中描述的自动编码器的形变模型300，基于光照特征550来生成反射率图像530、表面法线图像540以及光照恢复图像570。随后，训练设备可通过将生成的光照恢复图像570与掩模图像560进行合并，来生成掩模恢复图像580。
训练设备可基于训练图像510与掩模恢复图像580之间的差来确定光照补偿模型520的损失函数，并且更新光照补偿模型520的参数，以降低训练图像510与掩模恢复图像580之间的差。
由于基于训练脸部识别模型590的处理的示例提供的上述的描述在此也是可用的，因此为了更加清楚和简明，将省略重复的描述。
图6示出根据至少一个示例实施例的执行脸部识别的示例。
脸部识别设备可基于光照补偿模型620和脸部识别模型670，对输入图像610执行脸部识别。脸部识别设备可在用于脸部识别的输入图像610被发送时，基于光照补偿模型620，提取出现在输入图像610中的脸部区域的反射率图像640和表面法线图像640。
脸部识别设备可将从光照补偿模型620提取的反射率图像630和表面法线图像640输入到脸部识别模型670，并且可基于脸部识别模型670的输出值来执行脸部识别。例如，脸部识别模型670可输出与输入图像610相应的标识值，并且脸部识别设备可基于标识值来识别出现在输入图像610中的用户。
在另一示例中，注册图像可被预先预注册和存储。脸部识别设备可通过比较输入图像610与注册图像，来验证出现在输入图像610中的用户是否与出现在注册图像中的用户相同。脸部识别设备可基于关于注册图像以及输入图像610的光照补偿模型620，来提取反射率图像630和表面法线图像640。脸部识别设备可通过将提取的反射率图像630和表面法线图像640输入到脸部识别模型670，来获得与注册图像相应的最终特征值。脸部识别设备可比较通过脸部识别模型670输出的输入图像610的最终特征值与注册图像的最终特征值之间的相似度。当相似度大于或等于预定阈值时，出现在输入图像610中的用户可被验证为与出现在注册图像中的用户相同。相反地，当相似度小于预定的阈值时，脸部识别设备可验证出现在输入图像610中的用户与出现在注册图像中的用户不同。
根据至少一个示例实施例，可进一步地从光照补偿模型620提取光照特征650和掩模图像660。然而，脸部识别设备可执行脸部识别来代替使用提取的光照特征650和掩模图像660。由于反射率图像630和表面法线图像640表示独立于光照的特征，因此脸部识别设备可执行独立于(例如，不考虑)出现在输入图像610中的光照的脸部识别。因此，脸部识别设备可通过执行相对光照的变化的鲁棒的脸部识别，来提高图像识别的性能。此外，脸部识别设备可从输入图像610中分离指示遮挡区域的掩膜图像660，由此来阻止由于脸部遮挡引起的识别性能的劣化。
图7是根据至少一个示例实施例的示出训练光照补偿模型的训练方法的示例的流程图。在操作710中，训练设备基于光照补偿模型，从训练图像提取脸部区域的反射率图像、表面法线图像以及光照特征。在操作720中，训练设备基于提取的反射率图像、表面法线图像以及光照特征，生成光照恢复图像。例如，训练设备可通过将反射率图像、表面法线图像以及光照特征应用到朗伯模型，来生成光照恢复图像。在操作730中，训练设备基于训练图像和光照恢复图像，来训练光照补偿模型。训练设备可基于训练图像与光照恢复图像之间的差，来确定损失函数，并且基于损失函数调整光照补偿模型的参数。
图8是根据至少一个示例实施例的示出训练光照补偿模型的训练方法的另一示例的流程图。在操作810中，训练设备基于光照补偿模型，从训练图像提取反射率图像、表面法线图像、光照特征以及掩模图像。在操作820中，训练设备基于提取的反射率图像、表面法线图像以及光照特征，生成光照恢复图像。在操作830中，训练设备基于光照恢复图像和掩模图像，生成掩模恢复图像。在操作840中，训练设备基于训练图像和掩模恢复图像，来训练光照补偿模型。训练设备可基于训练图像与掩模恢复图像之间的差来确定损失函数，并且基于损失函数调整光照补偿模型的参数。
图9是根据至少一个示例实施例的示出训练脸部识别模型的训练方法的示例的流程图。在操作910中，训练设备基于光照补偿模型，从训练图像提取脸部区域的反射率图像和表面法线图像。在操作920中，训练设备通过将反射率图像和表面法线图像输入到脸部识别模型，来从脸部识别模型获得估计值。在操作930中，训练设备基于预定的期望值与脸部识别模型的估计值，来训练脸部识别模型。
图10是根据至少一个示例实施例的示出脸部识别方法的示例的流程图。在操作1010中，脸部识别设备基于光照补偿模型，从输入图像提取脸部区域的反射率图像和表面法线图像。在操作1020中，脸部识别设备将反射率图像和表面法线图像输入到脸部识别模型，并基于脸部识别模型的输出值来确定脸部识别结果。例如，脸部识别模型可输出与输入图像相应的标识值。
图11示出根据至少一个示例实施例的脸部识别设备的另一示例。脸部识别设备1100识别出现在二维(2D)输入图像中的用户脸部。参照图11，脸部识别设备1100包括图像获得器1110、预处理器1120、脸部识别器1160和用于存储计算的值或临时值的存储器1170。
根据至少一个示例实施例，脸部识别设备1100可包括被具体构造为执行在此描述的由脸部识别设备1100(或其元件)执行的操作中的一些或全部的一个或多个电路或电路***(例如，硬件)，或者可通过被具体构造为执行在此描述的由脸部识别设备1100(或其元件)执行的操作中的一些或全部的一个或多个电路或电路***(例如，硬件)来实现。根据至少一个示例实施例，脸部识别设备1100可包括存储器以及一个或多个处理器或者由存储器以及一个或多个处理器来实现，其中，所述一个或多个处理器执行存储在存储器中并包括与在此描述的由脸部识别设备1100(或其元件)执行的操作中的一些或全部相应的指令的计算机可读代码(例如，软件)。根据至少一个示例实施例，可通过例如上述的硬件和执行计算机可读代码的处理器的组合，来实现脸部识别设备1100。
图像获得器1110通过相机获得用于用户识别或用户认证的图像，并且将获得的图像发送到预处理器1120。脸部识别设备1100可使用单一图像来执行关于用户的脸部识别。然而，本公开不限于此。
预处理器1120可对从图像获得器1110接收的输入图像执行各种图像预处理。预处理器1120包括脸部检测器1130、脸部调整器(face aligner)1140以及光照补偿器1150。
脸部检测器1130从输入图像检测脸部区域。脸部检测器1130基于关于输入图像中的眼睛位置、颜色分布、对象移动或亮度分布的信息，来识别输入图像中的脸部区域，并且提取脸部区域的位置信息。例如，脸部检测器1130可使用通常在相关的技术领域中使用的基于Haar-like的Adaboost分类器，来检测输入图像中的脸部区域。
脸部调整器1140调整出现在输入图像中的脸部的大小，或旋转脸部。例如，脸部调整器1140可基于主动外观模型(AAM)来提取脸部区域中的脸部构件，例如，鼻子、眼镜、嘴唇和眉毛。脸部调整器1140可基于提取的脸部构件的位置，来旋转脸部或调整脸部的大小。
此外，脸部调整器1140可基于高斯卷积法以及直方图平滑和拉伸，来去除图像噪声并且降低输入图像中的光照的影响。
光照补偿器1150从输入图像提取光照分量和遮挡分量，并且提取独立于光照的特征。例如，光照补偿器1150可基于光照补偿模型，从输入图像提取脸部区域的反射率图像以及脸部区域的表面法线图像。
脸部识别器1160将通过预处理器1120提取的反射率图像和表面法线图像输入到脸部识别模型，并且基于脸部识别模型的输出值确定脸部识别结果。
根据至少一个示例实施例，脸部识别器1160通过比较输入图像与注册图像，来执行脸部识别。脸部识别器1160可基于出现在输入图像中的脸部区域与出现在注册图像中的脸部区域之间的相似度，来执行脸部识别。脸部识别器1160可确定通过脸部识别模型输出的输入图像的最终特征值与注册图像的最终特征值之间的相似度，并且可基于相似度是否满足预定的条件来输出脸部识别结果。
例如，响应于确定脸部识别成功，脸部识别设备1100可解锁连接到脸部识别设备1100的终端装置，或者为用户分配访问终端装置的预定功能的权限。响应于确定脸部识别失败，脸部识别设备1100可保持终端装置的锁定状态，或者限制访问终端装置的预定功能的权限。
根据至少一个示例实施例，脸部识别设备1100还可包括显示器1180。显示器1180显示通过图像获得器1110获得的图像、通过预处理器1120执行的图像预处理的结果、注册图像以及脸部识别结果中的至少一个。
图12示出根据至少一个示例实施例的脸部识别设备的又一示例。
图像获得设备1210，例如，相机，可捕获用户的脸部，并且将包括脸部的图像发送到脸部识别设备1220。脸部识别设备1220可通过将图像与预先存储在注册图像数据库1250中的注册图像进行比较，来执行脸部识别。用户可通过注册，来预先注册脸部的图像。注册图像数据库1250可将注册的图像存储为注册图像。
脸部识别设备1220可执行在此描述或示出的至少一个脸部识别方法和学习方法。脸部识别设备1220可通过扬声器以语音的形式或者通过显示器以字符、图像、视频等形式，来输出脸部识别结果。然而，脸部识别结果的示例不限于此。因此，脸部识别设备1220可以以各种类型的形式输出脸部识别结果。
脸部识别设备1220可包括处理器1230和存储器1240。存储器1240可与处理器1230进行通信，并且可存储将被处理器1230计算的数据以及可由处理器1230执行的指令。处理器1230可包括用于执行存储在存储器1240中的指令的硬件。为了运行指令，处理器1230可从例如内部寄存器、内部高速缓存、内存储器1240和存储器检索或获取指令，从而来运行指令。然后，处理器1230可将至少一个运行结果记录在内部寄存器、内部高速缓存、内存储器1240和存储器中。根据至少一个示例实施例，处理器1230可执行指令，以执行参照图2、图6、图10和图11描述的至少一个操作。为了简化，在图12中示出单个处理器1230。然而，本领域的技术人员可理解处理器1230包括处理器或核中的至少一个。
可使用硬件组件和软件组件来实现在此所描述的单元和/或模块。例如，硬件组件可包括麦克风、放大器、带通滤波器、音频数字转换器和处理装置。可使用被配置为通过执行算数、逻辑和输入/输出操作来运行和/或执行程序代码的一个或多个硬件装置来实现处理装置。处理装置可包括处理器、控制器和算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微型处理器或能够以限定的方式响应并执行指令的任何其它装置。处理装置可运行操作***(OS)和运行在OS上的一个或多个软件应用。处理装置也可响应于软件的执行来访问、存储、操控、处理和创建数据。为了简单起见，使用单数来描述处理装置。然而，本领域技术人员将理解：处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或一个处理器以及一个控制器。此外，不同的处理配置(诸如，并行处理器)是可能的。
软件可包括用于独立地或共同地指示和/或配置处理装置如期望地操作的计算机程序、一段代码、指令或它们的组合，从而使处理装置转变为专用处理器。可在任何类型的机器、组件、物理的或虚拟的设备、计算机存储介质或装置中、或能够将指令或数据提供给处理装置或由处理装置解释的传播信号波中永久地或临时地实施软件和数据。软件也可被分布在联网的计算机***上，使得软件按照分布方式被存储并被执行。软件和数据可由一个或多个非暂时性计算机可读记录介质进行存储。
根据上述示例实施例的方法可被记录在包括程序指令以执行上述示例实施例的各种操作的非暂时性计算机可读介质中。所述介质还可包括单独的或与所述程序指令结合的数据文件、数据结构等。根据至少一些示例实施例，在所述介质上记录的程序指令可以是针对示例实施例的目的而专门设计和构建的那些程序指令。非暂时性计算机可读介质的示例包括磁介质(诸如，硬盘、软盘和磁带)、光学介质(诸如，CD ROM盘、DVD和/或蓝光盘)、磁光介质(诸如，光盘)和专门被配置为存储并执行程序指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)、闪存(例如，USB闪存驱动器、存储卡、记忆棒)等)。程序指令的示例包括机器代码(诸如，由编译器产生的机器代码)和包含可由计算机使用解释器来执行的更高级代码的文件两者。上述装置可被配置为作为一个或多个软件模块以便执行上述示例实施例的操作，或者反之亦然。
示例实施例已经如此被描述，将显然的是，可以许多方式改变示例实施例。这些改变不应被视为脱离示例实施例所意图的精神和范围，并且所有这种对于本领域技术人员将是明显的修改意图被包括在以下的权利要求的范围内。

Claims (15)

1.一种脸部识别方法，包括：
从输入图像提取脸部区域的反射率图像和脸部区域的表面法线图像，所述提取基于光照补偿模型；
将反射率图像和表面法线图像输入到脸部识别模型；
基于脸部识别模型的输出值确定脸部识别结果。
2.如权利要求1所述的方法，其中，所述确定的步骤包括：基于光照补偿模型从输入图像提取光照分量和遮挡分量。
3.如权利要求1所述的方法，其中，光照补偿模型和脸部识别模型基于卷积神经网络CNN模型。
4.如权利要求1所述的方法，还包括：
基于反射率图像和表面法线图像，从脸部识别模型输出与输入图像对应的标识值。
5.如权利要求1所述的方法，其中，反射率图像和表面法线图像独立于包括在输入图像中的光照分量。
6.如权利要求1所述的方法，其中，反射率图像指示脸部区域的与脸部区域的光照无关的纹理分量，
表面法线图像指示脸部区域的与光照无关的三维3D形状分量。
7.一种脸部识别设备，包括：
存储器，存储指令；
一个或更多个处理器，被配置为执行所述指令，使得所述一个或更多个处理器被配置为：
从输入图像提取脸部区域的反射率图像和脸部区域的表面法线图像，所述提取基于光照补偿模型；
将反射率图像和表面法线图像输入到脸部识别模型；
基于脸部识别模型的输出值确定脸部识别结果。
8.如权利要求7所述的设备，其中，所述一个或更多个处理器，被配置为执行指令，使得所述一个或更多个处理器被配置为基于光照补偿模型从输入图像提取光照分量和遮挡分量。
9.如权利要求7所述的设备，其中，光照补偿模型基于应用到自动编码器的编码器的卷积神经网络CNN模型。
10.如权利要求7所述的设备，其中，脸部识别模型基于卷积神经网络CNN模型。
11.一种训练光照补偿模型的训练方法，所述方法包括：
从训练图像提取脸部区域的反射率图像、脸部区域的表面法线图像和光照特征，
所述提取基于光照补偿模型；
基于反射率图像、表面法线图像和光照特征生成光照恢复图像；
基于训练图像和光照恢复图像来训练光照补偿模型。
12.如权利要求11所述的方法，其中，所述生成的步骤包括：
通过将反射率图像、表面法线图像和光照特征应用到朗伯模型来生成光照恢复图像。
13.如权利要求11所述的方法，其中，所述训练的步骤包括：
基于训练图像与光照恢复图像之间的差来更新光照补偿模型的参数。
14.如权利要求11所述的方法，其中，所述提取的步骤还包括：基于光照补偿模型，从训练图像提取脸部区域的掩模图像。
15.如权利要求14所述的方法，还包括：
基于光照恢复图像和掩模图像生成掩模恢复图像，
其中，所述训练的步骤包括基于训练图像和掩模恢复图像来训练光照补偿模型。
CN201610651797.0A 2015-08-10 2016-08-10 用于脸部识别的方法和设备 Active CN106446768B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0112589 2015-08-10
KR1020150112589A KR102477190B1 (ko) 2015-08-10 2015-08-10 얼굴 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
CN106446768A true CN106446768A (zh) 2017-02-22
CN106446768B CN106446768B (zh) 2022-07-19

Family

ID=56684449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610651797.0A Active CN106446768B (zh) 2015-08-10 2016-08-10 用于脸部识别的方法和设备

Country Status (4)

Country Link
US (1) US10248844B2 (zh)
EP (1) EP3156938A1 (zh)
KR (1) KR102477190B1 (zh)
CN (1) CN106446768B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491771A (zh) * 2017-09-21 2017-12-19 百度在线网络技术（北京）有限公司 人脸检测方法和装置
CN108985135A (zh) * 2017-06-02 2018-12-11 腾讯科技（深圳）有限公司 一种人脸检测器训练方法、装置及电子设备
CN109300170A (zh) * 2018-10-18 2019-02-01 云南大学 肖像照片光影传递方法
CN109784281A (zh) * 2019-01-18 2019-05-21 深圳壹账通智能科技有限公司 基于人脸特征的产品推荐方法、装置及计算机设备
CN110095065A (zh) * 2019-01-15 2019-08-06 云南安视智能设备有限公司 一种玫瑰鲜切花分级检测的方法
WO2019167007A1 (en) * 2018-03-01 2019-09-06 Infotoo International Limited Methods and apparatus for determining authenticity of an information bearing device
CN111126121A (zh) * 2018-11-01 2020-05-08 百度在线网络技术（北京）有限公司 人脸识别模型的调整方法、装置、设备及存储介质
CN111382666A (zh) * 2018-12-31 2020-07-07 三星电子株式会社 具有用户验证的设备和方法
WO2021143216A1 (zh) * 2020-01-17 2021-07-22 腾讯科技（深圳）有限公司 一种人脸活体检测的方法和相关装置
WO2022011621A1 (zh) * 2020-07-15 2022-01-20 华为技术有限公司 一种人脸光照图像生成装置及方法
CN115661912A (zh) * 2022-12-26 2023-01-31 荣耀终端有限公司 图像处理方法、模型训练方法、电子设备及可读存储介质
CN115953333A (zh) * 2023-03-15 2023-04-11 杭州魔点科技有限公司 一种动态背光补偿方法和***

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9773196B2 (en) * 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
JP6949874B2 (ja) 2016-04-19 2021-10-13 インスパイア・メディカル・システムズ・インコーポレイテッドInspire Medical Systems, Inc. 睡眠呼吸障害（ｓｄｂ）のケアのための加速度計に基づく感知
CN106657254B (zh) * 2016-10-25 2019-10-25 Oppo广东移动通信有限公司 一种联系人信息的同步方法、装置及***
WO2018126275A1 (en) * 2016-12-30 2018-07-05 Dirk Schneemann, LLC Modeling and learning character traits and medical condition based on 3d facial features
CN106960219B (zh) * 2017-03-10 2021-04-16 百度在线网络技术（北京）有限公司 图片识别方法及装置、计算机设备及计算机可读介质
US10249289B2 (en) 2017-03-14 2019-04-02 Google Llc Text-to-speech synthesis using an autoencoder
CN108664782B (zh) 2017-03-28 2023-09-12 三星电子株式会社 面部验证方法和设备
KR102359558B1 (ko) 2017-03-28 2022-02-09 삼성전자주식회사 얼굴 인증 방법 및 장치
US10262236B2 (en) * 2017-05-02 2019-04-16 General Electric Company Neural network training image generation system
CN107679460B (zh) * 2017-09-11 2020-08-11 Oppo广东移动通信有限公司 人脸的自学习方法及智能终端和存储介质
CN107729847B (zh) 2017-10-20 2020-08-04 阿里巴巴集团控股有限公司 一种证件验证、身份验证方法和装置
KR102415509B1 (ko) 2017-11-10 2022-07-01 삼성전자주식회사 얼굴 인증 방법 및 장치
US11449587B2 (en) * 2017-11-20 2022-09-20 Ppip, Llc Systems and methods for biometric identity and authentication
KR102563522B1 (ko) * 2018-02-08 2023-08-04 주식회사 케이티 사용자의 얼굴을 인식하는 장치, 방법 및 컴퓨터 프로그램
KR102466998B1 (ko) 2018-02-09 2022-11-14 삼성전자주식회사 영상 융합 방법 및 장치
US11489866B2 (en) 2018-03-07 2022-11-01 Private Identity Llc Systems and methods for private authentication with helper networks
US11265168B2 (en) 2018-03-07 2022-03-01 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11210375B2 (en) 2018-03-07 2021-12-28 Private Identity Llc Systems and methods for biometric processing with liveness
US11392802B2 (en) 2018-03-07 2022-07-19 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11789699B2 (en) 2018-03-07 2023-10-17 Private Identity Llc Systems and methods for private authentication with helper networks
US11502841B2 (en) 2018-03-07 2022-11-15 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US10938852B1 (en) 2020-08-14 2021-03-02 Private Identity Llc Systems and methods for private authentication with helper networks
US11170084B2 (en) 2018-06-28 2021-11-09 Private Identity Llc Biometric authentication
US11138333B2 (en) 2018-03-07 2021-10-05 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11394552B2 (en) 2018-03-07 2022-07-19 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US10721070B2 (en) 2018-03-07 2020-07-21 Private Identity Llc Systems and methods for privacy-enabled biometric processing
CN109241852B (zh) * 2018-08-10 2021-01-12 广州杰赛科技股份有限公司 具有附加特征的人脸识别方法、装置、计算机设备
KR102151851B1 (ko) * 2018-09-12 2020-09-03 한양대학교 산학협력단 적외선 영상 기반 얼굴 인식 방법 및 이를 위한 학습 방법
JP7269711B2 (ja) * 2018-10-03 2023-05-09 株式会社日立製作所 生体認証システム、生体認証方法およびプログラム
US11126330B2 (en) 2018-10-29 2021-09-21 Autodesk, Inc. Shaped-based techniques for exploring design spaces
US11380045B2 (en) 2018-10-29 2022-07-05 Autodesk, Inc. Shaped-based techniques for exploring design spaces
US11741662B2 (en) 2018-10-29 2023-08-29 Autodesk, Inc. Shaped-based techniques for exploring design spaces
CN109508678B (zh) * 2018-11-16 2021-03-30 广州市百果园信息技术有限公司 人脸检测模型的训练方法、人脸关键点的检测方法和装置
CN109727209B (zh) * 2018-12-13 2021-03-02 北京爱奇艺科技有限公司 一种确定残缺文物完整图像的方法及装置
KR102179949B1 (ko) * 2018-12-26 2020-11-17 한국생산기술연구원 딥러닝 기반 영상 데이터 생성 기술을 이용한 분류 시스템 및 그 제어 방법
US10887611B2 (en) * 2018-12-27 2021-01-05 Qualcomm Incorporated Pruning for illumination compensation mode
US10872258B2 (en) 2019-03-15 2020-12-22 Huawei Technologies Co., Ltd. Adaptive image cropping for face recognition
CN110472494A (zh) * 2019-06-21 2019-11-19 深圳壹账通智能科技有限公司 脸部特征提取模型训练方法、脸部特征提取方法、装置、设备及存储介质
CN112183551A (zh) * 2019-07-02 2021-01-05 佳能株式会社 光照颜色预测方法、图像处理方法、装置及存储介质
GB2585708B (en) * 2019-07-15 2022-07-06 Huawei Tech Co Ltd Generating three-dimensional facial data
EP4003497A1 (en) 2019-07-25 2022-06-01 Inspire Medical Systems, Inc. Systems and methods for operating an implantable medical device based upon sensed posture information
US11995749B2 (en) * 2020-01-23 2024-05-28 Disney Enterprises, Inc. Rig-space neural rendering of digital assets
KR102534582B1 (ko) 2020-03-20 2023-05-22 한국전자통신연구원 시선경로 분석을 기반으로 한 능동적 신원확인 방법 및 장치
KR102422822B1 (ko) * 2020-05-29 2022-07-18 연세대학교 산학협력단 경쟁적 학습을 이용한 3차원 얼굴 이미지 합성 장치 및 방법
US20220122360A1 (en) * 2020-10-21 2022-04-21 Amarjot Singh Identification of suspicious individuals during night in public areas using a video brightening network system
US11094042B1 (en) * 2021-03-12 2021-08-17 Flyreel, Inc. Face detection and blurring methods and systems
KR102648659B1 (ko) * 2023-03-20 2024-03-18 주식회사 룰루랩 광학 접근법을 통해 재구성한 광반사 특성 재현 영상을 이용하여 피부 분석 모델을 최적화하기 위한 방법 및 장치

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013028A (zh) * 2006-01-31 2007-08-08 欧姆龙株式会社 图像处理方法以及图像处理装置
US7717574B1 (en) * 2005-09-30 2010-05-18 Obscura Digital, Inc. Method for simplifying the imaging of objects with non-Lambertian surfaces
FR2950445B1 (fr) * 2009-09-24 2011-12-30 3D Event Visualisation d'images (dont au moins une est aerienne) superposees et decalees longitudinalement au moyen d'un hologramme
CN102346857A (zh) * 2011-09-14 2012-02-08 西安交通大学 人脸图像光照参数和去光照图的高精度同时估计方法
CN102521586A (zh) * 2011-12-08 2012-06-27 中国科学院苏州纳米技术与纳米仿生研究所 一种用于拍照手机的高分辨率三维人脸扫描方法
CN102742258A (zh) * 2010-07-21 2012-10-17 松下电器产业株式会社 图像处理装置
US20130044213A1 (en) * 2011-08-18 2013-02-21 Massachusetts Institute Of Technology System and method for diffuse imaging with time-varying illumination intensity
CN104008568A (zh) * 2013-02-20 2014-08-27 株式会社东芝 医用图像处理装置以及医用图像处理方法
CN104182726A (zh) * 2014-02-25 2014-12-03 苏凯 基于人脸识别的实名认证***
CN104598935A (zh) * 2014-12-29 2015-05-06 天津瑞为拓新科技发展有限公司 一种基于增量子空间学习算法的人脸识别方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100596197B1 (ko) 2003-08-13 2006-07-03 학교법인 울산공업학원 가변 타원 마스크와 형태학적 특징을 이용한 얼굴 인식 방법
KR100567765B1 (ko) 2004-03-12 2006-04-05 학교법인 인하학원 조명환경 분석과 전처리를 통한 얼굴 인식 시스템 및 방법
US8090160B2 (en) * 2007-10-12 2012-01-03 The University Of Houston System Automated method for human face modeling and relighting with application to face recognition
KR20100096686A (ko) 2009-02-25 2010-09-02 오리엔탈종합전자(주) 조명분리 고유얼굴에 기반한 조명에 강인한 얼굴 인식
CN101587543B (zh) * 2009-06-19 2012-12-05 电子科技大学 一种人脸识别方法
US9251402B2 (en) * 2011-05-13 2016-02-02 Microsoft Technology Licensing, Llc Association and prediction in facial recognition
KR101937323B1 (ko) 2012-09-18 2019-01-11 한국전자통신연구원 위장 얼굴 판별 장치 및 방법
KR101373274B1 (ko) * 2012-11-08 2014-03-11 주식회사 크라스아이디 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치
JP6411510B2 (ja) * 2013-12-19 2018-10-24 アビギロン フォートレス コーポレイションＡｖｉｇｉｌｏｎ Ｆｏｒｔｒｅｓｓ Ｃｏｒｐｏｒａｔｉｏｎ 無制約の媒体内の顔を識別するシステムおよび方法
US9824271B2 (en) * 2014-06-25 2017-11-21 Kodak Alaris Inc. Adaptable eye artifact identification and correction system
EP3259704B1 (en) * 2015-02-16 2023-08-23 University Of Surrey Three dimensional modelling

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7717574B1 (en) * 2005-09-30 2010-05-18 Obscura Digital, Inc. Method for simplifying the imaging of objects with non-Lambertian surfaces
CN101013028A (zh) * 2006-01-31 2007-08-08 欧姆龙株式会社 图像处理方法以及图像处理装置
FR2950445B1 (fr) * 2009-09-24 2011-12-30 3D Event Visualisation d'images (dont au moins une est aerienne) superposees et decalees longitudinalement au moyen d'un hologramme
CN102742258A (zh) * 2010-07-21 2012-10-17 松下电器产业株式会社 图像处理装置
US20130044213A1 (en) * 2011-08-18 2013-02-21 Massachusetts Institute Of Technology System and method for diffuse imaging with time-varying illumination intensity
CN102346857A (zh) * 2011-09-14 2012-02-08 西安交通大学 人脸图像光照参数和去光照图的高精度同时估计方法
CN102521586A (zh) * 2011-12-08 2012-06-27 中国科学院苏州纳米技术与纳米仿生研究所 一种用于拍照手机的高分辨率三维人脸扫描方法
CN104008568A (zh) * 2013-02-20 2014-08-27 株式会社东芝 医用图像处理装置以及医用图像处理方法
CN104182726A (zh) * 2014-02-25 2014-12-03 苏凯 基于人脸识别的实名认证***
CN104598935A (zh) * 2014-12-29 2015-05-06 天津瑞为拓新科技发展有限公司 一种基于增量子空间学习算法的人脸识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
BARRON J T等: "albedo, and illumination from a single image of an unknown object", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
TAIGMAN Y等: "Deepface: Closing the gap to human-level performance in face verification", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
YICHUAN TANG等: "Deep Lambertian Networks", 《PROCEEDINGS OF THE 29TH INTERNATIONAL CONFERENCE ON MACHINE LEARNING》 *
张熠等: "一种光照不变人脸识别的预处理算法", 《中国图象图形学报》 *
朱道明等: "《建筑安防技术》", 31 January 2013, 东华大学出版社 *
程勇: "人脸识别中光照不变量提取算法研究", 《中国博士学位论文全文数据库·信息科技辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985135A (zh) * 2017-06-02 2018-12-11 腾讯科技（深圳）有限公司 一种人脸检测器训练方法、装置及电子设备
US11594070B2 (en) 2017-06-02 2023-02-28 Tencent Technology (Shenzhen) Company Limited Face detection training method and apparatus, and electronic device
CN110490177A (zh) * 2017-06-02 2019-11-22 腾讯科技（深圳）有限公司 一种人脸检测器训练方法及装置
CN107491771A (zh) * 2017-09-21 2017-12-19 百度在线网络技术（北京）有限公司 人脸检测方法和装置
WO2019167007A1 (en) * 2018-03-01 2019-09-06 Infotoo International Limited Methods and apparatus for determining authenticity of an information bearing device
CN109300170A (zh) * 2018-10-18 2019-02-01 云南大学 肖像照片光影传递方法
CN111126121B (zh) * 2018-11-01 2023-04-04 百度在线网络技术（北京）有限公司 人脸识别模型的调整方法、装置、设备及存储介质
CN111126121A (zh) * 2018-11-01 2020-05-08 百度在线网络技术（北京）有限公司 人脸识别模型的调整方法、装置、设备及存储介质
CN111382666A (zh) * 2018-12-31 2020-07-07 三星电子株式会社 具有用户验证的设备和方法
CN110095065A (zh) * 2019-01-15 2019-08-06 云南安视智能设备有限公司 一种玫瑰鲜切花分级检测的方法
CN109784281A (zh) * 2019-01-18 2019-05-21 深圳壹账通智能科技有限公司 基于人脸特征的产品推荐方法、装置及计算机设备
WO2021143216A1 (zh) * 2020-01-17 2021-07-22 腾讯科技（深圳）有限公司 一种人脸活体检测的方法和相关装置
US11854310B2 (en) 2020-01-17 2023-12-26 Tencent Technology (Shenzhen) Company Limited Face liveness detection method and related apparatus
WO2022011621A1 (zh) * 2020-07-15 2022-01-20 华为技术有限公司 一种人脸光照图像生成装置及方法
CN115661912A (zh) * 2022-12-26 2023-01-31 荣耀终端有限公司 图像处理方法、模型训练方法、电子设备及可读存储介质
CN115661912B (zh) * 2022-12-26 2024-04-12 荣耀终端有限公司 图像处理方法、模型训练方法、电子设备及可读存储介质
CN115953333A (zh) * 2023-03-15 2023-04-11 杭州魔点科技有限公司 一种动态背光补偿方法和***

Also Published As

Publication number Publication date
KR102477190B1 (ko) 2022-12-13
US20170046563A1 (en) 2017-02-16
US10248844B2 (en) 2019-04-02
KR20170018666A (ko) 2017-02-20
CN106446768B (zh) 2022-07-19
EP3156938A1 (en) 2017-04-19

Similar Documents

Publication Publication Date Title
CN106446768A (zh) 用于脸部识别的方法和设备
US11386701B2 (en) Face recognition method and apparatus
CN106295496B (zh) 脸部识别方法和设备
CN109614910B (zh) 一种人脸识别方法和装置
CN106407912B (zh) 一种人脸验证的方法及装置
US11138455B2 (en) Liveness test method and apparatus
US20190244010A1 (en) Method and apparatus for registering face, and method and apparatus for recognizing face
US9798871B2 (en) Method and apparatus for authenticating user
Vijayan et al. Twins 3D face recognition challenge
CN106203248A (zh) 用于脸部识别的方法和设备
CN104112114A (zh) 身份验证方法和装置
CN113689503B (zh) 目标对象的姿态检测方法、装置、设备及存储介质
CN105930710A (zh) 活体检测方法和装置
CN113614731A (zh) 使用软生物特征的认证验证
CN113378721B (zh) 一种基于对称和局部判别的生成对抗人脸校正方法及***
Hartl et al. AR-based hologram detection on security documents using a mobile phone
JP2015162012A (ja) 顔照合装置及び顔照合方法並びにプログラム
Noury et al. How to overcome perceptual aliasing in ASIFT?
CN113962846A (zh) 图像对齐方法及装置、计算机可读存储介质及电子设备
CN112989304A (zh) 用户认证设备、用户认证方法和用于用户认证的训练方法
Usabiaga et al. Recognizing simple human actions using 3D head movement
EP4125060A1 (en) Method and apparatus with access authority management
Grinchuk et al. Training a multimodal neural network to determine the authenticity of images
Yaguchi et al. Full pixel matching between images for non-linear registration of objects
Ul Haq et al. CapsNet-FR: Capsule Networks for Improved Recognition of Facial Features.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant