CN103988228A - 脸部识别方法、设备和用于执行该方法的计算机可读记录介质 - Google Patents

脸部识别方法、设备和用于执行该方法的计算机可读记录介质 Download PDF

Info

Publication number
CN103988228A
CN103988228A CN201280047273.0A CN201280047273A CN103988228A CN 103988228 A CN103988228 A CN 103988228A CN 201280047273 A CN201280047273 A CN 201280047273A CN 103988228 A CN103988228 A CN 103988228A
Authority
CN
China
Prior art keywords
key point
face image
identifier
descriptor
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280047273.0A
Other languages
English (en)
Other versions
CN103988228B (zh
Inventor
H.S.李
H.M.杰
B.N.康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN103988228A publication Critical patent/CN103988228A/zh
Application granted granted Critical
Publication of CN103988228B publication Critical patent/CN103988228B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本公开涉及脸部识别方法、设备以及用于执行该方法的计算机可读记录介质。根据本公开的一些方面，脸部识别方法包含：(a)关键点设置步骤，在输入脸部图像上在指定位置设置关键点；(b)关键点描述符提取步骤，提取每个关键点的每个描述符；以及(c)匹配步骤，使用指定区域内的关键点的描述符来确定输入脸部图像是否匹配预先存储的脸部图像，描述符包含从输入脸部图像获得的每个第一关键点和对应于从输入脸部图像获得的第一关键点的预先存储的脸部图像的第二关键点的每个描述符。

Description

脸部识别方法、设备和用于执行该方法的计算机可读记录介质
技术领域
本公开涉及用于识别脸部的方法和设备以及用于执行该方法的计算机可读记录介质。更具体地说，本公开涉及为了将诸如尺度不变特征变换(SIFT)等技术应用于脸部识别并改进性能，基于从输入图像的预定位置提取的关键点执行脸部识别，由此允许反映脸部图像改变的高精度识别。
背景技术
生物测定学是用于识别诸如指纹、脸部、虹膜、静脉等物理特征的技术，这些物理特征人和人不同。此类物理特征不像密钥或密码能被其他人偷走或拷贝，并且可用在安全领域等，因为它们没有被改变或丢失的风险。脸部识别是一种生物测定学技术，其包含用于检测视频或图片图像中的脸部区域并标识包含在所检测脸部区域中的脸部的技术。此类脸部识别技术不仅可用在安全领域，而且可用在各种其它应用中，与智能电话时代的进步保持一致。
具体地说，脸部识别是用于通过使用特征点的位置来标识所检测脸部图像中的脸部的技术。特征点可包含眼睛的中心点、每个眼睛的两个端点、眉毛的两个端点和中心点、嘴唇的两个端点等。
尽管在脸部识别技术中传统上已经使用了诸如主成分分析(PCA)、局部描述符分析(LDA)等统计方法，但因为从脸部局部区域提取的特征信息对于检测例如由于姿势或照明改变而引起的脸部图像的改变更可靠，因此在近些日子更常使用LDA。
另一技术，尺度不变特征变换(SIFT)在物体识别上显示出极佳的识别性能，但在脸部识别上未显示出良好的性能，并且在其应用上有限制。为什么此方法在脸部识别上显示出较差性能，存在各种原因。第一，因为脸部图像(不像物体图像)不成角但可变形，并且根据观察方向，甚至同一人的脸部看起来十分不同，因此特征点的位置也相应地改变。然而，SIFT方法不能将此类改变考虑进去以识别脸部。第二，一般在基于描述符的匹配中使用的基于距离的匹配技术或基于区域的匹配技术在强照明下获取的脸部图像或人处于不常见姿势的图像的情况下显示出差的性能。因而，为了将SIFT(其正常情况下用于物体识别)应用于脸部识别，应该解决上面描述的问题。
甚至当通过不同于SIFT的技术(诸如SURF、LESH或GLOH)执行脸部识别时，难以改进脸部识别的性能。
具体描述
技术问题
因此，本公开的目的是解决上面描述的问题。
此外，本公开的另一目的是以解决常规方法的问题的方式通过参考从之前存储的脸部图像和输入脸部图像的分别预定的位置提取的关键点的描述符来识别脸部从而改进脸部识别的性能。
本公开的又一目的是，通过向输入脸部图像的所有关键点分配标识符号并分配最频繁分配的标识符号作为输入脸部图像的标识符号，来显示出良好的脸部识别性能，甚至当输入脸部图像改变时。
技术方案
用于实现以上目的的本公开的代表性配置如下。
根据本公开的一方面，提供了一种脸部识别方法，包含：(a)在输入脸部图像的预定位置设置关键点；(b)提取每一个关键点的描述符；以及(c)基于从输入脸部图像获得的第一关键点的描述符和包含对应于从输入脸部图像获得的第一关键点的每一个之前存储的脸部图像的第二关键点的预定区域中的关键点的描述符来确定输入脸部图像是否匹配之前存储的脸部图像。
根据本公开的另一方面，提供了一种脸部识别设备，包含：关键点位置设置单元，用于在输入脸部图像的预定位置设置关键点；关键点描述符提取单元，用于提取每一个关键点的描述符；以及匹配单元，用于基于从输入脸部图像获得的第一关键点的描述符和包含对应于从输入脸部图像获得的第一关键点的每一个之前存储的脸部图像的第二关键点的预定区域中的关键点的描述符来确定输入脸部图像是否匹配之前存储的脸部图像。
根据本公开的一些方面，脸部识别设备进一步包含：脸部检测单元，用于从脸部图像中检测脸部；以及标准化单元，用于通过将检测到的脸部图像标准化成预定大小来生成脸部图像。
根据本公开的一些方面，通过比较相应第一关键点与相应第二关键点的描述符之间的距离，向相应第一关键点分配标识符号，并且分配最频繁分配的标识符号作为脸部图像的标识符号。
根据本公开的一些方面，在脸部图像上形成网格块，并且网格块被形成为预定区域，或者包围对应于从脸部图像获得的第一关键点的第二关键点的块被设置为预定区域。
此外，还提供了一种计算机可读记录介质，用于记录用于执行实现本公开各种方面的上面描述的方法的计算机程序。
技术效果
根据本公开的一些方面，由于通过将关键点设置成之前存储的脸部图像和输入脸部图像的相应固定位置并通过从每一个关键点提取描述符来识别脸部，因此脸部能以高准确度被识别，并且能反映脸部图像的改变。
根据本公开的一些方面，因为输入脸部图像的相应关键点的描述符与邻近之前存储的脸部图像的相应对应关键点的区域中的关键点的描述符之间的距离彼此相比较，因此分配最靠近的关键点的标识符号，并且对于分配给输入脸部图像关键点的标识符号进行投票，以便分配输入脸部图像的标识符号，可获得良好的识别性能，甚至当脸部图像的一些区域由于姿势或照明的改变而不匹配时。
附图说明
图1是图示根据本公开实施例使用SIFT技术的脸部识别设备的配置的框图。
图2是图示图1的脸部识别设备的每个块的操作的图解。
图3是图示图1的匹配单元的实施例的操作的图解。
图4是图示图1的匹配单元的另一实施例的操作的图解。
附图标记的说明
100:脸部识别设备
110:脸部检测单元
120:标准化单元
130:关键点位置设置单元
140:关键点描述符提取单元
150:匹配单元。
实施例
在如下详细描述中，参考附图，附图通过图示示出了可实现本公开的特定实施例。充分详细地描述了这些实施例以使本领域技术人员能够实现本公开。应该理解，本公开的各种实施例尽管不同但不一定相互排斥。例如，本文结合一个实施例描述的特定特征、结构和特性可在其它实施例内实现，而不脱离本公开的精神和范围。此外，应该理解，可修改每个所公开实施例内各个元件的位置或布置，而不脱离本公开的精神和范围。因此，如下详细描述不理解为限制意义。本公开的范围由所附权利要求书定义，连同权利要求书要求保护的整个范围的等效方案适当地解释。在附图中，相似的附图标记通过许多方式指代相同或类似的功能。
在下文中，本公开的各种实施例将参考附图详细描述，以便本领域技术人员能容易地实现本公开。
供参考，尽管可以说本公开被应用于使用诸如加速鲁棒特征(SURF)、基于局部能量的形状直方图(LESH)、梯度位置和方位直方图(GLOH)等技术以及使用SIFT技术的脸部识别设备，但为了说明的方便，下文将作为示例描述使用SIFT技术的脸部识别设备。
图1是图示根据本公开实施例使用SIFT技术的脸部识别设备的配置的框图。
参考图1，脸部识别设备100可包含脸部检测单元110、标准化单元120、关键点位置设置单元130、关键点描述符提取单元140和匹配单元150。
图1所示块的相应功能如下。
脸部检测单元110可从包含脸部的输入图像中检测脸部。脸部检测单元110例如可检测眼睛以便检测脸部，并且附加地可检测眉毛、鼻子、嘴巴等。此类检测的原因可以是在与所存储脸部图像的方向相同的方向上布置输入脸部图像。
标准化单元120可将检测到的脸部图像标准化成预定大小的灰度图像。
关键点位置设置单元130可在标准化脸部图像中的固定位置设置关键点。
关键点描述符提取单元140可通过计算在包围每个关键点的区域中的每个图像样本点的梯度幅值和方位来提取每个关键点的描述符。在由D.Lowe写作的并在“International Journal of Computer Vision, Volume 60, Issue 2”中公布的题为“Distinctive image features from scale-invariant Key points”的文章中提供了提取每一个关键点的描述符的方法，该文章的整个公开通过参考结合于此。然而，该方法不一定局限于此，并且可通过应用各种其它方法实现。
匹配单元150可使用从输入脸部图像的标准化脸部图像获得的相应关键点的描述符和包含对应于从DB(包含用于脸部识别的各种脸部图像的集合的数据库)中的输入图像(例如标准化的输入脸部图像)获得的关键点的相应预先存储的脸部图像的关键点的预定区域中的关键点的描述符来确定输入脸部图像是否匹配之前存储的脸部图像。
更具体地说，匹配单元150通过使用从输入图像的标准化脸部图像获得的相应关键点的描述符和包含对应于从输入图像的标准化脸部图像获得的关键点的相应预先存储的脸部图像的关键点的预定区域中的关键点的描述符来计算和比较输入脸部图像与预先存储的脸部图像的关键点之间的距离，可向从输入图像的标准化脸部图像获得的每一个关键点分配标识符号(ID)，并且分配最频繁分配的标识符号作为输入图像的标准化脸部图像的标识符号。
为此，比如输入图像，有可能从每一个预先存储的脸部图像中检测脸部，将脸部图像标准化成与输入脸部图像的大小相同大小的灰度图像，在与之前在标准化输入脸部图像中设置的关键点位置相同的位置设置关键点，并且事先提取和存储所设置关键点的描述符。
在图1中，脸部检测单元110和标准化单元120可以不是强制性的。例如，当输入到关键点位置设置单元130中的脸部图像被布置在与预先存储的脸部图像的方向相同方向、并具有与预先存储的脸部图像的大小相同大小的灰度图像时，脸部检测单元110和标准化单元120可被省略。
图2是图示图1的脸部识别设备的每个块的操作的视图。
图2(a)示出了输入图像，图2(b)示出了由脸部检测单元110检测到的脸部图像，图2(c)示出了由标准化单元120标准化的脸部图像，图2(d)示出了表述由关键点位置设置单元130提取的关键点的脸部图像，并且图2(e)示出了由关键点描述符提取单元140提取的矢量K，其可表述为K={k1,...,kM}(其中k1表示从第一关键点提取的描述符，并且kM表示从第M个关键点提取的描述符)。图2(f)示出了脸部图像的改变由匹配单元150检测并且输入脸部图像IN被识别为与预先存储的脸部图像S1相同的脸部的情况。
图3是图示图1的匹配单元的实施例的操作的视图。图3(a)示出了标准化的输入脸部图像IN的关键点，并且图3(b)示出了被标准化和预先存储的M个脸部图像S1至SM的关键点。此外，g11至gij表示例如具有大小4x4的脸部图像IN和S1至SM的网格块，并且f1至f16表示每一个网格块g11至gij中的16个关键点。供参考，虽然在图3中每个块的点数量是16，但数量不限于此。
图1的匹配单元150使用输入脸部图像IN的网格块g11的关键点f1的描述符和预先存储的脸部图像S1至SM的网格块g11的关键点f1至f16的描述符计算关键点之间的距离(f1与f1之间的距离、f1与f2之间的距离、…以及f1与f16之间的距离)(距离可包含欧几里德距离，但不限于此)，并向输入脸部图像IN的关键点f1分配包含具有最短距离的关键点的预先存储的脸部图像的标识符号。然后，它使用网格块g11的关键点f2的描述符和预先存储的脸部图像S1至SM的网格块g11的关键点f1至f16的描述符计算关键点f2与f1之间、f2与f2之间、…以及f2与f16之间的距离，并向输入脸部图像IN的关键点f2分配包含具有最短距离的关键点的预先存储的脸部图像的标识符号。以相同方式，预先存储的脸部图像S1至SM的标识符号当中的标识符号被分配给输入脸部图像IN的每一个网格块g11至gij的每一个关键点f1至fl6。也就是说，向输入脸部图像IN的每一个关键点f1至f16分配之前存储的脸部图像S1至SM的标识符号之一，并且它可使用输入脸部图像IN的每个关键点的描述符和对应于包含输入脸部图像IN的每个关键点的网格块的所有预先存储的脸部图像S1至SM的网格块中的关键点的描述符来计算关键点之间的距离，并分配包含具有最短距离的关键点的预先存储的脸部图像的标识符号作为输入脸部图像IN的每一个网格块g11至gij的每一个关键点f1至f16的关键点的标识符号。
然后，匹配单元150可对于分配给输入脸部图像IN的所有关键点的标识符号进行投票，其中可向输入脸部图像IN分配预先存储的脸部图像S1至SM的标识符号之一。也就是说，分配给输入脸部图像IN的所有关键点的标识符号当中的最频繁分配的标识符号可被分配作为输入脸部图像IN的标识符号。在此实例中，最频繁分配的标识符号可被选择用于每个网格块，并且所选择的标识符号当中的最频繁选择的标识符号可被分配作为输入脸部图像IN的标识符号。然而，本公开不必局限于此。当经历上面描述的过程时，输入脸部图像IN的脸部被识别成与具有与所分配的标识符号相同的标识符号的预先存储的脸部图像的脸部相同。
图4是图示图1的匹配单元的另一实施例的操作的图解。图4(a)示出了标准化的输入脸部图像IN的关键点，并且图4(b)示出了被标准化和预先存储的M个脸部图像S1至SM的关键点。此外，f11至f1k分别表示脸部图像IN和S1至SM的关键点，并且N1至N3中的每一个表示具有大小3x3的包围块，用于规定每一个关键点f22、f35、...和f(1-1)(k-2)的包围区域，并且可对于所有此类关键点规定包围块。供参考，在图4中包围区域具有3x3的大小，但不限于此。
图1的匹配单元150使用输入脸部图像IN的关键点f22的描述符和包围每一个预先存储的脸部图像S1至SM的关键点f22的块N1中的关键点的描述符来计算关键点之间的距离，并分配包含具有最短距离的关键点的预先存储的脸部图像的标识符号。以相同方式，它使用输入脸部图像IN的所有关键点中每个关键点的描述符和包含在对应于输入脸部图像IN的位置的每一个预先存储的脸部图像S1至SM的关键点的包围块中的关键点的描述符来计算关键点之间的距离，并分配包含具有最短距离的关键点的预先存储的脸部图像的标识符号。也就是说，向输入脸部图像IN的每一个关键点f11至f1k分配之前存储的脸部图像S1至SM的标识符号当中的一个标识符号，并且它使用输入脸部图像IN的每个关键点的描述符和包含对应于输入脸部图像IN的每个关键点的位置的关键点的所有之前存储的脸部图像S1至SM的包围块中的关键点的描述符来计算关键点之间的距离，并分配包含具有最短距离的关键点的预先存储的脸部图像的标识符号作为输入脸部图像IN的关键点的标识符号。
然后，匹配单元150通过对于分配给输入脸部图像IN的所有关键点的标识符号进行投票而向输入脸部图像IN分配预先存储的脸部图像S1至SM的标识符号之一。也就是说，分配给输入脸部图像IN的所有关键点的标识符号当中的最频繁分配的标识符号可被分配作为输入脸部图像IN的标识符号。在这一点上，在每个包围块中最频繁分配的标识符号可被首先选择，并且然后整个图像当中最频繁选择的标识符号可被分配作为输入脸部图像IN的标识符号。然而，本公开不必局限于此。当经历上面描述的过程时，输入脸部图像IN的脸部被识别成与具有与所分配的标识符号相同的标识符号的预先存储的脸部图像的脸部相同。
也就是说，匹配单元150可向输入脸部图像IN的所有关键点分配标识符号，并通过对于分配给所有关键点的标识符号进行投票而分配最频繁分配的标识符号作为输入脸部图像IN的标识符号。
在图3和图4中，输入脸部图像IN的每个关键点可被表述为“第一关键点”，并且预先存储的脸部图像S1至SM的每个关键点可被表述为“第二关键点”。
根据上面描述的本公开的实施例能采用可通过各种计算机组件执行并记录在计算机可读记录介质中的程序命令的形式实现。计算机可读记录介质可单独或以组合方式包含程序命令、数据文件、数据结构等。记录在计算机可读记录介质中的程序命令可以是特别设计并配置用于本公开的程序命令或由计算机软件领域的普通技术人员使用的已知程序命令。计算机可读记录介质例如包含磁介质(诸如硬盘、软盘和磁带)、光学记录介质(诸如CD-ROM和DVD)、磁光介质(诸如光盘)以及特别配置成存储和执行程序命令的硬件装置(诸如ROM、RAM、闪存等)。程序命令例如可包含可由计算机使用翻译器等执行的高级语言代码以及由编译器生成的机器代码。硬件装置可配置成使用一个或多个软件模块操作，以便根据本公开的各种实施例执行处理。
在前述讨论中，尽管本公开已经结合特定素材(诸如特定组件、示范实施例和附图)进行了描述，但它们仅提供用于帮助理解本公开，并且本公开不限于这些实施例。本领域技术人员将明白，根据这些描述可对它们进行各种修改和改变。
因此，本公开的精神不应该被限于上面描述的实施例，并且所附权利要求书及其相等或等效的修改将被视为落在本公开的范围内。

Claims (25)

1. 一种脸部识别方法，包括：
(a)在输入脸部图像中的预定位置设置关键点；
(b)提取每一个所述关键点的描述符；以及
(c)使用从所述输入脸部图像获得的第一关键点的描述符和预定区域中的关键点的描述符来确定所述输入脸部图像是否匹配之前存储的脸部图像，所述预定区域包含对应于从所述输入脸部图像获得的第一关键点的相应之前存储的脸部图像的第二关键点。
2. 如权利要求1所述的方法，其中步骤(c)包括：使用所述第一关键点的描述符和所述第二关键点的描述符计算并比较所述第一关键点与所述第二关键点之间的距离，以便分配包含之前存储的脸部图像当中具有最短距离的第二点的之前存储的特定脸部图像的标识符号作为每一个所述第一关键点的标识符号，并分配最频繁分配的标识符号作为所述输入脸部图像的标识符号。
3. 如权利要求2所述的方法，其中当使用所述第一关键点的描述符和所述第二关键点的描述符计算所述第一关键点与所述第二关键点之间的距离时，所述距离被计算为欧几里德距离。
4. 如权利要求1所述的方法，其中步骤(c)包括在所述脸部图像中形成网格块，并将所述网格块设置为预定区域。
5. 如权利要求4所述的方法，其中所述方法包括：使用所述第一关键点的描述符和所述第二关键点的描述符计算并比较所述第一关键点与所述第二关键点之间的距离，以便分配包含之前存储的脸部图像当中具有所述最短距离的第二点的之前存储的特定脸部图像的标识符号作为每一个所述第一关键点的标识符号；选择在每个网格块中分配最频繁的标识符号；以及分配最频繁选择的标识符号作为所述输入脸部图像的标识符号。
6. 如权利要求1所述的方法，其中步骤(c)将包围对应于从所述脸部图像获得的所述第一关键点的所述第二关键点的块设置为所述预定区域。
7. 如权利要求6所述的方法，其中所述方法包括：使用所述第一关键点的描述符和所述第二关键点的描述符计算并比较所述第一关键点与所述第二关键点之间的距离，以便分配包含之前存储的脸部图像当中具有所述最短距离的第二点的之前存储的特定脸部图像的标识符号作为每一个所述第一关键点的标识符号；选择在每个包围块中分配最频繁的所述标识符号；以及分配最频繁选择的标识符号作为所述输入脸部图像的标识符号。
8. 如权利要求1所述的方法，还包括：
(d)从所述输入脸部图像中检测脸部；以及
(e)将检测到的脸部图像标准化成预定大小的脸部图像以生成所述输入脸部图像，
其中步骤(a)在标准化的输入脸部图像的预定位置设置所述关键点。
9. 如权利要求8所述的方法，其中步骤(d)此外从所述输入脸部图像检测所述脸部的特征点以在与之前存储的脸部图像的方向相同的方向上布置检测到的脸部图像。
10. 如权利要求9所述的方法，其中所述特征点包括眼睛、鼻子或嘴巴的特征点。
11. 如权利要求1所述的方法，其中所述输入脸部图像和所述之前存储的脸部图像在相同方向上布置，并具有相同大小的灰度图像。
12. 如权利要求1所述的方法，其中在步骤(a)，所述关键点在其上的所述输入脸部图像上的预定位置是固定的。
13. 一种脸部识别设备，包括：
关键点位置设置单元，配置成在输入脸部图像的预定位置设置关键点；
关键点描述符提取单元，配置成提取每一个所述关键点的描述符；以及
匹配单元，配置成使用从所述输入脸部图像获得的第一关键点的描述符和预定区域中的关键点的描述符来确定所述输入脸部图像是否匹配之前存储的脸部图像，所述预定区域包含对应于从所述输入脸部图像获得的第一关键点的每一个相应之前存储的脸部图像的第二关键点。
14. 如权利要求13所述的设备，其中所述匹配单元配置成使用所述第一关键点的描述符和所述第二关键点的描述符计算并比较所述第一关键点与所述第二关键点之间的距离，以便分配包含之前存储的脸部图像当中具有最短距离的第二点的之前存储的特定脸部图像的标识符号作为每一个所述第一关键点的标识符号，并配置成分配最频繁分配的标识符号作为所述输入脸部图像的标识符号。
15. 如权利要求14所述的设备，其中当使用所述第一关键点的描述符和所述第二关键点的描述符计算所述第一关键点与所述第二关键点之间的距离时，所述距离被计算为欧几里德距离。
16. 如权利要求13所述的设备，其中所述匹配单元配置成在所述脸部图像中形成网格块，并将所述网格块设置为所述预定区域。
17. 如权利要求16所述的设备，其中所述匹配单元配置成使用所述第一关键点的描述符和所述第二关键点的描述符计算并比较所述第一关键点与所述第二关键点之间的距离，以便分配包含之前存储的脸部图像当中具有最短距离的第二点的之前存储的特定脸部图像的标识符号作为每一个所述第一关键点的标识符号，并配置成选择在每个网格块中分配最频繁的标识符号，并分配最频繁选择的标识符号作为所述输入脸部图像的标识符号。
18. 如权利要求13所述的设备，其中所述匹配单元配置成将包围对应于从所述脸部图像获得的第一关键点的第二关键点的块设置为所述预定区域。
19. 如权利要求18所述的设备，其中所述匹配单元配置成使用所述第一关键点的描述符和所述第二关键点的描述符计算并比较所述第一关键点与所述第二关键点之间的距离，以便分配包含之前存储的脸部图像当中具有最短距离的第二点的之前存储的特定脸部图像的标识符号作为每一个所述第一关键点的标识符号，并配置成选择在每个包围块中分配最频繁的标识符号，并分配最频繁选择的标识符号作为所述输入脸部图像的标识符号。
20. 如权利要求13所述的设备，还包括：
脸部检测单元，配置成从最初输入的脸部图像检测所述脸部；以及
标准化单元，配置成将检测到的脸部图像标准化成预定大小的脸部图像以生成所述输入脸部图像，
其中所述关键点位置设置单元配置成在标准化的输入脸部图像的预定位置设置所述关键点。
21. 如权利要求20所述的设备，其中所述脸部检测单元此外配置成从所述输入图像检测所述脸部的特征点以在与之前存储的脸部图像的方向相同的方向上布置检测到的脸部图像。
22. 如权利要求21所述的设备，其中所述特征点包含眼睛、鼻子或嘴巴的特征点。
23. 如权利要求13所述的设备，其中所述输入脸部图像和所述之前存储的脸部图像在相同方向上布置，并具有相同大小的灰度图像。
24. 如权利要求13所述的设备，其中所述关键点位置设置单元设置所述关键点的所述输入脸部图像上的预定位置是固定的。
25. 一种计算机可读记录介质，用于记录执行如权利要求1至12中任一项所述的方法的计算机程序。
CN201280047273.0A 2011-09-27 2012-09-27 脸部识别方法、设备和用于执行该方法的计算机可读记录介质 Expired - Fee Related CN103988228B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2011-0097795 2011-09-27
KR1020110097795A KR101130817B1 (ko) 2011-09-27 2011-09-27 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
PCT/KR2012/007844 WO2013048160A1 (ko) 2011-09-27 2012-09-27 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체

Publications (2)

Publication Number Publication Date
CN103988228A true CN103988228A (zh) 2014-08-13
CN103988228B CN103988228B (zh) 2018-11-30

Family

ID=46142870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280047273.0A Expired - Fee Related CN103988228B (zh) 2011-09-27 2012-09-27 脸部识别方法、设备和用于执行该方法的计算机可读记录介质

Country Status (6)

Country Link
US (1) US9208375B2 (zh)
EP (1) EP2763102A4 (zh)
JP (2) JP5798691B2 (zh)
KR (1) KR101130817B1 (zh)
CN (1) CN103988228B (zh)
WO (1) WO2013048160A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608448A (zh) * 2016-02-22 2016-05-25 海信集团有限公司 一种基于脸部关键点的lbp特征提取方法和装置
WO2016149944A1 (zh) * 2015-03-26 2016-09-29 北京旷视科技有限公司 用于识别人脸的方法、***和计算机程序产品

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101130817B1 (ko) * 2011-09-27 2012-04-16 (주)올라웍스 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
EP2825996A4 (en) * 2012-03-13 2017-03-08 Nokia Technologies Oy A method and apparatus for improved facial recognition
US20150023866A1 (en) * 2013-07-22 2015-01-22 Rubicon Technology, Inc. Method and system of producing large oxide crystals from a melt
KR102113813B1 (ko) * 2013-11-19 2020-05-22 한국전자통신연구원 정합 쌍을 이용한 신발 영상 검색 장치 및 방법
KR101500496B1 (ko) * 2013-12-06 2015-03-10 주식회사 케이티 얼굴을 인식하는 장치 및 방법
CN104715227B (zh) 2013-12-13 2020-04-03 北京三星通信技术研究有限公司 人脸关键点的定位方法和装置
CN103824050B (zh) * 2014-02-17 2017-03-15 北京旷视科技有限公司 一种基于级联回归的人脸关键点定位方法
KR102225623B1 (ko) * 2014-09-18 2021-03-12 한화테크윈 주식회사 키포인트 기술자 매칭 및 다수결 기법 기반 얼굴 인식 시스템 및 방법
TW201727537A (zh) * 2016-01-22 2017-08-01 鴻海精密工業股份有限公司 人臉識別系統及人臉識別方法
JP6517298B2 (ja) * 2017-10-10 2019-05-22 株式会社Ｃｙｇａｍｅｓ 対象物取得確認のためのシステム、サーバ、プログラム及び方法
US20190347510A1 (en) * 2018-05-11 2019-11-14 Cyberlink Corp. Systems and Methods for Performing Facial Alignment for Facial Feature Detection
CN110084219B (zh) * 2019-05-07 2022-06-24 厦门美图之家科技有限公司 界面交互方法及装置
SG10201913763WA (en) * 2019-12-30 2021-04-29 Sensetime Int Pte Ltd Image processing methods and apparatuses, electronic devices, and storage media
CN112001932B (zh) * 2020-09-01 2023-10-31 腾讯科技（深圳）有限公司 人脸识别方法、装置、计算机设备和存储介质
US11574500B2 (en) * 2020-09-08 2023-02-07 Samsung Electronics Co., Ltd. Real-time facial landmark detection
CN113822916B (zh) * 2021-08-17 2023-09-15 北京大学 图像匹配方法、装置、设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1559051A (zh) * 2001-09-28 2004-12-29 �ʼҷ����ֵ��ӹɷ����޹�˾ 使用部分学习模型的面部识别的***和方法
US20090169065A1 (en) * 2007-12-28 2009-07-02 Tao Wang Detecting and indexing characters of videos by NCuts and page ranking
CN101510257A (zh) * 2009-03-31 2009-08-19 华为技术有限公司 一种人脸相似度匹配方法及装置
CN101719222A (zh) * 2009-11-27 2010-06-02 北京中星微电子有限公司 分类器训练方法和装置以及人脸认证方法和装置
CN102004911A (zh) * 2010-12-31 2011-04-06 上海全景数字技术有限公司 提高人脸识别正确率的方法
KR20110103223A (ko) * 2010-03-12 2011-09-20 경북대학교 산학협력단 얼굴 인식을 위한 ｓｉｆｔ 알고리즘을 이용한 키포인트 매칭 시스템 및 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5450504A (en) * 1992-05-19 1995-09-12 Calia; James Method for finding a most likely matching of a target facial image in a data base of facial images
DE19610066C1 (de) * 1996-03-14 1997-09-18 Siemens Nixdorf Advanced Techn Verfahren zur Erfassung gesichtsbezogener Personendaten und deren Verwendung zur Identifizierung oder Verifikation von Personen
JP4384366B2 (ja) * 2001-01-12 2009-12-16 富士通株式会社 画像照合処理システムおよび画像照合方法
JP3873793B2 (ja) * 2002-03-29 2007-01-24 日本電気株式会社 顔メタデータ生成方法および顔メタデータ生成装置
JP4569186B2 (ja) * 2004-06-15 2010-10-27 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2006202049A (ja) * 2005-01-20 2006-08-03 Omron Corp 顔認識装置
US20070127787A1 (en) * 2005-10-24 2007-06-07 Castleman Kenneth R Face recognition system and method
JP4705511B2 (ja) * 2006-04-28 2011-06-22 セコム株式会社 顔画像照合装置
KR100860989B1 (ko) * 2006-12-18 2008-09-30 삼성전자주식회사 얼굴 영상의 유사도 산출 방법 및 장치와 이를 이용한 얼굴영상 검색 방법 및 장치 그리고 얼굴 합성 방법
JP2008287399A (ja) * 2007-05-16 2008-11-27 Toshiba Corp 人物認証装置および方法
JP4946730B2 (ja) * 2007-08-27 2012-06-06 ソニー株式会社 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム
US20090135989A1 (en) 2007-11-28 2009-05-28 Ge-Hitachi Nuclear Energy Americas Llc Segmented fuel rod bundle designs using fixed spacer plates
CN102016918B (zh) 2008-04-28 2014-04-16 公立大学法人大阪府立大学 物体识别用图像数据库的制作方法以及处理装置
JP4913094B2 (ja) * 2008-05-20 2012-04-11 シャープ株式会社 画像照合方法、画像照合装置、画像データ出力処理装置、プログラム及び記憶媒体
US8538072B2 (en) * 2008-08-27 2013-09-17 Imprivata, Inc. Systems and methods for operator detection
JP5709410B2 (ja) * 2009-06-16 2015-04-30 キヤノン株式会社 パターン処理装置及びその方法、プログラム
JP5164222B2 (ja) 2009-06-25 2013-03-21 Ｋｄｄｉ株式会社 画像検索方法およびシステム
JP5451302B2 (ja) * 2009-10-19 2014-03-26 キヤノン株式会社 画像処理装置及び方法、プログラム及び記憶媒体
KR101180471B1 (ko) * 2011-09-27 2012-09-07 (주)올라웍스 한정된 메모리 환경 하에서 얼굴 인식 성능 향상을 위한 참조 얼굴 데이터베이스 관리 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR101130817B1 (ko) * 2011-09-27 2012-04-16 (주)올라웍스 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US8831295B2 (en) * 2012-03-21 2014-09-09 Authentec, Inc. Electronic device configured to apply facial recognition based upon reflected infrared illumination and related methods
US20130328760A1 (en) * 2012-06-08 2013-12-12 Qualcomm Incorporated Fast feature detection by reducing an area of a camera image
US9911361B2 (en) * 2013-03-10 2018-03-06 OrCam Technologies, Ltd. Apparatus and method for analyzing images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1559051A (zh) * 2001-09-28 2004-12-29 �ʼҷ����ֵ��ӹɷ����޹�˾ 使用部分学习模型的面部识别的***和方法
US20090169065A1 (en) * 2007-12-28 2009-07-02 Tao Wang Detecting and indexing characters of videos by NCuts and page ranking
CN101510257A (zh) * 2009-03-31 2009-08-19 华为技术有限公司 一种人脸相似度匹配方法及装置
CN101719222A (zh) * 2009-11-27 2010-06-02 北京中星微电子有限公司 分类器训练方法和装置以及人脸认证方法和装置
KR20110103223A (ko) * 2010-03-12 2011-09-20 경북대학교 산학협력단 얼굴 인식을 위한 ｓｉｆｔ 알고리즘을 이용한 키포인트 매칭 시스템 및 방법
CN102004911A (zh) * 2010-12-31 2011-04-06 上海全景数字技术有限公司 提高人脸识别正确率的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016149944A1 (zh) * 2015-03-26 2016-09-29 北京旷视科技有限公司 用于识别人脸的方法、***和计算机程序产品
US10262190B2 (en) 2015-03-26 2019-04-16 Beijing Kuangshi Technology Co., Ltd. Method, system, and computer program product for recognizing face
CN105608448A (zh) * 2016-02-22 2016-05-25 海信集团有限公司 一种基于脸部关键点的lbp特征提取方法和装置
CN105608448B (zh) * 2016-02-22 2019-08-09 海信集团有限公司 一种基于脸部关键点的lbp特征提取方法和装置

Also Published As

Publication number Publication date
JP6155306B2 (ja) 2017-06-28
KR101130817B1 (ko) 2012-04-16
US20140147023A1 (en) 2014-05-29
JP2016006679A (ja) 2016-01-14
JP2014526754A (ja) 2014-10-06
JP5798691B2 (ja) 2015-10-21
US9208375B2 (en) 2015-12-08
EP2763102A1 (en) 2014-08-06
WO2013048160A1 (ko) 2013-04-04
EP2763102A4 (en) 2016-04-20
CN103988228B (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
CN103988228A (zh) 脸部识别方法、设备和用于执行该方法的计算机可读记录介质
Yu et al. Structure-preserving binary representations for RGB-D action recognition
Dixit et al. Scene classification with semantic fisher vectors
Kalsum et al. Emotion recognition from facial expressions using hybrid feature descriptors
KR101481225B1 (ko) 안면 특징 벡터 구성
EP3274921B1 (en) Multi-layer skin detection and fused hand pose matching
Wang et al. Motionlets: Mid-level 3d parts for human motion recognition
Dominio et al. Hand gesture recognition with depth data
Sarfraz et al. Head Pose Estimation in Face Recognition Across Pose Scenarios.
Grana et al. A fast approach for integrating ORB descriptors in the bag of words model
JP5929896B2 (ja) 画像認識システム、画像認識方法および画像認識用プログラム
US20220012502A1 (en) Activity detection device, activity detection system, and activity detection method
Yan et al. Multiscale convolutional neural networks for hand detection
Elpeltagy et al. Multi‐modality‐based Arabic sign language recognition
Ganapathi et al. Geometric statistics-based descriptor for 3D ear recognition
Fang et al. Real-time hand posture recognition using hand geometric features and fisher vector
KR102434574B1 (ko) 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법
Rehman et al. Efficient coarser‐to‐fine holistic traffic sign detection for occlusion handling
Nguyen-Quoc et al. A revisit histogram of oriented descriptor for facial color image classification based on fusion of color information
Lejbølle et al. Enhancing person re‐identification by late fusion of low‐, mid‐and high‐level features
Fawwad Hussain et al. Gray level face recognition using spatial features
Deng et al. Attention-aware dual-stream network for multimodal face anti-spoofing
Liu et al. High discriminative SIFT feature and feature pair selection to improve the bag of visual words model
Sun et al. Multiple-kernel, multiple-instance similarity features for efficient visual object detection
Onofri et al. Multiple subsequence combination in human action recognition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181130

Termination date: 20190927

CF01 Termination of patent right due to non-payment of annual fee