CN110188630A - 一种人脸识别方法和相机 - Google Patents

一种人脸识别方法和相机 Download PDF

Info

Publication number
CN110188630A
CN110188630A CN201910395391.4A CN201910395391A CN110188630A CN 110188630 A CN110188630 A CN 110188630A CN 201910395391 A CN201910395391 A CN 201910395391A CN 110188630 A CN110188630 A CN 110188630A
Authority
CN
China
Prior art keywords
face
facial
angle
image
facial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910395391.4A
Other languages
English (en)
Inventor
刘子伟
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Pico Technology Co Ltd
Original Assignee
Qingdao Pico Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Pico Technology Co Ltd filed Critical Qingdao Pico Technology Co Ltd
Priority to CN201910395391.4A priority Critical patent/CN110188630A/zh
Publication of CN110188630A publication Critical patent/CN110188630A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种人脸识别方法和相机。本发明的方法包括：获取人脸图像的面部特征点；根据所述面部特征点获取人脸角度、人脸宽度，以及根据由所述面部特点组成的特征向量与图像库中多个源图像的特征矩阵，获取所述人脸图像与所述多个源图像之间的人脸相似度；根据所述人脸角度、所述人脸宽度和所述人脸相似度进行人脸识别，获取所述人脸图像的识别结果。本发明的技术方案基于多种信息对人脸图像进行识别，能够提高人脸识别的准确度，确保在多数场景中可以准确、快速的识别人脸。

Description

一种人脸识别方法和相机
技术领域
本发明涉及机器学习技术领域，尤其涉及一种人脸识别方法和相机。
背景技术
目前，随着机器学习技术的逐步成熟及计算机硬件性能高速提升，近年来计算机视觉、自然语言处理和语音识别等应用领域取得了突破性进展。人脸识别作为计算机视觉领域一项基础的任务，其精度也得到了大幅提升。深度学习技术的发展解决了人脸识别当中的特征表达的问题，相比传统的方法，能够更加全面地学习人脸的特征。
但在实际运用场景下，现有人脸识别方法还存在人脸识别困难的问题。
发明内容
本发明提供了一种人脸识别方法和相机，以解决现有人脸识别方法人脸识别困难的问题。
第一方面，本发明提供了一种人脸识别方法，包括：获取人脸图像的面部特征点；根据所述面部特征点获取人脸角度、人脸宽度，以及根据由所述面部特点组成的特征向量与图像库中多个源图像的特征矩阵，获取所述人脸图像与所述多个源图像之间的人脸相似度；根据所述人脸角度、所述人脸宽度和所述人脸相似度进行人脸识别，获取所述人脸图像的识别结果。
在一些实施例中，根据所述人脸角度、所述人脸宽度和所述人脸相似度进行人脸识别，获取所述人脸图像的识别结果，包括：将所述人脸角度与预设角度阈值进行比较，在所述人脸角度小于所述预设角度阈值时，识别所述人脸图像为无效图像，在所述人脸角度不小于所述预设角度阈值时，将所述人脸宽度与预设宽度阈值进行比较，在所述人脸宽度小于所述预设宽度阈值时，识别所述人脸图像为无效图像，在所述人脸宽度不小于所述预设宽度阈值时，获取所述人脸相似度与第一相似度阈值和第二相似度阈值的关系，所述第一相似度阈值大于所述第二相似度阈值；根据所述人脸相似度与所述第一相似度阈值和所述第二相似度阈值的关系，获取人脸图像的识别结果。
在一些实施例中，根据所述人脸相似度与所述第一相似度阈值和所述第二相似度阈值的关系，获取人脸图像的识别结果，包括：若所述人脸相似度大于所述第一相似度阈值，识别所述人脸图像对应的用户为所述图像库中目标源图像所属用户，所述目标源图像为所述多个源图像中与所述人脸图像之间的人脸相似度最大值对应的源图像；若所述人脸相似度小于所述第二相似度阈值，识别所述人脸图像对应的用户为新用户，获取所述新用户的信息并将所述人脸图像和所述新用户的信息添加到所述图像库中；若所述人脸相似度不大于所述第一相似度阈值且所述人脸相似度不小于所述第二相似度阈值，重新获取人脸图像的面部特征点。
在一些实施例中，获取人脸图像的面部特征点，包括：利用多任务级联卷积网络对所述人脸图像进行人脸检测，或者，利用机器学习工具Dlib对所述人脸图像进行人脸检测，获取所述人脸图像的人脸区域子图像；将所述人脸区域子图像输入至训练好的卷积神经网络，获取所述人脸图像的面部特征点。
在一些实施例中，根据所述面部特征点获取人脸角度、人脸宽度，包括：根据采集所述人脸图像的相机内部参数，获得所述面部特征点在相机坐标系中的匹配点，所述匹配点在所述相机坐标系中所在的平面为基准平面；在所述相机坐标系中构建3D标准人脸模型，所述3D标准人脸模型中包括多个三维面部特征点；在所述相机坐标系中，根据旋转和平移处理后所述多个三维面部特征点在所述基准平面上形成的多个映射点与所述匹配点的重合数量最多的旋转角度，获取所述人脸角度；根据所述面部特征点中两侧边缘面部特征点之间的距离，获取所述人脸宽度。
在一些实施例中，旋转和平移处理包括：对所述多个三维面部特征点相对XOY平面进行旋转，对所述多个三维面部特征点沿着与Y轴平行的方向进行旋转和对所述多个三维面部特征点沿着与X轴平行的方向进行旋转；其中，OXYZ为所述相机坐标系，O为所述相机坐标系的原点，X、Y与Z分别为相机坐标系的三个坐标轴，所述XOY平面为所述基准平面。
在一些实施例中，所述人脸角度包括：摆动角度、转动角度和俯仰角度；所述摆动角度对应于所述多个三维面部特征点相对XOY平面的旋转角度，所述转动角度对应于所述多个三维面部特征点沿着与Y轴平行方向的旋转角度，所述俯仰角度对应于所述多个三维面部特征点沿着与X轴平行方向的旋转角度。
在一些实施例中，根据由所述面部特点组成的特征向量与图像库中多个源图像的特征矩阵，获取所述人脸图像与所述多个源图像之间的人脸相似度，包括：分别计算所述人脸图像的特征向量与所述特征矩阵中每个源图像的特征向量之间的余弦相似度，将计算到的所述余弦相似度中的最大值确定为所述人脸图像与所述多个源图像之间的人脸相似度。
第二方面，本发明提供了一种相机，包括：摄像头和处理器；所述摄像头，采集人脸图像并发送给所述处理器；所述处理器，获取人脸图像的面部特征点；根据所述面部特征点获取人脸角度、人脸宽度，以及根据由所述面部特点组成的特征向量与图像库中多个源图像的特征矩阵，获取所述人脸图像与所述多个源图像之间的人脸相似度；根据所述人脸角度、所述人脸宽度和所述人脸相似度进行人脸识别，获得所述人脸图像的识别结果。
在一些实施例中，所述处理器，将所述人脸角度与预设角度阈值进行比较，在所述人脸角度小于所述预设角度阈值时，识别所述人脸图像为无效图像，在所述人脸角度不小于所述预设角度阈值时，将所述人脸宽度与预设宽度阈值进行比较，在所述人脸宽度小于所述预设宽度阈值时，识别所述人脸图像为无效图像，在所述人脸宽度不小于所述预设宽度阈值时，获取所述人脸相似度与第一相似度阈值和第二相似度阈值的关系，所述第一相似度阈值大于所述第二相似度阈值；若所述人脸相似度大于所述第一相似度阈值，识别所述人脸图像对应的用户为所述图像库中目标源图像所属用户，所述目标源图像为所述多个源图像中与所述人脸图像之间的人脸相似度最大值对应的源图像；若所述人脸相似度小于所述第二相似度阈值，识别所述人脸图像对应的用户为新用户，获取所述新用户的信息并将所述人脸图像和所述新用户的信息添加到所述图像库中；若所述人脸相似度不大于所述第一相似度阈值且所述人脸相似度不小于所述第二相似度阈值，重新获取人脸图像的面部特征点。
本发明通过对人脸图像识别获取面部特征点，基于面部特征点获取人脸角度、人脸宽度以及人脸图像与源图像之间的人脸相似度信息，基于多种信息对人脸图像进行识别，提高人脸识别的准确度，确保在多数场景中可以准确、快速的识别人脸。
附图说明
图1为本发明实施例示出的人脸识别方法的流程图；
图2为本发明实施例示出的人脸识别过程示意图；
图3为本发明实施例示出的人脸角度示意图；
图4为本发明实施例示出的相机的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此，本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本发明的技术可以采取存储有指令的机器可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行***使用或者结合指令执行***使用。在本发明的上下文中，机器可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，机器可读介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。机器可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
本发明提供一种人脸识别方法。
图1为本发明实施例示出的人脸识别方法的流程图，如图1所示，本实施例的方法包括：
S110，获取人脸图像的面部特征点。
其中，面部特征点包括标识眼睛、鼻子、嘴巴、眉毛、人脸轮廓等部位的多个特征点。
S120，根据所述面部特征点获取人脸角度、人脸宽度，以及根据由所述面部特点组成的特征向量与图像库中多个源图像的特征矩阵，获取所述人脸图像与所述多个源图像之间的人脸相似度。
S130，根据所述人脸角度、所述人脸宽度和所述人脸相似度进行人脸识别，获取所述人脸图像的识别结果。
本实施例通过对人脸图像识别获取面部特征点，基于面部特征点获取人脸角度、人脸宽度以及人脸图像与源图像之间的人脸相似度信息，基于多种信息对人脸图像进行识别，提高人脸识别的准确度，确保在多数场景中可以准确、快速的识别人脸。
图2为本发明实施例示出的人脸识别过程示意图，下面结合图2对上述步骤S110-S130进行详细说明。
首先，执行步骤S110，即获取人脸图像的面部特征点。
本实施例可以通过摄像头采集视频数据，将采集到的每帧数据的图像作为待识别的人脸图像。在采集图像数据时，可以对图像数据进行剪裁、降噪等图像处理，以提高后续对图像数据的人脸识别速度和精度。
在一些实施例中，通过下述方法获取人脸图像的面部特征点，包括：首先，利用多任务级联卷积网络对所述人脸图像进行人脸检测，或者，利用机器学习工具Dlib对所述人脸图像进行人脸检测，获取所述人脸图像的人脸区域子图像；然后，将所述人脸区域子图像输入至训练好的卷积神经网络，获取所述人脸图像的面部特征点。
可以预先构建包括MobileFaceNets、ShuffleNet、ResNet或VGG等基础结构的卷积神经网络，本实施例采用Triplet、Arcface等误差计算方法分阶段训练卷积神经网络，以得到训练好的卷积神经网络进行人脸识别。
在训练卷积神经网络过程中，在数据集中增加亚洲人脸，并清洗、合并数据集；对数据集中的人脸图像进行面部特征点检测，进行人脸矫正，保证利用数据集可以训练得到良好的模型；以及，对数据集中的图像进行归一化处理，例如把人脸图像大小归一化至112×112，像素值减127.5后除以128。
在利用数据集训练卷积神经网络后，还建立一定规模的正负样本测试集，测试卷积神经网络的分类性能。建立的测试集包括VIP库，VIP库中存放n张不同用户的人脸图像，n为大于50的自然数；建立第一测试集，第一测试集中存放n张人脸图像，且这n张人脸图像的用户均为VIP库中注册过的用户；建立第二测试集，第二测试集中存放n张人脸图像，这n张人脸图像的用户均为未在VIP库中注册过的用户。
用训练得到的卷积神经网络识别第一测试集中的图像和第二测试集中的图像，并人别与VIP库作人脸比对，计算人脸相似度。通过分析两个测试集中每个图像与VIP库人脸图像之间的人脸相似度的分布情况，可以检测卷积神经网络的分类性能。
在获取人脸图像的面部特征点之后，继续执行步骤S120，即根据所述面部特征点获取人脸角度、人脸宽度，以及根据由所述面部特点组成的特征向量与图像库中多个源图像的特征矩阵，获取所述人脸图像与所述多个源图像之间的人脸相似度。
在一些实施例中，通过下述方法获取人脸角度、人脸宽度：首先根据采集所述人脸图像的相机内部参数，获得所述面部特征点在相机坐标系中的匹配点，所述匹配点在所述相机坐标系中所在的平面为基准平面；接着在所述相机坐标系中构建3D标准人脸模型，所述3D标准人脸模型中包括多个三维面部特征点；然后在所述相机坐标系中，根据旋转和平移处理后所述多个三维面部特征点在所述基准平面上形成的多个映射点与所述匹配点的重合数量最多的旋转角度，获取所述人脸角度；最后根据所述面部特征点中两侧边缘面部特征点之间的距离，获取所述人脸宽度。
其中，对多个三维面部特征点的旋转和平移处理包括：对所述多个三维面部特征点相对XOY平面进行旋转，对所述多个三维面部特征点沿着与Y轴平行的方向进行旋转和对所述多个三维面部特征点沿着与X轴平行的方向进行旋转；其中，OXYZ为所述相机坐标系，O为所述相机坐标系的原点，X、Y与Z分别为相机坐标系的三个坐标轴，所述XOY平面为所述基准平面。
由此，获取的人脸角度包括：摆动角度、转动角度和俯仰角度；摆动角度对应于多个三维面部特征点相对XOY平面的旋转角度，转动角度对应于多个三维面部特征点沿着与Y轴平行方向的旋转角度，俯仰角度对应于多个三维面部特征点沿着与X轴平行方向的旋转角度。即此时获取的摆动角度、转动角度和俯仰角度分别对应图3中的航向角Yaw、翻滚角Roll和俯仰角Pitch。
在实际应用中，将面部特征点进行坐标映射，映射到相机坐标系中XOY平面，然后将相机坐标系中3D标准人脸模型的多个三维面部特征点进行整体的旋转和平移变换，使多个三维面部特征点在相机坐标系中XOY平面的映射点尽可能多的与面部特征点在XOY平面的映射点重合，由此根据多个面部特征点所进行的旋转角度即可获得用户的人脸角度。
在一些实施例中，通过下述方法获取人脸图像与图像库中多个源图像之间的人脸相似度：分别计算所述人脸图像的特征向量与所述特征矩阵中每个源图像的特征向量之间的余弦相似度，将计算到的所述余弦相似度中的最大值确定为所述人脸图像与所述多个源图像之间的人脸相似度。其中，构成图像库中每个源图像的特征向量的面部特征点的获取方法均是利用多任务级联卷积网络对每个源图像进行人脸检测，或者，利用机器学习工具Dlib对每个源图像进行人脸检测，获取每个源图像的人脸区域子图像；然后，将人脸区域子图像输入至训练好的卷积神经网络，获取每个源图像的面部特征点。
在获取人脸角度、人脸宽度和人脸相似度之后，继续执行步骤S130，即根据所述人脸角度、所述人脸宽度和所述人脸相似度进行人脸识别，获得所述人脸图像的识别结果。
在一些实施例中，通过下述方法获取人脸图像的识别结果：将所述人脸角度与预设角度阈值进行比较，在所述人脸角度小于所述预设角度阈值时，识别所述人脸图像为无效图像，在所述人脸角度不小于所述预设角度阈值时，将所述人脸宽度与预设宽度阈值进行比较，在所述人脸宽度小于所述预设宽度阈值时，识别所述人脸图像为无效图像，此时可以生成人脸图像中人脸较小的提示，在所述人脸宽度不小于所述预设宽度阈值时，获取所述人脸相似度与第一相似度阈值和第二相似度阈值的关系，所述第一相似度阈值大于所述第二相似度阈值；根据所述人脸相似度与所述第一相似度阈值和所述第二相似度阈值的关系，获取人脸图像的识别结果。
其中，若所述人脸相似度大于所述第一相似度阈值，识别所述人脸图像对应的用户为所述图像库中目标源图像所属用户，所述目标源图像为所述多个源图像中与所述人脸图像之间的人脸相似度最大值对应的源图像；若所述人脸相似度小于所述第二相似度阈值，识别所述人脸图像对应的用户为新用户，获取所述新用户的信息并将所述人脸图像和所述新用户的信息添加到所述图像库中；若所述人脸相似度不大于所述第一相似度阈值且所述人脸相似度不小于所述第二相似度阈值，重新获取人脸图像的面部特征点。
如图2所示，在一些实施例中，基于人脸检测结果对人脸图像进行识别，在检测到人脸图像不存在人脸区域时，识别结果为无效图像，如图2所示，此时可以输出“No People”的提示信息；
在检测到人脸图像存在人脸区域时，根据从人脸区域提取的面部特征点计算人脸角度，在人脸角度不满足预设角度阈值，例如摆动角度、转动角度和俯仰角度均小于预设角度阈值yz0时，识别结果为无效图像；
在摆动角度、转动角度和俯仰角度任一角度大于预设角度阈值yz0时，根据从人脸区域提取的面部特征点计算人脸宽度，在人脸宽度小于预设宽度阈值yz1时，识别结果为无效图像，如图2所示，此时可以输出“Face too small”的提示信息。
在人脸宽度不小于预设宽度阈值yz1时，进一步比较人脸图像与源图像之间的人脸相似度，在人脸相似度大于第一相似度阈值yz2时，识别人脸图像对应的用户为所述图像库中目标源图像所属用户，如图2所示，此时可以输出用户名和人脸相似度的提示信息；
在人脸相似度小于第二相似度阈值yz3时，识别人脸图像对应的用户为新用户，获取所述新用户的信息并将所述人脸图像和所述新用户的信息添加到所述图像库中，如图2所示，此时可以输出“New People”的提示信息；
在人脸相似度不小于第二相似度阈值yz3且人脸相似度不大于第一相似度阈值yz2时，识别结果为识别失败，如图2所示，此时可以输出“Try again”的提示信息。
本实施例的人脸识别方法运算速度优势明显，可以在移动设备中运行，例如手机等移动设备。
本发明还提供一种相机。
图4为本发明实施例示出的相机的结构框图，如图4所示，本实施例的相机包括：摄像头和处理器；
所述摄像头，采集人脸图像并发送给处理器；
所述处理器，获取人脸图像的面部特征点；根据所述面部特征点获取人脸角度、人脸宽度，以及根据由所述面部特点组成的特征向量与图像库中多个源图像的特征矩阵，获取所述人脸图像与所述多个源图像之间的人脸相似度；根据所述人脸角度、所述人脸宽度和所述人脸相似度进行人脸识别，获得所述人脸图像的识别结果。
本实施例可以通过摄像头采集视频数据，将采集到的每帧数据的图像作为待识别的人脸图像。在采集图像数据时，可以对图像数据进行剪裁、降噪等图像处理，以提高后续对图像数据的人脸识别速度和精度。
在一些实施例中，处理器，将所述人脸角度与预设角度阈值进行比较，在所述人脸角度小于所述预设角度阈值时，识别所述人脸图像为无效图像，在所述人脸角度不小于所述预设角度阈值时，将所述人脸宽度与预设宽度阈值进行比较，在所述人脸宽度小于所述预设宽度阈值时，识别所述人脸图像为无效图像，在所述人脸宽度不小于所述预设宽度阈值时，获取所述人脸相似度与第一相似度阈值和第二相似度阈值的关系，所述第一相似度阈值大于所述第二相似度阈值；若所述人脸相似度大于所述第一相似度阈值，识别所述人脸图像对应的用户为所述图像库中目标源图像所属用户，所述目标源图像为所述多个源图像中与所述人脸图像之间的人脸相似度最大值对应的源图像；若所述人脸相似度小于所述第二相似度阈值，识别所述人脸图像对应的用户为新用户，获取所述新用户的信息并将所述人脸图像和所述新用户的信息添加到所述图像库中；若所述人脸相似度不大于所述第一相似度阈值且所述人脸相似度不小于所述第二相似度阈值，重新获取人脸图像的面部特征点。
在一些实施例中，处理器还根据采集所述人脸图像的相机内部参数，获得所述面部特征点在相机坐标系中的匹配点，所述匹配点在所述相机坐标系中所在的平面为基准平面；在所述相机坐标系中构建3D标准人脸模型，所述3D标准人脸模型中包括多个三维面部特征点；在所述相机坐标系中，根据旋转和平移处理后所述多个三维面部特征点在所述基准平面上形成的多个映射点与所述匹配点的重合数量最多的旋转角度，获取所述人脸角度；根据所述面部特征点中两侧边缘面部特征点之间的距离，获取所述人脸宽度。
在一些实施例中，处理器利用多任务级联卷积网络对所述人脸图像进行人脸检测，或者，利用机器学习工具Dlib对所述人脸图像进行人脸检测，获取所述人脸图像的人脸区域子图像；将所述人脸区域子图像输入至训练好的卷积神经网络，获取所述人脸图像的面部特征点。
对于相机实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：
获取人脸图像的面部特征点；
根据所述面部特征点获取人脸角度、人脸宽度，以及根据由所述面部特点组成的特征向量与图像库中多个源图像的特征矩阵，获取所述人脸图像与所述多个源图像之间的人脸相似度；
根据所述人脸角度、所述人脸宽度和所述人脸相似度进行人脸识别，获取所述人脸图像的识别结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述人脸角度、所述人脸宽度和所述人脸相似度进行人脸识别，获取所述人脸图像的识别结果，包括：
将所述人脸角度与预设角度阈值进行比较，在所述人脸角度小于所述预设角度阈值时，识别所述人脸图像为无效图像，在所述人脸角度不小于所述预设角度阈值时，
将所述人脸宽度与预设宽度阈值进行比较，在所述人脸宽度小于所述预设宽度阈值时，识别所述人脸图像为无效图像，在所述人脸宽度不小于所述预设宽度阈值时，获取所述人脸相似度与第一相似度阈值和第二相似度阈值的关系，所述第一相似度阈值大于所述第二相似度阈值；
根据所述人脸相似度与所述第一相似度阈值和所述第二相似度阈值的关系，获取人脸图像的识别结果。
3.根据权利要求2所述的方法，其特征在于，所述根据所述人脸相似度与所述第一相似度阈值和所述第二相似度阈值的关系，获取人脸图像的识别结果，包括：
若所述人脸相似度大于所述第一相似度阈值，识别所述人脸图像对应的用户为所述图像库中目标源图像所属用户，所述目标源图像为所述多个源图像中与所述人脸图像之间的人脸相似度最大值对应的源图像；
若所述人脸相似度小于所述第二相似度阈值，识别所述人脸图像对应的用户为新用户，获取所述新用户的信息并将所述人脸图像和所述新用户的信息添加到所述图像库中；
若所述人脸相似度不大于所述第一相似度阈值且所述人脸相似度不小于所述第二相似度阈值，重新获取人脸图像的面部特征点。
4.根据权利要求1所述的方法，其特征在于，所述获取人脸图像的面部特征点，包括：
利用多任务级联卷积网络对所述人脸图像进行人脸检测，或者，利用机器学习工具Dlib对所述人脸图像进行人脸检测，获取所述人脸图像的人脸区域子图像；
将所述人脸区域子图像输入至训练好的卷积神经网络，获取所述人脸图像的面部特征点。
5.根据权利要求1所述的方法，其特征在于，所述根据所述面部特征点获取人脸角度、人脸宽度，包括：
根据采集所述人脸图像的相机内部参数，获得所述面部特征点在相机坐标系中的匹配点，所述匹配点在所述相机坐标系中所在的平面为基准平面；
在所述相机坐标系中构建3D标准人脸模型，所述3D标准人脸模型中包括多个三维面部特征点；
在所述相机坐标系中，根据旋转和平移处理后所述多个三维面部特征点在所述基准平面上形成的多个映射点与所述匹配点的重合数量最多的旋转角度，获取所述人脸角度；
根据所述面部特征点中两侧边缘面部特征点之间的距离，获取所述人脸宽度。
6.根据权利要求5所述的方法，其特征在于，所述旋转和平移处理包括：
对所述多个三维面部特征点相对XOY平面进行旋转，对所述多个三维面部特征点沿着与Y轴平行的方向进行旋转和对所述多个三维面部特征点沿着与X轴平行的方向进行旋转；
其中，OXYZ为所述相机坐标系，O为所述相机坐标系的原点，X、Y与Z分别为相机坐标系的三个坐标轴，所述XOY平面为所述基准平面。
7.根据权利要求6所述的方法，其特征在于，所述人脸角度包括：摆动角度、转动角度和俯仰角度；所述摆动角度对应于所述多个三维面部特征点相对XOY平面的旋转角度，所述转动角度对应于所述多个三维面部特征点沿着与Y轴平行方向的旋转角度，所述俯仰角度对应于所述多个三维面部特征点沿着与X轴平行方向的旋转角度。
8.根据权利要求1所述的方法，其特征在于，所述根据由所述面部特点组成的特征向量与图像库中多个源图像的特征矩阵，获取所述人脸图像与所述多个源图像之间的人脸相似度，包括：
分别计算所述人脸图像的特征向量与所述特征矩阵中每个源图像的特征向量之间的余弦相似度，将计算到的所述余弦相似度中的最大值确定为所述人脸图像与所述多个源图像之间的人脸相似度。
9.一种相机，其特征在于，包括：摄像头和处理器；
所述摄像头，采集人脸图像并发送给所述处理器；
所述处理器，获取人脸图像的面部特征点；根据所述面部特征点获取人脸角度、人脸宽度，以及根据由所述面部特点组成的特征向量与图像库中多个源图像的特征矩阵，获取所述人脸图像与所述多个源图像之间的人脸相似度；根据所述人脸角度、所述人脸宽度和所述人脸相似度进行人脸识别，获得所述人脸图像的识别结果。
10.根据权利要求9所述的相机，其特征在于，
所述处理器，将所述人脸角度与预设角度阈值进行比较，在所述人脸角度小于所述预设角度阈值时，识别所述人脸图像为无效图像，在所述人脸角度不小于所述预设角度阈值时，将所述人脸宽度与预设宽度阈值进行比较，在所述人脸宽度小于所述预设宽度阈值时，识别所述人脸图像为无效图像，在所述人脸宽度不小于所述预设宽度阈值时，获取所述人脸相似度与第一相似度阈值和第二相似度阈值的关系，所述第一相似度阈值大于所述第二相似度阈值；若所述人脸相似度大于所述第一相似度阈值，识别所述人脸图像对应的用户为所述图像库中目标源图像所属用户，所述目标源图像为所述多个源图像中与所述人脸图像之间的人脸相似度最大值对应的源图像；若所述人脸相似度小于所述第二相似度阈值，识别所述人脸图像对应的用户为新用户，获取所述新用户的信息并将所述人脸图像和所述新用户的信息添加到所述图像库中；若所述人脸相似度不大于所述第一相似度阈值且所述人脸相似度不小于所述第二相似度阈值，重新获取人脸图像的面部特征点。
CN201910395391.4A 2019-05-13 2019-05-13 一种人脸识别方法和相机 Pending CN110188630A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910395391.4A CN110188630A (zh) 2019-05-13 2019-05-13 一种人脸识别方法和相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910395391.4A CN110188630A (zh) 2019-05-13 2019-05-13 一种人脸识别方法和相机

Publications (1)

Publication Number Publication Date
CN110188630A true CN110188630A (zh) 2019-08-30

Family

ID=67716090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910395391.4A Pending CN110188630A (zh) 2019-05-13 2019-05-13 一种人脸识别方法和相机

Country Status (1)

Country Link
CN (1) CN110188630A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837773A (zh) * 2019-09-27 2020-02-25 深圳市华付信息技术有限公司 基于深度学习的大角度人脸姿态估计方法
CN110843726A (zh) * 2019-12-19 2020-02-28 北京明朝万达科技股份有限公司 汽车门锁控制***、方法及车辆
CN113536844A (zh) * 2020-04-16 2021-10-22 中移(成都)信息通信科技有限公司 人脸对比方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066969A (zh) * 2017-04-12 2017-08-18 南京维睛视空信息科技有限公司 一种人脸识别方法
CN107145842A (zh) * 2017-04-19 2017-09-08 西安电子科技大学 结合lbp特征图与卷积神经网络的人脸识别方法
CN107194341A (zh) * 2017-05-16 2017-09-22 西安电子科技大学 Maxout多卷积神经网络融合人脸识别方法和***
CN108549873A (zh) * 2018-04-19 2018-09-18 北京华捷艾米科技有限公司 三维人脸识别方法和三维人脸识别***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066969A (zh) * 2017-04-12 2017-08-18 南京维睛视空信息科技有限公司 一种人脸识别方法
CN107145842A (zh) * 2017-04-19 2017-09-08 西安电子科技大学 结合lbp特征图与卷积神经网络的人脸识别方法
CN107194341A (zh) * 2017-05-16 2017-09-22 西安电子科技大学 Maxout多卷积神经网络融合人脸识别方法和***
CN108549873A (zh) * 2018-04-19 2018-09-18 北京华捷艾米科技有限公司 三维人脸识别方法和三维人脸识别***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837773A (zh) * 2019-09-27 2020-02-25 深圳市华付信息技术有限公司 基于深度学习的大角度人脸姿态估计方法
CN110843726A (zh) * 2019-12-19 2020-02-28 北京明朝万达科技股份有限公司 汽车门锁控制***、方法及车辆
CN113536844A (zh) * 2020-04-16 2021-10-22 中移(成都)信息通信科技有限公司 人脸对比方法、装置、设备及介质
CN113536844B (zh) * 2020-04-16 2023-10-31 中移(成都)信息通信科技有限公司 人脸对比方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US11749025B2 (en) Eye pose identification using eye features
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
WO2020228389A1 (zh) 一种创建脸部模型的方法、装置、电子设备及计算机可读存储介质
WO2022089360A1 (zh) 人脸检测神经网络及训练方法、人脸检测方法、存储介质
CN109410316B (zh) 物体的三维重建的方法、跟踪方法、相关装置及存储介质
CN113689503B (zh) 目标对象的姿态检测方法、装置、设备及存储介质
CN110188630A (zh) 一种人脸识别方法和相机
CN109858433B (zh) 一种基于三维人脸模型识别二维人脸图片的方法及装置
WO2024012333A1 (zh) 位姿估计方法及相关模型的训练方法、装置、电子设备、计算机可读介质和计算机程序产品
US10791321B2 (en) Constructing a user's face model using particle filters
CN110046554B (zh) 一种人脸对齐方法和相机
US9786030B1 (en) Providing focal length adjustments
CN115344113A (zh) 多视角人体运动捕捉方法、装置、***、介质及终端
CN116883472B (zh) 一种基于脸部三维图像配准的人脸护理***
CN118097027A (zh) 一种基于进化计算的多视频3d人体动作捕捉方法及***
WO2020181509A1 (zh) 一种影像处理方法、装置及***
Wang et al. Design of Real Time Display Algorithm for Naked Eye 3D Images Based on Binocular Vision
CN115880428A (zh) 一种基于三维技术的动物检测数据处理方法、装置及设备
CN116994308A (zh) 唇音同步结果的检测方法、装置、电子设备及存储介质
Li et al. Panoramic face and ear image stitching in multi-modal recognition
CN110188604A (zh) 基于2d和3d影像的人脸识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190830