CN110210306A - 一种人脸跟踪方法和相机 - Google Patents

一种人脸跟踪方法和相机 Download PDF

Info

Publication number
CN110210306A
CN110210306A CN201910361317.0A CN201910361317A CN110210306A CN 110210306 A CN110210306 A CN 110210306A CN 201910361317 A CN201910361317 A CN 201910361317A CN 110210306 A CN110210306 A CN 110210306A
Authority
CN
China
Prior art keywords
face
feature point
face feature
frame image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910361317.0A
Other languages
English (en)
Other versions
CN110210306B (zh
Inventor
刘子伟
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Pico Technology Co Ltd
Original Assignee
Qingdao Pico Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Pico Technology Co Ltd filed Critical Qingdao Pico Technology Co Ltd
Priority to CN201910361317.0A priority Critical patent/CN110210306B/zh
Publication of CN110210306A publication Critical patent/CN110210306A/zh
Application granted granted Critical
Publication of CN110210306B publication Critical patent/CN110210306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种人脸跟踪方法和相机。本发明的方法包括：获取采集到的图像帧序列中第一帧图像的面部特征点的初始位置；将所述面部特征点的初始位置作为卷积神经网络的输入，所述卷积神经网络输出所述面部特征点的位置概率热图，对所述面部特征点的位置概率热图采用点分布模型进行迭代回归处理，获得所述面部特征点在所述第一帧图像的像素位置；利用所述面部特征点在第一帧图像的像素位置，获取所述图像帧序列中第二帧图像的面部特征点的初始位置，实现人脸跟踪。本发明能够实现帧间的人脸对齐跟踪，避免帧间面部特征点的不稳定、抖动问题，提高跟踪的准确度和跟踪速度。

Description

一种人脸跟踪方法和相机
技术领域
本发明涉及机器学习技术领域，尤其涉及一种人脸跟踪方法和相机。
背景技术
人脸对齐是在图像中检测人脸并标注每个特定的点位。人脸对齐技术常用于视频处理，例如直播、短视频等应用。
人脸对齐的实时跟踪问题对视频的处理有很大的帮助，然而目前对人脸对齐的研究比较热衷，对人脸对齐的实时跟踪研究较少，而且多数跟踪算法所确定的点位，在帧间存在抖动，使得跟踪结果存在明显的失真。
发明内容
本发明提供了一种人脸跟踪方法和相机，以至少部分地解决上述问题。
第一方面，本发明提供了一种人脸跟踪方法，包括：获取采集到的图像帧序列中第一帧图像的面部特征点的初始位置；将所述面部特征点的初始位置作为卷积神经网络的输入，所述卷积神经网络输出所述面部特征点的位置概率热图，对所述面部特征点的位置概率热图采用点分布模型进行迭代回归处理，获得所述面部特征点在所述第一帧图像的像素位置；其中，所述位置概率热图表示所述面部特征点处于所述第一帧图像中像素位置的概率；利用所述面部特征点在第一帧图像的像素位置，获取所述图像帧序列中第二帧图像的面部特征点的初始位置，实现人脸跟踪。
在一些实施例中，利用所述面部特征点在第一帧图像的像素位置，获得所述图像帧序列中第二帧图像的面部特征点的初始位置，包括：利用多任务级联卷积网络或者利用机器学习工具Dlib对所述第二帧图像进行人脸检测；在所述第二帧图像中检测到人脸时，根据所述面部特征点在第一帧图像的位置信息和预设松弛量，获取所述第二帧图像中面部特征点的初始位置，所述预设松弛量表示相邻帧图像中同一特征点的位置变化。
在一些实施例中，根据所述面部特征点在第一帧图像的位置信息和预设松弛量，获取所述第二帧图像中面部特征点的初始位置，包括：根据获取所述第二帧图像中面部特征点的初始位置；其中，为所述第二帧图像中的面部特征点i的初始位置，为所述第一帧图像中面部特征点i的位置信息，i为大于1的自然数，0＜α＜1，α为预设调节因子，dxmon为所述预设松弛量。
在一些实施例中，利用多任务级联卷积网络或者利用机器学***均脸图像上提取面部特征点；将所述平均脸上的面部特征点的点位确定为所述第二帧图像中所述面部特征点的初始位置。
在一些实施例中，获取所述图像帧序列中第一帧图像的面部特征点的初始位置，包括：从预先构建的平均脸图像上提取面部特征点；将所述平均脸上的面部特征点的点位确定为所述第一帧图像中所述面部特征点的初始位置。
在一些实施例中，从预先构建的平均脸图像上提取面部特征点，包括：获取人脸训练样本集合中每个人脸训练样本的面部特征点，所述人脸训练样本集合中每个人脸训练样本的面部特征点已进行标定；根据每个人脸训练样本的面部特征点构建所述人脸训练样本到平均脸模型的映射矩阵；根据所述映射矩阵将全部人脸训练样本的面部特征点分别叠加到所述平均脸模型，获得所述平均脸图像上，并将叠加后的面部特征点确定为所述平均脸图像的面部特征点。
第二方面，本发明提供了一种相机，包括：摄像头和处理器；所述摄像头，采集用户脸部的图像帧序列并发送给所述处理器；所述处理器，获取所述图像帧序列中第一帧图像的面部特征点的初始位置；将所述面部特征点的初始位置作为卷积神经网络的输入，所述卷积神经网络输出所述面部特征点的位置概率热图，对所述面部特征点的位置概率热图采用点分布模型进行迭代回归处理，获得所述面部特征点在所述第一帧图像的位置信息；其中，所述位置概率热图表示所述面部特征点处于所述第一帧图像中每个像素位置的概率；利用所述面部特征点在第一帧图像的位置信息，获取所述图像帧序列中第二帧图像的面部特征点的初始位置，实现人脸跟踪。
在一些实施例中，处理器还利用多任务级联卷积网络或者利用机器学习工具Dlib对所述第二帧图像进行人脸检测；在所述第二帧图像中检测到人脸时，根据所述面部特征点在第一帧图像的位置信息和预设松弛量，获取所述第二帧图像中面部特征点的初始位置，所述预设松弛量表示相邻帧图像中同一特征点的位置变化。
在一些实施例中，处理器在未检到测所述第二帧图像中的人脸时，从预先构建的平均脸图像上提取面部特征点；将所述平均脸上的面部特征点的点位确定为所述第二帧图像中所述面部特征点的初始位置。
在一些实施例中，处理器获取人脸训练样本集合中每个人脸训练样本的面部特征点，所述人脸训练样本集合中每个人脸训练样本的面部特征点已进行标定；根据每个人脸训练样本的面部特征点构建所述人脸训练样本到平均脸模型的映射矩阵；根据所述映射矩阵将全部人脸训练样本的面部特征点分别叠加到所述平均脸模型，获得所述平均脸图像上，并将叠加后的面部特征点确定为所述平均脸图像的面部特征点。
本发明利用第一帧图像的面部特征点预测第二帧图像的面部特征点的初始位置，在获得每帧图像中面部特征点的初始位置时，采用卷积神经网络和PDM相结合的方式识别每帧图像中面部特征点的具体像素位置，实现帧间的人脸对齐跟踪，避免帧间面部特征点的不稳定、抖动问题，提高跟踪的准确度和跟踪速度。
附图说明
图1为本发明实施例示出的人脸跟踪方法的流程图；
图2为本发明实施例示出的相机的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此，本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本发明的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行***使用或者结合指令执行***使用。在本发明的上下文中，计算机可读存储介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。计算机可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
人脸跟踪是指根据上一帧的信息预测本帧面部特征点的位置，对本帧人脸对齐有着非常重要的意义，可以缩小本帧的搜索范围，并且可以提高跟踪精度。本实施例针对帧间跟踪的抖动性导致人脸对齐的不真实问题，提出一种无抖动的帧间跟踪方法。
图1为本发明实施例示出的人脸跟踪方法的流程图，如图1所示，本实施例的方法包括：
S110，获取采集到的图像帧序列中第一帧图像的面部特征点的初始位置。
其中，面部特征点包括标识眼睛、鼻子、嘴巴、眉毛、人脸轮廓等部位的特征点。
S120，将所述面部特征点的初始位置作为卷积神经网络的输入，所述卷积神经网络输出所述面部特征点的位置概率热图，对所述面部特征点的位置概率热图采用点分布模型进行迭代回归处理，获得所述面部特征点在所述第一帧图像的像素位置；其中，所述位置概率热图表示所述面部特征点处于所述第一帧图像中每个像素位置的概率。
本实施例先利用卷积神经网络对面部特征点的位置进行处理，然后基于卷积神经网络输出的面部特征点的位置概率热利用点分布模型(Point Distribution Model，PDM)进行迭代回归处理，获得面部特征点具体的像素位置信息，通过结合卷积神经网络和PDM提高面部特征点的识别精度。
S130，利用所述面部特征点在第一帧图像的像素位置，获取所述图像帧序列中第二帧图像的面部特征点的初始位置，实现人脸跟踪。
基于面部特征点在第一帧图像的像素位置可以预测第二帧图像中面部特征点的初始位置，然后结合卷积神经网络和PDM即可获得第二帧图像中面部特征点的像素位置，依次可以预测图像帧序列中后续每帧图像中面部特征点的像素位置，实现对人脸的跟踪识别。
本实施例利用第一帧图像的面部特征点预测第二帧图像的面部特征点的初始位置，在获得每帧图像中面部特征点的初始位置时，采用卷积神经网络和PDM相结合的方式识别每帧图像中面部特征点的具体像素位置，实现帧间人脸对齐跟踪，避免帧间面部特征点的不稳定、抖动问题，提高跟踪的准确度和跟踪速度。
下面对上述步骤S110-S130进行详细说明。
首先，执行步骤S110，即获取采集到的图像帧序列中第一帧图像的面部特征点的初始位置。
在一些实施例中，第一帧图像中面部特征点的初始位置的获取方法如下：从预先构建的平均脸图像上提取面部特征点；将所述平均脸上的面部特征点的点位确定为所述第一帧图像中所述面部特征点的初始位置。
其中，可以获取人脸训练样本集合中每个人脸训练样本的面部特征点，所述人脸训练样本集合中每个人脸训练样本的面部特征点已进行标定；根据每个人脸训练样本的面部特征点构建所述人脸训练样本到平均脸模型的映射矩阵；根据所述映射矩阵将全部人脸训练样本的面部特征点分别叠加到所述平均脸模型，获得所述平均脸图像上，并将叠加后的面部特征点确定为所述平均脸图像的面部特征点。
在获取第一帧图像的面部特征点的初始位置之后，继续执行步骤S120，即将所述面部特征点的初始位置作为卷积神经网络的输入，所述卷积神经网络输出所述面部特征点的位置概率热图，对所述面部特征点的位置概率热图采用点分布模型进行迭代回归处理，获得所述面部特征点在所述第一帧图像的位置信息；其中，所述位置概率热图表示所述面部特征点处于所述第一帧图像中每个像素位置的概率。
本实施例先利用卷积神经网络计算出面部特征点关于位置的位置概率热图，利用卷积神经网络能够提高计算速度，且PDM是一种可以通过点位的位置概率热图，通过迭代回归处理，得到点位具***置的一种模型，在利用卷积神经网络计算出面部特征点关于位置的位置概率热图后即可对面部特征点关于位置的位置概率热图采用PDM进行迭代回归处理，确定面部特征点的具体像素位置，本实施例通过卷积神经网络与PDM的配合所确定的面部特征点可以在帧间产生无抖动的效果。
在获取面部特征点在所述第一帧图像的位置信息之后，继续执行步骤S130，即利用所述面部特征点在第一帧图像的位置信息，获取所述图像帧序列中第二帧图像的面部特征点的初始位置，实现人脸跟踪。
在一些实施例中，通过下述方法获得第二帧图像中面部特征点的初始位置：利用多任务级联卷积网络或者利用机器学习工具Dlib对所述第二帧图像进行人脸检测；在所述第二帧图像中检测到人脸时，根据所述面部特征点在第一帧图像的位置信息和预设松弛量，获取所述第二帧图像中面部特征点的初始位置，所述预设松弛量表示相邻帧图像中同一特征点的位置变化。
结合本实施例的一个示例，可以根据获取所述第二帧图像中面部特征点的初始位置；其中，为所述第二帧图像中的面部特征点i的初始位置，为所述第一帧图像中面部特征点i的位置信息，i为大于1的自然数，0＜α＜1，α为预设调节因子，dxmon为所述预设松弛量。
在利用多任务级联卷积网络或者利用机器学***均脸图像上提取面部特征点；将所述平均脸上的面部特征点的点位确定为所述第二帧图像中所述面部特征点的初始位置。
即获取人脸训练样本集合中每个人脸训练样本的面部特征点，所述人脸训练样本集合中每个人脸训练样本的面部特征点已进行标定；根据每个人脸训练样本的面部特征点构建所述人脸训练样本到平均脸模型的映射矩阵；根据所述映射矩阵将全部人脸训练样本的面部特征点分别叠加到所述平均脸模型，获得所述平均脸图像上，并将叠加后的面部特征点确定为所述平均脸图像的面部特征点；将所述平均脸上的面部特征点的点位确定为所述第二帧图像中所述面部特征点的初始位置。
本发明还提供一种相机。
图2为本发明实施例示出的相机的结构框图，如图2所示，本实施例的相机包括：摄像头和处理器；其中，
摄像头，采集用户脸部的图像帧序列并发送给所述处理器；
处理器，获取所述图像帧序列中第一帧图像的面部特征点的初始位置；将所述面部特征点的初始位置作为卷积神经网络的输入，所述卷积神经网络输出所述面部特征点的位置概率热图，对所述面部特征点的位置概率热图采用点分布模型进行迭代回归处理，获得所述面部特征点在所述第一帧图像的位置信息；其中，所述位置概率热图表示所述面部特征点处于所述第一帧图像中每个像素位置的概率；利用所述面部特征点在第一帧图像的位置信息，获取所述图像帧序列中第二帧图像的面部特征点的初始位置，实现人脸跟踪。
本实施例利用第一帧图像的面部特征点预测第二帧图像的面部特征点的初始位置，在获得每帧图像中面部特征点的初始位置时，采用卷积神经网络和PDM相结合的方式识别每帧图像中面部特征点的具体像素位置，实现帧间人脸对齐跟踪，避免帧间面部特征点的不稳定、抖动问题，提高跟踪的准确度和跟踪速度。
在一些实施例中，处理器，还利用多任务级联卷积网络或者利用机器学习工具Dlib对所述第二帧图像进行人脸检测；在所述第二帧图像中检测到人脸时，根据所述面部特征点在第一帧图像的位置信息和预设松弛量，获取所述第二帧图像中面部特征点的初始位置，所述预设松弛量表示相邻帧图像中同一特征点的位置变化。
结合本实施例的一个示例，处理器，根据获取所述第二帧图像中面部特征点的初始位置；其中，为所述第二帧图像中的面部特征点i的初始位置，为所述第一帧图像中面部特征点i的位置信息，i为大于1的自然数，0＜α＜1，α为预设调节因子，dxmon为所述预设松弛量。
在一些实施例中，处理器，在未检测到所述第二帧图像中的人脸时，从预先构建的平均脸图像上提取面部特征点，将所述平均脸上的面部特征点的点位确定为所述第二帧图像中所述面部特征点的初始位置。
在一些实施例中，处理器，从预先构建的平均脸图像上提取面部特征点，将所述平均脸上的面部特征点的点位确定为所述第一帧图像中所述面部特征点的初始位置。
其中，处理器，具体是获取人脸训练样本集合中每个人脸训练样本的面部特征点，所述人脸训练样本集合中每个人脸训练样本的面部特征点已进行标定；根据每个人脸训练样本的面部特征点构建所述人脸训练样本到平均脸模型的映射矩阵；根据所述映射矩阵将全部人脸训练样本的面部特征点分别叠加到所述平均脸模型，获得所述平均脸图像上，并将叠加后的面部特征点确定为所述平均脸图像的面部特征点。
对于相机实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的相机实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
为了便于清楚描述本发明实施例的技术方案，在发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种人脸跟踪方法，其特征在于，包括：
获取采集到的图像帧序列中第一帧图像的面部特征点的初始位置；
将所述面部特征点的初始位置作为卷积神经网络的输入，所述卷积神经网络输出所述面部特征点的位置概率热图，对所述面部特征点的位置概率热图采用点分布模型进行迭代回归处理，获得所述面部特征点在所述第一帧图像的像素位置；其中，所述位置概率热图表示所述面部特征点处于所述第一帧图像中像素位置的概率；
利用所述面部特征点在第一帧图像的像素位置，获取所述图像帧序列中第二帧图像的面部特征点的初始位置，实现人脸跟踪。
2.根据权利要求1所述的方法，其特征在于，所述利用所述面部特征点在第一帧图像的像素位置，获得所述图像帧序列中第二帧图像的面部特征点的初始位置，包括：
利用多任务级联卷积网络或者利用机器学习工具Dlib对所述第二帧图像进行人脸检测；
在所述第二帧图像中检测到人脸时，根据所述面部特征点在第一帧图像的位置信息和预设松弛量，获取所述第二帧图像中面部特征点的初始位置，所述预设松弛量表示相邻帧图像中同一特征点的位置变化。
3.根据权利要求2所述的方法，其特征在于，所述根据所述面部特征点在第一帧图像的位置信息和预设松弛量，获取所述第二帧图像中面部特征点的初始位置，包括：
根据获取所述第二帧图像中面部特征点的初始位置；
其中，为所述第二帧图像中的面部特征点i的初始位置，为所述第一帧图像中面部特征点i的位置信息，i为大于1的自然数，0＜α＜1，α为预设调节因子，dxmon为所述预设松弛量。
4.根据权利要求2所述的方法，其特征在于，所述利用多任务级联卷积网络或者利用机器学习工具Dlib对所述第二帧图像进行人脸检测，还包括：
在未检测到所述第二帧图像中的人脸时，从预先构建的平均脸图像上提取面部特征点；
将所述平均脸上的面部特征点的点位确定为所述第二帧图像中所述面部特征点的初始位置。
5.根据权利要求1所述的方法，其特征在于，所述获取所述图像帧序列中第一帧图像的面部特征点的初始位置，包括：
从预先构建的平均脸图像上提取面部特征点；
将所述平均脸上的面部特征点的点位确定为所述第一帧图像中所述面部特征点的初始位置。
6.根据权利要求4或5所述的方法，其特征在于，所述从预先构建的平均脸图像上提取面部特征点，包括：
获取人脸训练样本集合中每个人脸训练样本的面部特征点，所述人脸训练样本集合中每个人脸训练样本的面部特征点已进行标定；
根据每个人脸训练样本的面部特征点构建所述人脸训练样本到平均脸模型的映射矩阵；
根据所述映射矩阵将全部人脸训练样本的面部特征点分别叠加到所述平均脸模型，获得所述平均脸图像上，并将叠加后的面部特征点确定为所述平均脸图像的面部特征点。
7.一种相机，其特征在于，包括：摄像头和处理器；
所述摄像头，采集用户脸部的图像帧序列并发送给所述处理器；
所述处理器，获取所述图像帧序列中第一帧图像的面部特征点的初始位置；将所述面部特征点的初始位置作为卷积神经网络的输入，所述卷积神经网络输出所述面部特征点的位置概率热图，对所述面部特征点的位置概率热图采用点分布模型进行迭代回归处理，获得所述面部特征点在所述第一帧图像的位置信息；其中，所述位置概率热图表示所述面部特征点处于所述第一帧图像中每个像素位置的概率；利用所述面部特征点在第一帧图像的位置信息，获取所述图像帧序列中第二帧图像的面部特征点的初始位置，实现人脸跟踪。
8.根据权利要求7所述的相机，其特征在于，所述处理器，还利用多任务级联卷积网络或者利用机器学习工具Dlib对所述第二帧图像进行人脸检测；在所述第二帧图像中检测到人脸时，根据所述面部特征点在第一帧图像的位置信息和预设松弛量，获取所述第二帧图像中面部特征点的初始位置，所述预设松弛量表示相邻帧图像中同一特征点的位置变化。
9.根据权利要求8所述的相机，其特征在于，所述处理器，在未检测到所述第二帧图像中的人脸时，从预先构建的平均脸图像上提取面部特征点；将所述平均脸上的面部特征点的点位确定为所述第二帧图像中所述面部特征点的初始位置。
10.根据权利要求7所述的相机，其特征在于，所述处理器，获取人脸训练样本集合中每个人脸训练样本的面部特征点，所述人脸训练样本集合中每个人脸训练样本的面部特征点已进行标定；根据每个人脸训练样本的面部特征点构建所述人脸训练样本到平均脸模型的映射矩阵；根据所述映射矩阵将全部人脸训练样本的面部特征点分别叠加到所述平均脸模型，获得所述平均脸图像上，并将叠加后的面部特征点确定为所述平均脸图像的面部特征点。
CN201910361317.0A 2019-04-30 2019-04-30 一种人脸跟踪方法和相机 Active CN110210306B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910361317.0A CN110210306B (zh) 2019-04-30 2019-04-30 一种人脸跟踪方法和相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910361317.0A CN110210306B (zh) 2019-04-30 2019-04-30 一种人脸跟踪方法和相机

Publications (2)

Publication Number Publication Date
CN110210306A true CN110210306A (zh) 2019-09-06
CN110210306B CN110210306B (zh) 2021-09-14

Family

ID=67786832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910361317.0A Active CN110210306B (zh) 2019-04-30 2019-04-30 一种人脸跟踪方法和相机

Country Status (1)

Country Link
CN (1) CN110210306B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2672425A1 (en) * 2012-06-08 2013-12-11 Realeyes OÜ Method and apparatus with deformable model fitting using high-precision approximation
CN103714331A (zh) * 2014-01-10 2014-04-09 南通大学 一种基于点分布模型面部表情特征的提取方法
CN105512627A (zh) * 2015-12-03 2016-04-20 腾讯科技（深圳）有限公司 一种关键点的定位方法及终端
CN109241910A (zh) * 2018-09-07 2019-01-18 高新兴科技集团股份有限公司 一种基于深度多特征融合级联回归的人脸关键点定位方法
US20190080149A1 (en) * 2017-09-09 2019-03-14 Apple Inc. Occlusion detection for facial recognition processes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2672425A1 (en) * 2012-06-08 2013-12-11 Realeyes OÜ Method and apparatus with deformable model fitting using high-precision approximation
CN103714331A (zh) * 2014-01-10 2014-04-09 南通大学 一种基于点分布模型面部表情特征的提取方法
CN105512627A (zh) * 2015-12-03 2016-04-20 腾讯科技（深圳）有限公司 一种关键点的定位方法及终端
US20190080149A1 (en) * 2017-09-09 2019-03-14 Apple Inc. Occlusion detection for facial recognition processes
CN109241910A (zh) * 2018-09-07 2019-01-18 高新兴科技集团股份有限公司 一种基于深度多特征融合级联回归的人脸关键点定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MAREK KOWALSKI，ET AL: "《Deep Alignment Network：A convolutional neural network for robust face alignment》", 《ARXIV：1706.01789V2》 *
TADAS BALTRUSAITIS，ET AL: "《Constrained Local Neural Fields for robust facial landmark detection in the wild》", 《ICCV2013》 *
张伟，等: "《引入全局约束的精简人脸关键点检测网络》", 《信号处理》 *

Also Published As

Publication number Publication date
CN110210306B (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
KR102319177B1 (ko) 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체
CN107704838B (zh) 目标对象的属性识别方法及装置
WO2020151750A1 (zh) 图像处理方法及装置
CN110853033B (zh) 基于帧间相似度的视频检测方法和装置
CN111553267B (zh) 图像处理方法、图像处理模型训练方法及设备
CN109816769A (zh) 基于深度相机的场景地图生成方法、装置及设备
WO2019238114A1 (zh) 动态模型三维重建方法、装置、设备和存储介质
CN106372606A (zh) 目标对象信息生成方法和单元、识别方法和单元及***
TW202034270A (zh) 車輛事故的鑑定方法及裝置、電子設備
CN109413510B (zh) 视频摘要生成方法和装置、电子设备、计算机存储介质
WO2019176235A1 (ja) 画像生成方法、画像生成装置及び画像生成システム
CN109242940B (zh) 三维动态图像的生成方法和装置
CN108600632A (zh) 拍照提示方法、智能眼镜及计算机可读存储介质
CN109858333A (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN108388889B (zh) 用于分析人脸图像的方法和装置
CN110321849B (zh) 图像数据处理方法、装置以及计算机可读存储介质
CN108712644A (zh) 一种tw_ar智能导览***及导览方法
CN110298281A (zh) 视频结构化方法、装置、电子设备及存储介质
US11380121B2 (en) Full skeletal 3D pose recovery from monocular camera
CN107766803B (zh) 基于场景分割的视频人物装扮方法、装置及计算设备
US9836666B2 (en) High speed searching for large-scale image databases
Zhang et al. Synthetic aperture based on plenoptic camera for seeing through occlusions
CN111259700B (zh) 用于生成步态识别模型的方法和装置
KR102342738B1 (ko) 거대 ar 영상 정보 생성 방법 및 장치
CN110390724A (zh) 一种带有实例分割的slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant