CN110728172B - 基于点云的人脸关键点检测方法、装置、***及存储介质 - Google Patents

基于点云的人脸关键点检测方法、装置、***及存储介质 Download PDF

Info

Publication number
CN110728172B
CN110728172B CN201910785064.XA CN201910785064A CN110728172B CN 110728172 B CN110728172 B CN 110728172B CN 201910785064 A CN201910785064 A CN 201910785064A CN 110728172 B CN110728172 B CN 110728172B
Authority
CN
China
Prior art keywords
face
point
key
point cloud
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910785064.XA
Other languages
English (en)
Other versions
CN110728172A (zh
Inventor
孙伟
范浩强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201910785064.XA priority Critical patent/CN110728172B/zh
Publication of CN110728172A publication Critical patent/CN110728172A/zh
Application granted granted Critical
Publication of CN110728172B publication Critical patent/CN110728172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于点云的人脸关键点检测方法、装置、***及存储介质，所述方法包括：获取3D点云数据；将所述3D点云数据输入训练好的关键点检测模型得到所述3D点云数据的人脸关键点，其中，所述关键点检测模型包括分割网络和检测网络，所述3D点云数据输入所述分割网络进行人脸分割得到人脸点云，并输入到所述检测网络；所述检测网络基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，并根据对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点。根据本发明的方法、装置、***及存储介质，基于3D点云数据进行人脸的关键点检测，提高了人脸关键点检测的准确性和鲁棒性。

Description

基于点云的人脸关键点检测方法、装置、***及存储介质
技术领域
本发明涉及图像处理技术领域，更具体地涉及基于点云的人脸关键点检测的处理。
背景技术
目前，图像和视频处理的传统方法一般针对2D空间，2D空间的图像处理技术也相对成熟。在图像处理中人脸关键点定位技术是与人脸图像处理相关的应用中很重要的一项技术，主要用于定位一些人脸中比较重要的点的位置，例如，手机美颜美妆技术，人脸识别技术等都会应用到人脸关键点。随着技术的进步，人们对人脸关键点处理的需求已经不仅仅停留在2D空间上，各种3D关键点的需求孕育而生。而2D人脸关键点技术无法解决图像中对象存在遮挡的问题，且需要依赖图像的颜色信息，使得基于2D空间的人脸检测准确度不高，鲁棒性不够，受图像中的光线等客观条件的影响很大。
因此，现有技术中的人脸关键点检测技术存在准确度不高，鲁棒性不够的问题。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种基于点云的人脸关键点检测查找方法、装置、***及计算机存储介质，基于3D点云数据进行人脸的关键点检测，提高了人脸关键点检测的准确性和鲁棒性。
根据本发明的第一方面，提供了一种基于点云的人脸关键点检测方法，包括：
获取3D点云数据；
将所述3D点云数据输入训练好的关键点检测模型得到所述3D点云数据的人脸关键点，其中，所述关键点检测模型包括分割网络和检测网络，
所述3D点云数据输入所述分割网络进行人脸分割得到人脸点云，并输入到所述检测网络；
所述检测网络基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，并根据对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点。
根据本发明的第二方面，提供了一种基于点云的人脸关键点检测装置，包括：
获取模块，用于获取3D点云数据；
检测模块，用于将所述3D点云数据输入训练好的关键点检测模型得到所述3D点云数据的人脸关键点，其中，所述关键点检测模型包括分割网络和检测网络，
所述分割网络用于对所述3D点云数据进行分割得到人脸点云，并输入到所述检测网络；
所述检测网络用于基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，并根据对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点。
根据本发明的第三方面，提供了一种基于点云的人脸关键点检测查找***，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现第一方面所述方法的步骤。
根据本发明的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机执行时实现第一方面所述方法的步骤。
根据本发明实施例的基于点云的人脸关键点检测方法、装置、***及计算机存储介质，基于3D点云数据进行人脸的关键点检测，提高了人脸关键点检测的准确性和鲁棒性。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是用于实现根据本发明实施例的基于点云的人脸关键点检测方法和装置的示例电子设备的示意性框图；
图2是根据本发明实施例的基于点云的人脸关键点检测方法的示意性流程图；
图3是根据本发明实施例的基于点云的人脸关键点检测装置的示意性框图；
图4是根据本发明实施例的基于点云的人脸关键点检测***的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
首先，参考图1来描述用于实现本发明实施例的基于点云的人脸关键点检测方法和装置的示例电子设备100。
如图1所示，电子设备100包括一个或多个处理器101、一个或多个存储装置102、输入装置103、输出装置104、图像传感器105，这些组件通过总线***106或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器101可以是中央处理单元(CPU)或者具有基于点云的人脸关键点检测能力或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置102可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用或产生的各种数据等。
所述输入装置103可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置104可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述图像传感器105可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置102中以供其它组件使用。
示例性地，用于实现根据本发明实施例的基于点云的人脸关键点检测方法和装置的示例电子设备可以被实现为诸如智能手机、平板电脑、计算机设备等。
下面，将参照图2描述根据本发明实施例的基于点云的人脸关键点检测方法200。如图2所示，一种基于点云的人脸关键点检测方法200，包括：
首先，在步骤S210中，获取3D点云数据；
在步骤S220中，将所述3D点云数据输入训练好的关键点检测模型得到所述3D点云数据的人脸关键点，其中，所述关键点检测模型包括分割网络和检测网络，
所述3D点云数据输入所述分割网络进行人脸分割得到人脸点云，并输入到所述检测网络；
所述检测网络基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，并根据对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点。
其中，对3D点云数据中分割出人脸部分的点云后，基于人脸部分的点云中的每个点对人脸关键点进行预测，这样基于每个点都可以预测出预定数量的预测关键点即所述关键点检测模型在每个点的角度预测出预定数量的人脸关键点作为所述每个点的预测关键点，也就是说，对于同一人脸关键位置如左眼部，右眼部，鼻尖等等，每个点都给出了相应的预测坐标；在此基础上，对于同一人脸关键位置，采用每个点对该位置的预测坐标计算出该位置的人脸关键点，从而得到最终所有的人脸关键点。
由于3D点云数据包含了具有深度信息的三维坐标信息，可以利用点云的深度信息解决图像中的对象存在遮挡的问题，且不依赖于颜色信息，即使3D点云数据中不存在颜色信息也可以实现图像处理任务。传统的人脸关键点检测方法仅仅是基于2D图像的局部信息如眼部或鼻部等部分图像来进行关键点检测，而根据本发明实施例的人脸检测方法，将人脸部分的点云中所有的点都参与所有关键点的预测，并综合得到最终的检测结果，充分利用了人脸点云中所有点的信息与各点之间的联系，极大地提高关键点检测的准确性，同时结合3D点云数据自身具有深度信息的特点，进一步增加了关键点检测的鲁棒性，保证检测结果的可靠，不会受采集输入图像数据时如光线等客观条件的影响。适合广泛应用于3D点云数据中的需要人脸关键点检测的各种场合，有利于节省时间和成本，得到更精确的关键点检测结果。
示例性地，根据本发明实施例的基于点云的人脸关键点检测方法可以在具有存储器和处理器的设备、装置或者***中实现。
根据本发明实施例的人脸关键点方法可以部署在人脸图像采集端处，例如，可以部署在门禁***的图像采集端；可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。
根据本发明实施例的基于点云的人脸关键点检测方法可以部署在个人终端处或服务器端(或云端)，所述个人终端处诸如智能电话、平板电脑、个人计算机等。例如，可以在个人终端处或服务器端(或云端)处，获取3D点云数据并进行人脸关键点检测。
替代地，根据本发明实施例的基于点云的人脸关键点检测方法还可以分布地部署在个人终端处和服务器端(或云端)。例如，可以在服务器端(或云端)获取3D点云数据，服务器端(或云端)将获取的3D点云数据传递给个人终端，个人终端根据所接收的获取3D点云数据进行人脸关键点检测。再例如，可以在个人终端获取3D点云数据，将获取的3D点云数据传递给服务器端(或云端)，然后服务器端(或云端)进人脸关键点检测。
根据本发明实施例的基于点云的人脸关键点检测方法，基于3D点云数据进行人脸的关键点检测，提高了人脸关键点检测的准确性和鲁棒性。
根据本发明实施例，所述步骤S210中，获取3D点云数据可以进一步包括：
基于3D扫描设备采集信息得到所述3D点云数据。
示例性地，所述基于3D扫描设备采集信息得到所述3D点云数据还可以包括：
基于3D扫描设备采集信息得到采集数据；
将所述采集数据转换为所述3D点云数据。
其中，当3D扫描设备所采集到的图像数据为3D坐标时，不需要进行数据转换即可得到所述3D点云数据；当3D扫描设备所采集到的图像数据不是3D坐标时，需要根据采集的图像数据进行数据转换得到所述3D点云数据。
在一个实施例中，当所述3D扫描设备所采集的数据为2D坐标和深度值时，可以将所述2D坐标(x，y)和深度值z转换为3D坐标(x，y，z)。
示例性地，所述3D扫描设备可以包括：激光雷达，立体摄像头(stereo camera)，越渡时间相机(time-of-flight camera)。
示例性地，所述3D点云数据可以包括图像中点的几何位置信息。进一步地，所述3D点云数据还可以包括颜色信息。
在一个实施例中，所述几何位置信息可以包括3D坐标，或2D坐标和深度值。
在一个实施例中，所述颜色信息可以包括RGB信息，或灰度值。
应了解，获取3D点云数据可以是通过3D扫描设备采集得到，还可以是从其他数据源直接获取得到，在此不做限制。而所述3D点云数据可以是实时数据，也可以是非实时数据。
根据本发明实施例，在步骤S220中，所述3D点云数据输入所述分割网络进行人脸分割得到人脸点云，包括：
将所述3D点云数据输入所述分割网络；
所述分割网络计算所述3D点云数据中每个点属于人脸的概率；
将所述每个点属于人脸的概率与人脸概率阈值比较得到所述人脸点云。
其中，输入分割网络的所述3D点云可能包括除了人脸之外的许多其他部分，比如头发、脖子，上半身等等。为了消除这些其他部位对后续关键点检测的影响，可以采用训练好的分割网络对3D点云中的人脸部分进行分割，保证后续人脸检测的准确度。
示例性地，所述分割网络可以包括PointNet网络。
示例性地，将所述每个点属于人脸的概率与人脸概率阈值比较得到所述人脸点云可以包括：将属于人脸的概率小于所述人脸概率阈值的点去掉得到所述人脸点云。
在一个实施例中，将属于人脸的概率小于所述人脸概率阈值的点去掉得到所述人脸点云可以包括：将属于人脸的概率小于所述人脸概率阈值的点去掉得到所述人脸点云设置为背景点。
示例性地，将所述每个点属于人脸的概率与人脸概率阈值比较得到所述人脸点云还可以进一步包括：
将属于人脸的概率小于所述人脸概率阈值的点去掉；
恢复剩下的点形成的连通区域中的无效点得到所述人脸点云。
其中，如果基于人脸概率阈值去掉不属于人脸的点后，剩下的点所形成的连通区域中存在被去掉的点即无效点，如该无效点的8个方向包括正上、正下、正左、正右、左上、左下、右上、右下均属于人脸，那么该无效点可能也属于人脸，可以恢复剩下的点所形成的连通区域中的无效点的数据以去除无效点，以保证后续人脸关键点检测的准确性。
示例性地，所述分割网络的训练包括：
将标注后的分割训练数据输入PointNet网络进行训练得到训练好的分割网络。
其中，所述分割训练数据的标注可以包括标注所述分割训练数据中的每个点是否属于人脸。
在一个实施例中，所述分割训练数据的标注可以包括：
标注2D训练数据的人脸区域；
将标注后的2D训练数据转换为3D数据形式得到所述标注后的分割训练数据。
根据本发明实施例，在步骤S220中，所述检测网络基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，包括：
基于所述人脸点云的每个点的坐标预测所述每个点与所述人脸关键点之间的距离差；
根据所述每个点的坐标和所述距离差计算所述每个点的预测关键点的坐标。
其中，所述检测网络在所述人脸点云的每个点的角度预测所述人脸点云的人脸关键点，使得人脸部分的点云中所有的点都参与所有人脸关键点的预测；然后综合得到最终的人脸关键点检测结果，充分利用了人脸点云中所有点的信息与各点之间的联系，极大地提高关键点检测的准确性，同时结合3D点云数据自身具有深度信息的特点，进一步增加了关键点检测的鲁棒性，保证检测结果的可靠。
在一个实施例中，假设所述人脸点云中包括N个点，第i个点的坐标为(xi，yi，zi)，i＝1，2，……，N，N为自然数，则所述人脸点云为N*3矩阵；以及检测的所述人脸关键点的预设数量为K，K为自然数，那么，所述检测网络基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，包括：
将所述人脸点云的N*3矩阵输入到所述检测网络；
所述检测网络对第i个点进行预测得到所述第i个点的K个预测关键点与所述第i个点的距离差(dxik，dyik，dzik)，k＝1，2，……，K；
最终得到所有N个点的N*K个预测关键点与对应的所述N个点的距离差(dxi1，dyi1，dzi1)，……，(dxiK，dyiK，dziK)；
根据所述N个点的坐标和所述距离差计算得到所述N*K个预测关键点的坐标。
在上一个实施例中，根据对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点，包括：所述第i个点对第k个位置的预测关键点为(xi+dxik，yi+dyik，zi+dzik)，则所述第i个点的所有预测关键点为(xi+dxi1，yi+dyi1，zi+dzi1)……，(xi+dxik，yi+dyik，zi+dzik)。
也就是说，对于同一位置，所述N个点均对该位置预测了一个预测关键点，即该位置有N个预测关键点，K个人脸关键点说明有K个位置，最终得到N*K个预测关键点。
示例性地，所述检测网络包括PointNet网络。
示例性地，所述检测网络的训练包括：
将标注后的检测训练数据输入PointNet网络进行训练得到所述检测网络。
其中，所述检测训练数据的标注包括标注所述检测训练数据中的人脸关键点。然后将所述训练数据作为输入层数据，所述标注的人脸关键点与所述训练数据中每个点的距离差作为输出层数据，训练所述PointNet网络进行训练得到所述检测网络。
根据本发明实施例，在步骤S220中，根据对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点，包括：
去掉对同一人脸关键位置预测的所述预测关键点中的异常预测关键点；
基于剩下的对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点。
其中，对于同一位置，人脸点云中的点都预测了该位置的预测关键点，那么基于统计学原理，大部分点预测的关键点位置不会偏差跟多，如果存在少部分偏差较大的预测关键点即异常预测关键点，可以将这部分点去掉后，在剩余点的基础上计算该位置最终的检测结果，进一步提高了人脸关键检测的准确性。
示例性地，去掉对同一人脸关键位置预测的所述预测关键点中的异常预测关键点，包括：采用随机抽样一致(ransac，Random Sample Consensus)方法去掉所述异常预测关键点。
示例性地，基于剩下的对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点，包括：
计算与所述剩下的每个所述预测关键点的距离之和最小的点作为所述人脸关键位置的人脸关键点。
在一个实施例中，计算与所述剩下的每个所述预测关键点的距离之和最小的点作为所述人脸关键位置的人脸关键点包括：
计算所述剩下的每个所述预测关键点的坐标平均值得到所述人脸关键点的坐标。
示例性地，所述方法还包括：返回所述人脸关键点检测的检测结果。其中，所述检测结果可以包括：人脸关键点的坐标，和/或标出人脸关键点的所述3D点云数据。
在一个实施例中，以一示例对本发明实施例的基于点云的人脸关键点检测方法进行说明，所述方法包括：
首先，获取3D点云数据，具体包括：采用3D扫描设备采集信息得到所述3D点云数据；
其次，将所述3D点云数据输入所述分割网络进行人脸分割得到人脸点云，包括：将所述3D点云数据输入所述分割网络；所述分割网络计算所述3D点云数据中每个点属于人脸的概率；将所述每个点属于人脸的概率与人脸概率阈值比较得到所述人脸点云，其中，所述人脸点云中包括N个点，第i个点的坐标为(xi，yi，zi)，i＝1，2，……，N，N为自然数，则所述人脸点云为N*3矩阵；
然后，将所述人脸点云输入到所述检测网络，所述检测网络基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，假设检测的所述人脸关键点的预设数量为K，K为自然数，包括：
将所述人脸点云的N*3矩阵输入到所述检测网络；
所述检测网络对第i个点进行预测得到所述第i个点的K个预测关键点与所述第i个点的距离差(dxik，dyik，dzik)，k＝1，2，……，K；
那么即可得到所有N个点的N*K个预测关键点与对应的所述N个点的距离差(dxi1，dyi1，dzi1)，……，(dxiK，dyiK，dziK)，则所述第i个点对第k个位置的预测关键点为(xi+dxik，yi+dyik，zi+dzik)，所述第i个点的所有预测关键点为(xi+dxi1，yi+dyi1，zi+dzi1)，……，(xi+dxik，yi+dyik，zi+dzik)；
接着，根据对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点，包括：
采用ransac方法去掉第k个位置的异常预测关键点(xi+dx3k，yi+dy3k，zi+dz3k)，即表示在对第k个位置的预测关键点中，所述人脸点云的第3个点预测出是异常数据，将其去掉；
计算剩下的第k个位置的预测关键点的坐标平均值得到第k个位置的人脸关键点的坐标；
最终，得到所有人脸关键点的坐标，并返回所述人脸关键点的检测结果。
由此可知，根据本发明实施例的基于点云的人脸关键点检测方法，基于3D点云数据进行人脸的关键点检测，提高了人脸关键点检测的准确性和鲁棒性。
图3示出了根据本发明实施例的基于点云的人脸关键点检测装置300的示意性框图。如图3所示，根据本发明实施例的基于点云的人脸关键点检测装置300包括：
获取模块310，用于获取3D点云数据；
检测模块320，用于将所述3D点云数据输入训练好的关键点检测模型得到所述3D点云数据的人脸关键点，其中，所述关键点检测模型包括分割网络321和检测网络322，
所述分割网络321用于对所述3D点云数据进行分割得到人脸点云，并输入到所述检测网络；
所述检测网络322用于基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，并根据对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点。
其中，检测模块320对3D点云数据中分割出人脸部分的点云后，基于人脸部分的点云中的每个点对人脸关键点进行预测，这样基于每个点都可以预测出预定数量的预测关键点即所述关键点检测模型在每个点的角度预测出预定数量的人脸关键点作为所述每个点的预测关键点，也就是说，对于同一人脸关键位置如左眼部，右眼部，鼻尖等等，每个点都给出了相应的预测坐标；在此基础上，对于同一人脸关键位置，采用每个点对该位置的预测坐标计算出该位置的人脸关键点，从而得到最终所有的人脸关键点。
由于3D点云数据包含了具有深度信息的三维坐标信息，可以利用点云的深度信息解决图像中的对象存在遮挡的问题，且不依赖于颜色信息，即使3D点云数据中不存在颜色信息也可以实现图像处理任务。传统的人脸关键点检测仅仅是基于2D图像的局部信息如眼部或鼻部等部分图像来进行关键点检测，而根据本发明实施例的人脸关键点检测，将人脸部分的点云中所有的点都参与所有关键点的预测，并综合得到最终的检测结果，充分利用了人脸点云中所有点的信息与各点之间的联系，极大地提高关键点检测的准确性，同时结合3D点云数据自身具有深度信息的特点，进一步增加了关键点检测的鲁棒性，保证检测结果的可靠，不会受采集输入图像数据时如光线等客观条件的影响。适合广泛应用于3D点云数据中的需要人脸关键点检测的各种场合，有利于节省时间和成本，得到更精确的关键点检测结果。
根据本发明实施例，获取模块310可以进一步用于：
获取基于3D扫描设备采集信息得到的所述3D点云数据。
示例性地，所述基于3D扫描设备采集信息得到所述3D点云数据还可以包括：
基于3D扫描设备采集信息得到采集数据；
将所述采集数据转换为所述3D点云数据。
其中，当3D扫描设备所采集到的图像数据为3D坐标时，不需要进行数据转换即可得到所述3D点云数据；当3D扫描设备所采集到的图像数据不是3D坐标时，需要根据采集的图像数据进行数据转换得到所述3D点云数据。
在一个实施例中，当所述3D扫描设备所采集的数据为2D坐标和深度值时，可以将所述2D坐标(x，y)和深度值z转换为3D坐标(x，y，z)。
示例性地，所述3D扫描设备可以包括：激光雷达，立体摄像头(stereo camera)，越渡时间相机(time-of-flight camera)。
示例性地，所述3D点云数据可以包括所述3D点云数据中点的几何位置信息。进一步地，所述3D点云数据还可以包括颜色信息。
在一个实施例中，所述几何位置信息可以包括3D坐标，或2D坐标和深度值。
在一个实施例中，所述颜色信息可以包括RGB信息，或灰度值。
应了解，获取3D点云数据可以是通过3D扫描设备采集得到，还可以是从其他数据源直接获取得到，在此不做限制。而所述3D点云数据可以是实时数据，也可以是非实时数据。
根据本发明实施例，所述分割网络321还可以进一步用于：
将所述3D点云数据输入所述分割网络；
所述分割网络计算所述3D点云数据中每个点属于人脸的概率；
将所述每个点属于人脸的概率与人脸概率阈值比较得到所述人脸点云。
其中，输入分割网络的所述3D点云可能包括除了人脸之外的许多其他部分，比如头发、脖子，上半身等等。为了消除这些其他部位对后续关键点检测的影响，可以采用训练好的分割网络对3D点云中的人脸部分进行分割，保证后续人脸检测的准确度。
示例性地，所述分割网络321可以包括PointNet网络。
示例性地，所述分割网络321可以进一步用于：将属于人脸的概率小于所述人脸概率阈值的点去掉得到所述人脸点云。
在一个实施例中，所述分割网络321可以进一步用于：将属于人脸的概率小于所述人脸概率阈值的点去掉得到所述人脸点云设置为背景点。
示例性地，所述分割网络321可以进一步用于：：
将属于人脸的概率小于所述人脸概率阈值的点去掉；
恢复剩下的点形成的连通区域中的无效点得到所述人脸点云。
其中，如果基于人脸概率阈值去掉不属于人脸的点后，剩下的点所形成的连通区域中存在被去掉的点即无效点，如该无效点的8个方向包括正上、正下、正左、正右、左上、左下、右上、右下均属于人脸，那么该无效点可能也属于人脸，可以恢复剩下的点所形成的连通区域中的无效点的数据以去除无效点，以保证后续人脸关键点检测的准确性。
示例性地，所述分割网络321的训练包括：
将标注后的分割训练数据输入PointNet网络进行训练得到训练好的分割网络。
其中，所述分割训练数据的标注可以包括标注所述分割训练数据中的每个点是否属于人脸。
在一个实施例中，所述分割训练数据的标注可以包括：
标注2D训练数据的人脸区域；
将标注后的2D训练数据转换为3D数据形式得到所述标注后的分割训练数据。
根据本发明实施例，所述检测网络322可以进一步用于：
基于所述人脸点云的每个点的坐标预测所述每个点与所述人脸关键点之间的距离差；
根据所述每个点的坐标和所述距离差计算所述每个点的预测关键点的坐标。
其中，所述检测网络在所述人脸点云的每个点的角度预测所述人脸点云的人脸关键点，使得人脸部分的点云中所有的点都参与所有人脸关键点的预测；然后综合得到最终的人脸关键点检测结果，充分利用了人脸点云中所有点的信息与各点之间的联系，极大地提高关键点检测的准确性，同时结合3D点云数据自身具有深度信息的特点，进一步增加了关键点检测的鲁棒性，保证检测结果的可靠。
在一个实施例中，假设所述人脸点云中包括N个点，第i个点的坐标为(xi，yi，zi)，i＝1，2，……，N，N为自然数，则所述人脸点云为N*3矩阵；以及检测的所述人脸关键点的预设数量为K，K为自然数，那么，所述检测网络322可以进一步用于：
将所述人脸点云的N*3矩阵输入到所述检测网络；
所述检测网络对第i个点进行预测得到所述第i个点的K个预测关键点与所述第i个点的距离差(dxik，dyik，dzik)，k＝1，2，……，K；
最终得到所有N个点的N*K个预测关键点与对应的所述N个点的距离差(dxi1，dyi1，dzi1)，……，(dxiK，dyiK，dziK)；
根据所述N个点的坐标和所述距离差计算得到所述N*K个预测关键点的坐标。
在上一个实施例中，所述检测网络322可以进一步用于：
所述第i个点对第k个位置的预测关键点为(xi+dxik，yi+dyik，zi+dzik)，则所述第i个点的所有预测关键点为(xi+dxi1，yi+dyi1，zi+dzi1)……，(xi+dxik，yi+dyik，zi+dzik)。
也就是说，对于同一位置，所述检测网络322基于所述N个点均对该位置预测了一个预测关键点，即该位置有N个预测关键点，K个人脸关键点说明有K个位置，最终得到N*K个预测关键点。
示例性地，所述检测网络322包括PointNet网络。
示例性地，所述检测网络322的训练包括：
将标注后的检测训练数据输入PointNet网络进行训练得到所述检测网络。
其中，所述检测训练数据的标注包括标注所述检测训练数据中的人脸关键点。然后将所述训练数据作为输入层数据，所述标注的人脸关键点与所述训练数据中每个点的距离差作为输出层数据，训练所述PointNet网络进行训练得到所述检测网络。
根据本发明实施例，所述检测网络322可以进一步用于：
去掉对同一人脸关键位置预测的所述预测关键点中的异常预测关键点；
基于剩下的对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点。
其中，对于同一位置，人脸点云中的点都预测了该位置的预测关键点，那么基于统计学原理，大部分点预测的关键点位置不会偏差跟多，如果存在少部分偏差较大的预测关键点即异常预测关键点，可以将这部分点去掉后，在剩余点的基础上计算该位置最终的检测结果，进一步提高了人脸关键检测的准确性。
示例性地，所述检测网络322可以进一步用于：
采用随机抽样一致(ransac，Random Sample Consensus)方法去掉所述异常预测关键点。
示例性地，所述检测网络322可以进一步用于：
计算与所述剩下的每个所述预测关键点的距离之和最小的点作为所述人脸关键位置的人脸关键点。
在一个实施例中，所述检测网络322可以用于：
计算所述剩下的每个所述预测关键点的坐标平均值得到所述人脸关键点的坐标。
示例性地，所述装置300还包括：输出模块330，用于返回所述人脸关键点检测的检测结果。其中，所述检测结果可以包括：人脸关键点的坐标，和/或标出人脸关键点的所述3D点云数据。
由此可知，根据本发明实施例的基于点云的人脸关键点检测装置，基于3D点云数据进行人脸的关键点检测，提高了人脸关键点检测的准确性和鲁棒性。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
图4示出了根据本发明实施例的基于点云的人脸关键点检测***400的示意性框图。基于点云的人脸关键点检测***400包括图像传感器410、存储装置420、以及处理器430。
图像传感器410用于采集图像数据。
所述存储装置420存储用于实现根据本发明实施例的基于点云的人脸关键点检测方法中的相应步骤的程序代码。
所述处理器430用于运行所述存储装置420中存储的程序代码，以执行根据本发明实施例的基于点云的人脸关键点检测方法的相应步骤，并且用于实现根据本发明实施例的基于点云的人脸关键点检测装置中的获取模块310和检测模块320。
此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的基于点云的人脸关键点检测查找方法的相应步骤，并且用于实现根据本发明实施例的基于点云的人脸关键点检测查找装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于随机地生成动作指令序列的计算机可读的程序代码，另一个计算机可读存储介质包含用于进行基于点云的人脸关键点检测查找的计算机可读的程序代码。
在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的基于点云的人脸关键点检测装置的各个功能模块，并且/或者可以执行根据本发明实施例的基于点云的人脸关键点检测方法。
根据本发明实施例的基于点云的人脸关键点检测***中的各模块可以通过根据本发明实施例的基于点云的人脸关键点检测的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
根据本发明实施例的基于点云的人脸关键点检测方法、装置、***以及存储介质，基于3D点云数据进行人脸的关键点检测，提高了人脸关键点检测的准确性和鲁棒性。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种基于点云的人脸关键点检测方法，其特征在于，所述方法包括：
获取3D点云数据；
将所述3D点云数据输入训练好的关键点检测模型得到所述3D点云数据的人脸关键点，其中，所述关键点检测模型包括分割网络和检测网络，
所述3D点云数据输入所述分割网络进行人脸分割得到人脸点云，并输入到所述检测网络；
所述检测网络基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，并根据每个点对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点；
所述检测网络基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，包括：基于所述人脸点云的每个点的坐标预测所述每个点与所述人脸关键点之间的距离差；根据所述每个点的坐标和所述距离差计算所述每个点的预测关键点的坐标；
所述根据每个点对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点，包括：去掉对同一人脸关键位置预测的所述预测关键点中的异常预测关键点；基于剩下的对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点；基于剩下的对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点，包括：计算与所述剩下的每个所述预测关键点的距离之和最小的点作为所述人脸关键位置的人脸关键点，并计算每个所述预测关键点的坐标平均值得到所述人脸关键点的坐标。
2.如权利要求1所述的方法，其特征在于，去掉对同一人脸关键位置预测的所述预测关键点中的异常预测关键点，包括：采用随机抽样一致方法去掉所述异常预测关键点。
3.如权利要求1所述的方法，其特征在于，所述分割网络和/或所述检测网络包括PointNet网络。
4.如权利要求1所述的方法，其特征在于，所述3D点云数据输入所述分割网络进行人脸分割得到人脸点云，包括：
将所述3D点云数据输入所述分割网络；
所述分割网络计算所述3D点云数据中每个点属于人脸的概率；
将所述每个点属于人脸的概率与人脸概率阈值比较得到所述人脸点云。
5.一种基于点云的人脸关键点检测装置，其特征在于，所述装置包括：
获取模块，用于获取3D点云数据；
检测模块，用于将所述3D点云数据输入训练好的关键点检测模型得到所述3D点云数据的人脸关键点，其中，所述关键点检测模型包括分割网络和检测网络，
所述分割网络用于对所述3D点云数据进行分割得到人脸点云，并输入到所述检测网络；
所述检测网络用于基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，并根据每个点对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点；
所述检测网络基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，包括：基于所述人脸点云的每个点的坐标预测所述每个点与所述人脸关键点之间的距离差；根据所述每个点的坐标和所述距离差计算所述每个点的预测关键点的坐标；
所述根据每个点对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点，包括：去掉对同一人脸关键位置预测的所述预测关键点中的异常预测关键点；基于剩下的对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点；基于剩下的对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点，包括：计算与所述剩下的每个所述预测关键点的距离之和最小的点作为所述人脸关键位置的人脸关键点，并计算每个所述预测关键点的坐标平均值得到所述人脸关键点的坐标。
6.一种基于点云的人脸关键点检测***，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
7.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机执行时实现权利要求1至4中任一项所述方法的步骤。
CN201910785064.XA 2019-08-23 2019-08-23 基于点云的人脸关键点检测方法、装置、***及存储介质 Active CN110728172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910785064.XA CN110728172B (zh) 2019-08-23 2019-08-23 基于点云的人脸关键点检测方法、装置、***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910785064.XA CN110728172B (zh) 2019-08-23 2019-08-23 基于点云的人脸关键点检测方法、装置、***及存储介质

Publications (2)

Publication Number Publication Date
CN110728172A CN110728172A (zh) 2020-01-24
CN110728172B true CN110728172B (zh) 2022-10-18

Family

ID=69217127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910785064.XA Active CN110728172B (zh) 2019-08-23 2019-08-23 基于点云的人脸关键点检测方法、装置、***及存储介质

Country Status (1)

Country Link
CN (1) CN110728172B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111949124B (zh) * 2020-07-02 2023-09-01 广东工业大学 一种基于视觉跟踪的自适应显示器定位方法
CN115471561A (zh) * 2022-11-14 2022-12-13 科大讯飞股份有限公司 对象关键点定位方法、清洁机器人控制方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243374A (zh) * 2015-11-02 2016-01-13 湖南拓视觉信息技术有限公司 三维人脸识别方法、***及应用其的数据处理装置
CN105719352A (zh) * 2016-01-26 2016-06-29 湖南拓视觉信息技术有限公司 人脸三维点云超分辨率融合方法及应用其的数据处理装置
CN106340015A (zh) * 2016-08-30 2017-01-18 沈阳东软医疗***有限公司 一种关键点的定位方法和装置
CN109784333A (zh) * 2019-01-22 2019-05-21 中国科学院自动化研究所 基于点云带权通道特征的三维目标检测方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050152323A1 (en) * 2004-01-12 2005-07-14 Vincent Bonnassieux Plug-in Wi-Fi access point device and system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243374A (zh) * 2015-11-02 2016-01-13 湖南拓视觉信息技术有限公司 三维人脸识别方法、***及应用其的数据处理装置
CN105719352A (zh) * 2016-01-26 2016-06-29 湖南拓视觉信息技术有限公司 人脸三维点云超分辨率融合方法及应用其的数据处理装置
CN106340015A (zh) * 2016-08-30 2017-01-18 沈阳东软医疗***有限公司 一种关键点的定位方法和装置
CN109784333A (zh) * 2019-01-22 2019-05-21 中国科学院自动化研究所 基于点云带权通道特征的三维目标检测方法及***

Also Published As

Publication number Publication date
CN110728172A (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
CN108875524B (zh) 视线估计方法、装置、***和存储介质
CN106203305B (zh) 人脸活体检测方法和装置
CN109543663B (zh) 一种犬只身份识别方法、装置、***及存储介质
CN106650662B (zh) 目标对象遮挡检测方法及装置
CN108875731B (zh) 目标识别方法、装置、***及存储介质
CN112528831B (zh) 多目标姿态估计方法、多目标姿态估计装置及终端设备
CN108961149B (zh) 图像处理方法、装置和***及存储介质
CN108876804B (zh) 抠像模型训练和图像抠像方法、装置和***及存储介质
CN108875517B (zh) 视频处理方法、装置和***及存储介质
CN110956131B (zh) 单目标追踪方法、装置及***
CN113569868B (zh) 一种目标检测方法、装置及电子设备
CN107832736B (zh) 实时人体动作的识别方法和实时人体动作的识别装置
CN111160288A (zh) 手势关键点检测方法、装置、计算机设备和存储介质
KR20120044484A (ko) 이미지 처리 시스템에서 물체 추적 장치 및 방법
CN111008935A (zh) 一种人脸图像增强方法、装置、***及存储介质
CN109544516B (zh) 图像检测方法及装置
CN110728172B (zh) 基于点云的人脸关键点检测方法、装置、***及存储介质
CN108875549B (zh) 图像识别方法、装置、***及计算机存储介质
CN108875506B (zh) 人脸形状点跟踪方法、装置和***及存储介质
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
CN108268863B (zh) 一种图像处理方法、装置和计算机存储介质
CN111695405B (zh) 一种狗脸特征点的检测方法、装置、***及存储介质
CN110490058B (zh) 行人检测模型的训练方法、装置、***和计算机可读介质
CN113744328B (zh) 医学图像标记点识别方法、装置、电子设备及存储介质
CN111353429A (zh) 基于眼球转向的感兴趣度方法与***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant