CN111797656B - 人脸关键点检测方法、装置、存储介质及电子设备 - Google Patents

人脸关键点检测方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN111797656B
CN111797656B CN201910282426.3A CN201910282426A CN111797656B CN 111797656 B CN111797656 B CN 111797656B CN 201910282426 A CN201910282426 A CN 201910282426A CN 111797656 B CN111797656 B CN 111797656B
Authority
CN
China
Prior art keywords
preset
key points
type
key point
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910282426.3A
Other languages
English (en)
Other versions
CN111797656A (zh
Inventor
陈仲铭
何明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910282426.3A priority Critical patent/CN111797656B/zh
Publication of CN111797656A publication Critical patent/CN111797656A/zh
Application granted granted Critical
Publication of CN111797656B publication Critical patent/CN111797656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人脸关键点检测方法、装置、存储介质及电子设备,该方法包括:获取人脸图像;确定人脸图像中的人脸的预设部位所属的类型,预设部位对应的第一关键点,以及第一关键点的位置信息;从预设类型数据库中确定出与预设部位所属的类型匹配的目标类型对应的多个关键点,以及目标类型对应的多个关键点之间的相对位置信息;根据第一关键点,第一关键点的位置信息,目标类型对应的多个关键点,以及目标类型对应的多个关键点之间的相对位置信息,确定预设部位对应的第二关键点的位置信息;根据第一关键点和第二关键点的位置信息,确定预设部位的关键点。本申请可以提高人脸关键点检测的准确性。

Description

人脸关键点检测方法、装置、存储介质及电子设备
技术领域
本申请属于电子技术领域,尤其涉及一种人脸关键点检测方法、装置、存储介质及电子设备。
背景技术
人脸关键点检测属于人脸属性识别的一种,用于检测出人脸上的关键点,例如脸部轮廓点,五官轮廓点等。在进行人像美颜时,例如在进行***、亮眼、大眼或者瘦脸等美颜操作时,需要确定人脸上的关键点。相关技术中,通常采用卷积神经网络模型进行人脸关键点检测。然而,相关技术中,当需要检测的人脸关键点数量过多时,会使得人脸关键点检测的准确性降低。
发明内容
本申请实施例提供一种人脸关键点检测方法、装置、存储介质及电子设备,可以提高人脸关键点检测的准确性。
本申请实施例提供一种人脸关键点检测方法,包括:
获取人脸图像;
确定所述人脸图像中的人脸的预设部位所属的类型,所述预设部位对应的第一关键点,以及所述第一关键点的位置信息;
从预设类型数据库中确定出与所述预设部位所属的类型匹配的目标类型对应的多个关键点,以及所述目标类型对应的多个关键点之间的相对位置信息,其中,所述预设类型数据库包括所述预设部位对应的多个预设类型,各个预设类型对应的多个关键点,以及所述各个预设类型对应的多个关键点之间的相对位置信息;
根据所述第一关键点,所述第一关键点的位置信息,所述目标类型对应的多个关键点,以及所述目标类型对应的多个关键点之间的相对位置信息,确定预设部位对应的第二关键点的位置信息,所述第二关键点是所述预设部位除所述第一关键点之外的关键点;
根据所述第一关键点和所述第二关键点的位置信息,确定所述预设部位的关键点。
本申请实施例提供一种人脸关键点检测装置,包括:
获取模块,用于获取人脸图像;
第一确定模块,用于确定所述人脸图像中的人脸的预设部位所属的类型,所述预设部位对应的第一关键点,以及所述第一关键点的位置信息;
第二确定模块,用于从预设类型数据库中确定出与所述预设部位所属的类型匹配的目标类型对应的多个关键点,以及所述目标类型对应的多个关键点之间的相对位置信息,其中,所述预设类型数据库包括所述预设部位对应的多个预设类型,各个预设类型对应的多个关键点,以及所述各个预设类型对应的多个关键点之间的相对位置信息;
第三确定模块,用于根据所述第一关键点,所述第一关键点的位置信息,所述目标类型对应的多个关键点,以及所述目标类型对应的多个关键点之间的相对位置信息,确定所述预设部位对应的第二关键点的位置信息,所述第二关键点是预设部位除所述第一关键点之外的关键点;
第四确定模块,用于根据所述第一关键点和所述第二关键点的位置信息,确定所述预设部位的关键点。
本申请实施例提供一种存储介质,其上存储有计算机程序,其中,当所述计算机程序在计算机上执行时,使得所述计算机执行本实施例提供的人脸关键点检测方法。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本申请实施例提供的人脸关键点检测方法。
在本申请实施例中,首先,电子设备先初步确定预设部位所属的类型,预设部位的一部分关键点,这一部分关键点的位置信息。然后,电子设备从预设类型数据库中确定出与预设部位所属的类型匹配的目标类型对应的多个关键点,以及多个关键点之间的相对位置信息。接着,电子设备根据之前确定的预设部位的一部分关键点,这一部分关键点的位置信息,多个关键点,以及多个关键点之间的相对位置信息,确定第二关键点的位置信息,该第二关键点是预设部位除第一关键点之外的关键点。最后,电子设备根据第一关键点和第二关键点的位置信息,确定预设部位的关键点。在本申请实施例中,目标类型对应的多个关键点的数量与预设部位的关键点的数量相同,由于电子设备确定了目标类型对应的多个关键点的相对位置信息以及第一关键点的位置信息,因此,即使需要检测的关键点数量较多,电子设备也可以准确地确定第二关键点的位置信息,从而提高人脸关键点检测的准确性。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其有益效果显而易见。
图1是本申请实施例提供的人脸关键点检测方法的应用场景示意图。
图2是本申请实施例提供的人脸关键点检测方法的第一种流程示意图。
图3是本申请实施例提供的人脸关键点检测方法的第二种流程示意图。
图4是本申请实施例提供的人脸关键点检测方法的第三种流程示意图。
图5是本申请实施例提供的人脸关键点检测方法的第四种流程示意图。
图6是本申请实施例提供的人脸关键点检测方法的第五种流程示意图。
图7是本申请实施例提供的人脸关键点检测装置的结构示意图。
图8是本申请实施例提供的电子设备的第一种结构示意图。
图9是本申请实施例提供的电子设备的第二种结构示意图。
具体实施方式
请参照图示,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
参考图1,图1为本申请实施例提供的人脸关键点检测方法的应用场景示意图。所述人脸关键点检测方法应用于电子设备。所述电子设备中设置有全景感知架构。所述全景感知架构为电子设备中用于实现所述人脸关键点检测方法的硬件和软件的集成。
其中,全景感知架构包括信息感知层、数据处理层、特征抽取层、情景建模层以及智能服务层。
信息感知层用于获取电子设备自身的信息或者外部环境中的信息。所述信息感知层可以包括多个传感器。例如,所述信息感知层包括距离传感器、磁场传感器、光线传感器、加速度传感器、指纹传感器、霍尔传感器、位置传感器、陀螺仪、惯性传感器、姿态感应器、图像传感器、音频传感器等多个传感器。
其中,距离传感器可以用于检测电子设备与外部物体之间的距离。磁场传感器可以用于检测电子设备所处环境的磁场信息。光线传感器可以用于检测电子设备所处环境的光线信息。加速度传感器可以用于检测电子设备的加速度数据。指纹传感器可以用于采集用户的指纹信息。霍尔传感器是根据霍尔效应制作的一种磁场传感器,可以用于实现电子设备的自动控制。位置传感器可以用于检测电子设备当前所处的地理位置。陀螺仪可以用于检测电子设备在各个方向上的角速度。惯性传感器可以用于检测电子设备的运动数据。姿态感应器可以用于感应电子设备的姿态信息。图像传感器可以用于采集周围环境的图像,所述图像传感器例如可以为摄像头。音频传感器可以用于采集周围环境中的声音信号,所述音频传感器例如可以为麦克风。
数据处理层用于对信息感知层获取到的数据进行处理。例如,数据处理层可以对信息感知层获取到的数据进行数据清理、数据集成、数据变换、数据归约等处理。
其中,数据清理是指对信息感知层获取到的大量数据进行清理,以剔除无效数据和重复数据。数据集成是指将信息感知层获取到的多个单维度数据集成到一个更高或者更抽象的维度,以对多个单维度的数据进行综合处理。数据变换是指对信息感知层获取到的数据进行数据类型的转换或者格式的转换等,以使变换后的数据满足处理的需求。数据归约是指在尽可能保持数据原貌的前提下,最大限度的精简数据量。
特征抽取层用于对数据处理层处理后的数据进行特征抽取,以提取所述数据中包括的特征。提取到的特征可以反映出电子设备自身的状态或者用户的状态或者电子设备所处环境的环境状态等。
其中,特征抽取层可以通过过滤法、包装法、集成法等方法来提取特征或者对提取到的特征进行处理。
过滤法是指对提取到的特征进行过滤,以删除冗余的特征数据。包装法用于对提取到的特征进行筛选。集成法是指将多种特征提取方法集成到一起,以构建一种更加高效、更加准确的特征提取方法,用于提取特征。
情景建模层用于根据特征抽取层提取到的特征来构建模型,所得到的模型可以用于表示电子设备的状态或者用户的状态或者环境状态等。例如,情景建模层可以根据特征抽取层提取到的特征来构建关键值模型、模式标识模型、图模型、实体联系模型、面向对象模型等。
智能服务层用于根据情景建模层所构建的模型为用户提供智能化的服务。例如,智能服务层可以为用户提供基础应用服务,可以为电子设备进行***智能优化,还可以为用户提供个性化智能服务。
此外,全景感知架构中还可以包括多种算法,每一种算法都可以用于对数据进行分析处理,所述多种算法可以构成算法库。例如,所述算法库中可以包括马尔科夫算法、隐含狄里克雷分布算法、贝叶斯分类算法、词向量、K均值聚类算法、K近邻算法、余弦相似度算法、残差网络、长短期记忆网络、卷积神经网络、递归神经网络等算法。
本申请实施例提供一种人脸关键点检测方法,所述人脸关键点检测方法可以应用于电子设备中。所述电子设备可以为智能手机、平板电脑、游戏设备、AR(AugmentedReality,增强现实)设备、汽车、数据存储装置、音频播放装置、视频播放装置、笔记本电脑、桌面计算设备、可穿戴设备诸如电子手表、电子眼镜、电子头盔、电子手链、电子项链、电子衣物等设备。
请参阅图2,图2是本申请实施例提供的人脸关键点检测方法的第一种流程示意图。该人脸关键点检测方法的流程可以包括:
在101中,获取人脸图像。
比如,电子设备可以获取人脸图像。其中,该人脸图像可以仅包括人脸。或者,该人脸图像可以包括人脸和除人脸之外的物体,等等。
在一些实施例中,用户可以打开电子设备的相机应用,使得电子设备进入拍照界面。然后用户将电子设备的摄像头对准人脸,点击拍照按钮进行拍照,电子设备即获取到人脸图像。
在另一些实施例中,用户可以打开网页搜索人脸图像,并将搜索到的人脸图像保存在电子设备中,电子设备即获取到人脸图像。
在一些实施例中,电子设备在得到一张包括人脸和除人脸之外的物体的图像时,电子设备可以提取出人脸部分,以得到人脸图像,该人脸图像即仅包括人脸。
需要说明的是,本实施例仅仅只是对获取人脸图像的方式做一些示例性的说明,并不用于限制本申请。
在102中,确定人脸图像中的人脸的预设部位所属的类型,预设部位对应的第一关键点,以及第一关键点的位置信息。
其中,人脸的预设部位可以为眉毛、眼睛、鼻子、嘴巴或者脸部轮廓等。
在本实施例中,电子设备会预先对预设部位进行分类。以预设部位为眼睛为例。电子设备可以将眼睛细分为标准眼、丹凤眼、突眼、小圆眼、眯缝眼、垂眼、吊眼、细长眼、圆眼、深窝眼、近心眼、三角眼、远心眼或者肿泡眼等多种类型。
当电子设备获取到人脸图像之后,电子设备可以确定人脸图像中的人脸的预设部位所属的类型。例如,当预设类型为眼睛时,电子设备便可以确定该眼睛所属的类型。例如,电子设备可以确定该眼睛所属的类型为丹凤眼。
然后,电子设备还可以确定人脸图像中的人脸的预设部位对应的第一关键点,以及第一关键点的位置信息。例如,当预设部位为鼻子时,电子设备可以确定该鼻子对应的第一关键点,以及第一关键点的位置信息。其中,第一关键点可以为一个或多个。
需要说明的是,在该流程102中,电子设备仅仅可以准确地确定预设部位对应的部分关键点的位置信息,无法准确地确定预设部位对应的所有关键点的位置信息。例如,假设预设部位对应的所有关键点为9个,在该流程102中,电子设备仅仅可以准确地确定出预设部位对应的4个关键点的位置信息,即电子设备可以准确地确定出预设部位对应的4个第一关键点的位置信息。
在103中,从预设类型数据库中确定出与预设部位所属的类型匹配的目标类型对应的多个关键点,以及目标类型对应的多个关键点之间的相对位置信息,该预设类型数据库包括预设部位对应的多个预设类型,各个预设类型对应的多个关键点,以及各个预设类型对应的多个关键点之间的相对位置信息。
在本实施例中,电子设备可以事先建立一预设类型数据库。该预设类型数据库可以包括预设部位对应的多个预设类型,各个预设类型对应的多个关键点,以及各个预设类型对应的多个关键点之间的相对位置信息。
以预设部位为眼睛为例,电子设备先对眼睛的类型进行分类。例如,将眼睛分为标准眼、丹凤眼、突眼、小圆眼、眯缝眼、垂眼、吊眼、细长眼、圆眼、深窝眼、近心眼、三角眼、远心眼、肿泡眼等类型。然后,电子设备确定每个眼睛类型对应的多个关键点。例如,确定标准眼对应的多个关键点,确定丹凤眼对应的多个关键点,或者确定突眼对应的多个关键点,等等。对于每个眼睛类型对应的多个关键点,电子设备还需要确定每个眼睛类型对应的多个关键点之间的相对位置信息。以眼睛类型为丹凤眼,丹凤眼对应的关键点为9个为例,电子设备需要确定丹凤眼对应的9个关键点的相对位置,即每个关键点相对于其他关键点来说具体处于什么位置。
其中,各个预设类型对应的多个关键点的数量可以根据预设部位的关键点的数量确定。例如,在实际应用中,电子设备需要为预设部位确定的关键点的数量为20个,那么电子设备则需要确定各个预设类型对应的多个关键点的数量为20个。
当电子设备确定眼睛对应的多个预设类型,每个预设类型对应的多个关键点,每个预设类型对应的多个关键点之间的相对位置信息之后,电子设备可以根据眼睛对应的多个预设类型,每个预设类型对应的多个关键点,每个预设类型对应的多个关键点之间的相对位置关系建立预设类型数据库。
在本实施例中,当电子设备确定预设部位所属的类型之后,电子设备可以从预设类型数据库中确定出与预设部位所属的类型匹配的目标类型对应的多个关键点,以及目标类型对应的多个关键点之间的相对位置信息。例如,假设该预设部位为眼睛,该预设部位所属的类型为丹凤眼类型。电子设备在确定眼睛的类型为丹凤眼之后,电子设备可以检测预设类型数据库是否存在丹凤眼类型,若预设类型数据库中存在丹凤眼类型,电子设备可以确定丹凤眼类型对应的多个关键点,以及丹凤眼类型对应的多个关键点之间的相对位置信息。
在104中,根据第一关键点,第一关键点的位置信息,目标类型对应的多个关键点,以及目标类型对应的多个关键点之间的相对位置信息,确定预设部位对应的第二关键点的位置信息,第二关键点是预设部位除第一关键点之外的关键点。
在本实施例中,假设预设部位为眼睛,目标类型为丹凤眼,该丹凤眼类型的全部关键点为9个。流程102确定的关键点为4个,即第一关键点为4个。那么,电子设备可以根据第一关键点,第一关键点的位置信息,丹凤眼类型对应的9个关键点,以及丹凤眼类型对应的9个关键点之间的相对位置信息,确定类型为丹凤眼的眼睛对应的剩余5个关键点的位置信息,即确定第二关键点的位置信息。
在105中,根据第一关键点和第二关键点的位置信息,确定预设部位的关键点。
在电子设备确定第二关键点的位置信息之后,电子设备可以根据第一关键点和第二关键点的位置信息,确定预设部位的所有关键点。
可以理解的是,通过采用本实施例提供的人脸关键点检测方法,可以准确检测出人脸图像中的人脸的眼睛对应的关键点,鼻子对应的关键点或者嘴巴对应的关键点,等等,也即通过采用本实施例提供的人脸关键点检测方法,可以准确地检测出人脸图像中的人脸的各个部位的关键点。
可以理解的是,本实施例中,首先,电子设备先初步确定预设部位所属的类型,预设部位的一部分关键点,这一部分关键点的位置信息。然后,电子设备从预设类型数据库中确定出与预设部位所属的类型匹配的目标类型对应的多个关键点,以及多个关键点之间的相对位置信息。接着,电子设备根据之前确定的预设部位的一部分关键点,这一部分关键点的位置信息,多个关键点,以及多个关键点之间的相对位置信息,确定第二关键点的位置信息,该第二关键点是预设部位除第一关键点之外的关键点。最后,电子设备根据第一关键点和第二关键点的位置信息,确定预设部位的关键点。在本申请实施例中,目标类型对应的多个关键点的数量与预设部位的关键点的数量相同,由于电子设备确定了目标类型对应的多个关键点的相对位置信息以及第一关键点的位置信息,因此,即使需要检测的关键点数量较多,电子设备也可以准确地确定第二关键点的位置信息,从而提高人脸关键点检测的准确性。
请参阅图3,图3为本申请实施例提供的人脸关键点检测方法的第二种流程示意图。该人脸关键点检测方法可以包括:
在201中,电子设备获取预设部位对应的多个预设类型。
其中,预设部位可以为眉毛、眼睛、鼻子、嘴巴或者脸部轮廓等。
比如,当预设部位为眼睛时,电子设备可以获取眼睛对应的多个预设类型。其中,眼睛对应的多个预设类型可以包括:标准眼、丹凤眼、突眼、小圆眼、眯缝眼、垂眼、吊眼、细长眼、圆眼、深窝眼、近心眼、三角眼、远心眼或者肿泡眼等。当预设部位为鼻子时,电子设备可以获取鼻子对应的多个预设类型。其中,鼻子对应的多个预设类型可以包括:标准鼻、小琼鼻、宽鼻、朝天鼻或者鹰钩鼻等。
在202中,电子设备确定各个预设类型对应的多个关键点,以及各个预设类型对应的多个关键点之间的相对位置信息。
当电子设备获取到预设部位对应的多个预设类型之后,电子设备可以确定各个预设类型对应的多个关键点,以及各个预设类型对应的多个关键点之间的相对位置信息。
例如,假设预设部位为眼睛,并且假设电子设备确定眼睛对应的多个预设类型为:标准眼、丹凤眼和小圆眼。电子设备可以确定标准眼类型对应的多个关键点,标准眼类型对应的多个关键点之间的相对位置,丹凤眼类型对应的多个关键点,丹凤眼类型对应的多个关键点之间的相对位置,小圆眼类型对应的多个关键点,以及小圆眼类型对应的多个关键点之间的相对位置。
在203中,电子设备根据预设部位对应的多个预设类型,各个预设类型对应的多个关键点,以及各个预设类型对应的多个关键点之间的相对位置信息建立预设类型数据库。
当电子设备得到预设部位对应的多个预设类型,各个预设类型对应的多个关键点,以及各个预设类型对应的多个关键点之间的相对位置信息之后,电子设备可以根据预设部位对应的多个预设类型,各个预设类型对应的多个关键点,以及各个预设类型对应的多个关键点之间的相对位置信息建立预设类型数据库。
例如,假设预设部位为眼睛,并且,假设电子设备得到的眼睛对应的多个预设类型分别为:标准眼类型、丹凤眼类型和小圆眼类型。那么,电子设备便可以根据眼睛对应的标准眼类型,标准眼类型对应的多个关键点,标准眼类型对应的多个关键点之间的相对位置,眼睛对应的丹凤眼类型,丹凤眼类型对应的多个关键点,丹凤眼类型对应的多个关键点之间的相对位置,眼睛对应的小圆眼类型,小圆眼类型对应的多个关键点,小圆眼类型对应的多个关键点之间的相对位置,建立预设类型数据库。其中,标准眼类型,标准眼类型对应的多个关键点,以及标准眼类型对应的多个关键点之间的相对位置相互关联。丹凤眼类型,丹凤眼类型对应的多个关键点,以及丹凤眼类型对应的多个关键点之间的相对位置相互关联。小圆眼类型,小圆眼类型对应的多个关键点,以及小圆眼类型对应的多个关键点之间的相对位置相互关联。例如,当确定某人脸图像中的人脸的眼睛所属的类型为标准眼类型时,电子设备可以对应得到标准眼类型对应的多个关键点,以及标准眼类型对应的多个关键点之间的相对位置。
在204中,电子设备获取初始图像。
例如,用户可以打开电子设备的拍照应用,然后对准人脸进行拍照,电子设备即接收到拍照指令,然后,电子设备可以根据该拍照指令得到初始图像。其中,该初始图像包括人脸和除人脸外的其他物体。
在205中,电子设备从初始图像中提取出人脸图像,该人脸图像仅包含人脸。
例如,电子设备可以将初始图像输入卷积神经网络模型中,通过该卷积神经网络模型对初始图像中的人脸的大概位置进行预测,最终输出人脸在初始图像中的位置坐标(x,y,w,h)和人脸置信度。其中,x,y表示人脸左上角位置,w,h表示该人脸在初始图像中的偏移量。人脸置信度用于判定该初始图像中是否包含人脸。当电子设备通过人脸置信度判定该初始图像中包含人脸,且确定人脸在初始图像中的位置坐标之后,电子设备可以从初始图像中提取出人脸图像。
在206中,电子设备确定人脸图像中的人脸的预设部位所属的类型,预设部位对应的第一关键点,以及第一关键点的位置信息。
当电子设备获取到人脸图像之后,电子设备可以确定人脸图像中的人脸的预设部位所属的类型。例如,当预设类型为眼睛时,电子设备便可以确定该眼睛所属的类型。例如,电子设备可以确定该眼睛所属的类型为丹凤眼。
然后,电子设备还可以确定人脸图像中的人脸的预设部位对应的第一关键点,以及第一关键点在该人脸图像中的位置。例如,当预设部位为鼻子时,电子设备可以确定该鼻子对应的第一关键点,以及该第一关键点在人脸图像中的位置。其中,第一关键点可以为一个或多个。
例如,电子设备可以将该人脸图像输入卷积神经网络模型中,通过该卷积神经网络模型确定该人脸图像中的人脸的预设部位所属的类型,该预设部位对应的第一关键点,以及第一关键点在人脸图像中的位置。
由于采用卷积神经网络模型仅仅只能准确地确定出少量的关键在人脸图像中的位置时,因此可知,采用卷积神经网络模型仅仅准确地确定出少量的关键点,即准确地确定出少量的第一关键点。
可以理解的是,在该流程206中,电子设备仅仅可以准确地确定预设部位对应的部分关键点在人脸图像中的位置,无法准确地确定预设部位对应的所有关键点在人脸图像中的位置。例如,假设预设部位对应的所有关键点为9个,在该流程206中,电子设备仅仅可以准确地确定出预设部位对应的4个关键点在人脸图像中的位置。即在该流程206中,电子设备可以准确地确定人脸图像中的人脸的预设部位对应的4个第一关键点在人脸图像中的位置。
在207中,电子设备从预设类型数据库中确定出与预设部位所属的类型匹配的目标类型对应的多个关键点,以及目标类型对应的多个关键点之间的相对位置信息,该预设类型数据库包括预设部位对应的多个预设类型,各个预设类型对应的多个关键点,以及各个预设类型对应的多个关键点之间的相对位置信息。
在本实施例中,当电子设备确定预设部位所属的类型之后,电子设备可以从预设类型数据库中确定出与预设部位所属的类型匹配的目标类型对应的多个关键点,以及目标类型对应的多个关键点之间的相对位置信息。例如,假设该预设部位为眼睛,该预设部位所属的类型为丹凤眼。电子设备在确定眼睛的类型为丹凤眼之后,电子设备可以检测预设类型数据库是否存在丹凤眼类型,若预设类型数据库中存在丹凤眼类型,电子设备可以确定丹凤眼类型对应的多个关键点,以及丹凤眼类型对应的多个关键点之间的相对位置。若预设类型数据库中不存在丹凤眼类型,电子设备可以获取丹凤眼类型对应的多个关键点,以及丹凤眼类型对应的多个关键点之间的相对位置信息。然后,电子设备可以将丹凤眼类型,丹凤眼类型对应的多个关键点,以及丹凤眼类型对应多个关键点之间的相对位置信息存入预设类型数据库中,以对预设类型数据库进行更新。
在208中,电子设备根据第一关键点,第一关键点的位置信息,目标类型对应的多个关键点,以及目标类型对应的多个关键点之间的相对位置信息,确定预设部位对应的第二关键点的位置信息,第二关键点是预设部位除第一关键点之外的关键点。
在本实施例中,假设预设部位为眼睛,目标类型为丹凤眼,该丹凤眼类型的全部关键点为9个,流程206确定的关键点为4个,即第一关键点为4个。那么,电子设备可以根据4个第一关键点,第一关键点在人脸图像中的位置,丹凤眼类型对应的9个关键点,以及丹凤眼类型对应的9个关键点之间的相对位置,确定类型为丹凤眼的眼睛对应的剩余5个关键点的位置信息,即确定剩余5个关键点在人脸图像中的位置,即确定第二关键点的位置信息,即确定第二关键点在人脸图像中的位置。
在209中,电子设备根据第一关键点和第二关键点的位置信息,确定预设部位的关键点。
在电子设备确定第二关键点在人脸图像中的位置之后,电子设备可以根据第一关键点和第二关键点在人脸图像中的位置,确定预设部位的所有关键点。
在210中,电子设备根据预设部位的关键点和预设部位的关键点的位置信息,确定预设部位在人脸图像中的位置,该预设部位的关键点的位置信息包括第一关键点的位置信息和第二关键点的位置信息。
其中,预设部位的关键点包括第一关键点和第二关键点。
比如,在之前的流程中,电子设备已确定第一关键点在人脸图像中的位置和第二关键点在人脸图像中的位置,那么即已确定预设部位的关键点在人脸图像中的位置,因此,在电子设备确定预设部位的所有关键点之后,电子设备可以根据预设部位的所有关键点以及预设部位的所有关键点在人脸图像中的位置,确定预设部位在人脸图像中的位置。
例如,假设预设部位为眼睛,电子设备已确定眼睛的所有关键点和眼睛的所有关键点在人脸图像中的位置,电子设备可以根据眼睛的所有关键点在人脸图像中的位置确定眼睛在人脸图像中的具***置。
可以理解的是,确定的预设部位对应的关键点越多,得到的预设部位在人脸图像中的位置越准确。因此,电子设备可以根据实际情况确定需要确定预设部位的关键点的数量。而在本实施例中,预设类型对应的多个关键点的数量则决定了预设部位的关键点的数量,即预设类型对应的多个关键点的数量与预设部位的关键点的数量相同,因此,电子设备可以根据实际情况确定需要确定的预设部位的关键点的数量,然后在建立类型数据库时,确定预设类型对应的多个关键点的数量,从而最终得到对应数量的预设部位的关键点。
比如,在流程206仅仅只能准确确定预设部位的少量关键点的基础上,在建立预设类型数据库时,对于每个预设类型对应的关键点,电子设备可以根据实际需求确定需要确定多少个关键点。例如,在进行人像美颜时,为了使得美颜后的图像更加真实,自然,准确地确定人脸的各个部位在人脸图像中的位置尤为重要。因此,在本实施例的人脸关键点检测方法用于人像美颜时,电子设备可以在建立预设类型数据库时,确定数量较多的关键点,以便更加准确地确定人脸的各个部位在人脸图像中的位置,从而得到更加真实,自然的美颜图像。
可以理解的是,通过采用本实施例提供的人脸关键点检测方法,可以准确检测出人脸图像中的人脸的眼睛对应的关键点以及眼睛对应的关键点在人脸图像中的位置,鼻子对应的关键点以及鼻子对应的关键点在人脸图像中的位置,或者嘴巴对应的关键点以及嘴巴对应的关键点在人脸图像中的位置,等等,也即通过采用本实施例提供的人脸关键点检测方法,可以准确地检测出人脸图像中的人脸的各个部位的关键点以及各个部位的关键点在人脸图像中的位置,从而最终可以根据各个部位的关键点以及各个部位的关键点在人脸图像中的位置确定各个部位在人脸图像中的位置。
请参阅图4,在一些实施例中,流程201可以包括:
2011、电子设备获取多张历史人脸图像。
比如,用户A可以打开电子设备的拍照应用,对用户A,用户A的朋友及亲人进行拍照,或者用户可以打开浏览器应用,搜索人脸图像并进行下载及保存,从而使得电子设备得到多张历史人脸图像。其中,该多张历史人脸图像可以包括人脸和除人脸之外的其他物体。
或者,电子设备可以对多张历史人脸图像进行处理,从而使得该多张历史人脸图像仅包含人脸。
需要说明的是,本实施例所述的人脸图像和历史人脸图像的区别在于,历史人脸图像是用于根据该历史人脸图像最终建立预设类型数据库,而人脸图像是用于采用本实施例提供的人脸关键点检测方法来识别该人脸图像中的所有关键点的人脸图像。也即,只有根据该历史人脸图像最终建立预设类型数据库之后,才能采用本实施例提供的人脸关键点检测方法来识别该人脸图像中的所有关键点。其中,电子设备可以根据人工标记或者模型来确定历史人脸图像中的所有关键点。
2012、电子设备根据多张历史人脸图像,确定预设部位对应的多个预设类型。
当电子设备获取到多张历史人脸图像之后,电子设备可以根据该多张历史人脸图像,确定预设部位对应的多个预设类型。
比如,电子设备得到多张历史人脸图像之后,电子设备可以对多张历史人脸图像中的人脸的预设部位进行分类,确定每张历史人脸图像中的人脸的预设部位所属的类型,然后根据每张历史人脸图像中的人脸的预设部位所属的类型,确定预设部位对应的多个预设类型。
例如,假设预设部位为眼睛,并且,假设电子设备获取到5张历史人脸图像。电子设备得到5张历史人脸图像之后,电子设备可以对5张历史人脸图像中的人脸的眼睛进行分类,确定每张历史人脸图像中的人脸的眼睛所属的类型,假设电子设备确定第一张人脸图像中的人脸的眼睛为标准眼类型,第二张人脸图像中的人脸的眼睛为丹凤眼类型,第三张人脸图像中的人脸的眼睛为小圆眼类型,第四张人脸图像中的人脸的眼睛为突眼类型,第五张人脸图像中的人脸的眼睛为三角眼类型,电子设备可以确定眼睛对应的多个预设类型为:标准眼类型、丹凤眼类型、小圆眼类型、突眼类型及三角眼类型。另外,假设电子设备确定第一张人脸图像中的人脸的眼睛为标准眼类型,第二张人脸图像中的人脸的眼睛为丹凤眼类型,第三张人脸图像中的人脸的眼睛为丹凤眼类型,第四张人脸图像中的人脸的眼睛为标准眼类型,第五张人脸图像中的人脸的眼睛为三角眼类型,电子设备可以确定眼睛对应多个预设类型为:标准眼类型、丹凤眼类型及三角眼类型。
可以理解的是,电子设备获取到的历史人脸图像越多,得到的预设部位对应的预设类型的数量便可能越多。因此,电子设备可以根据实际情况确定获取历史人脸图像的数量。
请参阅图5,在一些实施例中,流程202可以包括:
2021、电子设备对各个预设类型的预设部位进行关键点标记,得到各个预设类型对应的多个关键点。
比如,当预设部位为眼睛时,电子设备可以对各个预设类型的眼睛进行关键点标记,得到各个预设类型对应的多个关键点。
例如,假设有标准眼、丹凤眼和小圆眼这三种眼睛类型,电子设备可以对标准眼类型的眼睛进行关键点标记,得到标准眼类型对应的多个关键点。电子设备可以对丹凤眼类型的眼睛进行关键点标记,得到丹凤眼类型对应的多个关键点。电子设备可以对小圆眼类型的眼睛进行关键点标记,得到小圆眼类型对应的多个关键点。
在本实施例中,预设类型对应的多个关键点的数量可以根据实际情况确定,此处不作具体限制。例如,在实际应用中,需要预设类型对应的多个关键点的数量为23个,那么电子设备即可以对各个预设类型的预设部位进行关键点标记,以标记23个关键点,从而得到各个预设类型对应的23个关键点。
2022、电子设备从各个预设类型对应的多个关键点中确定一初始关键点。
例如,假设有标准眼、丹凤眼和小圆眼这三种眼睛类型,电子设备可以从标准眼对应的多个关键点中确定一初始关键点。电子设备可以从丹凤眼对应的多个关键点中确定一初始关键点。电子设备可以从小圆眼对应的多个关键点中确定一初始关键点。例如,电子设备可以从丹凤眼对应的多个关键点中确定出处于最左边位置的那个关键点为初始关键点;或者,电子设备可以从小圆眼对应的多个关键点中确定出处于中心位置的那个关键点为初始关键点;或者,电子设备可以从小圆眼对应的多个关键点中确定任意一个关键点为初始关键点。
2023、电子设备确定初始关键点的位置坐标。
假设对于丹凤眼对应的多个关键点,电子设备确定出初始关键点之后,电子设备可以确定该初始关键点的位置坐标。例如,电子设备可以确定该初始关键点的位置坐标为(0,0)。
2024、电子设备根据初始关键点的位置坐标,确定各个预设类型对应的多个关键点之间的相对位置信息。
假设对于丹凤眼对应的多个关键点,当电子设备确定初始关键点的位置坐标之后,电子设备便可以根据初始关键点的位置坐标,确定丹凤眼对应的多个关键点之间的相对位置信息。
例如,可以以初始关键点的位置坐标(0,0)为坐标原点建立平面直角坐标系,从而可以确定丹凤眼对应的多个关键点中除初始关键点之外的其他关键点的位置坐标。
请参阅图6,在一些实施例中,流程2012可以包括:
20121、电子设备对各张历史人脸图像中的人脸的预设部位进行预设类型标记,得到各张历史人脸图像中的人脸的预设部位对应的预设类型。
例如,假设预设部位为眼睛,并且,假设电子设备获取到5张历史人脸图像。电子设备得到5张历史人脸图像之后,电子设备可以对5张历史人脸图像中的人脸的眼睛进行预设类型标记,确定每张历史人脸图像中的人脸的眼睛所属的类型,假设电子设备标记第一张人脸图像中的人脸的眼睛为标准眼类型,第二张人脸图像中的人脸的眼睛为丹凤眼类型,第三张人脸图像中的人脸的眼睛为小圆眼类型,第四张人脸图像中的人脸的眼睛为突眼类型,第五张人脸图像中的人脸的眼睛为三角眼类型,电子设备可以确定人脸的眼睛对应的多个预设类型为:标准眼类型、丹凤眼类型、小圆眼类型、突眼类型及三角眼类型。另外,假设电子设备标记第一张人脸图像中的人脸的眼睛为标准眼类型,第二张人脸图像中的人脸的眼睛为丹凤眼类型,第三张人脸图像中的人脸的眼睛为丹凤眼类型,第四张人脸图像中的人脸的眼睛为标准眼类型,第五张人脸图像中的人脸的眼睛为三角眼类型,电子设备可以确定人脸的眼睛对应多个预设类型为:标准眼类型、丹凤眼类型及三角眼类型。
在一些实施例中,电子设备得到多张历史人脸图像之后,电子设备可以从用户处接收预设类型标记指令,以对各张历史人脸图像中的人脸的预设部位进行预设类型标记。即,由用户确定各张历史人脸图像中的人脸的预设部位属于什么类型,并由用户对各张历史人脸图像中的人脸的预设部位所属的类型进行标记。
在另一些实施例中,电子设备得到多张历史人脸图像之后,对于其中一部分历史人脸图像,电子设备可以从用户处接受预设类型标记指令,以对这部分历史人脸图像中的人脸的预设部位分别进行预设类型标记,即由用户确定这部分历史人脸图像中的人脸的预设部位所属的类型。然后,当确定这一部分历史人脸图像中的人脸的预设部位所属的类型之后,电子设备可以对各个类型的预设部位进行特征学习,从而最终可以自主识别出另一部分历史人脸图像中的人脸的预设部位所属的类型。例如,电子设备可以将这一部分已完成预设类型标记的历史人脸图像作为训练数据放入一模型中,对这一部分已完成预设类型标记的历史人脸图像进行训练,最终得到一训练好的模型。电子设备可以将另一部分未进行预设类型标记的历史人脸图像输入该训练好的模型中,以对另一部分的历史人脸图像中的人脸的预设部位进行预设类型标记。
20122、电子设备根据各张历史人脸图像中的人脸的预设部位对应的预设类型,确定预设部位对应的多个预设类型。
例如,假设有3张历史人脸图像,并且假设预设部位为眼睛。电子设备标记第一张历史人脸图像中的人脸的眼睛为标准眼类型,电子设备标记第二张历史人脸图像中的人脸的眼睛为丹凤眼类型,电子设备标记第三张历史人脸图像中的人脸的眼睛为小圆眼类型,那么电子设备可以确定眼睛对应的多个预设类型分别为:标准眼类型、丹凤眼类型及小圆眼类型。
在一些实施例中,在具备全景感知架构的电子设备中,电子设备可以利用信息感知层的图像传感器采集人脸图像,例如,电子设备可以利用信息感知层的图像传感器采集多张历史人脸图像;电子设备可以利用数据处理层对信息感知层采集到的人脸图像进行处理,例如,电子设备可以利用数据处理层对信息感知层采集到的多张历史人脸图像进行清理,以剔除无效人脸图像或重复的人脸图像;电子设备可以利用特征抽取层对人脸图像进行特征抽取,从而最终通过对人脸图像中的特征进行学习来识别不同的人脸图像,或者识别人脸图像中的不同部位;电子设备可以利用情景建模层对本实施例中已完成预设类型标记的历史人脸图像进行训练,从而得到一训练好的模型,电子设备可以将未进行预设类型标记的历史人脸图像输入该训练好的模型中,从而对未进行预设类型标记的历史人脸图像进行预设类型标记;电子设备可以利用智能服务层对人脸图像中的关键点进行检测,从而确定人脸图像中的所有关键点,进而根据人脸图像中的所有关键点确定预设部位在人脸图像中的位置,例如,确定眼睛在人脸图像中的位置;或者确定鼻子在人脸图像中的位置等等。
请参阅图7,图7为本申请实施例提供的人脸关键点检测装置的结构示意图。该人脸关键点检测装置可以包括:获取模块301,第一确定模块302,第二确定模块303,第三确定模块304和第四确定模块305。
获取模块301,用于获取人脸图像。
第一确定模块302,用于确定所述人脸图像中的人脸的预设部位所属的类型,所述预设部位对应的第一关键点,以及所述第一关键点的位置信息。
第二确定模块303,用于从预设类型数据库中确定出与所述预设部位所属的类型匹配的目标类型对应的多个关键点,以及所述目标类型对应的多个关键点之间的相对位置信息,其中,所述预设类型数据库包括所述预设部位对应的多个预设类型,各个预设类型对应的多个关键点,以及所述各个预设类型对应的多个关键点之间的相对位置信息。
第三确定模块304,用于根据所述第一关键点,所述第一关键点的位置信息,所述目标类型对应的多个关键点,以及所述目标类型对应的多个关键点之间的相对位置信息,确定预设部位对应的第二关键点的位置信息,所述第二关键点是所述预设部位除所述第一关键点之外的关键点。
第四确定模块305,用于根据所述第一关键点和所述第二关键点的位置信息,确定所述预设部位的关键点。
在一些实施例中,获取模块301可以用于:获取预设部位对应的多个预设类型;确定各个预设类型对应的多个关键点,以及各个预设类型对应的多个关键点之间的相对位置信息;根据所述预设部位对应的多个预设类型,各个预设类型对应的多个关键点,以及各个预设类型对应的多个关键点之间的相对位置信息建立预设类型数据库。
在一些实施例中,获取模块301可以用于:获取多张历史人脸图像;根据所述多张历史人脸图像,确定预设部位对应的多个预设类型。
在一些实施例中,获取模块301可以用于:对各张历史人脸图像中的人脸的预设部位进行预设类型标记,得到各张历史人脸图像中的人脸的预设部位对应的预设类型;根据各张历史人脸图像中的人脸的预设部位对应的预设类型,确定预设部位对应的多个预设类型。
在一些实施例中,获取模块301可以用于:对各个预设类型的预设部位进行关键点标记,得到各个预设类型对应的多个关键点;从各个预设类型对应的多个关键点中确定一初始关键点;确定所述初始关键点的位置坐标;根据所述初始关键点的位置坐标,确定各个预设类型对应的多个关键点之间的相对位置信息。
在一些实施例中,获取模块301可以用于:获取初始图像;从所述初始图像中提取出人脸图像,其中,所述人脸图像仅包含人脸。
在一些实施例中,第四确定模块305可以用于:根据所述预设部位的关键点和预设部位的关键点的位置信息,确定所述预设部位在所述人脸图像中的位置,其中,所述预设部位的关键点的位置信息包括所述第一关键点的位置信息和所述第二关键点的位置信息。
本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行如本实施例提供的人脸关键点检测方法中的流程。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行本实施例提供的人脸关键点检测方法中的流程。
例如,上述电子设备可以是智能手机、平板电脑、游戏设备、AR(AugmentedReality,增强现实)设备、汽车、数据存储装置、音频播放装置、视频播放装置、笔记本电脑、桌面计算设备、可穿戴设备诸如电子手表、电子眼镜、电子头盔、电子手链、电子项链、电子衣物等设备。
请参阅图8,图8为本申请实施例提供的电子设备的第一种结构示意图。
该电子设备400可以包括处理器401和存储器402等部件。其中,处理器401与存储器402电性连接。本领域技术人员可以理解,图8中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
处理器401是电子设备400的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或调用存储在存储器402内的计算机程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备400中的处理器401会按照如下的流程,将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中,并由处理器401来运行存储在存储器402中的计算机程序,从而实现各种功能:
获取人脸图像;
确定所述人脸图像中的人脸的预设部位所属的类型,所述预设部位对应的第一关键点,以及所述第一关键点的位置信息;
从预设类型数据库中确定出与所述预设部位所属的类型匹配的目标类型对应的多个关键点,以及所述目标类型对应的多个关键点之间的相对位置信息,其中,所述预设类型数据库包括所述预设部位对应的多个预设类型,各个预设类型对应的多个关键点,以及所述各个预设类型对应的多个关键点之间的相对位置信息;
根据所述第一关键点,所述第一关键点的位置信息,所述目标类型对应的多个关键点,以及所述目标类型对应的多个关键点之间的相对位置信息,确定预设部位对应的第二关键点的位置信息,所述第二关键点是所述预设部位除所述第一关键点之外的关键点;
根据所述第一关键点和所述第二关键点的位置信息,确定所述预设部位的关键点。
请参阅图9,图9为本申请实施例提供的电子设备的第二种结构示意图。
其中,电子设备500包括:处理器501、存储器502、显示屏503、控制电路504、输入单元505、传感器506以及电源507。其中,处理器501分别与显示屏503、控制电路504、输入单元505、传感器506以及电源507电性连接。
显示屏503可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
控制电路504与显示屏503电性连接,用于控制显示屏503显示信息。
输入单元505可用于接收输入的数字、字符信息或用户特征信息(例如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中,输入单元505可以包括指纹识别模组。
传感器506用于采集电子设备自身的信息或者用户的信息或者外部环境信息。例如,传感器506可以包括距离传感器、磁场传感器、光线传感器、加速度传感器、指纹传感器、霍尔传感器、位置传感器、陀螺仪、惯性传感器、姿态感应器、气压计、心率传感器等多个传感器。
电源507用于给电子设备500的各个部件供电。在一些实施例中,电源507可以通过电源管理***与处理器501逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
尽管图9中未示出,电子设备500还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本实施例中,电子设备中的处理器501会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器502中,并由处理器501来运行存储在存储器502中的应用程序,从而实现流程:
获取人脸图像;
确定所述人脸图像中的人脸的预设部位所属的类型,所述预设部位对应的第一关键点,以及所述第一关键点的位置信息;
从预设类型数据库中确定出与所述预设部位所属的类型匹配的目标类型对应的多个关键点,以及所述目标类型对应的多个关键点之间的相对位置信息,其中,所述预设类型数据库包括所述预设部位对应的多个预设类型,各个预设类型对应的多个关键点,以及所述各个预设类型对应的多个关键点之间的相对位置信息;
根据所述第一关键点,所述第一关键点的位置信息,所述目标类型对应的多个关键点,以及所述目标类型对应的多个关键点之间的相对位置信息,确定预设部位对应的第二关键点的位置信息,所述第二关键点是所述预设部位除所述第一关键点之外的关键点;
根据所述第一关键点和所述第二关键点的位置信息,确定所述预设部位的关键点。
在一些实施方式中,处理器501执行所述获取人脸图像的流程之前,还可以执行:获取预设部位对应的多个预设类型;确定各个预设类型对应的多个关键点,以及各个预设类型对应的多个关键点之间的相对位置信息;根据所述预设部位对应的多个预设类型,各个预设类型对应的多个关键点,以及各个预设类型对应的多个关键点之间的相对位置信息建立预设类型数据库。
在一些实施方式中,处理器501执行所述获取预设部位对应的多个预设类型的流程时,可以执行:获取多张历史人脸图像;根据所述多张历史人脸图像,确定预设部位对应的多个预设类型。
在一些实施方式中,处理器501执行所述根据所述多张历史人脸图像,确定预设部位对应的多个预设类型的流程时,可以执行:对各张历史人脸图像中的人脸的预设部位进行预设类型标记,得到各张历史人脸图像中的人脸的预设部位对应的预设类型;根据各张历史人脸图像中的人脸的预设部位对应的预设类型,确定预设部位对应的多个预设类型。
在一些实施方式中,处理器501执行所述确定各个预设类型对应的多个关键点,以及各个预设类型对应的多个关键点之间的相对位置信息的流程时,可以执行:对各个预设类型的预设部位进行关键点标记,得到各个预设类型对应的多个关键点;从各个预设类型对应的多个关键点中确定一初始关键点;确定所述初始关键点的位置坐标;根据所述初始关键点的位置坐标,确定各个预设类型对应的多个关键点之间的相对位置信息。
在一些实施方式中,处理器501执行所述获取人脸图像的流程时,可以执行:获取初始图像;从所述初始图像中提取出人脸图像,其中,所述人脸图像仅包含人脸。
在一些实施方式中,处理器501执行所述根据所述第一关键点和所述第二关键点的位置信息,确定所述预设部位的关键点的流程之后,还可以执行:根据所述预设部位的关键点和预设部位的关键点的位置信息,确定所述预设部位在所述人脸图像中的位置,其中,所述预设部位的关键点的位置信息包括所述第一关键点的位置信息和所述第二关键点的位置信息。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对人脸关键点检测方法的详细描述,此处不再赘述。
本申请实施例提供的所述人脸关键点检测装置与上文实施例中的人脸关键点检测方法属于同一构思,在所述人脸关键点检测装置上可以运行所述人脸关键点检测方法实施例中提供的任一方法,其具体实现过程详见所述人脸关键点检测方法实施例,此处不再赘述。
需要说明的是,对本申请实施例所述人脸关键点检测方法而言,本领域普通技术人员可以理解实现本申请实施例所述人脸关键点检测方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在存储器中,并被至少一个处理器执行,在执行过程中可包括如所述人脸关键点检测方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(ROM,ReadOnly Memory)、随机存取记忆体(RAM,Random Access Memory)等。
对本申请实施例的所述人脸关键点检测装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种人脸关键点检测方法、装置、存储介质以及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种人脸关键点检测方法,其特征在于,包括:
获取人脸图像;
确定所述人脸图像中的人脸的预设部位所属的类型,所述预设部位对应的第一关键点,以及所述第一关键点的位置信息;
从预设类型数据库中确定出与所述预设部位所属的类型匹配的目标类型对应的多个关键点,以及所述目标类型对应的多个关键点之间的相对位置信息,其中,所述预设类型数据库包括所述预设部位对应的多个预设类型,各个预设类型对应的多个关键点,以及所述各个预设类型对应的多个关键点之间的相对位置信息;
根据所述第一关键点,所述第一关键点的位置信息,所述目标类型对应的多个关键点,以及所述目标类型对应的多个关键点之间的相对位置信息,确定预设部位对应的第二关键点的位置信息,所述第二关键点是所述预设部位除所述第一关键点之外的关键点;
根据所述第一关键点和所述第二关键点的位置信息,确定所述预设部位的关键点。
2.根据权利要求1所述的人脸关键点检测方法,其特征在于,在所述获取人脸图像之前,还包括:
获取预设部位对应的多个预设类型;
确定各个预设类型对应的多个关键点,以及各个预设类型对应的多个关键点之间的相对位置信息;
根据所述预设部位对应的多个预设类型,各个预设类型对应的多个关键点,以及各个预设类型对应的多个关键点之间的相对位置信息建立预设类型数据库。
3.根据权利要求2所述的人脸关键点检测方法,其特征在于,所述获取预设部位对应的多个预设类型,包括:
获取多张历史人脸图像;
根据所述多张历史人脸图像,确定预设部位对应的多个预设类型。
4.根据权利要求3所述的人脸关键点检测方法,其特征在于,所述根据所述多张历史人脸图像,确定预设部位对应的多个预设类型,包括:
对各张历史人脸图像中的人脸的预设部位进行预设类型标记,得到各张历史人脸图像中的人脸的预设部位对应的预设类型;
根据各张历史人脸图像中的人脸的预设部位对应的预设类型,确定预设部位对应的多个预设类型。
5.根据权利要求2所述的人脸关键点检测方法,其特征在于,所述确定各个预设类型对应的多个关键点,以及各个预设类型对应的多个关键点之间的相对位置信息,包括:
对各个预设类型的预设部位进行关键点标记,得到各个预设类型对应的多个关键点;
从各个预设类型对应的多个关键点中确定一初始关键点;
确定所述初始关键点的位置坐标;
根据所述初始关键点的位置坐标,确定各个预设类型对应的多个关键点之间的相对位置信息。
6.根据权利要求1所述的人脸关键点检测方法,其特征在于,所述获取人脸图像,包括:
获取初始图像;
从所述初始图像中提取出人脸图像,其中,所述人脸图像仅包含人脸。
7.根据权利要求1所述的人脸关键点检测方法,其特征在于,在所述根据所述第一关键点和所述第二关键点的位置信息,确定所述预设部位的关键点之后,还包括:
根据所述预设部位的关键点和预设部位的关键点的位置信息,确定所述预设部位在所述人脸图像中的位置,其中,所述预设部位的关键点的位置信息包括所述第一关键点的位置信息和所述第二关键点的位置信息。
8.一种人脸关键点检测装置,其特征在于,包括:
获取模块,用于获取人脸图像;
第一确定模块,用于确定所述人脸图像中的人脸的预设部位所属的类型,所述预设部位对应的第一关键点,以及所述第一关键点的位置信息;
第二确定模块,用于从预设类型数据库中确定出与所述预设部位所属的类型匹配的目标类型对应的多个关键点,以及所述目标类型对应的多个关键点之间的相对位置信息,其中,所述预设类型数据库包括所述预设部位对应的多个预设类型,各个预设类型对应的多个关键点,以及所述各个预设类型对应的多个关键点之间的相对位置信息;
第三确定模块,用于根据所述第一关键点,所述第一关键点的位置信息,所述目标类型对应的多个关键点,以及所述目标类型对应的多个关键点之间的相对位置信息,确定预设部位对应的第二关键点的位置信息,所述第二关键点是所述预设部位除所述第一关键点之外的关键点;
第四确定模块,用于根据所述第一关键点和所述第二关键点的位置信息,确定所述预设部位的关键点。
9.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行权利要求1至7任一项所述的人脸关键点检测方法。
10.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行权利要求1至7任一项所述的人脸关键点检测方法。
CN201910282426.3A 2019-04-09 2019-04-09 人脸关键点检测方法、装置、存储介质及电子设备 Active CN111797656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910282426.3A CN111797656B (zh) 2019-04-09 2019-04-09 人脸关键点检测方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910282426.3A CN111797656B (zh) 2019-04-09 2019-04-09 人脸关键点检测方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111797656A CN111797656A (zh) 2020-10-20
CN111797656B true CN111797656B (zh) 2023-08-22

Family

ID=72805346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910282426.3A Active CN111797656B (zh) 2019-04-09 2019-04-09 人脸关键点检测方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111797656B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578451B (zh) * 2022-09-30 2024-01-23 北京百度网讯科技有限公司 图像处理方法、图像处理模型的训练方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599830A (zh) * 2016-12-09 2017-04-26 中国科学院自动化研究所 人脸关键点定位方法及装置
CN108090450A (zh) * 2017-12-20 2018-05-29 深圳和而泰数据资源与云技术有限公司 人脸识别方法和装置
CN108550185A (zh) * 2018-05-31 2018-09-18 Oppo广东移动通信有限公司 人脸美化处理方法和装置
CN109359575A (zh) * 2018-09-30 2019-02-19 腾讯科技(深圳)有限公司 人脸检测方法、业务处理方法、装置、终端及介质
CN109376684A (zh) * 2018-11-13 2019-02-22 广州市百果园信息技术有限公司 一种人脸关键点检测方法、装置、计算机设备和存储介质
CN109492531A (zh) * 2018-10-10 2019-03-19 深圳前海达闼云端智能科技有限公司 人脸图像关键点提取方法、装置、存储介质及电子设备
CN109558864A (zh) * 2019-01-16 2019-04-02 苏州科达科技股份有限公司 人脸关键点检测方法、装置及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295476B (zh) * 2015-05-29 2019-05-17 腾讯科技(深圳)有限公司 人脸关键点定位方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599830A (zh) * 2016-12-09 2017-04-26 中国科学院自动化研究所 人脸关键点定位方法及装置
CN108090450A (zh) * 2017-12-20 2018-05-29 深圳和而泰数据资源与云技术有限公司 人脸识别方法和装置
CN108550185A (zh) * 2018-05-31 2018-09-18 Oppo广东移动通信有限公司 人脸美化处理方法和装置
CN109359575A (zh) * 2018-09-30 2019-02-19 腾讯科技(深圳)有限公司 人脸检测方法、业务处理方法、装置、终端及介质
CN109492531A (zh) * 2018-10-10 2019-03-19 深圳前海达闼云端智能科技有限公司 人脸图像关键点提取方法、装置、存储介质及电子设备
CN109376684A (zh) * 2018-11-13 2019-02-22 广州市百果园信息技术有限公司 一种人脸关键点检测方法、装置、计算机设备和存储介质
CN109558864A (zh) * 2019-01-16 2019-04-02 苏州科达科技股份有限公司 人脸关键点检测方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种多特征相结合的三维人脸关键点检测方法;冯超等;液晶与显示;49-59 *

Also Published As

Publication number Publication date
CN111797656A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN110807361B (zh) 人体识别方法、装置、计算机设备及存储介质
CN112052186B (zh) 目标检测方法、装置、设备以及存储介质
CN108492363B (zh) 基于增强现实的结合方法、装置、存储介质及电子设备
CN112036331B (zh) 活体检测模型的训练方法、装置、设备及存储介质
WO2021147434A1 (zh) 基于人工智能的人脸识别方法、装置、设备及介质
CN110555481A (zh) 一种人像风格识别方法、装置和计算机可读存储介质
CN110570460B (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN111243668B (zh) 分子结合位点检测方法、装置、电子设备及存储介质
CN111444826B (zh) 视频检测方法、装置、存储介质及计算机设备
Chaudhry et al. Design of a mobile face recognition system for visually impaired persons
CN112749613B (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN111797854A (zh) 场景模型建立方法、装置、存储介质及电子设备
CN111798259A (zh) 应用推荐方法、装置、存储介质及电子设备
CN111796925A (zh) 算法模型的筛选方法、装置、存储介质和电子设备
CN111797302A (zh) 模型处理方法、装置、存储介质及电子设备
CN111797849A (zh) 用户活动识别方法、装置、存储介质及电子设备
CN111798367A (zh) 图像处理方法、装置、存储介质及电子设备
CN111797873A (zh) 场景识别方法、装置、存储介质及电子设备
CN111797862A (zh) 任务处理方法、装置、存储介质和电子设备
CN111797656B (zh) 人脸关键点检测方法、装置、存储介质及电子设备
Bukht et al. A Robust Model of Human Activity Recognition using Independent Component Analysis and XGBoost
CN111695419B (zh) 一种图像数据处理方法及相关装置
CN116778347A (zh) 数据更新方法、装置、电子设备和存储介质
CN111797303A (zh) 信息处理方法、装置、存储介质及电子设备
CN111796663B (zh) 场景识别模型更新方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant