CN116883472A - 一种基于脸部三维图像配准的人脸护理*** - Google Patents

一种基于脸部三维图像配准的人脸护理*** Download PDF

Info

Publication number
CN116883472A
CN116883472A CN202311153799.3A CN202311153799A CN116883472A CN 116883472 A CN116883472 A CN 116883472A CN 202311153799 A CN202311153799 A CN 202311153799A CN 116883472 A CN116883472 A CN 116883472A
Authority
CN
China
Prior art keywords
point
face
dimensional
key
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311153799.3A
Other languages
English (en)
Other versions
CN116883472B (zh
Inventor
郭勇
常阳
李圣玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Daizhuang Hospital Shandong Ankang Hospital Jining Mental Health Center
Original Assignee
Shandong Deyixin Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Deyixin Information Technology Co ltd filed Critical Shandong Deyixin Information Technology Co ltd
Priority to CN202311153799.3A priority Critical patent/CN116883472B/zh
Publication of CN116883472A publication Critical patent/CN116883472A/zh
Application granted granted Critical
Publication of CN116883472B publication Critical patent/CN116883472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及三维图像配准领域,具体涉及一种基于脸部三维图像配准的人脸护理***。该***包括:三维采集模块、三维关键点融合特征向量检测模块以及三维配准模块,根据眼睛区域各三维轮廓点云的坐标及曲率信息得到左眼角关键点、右眼角关键点;根据鼻子区域各点云角点值以及与各眼角关键点的距离信息得到各点云的鼻尖定位概率因子,进而得到鼻尖关键点;结合鼻尖关键点的位置得到左右嘴角关键点;结合各关键点与局部空间邻域内各点云的灰度差异提取各关键点的特征向量及融合特征向量;根据各关键点的融合特征向量得到脸部配准误差率,完成人脸护理结果分析。从而实现三维脸部图像的精确配准,为人脸护理提供可靠信息。

Description

一种基于脸部三维图像配准的人脸护理***
技术领域
本发明涉及三维图像配准领域,具体涉及一种基于脸部三维图像配准的人脸护理***。
背景技术
在信息化快速发展的当下,人脸在传递身份、信息、情感乃至意图等方面起着关键性的作用,传统的二维图像受其像素维度的限制,使其无法表示真实人脸所能传递的信息量,且因为硬件设备性能的提升,各类二维人脸算法出现了性能过剩、算力溢出的现象,因此,越来越多的学者致力于三维人脸相关技术的研究,三维人脸的研究在三维游戏开发、人脸识别、人脸护理等领域都有着广泛的应用。
传统的三维图像配准方法通常需要再全局范围内搜索匹配的图像区域,需要大量的计算资源和时间,存在配准整体精度较低的问题。
综上所述,本发明提出了一种基于脸部三维图像配准的人脸护理***,通过提取脸部重要位置特征点,得到表征特征点的特征向量完成三维脸部图像配准,提高了三维人脸配准的精度及效率。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种基于脸部三维图像配准的人脸护理***,所采用的技术方案具体如下:
本发明提出了一种基于脸部三维图像配准的人脸护理***,所述***包括:
三维采集模块,用于采集不同视角的三维脸部图像;
三维关键点融合特征向量检测模块,获取三维脸部图像的左右眼睛区域、鼻子区域以及嘴巴区域;分别提取左右眼睛区域的三维轮廓点云,根据眼睛区域各三维轮廓点云的坐标及曲率信息得到每只眼睛的左眼角关键点、右眼角关键点;获取鼻子区域各点云的角点值,根据鼻子区域各点云角点值、坐标信息以及与各眼角关键点的距离信息得到各点云的鼻尖定位概率因子;将鼻子区域内鼻尖定位概率因子最大的点云作为鼻尖关键点;结合鼻尖关键点的位置信息得到嘴巴的上唇峰点、下边界点,根据嘴巴的上唇峰点及下边界点得到左右嘴角关键点;
根据各关键点与局部空间邻域内各点云的灰度差异得到各关键点的特征向量;根据各关键点的特征向量得到各关键点的融合特征向量;
三维配准模块,根据各关键点的融合特征向量得到脸部配准误差率,结合脸部配准误差率完成人脸护理结果分析。
进一步的,所述左眼角关键点包括:
对于每只眼睛;
获取眼睛区域内各三维轮廓点云三维坐标的和值及内角角度,计算所述和值与内角角度之和,记为第二和值,将眼睛区域中第二和值最小对应的三维轮廓点云作为左眼角关键点。
进一步的,所述右眼角关键点包括:
对于每只眼睛;
获取眼睛区域内各三维轮廓点云三维坐标的和值及曲率,计算所述和值与曲率之和,记为第一和值,将眼睛区域中第一和值最大对应的三维轮廓点云作为右眼角关键点。
进一步的,所述根据鼻子区域各点云角点值、坐标信息以及与各眼角关键点的距离信息得到各点云的鼻尖定位概率因子,具体为:
对于鼻子区域各点云;
计算点云角点值与Z坐标值的乘积结果,获取点云与各眼角关键点三维坐标的欧式距离的最小值,计算所述最小值与距离阈值差值的平方,获取以自然常数为底数,所述平方的相反数为指数的指数函数的计算结果;
将所述乘积结果与所述计算结果的乘积作为点云的鼻尖定位概率因子。
进一步的,所述结合鼻尖关键点的位置信息得到嘴巴的上唇峰点、下边界点包括:
对嘴巴区域进行三维轮廓检测,将嘴巴最外层的三维轮廓点云记为嘴巴外轮廓点云;
从鼻尖关键点横坐标对应竖直线向下遍历各点云,将所述竖直线上嘴巴区域内的第一个嘴巴外轮廓点云作为嘴巴的上唇峰点;从嘴巴的上唇峰点继续沿所述竖直线向下遍历各点云,将第二个嘴巴外轮廓点云作为嘴巴的下边界点。
进一步的,所述根据嘴巴的上唇峰点及下边界点得到左右嘴角关键点包括:
将嘴巴的上唇峰点与下边界点的连线中点作为唇部中心点,以唇部中心点为起点,分别获取水平方向上左右两侧的嘴巴外轮廓点云,作为左右嘴角关键点。
进一步的所述根据各关键点与局部空间邻域内各点云的灰度差异得到各关键点的特征向量包括:
对于各关键点;
以关键点为中心获取关键点的局部空间n×n×n邻域,其中n为预设局部空间尺寸;
将局部空间邻域内点云灰度值与关键点灰度值差值低于灰度阈值的点云记为0;将局部空间邻域内点云灰度值与关键点灰度值差值高于灰度阈值的点云记为1;
将局部空间邻域内各点云值组成的向量作为关键点的特征向量。
进一步的,所述根据各关键点的特征向量得到各关键点的融合特征向量包括:
将各关键点在不同视角的三维脸部图像中所获取的特征向量相加得到各关键点的融合特征向量。
进一步的,所述根据各关键点的融合特征向量得到脸部配准误差率包括:
计算各关键点的融合特征向量与标准三维人脸模型中对应各关键点的融合特征向量之间的余弦相似度,获取以自然常数为底数所述余弦相似度的相反数为指数的指数函数的计算结果,将所有关键点的所述计算结果的归一化和值作为脸部配准误差率,其中,所述脸部配准误差率与所述余弦相似度成负相关关系。
进一步的,所述结合脸部配准误差率完成人脸护理结果分析包括:
当脸部配准误差率高于误差率阈值时,脸部护理效果不明显;
当脸部配准误差率低于误差率阈值时,脸部护理效果明显。
本发明具有如下有益效果:
本发明基于人脸关键特征点的分析,提取脸部特征,从不同角度提取脸部关键位置特征点并获取全面表征特征点的特征向量,提高了三维脸部图像的配准精度,解决了脸部特征提取不全面导致特征匹配误差率高、效率低等问题。本发明具有较高的脸部图像配准精度且配准效率高、速度快。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于脸部三维图像配准的人脸护理***框图;
图2为不同视角三维脸部图像各关键点示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于脸部三维图像配准的人脸护理***,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于脸部三维图像配准的人脸护理***的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于脸部三维图像配准的人脸护理***框图,该***包括:三维采集模块101、三维关键点融合特征向量检测模块102、三维配准模块103。
三维采集模块101,采用3D相机采集用于脸部配准的三维脸部图像,获同一脸部不同角度的三维脸部图像,并对三维脸部图像预处理。
首先,利用3D相机对同一人脸从正前方、左侧方和右侧方三个角度拍摄三维脸部图像,得到三张三维脸部图像,并分别对三张三维脸部图像转化为灰度图像,并利用高斯滤波对三维图像进行去噪处理,需要说明的是,高斯滤波去噪及三维图像采集过程均为现有公知技术,具体的三维图像采集相机型号、拍摄角度以及视角的控制实施者自行设定,图像采集过程中光源的部署实施者也可根据实际情况自行安装,三维图像采集过程实施者可根据实际情况而定,本实施例对此不做限制。
根据本实施例上述方法通过3D相机采集用于脸部图像配准的三维人脸图像,得到同一脸部信息在三个角度下的三维脸部图像,作为三维脸部图像配准的关键数据。
三维关键点融合特征向量检测模块102,提取三张三维脸部图像的各关键点,并对各张三维脸部图像的关键点提取特征进行特征融合,得到各关键点的融合特征向量。
三维图像配准是将两个或多个三维图像进行对齐,使它们在相同的坐标系下进行比较或融合的过程。本实施例将根据三维脸部图像各三维点的特征信息进行不同拍摄角度下三维图像的匹配,由于三维脸部图像具有较为明显的特征点,如鼻子、眼睛、嘴巴等,因此挑选出这些特征点不仅能够提升图像匹配的准确率,而且也可以减小图像匹配的计算量,提高匹配速度,三维脸部图像匹配关键点的提取过程具体为:
首先,对三维脸部图像进行建模,以脸部横向为x轴,纵向为y轴,前后深度为z轴,建立脸部坐标系,然后对人脸上做粗略定位处理,以避免冗余的计算和可能出现的偏差,此外,还可以比较好地提取人脸特征的大致位置,使运算量简化。本实施例中采用语义分割网络对三维脸部图像中的左右眼睛区域、鼻子区域以及嘴巴区域进行初步分割提取,需要说明的是,过程为现有公知技术,不在本实施例保护范围内,在此不做相关详细阐述。
由于人脸结构的恒常性,因此可以引入各器官的相对位置、空间关系等信息,首先对左右眼角点进行定位,首先,对于左右眼睛区域,因为眼睛本身具有不一致的颜色信息,而且边缘信息也比较丰富,因此本实施例采用三维轮廓提取算法获取左、右眼睛区域的大致轮廓,然后根据左右眼睛轮廓上各三维轮廓点云的信息对每只眼睛的左右眼角进行定位。其中三维轮廓提取算法及过程不在本实施例保护范围内,可通过现有技术实现,本实施例不做相关详细阐述。需要说明的是,正面三维脸部图像中每只眼睛区域均可看到左右两个眼角,而侧面脸部图像中仅能够分析所能看到的一只眼睛的左右眼睛,因此,本实施例将首先对每只眼睛的左右眼睛进行定位,以任意一只眼睛为例,获取左、右眼角关键点,所述左、右眼角关键点的提取具体表达式为:
式中,为右眼角关键点,分别表示三维轮廓点云k的三维坐 标,为三维轮廓点云k的曲率,为左眼角关键点,为三维轮廓点云k在眼 睛三维轮廓中对应的内角角度,眼角关键点的构建逻辑为:针对眼睛三维轮廓,选取轮廓上 曲率最大且三维坐标之和最大的点云为右眼角关键点;选取轮廓上三维坐标之和最小且在 三维轮廓中对应内角最小的点云作为左眼角关键点。其中,为 第一和值。
重复本实施例上述方法,获取每张三维脸部图像中左眼的左、右眼角关键点,获取右眼的左、右眼角关键点,需要说明的是,考虑到本实施例分析的是左侧、右侧及正面三张脸部图像,针对每只眼睛轮廓,均进行左右眼角关键点定位,正面图像可以清晰的对两只眼睛进行左右眼角关键点的定位,而左侧和右侧图像仅对识别到的眼部轮廓内的眼睛进行左右眼角关键点的定位即可。至此,完成眼睛区域的眼角关键点的定位提取。
左右眼角关键点确定之后,根据眼角关键点的位置及器官之间的相对距离确定鼻 尖的位置,对三维脸部图像中的鼻子区域进行角点检测,获取鼻子区域各点云的角点值,需 要说明的是,角点检测现有算法有很多,实施者可自行选取,本实施例采用现有harris角点 检测算法,具体的角点检测过程为现有公知技术,不在本实施例保护范围内,在此不做相关 详细阐述,将各点云的角点值记为,由此计算鼻子区域各点云的鼻尖定位概率因子,所述 鼻尖定位概率因子具体表达式为:
式中,为点云i的鼻尖定位概率因子,为眼角关键点到点云i的三 维坐标的欧式距离,为距离阈值,为点云i的Z坐标值,为点云i的角点值, 需要说明的是,本实施例对距离阈值的取值不做限制,实施者可自行设定,本实施例中将距 离阈值设定为。所述鼻尖定位概率因子的构建逻辑为由于鼻尖为脸部最凸出的点, 因此,点云深度值越大也即Z坐标值越大,对应点云鼻尖定位概率因子就越大;鼻尖不仅凸 出且位于鼻子的顶点,相比于脸部其他器官,鼻尖是角度最明显的区域,因此,点云角点值 越大,对应点云的鼻尖定位概率因子就越大,同时,本实施例考虑到由于三庭五眼器官间存 在固定的距离,故若点云与距离该点云最近的眼角关键点之间的欧式距离与距离阈值接近 时,则对应点云鼻尖定位概率因子就越大。
重复本实施例上述方法,获取鼻子区域内各点云的鼻尖定位概率因子,将鼻尖定位概率因子最大对应的点云作为鼻尖关键点,需要说明的是,针对三张三维脸部图像均可根据本实施例上述方法进行鼻尖关键点的定位。至此,完成鼻尖关键点的提取。
进一步,本实施例考虑到五官之间的空间关系,为提高关键点的提取定位精度,本实施例将根据鼻尖的位置对三维脸部图像中的嘴巴位置进行定位。对于嘴巴区域,本实施例先根据鼻尖关键点位置确定嘴巴上唇峰点,对嘴巴区域进行轮廓检测,得到嘴巴大致三维轮廓,考虑到人体嘴巴分为上嘴唇与下嘴唇,同时嘴唇上会存在唇纹,因此所述嘴巴大致三维轮廓中将包含唇纹轮廓线等很多无关轮廓线,而本实施例仅对关键点进行提取,所述无关轮廓线将会对嘴巴上唇峰点以及下边界点的准确定位产生影响,因此,对于检测到的嘴巴大致三维轮廓,本实施例将不考虑嘴巴大致三维轮廓内的各三维局部轮廓点,仅对嘴巴大致三维轮廓中最外层的三维轮廓点云进行分析,将所述最外层的三维轮廓点云记为嘴巴外轮廓点云。三维轮廓检测提取过程不在本实施例保护范围内,为现有公知技术,本实施例对此不在详细阐述。
至此,即可获取嘴巴外轮廓信息,用于对嘴巴上唇峰以及下边界点进行提取,具体过程为:以鼻尖关键点的横坐标为基准,从鼻尖关键点横坐标对应竖直线向下遍历各点云,获取嘴巴区域内的第一个嘴巴外轮廓点云且保证与鼻尖关键点横坐标相同的点云,将该点云记为上唇峰点;然后,从上唇峰点继续沿鼻尖关键点横坐标对应竖直线向下遍历各点云,获取第二个嘴巴外轮廓点云,将对应点云记为下边界点,而上唇峰点与下边界点的连线中点作为唇部中心点,以唇部中心点为起点,分别获取水平方向上左右两侧的嘴巴外轮廓点云,记为左、右嘴角关键点。至此,可根据本实施例上述方法获取左右嘴角关键点,以作为脸部的关键点对脸部特征进行分析。
重复上述方法,获取每张三维脸部图像中嘴巴区域的嘴角关键点,如图2所示。同样的,需要说明的是,嘴巴区域在每张三维脸部图像中是不同的,根据本实施例上述方法获取每张三维脸部图像中嘴巴区域所能够识别提取到的嘴角关键点即可。
至此,即可对每张三维脸部图像中的各关键点进行提取定位,可通过各关键点对脸部信息进行表征,降低***计算成本,提高检测速度,同时,根据所提取的关键点可实现对脸部信息的准确配准,可避免无关点云数据过多导致匹配误差大的问题。
然后针对上述定位的脸部各关键点进行配准,由于本实施例获取的是同一个人不 同角度的三张三维脸部图像,对每张三维脸部图像所提取的各关键点,以各关键点为中心, 获取各关键点的局部空间邻域,其中为预设局部空间尺寸,需要说明的是,n保证 为奇数,本实施例中,实施者可根据实际情况进行设置,本实施例对此不做限制。
进一步,根据各关键点的局部空间邻域对各关键点的局部特征进行提取,首先设 定灰度阈值,将局部空间邻域内点云灰度值与关键点灰度值差值低于灰度阈值的点云记为 0;将局部空间邻域内点云灰度值与关键点灰度值差值高于灰度阈值的点云记为1,然后将 局部空间邻域内各点云值组成一个位的向量,记为关键点的特征向量,所述 向量中的各元素为0或者1,本实施例中灰度阈值设定为10,实施者可根据实际情况自行设 定灰度阈值取值,本实施例对此不做限制。
考虑到不同视角下所提取的关键点的特征有所差异,为提高关键点的特征表征精度,本实施例针对所采集的三张三维脸部图像进行对应关键点配准,根据三张三维脸部图像中各关键点的特征向量对各关键点的融合特征向量进行提取。由于正面的图像拍摄到的脸部各器官均较为完整,无遮挡,而左、右侧拍摄的图像只能较为清楚的获取部分关键点的信息,因此,为保证各关键点特征信息的完整性以及准确性,将左右两侧三维脸部图像各关键点的特征向量与正面三维脸部图像对应各关键点的特征向量进行融合,具体融合方式为两向量相加,以正面三维脸部图像左眼的左眼角关键点为例,该点的融合特征向量为:
式中,为左眼的左眼角关键点的融合特征向量,为正面三维脸部图像 左眼的左眼角关键点特征向量,为左侧视觉图像左眼的左眼角关键点特征向量, 融合特征向量构建的逻辑为使关键点的特征向量融合左右两侧视觉的偏差,保证可以更准 确的获取各关键点的特征。
重复本实施例上述方法,获取脸部其他各关键点的融合特征向量,需要说明的是鼻尖位置关键点的在三个拍摄角度中均可以清楚的看到,具有三个特征向量,因此最终鼻尖位置的融合特征向量为三个特征向量相加,得到鼻尖的融合特征向量,而其他关键点的融合特征向量均为每张三维脸部图像中所能够提取到的对应关键点的特征向量的融合。
三维配准模块103,结合拍摄图像脸部关键点的融合特征向量进行三维图像配准,完成三维脸部图像配准,对人脸护理提供可靠脸部信息。
经过上述步骤,得到了脸部各关键点的融合特征向量,计算用户脸部各融合特征向量与标准三维人脸模型对应关键点融合特征向量的逐位异或结果,然后统计异或结果中1的个数,将1的总个数记为脸部配准误差率,所述脸部配准误差率具体表达式为:
式中,为脸部配准精度,为第个关键点的融合特征向量,为标准三 维人脸模型中关键点i的融合特征向量,为余弦相似度计算函数,为归一 化操作,为关键点的数量。脸部配准误差率的值越小,表示脸部护理效果越佳,拍摄三 维脸部图像更加贴合标准三维人脸模型。需要说明的是,标准三维人脸模型实施者可根据 实际情况采集获取,不在本实施例保护范围内,本实施例对此不做限制。同时,对于标准三 维人脸模型各关键点的提取以及融合特征向量的提取跟本实施例上述方法相同,在此不在 进行重复阐述。
本实施例将根据所得的配准结果对脸部护理进行分析,设定误差率阈值,当脸部配准误差率高于所述误差率阈值时,说明脸部护理效果不明显,对应脸部需要继续护理;当脸部配准误差率低于所述误差率阈值时,则说明脸部护理有效且效果较佳。根据本实施例所构建的脸部配准误差率可为相关人员进行人脸护理提供参考信息,以便相关人员对患者的脸部状况进行准确了解,以采取针对性的护理措施。需要说明的是,所述误差率阈值实施者可自行设定,本实施例中将误差率阈值设定为0.5。
综上所述,根据本发明实施例上述方法可实现对三维脸部图像的精确配准,避免二维脸部配准过程中脸部信息提取不全面、配准精度低的问题。本发明实施例基于人脸关键特征点的分析,提取脸部特征,从不同角度提取脸部关键位置特征点并获取全面表征特征点的特征向量,提高了三维脸部图像的配准精度,解决了脸部特征提取不全面导致特征匹配误差率高、效率低等问题。本发明实施例具有较高的脸部图像配准精度且配准效率高、速度快。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于脸部三维图像配准的人脸护理***,其特征在于,所述***包括:
三维采集模块,用于采集不同视角的三维脸部图像;
三维关键点融合特征向量检测模块,获取三维脸部图像的左右眼睛区域、鼻子区域以及嘴巴区域;分别提取左右眼睛区域的三维轮廓点云,根据眼睛区域各三维轮廓点云的坐标及曲率信息得到每只眼睛的左眼角关键点、右眼角关键点;获取鼻子区域各点云的角点值,根据鼻子区域各点云角点值、坐标信息以及与各眼角关键点的距离信息得到各点云的鼻尖定位概率因子;将鼻子区域内鼻尖定位概率因子最大的点云作为鼻尖关键点;结合鼻尖关键点的位置信息得到嘴巴的上唇峰点、下边界点,根据嘴巴的上唇峰点及下边界点得到左右嘴角关键点;
根据各关键点与局部空间邻域内各点云的灰度差异得到各关键点的特征向量;根据各关键点的特征向量得到各关键点的融合特征向量;
三维配准模块,根据各关键点的融合特征向量得到脸部配准误差率,结合脸部配准误差率完成人脸护理结果分析。
2.根据权利要求1所述的一种基于脸部三维图像配准的人脸护理***,其特征在于,所述左眼角关键点包括:
对于每只眼睛;
获取眼睛区域内各三维轮廓点云三维坐标的和值及内角角度,计算所述和值与内角角度之和,记为第二和值,将眼睛区域中第二和值最小对应的三维轮廓点云作为左眼角关键点。
3.根据权利要求1所述的一种基于脸部三维图像配准的人脸护理***,其特征在于,所述右眼角关键点包括:
对于每只眼睛;
获取眼睛区域内各三维轮廓点云三维坐标的和值及曲率,计算所述和值与曲率之和,记为第一和值,将眼睛区域中第一和值最大对应的三维轮廓点云作为右眼角关键点。
4.根据权利要求1所述的一种基于脸部三维图像配准的人脸护理***,其特征在于,所述根据鼻子区域各点云角点值、坐标信息以及与各眼角关键点的距离信息得到各点云的鼻尖定位概率因子,具体为:
对于鼻子区域各点云;
计算点云角点值与Z坐标值的乘积结果,获取点云与各眼角关键点三维坐标的欧式距离的最小值,计算所述最小值与距离阈值差值的平方,获取以自然常数为底数,所述平方的相反数为指数的指数函数的计算结果;
将所述乘积结果与所述计算结果的乘积作为点云的鼻尖定位概率因子。
5.根据权利要求1所述的一种基于脸部三维图像配准的人脸护理***,其特征在于,所述结合鼻尖关键点的位置信息得到嘴巴的上唇峰点、下边界点包括:
对嘴巴区域进行三维轮廓检测,将嘴巴最外层的三维轮廓点云记为嘴巴外轮廓点云;
从鼻尖关键点横坐标对应竖直线向下遍历各点云,将所述竖直线上嘴巴区域内的第一个嘴巴外轮廓点云作为嘴巴的上唇峰点;从嘴巴的上唇峰点继续沿所述竖直线向下遍历各点云,将第二个嘴巴外轮廓点云作为嘴巴的下边界点。
6.根据权利要求5所述的一种基于脸部三维图像配准的人脸护理***,其特征在于,所述根据嘴巴的上唇峰点及下边界点得到左右嘴角关键点包括:
将嘴巴的上唇峰点与下边界点的连线中点作为唇部中心点,以唇部中心点为起点,分别获取水平方向上左右两侧的嘴巴外轮廓点云,作为左右嘴角关键点。
7.根据权利要求1所述的一种基于脸部三维图像配准的人脸护理***,其特征在于,所述根据各关键点与局部空间邻域内各点云的灰度差异得到各关键点的特征向量包括:
对于各关键点;
以关键点为中心获取关键点的局部空间邻域,其中n为预设局部空间尺寸;
将局部空间邻域内点云灰度值与关键点灰度值差值低于灰度阈值的点云记为0;将局部空间邻域内点云灰度值与关键点灰度值差值高于灰度阈值的点云记为1;
将局部空间邻域内各点云值组成的向量作为关键点的特征向量。
8.根据权利要求1所述的一种基于脸部三维图像配准的人脸护理***,其特征在于,所述根据各关键点的特征向量得到各关键点的融合特征向量包括:
将各关键点在不同视角的三维脸部图像中所获取的特征向量相加得到各关键点的融合特征向量。
9.根据权利要求1所述的一种基于脸部三维图像配准的人脸护理***,其特征在于,所述根据各关键点的融合特征向量得到脸部配准误差率包括:
计算各关键点的融合特征向量与标准三维人脸模型中对应各关键点的融合特征向量之间的余弦相似度,获取以自然常数为底数所述余弦相似度的相反数为指数的指数函数的计算结果,将所有关键点的所述计算结果的归一化和值作为脸部配准误差率,其中,所述脸部配准误差率与所述余弦相似度成负相关关系。
10.根据权利要求1所述的一种基于脸部三维图像配准的人脸护理***,其特征在于,所述结合脸部配准误差率完成人脸护理结果分析包括:
当脸部配准误差率高于误差率阈值时,脸部护理效果不明显;
当脸部配准误差率低于误差率阈值时,脸部护理效果明显。
CN202311153799.3A 2023-09-08 2023-09-08 一种基于脸部三维图像配准的人脸护理*** Active CN116883472B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311153799.3A CN116883472B (zh) 2023-09-08 2023-09-08 一种基于脸部三维图像配准的人脸护理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311153799.3A CN116883472B (zh) 2023-09-08 2023-09-08 一种基于脸部三维图像配准的人脸护理***

Publications (2)

Publication Number Publication Date
CN116883472A true CN116883472A (zh) 2023-10-13
CN116883472B CN116883472B (zh) 2023-11-14

Family

ID=88257289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311153799.3A Active CN116883472B (zh) 2023-09-08 2023-09-08 一种基于脸部三维图像配准的人脸护理***

Country Status (1)

Country Link
CN (1) CN116883472B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080035711A (ko) * 2006-10-20 2008-04-24 연세대학교 산학협력단 3차원 얼굴 인식을 위한 전역적 특징 추출 방법
WO2018099276A1 (zh) * 2016-11-30 2018-06-07 阿里巴巴集团控股有限公司 身份认证方法及装置和计算设备
CN108615016A (zh) * 2018-04-28 2018-10-02 北京华捷艾米科技有限公司 人脸关键点检测方法和人脸关键点检测装置
CN111523407A (zh) * 2020-04-08 2020-08-11 上海涛润医疗科技有限公司 人脸识别***及方法以及基于人脸识别的医护记录***
WO2022111512A1 (zh) * 2020-11-26 2022-06-02 杭州海康威视数字技术股份有限公司 人脸活体检测方法、装置及设备
CN115830663A (zh) * 2022-05-27 2023-03-21 深圳市安华光电技术股份有限公司 人脸三维关键点提取方法及装置、模型创建方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080035711A (ko) * 2006-10-20 2008-04-24 연세대학교 산학협력단 3차원 얼굴 인식을 위한 전역적 특징 추출 방법
WO2018099276A1 (zh) * 2016-11-30 2018-06-07 阿里巴巴集团控股有限公司 身份认证方法及装置和计算设备
CN108615016A (zh) * 2018-04-28 2018-10-02 北京华捷艾米科技有限公司 人脸关键点检测方法和人脸关键点检测装置
CN111523407A (zh) * 2020-04-08 2020-08-11 上海涛润医疗科技有限公司 人脸识别***及方法以及基于人脸识别的医护记录***
WO2022111512A1 (zh) * 2020-11-26 2022-06-02 杭州海康威视数字技术股份有限公司 人脸活体检测方法、装置及设备
CN115830663A (zh) * 2022-05-27 2023-03-21 深圳市安华光电技术股份有限公司 人脸三维关键点提取方法及装置、模型创建方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈立生;王斌斌;: "基于几何特征与深度数据的三维人脸识别", 电脑知识与技术, no. 08 *

Also Published As

Publication number Publication date
CN116883472B (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
US10198623B2 (en) Three-dimensional facial recognition method and system
Papazov et al. Real-time 3D head pose and facial landmark estimation from depth images using triangular surface patch features
CN107403168B (zh) 一种面部识别***
Gu et al. Feature points extraction from faces
CN104915656B (zh) 一种基于双目视觉测量技术的快速人脸识别方法
CN108427871A (zh) 3d人脸快速身份认证方法与装置
CN104933389B (zh) 一种基于指静脉的身份识别方法和装置
CN104573634A (zh) 一种三维人脸识别方法
CN106355139B (zh) 人脸防伪方法和装置
CN109948400A (zh) 一种能够进行人脸特征3d识别的智能手机及其识别方法
CN110909634A (zh) 可见光与双红外线相结合的快速活体检测方法
CN112257641A (zh) 一种人脸识别活体检测方法
US11132531B2 (en) Method for determining pose and for identifying a three-dimensional view of a face
CN106570447A (zh) 基于灰度直方图匹配的人脸照片太阳镜自动去除方法
CN115035546B (zh) 三维人体姿态检测方法、装置及电子设备
CN115797451A (zh) 一种穴位识别方法、装置、设备及可读存储介质
CN108197549A (zh) 基于3d成像的人脸识别方法及终端
CN110188630A (zh) 一种人脸识别方法和相机
CN108694348B (zh) 一种基于自然特征的跟踪注册方法及装置
CN108009532A (zh) 基于3d成像的身份识别方法及终端
CN116883472B (zh) 一种基于脸部三维图像配准的人脸护理***
Alyuz et al. Adaptive registration for occlusion robust 3D face recognition
Niese et al. A stereo and color-based method for face pose estimation and facial feature extraction
CN109214352A (zh) 基于2d摄像头三维成像技术的动态人脸检索识别方法
Jiménez et al. Face tracking and pose estimation with automatic three-dimensional model construction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240205

Address after: 272000 No.1, JiDai Road, Jining City, Shandong Province

Patentee after: Shandong Daizhuang Hospital (Shandong Ankang Hospital, Jining Mental Health Center)

Country or region after: China

Address before: Room 310, 3rd Floor, Research Building, No. 3, No. 554 Zhengfeng Road, High tech Zone, Jinan City, Shandong Province, 250000

Patentee before: Shandong Deyixin Information Technology Co.,Ltd.

Country or region before: China