CN105404861B - 人脸关键特征点检测模型的训练、检测方法及*** - Google Patents

人脸关键特征点检测模型的训练、检测方法及*** Download PDF

Info

Publication number
CN105404861B
CN105404861B CN201510779157.3A CN201510779157A CN105404861B CN 105404861 B CN105404861 B CN 105404861B CN 201510779157 A CN201510779157 A CN 201510779157A CN 105404861 B CN105404861 B CN 105404861B
Authority
CN
China
Prior art keywords
key feature
feature point
face
initial position
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510779157.3A
Other languages
English (en)
Other versions
CN105404861A (zh
Inventor
邵枭虎
周祥东
石宇
周曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Zhongke Yuncong Technology Co Ltd
Chongqing Institute of Green and Intelligent Technology of CAS
Original Assignee
Chongqing Zhongke Yuncong Technology Co ltd
Chongqing Institute of Green and Intelligent Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Zhongke Yuncong Technology Co ltd, Chongqing Institute of Green and Intelligent Technology of CAS filed Critical Chongqing Zhongke Yuncong Technology Co ltd
Priority to CN201510779157.3A priority Critical patent/CN105404861B/zh
Publication of CN105404861A publication Critical patent/CN105404861A/zh
Application granted granted Critical
Publication of CN105404861B publication Critical patent/CN105404861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人脸关键特征点检测模型的训练方法及***、检测方法及***,训练方法包括:获取输入图片的人脸位置;根据训练集的平均关键特征点与人脸位置,得到更新前的关键特征点初始位置;根据真实关键特征点位置,得到更新后的关键特征点初始位置;根据更新前、后的关键特征点初始位置差值以及更新前所提取的区域特征,训练动态初始化回归模型;根据更新后的关键特征点初始位置和真实关键特征点位置的距离差及更新后所提取区域特征,训练级联回归模型;检测方法包括:将待测图片依次调用动态初始化回归模型与级联回归模型,计算人脸关键特征点位置;根据与预设分数比较判断人脸关键特征点是否准确。提高了人脸关键特征点检测的精确度。

Description

人脸关键特征点检测模型的训练、检测方法及***
技术领域
本发明涉及计算机视觉处理领域,特别是涉及一种人脸关键特征点检测模型训练方法及***、检测方法及***。
背景技术
人脸关键特征点是人脸识别、表情识别等人脸处理技术的基础,脸部特征点定位的性能很大程度上影响着人脸检测方法的精度。在所有的脸部特征点中,双眼、嘴巴、鼻尖及眉等显著性关键特征点最为重要,利用它们之间的距离比例来区分人脸。对于一般的应用,显著性关键特征点已经能够满足处理方法的需要,能够将不同形状、大小的人脸对齐归一化,并为进一步处理提供信息。此外,左/右眼、嘴巴、鼻尖及眉这六点也可以作为其它脸部特征点定位的前提和基础。此外,在人机交互以及娱乐领域,对于已知双眼、嘴巴位置的输入人脸,可以对其进行纹理、颜色、形状等变换,产生各种有趣的图片效果。眼睛特征点容易受到包括姿态、光照、图片质量、头发眼睛遮挡等因素的影响。而由人脸表情的变化引起的嘴巴张开与闭合也影响着嘴巴的外观。因此,精确准确地检测人脸关键特征点是一个困难且需要解决的问题。
人脸关键特征点的检测可视为一个求解最优的过程,将输入的人脸图片各个真实关键特征点位置组成一个形状向量,估计形状向量Smin,使得估计值与真实值的误差最小,如下列公式所示:
式(1)中,求解的方式多种多样,早期使用较为普通的方法包括ASM、AAM、Stasm等,ASM方法根据训练样本各关键特征点的特征和位置分布,训练为一个形状模型,利用该形状模型,即可找到最为接近的真实关键特征点的形状向量。而AAM是基于ASM方式的改进,它的训练模型不仅包含形状信息、也包含关键特征点周围的纹理信息;基于ASM、AAM改进的关键特征点检测方法,检测对大角度、表情夸张、光照变化剧烈的人脸效果不够理想,对关键特征点的初始位置也非常敏感;Stasm算法在更新关键特征点位置时,使用了2维的梯度特征(HAT特征)代替1维的边缘特征;Saragih方式使用非线性的模型训练AAM模型。还有一种有监督梯度方法(Supervised Decent Method,下文简称为SDM),求解非线性的最小二乘问题,最终实现多角度、表情的人脸关键特征点检测。以及局部二值特征回归方法(LocalBinary Features Regression,下文简称为LBF)采用了回归算法学习局部二值特征集,用来表达各关键特征点。该算法速度极快,在普通台式机的运行速度可以达到3000帧/秒,且手机端也可达到300帧/秒。
现有的检测人脸关键特征点方法可概括为:首先,根据训练集的初始关键特征点和真实关键特征点的特征信息,训练得到相应回归模型;其次,通过特征提取与结合回归模型,找到各关键特征点的最佳位置;虽然在多角度和光照下,提高了人脸关键特征点的检测精度,但仍然存在以下缺点:第一,针对于较大角度、夸张表情的人脸关键特征点检测,检测精度远远不够;第二,在与显著性关键特征点相比而言,使用非显著性关键特征点检测精度较差;第三,针对光照分布不均匀或光线较暗的人脸,检测的性能较差;第四,对于关键特征点置信度的判别精度不高,容易产生误检。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种人脸关键特征点检测模型训练方法及***和人脸关键特征点检测方法及***,用于解决现有技术中在特殊情况下,如:光线较差、光照不均匀、多姿态、不同表情下,人脸关键特征点检测精度不高和容易造成误检的问题。
为实现上述目的及其他相关目的,本发明提供一种人脸关键特征点检测模型训练方法,包括:
采用人脸检测算法获取输入图片的人脸位置;
根据训练集的平均关键特征点与所述人脸位置,得到更新前的关键特征点初始位置;
根据真实关键特征点的位置,估计人脸的3D角度;根据该3D角度旋转人脸3D模型,将3D模型映射至2D空间,得到更新后的关键特征点初始位置;
根据更新前、后的关键特征点初始位置差值以及更新前的关键特征点初始位置所提取的区域特征,训练动态初始化回归模型;
根据所述更新后的关键特征点初始位置和真实关键特征点位置的距离差以及在更新后的关键特征点初始位置提取的区域特征,训练级联回归模型。
本发明的另一目的在于提供一种人脸关键特征点检测方法,包括:
获取输入图片的人脸位置;
根据平均关键特征点与所述人脸位置,得到该输入图片更新前的关键特征点初始位置;
根据更新前的关键特征点初始位置以及所提取的区域特征,调用所述动态初始化回归模型,得到更新后的关键特征点的初始位置;
根据更新后的关键特征点初始位置及所提取的区域特征,调用所述级联回归模型计算人脸关键特征点位置;
根据所述人脸关键特征位置将输入图片经仿射变换得到对齐的人脸图片,检测所述对齐的人脸图片是否大于预设评测分数,根据检测结果判断所述人脸关键特征点是否准确。
本发明的另一目的在于提供一种人脸关键特征点检测模型训练***,包括:
第一获取模块,适用于采用人脸检测算法获取输入图片的人脸位置;
第一处理模块,适用于根据训练集的平均关键特征点与所述人脸位置,得到更新前的关键特征点初始位置;
第二处理模块,适用于根据真实关键特征点的位置,估计人脸的3D角度;根据该3D角度旋转人脸3D模型,将3D模型映射至2D空间,得到更新后的关键特征点初始位置;
第一训练模块,适用于根据更新前、后的关键特征点初始位置差值以及更新前的关键特征点初始位置所提取的区域特征,训练动态初始化回归模型;
第二训练模块,适用于根据所述更新后的关键特征点初始位置和真实关键特征点位置的距离差以及在更新后的关键特征点初始位置提取的区域特征,训练级联回归模型。
本发明的另一目的在于提供一种人脸关键特征点检测***,包括:
第二获取模块,适用于获取输入图片的人脸位置;
更新前处理模块,适用于根据平均关键特征点与所述人脸位置,得到该输入图片更新前的关键特征点初始位置;
第一计算模块,适用于根据更新前的关键特征点初始位置以及所提取的区域特征,调用所述动态初始化回归模型,得到更新后的关键特征点的初始位置;
第二计算模块,适用于根据更新后的关键特征点初始位置及所提取的区域特征,调用所述级联回归模型计算人脸关键特征点位置;
检测模块,适用于根据所述人脸关键特征位置将输入图片经仿射变换得到对齐的人脸图片,检测所述对齐的人脸图片是否大于预设评测分数,根据检测结果判断所述人脸关键特征点是否准确。
如上所述,本发明的人脸关键特征点检测模型训练方法及***、检测方法及***,具有以下有益效果:
在本发明实施例中,通过获取输入图片中人脸位置,将人脸关键特征点周围的图像块进行直方图规定化处理,不仅减少了光线对关键特征点的影响,还在光线较差和光照不均匀情况下,提高了人脸关键特征点的检测精度;使用监督下降法或局部二值特征回归法训练回归模型,在动态化回归模型,使得初始状态更为多样化,能够更好地适应不同角度的人脸关键特征点检测;相对于固定不变的平均关键特征点初始化相比,动态化的初始关键特征点位置与真实关键特征点更为接近,能够降低回归模型训练的难度,从而提高训练和检测精度。同时,在训练过程中,对显著性关键特征点和非显著性关键特征点的距离衡量中引入不同的权值系数,增强了非显著性关键特征点在训练过程中的容错率,有助于增强各个关键特征点检测的稳定性和准确性。根据检测到的关键特征点的位置对人脸图片进行变换,再使用人脸检测器估计人脸关键特征点的分值,与传统的基于数量较小的关键特征点训练集训练得到的关键特征点的检测模型相比,采用由大量人脸数据训练得到的人脸检测模型通过预设分值判别更加精准。
附图说明
图1显示为本发明实施例中的一种人脸关键特征点检测模型训练方法流程图;
图2显示为本发明实施例中的图1中的动态初始化回归模型训练流程图;
图3显示为本发明实施例中的一种人脸关键特征点检测方法流程图;
图4显示为本发明实施例中的图3中人脸关键特征点置信度的判断流程图;
图5显示为本发明实施例中的一种人脸关键特征点检测模型训练***结构框图;
图6显示为本发明实施例中的一种人脸关键特征点检测***结构框图;
图7显示为本发明实施例中的通过人脸关键特征点检测方法或***得到的人脸关键特征点的效果图。
元件标号说明:
1、第一获取模块,2、第一处理模块,21、归一化单元,22、加权单元,23、第一处理单元,3、第二处理模块,31、算法单元,32、转换处理单元,4、第一训练模块,41、第一规定化单元,42、第二训练单元,5、第一训练模块,51、距离差计算单元,52、第二规定化单元,53、第一提取单元,54、第二训练单元,6、规定化处理模块,61、统计单元,62、规定化处理单元,7、第二获取模块,8、更新前处理模块,9、第一计算模块,91、第三规定化单元,92、第二提取单元,93、第一计算单元,10、第二计算模块,101、第四规定化单元,102、第三提取单元,103、第二计算单元,11、检测模块,111、标准调整单元,112、检测单元。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1至图7。需要说明的是,本实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
实施例1
如图1所示,为本发明实施例中的一种人脸关键特征点检测模型训练方法流程图,详述如下:
步骤S101,采用人脸检测算法获取输入图片的人脸位置;
其中,所述输入图片为以下任意格式中bmp、jpg、tiff、gif、pcx、tga、exif、fpx、svg、psd、cdr、pcd、dxf、ufo、eps、ai、raw一种,且为无压缩的图片。
在步骤1之前,收集包含人脸的图片,按照预设规则对所述图片中人脸位置区域与人脸关键特征点进行标定,生成训练集。具体地,为用户通过各种途径采集到的包含有人脸的图片按照训练集的预设规则对图片中人脸位置区域与人脸关键特征点进行标定,将标定的人脸位置区域的位置和尺度信息、关键特征点的坐标信息上传至PC、服务器存储到相应的文档。
步骤S102,根据训练集的平均关键特征点与所述人脸位置,得到更新前的关键特征点初始位置;
其中,以向量表示所述训练集中每张图片关键特征点,对所述人脸位置区域的尺寸进行归一化处理,在归一化处理的该图片上取向量加权平均值,得到所述平均关键特征点;
根据人脸位置和尺寸对所述平均关键特征点进行位移和缩放,得到相应的更新前的关键特征点初始位置。
在本实施例中,将平均关键特征点进行位移和缩放,参照人脸位置和尺寸,得到更新前的关键特征点初始位置,在所述更新前的关键特征点初始位置附近区域提取区域特征。
步骤S103,根据真实关键特征点的位置,估计人脸的3D角度;根据该3D角度旋转人脸3D模型,将3D模型映射至2D空间,得到更新后的关键特征点初始位置;
其中,将真实关键特征点的位置映射至预设3D人脸模型,根据POSIT算法计算人脸的三维旋转角度;将3D人脸模型的人脸按三维旋转角度映射至2D空间并进行相似变换,得到更新后的关键特征点初始位置。
在步骤S103之前,还包括:
统计各关键特征点初始位置的灰度直方图;根据预设的灰度直方图对所述灰度直方图进行规定化处理,调整对应图片块的灰度值,直到所述图片块的灰度直方图达到预设的灰度直方图为止。
其中,所述灰度直方图是在以关键特征点为中心的、一定高度和宽度的图像块中,统计各个灰度区间([0,255]平均划分为n个区间)中相对应的像素个数,这些像素个数的分布即为该关键特征点区域的灰度直方图。直方图规定化,是通过使用累积函数对灰度值进行“调整”,使得其最终的像素分布满足预设的直方图。直方图规定化处理的“中心思想”是把原始图像的像素集从某个灰度区间变成预设的灰度空间。直方图规定化就是对图像进行非线性拉伸,重新分配图像像素值,使最终的像素值灰度分布满足预设的直方图。
具体地,当所述图片块的灰度值小于预设的灰度直方图时,增大所述图片块的灰度值直到与预设的灰度直方图相同为止;当所述图片块的灰度值不小于预设的灰度直方图时,减小所述图片块的灰度值直到与预设的灰度直方图相同为止。
步骤S104,根据更新前、后的关键特征点初始位置差值以及更新前的关键特征点初始位置所提取的区域特征,训练动态初始化回归模型;
其中,动态初始化回归模型(Dynamic Initialization Regression Model,DIRM),将所述更新前的关键特征点初始位置与更新后的关键特征点初始位置进行直方图规定化处理,根据更新前、后的位置关键特征点初始位置的差值以及更新前的关键特征点所提取的区域特征,训练得到动态初始化回归模型。
步骤S104,根据所述更新后的关键特征点初始位置和真实关键特征点位置的距离差以及在更新后的关键特征点初始位置提取的区域特征,训练级联回归模型。
其中,计算更新后的关键特征点初始位置和真实关键特征点位置的距离差,以及提取更新后的关键特征点初始位置中的方向梯度直方图特征,按照监督下降法或局部二值特征回归法训练级联回归模型,其中,根据训练集中的真实关键特征点和平均关键特征点的距离差的分布状态,为每个关键特征点相应地分配不同的加权值。
具体地,在每个关键特征点需要分配加权值时,根据真实关键特征点和平均关键特征点的距离差的方差,若方差越大,则对应的加权值越小;若方差越小,则对应的加权值越大。
具体地,在使用SDM(监督下降法)或LBF(局部二值特征回归法)训练级联回归模型得到人脸关键特征点初始位置时,由于显著性关键特征点的位置较为准确,非显著性关键特征点的位置较为模糊,因此,显著性关键特征点比非显著性关键特征点引入的加权值更大,且根据每个关键特征点的位置分布情况下,可得到如下公式:
式(2)中,ωi是第i个关键特征点的距离加权系数,σi为训练集中各个图片中第i个关键特征点与相对应的平均关键特征点的距离的标准差,β是一个固定系数,N为关键特征点的总个数。
在本发明实施例中,通过获取输入图片中人脸位置,将人脸关键特征点周围的图像块进行直方图规定化处理,减少了光线对关键特征点的影响,在光线较差和光照不均匀情况下,提高了人脸关键特征点的检测精度;在使用监督下降法或局部二值特征回归法训练回归模型之前,采用动态化回归模型,能够使得初始状态更为多样化,能够更好地适应不同角度的人脸关键特征点检测;与采用固定不变的平均关键特征点初始化方法相比,动态化的初始关键特征点位置与真实关键特征点更为接近,能够降低回归模型训练的难度,从而提高训练和检测精度。同时,在训练过程中,对显著性关键特征点和非显著性关键特征点的距离衡量中引入不同的权值系数,增强了非显著性关键特征点在训练过程中的容错率,有助于增强各个关键特征点检测的稳定性和准确性。
实施例2
如图2所示,为本发明实施例中的图1中动态初始化回归模型训练流程图,详述如下:
在步骤S201中,将真实关键特征点的位置映射至预设3D(yaw/pitch/roll)人脸模型,根据POSIT算法计算人脸的三维旋转角度;
在步骤S202中,将3D人脸模型的人脸按三维旋转角度映射至2D空间并进行相似变换,得到更新后的关键特征点初始位置;
在步骤S203中,将所述更新前的关键特征点初始位置与更新后的关键特征点初始位置进行直方图规定化处理;
在步骤S204中,更新前、后的关键特征点初始位置差值以及更新前的关键特征点初始位置所提取的区域特征,训练动态初始化回归模型。在本实施例中,使用动态初始化回归模型做初始化处理,使得到的平均关键特征点初始位置更加多样化,能够从不同角度检测人脸关键特征点,相对于传统方式来说,提高了训练和检测的精度。
实施例3
通过包含一组人脸图片的训练集图片{di},该训练集包括预先标定的人脸位置区域{ri}和人脸关键特征点坐标训练动态初始化回归模型R,如下所示:
3.1,对于输入的每张图片,根据人脸位置区域ri可得到更新前的关键特征点初始位置;
3.2,根据人脸关键特征点坐标xi *以及POSIT算法可计算人脸的三维旋转角度;
3.3,根据已知的人脸3D模型x3D,通过矩阵旋转、3D至2D平面映射以及相似变换等步骤,得到更新后的关键特征点初始位置
3.4,训练动态化初始模型R,我们参考SDM的求解方法,即求解以下式子的最优解:
式3中,表示更新后的关键特征点初始位置与原始关键特征点初始位置(即更新前的关键特征点初始位置)的位置之差,表示从原始关键特征点初始位置提取的特征,||·||2为L2范式,式3是一个最小二乘问题,存在解析值。
由于更新后的关键特征点初始位置要求的精度没有对最终关键特征点位置精度高,同时,考虑到计算耗时,我们没有采用SDM中多次迭代的方式,而是仅采用了一次迭代训练动态化初始模型;而在计算时间允许的条件下,可使用多次迭代,以取得更好的结果。
实施例4
通过包含一组人脸图片的训练集图片{di},该训练集包括预先标定的人脸位置区域{ri}和人脸关键特征点坐标训练模型级联回归模型Rk,其中k表示级联层数索引,详述如下:
4.1,对所有图片的人脸关键特征点坐标进行统计,通过平移、尺度归一化以及加权平均,得到平均关键特征点x;
4.2,根据实施例3的动态初始化回归模型中的3.1至3.3步,获取更新后的关键特征点初始位置
4.3,根据以下公式,训练第一个级联回归模型R0,:
其中,表示更新后的关键特征点初始位置与真实关键特征点的位置之差,λ为每个关键特征点所对应的权值组成的向量,×表示点乘运算;表示从更新后的关键特征点提取的特征,表示在特征向量后再加一维常量项,用于训练偏移量;||·||2为L2范式,式4是一个线性最小二乘问题,存在解析解。
4.4,当R0通过计算得到后,可根据以下公式:
可得到人脸关键特征点位置xk,其中/表示除运算,在xk上提取特征新的特征第k+1级的级联回归模型Rk可通过下式求得:
其中,式6与式4的求解方式相同,通过该算法的4次迭代(k=3),即级联层数达到4时,即可寻找到较为精确的人脸关键特征点位置。
实施例5
如图3所示,为为本发明实施例中的一种人脸关键特征点检测方法流程图,包括:
步骤S301,获取输入图片的人脸位置;
其中,获取人脸位置的方式与步骤S101相同,在此不一一赘述。
步骤S302,根据平均关键特征点与所述人脸位置,得到该输入图片更新前的关键特征点初始位置;
步骤S303,根据更新前的关键特征点初始位置以及所提取的区域特征,调用所述动态初始化回归模型,得到更新后的关键特征点的初始位置;
其中,根据预设的灰度直方图规定化处理更新前的关键特征点初始位置,调整其灰度值至预设的灰度直方图;提取规定化处理的更新前的关键特征点初始位置所对应的区域特征,将更新前的关键特征点初始位置和其对应的区域特征作为动态初始化回归模型的输入值,得到更新后的关键特征点初始位置。
步骤S304,根据更新后的关键特征点初始位置及所提取的区域特征,调用所述级联回归模型计算人脸关键特征点位置;
其中,根据预设的灰度直方图规定化处理更新后的关键特征点初始位置,调整其灰度值至预设的灰度直方图;提取规定化处理的更新后的关键特征点初始位置所对应的区域特征,将更新后的关键特征点初始位置和其对应的区域特征作为级联回归模型的输入值,计算人脸关键特征点位置。
步骤S305,根据所述人脸关键特征位置将输入图片经仿射变换得到对齐的人脸图片,检测所述对齐的人脸图片是否大于预设评测分数,根据检测结果判断所述人脸关键特征点是否准确。
在本实施例中,根据检测到的关键特征点的位置对人脸图片进行变换,再使用人脸检测器估计关键特征点的分值,与传统的基于数量较小的关键特征点训练集训练得到的关键特征点分值判别模型相比,采用由大量人脸数据训练得到的人脸检测器分值判别模型更加精准。
实施例6
6.1,输入待检测的图片d,采用人脸检测器检测获取到相应的人脸位置区域r,如果该人脸检测器未检测到人脸,则退出该程序;
6.2,根据人脸位置区域r和平均关键点得到更新前的初始关键特征点通过规定化处理后提取该更新前的初始关键特征点的区域特征φ0
6.3,根据以下公式,得到更新后的关键点初始位置。
式7中,x0'为更新后的关键特征点初始位置,x0为原始的关键特征点初始位置,R[φ0;1]为区域特征在动态初始化回归模型。
实施例7
7.1,重复步骤6.1至6.3,可得到更新后的关键特征点初始位置xi 0',提取更新后的关键特征点初始位置所对应的区域特征φ0'
7.2,根据以下公式迭代更新后的关键特征点初始位置xk,同时,更新区域特征φk
式8中,人脸关键特征点位置xk,其中,xk-1为级联回归模型的第k-1次得到的人脸关键特征点位置;
7.3,迭代结束后,得到最终的人脸关键特征点位置。
实施例8
如图4所示,为本发明实施例中的图3中人脸关键特征点置信度的判断流程图,详述如下:
在步骤S401中,将所述输入图片按照人脸关键特征位置进行仿射变换,调整所述输入图片的人脸关键特征到统一位置得到对齐的人脸图片;
在步骤S402中,采用人脸检测器检测所述对齐的人脸图片得到相应的评测分数,将检测结果所得到所述评测分数与预设评测分数进行比较,
在步骤S403中,当所述评测分数小于预设评测分数时,则判定人脸关键特征点不准确;
在步骤S404中,当所述评测分数不小于预设评测分数时,则判定人脸关键特征点准确。
在本实施例中,由于在实际视频中人脸面部图像的变化可能会非常剧烈,如人脸的剧烈运动、表情剧烈变化等都会极大的影响特征点的位置,导致关键特征点初始位置与真实的关键特征点偏差会越来越大,但通过使用人脸检测器估计关键特征点的分值,并根据所述分值的大小判断得到关键特征点,根据该判断模型判断得到所述图片中关键特征点是否准确,提高了该模型的精确度。
实施例9
如图5所示,为本发明实施例中的一种人脸关键特征点检测模型训练***结构框图,包括:
第一获取模块1,适用于采用人脸检测算法获取输入图片的人脸位置;
在所述第一获取模块1之前还包括标定模块,其中,所述标定模块具体为标定单元,适用于收集包含人脸的图片,按照预设规则对所述图片中人脸位置区域与人脸关键特征点进行标定,生成训练集。
第一处理模块2,适用于根据训练集的平均关键特征点与所述人脸位置,得到更新前的关键特征点初始位置;
其中,所述第一处理模块2具体为:
归一化单元21,适用于以向量表示所述训练集中每张图片关键特征点,对所述人脸位置区域的尺寸进行归一化处理;
加权单元22,适用于在归一化处理的该图片上取向量加权平均值,得到所述平均关键特征点;
第一处理单元23,适用于根据人脸位置和尺寸对所述平均关键特征点进行位移和缩放,得到相应的更新前的关键特征点初始位置。
第二处理模块3,适用于根据真实关键特征点的位置,估计人脸的3D角度;根据该3D角度旋转人脸3D模型,将3D模型映射至2D空间,得到更新后的关键特征点初始位置;
所述第二处理模块3之前还包括规定化处理模块6,所述规定化处理模块6具体为:
统计单元61,适用于统计各关键特征点初始位置的灰度直方图;
规定化处理单元62,适用于根据预设的灰度直方图对所述灰度直方图进行规定化处理,调整对应图片块的灰度值,直到所述图片块的灰度直方图达到预设的灰度直方图为止。
具体地,规定化处理模块6与本申请文件中的第一规定化单元至第四规定化单元,其中,所有的规定化单元的作用于规定化处理模块6作用相同,均是统一各关键特征点初始位置的灰度直方图,使各关键特征点初始位置的灰度直方图的灰度值达到预设的灰度直方图的灰度值。
其中,所述第二处理模3块具体为:
算法单元31,适用于将真实关键特征点的位置映射至预设3D人脸模型,根据POSIT算法计算人脸的三维旋转角度;
转换处理单元32,适用于将3D人脸模型的人脸按三维旋转角度映射至2D空间并进行相似变换,得到更新后的关键特征点初始位置。
第一训练模块4,适用于根据更新前、后的关键特征点初始位置差值以及更新前的关键特征点初始位置所提取的区域特征,训练动态初始化回归模型;
其中,所述第一训练模块4具体为:
第一规定化单元41,适用于将所述更新前的关键特征点初始位置与更新后的关键特征点初始位置进行直方图规定化处理;
第一训练单元42,适用于根据更新前、后的位置关键特征点初始位置的差值以及更新前的关键特征点所提取的区域特征,训练得到动态初始化回归模型。
第二训练模块5,适用于根据所述更新后的关键特征点初始位置和真实关键特征点位置的距离差以及在更新后的关键特征点初始位置提取的区域特征,训练级联回归模型。
其中,所述第二训练模块5具体为:
距离差计算单元51,适用于计算更新后的关键特征点初始位置和真实关键特征点位置的距离差;
第二规定化单元52,适用于根据预设的灰度直方图规定化处理更新后的关键特征点初始位置,调整其灰度值至预设的灰度直方图;
第一提取单元53,适用于提取规定化处理的更新后的关键特征点初始位置中的方向梯度直方图特征;第二训练单元54,适用于按照监督下降法或局部二值特征回归法训练级联回归模型;其中,根据训练集中的真实关键特征点和平均关键特征点的距离差的分布状态,为每个关键特征点相应地分配不同的加权值。
如图6所示,为本发明实施例中一种人脸关键特征点检测***结构框图,包括:
第二获取模块7,适用于获取输入图片的人脸位置;
更新前处理模块8,适用于根据平均关键特征点与所述人脸位置,得到该输入图片更新前的关键特征点初始位置;
其中,第二获取模块7与第一获取模块1的处理图片的方式相同、更新前处理模块8与第一处理模块2相同的方式相同,在此不一一赘述,只是检测时,具体针对某一张输入图片进行处理。
第一计算模块9,适用于根据更新前的关键特征点初始位置以及所提取的区域特征,调用所述动态初始化回归模型,得到更新后的关键特征点的初始位置;
其中,所述第一计算模块9具体为:
第三规定化单元91,适用于根据预设的灰度直方图规定化处理更新前的关键特征点初始位置,调整其灰度值至预设的灰度直方图;
第二提取单元92,适用于提取规定化处理的更新前的关键特征点初始位置所对应的区域特征;
第一计算单元93,适用于将更新前的关键特征点初始位置和其对应的区域特征作为动态初始化回归模型的输入值,得到更新后的关键特征点初始位置。
第二计算模块10,适用于根据更新后的关键特征点初始位置及所提取的区域特征,调用所述级联回归模型计算人脸关键特征点位置;
其中,所述第一计算模块10具体为:
第四规定化单元91,适用于根据预设的灰度直方图规定化处理更新后的关键特征点初始位置,调整其灰度值至预设的灰度直方图;
第三提取单元101,适用于提取规定化处理的更新后的关键特征点初始位置所对应的区域特征;
第二计算单元102,适用于将更新后的关键特征点初始位置和其对应的区域特征作为级联回归模型的输入值,计算人脸关键特征点位置。
检测模块11,适用于根据所述人脸关键特征位置将输入图片经仿射变换得到对齐的人脸图片,检测所述对齐的人脸图片是否大于预设评测分数,根据检测结果判断所述人脸关键特征点是否准确。
其中,所述检测模块11具体为:
标准调整单元111,适用于将所述输入图片按照人脸关键特征位置进行仿射变换,调整所述输入图片的人脸关键特征到统一位置得到对齐的人脸图片;
检测单元112,适用于采用人脸检测器检测所述对齐的人脸图片得到相应的评测分数,将检测结果所得到所述评测分数与预设评测分数进行比较,当所述评测分数小于预设评测分数时,则判定人脸关键特征点不准确;当所述评测分数不小于预设评测分数时,则判定人脸关键特征点准确。
如图7所示,为本发明实施例中的通过人脸关键特征点检测方法或***得到的人脸关键特征点的效果图,
在本实施例中,在关键特征点数量较多、光线较暗、多姿态、多表情的情况时,用户仅需对图片中的人脸进行标记,根据训练集的初始关键特征点和真实关键特征点的特征信息,学习得到回归模型;通过提取特征和使用回归模型,可以快速、准确地找到各关键特征点的最佳位置,从而可快速而准确地找出人脸关键特征点,提高人脸特征点检测的效率和精确度。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random AccessMemory,RAM)、磁盘或光盘等。
综上所述,本发明通过获取输入图片中人脸位置,将人脸关键特征点周围的图像块进行直方图规定化处理,不仅减少了光线对关键特征点的影响,还在光线较差和光照不均匀情况下,提高了人脸关键特征点的检测精度;使用监督下降法或局部二值特征回归法训练回归模型之前,采用动态化回归模型,能够使得初始状态更为多样化,能够更好地适应不同角度的人脸关键特征点检测;与采用固定不变的平均关键特征点初始化方法相比,动态化的初始关键特征点位置与真实关键特征点更为接近,能够降低回归模型训练的难度,从而提高训练和检测精度。同时,在训练过程中,对显著性关键特征点和非显著性关键特征点的距离衡量中引入不同的权值系数,增强了非显著性关键特征点在训练过程中的容错率,有助于增强各个关键特征点检测的稳定性和准确性。根据检测到的关键特征点的位置对人脸图片进行变换,再使用人脸检测器估计关键特征点的分值,与传统的基于数量较小的关键特征点训练集训练得到的关键特征点的检测模型相比,采用由大量人脸数据训练得到的人脸检测模型通过预设分值判别更加精准。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种人脸关键特征点检测模型的训练方法,其特征在于,包括:
采用人脸检测算法获取输入图片的人脸位置;
根据训练集的平均关键特征点与所述人脸位置,得到更新前的关键特征点初始位置;
根据真实关键特征点的位置,估计人脸的3D角度;根据该3D角度旋转人脸3D模型,将3D模型映射至2D空间,得到更新后的关键特征点初始位置;
根据更新前、后的关键特征点初始位置差值以及更新前的关键特征点初始位置所提取的区域特征,训练动态初始化回归模型;
根据所述更新后的关键特征点初始位置和真实关键特征点位置的距离差以及在更新后的关键特征点初始位置提取的区域特征,训练级联回归模型。
2.根据权利要求1所述的人脸关键特征点检测模型的训练方法,其特征在于,所述根据真实关键特征点的位置,估计人脸的3D角度的步骤之前,具体为:
统计各关键特征点初始位置的灰度直方图;根据预设的灰度直方图对所述灰度直方图进行规定化处理,调整对应图片块的灰度值,直到所述图片块的灰度直方图达到预设的灰度直方图为止。
3.根据权利要求1所述的人脸关键特征点检测模型的训练方法,其特征在于,所述根据真实关键特征点初始位置,估计人脸的3D角度;根据该3D角度旋转人脸3D模型,将3D模型映射至2D空间,得到更新后的关键特征点初始位置的步骤,具体为:
将真实关键特征点的位置映射至预设3D人脸模型,根据POSIT算法计算人脸的三维旋转角度;将3D人脸模型的人脸按三维旋转角度映射至2D空间并进行相似变换,得到更新后的关键特征点初始位置。
4.根据权利要求1所述的人脸关键特征点检测模型的训练方法,其特征在于,所述根据更新前、后的关键特征点初始位置差值以及更新前的关键特征点初始位置所提取的区域特征,训练动态初始化回归模型的步骤,具体为:
将所述更新前的关键特征点初始位置与更新后的关键特征点初始位置进行直方图规定化处理,根据更新前、后的位置关键特征点初始位置的差值以及更新前的关键特征点所提取的区域特征,训练得到动态初始化回归模型。
5.根据权利要求1所述的人脸关键特征点检测模型的训练方法,其特征在于,所述根据所述更新后的关键特征点初始位置和真实关键特征点位置的距离差以及在更新后的关键特征点初始位置提取的区域特征,训练级联回归模型,具体为:
计算更新后的关键特征点初始位置和真实关键特征点位置的距离差,根据预设的灰度直方图规定化处理更新后的关键特征点初始位置,提取规定化处理的更新后的关键特征点初始位置中的方向梯度直方图特征,按照监督下降法或局部二值特征回归法训练级联回归模型;其中,根据训练集中的真实关键特征点和平均关键特征点的距离差的分布状态,为每个关键特征点相应地分配不同的加权值。
6.一种人脸关键特征点的检测方法,其特征在于,包括:
获取输入图片的人脸位置;
根据平均关键特征点与所述人脸位置,得到该输入图片更新前的关键特征点初始位置;
根据更新前的关键特征点初始位置以及所提取的区域特征,调用动态初始化回归模型,得到更新后的关键特征点的初始位置;
根据更新后的关键特征点初始位置及所提取的区域特征,调用级联回归模型计算人脸关键特征点位置;
根据所述人脸关键特征位置将输入图片经仿射变换得到对齐的人脸图片,检测所述对齐的人脸图片是否大于预设评测分数,根据检测结果判断所述人脸关键特征点是否准确。
7.根据权利要求6所述的人脸关键特征点的 检测方法,其特征在于,所述根据更新前的关键特征点初始位置以及所提取的区域特征,调用所述动态初始化回归模型,得到更新后的关键特征点的初始位置的步骤,具体为:
根据预设的灰度直方图规定化处理更新前的关键特征点初始位置,并提取规定化处理的更新前的关键特征点初始位置所对应的区域特征,将更新前的关键特征点初始位置和其对应的区域特征作为动态初始化回归模型的输入值,得到更新后的关键特征点初始位置。
8.根据权利要求6所述的人脸关键特征点的检测方法,其特征在于,所述根据所述人脸关键特征位置将输入图片经仿射变换得到对齐的人脸图片,检测所述对齐的人脸图片是否大于预设评测分数,根据检测结果判断所述人脸关键特征点是否准确的步骤,具体为:
将所述输入图片按照所述人脸关键特征位置进行仿射变换,调整所述输入图片的人脸关键特征到统一位置得到对齐的人脸图片;
采用人脸检测器检测所述对齐的人脸图片得到相应的评测分数,将检测结果所得到所述评测分数与预设评测分数进行比较,当所述评测分数小于预设评测分数时,则判定人脸关键特征点不准确;当所述评测分数不小于预设评测分数时,则判定人脸关键特征点准确。
9.一种人脸关键特征点检测模型的训练***,其特征在于,包括:
第一获取模块,适用于采用人脸检测算法获取输入图片的人脸位置;
第一处理模块,适用于根据训练集的平均关键特征点与所述人脸位置,得到更新前的关键特征点初始位置;
第二处理模块,适用于根据真实关键特征点的位置,估计人脸的3D角度;根据该3D角度旋转人脸3D模型,将3D模型映射至2D空间,得到更新后的关键特征点初始位置;
第一训练模块,适用于根据更新前、后的关键特征点初始位置差值以及更新前的关键特征点初始位置所提取的区域特征,训练动态初始化回归模型;
第二训练模块,适用于根据所述更新后的关键特征点初始位置和真实关键特征点位置的距离差以及在更新后的关键特征点初始位置提取的区域特征,训练级联回归模型。
10.一种人脸关键特征点检测***,其特征在于,包括:
第二获取模块,适用于获取输入图片的人脸位置;
更新前处理模块,适用于根据平均关键特征点与所述人脸位置,得到该输入图片更新前的关键特征点初始位置;
第一计算模块,适用于根据更新前的关键特征点初始位置以及所提取的区域特征,调用动态初始化回归模型,得到更新后的关键特征点的初始位置;
第二计算模块,适用于根据更新后的关键特征点初始位置及所提取的区域特征,调用级联回归模型计算人脸关键特征点位置;
检测模块,适用于根据所述人脸关键特征位置将输入图片经仿射变换得到对齐的人脸图片,检测所述对齐的人脸图片是否大于预设评测分数,根据检测结果判断所述人脸关键特征点是否准确。
CN201510779157.3A 2015-11-13 2015-11-13 人脸关键特征点检测模型的训练、检测方法及*** Active CN105404861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510779157.3A CN105404861B (zh) 2015-11-13 2015-11-13 人脸关键特征点检测模型的训练、检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510779157.3A CN105404861B (zh) 2015-11-13 2015-11-13 人脸关键特征点检测模型的训练、检测方法及***

Publications (2)

Publication Number Publication Date
CN105404861A CN105404861A (zh) 2016-03-16
CN105404861B true CN105404861B (zh) 2018-11-02

Family

ID=55470338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510779157.3A Active CN105404861B (zh) 2015-11-13 2015-11-13 人脸关键特征点检测模型的训练、检测方法及***

Country Status (1)

Country Link
CN (1) CN105404861B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022228B (zh) * 2016-05-11 2019-04-09 东南大学 一种基于网格纵横局部二值模式的三维人脸识别方法
CN106056080B (zh) * 2016-05-30 2019-11-22 中控智慧科技股份有限公司 一种可视化的生物计量信息采集装置和方法
CN107463865B (zh) * 2016-06-02 2020-11-13 北京陌上花科技有限公司 人脸检测模型训练方法、人脸检测方法及装置
CN106127170B (zh) * 2016-07-01 2019-05-21 重庆中科云从科技有限公司 一种融合关键特征点的训练方法、识别方法及***
CN107689073A (zh) * 2016-08-05 2018-02-13 阿里巴巴集团控股有限公司 图像集的生成方法、装置及图像识别模型训练方法、***
CN106570747A (zh) * 2016-11-03 2017-04-19 济南博图信息技术有限公司 结合手势识别的眼镜在线适配方法及***
CN106897662B (zh) * 2017-01-06 2020-03-10 北京交通大学 基于多任务学习的人脸关键特征点的定位方法
CN108294759A (zh) * 2017-01-13 2018-07-20 天津工业大学 一种基于cnn眼部状态识别的驾驶员疲劳检测方法
CN106845398B (zh) * 2017-01-19 2020-03-03 北京小米移动软件有限公司 人脸关键点定位方法及装置
CN106919913A (zh) * 2017-02-21 2017-07-04 上海蔚来汽车有限公司 基于计算机视觉的疲劳驾驶检测方法及装置
CN108875928B (zh) * 2017-05-15 2021-02-26 广东石油化工学院 多输出回归网络及学习方法
CN107045631B (zh) * 2017-05-25 2019-12-24 北京华捷艾米科技有限公司 人脸特征点检测方法、装置及设备
CN107169493A (zh) * 2017-05-31 2017-09-15 北京小米移动软件有限公司 信息识别方法及装置
CN107767335A (zh) * 2017-11-14 2018-03-06 上海易络客网络技术有限公司 一种基于人脸识别特征点定位的图像融合方法及***
CN107766851A (zh) * 2017-12-06 2018-03-06 北京搜狐新媒体信息技术有限公司 一种人脸关键点定位方法及定位装置
CN108062545B (zh) * 2018-01-30 2020-08-28 北京搜狐新媒体信息技术有限公司 一种人脸对齐的方法及装置
CN108446606A (zh) * 2018-03-01 2018-08-24 苏州纳智天地智能科技有限公司 一种基于加速二进制特征提取的人脸关键点检测方法
CN108764048B (zh) * 2018-04-28 2021-03-16 中国科学院自动化研究所 人脸关键点检测方法及装置
CN108711175B (zh) * 2018-05-16 2021-10-01 浙江大学 一种帧间信息导向的头部姿态估计优化方法
CN109753910B (zh) * 2018-12-27 2020-02-21 北京字节跳动网络技术有限公司 关键点提取方法、模型的训练方法、装置、介质及设备
CN109902553B (zh) * 2019-01-03 2020-11-17 杭州电子科技大学 一种基于面部像素差的多角度的人脸对齐方法
CN109784293B (zh) * 2019-01-24 2021-05-14 苏州科达科技股份有限公司 多类目标对象检测方法、装置、电子设备、存储介质
CN110415424B (zh) * 2019-06-17 2022-02-11 众安信息技术服务有限公司 一种防伪鉴定方法、装置、计算机设备和存储介质
CN110543845B (zh) * 2019-08-29 2022-08-12 四川大学 一种三维人脸的人脸级联回归模型训练方法及重建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499132A (zh) * 2009-03-12 2009-08-05 广东药学院 一种人脸图像中特征点提取的三维变换搜索方法
CN102043943A (zh) * 2009-10-23 2011-05-04 华为技术有限公司 人脸姿态参数获取方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100886557B1 (ko) * 2007-05-03 2009-03-02 삼성전자주식회사 적응형 학습에 기반한 얼굴 인식 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499132A (zh) * 2009-03-12 2009-08-05 广东药学院 一种人脸图像中特征点提取的三维变换搜索方法
CN102043943A (zh) * 2009-10-23 2011-05-04 华为技术有限公司 人脸姿态参数获取方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
人脸关键特征点的自动定位;顾华等;《光电子·激光》;20040831;第15卷(第8期);第975-979页 *
基于关键特征点的人脸纹理映射;郑青碧等;《计算机与数字工程》;20131231;第41卷(第1期);第111-114页 *

Also Published As

Publication number Publication date
CN105404861A (zh) 2016-03-16

Similar Documents

Publication Publication Date Title
CN105404861B (zh) 人脸关键特征点检测模型的训练、检测方法及***
CN106127170B (zh) 一种融合关键特征点的训练方法、识别方法及***
CN108549873B (zh) 三维人脸识别方法和三维人脸识别***
CN105956582B (zh) 一种基于三维数据的人脸识别***
CN110348330B (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
CN107220995B (zh) 一种基于orb图像特征的icp快速点云配准算法的改进方法
WO2020134478A1 (zh) 一种人脸识别方法、特征提取模型的训练方法及其装置
CN106803055B (zh) 人脸识别方法和装置
CN103761536B (zh) 基于无监督最优美丽特征和深度评价模型的人脸美化方法
CN103443804B (zh) 面部标志检测方法
WO2016145940A1 (zh) 人脸认证方法和装置
CN111439267B (zh) 一种舱内环境的调整方法及装置
CN108388874A (zh) 基于图像识别与级联分类器的对虾形态参数自动测量方法
WO2022184133A1 (zh) 一种基于视觉的人脸表情识别方法
CN110909778B (zh) 一种基于几何一致性的图像语义特征匹配方法
CN104794693A (zh) 一种人脸关键区域自动检测蒙版的人像优化方法
Shen et al. Adaptive pedestrian tracking via patch-based features and spatial–temporal similarity measurement
CN114332136B (zh) 人脸属性数据标注方法、计算机设备及存储介质
CN107292299A (zh) 基于内核规范相关分析的侧面人脸识别方法
CN112364881B (zh) 一种进阶采样一致性图像匹配方法
CN108182705A (zh) 一种基于机器视觉的三维坐标定位方法
CN115798000A (zh) 一种基于结构光***的人脸姿态估计方法及装置
CN107194364B (zh) 一种基于分治策略的Huffman-LBP多姿态人脸识别方法
CN106778491A (zh) 人脸3d特征信息的获取方法及设备
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 400714 No. 266 Fangzheng Road, Beibei District, Chongqing.

Co-patentee after: Chongqing Zhongke Yuncong Technology Co., Ltd.

Patentee after: Chongqing Institute of Green and Intelligent Technology of the Chinese Academy of Sciences

Address before: 400714 No. 266 Fangzheng Road, Beibei District, Chongqing.

Co-patentee before: CHONGQING ZHONGKE YUNCONG TECHNOLOGY CO., LTD.

Patentee before: Chongqing Institute of Green and Intelligent Technology of the Chinese Academy of Sciences

CP01 Change in the name or title of a patent holder