CN110516642A - 一种轻量化人脸3d关键点检测方法及*** - Google Patents

一种轻量化人脸3d关键点检测方法及*** Download PDF

Info

Publication number
CN110516642A
CN110516642A CN201910818443.4A CN201910818443A CN110516642A CN 110516642 A CN110516642 A CN 110516642A CN 201910818443 A CN201910818443 A CN 201910818443A CN 110516642 A CN110516642 A CN 110516642A
Authority
CN
China
Prior art keywords
network
sub
thermodynamic chart
combined coding
coordinate vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910818443.4A
Other languages
English (en)
Inventor
王正宁
赵德明
何庆东
曾浩
曾仪
刘怡君
吕侠
谢镇灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910818443.4A priority Critical patent/CN110516642A/zh
Publication of CN110516642A publication Critical patent/CN110516642A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种轻量化人脸3D关键点检测方法及***，包括：将数据库中人脸关键点的N个3D参考坐标向量在三个二维平面进行降维投影；基于k阶改进型沙漏网络构建联合编码子网络，利用该联合编码子网络将每个2D视角下的N个2D参考坐标向量联合编码为2D联合热力图；采用concat法将三个2D视角下的2D联合热力图叠加为3D联合热力图；基于2D全卷积网络构建所述解码子网络，利用解码子网络将所述3D联合热力图解码为N个3D检测坐标向量。本发明设计了相应的轻量化神经网络(联合编码子网络和解码子网络)来进行联合热力图的生成、3D坐标的回归；结合了现有的2D及3D人脸关键点检测方法的优点，在保持较高检测精度的同时，减小模型参数量、提高模型运行速度。

Description

一种轻量化人脸3D关键点检测方法及***
技术领域
本发明涉及图像处理和计算机机器视觉技术领域，尤其涉及一种轻量化人脸3D关键点检测方法及***。
背景技术
随着深度学习技术在计算机视觉领域的蓬勃发展，各种人脸图像处理任务在生活中得到了广泛应用，其中人脸关键点检测在人脸识别、表情识别、人脸重建等方面都扮演了重要的角色。
在过去的十年里人脸关键点检测取得了巨大的成就，特别是在2D人脸关键点检测领域。其中由Cootes等提出的基于点分布模型的ASM(Active Shape Model)算法是经典的人脸关键点检测算法，该算法通过人工标定的方法先标定训练集，经过训练获得形状模型，再通过关键点的匹配实现特定物体的匹配；由Dollar提出的基于级联回归的CPR(CascadedPose Regression)算法通过一系列回归器将一个指定的初始预测值逐步细化，每一个回归器都依靠前一个回归器的输出来执行简单的图像操作，整个***可自动的从训练样本中学习；此外，由Zhang等人提出一种多任务级联卷积神经网络MTCNN(Multi-task CascadedConvolutional Networks)用以同时处理人脸检测和人脸关键点定位问题。然而，在诸如大角度姿态以及脸部遮挡等复杂场景下，基于2D的人脸关键点检测方法难以实现、存在限制。为了解决这种限制，越来越多的研究者逐渐关注于3D人脸关键点检测，3D人脸关键点相对于2D表示更多信息并且提供更多遮挡信息。
3D人脸关键点检测方法大致分为基于模型的方法和非基于模型的方法。一、基于模型的方法：Blanz等人提出的三维变形模型(3DMM)是完成3D人脸关键点检测的常用方法；二、非基于模型的方法：Tulyakov等人提出了一种用级联回归计算三维形状特征来定位3D人脸关键点的方法，将级联回归方法推广到3D人脸关键点检测中。此外，在基于模型的方法中，还包括利用深度学习模型完成人脸关键点检测的方法，主要分为两阶段回归法和体积表示方法，两阶段回归典型方法，将(x,y)坐标与z轴分离，先回归(x,y)坐标，再回归z；体积表示方法将传统2D热力图扩展到3D体积表式，在人体关键点检测中也有广泛应用。
然而由于3D空间维度的增加，相应算法的处理速度、模型精度都面临巨大的挑战，现有的3D人脸关键点检测算法在处理速度、模型大小和复杂度、模型精度等方面都存在不同程度的缺陷。
发明内容
本发明的目的之一至少在于，针对如何克服上述现有技术存在的问题，提供一种轻量化人脸3D关键点检测方法及***。
为了实现上述目的，本发明采用的技术方案包括以下各方面。
一种轻量化人脸3D关键点检测方法，包括：
步骤101，将数据库中人脸关键点的N个3D参考坐标向量在三个二维平面进行降维投影；其中，所述三个二维平面分别为xy、xz、yz平面，且x、y、z同时为正或同时为负；每个二维平面中包括N个与所述N个3D参考坐标向量相对应的2D参考坐标向量；
步骤102，基于k阶改进型沙漏网络构建联合编码子网络，训练所述联合编码子网络使其性能趋于稳定；利用训练好的联合编码子网络将每个2D视角下的N个2D参考坐标向量联合编码为2D联合热力图；其中，所述k阶改进型沙漏网络残差单元采用Residual+Inception结构；
步骤103，采用concat法将三个2D视角下的2D联合热力图叠加为3D联合热力图；
步骤104，基于2D全卷积网络构建所述解码子网络，训练所述解码子网络使其性能趋于稳定；利用所述解码子网络将所述3D联合热力图解码为N个3D检测坐标向量。
优选的，所述联合编码子网络为2阶改进型沙漏网络。
优选的，采用多损失函数融合训练方法对所述联合编码子网络、解码子网络进行训练。
优选的，所述多损失函数融合训练方法采用三种不同的损失函数对网络进行三轮迭代训练，以前一轮训练得到的最优权重作为下一轮的初始权重，直到三轮训练完成停止训练。
优选的，所述三种损失函数为：均方误差损失函数、最小绝对值误差损失函数、平滑后的最小绝对值误差损失函数。
优选的，所述解码子网络包括：4个2D卷积层，每个卷积层中间搭配batchnormalization及LeakyRelu激活函数。
一种轻量化人脸3D关键点检测***，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法。
综上所述，由于采用了上述技术方案，本发明至少具有以下有益效果：
1、通过结合2D人脸关键点检测与3D人脸关键点检测的优点，提出了一种联合热力图及坐标回归方法，并设计了相应的轻量化神经网络(联合编码子网络和解码子网络)来进行联合热力图的生成、3D坐标的回归；本方法结合了现有的2D及3D人脸关键点检测方法的优点，所采用的联合热力图表示方法减小了计算量和模型复杂度，在保持较高检测精度的同时，减小模型参数量、提高模型运行速度；在联合编码过程中，对原有的神经网络的残差单元进行改进，进一步提升网络的特征提取能力、检测精度。
2、联合编码子网络采用2阶改进型沙漏结构，降低网络的深度，提高网络收敛速度，降低网络的参数量。
3、提出一种多损失函数融合训练方法，采用三种不同的损失函数对网络进行三轮迭代训练，使网络的检测精度变得更加准确。
附图说明
图1是根据本发明示例性实施例的轻量化人脸3D关键点检测方法流程图。
图2是原沙漏网络残差单元结构示意图。
图3是根据本发明示例性实施例的改进型沙漏网络残差单元结构示意图。
图4是根据本发明示例性实施例的改进型二阶沙漏网络(联合编码子网络)结构示意图。
图5是根据本发明示例性实施例的联合编码子网络生成的示例性热力图。
图6是根据本发明示例性实施例的解码子网络产生的3D关键点示意图。
图7是根据本发明示例性实施例的解码子网络产生的3D关键点在图像上的投影示意图。
图8是根据本发明示例性实施例的联合编码子网络与解码子网络构成的完整网络结构示意图。
图9是根据本发明示例性实施例的轻量化人脸3D关键点检测***结构示意图。
具体实施方式
下面结合附图及实施例，对本发明进行进一步详细说明，以使本发明的目的、技术方案及优点更加清楚明白。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
图1示出了根据本发明示例性实施例的轻量化人脸3D关键点检测方法。该实施例的方法主要包括：
步骤101，将数据库中人脸关键点的N个3D参考坐标向量在三个二维平面进行降维投影；其中，所述三个二维平面分别为xy、xz、yz平面，且x、y、z同时为正或同时为负；每个二维平面中包括N个与所述N个3D参考坐标向量相对应的2D参考坐标向量；
具体的，从Ground truth(一般简称为GT信息)数据集里面提取N个人脸关键点的3D参考坐标向量，一般人脸总共有68个关键点，因此本实施例中优选N＝68。将提取到的N个3D关键点参考坐标向量(x,y,z)在三个二维平面进行降维分解。在具体投影时为分解为三个2D参考坐标向量(x,y)，(y,z)及(x,z)。令Vx,y,z＝(x,y,z)表示关键点3D参考坐标向量，则分离产生的三个2D参考坐标向量为：
例如：一个三维空间坐标点为(1，-2，3)将其降维分解可得(1，-2)、(-2，3)、(1，3)，但为了后面能够形成联合2D热力图，我们在降维时将在xy、yz、xz(x、y、z正负性相同，同时为正或同时为负)的三个坐标平面进行投影；由此保证每个三维坐标在降维之后可以得到三个正负性相同二维参考坐标。优选的，我们将其投影在空间坐标系第一象限(x、y、z均为正)的三个面中。
步骤102，基于k阶改进型沙漏网络构建联合编码子网络，训练所述联合编码子网络使其性能趋于稳定；利用训练好的联合编码子网络将每个2D视角下的N个2D参考坐标向量联合编码为2D联合热力图；其中，所述k阶改进型沙漏网络残差单元采用Residual+Inception结构；
具体的，如图3所示，对沙漏网络内部的残差子单元(原结构如图2)进行改进，提出Residual+Inception结构，在网络宽度上进行扩展，卷积核尺寸为n×n，池化核尺寸为n×n(n＝2k+1，k为正整数)，之后使多类感受野进行通道融合。融合后的特征图具有输入图像的不同感受野，不同的语义信息。对于不同尺度的输入图像，改进型沙漏网络有更强的特征提取能力，提升检测精度。更改残差单元后，沙漏网络将会变宽，网络的表征能力可以用宽度来提升。若仍采用传统的4阶沙漏结构，网络由于参数过多将会陷入过拟合。因此为了防止过拟合，我们只保留2阶沙漏结构。如图4所示，本发明的联合编码子网络采用2阶改进型沙漏网络，对输入图像进行高效的特征提取处理，避免因引入Inception结构带来的编码子网络的宽度增加和网络参数过多导致的过拟合。采用2阶改进型沙漏网络可以大大降低网络的深度，使网络能够更快收敛，同时降低了网络的参数量。图中的绿色矩形模块是由改进后的Residual+Inception子单元组成，绿色矩形内部的第一行数字代表输入通道，第二行数字代表输出通道。对于一阶沙漏模块而言，上半路在原尺度进行，下半路经历了先降采样再升采样的过程，降采样使用最大池化，升采样使用最近邻插值，最后将上下两个半路输出相加得到最终输出。沙漏模块的阶数不同导致网络的复杂度和参数量不同。
利用带有坐标值的人脸图像对该k阶沙漏联合编码网络进行学习训练，由于联合热力图的大小为w×h×3，对于大小为256×256的人脸图像来说，编码分辨率常设置为128×128×3，以使该编码子网络E形成从人脸图像I坐标输入到联合热力图H的映射E(I)→H。网络输入为128×128大小的人脸图像，输出为w×h联合热力图(输出层热力图大小可根据实际需要进行设置)。优选的，将生成的联合热力图的大小设置为64×64，使得人脸关键点的相对位置由稀疏变得更加紧凑，减小模型的空间冗余，降低了网络的参数量。
进一步的，利用该联合编码子网络将N个2D参考坐标向量联合编码为2D联合热力图的具体过程为：
针对于某个关键点对应的2D参考坐标向量(x,y)，首先将其编码为一系列连续的数值；并采用取最大值的方式进行筛选，即在所述编码所得的一系列连续数值中选取其中最大的值，作为热力图的编码值。令表示第m个热力图中位于(im,jm)处的值，m∈{1,2,3}。对于人脸图像上的第n个关键点，其位置为vx,y,vy,z,vx,z，以2D高斯形式对(x,y)坐标向量进行编码(其他两个坐标向量进行相同的操作)，如公式(1)所示(σ为方差)：
对于一个具有N个关键点的人脸图像，对每个关键点在其编码出的一系列连续的值中，通过取最大值，然后将N个关键点的编码值联合到一张图上形成2D联合热力图，如公式(2)所示：
通过上述联合编码过程即可分别得到三个视角下的2D联合热力图，每一个2D联合热力图的大小均为w×h，其中编码了所有N个关键点。图5示出了本发明示例性的联合编码子网络生成的热力图。
步骤103，采用concat法将三个2D视角下的2D联合热力图叠加为3D联合热力图；
具体的，采用concat法将三个二维平面下的2D联合热力图进行叠加，得到3D热力图。Concat法是一种联合向量算法，用于连接两个或者多个数组。通过concat的方法可以将这三个2D联合热力图叠加到一起，得到大小为w×h×3的3D热力图(其中3代表3个通道)，如公式(3)所示：
H＝concat(p1,p2,p3) (3)
步骤104，基于2D全卷积网络构建所述解码子网络，训练所述解码子网络使其性能趋于稳定；利用所述解码子网络将所述3D联合热力图解码为N个3D检测坐标向量。
具体的，该解码子网络经过预训练后可形成联合热力图H到相应的3D坐标向量c间的映射D(H)→c。由于联合热力图H的大小为w×h×3，因此解码子网络采用了一个2D全卷积网络进行构建，对热力图进行解码，如图4所示(见附录1)；该解码子网络共包括5个2D卷积层，卷积核个数分别为128，128，256，256，512，卷积核大小均为4×4，步长为2，最后一个卷积层的通道数为N×3，每个卷积层中间搭配batch normalization及LeakyRelu激活函数，最后一层为全局平均池化层，将由concat法得到的3D联合热力图通过该解码子网络可得到N个3D关键点坐标向量。如图6所示，由此我们通过解码子网络完成了对人脸N个3D关键点的检测坐标向量的提取。进一步，为了方便可视化，如图7所示，将3D关键点坐标投影到2D图像上。
进一步的，考虑到在网络训练过程中，不同的损失函数拥有不同的收敛速度且导向不同的极值点，本发明采用多损失函数融合训练方法对所述联合编码子网络、解码子网络进行训练。所述多损失函数融合训练方法采用三种不同的损失函数对网络进行三轮迭代训练，以前一轮训练得到的最优权重作为下一轮的初始权重，直到三轮训练完成停止训练。由于每一种损失函数对不同大小的误差敏感度不同，均方误差损失(MSE)对大误差敏感，因此遇到大误差时收敛速度快；最小绝对值误差损失(L1)和平滑后的最小绝对值误差损失(SmoothL1)对小误差敏感，遇到小误差时收敛速度更快。因此我们采用三种损失函数，迭代进行三轮训练，第一轮采用均方误差损失函数，第二轮采用最小绝对值误差损失函数，第三轮采用平滑后的最小绝对值误差损失函数，每一轮训练后的最优权重作为下一轮的初始权重。通过这样的训练方式，使网络的检测精度变得更加准确。相应的联合编码子网络损失函数为公式4～6：
Lhm1＝∑|E(I)-H|2 (4)
Lhm2＝∑|E(I)-H| (5)
相应的解码子网络损失函数为公式7～9：
Lcoord1＝∑|D(H)-c|2 (7)
Lcoord2＝∑|D(H)-c| (8)
其中，D表示解码子网络；c表示3D检测坐标向量；H表示联合热力图；E表示联合编码子网络，I表示带有坐标向量的人脸图像。
在本发明进一步的实施例中，我们先分别对联合编码子网络、解码子网络两个子网络进行预训练，再将两个网络连接在一起作为整体进行微调(在编程过程中，图8为该完整网络的结构示意图。在两个网络模型中间加入cancat算法进行2D联合热力图到3D热力图的叠加)，主要分两步进行：
第一步：在预训练阶段，利用带有坐标向量的人脸图像训练所述联合编码子网络，以使其形成输入层为N个带有坐标向量的人脸图像、输出层为联合热力图的非线性映射。同时，利用3D联合热力图训练所述解码子网络，以使其形成输入层为3D联合热力图、输出层为3D检测坐标向量的非线性映射。
第二步：在微调阶段，将预训练后的解码子网络连接到预训练后的联合编码子网络的后面，在两个网络中间加入concat算法(可通过编程实现)形成一个完整的联合热力图人脸3D关键点检测网络模型，对这个完整的网络模型进行微调，输入为N个带有坐标向量的原始人脸图像，输出依次为相应的2D联合热力图、相应的关键点3D坐标向量。最终整个网络以端到端的方式进行训练，其采用多损失函数融合训练方法为：第一轮训练采用均方误差损失函数，对应的损失值是Lhm1+Lcoord1；第二轮训练采用最小绝对值误差损失函数，对应的损失值是Lhm2+Lcoord2；第三轮训练采用平滑后的最小绝对值误差损失函数，对应的损失值是Lhm3+Lcoord3。前一轮训练得到的最优权重作为下一轮的初始权重，直至三三轮训练结束得到最终训练结果停止训练。
在本发明的进一步的实施例中，我们将提取到的检测坐标向量与参考坐标向量作对比论证，并通过具体的实验数据验证本算法。将本算法所得实验结果与现有技术中的算法做准确度对比，其结果如表1、表2、所示：
表1 在AFLW2000-3D数据集上3D-FAN，JVCR及本算法的GTE性能对比
表2 3DDFA，3D-FAN，JVCR及本算法网络参数量大小(MB)及处理一张图片耗时(ms)
图9示出了根据本发明示例性实施例的基于联合热力图的人脸3D关键点检测***，即电子设备310(例如具备程序执行功能的计算机服务器)，其包括至少一个处理器311，电源314，以及与所述至少一个处理器311通信连接的存储器312和输入输出接口313；所述存储器312存储有可被所述至少一个处理器311执行的指令，所述指令被所述至少一个处理器311执行，以使所述至少一个处理器311能够执行前述任一实施例所公开的方法；所述输入输出接口313可以包括显示器、键盘、鼠标、以及USB接口，用于输入输出数据；电源314用于为电子设备310提供电能。
本领域技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
当本发明上述集成的单元以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明具体实施方式的详细说明，而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下，做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。

Claims (7)

1.一种轻量化人脸3D关键点检测方法，其特征在于，包括：
步骤101，将数据库中人脸关键点的N个3D参考坐标向量在三个二维平面进行降维投影；其中，所述三个二维平面分别为xy、xz、yz平面，且x、y、z同时为正或同时为负；每个二维平面中包括N个与所述N个3D参考坐标向量相对应的2D参考坐标向量；
步骤102，基于k阶改进型沙漏网络构建联合编码子网络，训练所述联合编码子网络使其性能趋于稳定；利用训练好的联合编码子网络将每个2D视角下的N个2D参考坐标向量联合编码为2D联合热力图；其中，所述k阶改进型沙漏网络残差单元采用Residual+Inception结构；
步骤103，采用concat法将三个2D视角下的2D联合热力图叠加为3D联合热力图；
步骤104，基于2D全卷积网络构建所述解码子网络，训练所述解码子网络使其性能趋于稳定；利用所述解码子网络将所述3D联合热力图解码为N个3D检测坐标向量。
2.根据权利要求1所述的方法，其特征在于，所述联合编码子网络为2阶改进型沙漏网络。
3.根据权利要求1所述的方法，其特征在于，采用多损失函数融合训练方法对所述联合编码子网络、解码子网络进行训练。
4.根据权利要求3所述的方法，其特征在于，所述多损失函数融合训练方法采用三种不同的损失函数对网络进行三轮迭代训练，以前一轮训练得到的最优权重作为下一轮的初始权重，直到三轮训练完成停止训练。
5.根据权利要求4所述的方法，其特征在于，所述三种损失函数为：均方误差损失函数、最小绝对值误差损失函数、平滑后的最小绝对值误差损失函数。
6.根据权利要求1所述的方法，其特征在于，所述解码子网络包括：4个2D卷积层，每个卷积层中间搭配batch normalization及LeakyRelu激活函数。
7.一种轻量化人脸3D关键点检测***，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6中任一项所述的方法。
CN201910818443.4A 2019-08-30 2019-08-30 一种轻量化人脸3d关键点检测方法及*** Pending CN110516642A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910818443.4A CN110516642A (zh) 2019-08-30 2019-08-30 一种轻量化人脸3d关键点检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910818443.4A CN110516642A (zh) 2019-08-30 2019-08-30 一种轻量化人脸3d关键点检测方法及***

Publications (1)

Publication Number Publication Date
CN110516642A true CN110516642A (zh) 2019-11-29

Family

ID=68628740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910818443.4A Pending CN110516642A (zh) 2019-08-30 2019-08-30 一种轻量化人脸3d关键点检测方法及***

Country Status (1)

Country Link
CN (1) CN110516642A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128436A (zh) * 2021-04-27 2021-07-16 北京百度网讯科技有限公司 关键点的检测方法和装置
CN113269862A (zh) * 2021-05-31 2021-08-17 中国科学院自动化研究所 场景自适应的精细三维人脸重建方法、***、电子设备
WO2021190664A1 (zh) * 2020-11-12 2021-09-30 平安科技（深圳）有限公司 基于关键点定位的多人脸检测方法、***及存储介质
WO2022089360A1 (zh) * 2020-10-28 2022-05-05 广州虎牙科技有限公司 人脸检测神经网络及训练方法、人脸检测方法、存储介质
CN114757822A (zh) * 2022-06-14 2022-07-15 之江实验室 一种基于双目的人体三维关键点检测方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030161505A1 (en) * 2002-02-12 2003-08-28 Lawrence Schrank System and method for biometric data capture and comparison
CN108564029A (zh) * 2018-04-12 2018-09-21 厦门大学 基于级联多任务学习深度神经网络的人脸属性识别方法
CN109063666A (zh) * 2018-08-14 2018-12-21 电子科技大学 基于深度可分离卷积的轻量化人脸识别方法及***
CN109241910A (zh) * 2018-09-07 2019-01-18 高新兴科技集团股份有限公司 一种基于深度多特征融合级联回归的人脸关键点定位方法
CN109685023A (zh) * 2018-12-27 2019-04-26 深圳开立生物医疗科技股份有限公司 一种超声图像的面部关键点检测方法及相关装置
CN109919097A (zh) * 2019-03-08 2019-06-21 中国科学院自动化研究所 基于多任务学习的人脸和关键点联合检测***、方法
CN110084221A (zh) * 2019-05-08 2019-08-02 南京云智控产业技术研究院有限公司 一种基于深度学习的带中继监督的序列化人脸关键点检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030161505A1 (en) * 2002-02-12 2003-08-28 Lawrence Schrank System and method for biometric data capture and comparison
CN108564029A (zh) * 2018-04-12 2018-09-21 厦门大学 基于级联多任务学习深度神经网络的人脸属性识别方法
CN109063666A (zh) * 2018-08-14 2018-12-21 电子科技大学 基于深度可分离卷积的轻量化人脸识别方法及***
CN109241910A (zh) * 2018-09-07 2019-01-18 高新兴科技集团股份有限公司 一种基于深度多特征融合级联回归的人脸关键点定位方法
CN109685023A (zh) * 2018-12-27 2019-04-26 深圳开立生物医疗科技股份有限公司 一种超声图像的面部关键点检测方法及相关装置
CN109919097A (zh) * 2019-03-08 2019-06-21 中国科学院自动化研究所 基于多任务学习的人脸和关键点联合检测***、方法
CN110084221A (zh) * 2019-05-08 2019-08-02 南京云智控产业技术研究院有限公司 一种基于深度学习的带中继监督的序列化人脸关键点检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHENGNING WANG: "A LIGHT-WEIGHTED NETWORK FOR FACIAL LANDMARK DETECTION VIA COMBINED HEATMAP AND COORDINATE REGRESSION", 《2019 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)》 *
张伟等: "引入全局约束的精简人脸关键点检测网络", 《信号处理》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022089360A1 (zh) * 2020-10-28 2022-05-05 广州虎牙科技有限公司 人脸检测神经网络及训练方法、人脸检测方法、存储介质
WO2021190664A1 (zh) * 2020-11-12 2021-09-30 平安科技（深圳）有限公司 基于关键点定位的多人脸检测方法、***及存储介质
CN113128436A (zh) * 2021-04-27 2021-07-16 北京百度网讯科技有限公司 关键点的检测方法和装置
CN113269862A (zh) * 2021-05-31 2021-08-17 中国科学院自动化研究所 场景自适应的精细三维人脸重建方法、***、电子设备
CN114757822A (zh) * 2022-06-14 2022-07-15 之江实验室 一种基于双目的人体三维关键点检测方法及***
CN114757822B (zh) * 2022-06-14 2022-11-04 之江实验室 一种基于双目的人体三维关键点检测方法及***

Similar Documents

Publication Publication Date Title
CN110516642A (zh) 一种轻量化人脸3d关键点检测方法及***
Xu et al. Sketchmate: Deep hashing for million-scale human sketch retrieval
CN111368662B (zh) 一种人脸图像属性编辑方法、装置、存储介质及设备
CN110516643A (zh) 一种基于联合热力图的人脸3d关键点检测方法及***
CN107291871B (zh) 基于人工智能的多域信息的匹配度评估方法、设备及介质
Jiang et al. Dual attention mobdensenet (damdnet) for robust 3d face alignment
CN112215050A (zh) 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备
CN111191526A (zh) 行人属性识别网络训练方法、***、介质及终端
CN110598601A (zh) 一种基于分布式热力图的人脸3d关键点检测方法及***
He et al. Sketch recognition with deep visual-sequential fusion model
CN115116559A (zh) 氨基酸中原子坐标的确定及训练方法、装置、设备和介质
US20220335685A1 (en) Method and apparatus for point cloud completion, network training method and apparatus, device, and storage medium
WO2024001311A1 (zh) 三维网格模型的特征提取网络的训练方法、装置和***
Wang et al. High pe utilization CNN accelerator with channel fusion supporting pattern-compressed sparse neural networks
CN109934183A (zh) 图像处理方法及装置、检测设备及存储介质
CN114780748A (zh) 基于先验权重增强的知识图谱的补全方法
JP2023059231A (ja) キーポイント検出及びモデル訓練方法、装置、デバイス、並びに記憶媒体
Li et al. Graph jigsaw learning for cartoon face recognition
Zhang et al. Differentiable spatial regression: A novel method for 3D hand pose estimation
CN113420289B (zh) 面向深度学习模型的隐蔽中毒攻击防御方法及其装置
Chen et al. Capsule boundary network with 3D convolutional dynamic routing for temporal action detection
Li et al. Msvit: training multiscale vision transformers for image retrieval
CN113298931A (zh) 一种物体模型的重建方法、装置、终端设备和存储介质
CN111597367B (zh) 基于视图和哈希算法的三维模型检索方法
WO2022096944A1 (en) Method and apparatus for point cloud completion, network training method and apparatus, device, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191129