CN106327571A - 一种三维人脸建模方法及装置 - Google Patents

一种三维人脸建模方法及装置 Download PDF

Info

Publication number
CN106327571A
CN106327571A CN201610710766.8A CN201610710766A CN106327571A CN 106327571 A CN106327571 A CN 106327571A CN 201610710766 A CN201610710766 A CN 201610710766A CN 106327571 A CN106327571 A CN 106327571A
Authority
CN
China
Prior art keywords
dimensional face
face model
facial image
dimensional
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610710766.8A
Other languages
English (en)
Other versions
CN106327571B (zh
Inventor
户磊
吴超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilu Shenshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilu Shenshi Technology Co Ltd filed Critical Beijing Dilu Shenshi Technology Co Ltd
Priority to CN201610710766.8A priority Critical patent/CN106327571B/zh
Publication of CN106327571A publication Critical patent/CN106327571A/zh
Application granted granted Critical
Publication of CN106327571B publication Critical patent/CN106327571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种三维人脸建模方法及装置，方法包括：将第一人脸图像与预设三维人脸数据库进行拟合，根据第二人脸图像的目标三维人脸模型对拟合得到的三维人脸模型进行调整，根据预设的人脸局部光滑基函数对第二三维人脸模型进行拟合，得到第三三维人脸模型；建立第三三维人脸模型的几何细节，得到目标三维人脸模型。本发明实施例将第一人脸图像与预设三维人脸数据库进行拟合，结合其它角度的人脸图像对三维人脸模型进行调整，并通过预设的人脸局部光滑基函数和几何细节进行进一步的拟合，能够得到高精度的三维人脸模型，无需采集人预先录制各种繁琐的表情，且对第一帧表情无要求，有利于三维人脸建模技术的广泛应用。

Description

一种三维人脸建模方法及装置
技术领域
本发明实施例涉及计算机技术领域，具体涉及一种三维人脸建模方法及装置。
背景技术
三维人脸实时重建在三维动画、虚拟现实、人机交互、身份验证与识别等诸多领域有着广泛的应用价值。如图1所示，三维人脸重建可用于人机交互、视频游戏、沉浸式通信、身份验证等领域。
近年来，随着基于结构光与可测深度摄像头深度扫描技术的发展，深度相机如Intel RealSense、Microsoft Kinect、PrimeSense具有价格低廉、结构小巧、使用方便、能实时捕获物体表面的深度与颜色信息等优点，如图2所示；另外同立体视觉方法相比，深度相机基于主动发射近红外光或者结构光，计算复杂度低、不易受物体表面纹理及光照变化的影响等优点。因此深度相机已在人机交互、游戏、机器视觉、增强现实、视频监控、机器人、生物医学等领域受到广泛关注。
现有的算法通常采用的是模型数据库拟合的方式进行重建，采集人需预先采集基本的表情与姿态模型，然后用标定好的模型基实时驱动采集人进行跟踪与重建。现有的实时三维人脸建模技术存在着需要采集人预先录制各种繁琐的表情，或者重建精度不高以及对采集的第一帧表情为中性脸的要求等问题，大大限制了三维人脸建模技术的广泛应用。
在实现本发明实施例的过程中，发明人发现现有的方法需要采集人预先录制各种繁琐的表情，重建精度不高以及要求采集的第一帧表情为中性脸，限制了三维人脸建模技术的广泛应用。
发明内容
由于现有的方法需要采集人预先录制各种繁琐的表情，重建精度不高以及要求采集的第一帧表情为中性脸，限制了三维人脸建模技术的广泛应用的问题，本发明实施例提出一种三维人脸建模方法及装置。
第一方面，本发明实施例提出一种三维人脸建模方法，包括：
获取第一人脸图像，将所述第一人脸图像与预设三维人脸数据库进行拟合，得到第一三维人脸模型；
根据第二人脸图像的目标三维人脸模型对所述第一三维人脸模型进行调整，得到第二三维人脸模型；
根据预设的人脸局部光滑基函数对所述第二三维人脸模型进行拟合，得到第三三维人脸模型；
建立所述第三三维人脸模型的几何细节，得到目标三维人脸模型。
优选地，所述方法还包括：
若判断获知所述第一人脸图像与所述预设三维人脸数据库的注册误差大于阈值，则采用所述第一人脸图像的深度图像对所述第一三维人脸模型的调整进行辅助。
优选地，所述将所述第一人脸图像与预设三维人脸数据库进行拟合，进一步包括：
采用身份系数和表情系数，将所述第一人脸图像与预设三维人脸数据库进行拟合。
优选地，所述方法还包括：
对图像进行人脸检测，若检测获知所述图像中包含人脸，则获取人脸所在区域，根据所述人脸所在区域，得到所述第一人脸图像。
优选地，所述建立所述第三三维人脸模型的几何细节，进一步包括：
计算所述第三三维人脸模型中的皮肤反射率，根据所述皮肤反射率，得到所述第三三维人脸模型的几何细节。
第二方面，本发明实施例还提出一种三维人脸建模装置，包括：
模型拟合模块，用于获取第一人脸图像，将所述第一人脸图像与预设三维人脸数据库进行拟合，得到第一三维人脸模型；
模型调整模块，用于根据第二人脸图像的目标三维人脸模型对所述第一三维人脸模型进行调整，得到第二三维人脸模型；
函数拟合模块，用于根据预设的人脸局部光滑基函数对所述第二三维人脸模型进行拟合，得到第三三维人脸模型；
细节建立模块，用于建立所述第三三维人脸模型的几何细节，得到目标三维人脸模型。
优选地，所述装置还包括：
辅助调整模块，用于若判断获知所述第一人脸图像与所述预设三维人脸数据库的注册误差大于阈值，则采用所述第一人脸图像的深度图像对所述第一三维人脸模型的调整进行辅助。
优选地，所述模型拟合模块进一步用于采用身份系数和表情系数，将所述第一人脸图像与预设三维人脸数据库进行拟合。
优选地，所述装置还包括：
人脸图像获取模块，用于对图像进行人脸检测，若检测获知所述图像中包含人脸，则获取人脸所在区域，根据所述人脸所在区域，得到所述第一人脸图像。
优选地，所述细节建立模块进一步用于计算所述第三三维人脸模型中的皮肤反射率，根据所述皮肤反射率，得到所述第三三维人脸模型的几何细节。
由上述技术方案可知，本发明实施例通过将第一人脸图像与预设三维人脸数据库进行拟合，能够获取符合第一人脸图像的初步的三维人脸模型；根据第二人脸图像的目标三维人脸模型对第一三维人脸模型进行调整，能够结合其它角度的人脸图像的三维人脸模型，对初步三维人脸模型进行调整，并通过预设的人脸局部光滑基函数和几何细节进行进一步的拟合，能够得到高精度的三维人脸模型，无需采集人预先录制各种繁琐的表情，且对第一帧表情无要求，有利于三维人脸建模技术的广泛应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1为现有技术提供的三维人脸重建技术的应用示意图；
图2为现有技术提供的深度相机的体积和价格的关系示意图；
图3为本发明一实施例提供的一种三维人脸建模方法的流程示意图；
图4为本发明另一实施例提供的一种三维人脸建模方法的流程示意图；
图5为本发明一实施例提供的一种三维人脸建模装置的结构示意图。
具体实施方式
下面结合附图，对发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
图3示出了本实施例提供的一种三维人脸建模方法的流程示意图，包括：
S301、获取第一人脸图像，将所述第一人脸图像与预设三维人脸数据库进行拟合，得到第一三维人脸模型；
其中，所述第一人脸图像为待处理的用于进行三维人脸建模的人脸图像。所述第一人脸图像可以为采用RGB-D相机采集到的包含颜色与深度信息的图像。
所述预设三维人脸数据库为预先采集的多人多表情的三维人脸模型，包括各种类型的人脸，例如老人、孩子、男人、女人等等，每种类型的人脸包括多个表情。
举例来说，参照图4所示流程，将第i帧采集到的人脸点云信息P_i与数据库中预先采集的预设三维人脸数据库进行拟合，拟合的变量为采集人的身份系数与表情系数，在优化过程中，为了利用采集到的颜色信息，将拟合出来的人脸上的三维关键点投影到二维成像平面使得投影点的位置尽可能的和二维人脸图像I_i上的关键点信息重合。
具体地，采用将采集到的点云与数据库中的多人多表情三维人脸模型进行快速拟合的方式，求解变量为采集人的身份系数与表情系数。在确定采集人的身份系数与表情系数的过程中，还将采集到的二维人脸图片的关键点信息作为约束，使得由身份系数与表情系数组合出来的三维人脸模型的三维关键点投影到二维成像平面之后的位置与人脸图片上的关键点信息尽可能重合。
S302、根据第二人脸图像的目标三维人脸模型对所述第一三维人脸模型进行调整，得到第二三维人脸模型；
其中，所述第二人脸图像与所述第一人脸图像角度不同但人脸相同的人脸图像。
举例来说，由于采集人在采集过程中不断移动与旋转人脸，为了跟踪并进一步优化重建的三维人脸，需将新采集到的人脸点云信息与上一步重建出来的三维人脸模型进行刚性与非刚性注册。在刚性注册部分，采用迭代的最近点算法优化旋转矩阵与平移向量；在非刚性注册部分，进一步优化采集人的身份稀疏、表情稀疏与局部光滑基的组合系数。
S303、根据预设的人脸局部光滑基函数对所述第二三维人脸模型进行拟合，得到第三三维人脸模型；
具体地，在非刚性注册步骤中，我们除了将采集到的点云信息与预先采集的预设三维人脸数据库做拟合之外，还对三维人脸模型预先提取了人脸局部光滑基函数，因此，除了采集人的身份系数与表情系数之外，还增加了局部光滑基的组合系数作为变量，进一步拟合人脸三维模型。
S304、建立所述第三三维人脸模型的几何细节，得到目标三维人脸模型。
虽然S301-S303能很好地重建并跟踪三维人脸，但重建出来的模型并未包含采集人的几何细节。采用来源于阴影的形状方法重建人脸模型上的细节。
具体地，采用来自于阴影的形状分析方法重建人脸模型的几何细节；同时为了更好的表达人脸模型的几何细节，需对人脸的某些特定区域(研究、鼻子、嘴等部分)进行有选择的细分操作。
本实施例利用预先采集好的三维人脸模型和设计好的人脸三角网格上的预设的人脸局部光滑基函数协同下的实时人脸模型恢复算法，并采用shape from shading方法进一步恢复人脸的细节。基于多人多表情三维人脸数据库的张量拟合算法，同时引入了局部光滑的基函数增加拟合的自由度，并将采集到的颜色图片信息作为输入采用来自于阴影的细节恢复算法恢复人脸的几何细节。
本实施例通过将第一人脸图像与预设三维人脸数据库进行拟合，能够获取符合第一人脸图像的初步的三维人脸模型；根据第二人脸图像的目标三维人脸模型对第一三维人脸模型进行调整，能够结合其它角度的人脸图像的三维人脸模型，对初步三维人脸模型进行调整，并通过预设的人脸局部光滑基函数和几何细节进行进一步的拟合，能够得到高精度的三维人脸模型，无需采集人预先录制各种繁琐的表情，且对第一帧表情无要求，有利于三维人脸建模技术的广泛应用。
进一步地，在上述方法实施例的基础上，S302和S303之间还包括：
S3023、若判断获知所述第一人脸图像与所述预设三维人脸数据库的注册误差大于阈值，则采用所述第一人脸图像的深度图像对所述第一三维人脸模型的调整进行辅助。
具体地，如果刚性跟踪步骤失败，即点云与三维模型之间的注册误差大于某个阈值时，采用由深度图像估计出来的人脸位置与朝向信息辅助点云与三维模型之间的注册。
通过采集设备采集的人脸颜色与深度信息进行实时高精度的三维人脸重建与跟踪。
进一步地，在上述方法实施例的基础上，S301中所述将所述第一人脸图像与预设三维人脸数据库进行拟合，进一步包括：
采用身份系数和表情系数，将所述第一人脸图像与预设三维人脸数据库进行拟合。
其中，所述身份系数为表示人脸身份的参数，所述人脸身份如老人、孩子、男人、女人等。
所述表情系数为表示人脸表情的参数，所述人脸表情如哭、笑、怒等等。
通过用身份系数和表情系数，能够快速确定第一人脸图像对应的人脸的身份和表情，便于后续进一步的处理。
进一步地，在上述方法实施例的基础上，所述方法还包括：
S300、对图像进行人脸检测，若检测获知所述图像中包含人脸，则获取人脸所在区域，根据所述人脸所在区域，得到所述第一人脸图像。
具体地，基于深度单通道与颜色深度四通道信号的faster-rcnn方法的人脸检测；根据人脸朝向的不同角度进行多分类，对每一类朝向的人脸颜色深度数据单独训练一个关键点检测的回归模型进行人脸关键点检测。
通过对图像进行人脸识别，能够快速确定图像中是否包含人脸，若图像中无人脸，能够大大节省不必要的处理时间。
更进一步地，在上述方法实施例的基础上，S304中所述建立所述第三三维人脸模型的几何细节，进一步包括：
计算所述第三三维人脸模型中的皮肤反射率，根据所述皮肤反射率，得到所述第三三维人脸模型的几何细节。
具体地，人脸图像上的颜色信息是由照射在人脸上的光经过人脸反射显示出来的，可以表示成cij＝rij·sij，其中rij是人脸反射率，sij是光照，cij是图像的像素值。假设光照是光滑的，我们可以用低维的球面调和基函数对光照建模，同时引入光照校正场光照模型可以表示成：其中φ(n)是2阶的球面调和基函数，y是基函数对应的权重系数。通过让建模的光照乘上皮肤反射率得到的值与人脸图像的颜色值尽可能一样，并要求光照光滑，可计算出权重系数y和校正场d，就可以获取光照sij，并可得到皮肤反射率rij＝cij/sij。
通过计算得到的皮肤反射率，并允许点云包含的所有点沿着它们相应的视线方向移动，从而得到带有细节的点云。把原始的光滑模型注册到带细节的点云，最终获得带有几何细节的三维人脸模型。
图5示出了本实施例提供的一种三维人脸建模装置的结构示意图，所述装置包括：模型拟合模块501、模型调整模块502、函数拟合模块503和细节建立模块504，其中：
所述模型拟合模块501用于获取第一人脸图像，将所述第一人脸图像与预设三维人脸数据库进行拟合，得到第一三维人脸模型；
所述模型调整模块502用于根据第二人脸图像的目标三维人脸模型对所述第一三维人脸模型进行调整，得到第二三维人脸模型；
所述函数拟合模块503用于根据预设的人脸局部光滑基函数对所述第二三维人脸模型进行拟合，得到第三三维人脸模型；
所述细节建立模块504用于建立所述第三三维人脸模型的几何细节，得到目标三维人脸模型。
具体地，所述模型拟合模块501获取第一人脸图像，将所述第一人脸图像与预设三维人脸数据库进行拟合，得到第一三维人脸模型；所述模型调整模块502根据第二人脸图像的目标三维人脸模型对所述第一三维人脸模型进行调整，得到第二三维人脸模型；所述函数拟合模块503根据预设的人脸局部光滑基函数对所述第二三维人脸模型进行拟合，得到第三三维人脸模型；所述细节建立模块504建立所述第三三维人脸模型的几何细节，得到目标三维人脸模型。
本实施例通过将第一人脸图像与预设三维人脸数据库进行拟合，能够获取符合第一人脸图像的初步的三维人脸模型；根据第二人脸图像的目标三维人脸模型对第一三维人脸模型进行调整，能够结合其它角度的人脸图像的三维人脸模型，对初步三维人脸模型进行调整，并通过预设的人脸局部光滑基函数和几何细节进行进一步的拟合，能够得到高精度的三维人脸模型，无需采集人预先录制各种繁琐的表情，且对第一帧表情无要求，有利于三维人脸建模技术的广泛应用。
进一步地，在上述方法实施例的基础上，所述装置还包括：
辅助调整模块，用于若判断获知所述第一人脸图像与所述预设三维人脸数据库的注册误差大于阈值，则采用所述第一人脸图像的深度图像对所述第一三维人脸模型的调整进行辅助。
进一步地，在上述方法实施例的基础上，所述模型拟合模块501进一步用于采用身份系数和表情系数，将所述第一人脸图像与预设三维人脸数据库进行拟合。
进一步地，在上述方法实施例的基础上，所述装置还包括：
人脸图像获取模块，用于对图像进行人脸检测，若检测获知所述图像中包含人脸，则获取人脸所在区域，根据所述人脸所在区域，得到所述第一人脸图像。
更进一步地，在上述方法实施例的基础上，所述细节建立模块504进一步用于计算所述第三三维人脸模型中的皮肤反射率，根据所述皮肤反射率，得到所述第三三维人脸模型的几何细节。
本实施例所述的三维人脸建模装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种三维人脸建模方法，其特征在于，包括：
获取第一人脸图像，将所述第一人脸图像与预设三维人脸数据库进行拟合，得到第一三维人脸模型；
根据第二人脸图像的目标三维人脸模型对所述第一三维人脸模型进行调整，得到第二三维人脸模型；
根据预设的人脸局部光滑基函数对所述第二三维人脸模型进行拟合，得到第三三维人脸模型；
建立所述第三三维人脸模型的几何细节，得到目标三维人脸模型。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若判断获知所述第一人脸图像与所述预设三维人脸数据库的注册误差大于阈值，则采用所述第一人脸图像的深度图像对所述第一三维人脸模型的调整进行辅助。
3.根据权利要求1所述的方法，其特征在于，所述将所述第一人脸图像与预设三维人脸数据库进行拟合，进一步包括：
采用身份系数和表情系数，将所述第一人脸图像与预设三维人脸数据库进行拟合。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对图像进行人脸检测，若检测获知所述图像中包含人脸，则获取人脸所在区域，根据所述人脸所在区域，得到所述第一人脸图像。
5.根据权利要求1所述的方法，其特征在于，所述建立所述第三三维人脸模型的几何细节，进一步包括：
计算所述第三三维人脸模型中的皮肤反射率，根据所述皮肤反射率，得到所述第三三维人脸模型的几何细节。
6.一种三维人脸建模装置，其特征在于，包括：
模型拟合模块，用于获取第一人脸图像，将所述第一人脸图像与预设三维人脸数据库进行拟合，得到第一三维人脸模型；
模型调整模块，用于根据第二人脸图像的目标三维人脸模型对所述第一三维人脸模型进行调整，得到第二三维人脸模型；
函数拟合模块，用于根据预设的人脸局部光滑基函数对所述第二三维人脸模型进行拟合，得到第三三维人脸模型；
细节建立模块，用于建立所述第三三维人脸模型的几何细节，得到目标三维人脸模型。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
辅助调整模块，用于若判断获知所述第一人脸图像与所述预设三维人脸数据库的注册误差大于阈值，则采用所述第一人脸图像的深度图像对所述第一三维人脸模型的调整进行辅助。
8.根据权利要求6所述的装置，其特征在于，所述模型拟合模块进一步用于采用身份系数和表情系数，将所述第一人脸图像与预设三维人脸数据库进行拟合。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：
人脸图像获取模块，用于对图像进行人脸检测，若检测获知所述图像中包含人脸，则获取人脸所在区域，根据所述人脸所在区域，得到所述第一人脸图像。
10.根据权利要求6所述的装置，其特征在于，所述细节建立模块进一步用于计算所述第三三维人脸模型中的皮肤反射率，根据所述皮肤反射率，得到所述第三三维人脸模型的几何细节。
CN201610710766.8A 2016-08-23 2016-08-23 一种三维人脸建模方法及装置 Active CN106327571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610710766.8A CN106327571B (zh) 2016-08-23 2016-08-23 一种三维人脸建模方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610710766.8A CN106327571B (zh) 2016-08-23 2016-08-23 一种三维人脸建模方法及装置

Publications (2)

Publication Number Publication Date
CN106327571A true CN106327571A (zh) 2017-01-11
CN106327571B CN106327571B (zh) 2019-11-05

Family

ID=57742629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610710766.8A Active CN106327571B (zh) 2016-08-23 2016-08-23 一种三维人脸建模方法及装置

Country Status (1)

Country Link
CN (1) CN106327571B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154550A (zh) * 2017-11-29 2018-06-12 深圳奥比中光科技有限公司 基于rgbd相机的人脸实时三维重建方法
CN108257210A (zh) * 2018-02-28 2018-07-06 浙江神造科技有限公司 一种通过单张照片生成人脸三维模型的方法
CN108447085A (zh) * 2018-02-11 2018-08-24 浙江大学 一种基于消费级rgb-d相机的人脸视觉外观恢复方法
CN108615016A (zh) * 2018-04-28 2018-10-02 北京华捷艾米科技有限公司 人脸关键点检测方法和人脸关键点检测装置
CN108769647A (zh) * 2018-04-20 2018-11-06 盎锐（上海）信息科技有限公司 基于3d摄像机的影像生成装置及影像生成方法
CN108876894A (zh) * 2018-02-01 2018-11-23 北京旷视科技有限公司 三维人脸模型和三维人头模型生成方法和生成装置
CN109035380A (zh) * 2018-09-11 2018-12-18 北京旷视科技有限公司 基于三维重建的人脸修饰方法、装置、设备及存储介质
CN109191507A (zh) * 2018-08-24 2019-01-11 北京字节跳动网络技术有限公司 三维人脸图像重建方法、装置和计算机可读存储介质
CN109242961A (zh) * 2018-09-26 2019-01-18 北京旷视科技有限公司 一种脸部建模方法、装置、电子设备和计算机可读介质
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及***
WO2019201027A1 (zh) * 2018-04-18 2019-10-24 腾讯科技（深圳）有限公司 一种人脸模型处理方法、装置、非易失性计算机可读存储介质和电子设备
CN110517340A (zh) * 2019-08-30 2019-11-29 腾讯科技（深圳）有限公司 一种基于人工智能的脸部模型确定方法和装置
CN110533762A (zh) * 2018-05-23 2019-12-03 华硕电脑股份有限公司 三维头像的生成方法及电子装置
CN110784453A (zh) * 2019-09-27 2020-02-11 广州市水一方信息科技有限公司 一种用于展厅展馆智能识别***
CN111028343A (zh) * 2019-12-16 2020-04-17 腾讯科技（深圳）有限公司 三维人脸模型的生成方法、装置、设备及介质
CN111160208A (zh) * 2019-12-24 2020-05-15 河南中原大数据研究院有限公司 基于多帧点云融合与可变模型的三维人脸超分辨率方法
CN111210510A (zh) * 2020-01-16 2020-05-29 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN111581411A (zh) * 2020-06-09 2020-08-25 腾讯科技（深圳）有限公司 高精度人脸形状库的构建方法、装置、设备及存储介质
CN111639553A (zh) * 2020-05-14 2020-09-08 青岛联合创智科技有限公司 一种基于视觉三维重建的定制面膜装置的制备方法
CN111784821A (zh) * 2020-06-30 2020-10-16 北京市商汤科技开发有限公司 三维模型生成方法、装置、计算机设备及存储介质
CN112233142A (zh) * 2020-09-29 2021-01-15 深圳宏芯宇电子股份有限公司 目标跟踪方法、设备及计算机可读存储介质
WO2021042961A1 (zh) * 2019-09-06 2021-03-11 清华大学 定制人脸混合表情模型自动生成方法及装置
CN112687009A (zh) * 2020-12-29 2021-04-20 四川大学 一种三维人脸表示方法及其参数测量装置及方法
CN113763559A (zh) * 2021-07-01 2021-12-07 清华大学 一种拟合深度图像的几何运动细节重建方法及装置
CN116246014A (zh) * 2022-12-28 2023-06-09 支付宝(杭州)信息技术有限公司 一种形象生成方法、装置、存储介质及电子设备
WO2024093259A1 (zh) * 2022-10-31 2024-05-10 华为云计算技术有限公司 面部合成方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1797474A (zh) * 2004-12-30 2006-07-05 中国科学院自动化研究所 电子游戏中玩家快速置入方法
CN101383055A (zh) * 2008-09-18 2009-03-11 北京中星微电子有限公司 一种三维人脸模型的构造方法和***
CN101499128A (zh) * 2008-01-30 2009-08-05 中国科学院自动化研究所 基于视频流的三维人脸动作检测和跟踪方法
CN102157007A (zh) * 2011-04-11 2011-08-17 北京中星微电子有限公司 一种表演驱动的制作人脸动画的方法和装置
CN102163330A (zh) * 2011-04-02 2011-08-24 西安电子科技大学 基于张量分解与Delaunay三角划分的多视角人脸合成方法
CN103544486A (zh) * 2013-10-31 2014-01-29 东南大学 基于自适应标记分布的人类年龄估计方法
US20150009207A1 (en) * 2013-07-08 2015-01-08 Qualcomm Incorporated Systems and methods for producing a three-dimensional face model

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1797474A (zh) * 2004-12-30 2006-07-05 中国科学院自动化研究所 电子游戏中玩家快速置入方法
CN101499128A (zh) * 2008-01-30 2009-08-05 中国科学院自动化研究所 基于视频流的三维人脸动作检测和跟踪方法
CN101383055A (zh) * 2008-09-18 2009-03-11 北京中星微电子有限公司 一种三维人脸模型的构造方法和***
CN102163330A (zh) * 2011-04-02 2011-08-24 西安电子科技大学 基于张量分解与Delaunay三角划分的多视角人脸合成方法
CN102157007A (zh) * 2011-04-11 2011-08-17 北京中星微电子有限公司 一种表演驱动的制作人脸动画的方法和装置
US20150009207A1 (en) * 2013-07-08 2015-01-08 Qualcomm Incorporated Systems and methods for producing a three-dimensional face model
CN103544486A (zh) * 2013-10-31 2014-01-29 东南大学 基于自适应标记分布的人类年龄估计方法

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154550B (zh) * 2017-11-29 2021-07-06 奥比中光科技集团股份有限公司 基于rgbd相机的人脸实时三维重建方法
CN108154550A (zh) * 2017-11-29 2018-06-12 深圳奥比中光科技有限公司 基于rgbd相机的人脸实时三维重建方法
CN108876894A (zh) * 2018-02-01 2018-11-23 北京旷视科技有限公司 三维人脸模型和三维人头模型生成方法和生成装置
CN108447085A (zh) * 2018-02-11 2018-08-24 浙江大学 一种基于消费级rgb-d相机的人脸视觉外观恢复方法
CN108447085B (zh) * 2018-02-11 2022-01-04 浙江大学 一种基于消费级rgb-d相机的人脸视觉外观恢复方法
CN108257210A (zh) * 2018-02-28 2018-07-06 浙江神造科技有限公司 一种通过单张照片生成人脸三维模型的方法
US11257299B2 (en) 2018-04-18 2022-02-22 Tencent Technology (Shenzhen) Company Limited Face model processing for facial expression method and apparatus, non-volatile computer-readable storage-medium, and electronic device
WO2019201027A1 (zh) * 2018-04-18 2019-10-24 腾讯科技（深圳）有限公司 一种人脸模型处理方法、装置、非易失性计算机可读存储介质和电子设备
CN108769647A (zh) * 2018-04-20 2018-11-06 盎锐（上海）信息科技有限公司 基于3d摄像机的影像生成装置及影像生成方法
CN108615016A (zh) * 2018-04-28 2018-10-02 北京华捷艾米科技有限公司 人脸关键点检测方法和人脸关键点检测装置
CN108615016B (zh) * 2018-04-28 2020-06-19 北京华捷艾米科技有限公司 人脸关键点检测方法和人脸关键点检测装置
CN110533762A (zh) * 2018-05-23 2019-12-03 华硕电脑股份有限公司 三维头像的生成方法及电子装置
CN110533762B (zh) * 2018-05-23 2023-04-21 华硕电脑股份有限公司 三维头像的生成方法及电子装置
CN109191507A (zh) * 2018-08-24 2019-01-11 北京字节跳动网络技术有限公司 三维人脸图像重建方法、装置和计算机可读存储介质
US11170554B2 (en) 2018-08-24 2021-11-09 Beijing Bytedance Network Technology Co., Ltd. Three-dimensional face image reconstruction method and device, and computer readable storage medium
CN109035380B (zh) * 2018-09-11 2023-03-10 北京旷视科技有限公司 基于三维重建的人脸修饰方法、装置、设备及存储介质
CN109035380A (zh) * 2018-09-11 2018-12-18 北京旷视科技有限公司 基于三维重建的人脸修饰方法、装置、设备及存储介质
CN109242961A (zh) * 2018-09-26 2019-01-18 北京旷视科技有限公司 一种脸部建模方法、装置、电子设备和计算机可读介质
US11625896B2 (en) 2018-09-26 2023-04-11 Beijing Kuangshi Technology Co., Ltd. Face modeling method and apparatus, electronic device and computer-readable medium
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及***
CN110363858B (zh) * 2019-06-18 2022-07-01 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及***
CN110517340B (zh) * 2019-08-30 2020-10-23 腾讯科技（深圳）有限公司 一种基于人工智能的脸部模型确定方法和装置
CN110517340A (zh) * 2019-08-30 2019-11-29 腾讯科技（深圳）有限公司 一种基于人工智能的脸部模型确定方法和装置
WO2021042961A1 (zh) * 2019-09-06 2021-03-11 清华大学 定制人脸混合表情模型自动生成方法及装置
CN110784453A (zh) * 2019-09-27 2020-02-11 广州市水一方信息科技有限公司 一种用于展厅展馆智能识别***
US11900557B2 (en) 2019-12-16 2024-02-13 Tencent Technology (Shenzhen) Company Limited Three-dimensional face model generation method and apparatus, device, and medium
CN111028343A (zh) * 2019-12-16 2020-04-17 腾讯科技（深圳）有限公司 三维人脸模型的生成方法、装置、设备及介质
CN111160208B (zh) * 2019-12-24 2023-04-07 陕西西图数联科技有限公司 基于多帧点云融合与可变模型的三维人脸超分辨率方法
CN111160208A (zh) * 2019-12-24 2020-05-15 河南中原大数据研究院有限公司 基于多帧点云融合与可变模型的三维人脸超分辨率方法
CN111210510B (zh) * 2020-01-16 2021-08-06 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN111210510A (zh) * 2020-01-16 2020-05-29 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN111639553B (zh) * 2020-05-14 2023-04-18 青岛联合创智科技有限公司 一种基于视觉三维重建的定制面膜装置的制备方法
CN111639553A (zh) * 2020-05-14 2020-09-08 青岛联合创智科技有限公司 一种基于视觉三维重建的定制面膜装置的制备方法
CN111581411A (zh) * 2020-06-09 2020-08-25 腾讯科技（深圳）有限公司 高精度人脸形状库的构建方法、装置、设备及存储介质
CN111581411B (zh) * 2020-06-09 2023-08-22 腾讯科技（深圳）有限公司 高精度人脸形状库的构建方法、装置、设备及存储介质
US11475624B2 (en) 2020-06-30 2022-10-18 Beijing Sensetime Technology Development Co., Ltd. Method and apparatus for generating three-dimensional model, computer device and storage medium
CN111784821B (zh) * 2020-06-30 2023-03-14 北京市商汤科技开发有限公司 三维模型生成方法、装置、计算机设备及存储介质
CN111784821A (zh) * 2020-06-30 2020-10-16 北京市商汤科技开发有限公司 三维模型生成方法、装置、计算机设备及存储介质
CN112233142A (zh) * 2020-09-29 2021-01-15 深圳宏芯宇电子股份有限公司 目标跟踪方法、设备及计算机可读存储介质
CN112687009B (zh) * 2020-12-29 2021-09-14 四川大学 一种三维人脸表示方法及其参数测量装置及方法
CN112687009A (zh) * 2020-12-29 2021-04-20 四川大学 一种三维人脸表示方法及其参数测量装置及方法
CN113763559A (zh) * 2021-07-01 2021-12-07 清华大学 一种拟合深度图像的几何运动细节重建方法及装置
CN113763559B (zh) * 2021-07-01 2024-04-09 清华大学 一种拟合深度图像的几何运动细节重建方法
WO2024093259A1 (zh) * 2022-10-31 2024-05-10 华为云计算技术有限公司 面部合成方法及装置
CN116246014A (zh) * 2022-12-28 2023-06-09 支付宝(杭州)信息技术有限公司 一种形象生成方法、装置、存储介质及电子设备
CN116246014B (zh) * 2022-12-28 2024-05-14 支付宝(杭州)信息技术有限公司 一种形象生成方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN106327571B (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN106327571A (zh) 一种三维人脸建模方法及装置
CN106251399B (zh) 一种基于lsd-slam的实景三维重建方法及实施装置
Yang et al. Fast depth prediction and obstacle avoidance on a monocular drone using probabilistic convolutional neural network
CN112771539B (zh) 采用使用神经网络从二维图像预测的三维数据以用于3d建模应用
Fang et al. Visual SLAM for robot navigation in healthcare facility
CN104317391B (zh) 一种基于立体视觉的三维手掌姿态识别交互方法和***
CN108230240B (zh) 一种基于深度学习获取图像城市范围内位置及姿态的方法
Ye et al. Accurate 3d pose estimation from a single depth image
US20170205892A1 (en) Active region determination for head mounted displays
CN110189399B (zh) 一种室内三维布局重建的方法及***
CN107423729A (zh) 一种面向复杂视觉场景下的远距离类脑三维步态识别***及实现方法
CN110782524A (zh) 基于全景图的室内三维重建方法
CN108154550A (zh) 基于rgbd相机的人脸实时三维重建方法
CN109887003A (zh) 一种用于进行三维跟踪初始化的方法与设备
CN104781849A (zh) 单眼视觉同时定位与建图(slam)的快速初始化
CN107958479A (zh) 一种移动端3d人脸增强现实实现方法
JP7357676B2 (ja) 自己改良ビジュアルオドメトリを実施するためのシステムおよび方法
CN104794722A (zh) 利用单个Kinect计算着装人体三维净体模型的方法
CN109461208A (zh) 三维地图处理方法、装置、介质和计算设备
CN110889901A (zh) 基于分布式***的大场景稀疏点云ba优化方法
CN109993108B (zh) 一种增强现实环境下的手势纠错方法、***及装置
CN110530376A (zh) 机器人定位方法、装置、机器人及存储介质
Tornow et al. A multi-agent mobile robot system with environment perception and HMI capabilities
CN114972539A (zh) 机房相机平面在线标定方法、***、计算机设备和介质
Dai Modeling and simulation of athlete’s error motion recognition based on computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230606

Address after: Room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui 230001

Patentee after: Hefei lushenshi Technology Co.,Ltd.

Address before: 9C, Unit 3, Building C, Yingdu Building, No. A48 Zhichun Road, Haidian District, Beijing, 100086

Patentee before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.