CN113516781A - 一种三维动态跟踪方法、装置、电子设备和存储介质 - Google Patents

一种三维动态跟踪方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113516781A
CN113516781A CN202110784787.5A CN202110784787A CN113516781A CN 113516781 A CN113516781 A CN 113516781A CN 202110784787 A CN202110784787 A CN 202110784787A CN 113516781 A CN113516781 A CN 113516781A
Authority
CN
China
Prior art keywords
data
point cloud
initial
cloud data
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110784787.5A
Other languages
English (en)
Inventor
华昀峰
田彦
江腾飞
许威威
段子恒
陶泓羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shining 3D Technology Co Ltd
Original Assignee
Shining 3D Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shining 3D Technology Co Ltd filed Critical Shining 3D Technology Co Ltd
Priority to CN202110784787.5A priority Critical patent/CN113516781A/zh
Publication of CN113516781A publication Critical patent/CN113516781A/zh
Priority to KR1020247004408A priority patent/KR20240032962A/ko
Priority to PCT/CN2022/105100 priority patent/WO2023284713A1/zh
Priority to EP22841349.8A priority patent/EP4372694A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种三维动态跟踪方法、装置、电子设备和存储介质，跟踪方法包括：获取人脸微笑数据、三维牙数据以及人脸模板数据；将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标系下得到初始点云数据；将初始深度点云数据进行融合获取等值面，并获取等值面对应的目标深度点云数据；将目标深度点云数据反投影至初始纹理数据，并获取反投影后人脸微笑数据对应的目标纹理数据；根据目标深度点云数据优化初始人脸模板点云数据获取目标人脸模板点云数据，实现人脸表情变化跟踪；将目标人脸模板点云数据与初始纹理数据识别的牙齿区域与初始三维牙数据在拟合区域拟合，提高三维牙齿跟踪的准确性。

Description

一种三维动态跟踪方法、装置、电子设备和存储介质
技术领域
本公开涉及三维形变技术领域，尤其涉及一种三维动态跟踪方法、装置、电子设备和存储介质。
背景技术
目前，数据采集技术和三维重建技术的快速发展使得物理模型的高精度数字化成为可能。在齿科数字化领域，通过扫描和3D重建可以得到三维牙颌数字化模型，从而实现齿科产品的后续加工和定制化生产。通过三维重建技术，用户在牙齿矫正之前，可通过三维牙齿模型看到自己的牙齿被矫正之后的效果。
现有技术中一般采用2D脸+2D牙，即根据拍摄的2D图片，手动调节牙齿模型以获取矫正后的牙齿，或者2D脸+3D牙，即根据拍摄的2D图片，将3D牙模投影到图片上的对应牙齿区域。由于2D的图片下颌露出一般都较少，且只有在保持露牙较多的姿势下才能实现对下颌跟踪，因此跟踪效果较差。此外，采用2D进行牙齿跟踪时没有人脸尺度信息，视觉效果一般。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种三维动态跟踪方法、装置、电子设备和存储介质，提高三维牙齿跟踪的准确性。
第一方面，本公开实施例提供了一种三维动态跟踪方法，包括：
获取人脸微笑数据、三维牙数据以及人脸模板数据，其中，所述人脸微笑数据包括纹理数据和深度数据；
将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标系下得到初始点云数据，其中，所述初始点云数据包括初始深度点云数据、初始纹理数据、初始三维牙点云数据和初始人脸模板点云数据；
将所述初始深度点云数据进行融合获取等值面，并获取所述等值面对应的目标深度点云数据；
将所述目标深度点云数据反投影至初始纹理数据，并获取反投影后人脸微笑数据对应的目标纹理数据；
根据所述目标深度点云数据优化所述初始人脸模板点云数据获取目标人脸模板点云数据，实现人脸表情变化跟踪；
将所述目标人脸模板点云数据与所述初始纹理数据识别的牙齿区域与所述初始三维牙数据在拟合区域拟合。
可选的，所述将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标系下得到初始点云数据包括：
获取人脸微笑数据、三维牙数据以及人脸模板数据的源点云数据；
确定迭代最近点算法中的旋转参数、平移参数以及误差阈值；
根据旋转参数、平移参数以及误差阈值将源点云数据注册到预设坐标系下得到初始点云数据。
可选的，所述将所述初始深度点云数据进行融合获取等值面，根据所述等值面确定目标深度点云数据，包括：
采用TSDF算法获取所述初始深度点云数据对应的截断符号距离函数值和权重值；
根据所述截断符号距离函数值和权重值采用水泡动画模拟算法获取初始深度点云数据对应的等值面；
根据所述等值面对应的点云数据确定目标深度点云数据。
可选的，所述采用TSDF算法获取所述初始深度点云数据对应的截断符号距离函数值和权重值，包括：
建立初始点云数据对应的长方形体包围盒；
将初始点云数据对应的长方形体包围盒体素化；
采用TSDF算法计算各体素化中初始深度点云数据对应的TSDF值以及权重值。
可选的，所述根据所述截断符号距离函数值和权重值采用水泡动画模拟算法获取初始深度点云数据对应的等值面，包括：
将截断符号距离函数值和权重值进行预处理并读入特定的数组中；
获取不同体素化对应的单元体的位置信息；
根据各所述单元***置信息确定各所述单元体对应的状态表；
根据各所述单元体的状态表，获取与等值面相交的各所述单元体棱边，并采用线性插值的方法计算出各所述单元体与等值面相交处的位置坐标；
利用中心差分法，获取各所述单元体中各顶点的法向量，并采用线性插值的方法，得到三角面片各个顶点的法向量；
根据各所述单元体与等值面相交处的位置坐标以及顶点法向量确定等值面。
可选的，所述将所述目标深度点云数据反投影至初始纹理数据，并获取反投影后人脸动态数据对应的目标纹理数据，包括：
Figure BDA0003158807960000031
其中：(p)表示p点投影到第i个相机视角的权重值，表示p点投影到第i个相机视角下的像素值。
可选的，所述将所述目标人脸模板点云数据与所述初始纹理数据识别的牙齿区域与所述初始三维牙数据在拟合区域拟合，包括：
将目标人脸模板点云数据与初始纹理数据识别的牙齿区域采用高斯牛顿法与初始三维牙数据在拟合区域拟合。
第二方面，本公开实施例还提供一种三维动态跟踪装置，包括：
数据获取模块，用于获取人脸微笑数据、三维牙数据以及人脸模板数据，其中，所述人脸微笑数据包括纹理数据和深度数据；
初始云点数据获取模块，用于将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标系下得到初始点云数据，其中，所述初始点云数据包括初始深度点云数据、初始纹理数据、初始三维牙点云数据和初始人脸模板点云数据；
目标深度点云数据获取模块，用于将所述初始深度点云数据进行融合获取等值面，并获取所述等值面对应的目标深度点云数据；
目标纹理数据获取模块，将所述目标深度点云数据反投影至初始纹理数据，并获取反投影后人脸微笑数据对应的目标纹理数据；
人脸模板跟踪模块，用于根据所述目标深度点云数据优化所述初始人脸模板点云数据获取目标人脸模板点云数据，实现人脸表情变化跟踪；
三维牙齿跟踪模块，用于将所述目标人脸模板点云数据与所述初始纹理数据识别的牙齿区域与所述初始三维牙数据在拟合区域拟合。
第三方面，本公开实施例还提供一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一所述的三维动态跟踪方法。
第四方面，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面中任一所述的三维动态跟踪方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例提供的三维动态跟踪方法、装置、电子设备和存储介质，通过将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标下得到初始点云数据，将获取的初始点云数据中的初始深度点云数据进行融合获取等值面，进而获取到等值面对应的目标深度点云数据，保证人脸微笑数据具有更好的视觉效果。通过将获取的目标深度点云数据反投影至初始纹理数据，实现对人脸纹理的显示。而根据目标深度点云数据优化初始人脸模板点云数据获取目标人脸模板点云数据，实现人脸表情变化跟踪，最后通过将目标人脸模板点云数据与初始纹理数据识别的牙齿区域进行拟合并显示，实现了牙齿跟踪，提高跟踪结果的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种三维动态跟踪方法的流程示意图；
图2是本公开实施例提供的另一种三维动态跟踪方法的流程示意图；
图3是本公开实施例提供的又一种三维动态跟踪方法的流程示意图；
图4是本公开实施例提供的又一种三维动态跟踪方法的流程示意图；
图5是本公开实施例提供的一种三维动态跟踪装置的结构示意图；
图6是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
图1是本公开实施例提供的一种三维动态跟踪方法的流程示意图。本实施例可实现3D脸+3D牙的实时跟踪，上下颌同时跟踪的情况。本实施例方法可由三维动态跟踪装置来执行，该装置可采用硬件/或软件的方式来实现，并可配置于电子设备中。可实现本申请任意实施例所述的三维动态跟踪方法。
本发明实施例提供的三维动态跟踪方法的执行主体可以为三维动态跟踪装置。该三维动态跟踪装置可以为手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digitalassistant，PDA)、智能手表、智能手环等终端设备，或者该终端设备还可以为其他类型的终端设备，本发明实施例对终端设备的类型不作限定。
现有技术中现有技术中一般采用2D脸+2D牙，即根据拍摄的2D图片，手动调节牙齿模型以获取矫正后的牙齿，或者2D脸+3D牙，即根据拍摄的2D图片，将3D牙模投影到图片上的对应牙齿区域。由于2D的图片下颌露出一般都较少，且只有在保持露牙较多的姿势下才能实现对下颌跟踪，因此跟踪效果较差。此外，采用2D进行牙齿跟踪时没有人脸尺度信息，视觉效果一般。为保证3D牙模投影到图片上的对应牙齿区域后的准确性，本公开实施例提供一种三维动态跟踪方法。
如图1所示，该方法具体包括如下：
S110、获取人脸微笑数据、三维牙数据以及人脸模板数据，其中，人脸微笑数据包括纹理数据和深度数据。
具体的，获取的人脸微笑数据包括纹理数据和深度数据，其中纹理数据为RGB图像，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色。深度数据是深度图像(DepthMap)，是在3D计算机图形中，包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中，深度图像类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和深度图像是配准的，因而像素点之间具有一对一的对应关系。三维牙数据是用口内扫描仪扫描出来的数据(也可以是设计过的数据)，人脸模板数据是采用双线性模型(Bilnear model)构建的模板库中的人脸模板数据。
S120、将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标系下得到初始点云数据。
具体的，初始点云数据包括初始深度点云数据、初始纹理数据、初始三维牙点云数据和初始人脸模板点云数据。
三维牙齿数据是通过扫描获取的，人脸微笑数据是kinect拍摄得到的，而人脸模板数据从人脸模板数据库中获取。因此，人脸微笑数据、三维牙齿数据以及人脸模板数据是在不同坐标系下的点云数据，为实现三维牙齿数据的动态跟踪，一般需要将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标系下得到初始点云数据，即获取的初始点云数据位于同一坐标系下。
S130、将初始深度点云数据进行融合获取等值面，并获取等值面对应的目标深度点云数据。
通过将初始深度点云数据进行融合获取等值面，即从初始深度点云数据中获取光滑的等值面，保证更好的视觉效果。具体的，将初始深度点云数据进行融合获取等值面的过程中首先采用TSDF算法获取初始点云数据对应的截断符号距离函数值和权重值，根据获取的初始点云数据对应的截断符号距离函数值采用水泡动画模拟算法获取初始深度点云数据对应的等值面，进而根据等值面确定目标深度点云数据。
S140、将目标深度点云数据反投影至初始纹理数据，并获取反投影后人脸微笑数据对应的目标纹理数据。
在获取目标深度点云数据后，通过将获取的目标深度点云数据反投影至初始纹理数据，进而获取反投影后人脸微笑点云数据对应的目标纹理数据，即获取目标点云数据在不同的视角下的目标纹理数据，保证获取的人脸的纹理数据更逼真。
具体的，获取的目标纹理数据各点云对应的目标纹理数据I(p)为：
Figure BDA0003158807960000081
其中：wi(p)表示p点投影到第i个相机视角的权重值，Ii(p)表示p点投影到第i个相机视角下的像素值。
即初始纹理数据中p点的目标纹理数据与p点投影到第i个相机视角下的像素值以及权重值有关，此外，在获取的p点在各个相机视角下的权重值后需要对获取的权重值进行归一化处理。
S150、根据目标深度点云数据优化初始人脸模板点云数据获取目标人脸模板点云数据，实现人脸表情变化跟踪。
具体的，人脸模板数据采用双线性模型(Bilinear Model)构建的模板数据库中的人脸模板数据，其中，人脸模板数据由26317个点，52个表情参数以及938个个性人脸参数，人脸模板跟踪主要就是根据步骤S130中确定的目标深度点云数据优化双线性模型(Bilinear Model)构建的模板数据库中的表情参数，进而获取目标人脸模板点云数据，从而实现人脸表情变化跟踪。
S160、将目标人脸模板点云数据与初始纹理数据识别的牙齿区域与初始三维牙数据在拟合区域拟合。
由于获取的人脸微笑数据是动态变化的，因此当前帧中的牙齿区域与下一帧中的牙齿区域的位置是发生实时变化的，为保证牙齿区域与当前帧中人脸模板数据实现实时的跟踪。例如，如果需要将牙齿上颌与下颌均实现跟踪时，首先需要获取目标人脸模板点云数据中特征点在前后帧的位置，并计算前一帧的特征点到当前帧的特征点所在的平面的距离。例如，实现牙齿上颌跟踪时，选取特征点为鼻子，通过获取鼻子特征点在当前帧时的位置坐标，当人脸微笑动态变化后，获取变化后的下一帧中鼻子特征点在下一帧时的位置坐标，根据获取的不同帧中鼻子特征点的位置坐标的变换，将初始纹理数据识别的牙齿区域中的上颌线进行坐标位置变换，实现上颌的实时跟踪。实现牙齿下颌跟踪时，选取特征点为下巴，通过获取下巴特征点在当前帧时的位置坐标，当人脸微笑动态变化后，获取变化后的下一帧中下巴特征点在下一帧时的位置坐标，根据获取的不同帧中下巴特征点的位置坐标的变换，将初始纹理数据识别的牙齿区域中的下颌线进行坐标位置变换，实现下颌的实时跟踪，进而将获取的三维牙数据在拟合区域显示。
本公开实施例提供的三维动态跟踪方法，通过将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标下得到初始点云数据，将获取的初始点云数据中的初始深度点云数据进行融合获取等值面，进而获取到等值面对应的目标深度点云数据，保证人脸微笑数据具有更好的视觉效果。通过将获取的目标深度点云数据反投影至初始纹理数据，实现对人脸纹理的显示。而根据目标深度点云数据优化初始人脸模板点云数据获取目标人脸模板点云数据，实现人脸表情变化跟踪，最后通过将目标人脸模板点云数据与初始纹理数据识别的牙齿区域进行拟合并显示，实现了牙齿跟踪，提高跟踪结果的准确性。
可选的，图2是本公开实施例提供的另一种三维动态跟踪方法的流程示意图，如图2所示，步骤S120的一种可实现方式如下所示，包括：
S121、获取人脸微笑数据、三维牙数据以及人脸模板数据的源点云数据。
在获取到人脸微笑数据、三维牙齿数据以及人脸模板数据后，获取人脸微笑数据对应的源点云数据、三维牙齿数据对应的源点云数据以及人脸模板数据对应的源点云数据，不同数据对应的源点云对应不同的点云合集，例如人脸微笑数据对应的源点云数据X由点云合集xi组成，三维牙齿数据对应的源点云数据Y由点云合集yi组成，人脸模板数据对应的源点云数据Z由点云合集zi组成。
S122、确定迭代最近点算法中的旋转参数、平移参数以及误差阈值。
在确定不同数据对应的源点云数据后，找出源点云中的对应点云集，根据旋转参数、平移参数以及误差阈值将源点云数据注册到预设坐标系下得到初始点云数据。
具体的，迭代最近点算法(Iterative Closest Point，ICP)的目的是要找到待配准点云数据与参考点云数据之间的旋转参数R和平移参数T，使得两点数据之间满足误差阈值的最优匹配。
假设人脸微笑数据对应的源点云数据X1，此时与源点云数据X1对应的目标点云数据X2，ICP方法的配准步骤如下：
计算X2中的每一个点在X1点集中的对应近点；求得使上述对应点对平均距离最小的刚体变换，求得平移参数T和旋转参数R；对X2使用上一步求得的平移和旋转参数，得到新的变换点集，如果新的变换点集与参考点集满足两点集的平均距离小于误差阈值，则停止迭代计算，否则新的变换点集作为新的X2继续迭代，直到达到目标函数的要求。
最近点对查找：对应点的计算是整个配准过程中耗费时间最长的步骤，查找最近点，利用k－d tree提高查找速度K－d tree法建立点的拓扑关系是基于二叉树的坐标轴分割，构造k－d tree的过程就是按照二叉树法则生成，首先按X轴寻找分割线，即计算所有点的x值的平均值，以最接近这个平均值的点的x值将空间分成两部分，然后在分成的子空间中按Y轴寻找分割线，将其各分成两部分，分割好的子空间在按X轴分割……依此类推，最后直到分割的区域内只有一个点。这样的分割过程就对应于一个二叉树，二叉树的分节点就对应一条分割线，而二叉树的每个叶子节点就对应一个点。这样点的拓扑关系就建立了。
S123、根据旋转参数、平移参数以及误差阈值将源点云数据注册到预设坐标系下得到初始点云数据。
若人脸微笑数据对应的源点云数据X1中包括点云xi，则点云xi经过旋转参数、平移参数以及误差阈值后注册到预设坐标系下得到初始点云为xi’＝Rxi+T。
本公开实施例提供的三维动态跟踪方法，通过刚性注册算法将位于不同坐标系的人脸微笑数据、三维牙数据以及人脸模板数据转移到预设坐标系下，进而得到位于预设坐标系下的深度点云数据、初始纹理数据、初始三维牙点云数据和初始人脸模板点云数据。
可选的，图3是本公开实施例提供的又一种三维动态跟踪方法的流程示意图，如图3所示，步骤S130的一种可实现方式如下所示，包括：
S131、采用TSDF算法获取初始深度点云数据对应的截断符号距离函数值和权重值。
具体的，采用TSDF算法获取初始深度点云数据对应的截断符号距离函数值和权重值，包括：
建立初始点云数据对应的长方形体包围盒。
将初始点云数据对应的长方形体包围盒体素化。
采用TSDF算法计算各体素化中初始深度点云数据对应的TSDF值以及权重值。
示例性的，获取初始深度点云数据对应的截断符号距离函数值和权重值可以包括：首先建立初始点云数据的长方体外包围盒，作为各初始点云数据所在立方体空间，然后将初始点云数据对应的长方形体包围盒体素化，最后使用截断符号距离函数(TruncatedSigned Distance Function，TSDF)计算各体素化中初始深度点云数据对应的TSDF值以及权重值。具体的，遍历所有的体素，以一个体素在世界坐标系三维位置点p为例：由深度数据的相机位姿矩阵，求世界坐标系下点p在相机坐标系下得映射点v，并由相机内参矩阵，反投影v点求深度图像中的对应像素点x，像素点x的深度值为value(x)，点v到相机坐标原点的距离为distance(v)；那么p点对应的的sdf值为sdf(p)＝value(x)-distance(v)，TSDF(p)＝sdf(p)/|u|，其中，|u|为对应的预设阈值，该预设预设与体素的个数以及大小有关，如果TSDF(p)>1，p点对应的TSDF值为1，若TSDF(p)<-1，则p点对应的TSDF值为-1。权重w(p)的计算公式：w(p)＝cos(θ)，其中θ为投影光线与表面法向量的夹角。
S132、根据截断符号距离函数值和权重值采用水泡动画模拟算法获取初始深度点云数据对应的等值面。
具体的，根据截断符号距离函数值和权重值采用水泡动画模拟(marching cube)算法获取初始深度点云数据对应的等值面包括：
将截断符号距离函数值和权重值进行预处理并读入特定的数组中。
获取不同体素化对应的单元体的位置信息。
根据各单元***置信息确定各单元体对应的状态表。
根据各单元体的状态表，获取与等值面相交的各单元体棱边，并采用线性插值的方法计算出各单元体与等值面相交处的位置坐标。
利用中心差分法，获取各单元体中各顶点的法向量，并采用线性插值的方法，得到三角面片各个顶点的法向量。
根据各单元体与等值面相交处的位置坐标以及顶点法向量确定等值面。
水泡动画模拟算法主要的思想是在三维离散数据场中通过线性插值来逼近等值面，具体如下：三维离散数据场中每个栅格单元作为一个体素，体素的每个顶点都存在对应的标量值。如果体素顶点上的值大于或等于等值面值，则定义该顶点位于等值面之外，标记为“0”；而如果体素顶点上的值小于等值面值，则定义该顶点位于等值面之内，标记为“1”。由于每个体素单元有8个顶点，那么共存在2^8＝256种情形。
每个体素单元上顶点和边的索引规则为：假如体素中顶点的值小于等值面值，则与顶点相连的体素边相交的线形成三角面片，而三角面片顶点的具***置则需要根据线性插值的方法计算出。然后利用中心差分法，获取各单元体中各顶点的法向量，并采用线性插值的方法，得到三角面片各个顶点的法向量。最后根据各单元体与等值面相交处的位置坐标以及顶点法向量确定等值面。
S133、根据等值面对应的点云数据确定目标深度点云数据。
通过获取的等值面对应的点云数据确定目标深度点云数据，即确定当前帧的人脸微笑数据对应的深度数据，保证获取的三维人脸微笑数据对应的深度数据的平滑性。
本公开实施例提供的三维动态跟踪方法，通过TSDF算法获取初始深度点云数据对应的截断符号距离函数值和权重值，然后采用水泡动画模拟算法获取初始深度点云数据对应的等值面，进而根据等值面确定对应的目标深度点云数据，保证人脸微笑数据具有更好的视觉效果。
可选的，图4是本公开实施例提供的又一种三维动态跟踪方法的流程示意图，如图4所示，步骤S160的一种可实现方式如下所示，包括：
S161、将目标人脸模板点云数据与初始纹理数据识别的牙齿区域采用高斯牛顿法与初始三维牙数据在拟合区域拟合。
由于获取的人脸微笑数据是动态变化的，因此当前帧中的牙齿区域与下一帧中的牙齿区域的位置是发生实时变化的，为保证牙齿区域与当前帧中人脸模板数据实现实时的跟踪。例如，如果需要将牙齿上颌与下颌均实现跟踪时，首先需要获取目标人脸模板点云数据中特征点在前后帧的位置，并计算前一帧的特征点到当前帧的特征点所在的平面的距离。例如，实现牙齿上颌跟踪时，选取特征点为鼻子，通过获取鼻子特征点在当前帧时的位置坐标，当人脸微笑动态变化后，获取变化后的下一帧中鼻子特征点在下一帧时的位置坐标，根据获取的不同帧中鼻子特征点的位置坐标的变换，将初初始纹理数据识别的牙齿区域中的上颌线进行坐标位置变换，实现上颌的实时跟踪。实现牙齿下颌跟踪时，选取特征点为下巴，通过获取下巴特征点在当前帧时的位置坐标，当人脸微笑动态变化后，获取变化后的下一帧中下巴特征点在下一帧时的位置坐标，根据获取的不同帧中下巴特征点的位置坐标的变换，将初初始纹理数据识别的牙齿区域中的下颌线进行坐标位置变换，实现下颌的实时跟踪，进而将获取的三维牙数据在拟合区域显示。
具体的，首先计算目标人脸模板前后帧的鼻子上的对应点，计算前一帧的点到当前帧对应点所在的平面的距离。
Figure BDA0003158807960000141
其中，vd表示当前帧的点的坐标，nd表示当前帧的点的法相，vs表示前一帧的对应点的坐标。
然后根据初始纹理数据识别的牙齿区域的上颌边缘，将初始三维牙数据反投影到初始纹理数据上以拟合上牙齿边缘。以及根据初始纹理数据识别的牙齿区域的下颌边缘，将初始三维牙数据反投影到初始纹理数据上以拟合下牙齿边缘。
上颌的跟踪：能量项有两个：
E＝Enose+Eedgematch
下颌的跟踪：能量项有两个：
E＝Echin+Eedgematch
Figure BDA0003158807960000142
其中，ud表示当前帧检测出的牙齿边缘像素坐标，vd表示当前帧检测出的牙齿边缘像素法向量。
xC＝VC·x/VC·z
yC＝VC·y/VC·z
VC＝KRTVw
其中，Vw世界坐标系下的坐标位置，Vc表示相机坐标系下的坐标，K，RT分别表示相机的内外参。
可选的，在上述实施例的基础上，图5是本公开实施例提供的一种三维动态跟踪装置，如图5所述，三维动态跟踪装置包括：
数据获取模块510，用于获取人脸微笑数据、三维牙数据以及人脸模板数据，其中，人脸微笑数据包括纹理数据和深度数据；
初始云点数据获取模块520，用于将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标系下得到初始点云数据，其中，初始点云数据包括初始深度点云数据、初始纹理数据、初始三维牙点云数据和初始人脸模板点云数据；
目标深度点云数据获取模块530，用于将初始深度点云数据进行融合获取等值面，并获取等值面对应的目标深度点云数据；
目标纹理数据获取模块540，将目标深度点云数据反投影至初始纹理数据，并获取反投影后人脸微笑数据对应的目标纹理数据；
人脸模板跟踪模块550，用于根据目标深度点云数据优化初始人脸模板点云数据获取目标人脸模板点云数据，实现人脸表情变化跟踪；
三维牙齿跟踪模块560，用于将目标人脸模板点云数据与初始纹理数据识别的牙齿区域与初始三维牙数据在拟合区域拟合。
本公开实施例提供的三维动态跟踪装置，初始云点数据获取模块将数据获取模块获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标下得到初始点云数据，目标深度点云数据获取模块将获取的初始点云数据中的初始深度点云数据进行融合获取等值面，进而获取到等值面对应的目标深度点云数据，保证人脸微笑数据具有更好的视觉效果。目标纹理数据获取模块通过将获取的目标深度点云数据反投影至初始纹理数据，实现对人脸纹理的显示。而人脸模板跟踪模块根据目标深度点云数据优化初始人脸模板点云数据获取目标人脸模板点云数据，实现人脸表情变化跟踪，最后三维牙齿跟踪模块通过将目标人脸模板点云数据与初始纹理数据识别的牙齿区域进行拟合并将三维牙数据在拟合区域显示，实现了牙齿跟踪，提高跟踪结果的准确性。
图6是本公开实施例提供的一种电子设备的结构示意图。如图6所示，该电子设备包括处理器610、存储器620、输入装置630和输出装置640；电子设备中处理器610的数量可以是一个或多个，图6中以一个处理器610为例；电子设备中的处理器610、存储器620、输入装置630和输出装置640可以通过总线或其他方式连接，6中以通过总线连接为例。
存储器620作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的三维动态跟踪方法对应的程序指令/模块。处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现本发明实施例所提供的三维动态跟踪方法。
存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器620可进一步包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，可以包括键盘、鼠标等。输出装置640可包括显示屏等显示设备。
本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于实现本发明实施例所提供的三维动态跟踪方法。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的三维动态跟踪方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述跟踪装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种三维动态跟踪方法，其特征在于，包括：
获取人脸微笑数据、三维牙数据以及人脸模板数据，其中，所述人脸微笑数据包括纹理数据和深度数据；
将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标系下得到初始点云数据，其中，所述初始点云数据包括初始深度点云数据、初始三维牙点云数据和初始人脸模板点云数据；
将所述初始深度点云数据进行融合获取等值面，并获取所述等值面对应的目标深度点云数据；
将所述目标深度点云数据反投影至初始纹理数据，并获取反投影后人脸微笑数据对应的目标纹理数据；
根据所述目标深度点云数据优化所述初始人脸模板点云数据获取目标人脸模板点云数据，实现人脸表情变化跟踪；
将所述目标人脸模板点云数据与所述初始纹理数据识别的牙齿区域与所述初始三维牙数据在拟合区域拟合。
2.根据权利要求1所述的方法，其特征在于，所述将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标系下得到初始点云数据包括：
获取人脸微笑数据、三维牙数据以及人脸模板数据的源点云数据；
确定迭代最近点算法中的旋转参数、平移参数以及误差阈值；
根据旋转参数、平移参数以及误差阈值将源点云数据注册到预设坐标系下得到初始点云数据。
3.根据权利要求1所述的方法，其特征在于，所述将所述初始深度点云数据进行融合获取等值面，根据所述等值面确定目标深度点云数据，包括：
采用TSDF算法获取所述初始深度点云数据对应的截断符号距离函数值和权重值；
根据所述截断符号距离函数值和权重值采用水泡动画模拟算法获取初始深度点云数据对应的等值面；
根据所述等值面对应的点云数据确定目标深度点云数据。
4.根据权利要求3所述的方法，其特征在于，所述采用TSDF算法获取所述初始深度点云数据对应的截断符号距离函数值和权重值，包括：
建立初始点云数据对应的长方形体包围盒；
将初始点云数据对应的长方形体包围盒体素化；
采用TSDF算法计算各体素化中初始深度点云数据对应的TSDF值以及权重值。
5.根据权利要求4所述的方法，其特征在于，所述根据所述截断符号距离函数值和权重值采用水泡动画模拟算法获取初始深度点云数据对应的等值面，包括：
将截断符号距离函数值和权重值进行预处理并读入特定的数组中；
获取不同体素化对应的单元体的位置信息；
根据各所述单元***置信息确定各所述单元体对应的状态表；
根据各所述单元体的状态表，获取与等值面相交的各所述单元体棱边，并采用线性插值的方法计算出各所述单元体与等值面相交处的位置坐标；
利用中心差分法，获取各所述单元体中各顶点的法向量，并采用线性插值的方法，得到三角面片各个顶点的法向量；
根据各所述单元体与等值面相交处的位置坐标以及顶点法向量确定等值面。
6.根据权利要求3所述的方法，其特征在于，所述将所述目标深度点云数据反投影至初始纹理数据，并获取反投影后人脸动态数据对应的目标纹理数据，包括：
Figure FDA0003158807950000031
其中：wi(p)表示p点投影到第i个相机视角的权重值，Ii(p)表示p点投影到第i个相机视角下的像素值。
7.根据权利要求1所述的方法，其特征在于，所述将所述目标人脸模板点云数据与所述初始纹理数据识别的牙齿区域与所述初始三维牙数据在拟合区域拟合，包括：
将目标人脸模板点云数据与初始纹理数据识别的牙齿区域采用高斯牛顿法与初始三维牙数据在拟合区域拟合。
8.一种三维动态跟踪装置，其特征在于，包括：
数据获取模块，用于获取人脸微笑数据、三维牙数据以及人脸模板数据，其中，所述人脸微笑数据包括纹理数据和深度数据；
初始云点数据获取模块，用于将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标系下得到初始点云数据，其中，所述初始点云数据包括初始深度点云数据、初始纹理数据、初始三维牙点云数据和初始人脸模板点云数据；
目标深度点云数据获取模块，用于将所述初始深度点云数据进行融合获取等值面，并获取所述等值面对应的目标深度点云数据；
目标纹理数据获取模块，将所述目标深度点云数据反投影至初始纹理数据，并获取反投影后人脸微笑数据对应的目标纹理数据；
人脸模板跟踪模块，用于根据所述目标深度点云数据优化所述初始人脸模板点云数据获取目标人脸模板点云数据，实现人脸表情变化跟踪；
三维牙齿跟踪模块，用于将所述目标人脸模板点云数据与所述初始纹理数据识别牙齿的区域进行拟合并将三维牙数据在拟合区域显示。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1～7中任一所述的三维动态跟踪方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～7中任一所述的三维动态跟踪方法。
CN202110784787.5A 2021-07-12 2021-07-12 一种三维动态跟踪方法、装置、电子设备和存储介质 Pending CN113516781A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110784787.5A CN113516781A (zh) 2021-07-12 2021-07-12 一种三维动态跟踪方法、装置、电子设备和存储介质
KR1020247004408A KR20240032962A (ko) 2021-07-12 2022-07-12 3차원 동적 추적 방법, 장치, 전자 기기 및 저장 매체
PCT/CN2022/105100 WO2023284713A1 (zh) 2021-07-12 2022-07-12 一种三维动态跟踪方法、装置、电子设备和存储介质
EP22841349.8A EP4372694A1 (en) 2021-07-12 2022-07-12 Three-dimensional dynamic tracking method and apparatus, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110784787.5A CN113516781A (zh) 2021-07-12 2021-07-12 一种三维动态跟踪方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113516781A true CN113516781A (zh) 2021-10-19

Family

ID=78067431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110784787.5A Pending CN113516781A (zh) 2021-07-12 2021-07-12 一种三维动态跟踪方法、装置、电子设备和存储介质

Country Status (4)

Country Link
EP (1) EP4372694A1 (zh)
KR (1) KR20240032962A (zh)
CN (1) CN113516781A (zh)
WO (1) WO2023284713A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115040278A (zh) * 2022-06-16 2022-09-13 先临三维科技股份有限公司 备牙模型的获取方法、装置、设备及介质
WO2023284713A1 (zh) * 2021-07-12 2023-01-19 先临三维科技股份有限公司 一种三维动态跟踪方法、装置、电子设备和存储介质
CN115984261A (zh) * 2023-03-13 2023-04-18 首都医科大学附属北京口腔医院 基于牙齿图像的识别跟踪方法
WO2023241704A1 (zh) * 2022-06-17 2023-12-21 先临三维科技股份有限公司 牙齿模型的获取方法、装置、设备及介质
WO2024049918A3 (en) * 2022-08-30 2024-04-04 Align Technology, Inc. 3d facial reconstruction and visualization in dental treatment planning

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117272758B (zh) * 2023-11-20 2024-03-15 埃洛克航空科技（北京）有限公司 基于三角格网的深度估计方法、装置、计算机设备和介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014190800A (ja) * 2013-03-27 2014-10-06 Panasonic Healthcare Co Ltd ３次元計測方法および３次元計測装置
CN110200710A (zh) * 2019-04-17 2019-09-06 广东工业大学 一种基于三维成像与实时建模的口腔修复方法
CN111243093B (zh) * 2020-01-07 2023-05-12 腾讯科技（深圳）有限公司 三维人脸网格的生成方法、装置、设备及存储介质
CN112120815A (zh) * 2020-08-06 2020-12-25 南京立迪特医疗科技有限公司 一种数字化口腔微笑修复方法
CN113516781A (zh) * 2021-07-12 2021-10-19 先临三维科技股份有限公司 一种三维动态跟踪方法、装置、电子设备和存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023284713A1 (zh) * 2021-07-12 2023-01-19 先临三维科技股份有限公司 一种三维动态跟踪方法、装置、电子设备和存储介质
CN115040278A (zh) * 2022-06-16 2022-09-13 先临三维科技股份有限公司 备牙模型的获取方法、装置、设备及介质
WO2023241704A1 (zh) * 2022-06-17 2023-12-21 先临三维科技股份有限公司 牙齿模型的获取方法、装置、设备及介质
WO2024049918A3 (en) * 2022-08-30 2024-04-04 Align Technology, Inc. 3d facial reconstruction and visualization in dental treatment planning
CN115984261A (zh) * 2023-03-13 2023-04-18 首都医科大学附属北京口腔医院 基于牙齿图像的识别跟踪方法

Also Published As

Publication number Publication date
EP4372694A1 (en) 2024-05-22
KR20240032962A (ko) 2024-03-12
WO2023284713A1 (zh) 2023-01-19

Similar Documents

Publication Publication Date Title
CN113516781A (zh) 一种三维动态跟踪方法、装置、电子设备和存储介质
WO2021174939A1 (zh) 人脸图像的获取方法与***
CN107223269B (zh) 三维场景定位方法和装置
US8711143B2 (en) System and method for interactive image-based modeling of curved surfaces using single-view and multi-view feature curves
EP3614340A1 (en) Methods and devices for acquiring 3d face, and computer readable storage media
CN108537881B (zh) 一种人脸模型处理方法及其设备、存储介质
EP3182371A1 (en) Threshold determination in for example a type ransac algorithm
WO2024007478A1 (zh) 基于单手机的人体三维建模数据采集与重建方法及***
JP2011108231A (ja) コンピュータープログラム製品および場面の新規視点を生成するシステム
CN110060329B (zh) 一种基于彩色深度视频流数据的移动端人体模型重建方法
CN109711472B (zh) 训练数据生成方法和装置
CN111768477A (zh) 三维人脸表情基建立方法及装置、存储介质及电子设备
US9147279B1 (en) Systems and methods for merging textures
CN108376421A (zh) 一种基于阴影恢复形状法生成人脸三维模型的方法
CN112257657A (zh) 脸部图像融合方法及装置、存储介质、电子设备
WO2022021782A1 (zh) 六维姿态数据集自动生成方法、***、终端以及存储介质
CN107578469A (zh) 一种基于单张照片的3d人体建模方法及装置
CN114693853A (zh) 对象渲染方法、装置、电子设备及存储介质
CN108305281A (zh) 图像的校准方法、装置、存储介质、程序产品和电子设备
CN113223137B (zh) 透视投影人脸点云图的生成方法、装置及电子设备
CN113129362B (zh) 一种三维坐标数据的获取方法及装置
CN111460937B (zh) 脸部特征点的定位方法、装置、终端设备及存储介质
CN113989434A (zh) 一种人体三维重建方法及设备
JPH11213132A (ja) 任意表情を持つ３次元顔モデルの生成方法
CN111553969B (zh) 一种基于梯度域的纹理映射方法、介质、终端和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination