CN111932670A - 基于单个rgbd相机的三维人体自画像重建方法及*** - Google Patents

基于单个rgbd相机的三维人体自画像重建方法及*** Download PDF

Info

Publication number
CN111932670A
CN111932670A CN202010810525.7A CN202010810525A CN111932670A CN 111932670 A CN111932670 A CN 111932670A CN 202010810525 A CN202010810525 A CN 202010810525A CN 111932670 A CN111932670 A CN 111932670A
Authority
CN
China
Prior art keywords
human body
dimensional
expression
portrait
rgbd camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010810525.7A
Other languages
English (en)
Other versions
CN111932670B (zh
Inventor
李哲
戴翘楚
于涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Weilan Technology Co ltd
Original Assignee
Beijing Weilan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Weilan Technology Co ltd filed Critical Beijing Weilan Technology Co ltd
Priority to CN202010810525.7A priority Critical patent/CN111932670B/zh
Publication of CN111932670A publication Critical patent/CN111932670A/zh
Application granted granted Critical
Publication of CN111932670B publication Critical patent/CN111932670B/zh
Withdrawn - After Issue legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出了基于单个RGBD相机的三维人体自画像重建方法，该方法首先输入人体面对相机的第一帧图像，通过神经网络推测出形状先验，基于该形状先验实现双层非刚性运动跟踪，生成局部扫描，最后通过轻量级捆绑调整算法生成几何细节丰富、且具有纹理的三维人体自画像。该方法所需的输入信息非常容易采集，并且可以快速地获取三维人体自画像。该方法求解准确、快速，简单易行，可以在PC机或工作站等硬件***上快速实现，还可以为用户提供良好的交互式三维重建体验，拥有广阔的应用前景。本发明还提出了基于单个RGBD相机的三维人体自画像重建***，该***包括单个RGBD相机、深度神经网络模块、运动跟踪模以及捆绑调整模块。

Description

基于单个RGBD相机的三维人体自画像重建方法及***
技术领域
本发明涉及到计算机视觉与计算机图形学技术领域，尤其涉及到基于单个RGBD相机的三维人体自画像重建方法及***。
背景技术
三维人体自画像重建是计算机图形学和计算机视觉领域的重点问题。高质量的人体三维模型在影视娱乐、人口数据统计分析等领域有着广泛的应用前景和重要的应用价值。但是高质量人体三维模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列***来实现，虽然精度较高，但是也显著存在着一些缺点：第一，设备复杂，这些方法往往需要多相机阵列的搭建；第二，速度慢，往往重建一个三维人体模型需要至少10分钟到数小时的时间。
发明内容
本发明的目的是为了克服现有技术的不足，提供了基于单个RGBD相机的三维人体自画像重建方法及***。
本发明是通过以下技术方案实现：
首先，本发明提供了基于单个RGBD相机的三维人体自画像重建方法，该基于单个RGBD相机的三维人体自画像重建方法包括以下步骤：
S1：通过单个RGBD相机对单个人体拍摄RGBD图像序列；
S2：通过深度神经网络模块从RGBD图像序列第一帧推测出形状先验；
S3：基于形状先验构建双层对应点对，通过运动跟踪模块最优化求解出每个顶点的非刚性变换参数，并融合出一系列局部扫描；
S4：构建闭环、深度以及轮廓项，通过捆绑调整模块最优化更新局部扫描，最后将局部扫描融合在一起生成完整的三维模型，并通过投影计算顶点颜色。
优选的，步骤S3中，将每张深度图投影到三维空间得到三维点云，寻找点云与重建模型顶点及形状先验之间的对应点，以此构建双层对应点对，并根据对应点建立能量函数。
优选的，所述能量函数的表达式为：
Figure 100002_DEST_PATH_IMAGE001
；
其中，
Figure 140461DEST_PATH_IMAGE002
为双层数据项，表达式为：
Figure 100002_DEST_PATH_IMAGE003
；
Figure 365906DEST_PATH_IMAGE004
分别是融合的表面模型以及形状先验与深度点云之间的对应点集合，
Figure 100002_DEST_PATH_IMAGE005
和
Figure 624324DEST_PATH_IMAGE006
分别表示经过非刚性运动后的模型或形状先验顶点坐标及其法向，
Figure 100002_DEST_PATH_IMAGE007
为与之对应的对应点坐标；
Figure 935220DEST_PATH_IMAGE008
为正则项，表达式为：
Figure 100002_DEST_PATH_IMAGE009
；
Figure 268112DEST_PATH_IMAGE010
是结点
Figure 100002_DEST_PATH_IMAGE011
的相邻结点；
Figure 754589DEST_PATH_IMAGE012
分别为各项权重系数。
优选的，基于融合表面对内部形状先验进行更新，得到和融合表面匹配的形状先验，从而为下一帧跟踪提供更精确的对应点，依此能量函数的表达式变为：
Figure 100002_DEST_PATH_IMAGE013
；
其中，
Figure 341165DEST_PATH_IMAGE014
是数据项，表达式为：
Figure 100002_DEST_PATH_IMAGE015
；
Figure 952406DEST_PATH_IMAGE016
是初始形状先验的顶点集合，
Figure 100002_DEST_PATH_IMAGE017
是其中一个顶点，
Figure 620148DEST_PATH_IMAGE018
是经过非刚性变形后
Figure 429972DEST_PATH_IMAGE017
的坐标，
Figure 100002_DEST_PATH_IMAGE019
是一个三线性插值函数。
优选的，对局部扫描构建能量函数来执行捆绑调整，得到的表达式为：
Figure 220074DEST_PATH_IMAGE020
；
其中，
Figure 100002_DEST_PATH_IMAGE021
是定义在第
Figure 100002_DEST_PATH_IMAGE023
个局部扫描上的bundle变形；
Figure 902901DEST_PATH_IMAGE024
是定义于第
Figure 840245DEST_PATH_IMAGE011
个关键帧的live变形；
Figure 100002_DEST_PATH_IMAGE025
是步骤4中所述的闭环项，表达式为：
Figure 301313DEST_PATH_IMAGE026
；
Figure 100002_DEST_PATH_IMAGE027
是局部扫描的数量，
Figure 668841DEST_PATH_IMAGE028
是第
Figure 379308DEST_PATH_IMAGE011
个与第
Figure 716748DEST_PATH_IMAGE023
个局部扫描之间的对应点集，
Figure 100002_DEST_PATH_IMAGE029
是一对对应点对，分别是两个局部扫描的顶点，
Figure 501165DEST_PATH_IMAGE030
是
Figure 100002_DEST_PATH_IMAGE031
对应的法向向量；
Figure 397183DEST_PATH_IMAGE032
是步骤4中所述的深度项，表达式为：
Figure 100002_DEST_PATH_IMAGE033
；
Figure 657263DEST_PATH_IMAGE034
是关键帧的数量，
Figure 100002_DEST_PATH_IMAGE035
是第
Figure 673761DEST_PATH_IMAGE036
个局部扫描与第
Figure 100002_DEST_PATH_IMAGE037
个关键帧深度点云之间的对应点集，
Figure 578263DEST_PATH_IMAGE038
是一对对应点，
Figure 22014DEST_PATH_IMAGE017
是局部扫描上的点，
Figure 100002_DEST_PATH_IMAGE039
是深度点云上的点，
Figure 769390DEST_PATH_IMAGE040
是
Figure 323999DEST_PATH_IMAGE017
对应的法向向量；
Figure 100002_DEST_PATH_IMAGE041
是步骤4中所述的轮廓项，表达式为：
Figure 207641DEST_PATH_IMAGE042
；
Figure 100002_DEST_PATH_IMAGE043
是局部扫描上的轮廓点集，
Figure 556714DEST_PATH_IMAGE044
是其中一个点，
Figure 100002_DEST_PATH_IMAGE045
指示优化的正确方向，
Figure 260228DEST_PATH_IMAGE046
是对输入人体轮廓图像做距离变换操作得到的图像，
Figure 100002_DEST_PATH_IMAGE047
代表向三维空间向图像的投影操作。
根据本发明实施例的基于单个RGBD相机的三维人体自画像重建方法，利用单个RGBD相机对人体进行拍摄以采集RGBD图像序列，并基于该序列快速、准确地重建三维人体自画像。该方法所需的输入信息非常容易采集，并且可以快速地获取三维人体自画像。该方法求解准确、快速，简单易行，拥有广阔的应用前景，可以在PC机或工作站等硬件***上快速实现。不仅如此，由于该方法为快速重建方法，可以为用户提供良好的交互式三维重建体验，拥有广阔的应用前景。
本发明还提供了基于单个RGBD相机的三维人体自画像重建***，该基于单个RGBD相机的三维人体自画像重建***包括：
单个RGBD相机，用来拍摄人体RGBD图像；
深度神经网络模块，用于推断人体三维形状先验；
运动跟踪模块，用于求解模型每个顶点的非刚性运动参数并融合局部扫描；
捆绑调整模块，用于优化局部扫描并融合成一个完整模型，并计算顶点颜色，得到几何细节丰富、具有纹理的人体三维自画像。
附图说明
图1是本发明实施例提供的基于单个RGBD相机的三维人体自画像重建方法的流程图；
图2是本发明实施例提供的基于单个RGBD相机的三维人体自画像重建***的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了方便理解本发明实施例提供的基于单个RGBD相机的三维人体自画像重建方法及***，下面结合附图及具体的实施例对其进行详细说明。
请参考图1, 图1是本发明实施例提供的基于单个RGBD相机的三维人体自画像重建方法的流程图。
如图1所示,本发明实施例提供的基于单个RGBD相机的三维人体自画像重建方法包括以下步骤：
S1：通过单个RGBD相机对单个人体拍摄RGBD图像序列；
S2：通过深度神经网络模块从RGBD图像序列第一帧推测出形状先验；
S3：基于形状先验构建双层对应点对，通过运动跟踪模块最优化求解出每个顶点的非刚性变换参数，并融合出一系列局部扫描；
S4：构建闭环、深度以及轮廓项，通过捆绑调整模块最优化更新局部扫描，最后将局部扫描融合在一起生成完整的三维模型，并通过投影计算顶点颜色。
在步骤S1中，表演者在RGBD相机面前行走旋转一圈，由RGBD相机获得连续的RGBD图像序列。
在步骤S3中，将每张深度图投影到三维空间得到三维点云，寻找点云与重建模型顶点及形状先验之间的对应点，以此构建双层对应点对，并根据对应点建立能量函数。
所述能量函数的表达式为：
Figure 84440DEST_PATH_IMAGE001
；
其中，
Figure 229114DEST_PATH_IMAGE002
为双层数据项，保证了经过非刚性运动后重建模型能够与从深度图获得的三维点云尽可能对齐，表达式为：
Figure 811405DEST_PATH_IMAGE003
；
Figure 408739DEST_PATH_IMAGE004
分别是融合的表面模型以及形状先验与深度点云之间的对应点集合，
Figure 367468DEST_PATH_IMAGE005
和
Figure 163386DEST_PATH_IMAGE006
分别表示经过非刚性运动后的模型或形状先验顶点坐标及其法向，
Figure 119840DEST_PATH_IMAGE007
为与之对应的对应点坐标；
Figure 266788DEST_PATH_IMAGE008
为正则项，表达式为：
Figure 825945DEST_PATH_IMAGE009
；
Figure 741949DEST_PATH_IMAGE010
是结点
Figure 869305DEST_PATH_IMAGE011
的相邻结点，保证了相邻结点之间的非刚性形变的一致性，保证了非刚性变形在空间上尽可能光滑连续；
Figure 503548DEST_PATH_IMAGE012
分别为各项权重系数。
同时，基于融合表面对内部形状先验进行更新，得到和融合表面匹配的形状先验，从而为下一帧跟踪提供更精确的对应点。通过形状先验实现鲁棒双层非刚性运动跟踪，并融合局部扫描。依此能量函数的表达式变为：
Figure 866396DEST_PATH_IMAGE013
；
其中，
Figure 43431DEST_PATH_IMAGE048
是数据项，其目的是保证内部形状先验与外部融合表面匹配，表达式为：
Figure 466322DEST_PATH_IMAGE015
；
Figure 587862DEST_PATH_IMAGE016
是初始形状先验的顶点集合，
Figure 361258DEST_PATH_IMAGE017
是其中一个顶点，
Figure 455116DEST_PATH_IMAGE018
是经过非刚性变形后
Figure 986592DEST_PATH_IMAGE017
的坐标，
Figure 392165DEST_PATH_IMAGE019
是一个三线性插值函数。向
Figure 300078DEST_PATH_IMAGE019
函数输入是一个三维坐标，返回该坐标对应的TSDF值。在非刚性跟踪同时，我们不断在初始帧融合局部扫描。
然后，我们对局部扫描构建能量函数来执行捆绑调整，得到的表达式为：
Figure 514022DEST_PATH_IMAGE020
；
其中，
Figure 216399DEST_PATH_IMAGE021
是定义在第
Figure 984635DEST_PATH_IMAGE023
个局部扫描上的bundle变形，负责在第一帧变形局部扫描并将它们构成闭环；
Figure 165080DEST_PATH_IMAGE024
是定义于第
Figure 827006DEST_PATH_IMAGE011
个关键帧的live变形，负责将第一帧的局部扫描变形到该帧；
Figure 637967DEST_PATH_IMAGE025
是步骤4中所述的闭环项，描述局部扫描之间的对齐误差，表达式为：
Figure 221395DEST_PATH_IMAGE026
；
Figure 205532DEST_PATH_IMAGE027
是局部扫描的数量，
Figure 394067DEST_PATH_IMAGE028
是第
Figure 438247DEST_PATH_IMAGE011
个与第
Figure 305709DEST_PATH_IMAGE023
个局部扫描之间的对应点集，
Figure 93536DEST_PATH_IMAGE029
是一对对应点对，分别是两个局部扫描的顶点，
Figure 228589DEST_PATH_IMAGE030
是
Figure 240407DEST_PATH_IMAGE031
对应的法向向量；
Figure 267269DEST_PATH_IMAGE032
是步骤4中所述的深度项，描述局部扫描经过bundle和live变形之后与关键帧深度点云的对齐误差，表达式为：
Figure 796471DEST_PATH_IMAGE033
；
Figure 864659DEST_PATH_IMAGE034
是关键帧的数量，
Figure 781799DEST_PATH_IMAGE035
是第
Figure 230710DEST_PATH_IMAGE036
个局部扫描与第
Figure 422657DEST_PATH_IMAGE037
个关键帧深度点云之间的对应点集，
Figure 991958DEST_PATH_IMAGE038
是一对对应点，
Figure 17683DEST_PATH_IMAGE017
是局部扫描上的点，
Figure 425662DEST_PATH_IMAGE039
是深度点云上的点，
Figure 562245DEST_PATH_IMAGE040
是
Figure 57555DEST_PATH_IMAGE017
对应的法向向量；
Figure 519760DEST_PATH_IMAGE041
是步骤4中所述的轮廓项，描述局部扫描经过bundle和live变形之后与关键帧人体轮廓之间的对齐误差，表达式为：
Figure DEST_PATH_IMAGE049
；
Figure 946194DEST_PATH_IMAGE043
是局部扫描上的轮廓点集，
Figure 355309DEST_PATH_IMAGE044
是其中一个点，
Figure 613115DEST_PATH_IMAGE045
指示优化的正确方向，
Figure 574118DEST_PATH_IMAGE046
是对输入人体轮廓图像做距离变换操作得到的图像，
Figure 550164DEST_PATH_IMAGE047
代表向三维空间向图像的投影操作。
最终，将所有局部扫描融合成一个完整模型，并通过live变形将该模型变形到各帧，通过投影计算顶点颜色，从而获得具有几何细节以及纹理的三维人体自画像。
根据本发明实施例的基于单个RGBD相机的三维人体自画像重建方法，利用单个RGBD相机对人体进行拍摄以采集RGBD图像序列，并基于该序列快速、准确地重建三维人体自画像。该方法所需的输入信息非常容易采集，并且可以快速地获取三维人体自画像。该方法求解准确、快速，简单易行，拥有广阔的应用前景，可以在PC机或工作站等硬件***上快速实现。不仅如此，由于该方法为快速重建方法，可以为用户提供良好的交互式三维重建体验，拥有广阔的应用前景。
本发明还提供了基于单个RGBD相机的三维人体自画像重建***，如图2所示，图2是本发明实施例提供的基于单个RGBD相机的三维人体自画像重建***的结构图，该基于单个RGBD相机的三维人体自画像重建***包括：单个RGBD相机1、深度神经网络模块2、运动跟踪模块3以及捆绑调整模块4；其中，
单个RGBD相机1，用来拍摄人体RGBD图像；
深度神经网络模块2，用于推断人体三维形状先验；
运动跟踪模块3，用于求解模型每个顶点的非刚性运动参数并融合局部扫描；
捆绑调整模块4，用于优化局部扫描并融合成一个完整模型，并计算顶点颜色，得到几何细节丰富、具有纹理的人体三维自画像。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于单个RGBD相机的三维人体自画像重建方法，其特征在于，包括以下步骤：
S1：通过单个RGBD相机对单个人体拍摄RGBD图像序列；
S2：通过深度神经网络模块从RGBD图像序列第一帧推测出形状先验；
S3：基于形状先验构建双层对应点对，通过运动跟踪模块最优化求解出每个顶点的非刚性变换参数，并融合出一系列局部扫描；
S4：构建闭环、深度以及轮廓项，通过捆绑调整模块最优化更新局部扫描，最后将局部扫描融合在一起生成完整的三维模型，并通过投影计算顶点颜色。
2.如权利要求1所述的基于单个RGBD相机的三维人体自画像重建方法，其特征在于，步骤S3中，将每张深度图投影到三维空间得到三维点云，寻找点云与重建模型顶点及形状先验之间的对应点，以此构建双层对应点对，并根据对应点建立能量函数。
3.如权利要求2所述的基于单个RGBD相机的三维人体自画像重建方法，其特征在于，所述能量函数的表达式为：
Figure DEST_PATH_IMAGE001
；
其中，
Figure 470475DEST_PATH_IMAGE002
为双层数据项，表达式为：
Figure DEST_PATH_IMAGE003
；
Figure 379525DEST_PATH_IMAGE004
分别是融合的表面模型以及形状先验与深度点云之间的对应点集合，
Figure DEST_PATH_IMAGE005
和
Figure 183533DEST_PATH_IMAGE006
分别表示经过非刚性运动后的模型或形状先验顶点坐标及其法向，
Figure DEST_PATH_IMAGE007
为与之对应的对应点坐标；
Figure 787821DEST_PATH_IMAGE008
为正则项，表达式为：
Figure DEST_PATH_IMAGE009
；
Figure 663373DEST_PATH_IMAGE010
是结点
Figure DEST_PATH_IMAGE011
的相邻结点；
Figure 364613DEST_PATH_IMAGE012
分别为各项权重系数。
4.如权利要求3所述的基于单个RGBD相机的三维人体自画像重建方法，其特征在于，基于融合表面对内部形状先验进行更新，得到和融合表面匹配的形状先验，从而为下一帧跟踪提供更精确的对应点，依此能量函数的表达式变为：
Figure DEST_PATH_IMAGE013
；
其中，
Figure 11626DEST_PATH_IMAGE014
是数据项，表达式为：
Figure DEST_PATH_IMAGE015
；
Figure 759002DEST_PATH_IMAGE016
是初始形状先验的顶点集合，
Figure DEST_PATH_IMAGE017
是其中一个顶点，
Figure 841840DEST_PATH_IMAGE018
是经过非刚性变形后
Figure 928745DEST_PATH_IMAGE017
的坐标，
Figure DEST_PATH_IMAGE019
是一个三线性插值函数。
5.如权利要求4所述的基于单个RGBD相机的三维人体自画像重建方法，其特征在于，对局部扫描构建能量函数来执行捆绑调整，得到的表达式为：
Figure 12239DEST_PATH_IMAGE020
；
其中，
Figure DEST_PATH_IMAGE021
是定义在第
Figure DEST_PATH_IMAGE023
个局部扫描上的bundle变形；
Figure 653436DEST_PATH_IMAGE024
是定义于第
Figure 74053DEST_PATH_IMAGE011
个关键帧的live变形；
Figure DEST_PATH_IMAGE025
是步骤4中所述的闭环项，表达式为：
Figure 484305DEST_PATH_IMAGE026
；
Figure DEST_PATH_IMAGE027
是局部扫描的数量，
Figure 863334DEST_PATH_IMAGE028
是第
Figure 460669DEST_PATH_IMAGE011
个与第
Figure 419397DEST_PATH_IMAGE023
个局部扫描之间的对应点集，
Figure DEST_PATH_IMAGE029
是一对对应点对，分别是两个局部扫描的顶点，
Figure 277632DEST_PATH_IMAGE030
是
Figure DEST_PATH_IMAGE031
对应的法向向量；
Figure 765245DEST_PATH_IMAGE032
是步骤4中所述的深度项，表达式为：
Figure DEST_PATH_IMAGE033
；
Figure 318717DEST_PATH_IMAGE034
是关键帧的数量，
Figure DEST_PATH_IMAGE035
是第
Figure 612295DEST_PATH_IMAGE036
个局部扫描与第
Figure DEST_PATH_IMAGE037
个关键帧深度点云之间的对应点集，
Figure 997140DEST_PATH_IMAGE038
是一对对应点，
Figure 855987DEST_PATH_IMAGE017
是局部扫描上的点，
Figure DEST_PATH_IMAGE039
是深度点云上的点，
Figure 286969DEST_PATH_IMAGE040
是
Figure 259604DEST_PATH_IMAGE017
对应的法向向量；
Figure DEST_PATH_IMAGE041
是步骤4中所述的轮廓项，表达式为：
Figure 826852DEST_PATH_IMAGE042
；
Figure DEST_PATH_IMAGE043
是局部扫描上的轮廓点集，
Figure 593950DEST_PATH_IMAGE044
是其中一个点，
Figure DEST_PATH_IMAGE045
指示优化的正确方向，
Figure 918752DEST_PATH_IMAGE046
是对输入人体轮廓图像做距离变换操作得到的图像，
Figure DEST_PATH_IMAGE047
代表向三维空间向图像的投影操作。
6.基于单个RGBD相机的三维人体自画像重建***，其特征在于，包括：
单个RGBD相机，用来拍摄人体RGBD图像；
深度神经网络模块，用于推断人体三维形状先验；
运动跟踪模块，用于求解模型每个顶点的非刚性运动参数并融合局部扫描；
捆绑调整模块，用于优化局部扫描并融合成一个完整模型，并计算顶点颜色，得到几何细节丰富、具有纹理的人体三维自画像。
CN202010810525.7A 2020-08-13 2020-08-13 基于单个rgbd相机的三维人体自画像重建方法及*** Withdrawn - After Issue CN111932670B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010810525.7A CN111932670B (zh) 2020-08-13 2020-08-13 基于单个rgbd相机的三维人体自画像重建方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010810525.7A CN111932670B (zh) 2020-08-13 2020-08-13 基于单个rgbd相机的三维人体自画像重建方法及***

Publications (2)

Publication Number Publication Date
CN111932670A true CN111932670A (zh) 2020-11-13
CN111932670B CN111932670B (zh) 2021-09-28

Family

ID=73311823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010810525.7A Withdrawn - After Issue CN111932670B (zh) 2020-08-13 2020-08-13 基于单个rgbd相机的三维人体自画像重建方法及***

Country Status (1)

Country Link
CN (1) CN111932670B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989434A (zh) * 2021-10-27 2022-01-28 聚好看科技股份有限公司 一种人体三维重建方法及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833788A (zh) * 2010-05-18 2010-09-15 南京大学 一种采用手绘草图的三维人体建模方法
CN103106688A (zh) * 2013-02-20 2013-05-15 北京工业大学 基于双层配准方法的室内三维场景重建方法
CN103824326A (zh) * 2014-03-05 2014-05-28 北京工业大学 一种动态的人体三维建模方法
CN107924579A (zh) * 2015-08-14 2018-04-17 麦特尔有限公司 生成个性化3d头部模型或3d身体模型的方法
CN108053476A (zh) * 2017-11-22 2018-05-18 上海大学 一种基于分段三维重建的人体参数测量***及方法
CN108122281A (zh) * 2017-12-22 2018-06-05 洛阳中科众创空间科技有限公司 一种大范围实时人体三维重建方法
CN108665537A (zh) * 2018-05-15 2018-10-16 清华大学 联合优化人体体态与外观模型的三维重建方法及***
CN108898658A (zh) * 2018-05-15 2018-11-27 清华大学 基于光影优化的三维几何与本征成份重建方法及装置
CN110986757A (zh) * 2019-10-08 2020-04-10 新拓三维技术(深圳)有限公司 一种三维人体扫描方法、装置及***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833788A (zh) * 2010-05-18 2010-09-15 南京大学 一种采用手绘草图的三维人体建模方法
CN103106688A (zh) * 2013-02-20 2013-05-15 北京工业大学 基于双层配准方法的室内三维场景重建方法
CN103824326A (zh) * 2014-03-05 2014-05-28 北京工业大学 一种动态的人体三维建模方法
CN107924579A (zh) * 2015-08-14 2018-04-17 麦特尔有限公司 生成个性化3d头部模型或3d身体模型的方法
CN108053476A (zh) * 2017-11-22 2018-05-18 上海大学 一种基于分段三维重建的人体参数测量***及方法
CN108122281A (zh) * 2017-12-22 2018-06-05 洛阳中科众创空间科技有限公司 一种大范围实时人体三维重建方法
CN108665537A (zh) * 2018-05-15 2018-10-16 清华大学 联合优化人体体态与外观模型的三维重建方法及***
CN108898658A (zh) * 2018-05-15 2018-11-27 清华大学 基于光影优化的三维几何与本征成份重建方法及装置
CN110986757A (zh) * 2019-10-08 2020-04-10 新拓三维技术(深圳)有限公司 一种三维人体扫描方法、装置及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
朱海宇: ""单相机动态三维人体重建"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈福兴: ""利用RGB-D相机进行人体三维重建关键技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989434A (zh) * 2021-10-27 2022-01-28 聚好看科技股份有限公司 一种人体三维重建方法及设备

Also Published As

Publication number Publication date
CN111932670B (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN112465955B (zh) 一种动态人体三维重建和视角合成方法
CN113689539B (zh) 基于隐式光流场的动态场景实时三维重建方法
CN108475327A (zh) 三维采集与渲染
CN109087243A (zh) 一种基于深度卷积生成对抗网络的视频超分辨率生成方法
CN113421328B (zh) 一种三维人体虚拟化重建方法及装置
CN110060329B (zh) 一种基于彩色深度视频流数据的移动端人体模型重建方法
CN110223370A (zh) 一种从单视点图片生成完整人体纹理贴图的方法
CN111739080A (zh) 多台深度相机共同构建3d空间及3d物体的方法
CN107610219A (zh) 一种三维场景重构中几何线索感知的像素级点云稠密化方法
CN114049464A (zh) 一种三维模型的重建方法及设备
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计***
CN112927348B (zh) 一种基于多视点rgbd相机高分辨率人体三维重建方法
Ye et al. Real3d-portrait: One-shot realistic 3d talking portrait synthesis
CN117274501B (zh) 一种可驱动数字人建模方法、装置、设备及介质
CN111932670B (zh) 基于单个rgbd相机的三维人体自画像重建方法及***
CN116310228A (zh) 一种针对遥感场景的表面重建与新视图合成方法
CN116934972A (zh) 一种基于双流网络的三维人体重建方法
US20230177771A1 (en) Method for performing volumetric reconstruction
Guo et al. Real-Time Free Viewpoint Video Synthesis System Based on DIBR and A Depth Estimation Network
CN113920270B (zh) 一种基于多视角全景的布局重建方法及其***
CN116310103A (zh) 一种基于蒙皮多人线性模型的人体姿态估计和网格恢复方法
KR102577135B1 (ko) 시퀀스의 압축을 위한 스켈레톤 기반의 동적 포인트 클라우드 추정 시스템
CN114998405A (zh) 基于图像驱动的数字化人体模型构建方法
CN115457171A (zh) 一种采用基表情空间变换的高效表情迁移方法
Chen et al. MoCo‐Flow: Neural Motion Consensus Flow for Dynamic Humans in Stationary Monocular Cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
AV01 Patent right actively abandoned
AV01 Patent right actively abandoned
AV01 Patent right actively abandoned

Granted publication date: 20210928

Effective date of abandoning: 20240125

AV01 Patent right actively abandoned

Granted publication date: 20210928

Effective date of abandoning: 20240125