CN110335343B - 基于rgbd单视角图像人体三维重建方法及装置 - Google Patents

基于rgbd单视角图像人体三维重建方法及装置 Download PDF

Info

Publication number
CN110335343B
CN110335343B CN201910512083.5A CN201910512083A CN110335343B CN 110335343 B CN110335343 B CN 110335343B CN 201910512083 A CN201910512083 A CN 201910512083A CN 110335343 B CN110335343 B CN 110335343B
Authority
CN
China
Prior art keywords
human body
dimensional
rgbd
picture
body model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910512083.5A
Other languages
English (en)
Other versions
CN110335343A (zh
Inventor
刘烨斌
王立祯
郑泽荣
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910512083.5A priority Critical patent/CN110335343B/zh
Publication of CN110335343A publication Critical patent/CN110335343A/zh
Application granted granted Critical
Publication of CN110335343B publication Critical patent/CN110335343B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于RGBD单视角图像人体三维重建方法及装置，其中，方法包括：通过深度相机采集人体的RGBD图片，图片包括单视角彩色图片和深度图片的；根据RGBD图片分别得到三维人体模型参数、人体分割信息和二维关节点信息；根据人体分割信息、二维关节点信息和深度图片得到人体三维关节点信息，以根据人体三维关节点信息对三维人体模型的关节点和身体形状进行约束，并优化三维人体模型参数和三维人体模型；根据优化后的三维人体模型渲染深度图片，并利用单视角彩色图片对优化后的三维人体模型的正面进一步优化，以得到人体的三维重建结果。该方法可以利用深度相机采集到的单帧单视角RGBD图片信息进行人体的三维重建。

Description

基于RGBD单视角图像人体三维重建方法及装置
技术领域
本发明涉及计算机视觉中的三维重建技术领域，特别涉及一种基于RGBD单视角图像人体三维重建方法及装置。
背景技术
随着计算机视觉领域中的三维重建技术的不断发展，利用深度相机通过轻量级的方式重建三维人体显得愈发重要。2017年9月13日苹果发布的新机型iPhoneX，其中前置原深度(True Depth)相机引起了极大的舆论关注。据苹果官方介绍，iPhoneX通过前置点阵投影器将超过30000个肉眼不可见的光点投影到人脸，再根据红外镜头接收到的反射光点，就可以计算得到人脸深度图。可以预见的是，三维重建，特别是人体相关的三维重建，在接下来数年中将会有更广阔的发展前景。各种三维重建应用，例如虚拟换衣、VR通讯等很可能逐步迈入人们的生活。
然而，现阶段，从单帧RGBD图片中重建出三维人体仍是一个欠定的优化问题，无法从图片中直接得到背面和侧面的几何信息。且深度相机在移动平台的不断推广在接下来将会成为一种趋势，深度相机在硬件上也很可能会得到很大的改进，但受限于算法、功率和空间的影响，现阶段从商业化深度相机中直接采集到的深度信息精度较差且所含噪声较多、细节信息较少。利用这样的深度图直接转化成的点云往往并不能令人满意。
发明内容
本申请是基于发明人对以下问题的认识和发现做出的：
深度学习为本发明提供了一种从数据中进行统计意义上的学习的方式，本发明即利用深度学习的方法，从数据集中利用统计意义上的信息，对不可见部分进行了较为合理的补全，同时对可见区域的几何细节进行了充分的优化。
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于RGBD单视角图像人体三维重建方法，该方法基于RGBD的三维人体重建思路，意在利用RGBD信息和数据集对重建结果进行深层优化。
本发明的另一个目的在于提出一种基于RGBD单视角图像人体三维重建装置。
为达到上述目的，本发明一方面实施例提出了一种基于RGBD单视角图像人体三维重建方法，包括：通过深度相机采集人体的RGBD图片，其中，所述RGBD图片包括单视角彩色图片和深度图片；根据所述RGBD图片分别得到三维人体模型参数、人体分割信息和二维关节点信息；根据所述人体分割信息、所述二维关节点信息和所述深度图片得到人体三维关节点信息，以根据所述人体三维关节点信息对三维人体模型的关节点和身体形状进行约束，并优化所述三维人体模型参数和所述三维人体模型；根据优化后的三维人体模型渲染所述深度图片，并利用所述单视角彩色图片对所述优化后的三维人体模型的正面进一步优化，以得到所述人体的三维重建结果。
本发明实施例的基于RGBD单视角图像人体三维重建方法，通过深度相机，采集人体的单视角RBGD图片，可以通过训练好的卷积神经网络模型和其他算法流程得到重建后的三维人体模型，最终得到的三维人体模型能够较好的表现人体在相机可见区域中的几何信息，同时通过数据驱动的方法获得统计意义上较为合理的不可见区域的几何估计。
另外，根据本发明上述实施例的基于RGBD单视角图像人体三维重建方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述根据所述RGBD图片分别得到三维人体模型参数、人体分割信息和二维关节点信息，进一步包括：从所述RGBD图片中，利用开源深度学习工作HMR估计得到所述三维人体模型参数；从所述RGBD图片中，利用开源深度学习工作Look into Person得到所述人体分割信息；从所述RGBD图片中，利用开源深度学习工作Open Pose估计得到所述二维关节点信息。
进一步地，在本发明的一个实施例中，优化所述三维人体模型参数和所述三维人体模型，进一步包括：利用高斯牛顿法优化优化所述三维人体模型参数，以得到与所述RGBD图片拟合的三维人体模型；利用所述与所述RGBD图片拟合的三维人体模型初始化三维空间，加以所述人体三维关节点信息和所述RGBD图片作为信息增益，并利用U-Net结构的卷积神经网络优化三维人体模型。
进一步地，在本发明的一个实施例中，所述并利用所述单视角彩色图片对所述优化后的三维人体模型的正面进一步优化，以得到所述人体的三维重建结果，进一步包括：利用所述单视角彩色图片和从渲染中恢复三维形状的方法对所述优化后的三维人体模型的正面进一步优化，并进行三角化重建，以得到以三角面片为基本结构的三维人体模型。
进一步地，在本发明的一个实施例中，在对所述优化后的三维人体模型的正面进一步优化的过程中，还包括：利用所述深度图片进行数值上的约束。
为达到上述目的，本发明另一方面实施例提出了一种基于RGBD单视角图像人体三维重建装置，包括：采集模块，用于通过深度相机采集人体的RGBD图片，其中，所述RGBD图片包括单视角彩色图片和深度图片；处理模块，用于根据所述RGBD图片分别得到三维人体模型参数、人体分割信息和二维关节点信息；优化模块，用于根据所述人体分割信息、所述二维关节点信息和所述深度图片得到人体三维关节点信息，以根据所述人体三维关节点信息对三维人体模型的关节点和身体形状进行约束，并优化所述三维人体模型参数和所述三维人体模型；重建模块，用于根据优化后的三维人体模型渲染所述深度图片，并利用所述单视角彩色图片对所述优化后的三维人体模型的正面进一步优化，以得到所述人体的三维重建结果。
本发明实施例的基于RGBD单视角图像人体三维重建装置，通过深度相机，采集人体的单视角RBGD图片，可以通过训练好的卷积神经网络模型和其他算法流程得到重建后的三维人体模型，最终得到的三维人体模型能够较好的表现人体在相机可见区域中的几何信息，同时通过数据驱动的方法获得统计意义上较为合理的不可见区域的几何估计。
另外，根据本发明上述实施例的基于RGBD单视角图像人体三维重建装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述处理模块进一步用于从所述RGBD图片中，利用开源深度学习工作HMR估计得到所述三维人体模型参数；从所述RGBD图片中，利用开源深度学习工作Look into Person得到所述人体分割信息；从所述RGBD图片中，利用开源深度学习工作Open Pose估计得到所述二维关节点信息。
进一步地，在本发明的一个实施例中，所述优化模块进一步用于利用高斯牛顿法优化优化所述三维人体模型参数，以得到与所述RGBD图片拟合的三维人体模型，并利用所述与所述RGBD图片拟合的三维人体模型初始化三维空间，加以所述人体三维关节点信息和所述RGBD图片作为信息增益，并利用U-Net结构的卷积神经网络优化三维人体模型。
进一步地，在本发明的一个实施例中，所述并重建模块进一步用于利用所述单视角彩色图片和从渲染中恢复三维形状的方法对所述优化后的三维人体模型的正面进一步优化，并进行三角化重建，以得到以三角面片为基本结构的三维人体模型。
进一步地，在本发明的一个实施例中，还包括：约束模块，用于在对所述优化后的三维人体模型的正面进一步优化的过程中，利用所述深度图片进行数值上的约束。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的基于RGBD单视角图像人体三维重建方法的流程图；
图2为根据本发明一个具体实施例的基于RGBD单视角图像人体三维重建方法的流程图；
图3为根据本发明一个实施例的基于RGBD单视角图像人体三维重建装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于RGBD单视角图像人体三维重建方法及装置，首先将参照附图描述根据本发明实施例提出的基于RGBD单视角图像人体三维重建方法。
图1是本发明一个实施例的基于RGBD单视角图像人体三维重建方法的流程图。
如图1所示，该基于RGBD单视角图像人体三维重建方法包括以下步骤：
在步骤S101中，通过深度相机采集人体的RGBD图片，其中，RGBD图片包括单视角彩色图片和深度图片。
可以理解的是，本发明实施例可以利用深度相机采集人体的彩色(RGB)图片和深度(Depth)图片(以下统称RGBD图片。其中，深度相机可以为微软Kinect第一代和第二代相机、华硕Xtion、奥比中光3D传感摄像头等，本领域技术人员可以根据实际情况选择具体的深度相机，在此不做具体限定。
在步骤S102中，根据RGBD图片分别得到三维人体模型参数、人体分割信息和二维关节点信息。
其中，三维人体模型可以为基本人体模型(SMPL)。可以理解的是，本发明实施例可以从采集到的RGB图片中估计三维人体模型参数、人体部位分割信息和人体二维关节点信息。
进一步地，在本发明的一个实施例中，根据RGBD图片分别得到三维人体模型参数、人体分割信息和二维关节点信息，进一步包括：从RGBD图片中，利用开源深度学习工作HMR估计得到三维人体模型参数；从RGBD图片中，利用开源深度学习工作Look into Person得到人体分割信息；从RGBD图片中，利用开源深度学习工作Open Pose估计得到二维关节点信息。
可以理解的是，对采集到的RGB图片，本发明实施例首先需要利如上步骤中所描述的利用开源深度学习工作HMR估计三维人体模型参数，利用开源深度学习工作Look intoPerson进行人体部位分割信息，利用开源深度学习工作Open Pose进行人体二维关节点信息的估计。
具体地，从采集到的RGB图片中，利用开源深度学习工作HMR估计三维人体模型参数；从采集到的RGB图片中，利用开源深度学习工作Look into Person进行人体部位分割信息；从采集到的RGB图片中，利用开源深度学习工作Open Pose进行人体二维关节点信息的估计。
在步骤S103中，根据人体分割信息、二维关节点信息和深度图片得到人体三维关节点信息，以根据人体三维关节点信息对三维人体模型的关节点和身体形状进行约束，并优化三维人体模型参数和三维人体模型。
可以理解的是，本发明实施例可以利用人体二维关节点信息、人体分割信息和深度图片，估计人体三维关节点；根据人体三维关节点信息，利用高斯牛顿法优化基本人体模型参数并得到与图片拟合效果更好的三维人体模型；利用三维人体模型初始化三维空间，加以人体三维关节点和RGBD图片作为信息增益，利用U-Net结构的卷积神经网络对三维模型进行优化。
具体而言，利用人体二维关节点信息、人体分割信息和深度图片，利用卷积神经网络估计人体三维关节点，进一步包括：在利用卷积神经网进行优化的过程中，以二维人体关节点进行三维空间投影到二维像平面上的坐标约束，以深度图进行三维空间中与像平面垂直方向上的坐标约束，同时约束投影坐标不能超出人体部位分割后的相应范围。
另外，利用RGB图片和从渲染中恢复三维形状的方法对三维模型的正面进行进一步优化，进一步包括：(1)利用深度图的值约束三维模型渲染后的深度图值要尽可能相似；(2)利用球谐函数光照分解法，约束利用三维模型法向量求解得到的光照和本征图片的乘积要与RGB图片尽可能相似，从而增强三维模型法向量对物体细节的描述能力。
在步骤S104中，根据优化后的三维人体模型渲染深度图片，并利用单视角彩色图片对优化后的三维人体模型的正面进一步优化，以得到人体的三维重建结果。
其中，并利用单视角彩色图片对优化后的三维人体模型的正面进一步优化，以得到人体的三维重建结果，进一步包括：利用单视角彩色图片和从渲染中恢复三维形状的方法对优化后的三维人体模型的正面进一步优化，并进行三角化重建，以得到以三角面片为基本结构的三维人体模型。
具体而言，根据优化后的三维模型渲染深度图，利用RGB图片和从渲染中恢复三维形状的方法对三维模型的正面进行进一步优化，主要为三维人体模型提供更多的几何细节，此过程中需要利用深度图片进行数值上的约束；最后，利用优化所得的三维空间中的人体模型进行三角化重建，最终得到便于展示的以三角面片为基本结构的三维人体模型。
下面将通过具体实施例对基于RGBD单视角图像人体三维重建方法进行进一步阐述，如图2所示，具体如下：
步骤S1，数据采集部分。利用深度相机，如微软Kinect第一代和第二代相机、华硕Xtion、奥比中光3D传感摄像头等，采集人体的单视角彩色(RGB)图片和深度(Depth)图片(以下统称RGBD图片)。
其中，在步骤S1中，受限于深度图的精度，本发明实施例需要所采用的深度相机对拍摄场景中的人体几何有一定的描述能力。
步骤S2，数据处理部分。对采集到的RGB图片，本发明实施例首先需要利如上步骤中所描述的利用开源深度学习工作HMR估计基本人体模型(SMPL)参数，利用开源深度学习工作Look into Person进行人体部位分割信息，利用开源深度学习工作OpenPose进行人体二维关节点信息的估计。
其中，在步骤S2中，本发明实施例需要三项开源工作对所采集的图片能够得到正常的处理结果，对于极端姿态，如倒立、翻滚等，处理效果可能有待提高。
步骤S3，优化和重建部分。得到如上信息后，利用预先训练好的卷积神经网络和深度图，进行三维人体关节点的估计。再利用训练好的求解器优化基本三维人体模型，并将如上模型和其余先验信息作为三维优化卷积神经网络的输入，通过预先训练好的参数输出最终重建好的三维人体模型。
其中，在步骤S3中，本发明实施例对两个卷积神经网络和求解器，设置了合理的损失函数、参数和初始化值，预先在所采集到的数据集中训练出了收敛后的网络权重参数，可直接将此预训练后的模型应用于实际优化和重建过程。
综上，本发明实施例旨在利用深度相机采集到的单帧单视角RGBD图片信息进行人体的三维重建，利用了深度相机拍摄得到的单帧单视角的RGBD人体图片作为输入信息，采用基于深度学习的方法从RGB图片中提取人体的基本形状、二维骨架和人体部位分割信息，结合深度图估计出人体的三维骨架后，综合以上信息利用卷积神经网络对其进行编码-解码，从而得到优化后的三维人体模型，在对其利用RGB图片和深度图的数值约束进行进一步几何细节的优化，最终得到优化重建后的三维人体模型。
根据本发明实施例提出的基于RGBD单视角图像人体三维重建方法，通过深度相机，采集人体的单视角RBGD图片，可以通过训练好的卷积神经网络模型和其他算法流程得到重建后的三维人体模型，最终得到的三维人体模型能够较好的表现人体在相机可见区域中的几何信息，同时通过数据驱动的方法获得统计意义上较为合理的不可见区域的几何估计。
其次参照附图描述根据本发明实施例提出的基于RGBD单视角图像人体三维重建装置。
图3是本发明一个实施例的基于RGBD单视角图像人体三维重建装置的结构示意图。
如图3所示，该基于RGBD单视角图像人体三维重建装置10包括：采集模块100、处理模块200、优化模块300和重建模块400。
其中，采集模块100用于通过深度相机采集人体的RGBD图片，其中，RGBD图片包括单视角彩色图片和深度图片。处理模块200用于根据RGBD图片分别得到三维人体模型参数、人体分割信息和二维关节点信息。优化模块300用于根据人体分割信息、二维关节点信息和深度图片得到人体三维关节点信息，以根据人体三维关节点信息对三维人体模型的关节点和身体形状进行约束，并优化三维人体模型参数和三维人体模型。重建模块400用于根据优化后的三维人体模型渲染深度图片，并利用单视角彩色图片对优化后的三维人体模型的正面进一步优化，以得到人体的三维重建结果。本发明实施例的装置10可以利用深度相机采集到的单帧单视角RGBD图片信息进行人体的三维重建，得到的三维人体模型能够较好的表现人体在相机可见区域中的几何信息，同时通过数据驱动的方法获得统计意义上较为合理的不可见区域的几何估计。
进一步地，在本发明的一个实施例中，处理模块200进一步用于从RGBD图片中，利用开源深度学习工作HMR估计得到三维人体模型参数；从RGBD图片中，利用开源深度学习工作Look into Person得到人体分割信息；从RGBD图片中，利用开源深度学习工作Open Pose估计得到二维关节点信息。
进一步地，在本发明的一个实施例中，优化模块300进一步用于利用高斯牛顿法优化优化三维人体模型参数，以得到与RGBD图片拟合的三维人体模型，并利用与RGBD图片拟合的三维人体模型初始化三维空间，加以人体三维关节点信息和RGBD图片作为信息增益，并利用U-Net结构的卷积神经网络优化三维人体模型。
进一步地，在本发明的一个实施例中，并重建模块400进一步用于利用单视角彩色图片和从渲染中恢复三维形状的方法对优化后的三维人体模型的正面进一步优化，并进行三角化重建，以得到以三角面片为基本结构的三维人体模型。
进一步地，在本发明的一个实施例中，本发明实施例的装置10还包括：约束模块。其中，约束模块用于在对优化后的三维人体模型的正面进一步优化的过程中，利用深度图片进行数值上的约束。
需要说明的是，前述对基于RGBD单视角图像人体三维重建方法实施例的解释说明也适用于该实施例的基于RGBD单视角图像人体三维重建装置，此处不再赘述。
根据本发明实施例提出的基于RGBD单视角图像人体三维重建装置，通过深度相机，采集人体的单视角RBGD图片，可以通过训练好的卷积神经网络模型和其他算法流程得到重建后的三维人体模型，最终得到的三维人体模型能够较好的表现人体在相机可见区域中的几何信息，同时通过数据驱动的方法获得统计意义上较为合理的不可见区域的几何估计。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于RGBD单视角图像人体三维重建方法，其特征在于，包括：
通过深度相机采集人体的RGBD图片，其中，所述RGBD图片包括单视角彩色图片和深度图片；
根据所述RGBD图片分别得到三维人体模型参数、人体分割信息和二维关节点信息；
根据所述人体分割信息、所述二维关节点信息和所述深度图片得到人体三维关节点信息，以根据所述人体三维关节点信息对三维人体模型的关节点和身体形状进行约束，并优化所述三维人体模型参数和所述三维人体模型；优化所述三维人体模型参数和所述三维人体模型，进一步包括：利用高斯牛顿法优化优化所述三维人体模型参数，以得到与所述RGBD图片拟合的三维人体模型；利用所述与所述RGBD图片拟合的三维人体模型初始化三维空间，加以所述人体三维关节点信息和所述RGBD图片作为信息增益，并利用U-Net结构的卷积神经网络优化三维人体模型；以及
根据优化后的三维人体模型渲染所述深度图片，并利用所述单视角彩色图片对所述优化后的三维人体模型的正面进一步优化，以得到所述人体的三维重建结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述RGBD图片分别得到三维人体模型参数、人体分割信息和二维关节点信息，进一步包括：
从所述RGBD图片中，利用开源深度学习工作HMR估计得到所述三维人体模型参数；
从所述RGBD图片中，利用开源深度学习工作Look into Person得到所述人体分割信息；
从所述RGBD图片中，利用开源深度学习工作Open Pose估计得到所述二维关节点信息。
3.根据权利要求1所述的方法，其特征在于，所述并利用所述单视角彩色图片对所述优化后的三维人体模型的正面进一步优化，以得到所述人体的三维重建结果，进一步包括：
利用所述单视角彩色图片和从渲染中恢复三维形状的方法对所述优化后的三维人体模型的正面进一步优化，并进行三角化重建，以得到以三角面片为基本结构的三维人体模型。
4.根据权利要求3所述的方法，其特征在于，在对所述优化后的三维人体模型的正面进一步优化的过程中，还包括：
利用所述深度图片进行数值上的约束。
5.一种基于RGBD单视角图像人体三维重建装置，其特征在于，包括：
采集模块，用于通过深度相机采集人体的RGBD图片，其中，所述RGBD图片包括单视角彩色图片和深度图片；
处理模块，用于根据所述RGBD图片分别得到三维人体模型参数、人体分割信息和二维关节点信息；
优化模块，用于根据所述人体分割信息、所述二维关节点信息和所述深度图片得到人体三维关节点信息，以根据所述人体三维关节点信息对三维人体模型的关节点和身体形状进行约束，并优化所述三维人体模型参数和所述三维人体模型；所述优化模块进一步用于利用高斯牛顿法优化优化所述三维人体模型参数，以得到与所述RGBD图片拟合的三维人体模型，并利用所述与所述RGBD图片拟合的三维人体模型初始化三维空间，加以所述人体三维关节点信息和所述RGBD图片作为信息增益，并利用U-Net结构的卷积神经网络优化三维人体模型；以及
重建模块，用于根据优化后的三维人体模型渲染所述深度图片，并利用所述单视角彩色图片对所述优化后的三维人体模型的正面进一步优化，以得到所述人体的三维重建结果。
6.根据权利要求5所述的装置，其特征在于，所述处理模块进一步用于从所述RGBD图片中，利用开源深度学习工作HMR估计得到所述三维人体模型参数；从所述RGBD图片中，利用开源深度学习工作Look into Person得到所述人体分割信息；从所述RGBD图片中，利用开源深度学习工作Open Pose估计得到所述二维关节点信息。
7.根据权利要求5所述的装置，其特征在于，所述重建模块进一步用于利用所述单视角彩色图片和从渲染中恢复三维形状的方法对所述优化后的三维人体模型的正面进一步优化，并进行三角化重建，以得到以三角面片为基本结构的三维人体模型。
8.根据权利要求7所述的装置，其特征在于，还包括：
约束模块，用于在对所述优化后的三维人体模型的正面进一步优化的过程中，利用所述深度图片进行数值上的约束。
CN201910512083.5A 2019-06-13 2019-06-13 基于rgbd单视角图像人体三维重建方法及装置 Expired - Fee Related CN110335343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910512083.5A CN110335343B (zh) 2019-06-13 2019-06-13 基于rgbd单视角图像人体三维重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910512083.5A CN110335343B (zh) 2019-06-13 2019-06-13 基于rgbd单视角图像人体三维重建方法及装置

Publications (2)

Publication Number Publication Date
CN110335343A CN110335343A (zh) 2019-10-15
CN110335343B true CN110335343B (zh) 2021-04-06

Family

ID=68142018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910512083.5A Expired - Fee Related CN110335343B (zh) 2019-06-13 2019-06-13 基于rgbd单视角图像人体三维重建方法及装置

Country Status (1)

Country Link
CN (1) CN110335343B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022512262A (ja) 2019-11-21 2022-02-03 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 画像処理方法及び装置、画像処理機器並びに記憶媒体
CN111031305A (zh) * 2019-11-21 2020-04-17 北京市商汤科技开发有限公司 图像处理方法及装置、图像设备及存储介质
CN111008966A (zh) * 2019-12-02 2020-04-14 深圳市繁维医疗科技有限公司 基于rgbd的单视角人体测量方法、装置以及计算机可读存储介质
CN111127632B (zh) * 2019-12-20 2023-06-02 北京奇艺世纪科技有限公司 人体建模模型获取方法、装置、电子设备及存储介质
CN111476884B (zh) * 2020-03-30 2022-10-25 清华大学 基于单帧rgbd图像的实时三维人体重建方法及***
CN113468923B (zh) * 2020-03-31 2022-09-06 上海交通大学 基于细粒度多模态共同表征的人-物体交互行为检测方法
CN111739161B (zh) * 2020-07-23 2020-11-20 之江实验室 一种有遮挡情况下的人体三维重建方法、装置及电子设备
CN111968165B (zh) * 2020-08-19 2024-01-23 北京拙河科技有限公司 动态人体三维模型补全方法、装置、设备和介质
CN112330795B (zh) * 2020-10-10 2022-10-28 清华大学 基于单张rgbd图像的人体三维重建方法及***
CN112819944B (zh) * 2021-01-21 2022-09-27 魔珐(上海)信息科技有限公司 三维人体模型重建方法、装置、电子设备及存储介质
CN112884638A (zh) * 2021-02-02 2021-06-01 北京东方国信科技股份有限公司 虚拟试衣方法及装置
CN113313828B (zh) * 2021-05-19 2022-06-14 华南理工大学 基于单图片本征图像分解的三维重建方法与***
CN113313818B (zh) * 2021-06-07 2023-04-11 聚好看科技股份有限公司 一种三维重建方法、装置及***
CN113610889B (zh) * 2021-06-30 2024-01-16 奥比中光科技集团股份有限公司 一种人体三维模型获取方法、装置、智能终端及存储介质
CN113379904B (zh) * 2021-07-05 2022-02-15 东南大学 一种基于隐空间运动编码的多人人体模型重建方法
CN113808256B (zh) * 2021-09-15 2023-06-09 天津大学 一种结合身份识别的高精度全息人体重建方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833788A (zh) * 2010-05-18 2010-09-15 南京大学 一种采用手绘草图的三维人体建模方法
CN105809681A (zh) * 2016-03-04 2016-07-27 清华大学 基于单相机的人体rgb-d数据恢复与三维重建方法
CN108053469A (zh) * 2017-12-26 2018-05-18 清华大学 多视角相机下的复杂动态场景人体三维重建方法及装置
CN108154550A (zh) * 2017-11-29 2018-06-12 深圳奥比中光科技有限公司 基于rgbd相机的人脸实时三维重建方法
CN108154551A (zh) * 2017-11-29 2018-06-12 深圳奥比中光科技有限公司 实时动态重建三维人体模型的方法及***
EP3381017A1 (en) * 2016-10-31 2018-10-03 Google LLC Face reconstruction from a learned embedding

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107507267A (zh) * 2017-07-28 2017-12-22 电子科技大学 人体背部三维重构方法
CN109341707B (zh) * 2018-12-03 2022-04-08 南开大学 未知环境下移动机器人三维地图构建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833788A (zh) * 2010-05-18 2010-09-15 南京大学 一种采用手绘草图的三维人体建模方法
CN105809681A (zh) * 2016-03-04 2016-07-27 清华大学 基于单相机的人体rgb-d数据恢复与三维重建方法
EP3381017A1 (en) * 2016-10-31 2018-10-03 Google LLC Face reconstruction from a learned embedding
CN108154550A (zh) * 2017-11-29 2018-06-12 深圳奥比中光科技有限公司 基于rgbd相机的人脸实时三维重建方法
CN108154551A (zh) * 2017-11-29 2018-06-12 深圳奥比中光科技有限公司 实时动态重建三维人体模型的方法及***
CN108053469A (zh) * 2017-12-26 2018-05-18 清华大学 多视角相机下的复杂动态场景人体三维重建方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Real-Time 3D volumetric human body reconstruction from a single view RGB-D capture device";Rafael Diniz.etc;《Electronic Imaging》;20190131;论文006-1至006-4页 *
"基于RGB彩色和深度信息的三维运动重建研究";赵艳;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160215;论文第3-4章 *

Also Published As

Publication number Publication date
CN110335343A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
CN110335343B (zh) 基于rgbd单视角图像人体三维重建方法及装置
WO2021077720A1 (zh) 获取对象三维模型的方法、装置、电子设备及***
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
CN108564041B (zh) 一种基于rgbd相机的人脸检测和修复方法
CN103971408B (zh) 三维人脸模型生成***及方法
WO2015188684A1 (zh) 三维模型重建方法与***
CN111028155B (zh) 一种基于多对双目相机的视差图像拼接方法
WO2019219012A1 (zh) 联合刚性运动和非刚性形变的三维重建方法及装置
CN106600686A (zh) 一种基于多幅未标定图像的三维点云重建方法
CN109147051B (zh) 一种基于手机扫描的人体3d建模方法
CN106981078B (zh) 视线校正方法、装置、智能会议终端及存储介质
CN109903328B (zh) 一种应用于智能手机的物体体积测量的装置及方法
CN111476884B (zh) 基于单帧rgbd图像的实时三维人体重建方法及***
WO2024007478A1 (zh) 基于单手机的人体三维建模数据采集与重建方法及***
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
KR101266362B1 (ko) 카메라 트래킹 시스템, 트래킹 방법 및 이를 이용한 실사영상 합성 시스템
CN111583386B (zh) 基于标签传播算法的多视角人体姿态重建方法
CN113160420A (zh) 一种三维点云重建的方法、装置、电子设备及存储介质
KR20180066551A (ko) 전방향 카메라의 깊이 지도 획득 방법 및 장치
CN112862736B (zh) 一种基于点的实时三维重建与优化方法
CN113379901A (zh) 利用大众自拍全景数据建立房屋实景三维的方法及***
CN113989434A (zh) 一种人体三维重建方法及设备
CN112102504A (zh) 一种基于混合现实的三维场景和二维图像混合方法
CN109166176B (zh) 三维人脸图像的生成方法与装置
CN114935316B (zh) 基于光学跟踪与单目视觉的标准深度图像生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210406