CN107833253B - 一种面向rgbd三维重建纹理生成的相机姿态优化方法 - Google Patents

一种面向rgbd三维重建纹理生成的相机姿态优化方法 Download PDF

Info

Publication number
CN107833253B
CN107833253B CN201710865785.2A CN201710865785A CN107833253B CN 107833253 B CN107833253 B CN 107833253B CN 201710865785 A CN201710865785 A CN 201710865785A CN 107833253 B CN107833253 B CN 107833253B
Authority
CN
China
Prior art keywords
depth
frame
camera
pixel
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710865785.2A
Other languages
English (en)
Other versions
CN107833253A (zh
Inventor
齐越
衡亦舒
王晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics
Beihang University
Original Assignee
Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics, Beihang University filed Critical Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics
Priority to CN201710865785.2A priority Critical patent/CN107833253B/zh
Publication of CN107833253A publication Critical patent/CN107833253A/zh
Application granted granted Critical
Publication of CN107833253B publication Critical patent/CN107833253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉与计算机图形图像处理技术领域，具体涉及一种面向RGBD三维重建纹理生成的相机姿态优化方法，S1.得到深度图像融合的关键帧；S2.计算三维网格模型点云深度投影图；S3.去除点云深度投影图中的背景数据；S4.深度数据匹配和相机姿态的优化。该方法由已知三维网格模型、关键帧，结合纹理生成过程中的需求，利用网格模型的几何特征以及关键帧中的深度数据，研究一种在RGBD三维重建纹理生成过程中，对关键帧视点下相机位姿的优化方法，为高质量的纹理图像生成提供保障。

Description

一种面向RGBD三维重建纹理生成的相机姿态优化方法
技术领域
本发明属于计算机视觉与计算机图形图像处理技术领域，具体涉及一种面向RGBD三维重建纹理生成的相机姿态优化方法。
背景技术
近年来随着VR/AR应用潜力的不断发掘，带来了对三维内容大规模生产的需求。基于RGBD数据流进行场景的三维重建技术使得模型可以具有较高的几何精度。然而逼真的三维模型还需要有高质量的纹理展现几何模型无法展现的细节。在生成纹理的过程中，相机姿态的准确与否，对最终三维模型纹理的连续性和清晰程度都有着至关重要的作用。
当前对基于RGBD数据流的三维重建的研究大部分集中在如何通过RGBD数据流产生高精度的几何模型，而其后的纹理生成工作步骤如下：首先，在生成几何模型的过程中，按照一定规则截取若干关键帧，关键帧内容包括当时的RGB数据和深度数据以及在建模过程中利用相关方法估计出的相机姿态；第二步，对于几何模型上的每一个网格面片，按照某些约束，将它与某一视点的关键帧相关联，然后利用相机的内参将RGB信息投影到模型上；然后，由于光照、拍摄角度的关系，取自不同关键帧的RGB信息会存在差异，导致模型上的纹理出现明显的接缝，使用诸如Poission Editing的方法可以对缝隙两侧的网格进行处理，从而消除接缝；最终，将网格面片上的RGB信息整理打包为单独的纹理图集，得到最终的纹理图像。
上述过程在理想状况下可以得到一幅高质量的纹理贴图，但是实际情况中，截取关键帧时，单帧的RGB和深度数据往往存在空洞和模糊噪声的干扰，以及建模过程中的误差累积导致相机姿态偏移，使RGB信息投影到网格面片上时发生错位，引起模型上的纹理错乱，对后续缝隙处理造成难以挽回的影响，从而影响网格模型最终纹理的质量。
发明内容
为了克服以上缺点，本发明的目的在于提供一种面向RGBD三维重建纹理生成的相机姿态优化方法，该方法由已知三维网格模型、关键帧，结合纹理生成过程中的需求，利用网格模型的几何特征以及关键帧中的深度数据，研究一种在RGBD三维重建纹理生成过程中，对关键帧视点下相机位姿的优化方法，为高质量的纹理图像生成提供保障。
为了实现上述目的，本发明采用如下技术方案：一种面向RGBD三维重建纹理生成的相机姿态优化方法，包括如下步骤：
S1.得到深度图像融合的关键帧；
S2.计算三维网格模型点云深度投影图；
S3.去除点云深度投影图中的背景数据；
S4.深度数据匹配和相机姿态的优化。
进一步地，所述步骤S1的具体为：
S11.对已配准的RGBD数据流分组；
S12.将每一帧中深度值大于0的像素点投影到所在组第一帧所在的平面中；
S13.通过加权平均的方法计算融合后最终的深度像素值，得到关键帧；
进一步地，所述步骤S11的具体为：
对已配准的RGBD数据流，取时间连续的K帧深度数据以及各自对应的相机姿态，深度数据经双边滤波后，记为D1…Dk，相机姿态记为T1…Tk。
进一步地，所述步骤S12的具体为：
S121.对于每一帧，通过相机内参将D1…Dk中所有深度值大于0的像素点映射到各帧对应的相机坐标系下：
Figure BDA0001416066940000021
其中，
Figure BDA0001416066940000022
为第k帧深度图中坐标(u,v)映射到第k帧所对应的相机坐标系后的坐标，Dk(u,v)表示第k帧深度图中(u,v)坐标下的深度值，Kd是3×3的矩阵，(·)T表示矩阵转置；
S122.根据每一帧对应的相机姿态，将D1…Dk中所有深度值大于0的像素点从各帧对应的相机坐标系下映射到第一帧对应的相机坐标系下：
Figure BDA0001416066940000023
其中，
Figure BDA0001416066940000024
为第k帧深度图中坐标(u,v)映射到第一帧所对应的相机坐标系后的坐标；
S123.根据相机内参Kd将在第一帧对应的相机坐标系下的各帧的深度像素值重新投影到第一帧所在的平面中：
Figure BDA0001416066940000025
(uk,vk)表示第k帧映射后的像素坐标值，D(uk,vk)为对应的深度值，并对(uk,vk)进行取整。
进一步地，所述步骤S13的具体为：
S131.计算深度像素值的权值；
将投影到第一帧所在平面的各帧的深度像素值，按照以下方法计算权值：
Figure BDA0001416066940000026
其中，(u,v)表示投影之前的像素坐标值；
S132.融合深度像素值，得到关键帧；
融合后最终的深度像素值通过加权平均的方法计算：
Figure BDA0001416066940000031
其中，dkey为像素坐标(uk,vk)最终的深度值，dk为第k帧投影后的深度值，wk为第k帧在该像素的权重，得到关键帧。
进一步地，所述步骤S2的具体为：
S21.将三维网格模型在世界坐标系下的所有顶点转换到每一帧对应的相机坐标系下；
S22.将相机坐标下的三维点云投影到二维平面上，得到点云深度投影图。
根据权利要求6所述的面向RGBD三维重建纹理生成的相机姿态优化方法，其特征在于，所述步骤S21的具体为：
对于每一帧，通过深度相机的外参，将三维网格模型世界坐标系下的所有顶点转换到每一帧对应的相机坐标系下，具体为：
Figure BDA0001416066940000032
其中，
Figure BDA0001416066940000033
表示三维网格模型中第i个顶点的世界坐标，
Figure BDA0001416066940000034
表示三维网格模型第i个点在第k帧的相机坐标系下的坐标，Tk表示第k帧的深度相机外参。
进一步地，所述步骤S22的具体为：
利用深度相机内参，将相机坐标下的三维点云投影到二维平面上：
Figure BDA0001416066940000035
如果投影后多个点像素坐标为(u,v)，只保留d值最小的，对于没有被投影到的(u,v)坐标像素值置为0，得到三维点云深度投影图。
进一步地，所述步骤S3的具体为：
在步骤S2中，保存相机坐标下的三维点云中顶点坐标z值的最大值(深度值)，即：
Figure BDA0001416066940000036
其中，z(·)表示取坐标的z值；对关键帧中的每一个像素，将大于zk的像素值置为0，具体为：
Figure BDA0001416066940000037
其中，D(u,v)为(u,v)处的深度值，通过这一步骤，得到去掉背景数据的点云深度投影图。
进一步地，所述步骤S4的具体为：
S41.深度数据匹配；
将步骤S3中得到的点云深度投影图，对于不为0的像素点(u,v)，通过深度相机的内部参数，将关键帧中对应位置的像素投影到相机坐标系下：
Figure BDA0001416066940000041
其中pkey(x,y,z)表示相机坐标系下坐标为(x,y,z)的三维坐标点；将点云深度投影图中每个对应的像素坐标(u,v)影回想三维坐标系，记为
Figure BDA0001416066940000042
k表示第k个关键帧，如果pkey和
Figure BDA0001416066940000043
的欧式距离小于阈值θ，则认为两者为对应点；
构造对应点欧式距离的能量函数：
Figure BDA0001416066940000044
S42.对相机姿态进行优化；
则最终的相机姿态为：
T＝Tinc·Tk (12)
其中，
Figure BDA0001416066940000045
为在相机坐标系下相机最终姿态。
本发明的面向RGBD三维重建纹理生成的相机姿态优化方法，是在深入分析了三维重建纹理生成过程中对相机位姿的需求，并且结合了三维重建获得的模型数据以及RGBD数据流的特征下提出的，具有以下优点：
(1)考虑普通消费级深度相机深度数据质量较低的特点，以及连续帧中局部相机姿态估计高精度的特定，通过融合多帧数据减少了关键帧中深度数据的空洞和噪声。
(2)考虑到三维重建中三维模型几何特征的高精度，利用重建得到的三维模型数据和深度相机参数，投影得到顶点的点云深度投影图，结合融合得到的关键帧深度数据，构造基于空间欧式距离的能量函数用于求解关键帧的相机姿态，有效地提高了纹理生成阶段相机姿态的精确度。
附图说明
图1为本发明方法的流程图；
图2为本发明中用到的原始数据，其中(a)和(b)分别是原始的RGB数据和深度数据；
图3为本发明中原深度数据和融合后的深度数据，其中(a)是原始深度数据，(b)是融合以后的深度数据；
图4为本发明中去除背景之后的关键帧数据；
图5为本发明中三维模型投影到某一视点下之后得到的点云投影数据；
图6为利用本发明优化相机姿态后，生成的带有纹理的模型渲染图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明的原理在于：首先运用多帧融合的方法，从RGBD数据流中提取关键帧的深度数据和RGB数据，补足单一深度图中因为数据缺失引起的数据空洞，保证关键帧中深度和RGB数据的质量。利用已知的模型数据，结合关键帧视点下的相机姿态，对模型顶点进行可见面判断，将可见的顶点投影到像素平面，得到模型点云深度图。利用模型点云深度图，对当前关键帧的深度图进行滤波，将背景数据去除，排除干扰。利用相机参数将点云深度图投影到关键帧滤波后的深度图上，得到对应点。最后，将对应点投影回三维空间，依照点对间的欧式距离构建能量函数，最优化能量函数得到优化后的相机位姿。
本发明的面向RGBD三维重建纹理生成的相机姿态优化方法，具体包括如下步骤：
S1.得到深度图像融合的关键帧；
将相机采集的RGBD数据流按照时间戳分组，相邻若干帧的RGB数据、深度数据和三维重建过程中估计的相机姿态分为一组，利用每一帧各自的相机姿态，将第一帧之后的RGB和深度数据都投影到第一帧上并加权融合，得到清晰的RGB数据和空洞较少的深度数据。最后融合得到的RGB数据和深度数据，以及每一组第一帧的相机位姿，作为关键帧中存储的三项数据。
S11.对已配准的RGBD数据流分组；
对已配准的RGBD数据流，取时间连续的K帧，在本实施例中，k取3，深度数据以及各自对应的相机姿态，深度数据经双边滤波后，记为D1…Dk，相机姿态记为T1…Tk。
S12.将每一帧中深度值大于0的像素点投影到第一帧所在的平面中；具体过程如下：
S121.对于每一帧，通过相机内参将D1…Dk中所有深度值大于0的像素点映射到各帧对应的相机坐标系下：
Figure BDA0001416066940000051
其中，
Figure BDA0001416066940000052
为第k帧深度图中坐标(u,v)映射到第k帧所对应的相机坐标系后的坐标，Dk(u,v)表示第k帧深度图中(u,v)坐标下的深度值，Kd是3×3的矩阵，(·)T表示矩阵转置；
S122.根据每一帧对应的相机姿态，将D1…Dk中所有深度值大于0的像素点从各帧对应的相机坐标系下映射到第一帧对应的相机坐标系下：
Figure BDA0001416066940000061
其中，
Figure BDA0001416066940000062
为为第k帧深度图中坐标(u,v)映射到第一帧所对应的相机坐标系后的坐标；
S123.根据相机内参Kd将在第一帧对应的相机坐标系下的各帧的深度像素值重新投影到第一帧所在的平面中：
Figure BDA0001416066940000063
(uk,vk)表示第k帧映射后的像素坐标值，D(uk,vk)为对应的深度值，并对(uk,vk)进行取整。
S13.通过加权平均的方法计算融合后最终的深度像素值，得到关键帧；
S131.计算深度像素值的权值；
将投影到第一帧所在平面的各帧的深度像素值，按照以下方法计算权值：
Figure BDA0001416066940000064
其中，(u,v)表示投影之前的像素坐标值。
S132.融合深度像素值，得到关键帧；
融合后最终的深度像素值通过加权平均的方法计算：
Figure BDA0001416066940000065
其中，dkey为像素坐标(uk,vk)最终的深度值，dk为第k帧投影后的深度值，wk为第k帧在该像素的权重，得到关键帧，如图3(b)所示，修补了图3(a)中存在的空洞。
S2.计算三维网格模型点云深度投影图；
针对某一关键帧的视点，将三维网格模型所有顶点的坐标变换到此关键帧的相机坐标系下，根据坐标的深度值进行可见性判断，将可见的顶点按照深度相机的内参投影到深度投影平面上，这里深度投影平面的中心与相机的z轴垂直，尺寸与关键帧中深度图的尺寸相同，放弃落在平面外的点的信息，得到模型的点云深度投影图。
S21.将三维网格模型在世界坐标系下的所有顶点转换到每一帧对应的相机坐标系下；
对于每一帧，通过深度相机的外参，将三维网格模型世界坐标系下的所有顶点转换到每一帧对应的相机坐标系下，具体为：
Figure BDA0001416066940000066
其中，
Figure BDA0001416066940000067
表示三维网格模型中第i个顶点的世界坐标，
Figure BDA0001416066940000068
表示三维网格模型第i个点在第k帧的相机坐标系下的坐标，Tk表示第k帧的深度相机外参。
S22.将相机坐标下的三维点云投影到二维平面上，得到点云深度投影图；
利用深度相机内参，将相机坐标下的三维点云投影到二维平面上：
Figure BDA0001416066940000071
如果投影后多个点像素坐标为(u,v)，只保留d值最小的，对于没有被投影到的(u,v)坐标像素值置为0，得到三维点云深度投影图，如图5所示。
S3.去除点云深度投影图中的背景数据；
对某一关键帧视点，记录步骤S2中获得点云深度投影图中深度值最大的值，对当前关键帧的深度图像中每一像素进行处理，将大于点云深度投影图中最大值的像素点的深度值置为0，得到只包含目标物体的深度图，具体过程为：
在步骤S2中，保存相机坐标下的三维点云中顶点坐标z值的最大值(深度值)，即：
Figure BDA0001416066940000072
其中，z(·)表示取坐标的z值；对关键帧中的每一个像素，将大于zk的像素值置为0，具体为：
Figure BDA0001416066940000073
其中，D(u,v)为(u,v)处的深度值，通过这一步骤，得到去掉背景数据的点云深度投影图，如图4所示。
S4.深度数据匹配和相机姿态的优化。
对步骤S3，关键帧中经过滤波的深度数据以及步骤S2，模型顶点投影得到的点云深度数据，利用深度相机参数及当前估计的相机姿态，将点云深度投影图上所有具有深度信息的点投影到经过滤波的深度图像上，得到点云深度图上的点在关键帧深度图上的对应点。将对应点通过深度相机参数投影到全局坐标系下，依照点对之间的欧式距离构建能量函数，变换矩阵使得该能量函数最小，得到优化后的相机姿态。具体过程如下：
S41.深度数据匹配；
将步骤S3中得到的点云深度投影图，对于不为0的像素点(u,v)，通过深度相机的内部参数，将关键帧中对应位置的像素投影到相机坐标系下：
Figure BDA0001416066940000074
其中pkey(x,y,z)表示相机坐标系下坐标为(x,y,z)的三维坐标点；将点云深度投影图中每个对应的像素坐标(u,v)影回想三维坐标系，记为
Figure BDA0001416066940000075
k表示第k个关键帧，如果pkey和
Figure BDA0001416066940000076
的欧式距离小于阈值θ，则认为两者为对应点；
构造对应点欧式距离的能量函数：
Figure BDA0001416066940000081
S42.对相机姿态进行优化；
则最终的相机姿态为：
T＝Tinc·Tk (12)
其中，
Figure BDA0001416066940000082
为在相机坐标系下相机最终姿态。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种面向RGBD三维重建纹理生成的相机姿态优化方法，其特征在于，包括如下步骤：
S1.得到深度图像融合的关键帧；
S2.计算三维网格模型点云深度投影图；
S3.去除点云深度投影图中的背景数据；
S4.深度数据匹配和相机姿态的优化；
所述步骤S1的具体为：
S11.对已配准的RGBD数据流分组；
S12.将每一帧中深度值大于0的像素点投影到所在组第一帧所在的平面中；
S13.通过加权平均的方法计算融合后最终的深度像素值，得到关键帧；
所述步骤S11的具体为：
对已配准的RGBD数据流，取时间连续的K帧深度数据以及各自对应的相机姿态，深度数据经双边滤波后，记为
Figure DEST_PATH_IMAGE001
，相机姿态记为
Figure 440659DEST_PATH_IMAGE002
；
所述步骤S12的具体为：
S121.对于每一帧，通过相机内参将
Figure 26361DEST_PATH_IMAGE001
中所有深度值大于0的像素点映射到各帧对应的相机坐标系下：
Figure DEST_PATH_IMAGE003
(1)
其中，
Figure 456206DEST_PATH_IMAGE004
为第k帧深度图中坐标
Figure DEST_PATH_IMAGE005
映射到第k帧所对应的相机坐标系后的坐标，
Figure 760148DEST_PATH_IMAGE006
表示第k帧深度图中
Figure 35272DEST_PATH_IMAGE005
坐标下的深度值，
Figure DEST_PATH_IMAGE007
是
Figure 678743DEST_PATH_IMAGE008
的矩阵，
Figure DEST_PATH_IMAGE009
表示矩阵转置；
S122.根据每一帧对应的相机姿态，将
Figure 76226DEST_PATH_IMAGE001
中所有深度值大于0的像素点从各帧对应的相机坐标系下映射到第一帧对应的相机坐标系下：
Figure 805147DEST_PATH_IMAGE010
(2)
其中，
Figure DEST_PATH_IMAGE011
为第k帧深度图中坐标
Figure 946279DEST_PATH_IMAGE005
映射到第一帧所对应的相机坐标系后的坐标；
S123.根据相机内参
Figure 444256DEST_PATH_IMAGE007
将在第一帧对应的相机坐标系下的各帧的深度像素值重新投影到第一帧所在的平面中：
Figure 215903DEST_PATH_IMAGE012
(3)
Figure DEST_PATH_IMAGE013
表示第
Figure 228859DEST_PATH_IMAGE014
帧映射后的像素坐标值，
Figure DEST_PATH_IMAGE015
为对应的深度值，并对
Figure 111364DEST_PATH_IMAGE013
进行取整；
所述步骤S3的具体为：
在步骤S2中，保存相机坐标下的三维点云中顶点坐标z值的最大值（深度值），即：
Figure 526165DEST_PATH_IMAGE016
(8)
其中，
Figure DEST_PATH_IMAGE017
表示取坐标的z值；对关键帧中的每一个像素，将大于
Figure 468713DEST_PATH_IMAGE018
的像素值置为0，具体为：
Figure DEST_PATH_IMAGE019
(9)
其中，
Figure 968964DEST_PATH_IMAGE020
为
Figure 389581DEST_PATH_IMAGE005
处的深度值，通过这一步骤，得到去掉背景数据的点云深度投影图；
所述步骤S4的具体为：
S41.深度数据匹配；
将步骤S3中得到的点云深度投影图，对于不为0的像素点
Figure 862151DEST_PATH_IMAGE005
，通过深度相机的内部参数，将关键帧中对应位置的像素投影到相机坐标系下：
Figure DEST_PATH_IMAGE021
(10)
其中
Figure 37917DEST_PATH_IMAGE022
表示相机坐标系下坐标为
Figure DEST_PATH_IMAGE023
的三维坐标点；将点云深度投影图中每个对应的像素坐标
Figure 25465DEST_PATH_IMAGE005
投影回三维坐标系，记为
Figure 249773DEST_PATH_IMAGE024
，k表示第k个关键帧，如果
Figure DEST_PATH_IMAGE025
和
Figure 311270DEST_PATH_IMAGE024
的欧式距离小于阈值
Figure 595621DEST_PATH_IMAGE026
，则认为两者为对应点；
构造对应点欧式距离的能量函数：
Figure DEST_PATH_IMAGE027
(11)
S42.对相机姿态进行优化；
则最终的相机姿态为：
Figure 70464DEST_PATH_IMAGE028
(12)
其中，
Figure DEST_PATH_IMAGE029
，为在相机坐标系下相机最终姿态。
2.根据权利要求1所述的面向RGBD三维重建纹理生成的相机姿态优化方法，其特征在于，所述步骤S13的具体为：
S131.计算深度像素值的权值；
将投影到第一帧所在平面的各帧的深度像素值，按照以下方法计算权值：
Figure 160780DEST_PATH_IMAGE030
(4)
其中，
Figure 342363DEST_PATH_IMAGE005
表示投影之前的像素坐标值；
S132.融合深度像素值，得到关键帧；
融合后最终的深度像素值通过加权平均的方法计算：
Figure DEST_PATH_IMAGE031
(5)
其中，
Figure 532036DEST_PATH_IMAGE032
为像素坐标
Figure DEST_PATH_IMAGE033
最终的深度值，
Figure 494175DEST_PATH_IMAGE034
为第k帧投影后的深度值，
Figure DEST_PATH_IMAGE035
为第k帧在该像素的权重，得到关键帧。
3.根据权利要求1所述的面向RGBD三维重建纹理生成的相机姿态优化方法，其特征在于，所述步骤S2的具体为：
S21.将三维网格模型在世界坐标系下的所有顶点转换到每一帧对应的相机坐标系下；
S22.将相机坐标下的三维点云投影到二维平面上，得到点云深度投影图；
所述步骤S21的具体为：
对于每一帧，通过深度相机的外参，将三维网格模型世界坐标系下的所有顶点转换到每一帧对应的相机坐标系下，具体为：
Figure 60286DEST_PATH_IMAGE036
(6)
其中，
Figure DEST_PATH_IMAGE037
表示三维网格模型中第i个顶点的世界坐标，
Figure 424271DEST_PATH_IMAGE038
表示三维网格模型第i个点在第k帧的相机坐标系下的坐标，
Figure DEST_PATH_IMAGE039
表示第k帧的深度相机外参。
4.根据权利要求3所述的面向RGBD三维重建纹理生成的相机姿态优化方法，其特征在于，所述步骤S22的具体为：
利用深度相机内参，将相机坐标下的三维点云投影到二维平面上：
Figure 784845DEST_PATH_IMAGE040
(7)
如果投影后多个点像素坐标为
Figure DEST_PATH_IMAGE041
，只保留d值最小的，对于没有被投影到的
Figure 171964DEST_PATH_IMAGE042
坐标像素值置为0，得到三维点云深度投影图。
CN201710865785.2A 2017-09-22 2017-09-22 一种面向rgbd三维重建纹理生成的相机姿态优化方法 Active CN107833253B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710865785.2A CN107833253B (zh) 2017-09-22 2017-09-22 一种面向rgbd三维重建纹理生成的相机姿态优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710865785.2A CN107833253B (zh) 2017-09-22 2017-09-22 一种面向rgbd三维重建纹理生成的相机姿态优化方法

Publications (2)

Publication Number Publication Date
CN107833253A CN107833253A (zh) 2018-03-23
CN107833253B true CN107833253B (zh) 2020-08-04

Family

ID=61644044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710865785.2A Active CN107833253B (zh) 2017-09-22 2017-09-22 一种面向rgbd三维重建纹理生成的相机姿态优化方法

Country Status (1)

Country Link
CN (1) CN107833253B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035329A (zh) * 2018-08-03 2018-12-18 厦门大学 基于深度特征的相机姿态估计优化方法
CN109544677B (zh) * 2018-10-30 2020-12-25 山东大学 基于深度图像关键帧的室内场景主结构重建方法及***
CN109523629B (zh) * 2018-11-27 2023-04-07 上海交通大学 一种基于物理仿真的物体语义和位姿数据集生成方法
CN111369612B (zh) * 2018-12-25 2023-11-24 北京欣奕华科技有限公司 一种三维点云图像生成方法及设备
CN110111262B (zh) * 2019-03-29 2021-06-04 北京小鸟听听科技有限公司 一种投影仪投影畸变校正方法、装置和投影仪
CN109993793B (zh) * 2019-03-29 2021-09-07 北京易达图灵科技有限公司 视觉定位方法及装置
CN110111388B (zh) * 2019-05-10 2021-03-23 北京航空航天大学 三维物***姿参数估计方法及视觉设备
CN110175566B (zh) * 2019-05-27 2022-12-23 大连理工大学 一种基于rgbd融合网络的手部姿态估计***及方法
CN110599593B (zh) * 2019-09-12 2021-03-23 北京三快在线科技有限公司 数据合成的方法、装置、设备及存储介质
CN110827397B (zh) * 2019-11-01 2021-08-24 浙江大学 一种面向rgb-d相机实时三维重建的纹理融合方法
CN111627119B (zh) * 2020-05-22 2023-09-15 Oppo广东移动通信有限公司 纹理贴图方法及装置、设备、存储介质
CN112598778B (zh) * 2020-08-28 2023-11-14 国网陕西省电力公司西咸新区供电公司 一种基于改进的纹理贴图算法的vr三维重建方法
CN112132972B (zh) * 2020-09-29 2024-03-22 凌美芯（北京）科技有限责任公司 一种激光与图像数据融合的三维重建方法及***
CN112348958A (zh) * 2020-11-18 2021-02-09 北京沃东天骏信息技术有限公司 关键帧图像的采集方法、装置、***和三维重建方法
CN112907745B (zh) * 2021-03-23 2022-04-01 北京三快在线科技有限公司 一种数字正射影像图生成方法及装置
CN113012210B (zh) * 2021-03-25 2022-09-27 北京百度网讯科技有限公司 深度图的生成方法、装置、电子设备和存储介质
CN113570666B (zh) * 2021-09-26 2021-12-21 天津云圣智能科技有限责任公司 任务分配方法、装置、服务器及计算机可读存储介质
CN115526983B (zh) * 2022-03-30 2023-06-23 荣耀终端有限公司 一种三维重建方法及相关设备
CN115205461B (zh) * 2022-07-15 2023-11-14 小米汽车科技有限公司 场景重建方法、装置、可读存储介质及车辆
CN116721143B (zh) * 2023-08-04 2023-10-20 南京诺源医疗器械有限公司 3d医学图像的深度信息处理装置及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413352A (zh) * 2013-07-29 2013-11-27 西北工业大学 基于rgbd多传感器融合的场景三维重建方法
US20150243035A1 (en) * 2014-02-21 2015-08-27 Metaio Gmbh Method and device for determining a transformation between an image coordinate system and an object coordinate system associated with an object of interest

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413352A (zh) * 2013-07-29 2013-11-27 西北工业大学 基于rgbd多传感器融合的场景三维重建方法
US20150243035A1 (en) * 2014-02-21 2015-08-27 Metaio Gmbh Method and device for determining a transformation between an image coordinate system and an object coordinate system associated with an object of interest

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于RGBD图像的三维重建关键问题研究";郭庆慧;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140815;第5，14，18，32，38，47，48页 *
"基于RTCam模型的Kinect摄像机标定以及空间拼接算法研究";胡正川;《中国优秀硕士学位论文全文数据库 信息科技辑》;20141115;第19，70页 *

Also Published As

Publication number Publication date
CN107833253A (zh) 2018-03-23

Similar Documents

Publication Publication Date Title
CN107833253B (zh) 一种面向rgbd三维重建纹理生成的相机姿态优化方法
CN110264567B (zh) 一种基于标记点的实时三维建模方法
CN106780576B (zh) 一种面向rgbd数据流的相机位姿估计方法
CN106875437B (zh) 一种面向rgbd三维重建的关键帧提取方法
CN109165680B (zh) 基于视觉slam的室内场景下单一目标物体字典模型改进方法
CN113192179B (zh) 一种基于双目立体视觉的三维重建方法
CN106940704A (zh) 一种基于栅格地图的定位方法及装置
CN109147025B (zh) 一种面向rgbd三维重建的纹理生成方法
CN107862735B (zh) 一种基于结构信息的rgbd三维场景重建方法
JPWO2019031259A1 (ja) 画像処理装置および方法
CN113362247A (zh) 一种激光融合多目相机的语义实景三维重建方法及***
CN111524233B (zh) 一种静态场景动态目标的三维重建方法
CN112651881B (zh) 图像合成方法、装置、设备、存储介质以及程序产品
CN105046649A (zh) 一种去除运动视频中运动物体的全景图拼接方法
CN112541973B (zh) 虚实叠合方法与***
CN110516639B (zh) 一种基于视频流自然场景的人物三维位置实时计算方法
CN104240229A (zh) 一种红外双目相机自适应极线校正方法
CN116977596A (zh) 一种基于多视角图像的三维建模***及方法
CN114202632A (zh) 网格线性结构恢复方法、装置、电子设备及存储介质
CN114463521B (zh) 一种面向空地影像数据融合的建筑目标点云快速生成方法
KR101125061B1 (ko) Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법
CN111080685A (zh) 一种基于多视角立体视觉的飞机钣金零件三维重建方法及***
CN115063485B (zh) 三维重建方法、装置及计算机可读存储介质
CN116740488A (zh) 一种用于视觉定位的特征提取模型的训练方法及装置
CN116704112A (zh) 一种用于对象重建的3d扫描***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant