CN106251399A - 一种基于lsd‑slam的实景三维重建方法 - Google Patents

一种基于lsd‑slam的实景三维重建方法 Download PDF

Info

Publication number
CN106251399A
CN106251399A CN201610755833.8A CN201610755833A CN106251399A CN 106251399 A CN106251399 A CN 106251399A CN 201610755833 A CN201610755833 A CN 201610755833A CN 106251399 A CN106251399 A CN 106251399A
Authority
CN
China
Prior art keywords
frame
image
dimensional
key frame
lsd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610755833.8A
Other languages
English (en)
Other versions
CN106251399B (zh
Inventor
陆子龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou City Shadow Mdt Infotech Ltd
Original Assignee
Guangzhou City Shadow Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou City Shadow Mdt Infotech Ltd filed Critical Guangzhou City Shadow Mdt Infotech Ltd
Priority to CN201610755833.8A priority Critical patent/CN106251399B/zh
Publication of CN106251399A publication Critical patent/CN106251399A/zh
Application granted granted Critical
Publication of CN106251399B publication Critical patent/CN106251399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于lsd‑slam的实景三维重建方法，包括以下步骤：S1，对待建模场景进行录像，采集覆盖建模场景的视频数据；S2，通过lsd‑slam建模技术从关键帧解算出关键帧姿态得到恢复三维信息的图像，并生成三维空间点云；S3，从恢复了三维信息的图像中按照空间位置关系选择出可以拼合成全景的图像，并生成全景图像；S4，将全景图像与三维空间点云纳入相同的空间参考系，并对三维数据进行单体化处理。获取并分析视频数据得到关键帧，分析关键帧以生成三维空间点云和全景图像，通过三维空间点云与全景图像实现三维重建，不对设备进行标定，不依赖硬件设备，同时采集全景数据和模型数据，解决目前三维重建存在的问题。

Description

一种基于lsd-slam的实景三维重建方法
技术领域
本发明涉及计算机视觉领域的三维重建方法，尤其涉及一种基于lsd-slam的实景三维重建方法。
背景技术
三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。通常的三维重建方法是先对摄像机进行标定, 即计算出摄像机的图象坐标系与世界坐标系的关系.然后利用多个二维图象中的信息重建出三维信息，基于摄影测量的三维重建方法在相片的光束法平差过程中，由于对残差进行分配，因此导致了光线的扭曲，使得三维模型的纹理出现扭曲变形，直观展示效果不如全景图像。
为保证三维重建的效果满足展示需求，目前通常使用全景图像进行三维重建，但是，全景图像的三维重建需要利用深度信息，目前深度信息的获取基本依赖于全景摄像机和RGB-D摄像机，这就直接导致了目前的全景图像三维重建硬件设备依赖性强，需要全景摄像机和RGB-D摄像机（具有测距传感器的摄像机）难以普及。其次，目前全景图像的三维重建依旧需要对全景摄像机和RGB-D摄像机进行标定，增加了工作量的同时累积了误差。并且，目前全景图像三维重建的全景数据和模型数据分开采集，效率低，基于sift算法的运算速度较慢。最后，目前全景图像的三维重建结果没有实现单体化，无法对三维实体进行对象化管理，难以满足深层次的应用需求。对此，目前全景图像的三维重建依旧存在前述种种亟待解决的问题。
发明内容
本发明提供了一种基于lsd-slam的实景三维重建方法，旨在提供一种不对设备进行标定，不依赖硬件设备，同时采集全景数据和模型数据的三维重建方法，进一步提供一种可对重建结果实现单体化的三维重建方法，解决目前全景图像的三维重建存在的问题。
本发明所述一种基于lsd-slam的实景三维重建方法，包括以下步骤：
S1，对待建模场景进行录像，采集覆盖建模场景的视频数据；
S2，通过lsd-slam建模技术从关键帧解算出关键帧姿态得到恢复三维信息的图像，并生成三维空间点云；
S3，从恢复了三维信息的图像中按照空间位置关系选择出可以拼合成全景的图像，并生成全景图像；
S4，将全景图像与三维空间点云纳入相同的空间参考系，并对三维数据进行单体化处理。
本发明所述一种基于lsd-slam的实景三维重建方法，利用单反、手机等任意能获取视频的设备对待建模场景进行连续的环形录像获取视频数据，分析视频数据获取关键帧姿态，利用关键帧姿态生成三维空间点云即得到三维模型数据，通过对关键帧序列的分析提取摄相机位置，投影关键帧图像至拟合摄影中心为中心的平面，拼合不同帧以得到全景图像，将全景图像与三维空间单元纳入相同的空间参考系即完成对全景图像的三维重建。本方法通过的关键帧的分析提取摄相机位置，无需对设备进行标定，降低工作量的同时也避免了累积误差；利用关键帧姿态生成三维空间点云无需通过硬件提供深度信息，区别于现有的基于RGB-D摄像机获得的深度信息完成全景图像的三维重建，无需利用特种设备，任意可获取视频数据的设备均可，不存在设备依赖性；通过分析关键帧生成三维空间点云（即模型数据）和全景图像，同时采集了全景数据和模型数据，效率更高，并且本发明使用surf作为sift的改进算法，运算速度有较大提升。此外，本发明所述的基于lsd-slam的实景三维重建方法还对三维数据进行单体化处理，将单体对象（如桌椅、电器、管线）从无序的三维模型中提取出来，并与相应属性数据库关联起来，以供查询管理使用，解决了目前全景图像的三维重建无法对三维实体进行对象化管理，难以满足深层次的应用需求的问题。
本发明所述一种基于lsd-slam的实景三维重建方法的实施装置，包括：
数据采集单元，对待建模场景进行录像，采集覆盖建模场景的视频数据，并将采集到的视频数据发至lsd-slam建模单元分析；
lsd-slam建模单元，分析接收到的视频数据，通过lsd-slam建模技术从关键帧解算出关键帧姿态得到恢复三维信息的图像，将恢复三维信息的图像发送至全景数据建模单元，并生成三维空间点云发送至三维场景融合单元；
全景数据建模单元，接收恢复三维信息的图像，从恢复了三维信息的图像中按照空间位置关系选择出可以拼合成全景的图像，并生成全景图像，发送全景图像三维场景融合单元；
三维场景融合单元，接收全景图像和三维空间点云，将全景图像与三维空间点云纳入相同的空间参考系，并对三维数据进行单体化处理。
本发明所述一种基于lsd-slam的实景三维重建方法的实施装置，利用数据采集单元获取待建模场景的视频数，lsd-slam建模单元分析视频数据得到关键帧并解算出关键帧姿态以生成三维空间点云（即模型数据），全景数据建模单元分析关键帧以提取摄相机位置，投影关键帧图像至拟合摄影中心为中心的平面，拼合不同帧以得到全景图像，三维场景融合单元将接收到的全景图像和三维空间点云（即三维模型数据）纳入相同的空间参考系即完成对全景图像的三维重建。本装置利用全景数据建模单元分析关键帧以提取摄相机位置，无需对设备进行标定，降低工作量的同时也避免了累积误差；通过lsd-slam建模单元解算得到关键帧姿态并生成三维空间点云（即三维模型数据），无需通过硬件获取深度信息，则无需使用可获取深度信息的RGB-D摄像机等特种设备，任意可获取视频数据的设备均可，不存在设备依赖性；lsd-slam建模单元分析关键帧生成三维空间点云（即模型数据），全景数据建模单元分析关键帧生成全景图像，利用数据采集单元同时采集了全景数据和模型数据，效率更高，并且本发明装置中使用surf作为sift的改进算法，运算速度有较大提升。此外，本发明所述的三维场景融合单元还对三维数据进行单体化处理，将单体对象（如桌椅、电器、管线）从无序的三维模型中提取出来，并与相应属性数据库关联起来，以供查询管理使用，解决了目前全景图像的三维重建无法对三维实体进行对象化管理，难以满足深层次的应用需求的问题。
附图说明
图1为一种基于lsd-slam的实景三维重建方法的工作流程图；
图2为一种基于lsd-slam的实景三维重建方法的实施装置的***框图。
具体实施方式
如图1所示，一种基于lsd-slam的实景三维重建方法，包括以下步骤：S1，对待建模场景进行录像，采集覆盖建模场景的视频数据；S2，通过lsd-slam建模技术从关键帧解算出关键帧姿态得到恢复三维信息的图像，并生成三维空间点云；S3，从恢复了三维信息的图像中按照空间位置关系选择出可以拼合成全景的图像，并生成全景图像；S4，将全景图像与三维空间点云纳入相同的空间参考系，并对三维数据进行单体化处理。获取并分析视频数据得到关键帧，分析关键帧以生成三维空间点云和全景图像，通过三维空间点云与全景图像实现三维重建，不对设备进行标定，不依赖特殊硬件设备，同时采集全景数据和模型数据的三维重建方法，进一步提供一种可对重建结果实现单体化的三维重建方法，解决目前全景图像的三维重建存在的问题。
该种基于lsd-slam的实景三维重建方法所述的步骤S2包括以下步骤：S21，把视频的第一帧作为初始关键帧***序列，采用Surf算法提取初始帧特征；S22，对视频后续帧逐帧进行检测，提取新加入帧的特征，并将新加入帧Fi与关键帧序列F的最后一帧Fn进行运动估计，获取相邻图像之间的旋转和平移向量；S23，以获取的相邻图像之间的旋转和平移向量作为关键帧序列F中最后一帧Fn与新加入帧Fi的相对运动e，将相对运动e与阈值进行比较，保留阈值内的Fi将其作为新的关键帧，加入关键帧序列，相对运动e记为新加入帧Fi与关键帧序列F中最后一帧Fn之间的运动向量Ti-1，i ，用于获取关键帧姿态即恢复图像的三维信息；S24：在获取了关键帧的准确姿态之后，进行关键帧之间的光束法平差，计算出像方同名点在物方的空间坐标，从而得到了具有空间坐标的三维空间点云。该步骤对获取的视频数据进行分析，确定关键帧并解算关键帧姿态得到恢复三维信息的图像，并生成三维空间点云，实现从视频数据中获取模型数据。
由于在运动累积的过程中，误差的累积是不可避免的。本方法中后续帧的姿态依赖着前面的姿态，想要保证建模的准确，必须要保证每次匹配都精确无误，而这是难以实现的，需要对累积的运动误差进行全局的优化处理，故而在步骤S23与步骤S24之间还存在累积误差处理的步骤。本实施例中采用姿态图优化来处理累积误差。
Xi为关键帧姿态，包含三个线元素和三个角元素，以姿态矩阵描述如下（其中R为3*3正交旋转矩阵，Xt为平移向量）：
Tij为通过帧间匹配产生的运动向量，为4*4矩阵，表示第i帧到第j帧运动。xi=Ti,jxj
G={V,E}：优化图，由边和节点组成，每一个节点代表一个关键帧。理论上有xi=Ti,jxj由于误差的存在，实际情况为：ei,j=(xi-Ti,jxj)通过对误差定义一个二范数，得到优化问题的目标函数：对其求解即可得到优化结果。
该种基于lsd-slam的实景三维重建方法所述的步骤S21包括以下步骤：S211，对初始关键帧的像素点进行高斯滤波；S212，对滤波后的像素点进行Hessian矩阵处理得到初步特征点；S213，剔除小于阈值的初步特征点，采用三维线性插值法获取亚像素级的特征点；S214，确定特征点的主方向；S215，构造surf特征点描述算子，得到初始帧特征。
步骤S21是为了初始化关键帧序列，把视频的第一帧作为出书关键帧***序列，然后采用Surf算法提取初始帧特征。Hessian矩阵是Surf算法的核心。为了保证特征点具备尺度无关性，所以在进行Hessian矩阵构造前，需要对其进行高斯滤波。经过滤波后在进行Hessian的计算，其公式如下：
其特征点变换式如下：
上式中A为常数，本实施例中选取A为一个常用的经验值0.9。
将经过hessian矩阵处理过的每个像素点与其直径为3个像素的三维空间邻域的其他26个点进行大小比较，如果它是这26个点中的极值，则保留改点作为初步的特征点。然后采用3维线性插值法得到亚像素级的特征点，同时剔除小于阈值的初步特征点。在特征点的二维邻域（尺度为s）内，统计一个60度扇形内所有点的水平haar小波特征和垂直haar小波特征总和。然后将此60度扇形以一定间隔进行旋转，最后将最大值那个扇形的方向作为该特征点的主方向。最后构造surf特征点描述算子。以特征点为中心取8×8像素的窗口。求出每个像素的梯度幅值与梯度方向，然后用高斯窗口对其进行加权运算,每个像素对应一个向量，长度为，为该像素点的高斯权值。然后在每4×4像素的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。则每一个特征点由2×2共4个种子点组成，每个种子点有8个方向向量信息。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。
该种基于lsd-slam的实景三维重建方法所述的步骤S22包括以下步骤：S221，提取新加入帧的特征，以surf提取的特征作为样本，从样本集中随机抽选一个RANSAC样本，即4个匹配点对；S222，根据这4个匹配点对计算变换矩阵M ；S223，根据样本集，变换矩阵M，和误差度量函数计算满足当前变换矩阵的一致集，并返回一致集中元素个数；S224，根据当前一致集中元素个数判断是否最优(最大)一致集，若是则更新当前最优一致集；S225，更新当前错误概率p，若p大于允许的最小错误概率则重复步骤S221至步骤S224继续迭代，直到当前错误概率p小于最小错误概率，以此估计图像的运动，获取相邻图像之间的旋转和平移向量。该步骤对视频后续帧逐帧进行检测，提取新加入帧特征，与关键帧序列的最后一帧进行运动估计。根据surf提取的特征进行匹配，并用“随机采样一致性”（Random SampleConsensus）方法估计图像的运动，获取相邻图像之间的旋转和平移向量。
该种基于lsd-slam的实景三维重建方法所述的步骤S23具体为，对于新加入的一帧Fi，计算F中最后一帧Fn与Fi的相对运动e，并根据阈值进行判断。
若e>emax，即运动太大，可能是匹配失败或是相机剧烈运动，丢弃该帧；
若e<emin，说明离前一个关键帧太近，丢弃该帧；
若emin≤e≤emax，则说明匹配结果较好，运动估算无误，同时又离上一个关键帧有一定距离，则把Fi作为新的关键帧，加入关键帧序列。
在关键帧序列中，由相邻图像之间的运动累积可以计算出任意一帧图像相对于原点的位置。对于任意一帧Fi与Fi+1，其相对运动为Ei，i+1，则有
从而把不同角度、不同坐标采集到的图像对齐到一个坐标系中。
该种基于lsd-slam的实景三维重建方法所述的步骤S3包括以下步骤：S31，对关键帧序列中的图像外方位线元素（即拍摄瞬间摄影中心坐标）进行ISODATA聚类分析；S32，对于聚类结果中落在一组的关键帧，检测其三维覆盖范围，满足全景影像拼接范围，则以最小二乘法拟合该组摄影中心,并将各关键帧图像投影到以拟合后的摄影中心为摄影中心的平面上；S33，对同一组关键帧内的图像进行Surf特征提取，根据匹配后的结果将不同帧拼合，生成全景图像。该步骤从图像中提取摄像机位置，拟合摄相机中心，将各关键帧图像投影到以拟合后的摄影中心为摄影中心的平面上，拼合不同帧以得到全景图像。为保证全景图像的过渡自然，接边处可采用羽化处理。
该种基于lsd-slam的实景三维重建方法所述的步骤S31包括以下步骤：S311，指定初始聚类参数；S312，计算各类中诸样本的距离指标函数；S313，按给定的要求，将前一次获得的聚类集进行***和合并处理，从而获得新的聚类中心；S314，重新进行迭代运算，计算各项指标，判断聚类结果是否符合要求，经过多次迭代后，若结果收敛，则运算结束。该步骤提取摄相机位置，进行方位判断，拟合摄相机中心，进行影像纠正。
该种基于lsd-slam的实景三维重建方法所述的步骤S4包括以下步骤：S41，对于每一幅全景图像，以其归一化摄影中心在空间中位置为球心，以拍摄空间半径为半径建立球体，并将全景图像映射到球体内表面，使得全景数据脱离二维平面，被纳入进三维点云所确定的空间参考系；S42，此基础之上通过模型单体对象化建模，将单体对象从无序的三维模型中提取出来，进行单体化处理。该步骤将全景数据与三维模型纳入相同的空间参考系实现全景图像的三维重建，并对三维数据进行单体化处理以满足满足深层次应用需求。
如图2所示，一种基于lsd-slam的实景三维重建方法的实施装置，包括：数据采集单元，对待建模场景进行录像，采集覆盖建模场景的视频数据，并将采集到的视频数据发至lsd-slam建模单元分析；lsd-slam建模单元，分析接收到的视频数据，通过lsd-slam建模技术从关键帧解算出关键帧姿态得到恢复三维信息的图像，将恢复三维信息的图像发送至全景数据建模单元，并生成三维空间点云发送至三维场景融合单元；全景数据建模单元，接收恢复三维信息的图像，从恢复了三维信息的图像中按照空间位置关系选择出可以拼合成全景的图像，并生成全景图像，发送全景图像三维场景融合单元；三维场景融合单元，接收全景图像和三维空间点云，将全景图像与三维空间点云纳入相同的空间参考系，并对三维数据进行单体化处理。通过数据采集单元获取待建模场景的视频数，利用lsd-slam建模单元生成三维空间点云（即三维模型数据），全景数据建模单元生成全景图像，三维场景融合单元将接收到的全景图像和三维空间点云（即模型数据）纳入相同的空间参考系即完成对全景图像的三维重建，不对设备进行标定，不依赖硬件设备，同时采集全景数据和模型数据的三维重建方法，进一步提供一种可对重建结果实现单体化的三维重建方法，解决目前全景图像的三维重建存在的问题。
该种基于lsd-slam的实景三维重建方法的实施装置所述的lsd-slam建模单元包括，初始化关键帧序列模块，把视频的第一帧作为初始关键帧***序列，采用Surf算法提取初始帧特征；运动计算模块，对视频后续帧逐帧进行检测，提取新加入帧的特征，并将新加入帧Fi与关键帧序列F的最后一帧Fn进行运动估计，获取相邻图像之间的旋转和平移向量并发送至关键帧对齐模块；关键帧对齐模块，接收相邻图像之间的旋转和平移向量将其作为关键帧序列F中最后一帧Fn与新加入帧Fi的相对运动e，将相对运动e与阈值进行比较，保留阈值内的Fi将其作为新的关键帧，加入关键帧序列，相对运动e记为新加入帧Fi与关键帧序列F中最后一帧Fn之间的运动向量Ti-1，i ，用于获取关键帧姿态即恢复图像的三维信息，将关键帧姿态发送至点云生成模块；点云生成模块，接收关键帧姿态，对关键帧进行光束法平差，计算出像方同名点在物方的空间坐标，得到具有空间坐标的三维空间点云。该单元对获取的视频数据进行分析，确定关键帧并解算关键帧姿态得到恢复三维信息的图像，并生成三维空间点云，实现从视频数据中获取模型数据。
该种基于lsd-slam的实景三维重建方法的实施装置所述的全景数据建模单元包括，全景影像检测模块，对关键帧序列中的图像外方位线元素（即拍摄瞬间摄影中心坐标）进行ISODATA聚类分析，将聚类结果发送至摄影中心拟合模块；摄影中心拟合模块，接收并分析聚类结果，对于聚类结果中落在一组的关键帧，检测其三维覆盖范围，满足全景影像拼接范围，则以最小二乘法拟合该组摄影中心,并将各关键帧图像投影到以拟合后的摄影中心为摄影中心的平面上；图像镶嵌模块，对同一组关键帧内的图像进行Surf特征提取，根据匹配后的结果将不同帧拼合，生成全景图像。该单元从图像中提取摄像机位置，拟合摄相机中心，将各关键帧图像投影到以拟合后的摄影中心为摄影中心的平面上，拼合不同帧以得到全景图像。为保证全景图像的过渡自然，接边处可采用羽化处理。

Claims (10)

1.一种基于lsd-slam的实景三维重建方法，其特征在于，包括以下步骤：
S1，对待建模场景进行录像，采集覆盖建模场景的视频数据；
S2，通过lsd-slam建模技术从关键帧解算出关键帧姿态得到恢复三维信息的图像，并生成三维空间点云；
S3，从恢复了三维信息的图像中按照空间位置关系选择出可以拼合成全景的图像，并生成全景图像；
S4，将全景图像与三维空间点云纳入相同的空间参考系，并对三维数据进行单体化处理。
2.根据权利要求1所述的一种基于lsd-slam的实景三维重建方法，其特征在于，所述步骤S2包括以下步骤：
S21，把视频的第一帧作为初始关键帧***序列，采用Surf算法提取初始帧特征；
S22，对视频后续帧逐帧进行检测，提取新加入帧的特征，并将新加入帧Fi与关键帧序列F的最后一帧Fn进行运动估计，获取相邻图像之间的旋转和平移向量；
S23，以获取的相邻图像之间的旋转和平移向量作为关键帧序列F中最后一帧Fn与新加入帧Fi的相对运动e，将相对运动e与阈值进行比较，保留阈值内的Fi将其作为新的关键帧，加入关键帧序列，相对运动e记为新加入帧Fi与关键帧序列F中最后一帧Fn之间的运动向量Ti-1，i ，用于获取关键帧姿态即恢复图像的三维信息；
S24：在获取了关键帧的准确姿态之后，进行关键帧之间的光束法平差，计算出像方同名点在物方的空间坐标，从而得到了具有空间坐标的三维空间点云。
3.根据权利要求2所述的一种基于lsd-slam的实景三维重建方法，其特征在于，所述步骤S21包括以下步骤：
S211，对初始关键帧的像素点进行高斯滤波；
S212，对滤波后的像素点进行Hessian矩阵处理得到初步特征点；
S213，剔除小于阈值的初步特征点，采用三维线性插值法获取亚像素级的特征点；
S214，确定特征点的主方向；
S215，构造surf特征点描述算子，得到初始帧特征。
4.根据权利要求2所述的一种基于lsd-slam的实景三维重建方法，其特征在于，所述步骤S22包括以下步骤：
S221，提取新加入帧的特征，以surf提取的特征作为样本，从样本集中随机抽选一个RANSAC样本，即4个匹配点对；
S222，根据这4个匹配点对计算变换矩阵M ；
S223，根据样本集，变换矩阵M，和误差度量函数计算满足当前变换矩阵的一致集，并返回一致集中元素个数；
S224，根据当前一致集中元素个数判断是否最优(最大)一致集，若是则更新当前最优一致集；
S225，更新当前错误概率p，若p大于允许的最小错误概率则重复(1)至(4)继续迭代，直到当前错误概率p小于最小错误概率，以此估计图像的运动，获取相邻图像之间的旋转和平移向量。
5.根据权利要求1所述的一种基于lsd-slam的实景三维重建方法，其特征在于，所述步骤S3包括以下步骤：
S31，对关键帧序列中的图像外方位线元素（即拍摄瞬间摄影中心坐标）进行ISODATA聚类分析；
S32，对于聚类结果中落在一组的关键帧，检测其三维覆盖范围，满足全景影像拼接范围，则以最小二乘法拟合该组摄影中心,并将各关键帧图像投影到以拟合后的摄影中心为摄影中心的平面上；
S33，对同一组关键帧内的图像进行Surf特征提取，根据匹配后的结果将不同帧拼合，生成全景图像。
6.根据权利要求6所述的一种基于lsd-slam的实景三维重建方法，其特征在于，所述步骤S31包括以下步骤：
S311，设定初始聚类参数；
S312，计算各类中诸样本的距离指标函数；
S313，按给定的要求，将前一次获得的聚类集进行***和合并处理，从而获得新的聚类中心；
S314，重新进行迭代运算，计算各项指标，判断聚类结果是否符合要求，经过多次迭代后，若结果收敛，则运算结束。
7.根据权利要求1所述的一种基于lsd-slam的实景三维重建方法，其特征在于，所述步骤S4包括以下步骤：
S41，对于每一幅全景图像，以其归一化摄影中心在空间中位置为球心，以拍摄空间半径为半径建立球体，并将全景图像映射到球体内表面，使得全景数据脱离二维平面，被纳入进三维点云所确定的空间参考系；
S42，此基础之上通过模型单体对象化建模，将单体对象从无序的三维模型中提取出来，进行单体化处理。
8.用于实现权利要求1-7所述任意一种基于lsd-slam的实景三维重建方法的实施装置，其特征在于，包括：
数据采集单元，对待建模场景进行录像，采集覆盖建模场景的视频数据，并将采集到的视频数据发至lsd-slam建模单元分析；
lsd-slam建模单元，分析接收到的视频数据，通过lsd-slam建模技术从关键帧解算出关键帧姿态得到恢复三维信息的图像，将恢复三维信息的图像发送至全景数据建模单元，并生成三维空间点云发送至三维场景融合单元；
全景数据建模单元，接收恢复三维信息的图像，从恢复了三维信息的图像中按照空间位置关系选择出可以拼合成全景的图像，并生成全景图像，发送全景图像三维场景融合单元；
三维场景融合单元，接收全景图像和三维空间点云，将全景图像与三维空间点云纳入相同的空间参考系，并对三维数据进行单体化处理。
9.根据权利要求8所述的一种基于lsd-slam的实景三维重建方法的实施装置，其特征在于，所述lsd-slam建模单元包括，
初始化关键帧序列模块，把视频的第一帧作为初始关键帧***序列，采用Surf算法提取初始帧特征；
运动计算模块，对视频后续帧逐帧进行检测，提取新加入帧的特征，并将新加入帧Fi与关键帧序列F的最后一帧Fn进行运动估计，获取相邻图像之间的旋转和平移向量并发送至关键帧对齐模块；
关键帧对齐模块，接收相邻图像之间的旋转和平移向量将其作为关键帧序列F中最后一帧Fn与新加入帧Fi的相对运动e，将相对运动e与阈值进行比较，保留阈值内的Fi将其作为新的关键帧，加入关键帧序列，相对运动e记为新加入帧Fi与关键帧序列F中最后一帧Fn之间的运动向量Ti-1，i ，用于获取关键帧姿态即恢复图像的三维信息，将关键帧姿态发送至点云生成模块；
点云生成模块，接收关键帧姿态，对关键帧进行光束法平差，计算出像方同名点在物方的空间坐标，得到具有空间坐标的三维空间点云。
10.根据权利要求8所述的一种基于lsd-slam的实景三维重建方法的实施装置，其特征在于，所述全景数据建模单元包括，
全景影像检测模块，对关键帧序列中的图像外方位线元素（即拍摄瞬间摄影中心坐标）进行ISODATA聚类分析，将聚类结果发送至摄影中心拟合模块；
摄影中心拟合模块，接收并分析聚类结果，对于聚类结果中落在一组的关键帧，检测其三维覆盖范围，满足全景影像拼接范围，则以最小二乘法拟合该组摄影中心,并将各关键帧图像投影到以拟合后的摄影中心为摄影中心的平面上；
图像镶嵌模块，对同一组关键帧内的图像进行Surf特征提取，根据匹配后的结果将不同帧拼合，生成全景图像。
CN201610755833.8A 2016-08-30 2016-08-30 一种基于lsd-slam的实景三维重建方法及实施装置 Active CN106251399B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610755833.8A CN106251399B (zh) 2016-08-30 2016-08-30 一种基于lsd-slam的实景三维重建方法及实施装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610755833.8A CN106251399B (zh) 2016-08-30 2016-08-30 一种基于lsd-slam的实景三维重建方法及实施装置

Publications (2)

Publication Number Publication Date
CN106251399A true CN106251399A (zh) 2016-12-21
CN106251399B CN106251399B (zh) 2019-04-16

Family

ID=57597239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610755833.8A Active CN106251399B (zh) 2016-08-30 2016-08-30 一种基于lsd-slam的实景三维重建方法及实施装置

Country Status (1)

Country Link
CN (1) CN106251399B (zh)

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875437A (zh) * 2016-12-27 2017-06-20 北京航空航天大学 一种面向rgbd三维重建的关键帧提取方法
CN106954012A (zh) * 2017-03-29 2017-07-14 武汉嫦娥医学抗衰机器人股份有限公司 一种高清多相机全景立体成像***及方法
CN107358624A (zh) * 2017-06-06 2017-11-17 武汉几古几古科技有限公司 单目稠密即时定位与地图重建方法
CN107451540A (zh) * 2017-07-14 2017-12-08 南京维睛视空信息科技有限公司 一种可压缩的3d识别方法
CN107862720A (zh) * 2017-11-24 2018-03-30 北京华捷艾米科技有限公司 基于多地图融合的位姿优化方法及位姿优化***
CN108052914A (zh) * 2017-12-21 2018-05-18 中国科学院遥感与数字地球研究所 一种基于slam和图像识别的森林林木资源调查方法
WO2018129715A1 (zh) * 2017-01-13 2018-07-19 浙江大学 一种同时定位与稠密三维重建方法
CN108566545A (zh) * 2018-03-05 2018-09-21 中德（珠海）人工智能研究院有限公司 通过移动终端和球幕相机对大场景进行三维建模的方法
CN108564617A (zh) * 2018-03-22 2018-09-21 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、装置、vr相机和全景相机
CN108776989A (zh) * 2018-06-08 2018-11-09 北京航空航天大学 基于稀疏slam框架的低纹理平面场景重建方法
CN108830925A (zh) * 2018-05-08 2018-11-16 中德（珠海）人工智能研究院有限公司 一种基于球幕视频流的三维数字化建模方法
CN109389677A (zh) * 2017-08-02 2019-02-26 珊口（上海）智能科技有限公司 房屋三维实景地图的实时构建方法、***、装置及存储介质
CN109461180A (zh) * 2018-09-25 2019-03-12 北京理工大学 一种基于深度学习的三维场景重建方法
CN109785278A (zh) * 2018-12-21 2019-05-21 北京大学深圳研究生院 一种三维足型图像处理方法、装置、电子设备和存储介质
CN110148205A (zh) * 2018-02-11 2019-08-20 北京四维图新科技股份有限公司 一种基于众包影像的三维重建的方法和装置
CN110189399A (zh) * 2019-04-26 2019-08-30 浙江大学 一种室内三维布局重建的方法及***
CN110349253A (zh) * 2019-07-01 2019-10-18 深圳前海达闼云端智能科技有限公司 一种场景的三维重建方法、终端和可读存储介质
CN110648398A (zh) * 2019-08-07 2020-01-03 武汉九州位讯科技有限公司 基于无人机航摄数据的正射影像实时生成方法及***
CN110706357A (zh) * 2019-10-10 2020-01-17 青岛大学附属医院 导航***
WO2020014941A1 (zh) * 2018-07-20 2020-01-23 深圳前海达闼云端智能科技有限公司 一种建立地图的方法、定位方法、装置、终端及存储介质
CN110969574A (zh) * 2018-09-29 2020-04-07 广州汽车集团股份有限公司 一种车载全景地图创建方法及装置
CN111310853A (zh) * 2020-03-06 2020-06-19 埃洛克航空科技（北京）有限公司 一种基于神经网络与高程融合的单体化识别算法
CN111462326A (zh) * 2020-03-31 2020-07-28 武汉大学 低成本360度全景视频相机城市管道三维重建方法及***
CN111462213A (zh) * 2020-03-16 2020-07-28 天目爱视（北京）科技有限公司 一种在运动过程中获取物体3d坐标及尺寸的设备及方法
CN111724481A (zh) * 2020-06-24 2020-09-29 嘉应学院 对二维图像进行三维重构的方法、装置、设备及存储介质
CN111739158A (zh) * 2020-06-29 2020-10-02 成都信息工程大学 一种基于纠删码的三维场景图像恢复方法
CN111986086A (zh) * 2020-08-27 2020-11-24 贝壳技术有限公司 三维图像优化生成方法及***
CN112200854A (zh) * 2020-09-25 2021-01-08 华南农业大学 一种基于视频图像的叶类蔬菜三维表型测量方法
CN112258391A (zh) * 2020-10-12 2021-01-22 武汉中海庭数据技术有限公司 一种基于道路交通标线的碎片化地图拼接方法
CN112365406A (zh) * 2021-01-13 2021-02-12 芯视界（北京）科技有限公司 图像处理方法、装置以及可读存储介质
CN112488022A (zh) * 2020-12-11 2021-03-12 武汉理工大学 一种环视全景监控方法、装置及***
CN112598780A (zh) * 2020-12-04 2021-04-02 Oppo广东移动通信有限公司 实例对象模型构建方法及装置、可读介质和电子设备
CN113124883A (zh) * 2021-03-01 2021-07-16 浙江国自机器人技术股份有限公司 基于3d全景相机的离线标点方法
CN113345084A (zh) * 2021-06-29 2021-09-03 吉林省交通规划设计院 三维建模***及三维建模方法
CN114449247A (zh) * 2022-04-11 2022-05-06 深圳市其域创新科技有限公司 一种多路视频3d叠加方法及其***
CN115103174A (zh) * 2022-05-27 2022-09-23 南昌威爱信息科技有限公司 用于递送体积视频内容的方法和装置
CN115631314A (zh) * 2022-12-19 2023-01-20 中汽研（天津）汽车工程研究院有限公司 一种基于多特征和自适应关键帧的点云地图构建方法
WO2023098737A1 (zh) * 2021-11-30 2023-06-08 中兴通讯股份有限公司 三维重建方法、电子设备和计算机可读存储介质
WO2023134546A1 (zh) * 2022-01-12 2023-07-20 如你所视(北京)科技有限公司 场景空间模型的构建方法、装置以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700069A (zh) * 2013-12-11 2014-04-02 武汉工程大学 一种基于orb算子的无参考视频平滑度的评价方法
US20150125045A1 (en) * 2013-11-04 2015-05-07 Steffen Gauglitz Environment Mapping with Automatic Motion Model Selection
WO2016009811A1 (en) * 2014-07-14 2016-01-21 Mitsubishi Electric Corporation Method for calibrating one or more cameras
CN105374011A (zh) * 2015-12-09 2016-03-02 中电科信息产业有限公司 基于全景图像的点云数据拼接方法及装置
CN105783913A (zh) * 2016-03-08 2016-07-20 中山大学 一种融合车载多传感器的slam装置及其控制方法
CN105809681A (zh) * 2016-03-04 2016-07-27 清华大学 基于单相机的人体rgb-d数据恢复与三维重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150125045A1 (en) * 2013-11-04 2015-05-07 Steffen Gauglitz Environment Mapping with Automatic Motion Model Selection
CN103700069A (zh) * 2013-12-11 2014-04-02 武汉工程大学 一种基于orb算子的无参考视频平滑度的评价方法
WO2016009811A1 (en) * 2014-07-14 2016-01-21 Mitsubishi Electric Corporation Method for calibrating one or more cameras
CN105374011A (zh) * 2015-12-09 2016-03-02 中电科信息产业有限公司 基于全景图像的点云数据拼接方法及装置
CN105809681A (zh) * 2016-03-04 2016-07-27 清华大学 基于单相机的人体rgb-d数据恢复与三维重建方法
CN105783913A (zh) * 2016-03-08 2016-07-20 中山大学 一种融合车载多传感器的slam装置及其控制方法

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875437A (zh) * 2016-12-27 2017-06-20 北京航空航天大学 一种面向rgbd三维重建的关键帧提取方法
WO2018129715A1 (zh) * 2017-01-13 2018-07-19 浙江大学 一种同时定位与稠密三维重建方法
US11210805B2 (en) 2017-01-13 2021-12-28 Zhejiang University Simultaneous localization and dense three-dimensional reconstruction method
CN106954012A (zh) * 2017-03-29 2017-07-14 武汉嫦娥医学抗衰机器人股份有限公司 一种高清多相机全景立体成像***及方法
CN107358624B (zh) * 2017-06-06 2020-01-07 武汉几古几古科技有限公司 单目稠密即时定位与地图重建方法
CN107358624A (zh) * 2017-06-06 2017-11-17 武汉几古几古科技有限公司 单目稠密即时定位与地图重建方法
CN107451540A (zh) * 2017-07-14 2017-12-08 南京维睛视空信息科技有限公司 一种可压缩的3d识别方法
CN107451540B (zh) * 2017-07-14 2023-09-01 南京维睛视空信息科技有限公司 一种可压缩的3d识别方法
CN109389677A (zh) * 2017-08-02 2019-02-26 珊口（上海）智能科技有限公司 房屋三维实景地图的实时构建方法、***、装置及存储介质
CN107862720A (zh) * 2017-11-24 2018-03-30 北京华捷艾米科技有限公司 基于多地图融合的位姿优化方法及位姿优化***
CN107862720B (zh) * 2017-11-24 2020-05-22 北京华捷艾米科技有限公司 基于多地图融合的位姿优化方法及位姿优化***
CN108052914A (zh) * 2017-12-21 2018-05-18 中国科学院遥感与数字地球研究所 一种基于slam和图像识别的森林林木资源调查方法
CN110148205A (zh) * 2018-02-11 2019-08-20 北京四维图新科技股份有限公司 一种基于众包影像的三维重建的方法和装置
CN108566545A (zh) * 2018-03-05 2018-09-21 中德（珠海）人工智能研究院有限公司 通过移动终端和球幕相机对大场景进行三维建模的方法
CN112767542A (zh) * 2018-03-22 2021-05-07 影石创新科技股份有限公司 一种多目相机的三维重建方法、vr相机和全景相机
CN108564617B (zh) * 2018-03-22 2021-01-29 影石创新科技股份有限公司 多目相机的三维重建方法、装置、vr相机和全景相机
CN108564617A (zh) * 2018-03-22 2018-09-21 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、装置、vr相机和全景相机
CN108830925A (zh) * 2018-05-08 2018-11-16 中德（珠海）人工智能研究院有限公司 一种基于球幕视频流的三维数字化建模方法
CN108776989A (zh) * 2018-06-08 2018-11-09 北京航空航天大学 基于稀疏slam框架的低纹理平面场景重建方法
CN108776989B (zh) * 2018-06-08 2022-06-24 北京航空航天大学 基于稀疏slam框架的低纹理平面场景重建方法
WO2020014941A1 (zh) * 2018-07-20 2020-01-23 深圳前海达闼云端智能科技有限公司 一种建立地图的方法、定位方法、装置、终端及存储介质
CN109461180B (zh) * 2018-09-25 2022-08-30 北京理工大学 一种基于深度学习的三维场景重建方法
CN109461180A (zh) * 2018-09-25 2019-03-12 北京理工大学 一种基于深度学习的三维场景重建方法
CN110969574A (zh) * 2018-09-29 2020-04-07 广州汽车集团股份有限公司 一种车载全景地图创建方法及装置
CN109785278A (zh) * 2018-12-21 2019-05-21 北京大学深圳研究生院 一种三维足型图像处理方法、装置、电子设备和存储介质
CN109785278B (zh) * 2018-12-21 2024-05-31 北京大学深圳研究生院 一种三维足型图像处理方法、装置、电子设备和存储介质
CN110189399A (zh) * 2019-04-26 2019-08-30 浙江大学 一种室内三维布局重建的方法及***
CN110349253A (zh) * 2019-07-01 2019-10-18 深圳前海达闼云端智能科技有限公司 一种场景的三维重建方法、终端和可读存储介质
CN110349253B (zh) * 2019-07-01 2023-12-01 达闼机器人股份有限公司 一种场景的三维重建方法、终端和可读存储介质
CN110648398A (zh) * 2019-08-07 2020-01-03 武汉九州位讯科技有限公司 基于无人机航摄数据的正射影像实时生成方法及***
CN110706357B (zh) * 2019-10-10 2023-02-24 青岛大学附属医院 导航***
CN110706357A (zh) * 2019-10-10 2020-01-17 青岛大学附属医院 导航***
CN111310853B (zh) * 2020-03-06 2022-08-02 埃洛克航空科技（北京）有限公司 一种基于神经网络与高程融合的单体化识别算法
CN111310853A (zh) * 2020-03-06 2020-06-19 埃洛克航空科技（北京）有限公司 一种基于神经网络与高程融合的单体化识别算法
CN111462213A (zh) * 2020-03-16 2020-07-28 天目爱视（北京）科技有限公司 一种在运动过程中获取物体3d坐标及尺寸的设备及方法
CN111462213B (zh) * 2020-03-16 2021-07-13 天目爱视（北京）科技有限公司 一种在运动过程中获取物体3d坐标及尺寸的设备及方法
CN111462326A (zh) * 2020-03-31 2020-07-28 武汉大学 低成本360度全景视频相机城市管道三维重建方法及***
CN111724481A (zh) * 2020-06-24 2020-09-29 嘉应学院 对二维图像进行三维重构的方法、装置、设备及存储介质
CN111739158B (zh) * 2020-06-29 2023-04-25 成都信息工程大学 一种三维场景图像恢复方法
CN111739158A (zh) * 2020-06-29 2020-10-02 成都信息工程大学 一种基于纠删码的三维场景图像恢复方法
CN111986086A (zh) * 2020-08-27 2020-11-24 贝壳技术有限公司 三维图像优化生成方法及***
CN112200854B (zh) * 2020-09-25 2023-10-17 华南农业大学 一种基于视频图像的叶类蔬菜三维表型测量方法
CN112200854A (zh) * 2020-09-25 2021-01-08 华南农业大学 一种基于视频图像的叶类蔬菜三维表型测量方法
CN112258391A (zh) * 2020-10-12 2021-01-22 武汉中海庭数据技术有限公司 一种基于道路交通标线的碎片化地图拼接方法
CN112598780B (zh) * 2020-12-04 2024-04-05 Oppo广东移动通信有限公司 实例对象模型构建方法及装置、可读介质和电子设备
CN112598780A (zh) * 2020-12-04 2021-04-02 Oppo广东移动通信有限公司 实例对象模型构建方法及装置、可读介质和电子设备
CN112488022A (zh) * 2020-12-11 2021-03-12 武汉理工大学 一种环视全景监控方法、装置及***
CN112488022B (zh) * 2020-12-11 2024-05-10 武汉理工大学 一种环视全景监控方法、装置及***
CN112365406A (zh) * 2021-01-13 2021-02-12 芯视界（北京）科技有限公司 图像处理方法、装置以及可读存储介质
CN113124883A (zh) * 2021-03-01 2021-07-16 浙江国自机器人技术股份有限公司 基于3d全景相机的离线标点方法
CN113345084A (zh) * 2021-06-29 2021-09-03 吉林省交通规划设计院 三维建模***及三维建模方法
WO2023098737A1 (zh) * 2021-11-30 2023-06-08 中兴通讯股份有限公司 三维重建方法、电子设备和计算机可读存储介质
WO2023134546A1 (zh) * 2022-01-12 2023-07-20 如你所视(北京)科技有限公司 场景空间模型的构建方法、装置以及存储介质
CN114449247A (zh) * 2022-04-11 2022-05-06 深圳市其域创新科技有限公司 一种多路视频3d叠加方法及其***
CN115103174A (zh) * 2022-05-27 2022-09-23 南昌威爱信息科技有限公司 用于递送体积视频内容的方法和装置
CN115631314A (zh) * 2022-12-19 2023-01-20 中汽研（天津）汽车工程研究院有限公司 一种基于多特征和自适应关键帧的点云地图构建方法
CN115631314B (zh) * 2022-12-19 2023-06-09 中汽研（天津）汽车工程研究院有限公司 一种基于多特征和自适应关键帧的点云地图构建方法

Also Published As

Publication number Publication date
CN106251399B (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN106251399A (zh) 一种基于lsd‑slam的实景三维重建方法
CN102697508B (zh) 采用单目视觉的三维重建来进行步态识别的方法
CN112634341B (zh) 多视觉任务协同的深度估计模型的构建方法
CN109934848B (zh) 一种基于深度学习的运动物体精准定位的方法
CN111881887A (zh) 基于多摄像头的运动姿态监测和指导方法及装置
CN110555412B (zh) 基于rgb和点云相结合的端到端人体姿态识别方法
CN109544456A (zh) 基于二维图像和三维点云数据融合的全景环境感知方法
CN104036488B (zh) 一种基于双目视觉的人体姿态动作研究方法
CN110544301A (zh) 一种三维人体动作重建***、方法和动作训练***
CN104021538B (zh) 物体定位方法和装置
CN108280858B (zh) 多视图重建中的一种线性全局相机运动参数估计方法
CN106462943A (zh) 将全景成像与航拍成像对齐
CN110598590A (zh) 基于多视角相机的紧密交互人体姿态估计方法及装置
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、***和存储介质
CN113762009B (zh) 一种基于多尺度特征融合及双注意力机制的人群计数方法
CN114119739A (zh) 一种基于双目视觉的手部关键点空间坐标获取方法
CN114049434A (zh) 一种基于全卷积神经网络的3d建模方法及***
Ubina et al. Intelligent underwater stereo camera design for fish metric estimation using reliable object matching
CN111127556B (zh) 基于3d视觉的目标物体识别和位姿估算方法以及装置
CN114627491A (zh) 一种基于极线汇聚的单人三维姿态估计方法
CN111582036A (zh) 可穿戴设备下基于形状和姿态的跨视角人物识别方法
CN112102504A (zh) 一种基于混合现实的三维场景和二维图像混合方法
CN112365589A (zh) 一种虚拟三维场景展示方法、装置及***
CN114548224A (zh) 一种用于强交互人体运动的2d人***姿生成方法及装置
CN113610969B (zh) 一种三维人体模型生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 510800 No.929, Yueyang First Street, Guangzhou High-tech Industrial Development Zone, Guangdong Province

Applicant after: Guangzhou City shadow Mdt InfoTech Ltd

Address before: Room 3A16, 5 Hao 3 storeys, Baohua Road, Xinhua Street, Huadu District, Guangzhou City, Guangdong Province

Applicant before: Guangzhou City shadow Mdt InfoTech Ltd

GR01 Patent grant
GR01 Patent grant