CN107862735B - 一种基于结构信息的rgbd三维场景重建方法 - Google Patents

一种基于结构信息的rgbd三维场景重建方法 Download PDF

Info

Publication number
CN107862735B
CN107862735B CN201710865372.4A CN201710865372A CN107862735B CN 107862735 B CN107862735 B CN 107862735B CN 201710865372 A CN201710865372 A CN 201710865372A CN 107862735 B CN107862735 B CN 107862735B
Authority
CN
China
Prior art keywords
plane
frame
point
points
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710865372.4A
Other languages
English (en)
Other versions
CN107862735A (zh
Inventor
齐越
王晨
衡亦舒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics
Beihang University
Original Assignee
Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics, Beihang University filed Critical Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics
Priority to CN201710865372.4A priority Critical patent/CN107862735B/zh
Publication of CN107862735A publication Critical patent/CN107862735A/zh
Application granted granted Critical
Publication of CN107862735B publication Critical patent/CN107862735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于三维图像处理技术领域，具体涉及一种基于结构信息的RGBD三维场景重建方法，包括S1.检测第i帧中的场景信息，并将场景信息在第i帧所对应的模型数据中标记；S2.估计第i+1帧所对应的相机姿态，计算时加入第i帧所对应的模型数据中标记的场景信息；S3.根据第i+1帧所对应的相机姿态，将第i+1帧融入到第i帧所对应的模型数据中，得到第i+1帧所对应的模型数据；S4.检测第i+1帧所对应的模型数据的投影图中的场景信息，并将场景信息反投影到第i+1帧所对应的模型数据中；S5.对于i的每一个取值，i＝1,2,3···,N‑1，其中N为总的帧数，重复步骤S1‑S4，完成三维重建工作。该方法能够实时的检测出场景中所存在的几何结构信息，在相机姿态估计过程中，能够最小化配准误差的相机姿态估计，进而更好的完成实时的三维重建技术。

Description

一种基于结构信息的RGBD三维场景重建方法
技术领域
本发明属于三维图像处理技术领域，具体涉及一种基于结构信息的RGBD三维场景重建方法。
背景技术
实时的三维重建技术一直是建模领域的一个研究热点，伴随着深度传感器的普及和发展，为实时的三维重建技术提供十分有利的先决条件，极大提高了该领域的可行性和精度。在实时的建模过程中，相机的位姿估计是一个核心问题，相机姿态估计的稳定和可靠程度是决定最终建模结果的关键之所在。常用的姿态估计算法是ICP算法，但由于实际扫描过程中获取深度的不精确性，ICP算法在不断的运算过程中会存在不同程度的误差累计，最终可能会导致姿态估计的失败。目前采用的一些较为普遍的解决方法是将几何图像信息和彩色图像信息相结合，包括基于彩色图像特征的预配准、基于颜色信息加权的点对配准，以及将一些边缘结构信息作为加权的标准等。上述这些方法都是基于采集图像的原始数据，在像素或者点云级别直接进行计算，并没有考虑场景中结构的先验知识。
发明内容
本发明的目的在于提供一种基于结构信息的RGBD三维场景重建方法，该方法能够实时的检测出场景中所存在的几何结构信息，在相机姿态估计过程中，能够最小化配准误差的相机姿态估计，进而更好的完成实时的三维重建技术。
为了实现上述目的，本发明采用如下技术方案：一种基于结构信息的RGBD三维场景重建方法，
S1.检测第i帧中的场景信息，并将场景信息在第i帧所对应的模型数据中标记；
S2.估计第i+1帧所对应的相机姿态，计算时加入第i帧所对应的模型数据中标记的场景信息；
S3.根据第i+1帧所对应的相机姿态，将第i+1帧融入到第i帧所对应的模型数据中，得到第i+1帧所对应的模型数据；
S4.检测第i+1帧所对应的模型数据的投影图中的场景信息，并将场景信息反投影到第i+1 帧所对应的模型数据中；
S5.对于i的每一个取值，i＝1,2,3···,N-1，其中N为总的帧数，重复步骤S1-S4，完成三维重建工作。
进一步地，所述场景信息为平面结构信息。
进一步地，所述步骤S1的具体步骤为：
S11.对第i帧进行预处理，得到第i帧在世界坐标系下的每个点的坐标和法向量；
S12.检测第i帧中的平面结构信息，并将平面结构信息在第i帧所对应的模型数据中标记。
根据权利要求3所述的基于结构信息的RGBD三维场景重建方法，其特征在于，所述步骤 S12的中检测平面结构信息的具体步骤为：
S121.选取第i帧在世界坐标系下三维点云中的平面点；
S122.设定初始备选平面；
S123.聚类初始平面区域；
S124.得到三维点云中的平面，重新计算其平面方程；
S125.合并平面。
进一步地，所述步骤S121的具体步骤为：
(1)计算三维点云中每个点的曲率值，
Figure BDA0001415979040000021
其中，k(u,v)代表像素坐标为u,v的点的曲率值，n0为待求位置的右侧邻域点和上方邻域点组成的三角形的法向量，
Figure BDA0001415979040000022
n1,n2,n3为其他三个方向三角形对应的法向量；
(2)根据曲率值将三维点云中的点划分为平面区域点和非平面区域点；设定阈值，对于三维点云中的每一个点，如果该点的曲率值大于阈值时，则认为该点为非平面区域点，不再列入后续的计算过程。
进一步地，所述步骤S122的具体步骤为：
(1)将平面区域点进行分；
(2)计算每个区域所对应的平面方程，
C＝Am*4 TAm*4
其中m为区域块中所有点的总个数，A为所有点组成的矩阵；求解矩阵C的特征值和特征向量，最小的特征值所对应的特征向量作为该区域所对应的平面区域的方程参数，将其归一化记做P＝{p1,p2,...,pi,...pn}，作为初始备选平面。
进一步地，所述步骤S123的具体步骤为：
(1)计算所有平面区域点与初始备选平面的几何关系，即对每一个平面区域点，计算点到初始备选平面的距离，以及点的法向量与初始备选平面的法向量之间的夹角；
(2)设定阈值，对于一个平面区域点，如果其到初始备选平面的距离以及其法向量与初始备选平面的法向量之间的夹角均小于阈值，则认为该点属于对应初始平面区域的点；
(3)求解最小度量值对应的方程参数作为该平面点所在的平面，进而聚类出初始平面区域。
进一步地，所述步骤S124的具体步骤为：计算通过聚类得到的初始平面区域的面积，设定阈值，对于每一个由聚类得到的初始平面区域，如果其面积大于阈值，则认为该平面是三维点云中的平面，否则则去除。
进一步地，所述步骤S125的具体步骤为：
(1)选取任意两个平面，计算两个平面法向量之间的夹角，以及其中一个平面内的所有点到另一个平面的距离的平均值，设定阈值，如果两个值均小于阈值，则将两个平面合并；
(2)对所有保留的初始平面区域，分别计算对应平面方程之间的相似度，当相似度十分接近时，合并两区域。
进一步地，所述步骤S4的具体步骤为：
S41.将第i+1帧所对应的模型数据进行投影，获得第i+1帧所对应的模型投影图；
S42.对于第i+1帧所对应的模型投影图中未标记的点，确定其是否属于已知平面；
S43.对于第i+1帧所对应的模型投影图中未标记的，且不属于已知平面的点，确定是否产生新的平面；
S44.将步骤S42中确定的属于已知平面的点和步骤S42中产生的新的平面进行标记，并反投影到第i+1帧所对应的模型数据中。
本发明中深入分析了三维重建中对RGBD关键帧的需求，与现有的一般针对三维重建的关键帧提取技术相比的优点在于：
(1)考虑实时性的要求，在计算平面结构的过程中，采用分块的策略，将平面标记的工作并行化处理，能够极大地提高运算效率。
(2)考虑场景的结构信息作为十分有利的先验知识，加入到ICP点云配准的过程中，在寻找配对点云和能量优化两个过程中，都加入结构信息的约束，这样可以尽可能较低配准的误差。
附图说明
图1示出本发明中对场景1中初始帧进行结构检测的结果，其中图(a)为原始的彩色图像，图(b)为法向量投影图，图(c)为检测结果；
图2示出本发明中对场景1中第二帧进行结构检测的结果，其中图(a)为原始的彩色图像，图(b)为模型法向量投影图，图(c)为检测结果；
图3示出本发明中对场景1采集一段时间以后对模型整体结构检测的结果；
图4示出本发明中对场景1部分数据建模的结果；
图5示出本发明中对场景2中初始帧进行结构检测的结果，其中图(a)为原始的彩色图像，图(b)为检测结果；
图6示出本发明中对场景2中采集一段时间数据之后进行结构检测的结果，其中图(a) 为原始的彩色图像，图(b)为检测结果；
图7示出本发明中对场景2部分数据建模的结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明的原理在于：首先采集场景的第一帧数据，利用相机的内外参数将二维数据转换成三维点云，利用领域的相关性计算每个点的法向量，规定当前帧对应相机位置为世界坐标系，并对初始帧检测平面结构。首先对计算每个点的曲率值，排除一些非平面结构点的信息，对所有待处理的平面结构点进行分块，估计出每个数据块所对应平面参数作为备选平面，分块的目的在于可以进行并行运算，满足实时性的要求。然后依次计算每个点与这些备选平面之间的几何关系，主要包括点到平面的距离以及点的法向量与平面法向量的夹角，通过二者的判断对投影图中所有的点进行聚类，保留面积较大一些区域作为聚类的结果，并重新计算区域对应的平面参数。但由于之前分块的前提，因此有很多区域块所对应的平面在真实场景下属于同一块区域，因此需要对计算出的所有平面区域进行区域合并操作，合并的前提是两个平面区域所对应的平面方程相似程度较高。通过上述步骤完成了对第一帧图像结构信息标记的工作。然后相继获取后续帧数据，对每一帧数据估计相机的位姿，首先寻找模型投影图和当前帧点云之间匹配的点对，在寻找点对的过程中，为了信息的可靠性，采用模型投影图中有标识的结构点作为备选点，寻找在当前帧所对应位置下与其几何信息最为接近的点构成点对；其次构造能量方程，在原有计算点对之间距离的几何度量的基础上，加入结构相似度度量的能量项，从而能够尽可能的最小化配准误差。根据计算的相机姿态将当前帧数据与模型的数据相融合，组成新的模型数据，并获得当前相机姿态下新的模型投影图，重新计算该投影图的结构标识。计算过程主要分为以下两个部分，一个对已有平面的区域扩充，一个是对新平面的重新度量。采用的方法是区域增长的方法，这样可以极大地提高运算速度。将所有的标记结果融合到新的模型数据中，这样就可以对后续的姿态估计和建模工作提供了可靠的结构信息。
基于上述原理，本发明的基于结构信息的RGBD三维场景重建方法，具体包括以下步骤：
S1.检测第i帧中的场景信息，并将场景信息在第i帧所对应的模型数据中标记；
S11.对第i帧进行预处理，得到第i帧在世界坐标系下的每个点的坐标和法向量；
首先，获取第i帧的深度图像数据，对深度图像数据进行预处理，主要是采用快速双滤波的方法：
Figure BDA0001415979040000051
其中，P为映射后，世界坐标系下三维点的坐标，(
Figure BDA0001415979040000052
s、pi、pj、Ii、Ij、δ1、δ2)或者(d、s、I、i、j、δ1、δ2)的含义以及取值范围
然后根据深度相机内参将二维数据转化为三维点云：
v(u,v)＝K-1·(u,v,d)T (2)
其中，u,v为滤波后的深度数据图中的像素坐标，d为对应的深度值，K-1为深度相机的内参矩阵的逆矩阵。
设定初始帧场景所对应的相机位置为世界坐标系的原点，将第i帧转化为世界坐标系下的三维点云，得到每个点的坐标。根据相邻像素的三维坐标，依次计算当前世界坐标系下三维点云中每个点的法向量：
Figure BDA0001415979040000053
其中n(u,v)代表像素坐标为u,v的点的法向量。
S12.检测第i帧中的平面结构信息，并将平面结构信息在第i帧所对应的模型数据中标记；
检测第i帧中的平面结构信息的具体步骤如下：
S121.选取第i帧在世界坐标系下三维点云中的平面点；
计算三维点云中每个点的曲率值，
Figure BDA0001415979040000054
其中，k(u,v)代表像素坐标为u,v的点的曲率值，n0为待求位置的右侧邻域点和上方邻域点组成的三角形的法向量，
Figure BDA0001415979040000055
n1,n2,n3为其他三个方向三角形对应的法向量。根据曲率值将三维点云中的点划分为平面区域点和非平面区域点；设定阈值，对于三维点云中的每一个点，如果该点的曲率值大于阈值时，则认为该点为非平面区域点，不再列入后续的计算过程。在本实施例中，设定阈值为0.01，当k(u,v)大于 0.01时，认为点(u,v)为非平面点，否则为平面点。
S122.设定初始备选平面；
步骤S122的具体操作步骤为：首先将平面区域点进行分块，在本实施例中，按照区域大小为30*30进行分块，计算每个区域所对应的平面方程，
C＝Am*4 TAm*4 (5)
其中m为区域块中所有点的总个数，A为所有点组成的矩阵。求解矩阵C的特征值和特征向量，最小的特征值所对应的特征向量作为该区域所对应的平面区域的方程参数，将其归一化记做P＝{p1,p2,...,pi,...pn}，作为初始备选平面。
S123.聚类初始平面区域；
首先计算所有平面区域点与初始备选平面的几何关系，即对每一个平面区域点，计算点到初始备选平面的距离，以及点的法向量与初始备选平面的法向量之间的夹角，并设定阈值，对于一个平面区域点，如果其到初始备选平面的距离以及其法向量与初始备选平面的法向量之间的夹角均小于阈值，则认为该点属于对应初始平面区域的点，求解最小度量值对应的方程参数作为该平面点所在的平面，进而聚类出初始平面区域。在本实施例中，设定点到平面的距离阈值为(0.04*点的深度值)，点的法向量与平面法向量夹角的阈值为15度。
S124.得到三维点云中的平面，重新计算其平面方程；
计算通过聚类得到的初始平面区域的面积，设定阈值，对于每一个由聚类得到的初始平面区域，如果其面积大于阈值，则认为该平面是三维点云中的平面，否则则去除，具体为，对每个初始平面区域计算其包围盒，求解其对应的平面面积，在本实施例中设定，当面积小于(0.06m*0.06m)时，去除该初始平面区域。然后通过RANSAC算法重新计算剩余平面的平面方程。
S125.合并平面；
由于真实场景中，类似地面这种常见的平面结构都会被一些家具进行隔断从而被识别成两个平面区域，因此还需要对步骤S124得到的平面进行合并。具体步骤为，选取任意两个平面，计算两个平面法向量之间的夹角，以及其中一个平面内的所有点到另一个平面的距离的平均值，设定阈值，如果两个值均小于阈值，则将两个平面合并。在本实施例中，两个平面法向量的夹角阈值为2度，某一平面上所有点到另外一个平面距离的平均阈值为0.01m。
对所有保留的初始平面区域，分别计算对应平面方程之间的相似度，当相似度十分接近时，合并两区域。
Figure BDA0001415979040000071
其中pi,pj分别为两个不同区域对应的平面参数，Ak为区域i中所包含的所有的点组成的矩阵，ni为区域i中点的个数。
最后将得到的平面结构信息在第i帧所对应的模型数据中标记。
S2.估计第i+1帧所对应的相机姿态，计算时加入第i帧所对应的模型数据中标记的场景信息；
S21.计算第i+1帧对应的世界坐标系下的三维点云，记做
Figure BDA0001415979040000072
并将其变换到第i帧对应的模型坐标系下，记做
Figure BDA0001415979040000073
其中
Figure BDA0001415979040000074
Ti+1-＞i为待求解相机姿态矩阵。
S22.获得第i帧所对应的模型数据的投影点云，记做
Figure BDA00014159790400000719
S23.计算
Figure BDA0001415979040000075
和
Figure BDA0001415979040000076
之间的匹配点对：
Figure BDA0001415979040000077
其中
Figure BDA0001415979040000078
表示点对之间距离的度量，
Figure BDA0001415979040000079
表示点对之间法向量角度的度量，
Figure BDA00014159790400000710
Figure BDA00014159790400000711
为
Figure BDA00014159790400000712
所在平面的参数方程，表示点到平面的距离度量。
Figure BDA00014159790400000713
通过在
Figure BDA00014159790400000714
的3*3邻域内计算上述公式，计算结果最小的点对作为
Figure BDA00014159790400000715
的配对点。
S24.构造能量方程时，加入平面结构信息的约束，得到第i+1帧所对应的相机姿态。
Figure BDA00014159790400000716
其中，
Figure BDA00014159790400000717
表示
Figure BDA00014159790400000718
所在平面的参数方程。上述方程通过最小二乘优化的方法依次迭代最终收敛得到相机姿态Ti+1-＞i。
S3.根据第i+1帧所对应的相机姿态，将第i+1帧融入到第i帧所对应的模型数据中，得到第i+1帧所对应的模型数据；
S4.检测第i+1帧所对应的模型数据的投影图中的场景信息，并将场景信息反投影到第i+1 帧所对应的模型数据中；
S41.将第i+1帧所对应的模型数据进行投影，获得第i+1帧所对应的模型投影图；在该投影图中已经存在一部分在之前计算中被标记过的点。
S42.对于第i+1帧所对应的模型投影图中未标记的点，确定其是否属于已知平面；
Figure BDA0001415979040000081
其中v和n分别为待求点的位置和法向量，P为所有已知平面参数的集合，dv为v点的深度值。
S43.对于第i+1帧所对应的模型投影图中未标记的，且不属于已知平面的点，通过区域增长法确定是否产生新的平面；
首先任意选取一个种子点，从该种子点出发对其四邻域依次判断二者之间的关系，当公式(12)接近于0时，认为该领域与种子点属于同一平面，然后再将邻域点作为新的种子点不断迭代计算，直到条件不再满足为止。
D＝(arccos(nneighborgnseed)*180/Pi-15) (10)
对所有点完成计算标记之后，将其反投影到第i+1帧所对应的模型数据中，更新整个模型的数据。
S5.对于i的每一个取值，i＝1,2,3···,N-1，其中N为总的帧数，重复步骤S1-S4，完成三维重建工作。
为了验证本发明方法的有效性和实用性，对现有数据集以及真实场景两种不同情况下的数据分别进行了仿真工作。其中图1-4对应数据集的计算结果，通过图1(c)、图2(c)以及图3的对比可以看出，场景模型在不断累积计算的过程中，数据能够得到有效的完善补充，同时能够有效的分割出场景中各个区域的平面信息，最终形成图4所对应的比较完整的三维场景模型。图5-7对应真实场景下采集数据并进行建模的过程，通过对场景中平面几何信息有效的检测，识别出图5(b)，图6(b)对应的结果，最终形成了图7对应的比较完整三维场景模型。
本发明与其他现有的建模方法相比，首先能够利用场景的结构信息作为先验知识加入到相机姿态的优化过程中，能够尽可能降低配准的误差，其次在结构信息的检测过程中，采用一种更加有效的并行方法进行计算，从而实现了一种时间效率较高、定位较为准确的技术。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于结构信息的RGBD三维场景重建方法，其特征在于，
S1.检测第i帧中的场景信息，并将场景信息在第i帧所对应的模型数据中标记；
S2.估计第i+1帧所对应的相机姿态，计算时加入第i帧所对应的模型数据中标记的场景信息；
S3.根据第i+1帧所对应的相机姿态，将第i+1帧融入到第i帧所对应的模型数据中，得到第i+1帧所对应的模型数据；
S4.检测第i+1帧所对应的模型数据的投影图中的场景信息，并将场景信息反投影到第i+1帧所对应的模型数据中；
S5.对于i的每一个取值，i＝1,2,3···,N-1，其中N为总的帧数，重复步骤S1-S4，完成三维重建工作。
2.根据权利要求1所述的基于结构信息的RGBD三维场景重建方法，其特征在于，所述场景信息为平面结构信息。
3.根据权利要求2所述的基于结构信息的RGBD三维场景重建方法，其特征在于，所述步骤S1的具体步骤为：
S11.对第i帧进行预处理，得到第i帧在世界坐标系下的每个点的坐标和法向量；
S12.检测第i帧中的平面结构信息，并将平面结构信息在第i帧所对应的模型数据中标记。
4.根据权利要求3所述的基于结构信息的RGBD三维场景重建方法，其特征在于，所述步骤S12的中检测平面结构信息的具体步骤为：
S121.选取第i帧在世界坐标系下三维点云中的平面点；
S122.设定初始备选平面；
S123.聚类初始平面区域；
S124.得到三维点云中的平面，重新计算其平面方程；
S125.合并平面。
5.根据权利要求4所述的基于结构信息的RGBD三维场景重建方法，其特征在于，所述步骤S121的具体步骤为：
(1)计算三维点云中每个点的曲率值，
Figure FDA0002819466240000011
其中，k(u,v)代表像素坐标为u,v的点的曲率值，n0为待求位置的右侧邻域点和上方邻域点组成的三角形的法向量，
Figure FDA0002819466240000012
n1,n2,n3为其他三个方向三角形对应的法向量；
(2)根据曲率值将三维点云中的点划分为平面区域点和非平面区域点；设定阈值，对于三维点云中的每一个点，如果该点的曲率值大于阈值时，则认为该点为非平面区域点，不再列入后续的计算过程。
6.根据权利要求5所述的基于结构信息的RGBD三维场景重建方法，其特征在于，所述步骤S122的具体步骤为：
(1)将平面区域点进行分；
(2)计算每个区域所对应的平面方程，
C＝Am*4 TAm*4
其中m为区域块中所有点的总个数，A为所有点组成的矩阵；求解矩阵C的特征值和特征向量，最小的特征值所对应的特征向量作为该区域所对应的平面区域的方程参数，将其归一化记做P＝{p1,p2,...,pi,...pn}，作为初始备选平面。
7.根据权利要求6所述的基于结构信息的RGBD三维场景重建方法，其特征在于，所述步骤S123的具体步骤为：
(1)计算所有平面区域点与初始备选平面的几何关系，即对每一个平面区域点，计算点到初始备选平面的距离，以及点的法向量与初始备选平面的法向量之间的夹角；
(2)设定阈值，对于一个平面区域点，如果其到初始备选平面的距离以及其法向量与初始备选平面的法向量之间的夹角均小于阈值，则认为该点属于对应初始平面区域的点；
(3)求解最小度量值对应的方程参数作为该平面点所在的平面，进而聚类出初始平面区域。
8.根据权利要求7所述的基于结构信息的RGBD三维场景重建方法，其特征在于，所述步骤S124的具体步骤为：计算通过聚类得到的初始平面区域的面积，设定阈值，对于每一个由聚类得到的初始平面区域，如果其面积大于阈值，则认为该平面是三维点云中的平面，否则则去除。
9.根据权利要求7所述的基于结构信息的RGBD三维场景重建方法，其特征在于，所述步骤S125的具体步骤为：
(1)选取任意两个平面，计算两个平面法向量之间的夹角，以及其中一个平面内的所有点到另一个平面的距离的平均值，设定阈值，如果两个值均小于阈值，则将两个平面合并；
(2)对所有保留的初始平面区域，分别计算对应平面方程之间的相似度，当相似度十分接近时，合并两区域。
10.根据权利要求2-9中的任一项权利要求所述的基于结构信息的RGBD三维场景重建方法，其特征在于，所述步骤S4的具体步骤为：
S41.将第i+1帧所对应的模型数据进行投影，获得第i+1帧所对应的模型投影图；
S42.对于第i+1帧所对应的模型投影图中未标记的点，确定其是否属于已知平面；
S43.对于第i+1帧所对应的模型投影图中未标记的，且不属于已知平面的点，确定是否产生新的平面；
S44.将步骤S42中确定的属于已知平面的点和步骤S43中产生的新的平面进行标记，并反投影到第i+1帧所对应的模型数据中。
CN201710865372.4A 2017-09-22 2017-09-22 一种基于结构信息的rgbd三维场景重建方法 Active CN107862735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710865372.4A CN107862735B (zh) 2017-09-22 2017-09-22 一种基于结构信息的rgbd三维场景重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710865372.4A CN107862735B (zh) 2017-09-22 2017-09-22 一种基于结构信息的rgbd三维场景重建方法

Publications (2)

Publication Number Publication Date
CN107862735A CN107862735A (zh) 2018-03-30
CN107862735B true CN107862735B (zh) 2021-03-05

Family

ID=61698147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710865372.4A Active CN107862735B (zh) 2017-09-22 2017-09-22 一种基于结构信息的rgbd三维场景重建方法

Country Status (1)

Country Link
CN (1) CN107862735B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242984B (zh) * 2018-08-27 2020-06-16 百度在线网络技术（北京）有限公司 虚拟三维场景构建方法、装置及设备
WO2020073982A1 (en) 2018-10-11 2020-04-16 Shanghaitech University System and method for extracting planar surface from depth image
CN109544677B (zh) * 2018-10-30 2020-12-25 山东大学 基于深度图像关键帧的室内场景主结构重建方法及***
CN110276839B (zh) * 2019-06-20 2023-04-25 武汉大势智慧科技有限公司 一种基于实景三维数据的底部碎片去除方法
CN110378349A (zh) * 2019-07-16 2019-10-25 北京航空航天大学青岛研究院 Android移动端室内场景三维重建及语义分割方法
CN112258618B (zh) * 2020-11-04 2021-05-14 中国科学院空天信息创新研究院 基于先验激光点云与深度图融合的语义建图与定位方法
CN112767551B (zh) * 2021-01-18 2022-08-09 贝壳找房(北京)科技有限公司 三维模型构建方法、装置以及电子设备、存储介质
CN115421509B (zh) * 2022-08-05 2023-05-30 北京微视威信息科技有限公司 一种无人机飞行拍摄规划方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622775A (zh) * 2012-01-12 2012-08-01 北京理工大学 一种基于模型插值补偿的心脏实时动态重建技术
CN103413352A (zh) * 2013-07-29 2013-11-27 西北工业大学 基于rgbd多传感器融合的场景三维重建方法
CN106875437A (zh) * 2016-12-27 2017-06-20 北京航空航天大学 一种面向rgbd三维重建的关键帧提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170064287A1 (en) * 2015-08-24 2017-03-02 Itseez3D, Inc. Fast algorithm for online calibration of rgb-d camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622775A (zh) * 2012-01-12 2012-08-01 北京理工大学 一种基于模型插值补偿的心脏实时动态重建技术
CN103413352A (zh) * 2013-07-29 2013-11-27 西北工业大学 基于rgbd多传感器融合的场景三维重建方法
CN106875437A (zh) * 2016-12-27 2017-06-20 北京航空航天大学 一种面向rgbd三维重建的关键帧提取方法

Also Published As

Publication number Publication date
CN107862735A (zh) 2018-03-30

Similar Documents

Publication Publication Date Title
CN107862735B (zh) 一种基于结构信息的rgbd三维场景重建方法
CN110264567B (zh) 一种基于标记点的实时三维建模方法
CN109631855B (zh) 基于orb-slam的高精度车辆定位方法
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN108564616B (zh) 快速鲁棒的rgb-d室内三维场景重建方法
CN108597009B (zh) 一种基于方向角信息进行三维目标检测的方法
CN112001926B (zh) 基于多维语义映射rgbd多相机标定方法、***及应用
CN108776989B (zh) 基于稀疏slam框架的低纹理平面场景重建方法
CN110009732B (zh) 基于gms特征匹配的面向复杂大尺度场景三维重建方法
Micusik et al. Descriptor free visual indoor localization with line segments
CN111612728B (zh) 一种基于双目rgb图像的3d点云稠密化方法和装置
CN107818598B (zh) 一种基于视觉矫正的三维点云地图融合方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN110533716B (zh) 一种基于3d约束的语义slam***及方法
CN110570474B (zh) 一种深度相机的位姿估计方法及***
CN113393524B (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN113269094A (zh) 基于特征提取算法和关键帧的激光slam***及方法
CN105513094A (zh) 基于三维Delaunay三角剖分的立体视觉跟踪方法及***
CN116449384A (zh) 基于固态激光雷达的雷达惯性紧耦合定位建图方法
Alcantarilla et al. Large-scale dense 3D reconstruction from stereo imagery
CN113192200A (zh) 一种基于空三并行计算算法的城市实景三维模型的构建方法
CN110544279A (zh) 一种结合图像识别和遗传算法精配准的位姿估计方法
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
CN116977596A (zh) 一种基于多视角图像的三维建模***及方法
Yong-guo et al. The navigation of mobile robot based on stereo vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant