CN113920254B - 一种基于单目rgb的室内三维重建方法及其*** - Google Patents

一种基于单目rgb的室内三维重建方法及其*** Download PDF

Info

Publication number
CN113920254B
CN113920254B CN202111527159.5A CN202111527159A CN113920254B CN 113920254 B CN113920254 B CN 113920254B CN 202111527159 A CN202111527159 A CN 202111527159A CN 113920254 B CN113920254 B CN 113920254B
Authority
CN
China
Prior art keywords
depth map
indoor
points
dimensional reconstruction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111527159.5A
Other languages
English (en)
Other versions
CN113920254A (zh
Inventor
颜青松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qiyu Innovation Technology Co ltd
Original Assignee
Shenzhen Qiyu Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qiyu Innovation Technology Co ltd filed Critical Shenzhen Qiyu Innovation Technology Co ltd
Priority to CN202111527159.5A priority Critical patent/CN113920254B/zh
Publication of CN113920254A publication Critical patent/CN113920254A/zh
Application granted granted Critical
Publication of CN113920254B publication Critical patent/CN113920254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及三维建模技术领域，特别涉及一种基于单目RGB的室内三维重建方法及其***；本发明先进行数据采集，采集连续的影像视频流，提取影像的特征点、特征匹配点和关键帧，并且得到关键帧实时的位姿信息；再用预先训练好的深度神经网络从获取的关键帧中预测出深度图；然后利用获取的特征匹配点作为依据，对深度图进行尺度矫正，得到矫正后的深度图；最后将关键帧实时的位姿信息与矫正后的深度图进行融合，重建出室内三维模型；本发明使用简单的RGB传感器即可快速高效的进行室内三维重建，而且本发明不仅对硬件具有较低要求，也具有更低的计算量，能够被广泛应用到各种移动设备进行三维重建。

Description

一种基于单目RGB的室内三维重建方法及其***
技术领域
本发明涉及三维建模技术领域，特别涉及一种基于单目RGB的室内三维重建方法及其***。
背景技术
随着VR/AR的快速发展，室内三维重建需求越来越大，然而目前主流的室内重建方案都需要使用配合特殊传感器或复杂计算，才能完成室内场景的三维重建。
专利名称为一种基于移动激光测量点云进行室内结构化三维重建方法（专利号ZL201711218661）的中国发明专利，其首先基于激光扫描点云证据栅格地图进行房间分割；然后基于矢量墙面投影线段进行空间划分；最后基于矢量和栅格叠加构建矢量房间平面图和室内三维模型。本发明充分利用室内空间的语义信息和结构化元素，将室内三维重建问题转化为房间分割和基于GIS的叠加分析问题，利用分割的房间作为先验知识解决建模过程中激光测量的遮挡和数据不完整的问题，可以快速高效的构建具有拓扑一致性的室内建筑物三维模型，也就是说，使用激光传感器作为三维数据获取手段，进而基于矢量和栅格叠加构建矢量房间平面图和室内三维模型，需要大量复杂的计算。
专利名称为一种快速鲁棒的RGB-D室内三维场景重建方法（专利号ZL201810213575），其采用RGB-D相机实时扫描室内场景；基于点线融合相机跟踪算法进行相机实时跟踪；通过检测相机状态对相机轨迹进行约减；利用约减后的相机轨迹信息对RGB-D图像进行多尺度体数据融合，生成完整的场景三维模型；简单的说，使用RGBD获取三维数据，利用相机轨迹信息对RGBD图像进行多尺度体数据融合，生成完整的场景三维模型，其计算量也比较大。
发明内容
本发明主要解决的技术问题是提供了一种基于单目RGB的室内三维重建方法，其使用简单的RGB传感器即可快速高效的进行室内三维重建。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于单目RGB的室内三维重建方法，其中，包括如下步骤：
步骤S1、进行数据采集，采集连续的影像视频流，提取影像的特征点、特征匹配点和关键帧，并且得到关键帧实时的位姿信息；
步骤S2、用预先训练好的深度神经网络从获取的关键帧中预测出深度图；
步骤S3、利用获取的特征匹配点作为依据，对深度图进行尺度矫正，得到矫正后的深度图；
步骤S4、将关键帧实时的位姿信息与矫正后的深度图进行融合，重建出室内三维模型。
作为本发明的一种改进，在步骤S1内，从经过高斯平滑的原始影像上提取灰度变化较快的角点作为特征点进行提取。
作为本发明的进一步改进，在步骤S1内，利用光流跟踪进行特征跟踪，进而完成特征的匹配，提取特征匹配点。
作为本发明的更进一步改进，在步骤S1内，基于特征匹配点，利用多视觉立体几何获取影像的影像初始位姿和稀疏点。
作为本发明的更进一步改进，在步骤S3内，利用稀疏点从预测的深度图上进行采样，然后将采样得到的深度值与稀疏点本身的深度值进行比较，得到深度图的尺度矫正参数，再对预测的深度图进行缩放，得到矫正后的深度图。
作为本发明的更进一步改进，以步骤S1内，构建优化方程式对误差进行消除，获取没有误差的位姿和稀疏点。
作为本发明的更进一步改进，在步骤S2内，构建深度神经网络，利用数据集对获取的关键帧进行训练，得到预测值，从而预测出深度图。
作为本发明的更进一步改进，在步骤S4内，根据需求分辨率将待重建区域切分成规定的尺寸的体素，再将每一个体素投影到影像上，采用均值计算，计算出体素到真实表面的距离。
一种基于单目RGB的室内三维重建***，其中，包括：
采集模块，用于采集连续的影像视频流，提取影像的特征点、特征匹配点和关键帧；
训练模块，用于将预先训练好的深度神经网络从获取的关键帧中预测出深度图；
深度图尺度矫正模块，利用获取的特征匹配点作为依据，对深度图进行尺度矫正，得到矫正后的深度图；
重建模块，用于将关键帧实时的位姿信息与矫正后的深度图进行融合，重建出室内三维模型。
本发明的有益效果是：本发明先进行数据采集，采集连续的影像视频流，提取影像的特征点、特征匹配点和关键帧，并且得到关键帧实时的位姿信息；再用预先训练好的深度神经网络从获取的关键帧中预测出深度图；然后利用获取的特征匹配点作为依据，对深度图进行尺度矫正，得到矫正后的深度图；最后将关键帧实时的位姿信息与矫正后的深度图进行融合，重建出室内三维模型。
与现有技术相比，本发明使用简单的RGB传感器即可快速高效的进行室内三维重建，而且本发明不仅对硬件具有较低要求，也具有更低的计算量，能够被广泛应用到各种移动设备进行三维重建。
附图说明
图1为本发明的步骤框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现有技术中一种室内三维布局重建的方法（专利号ZL201910343315），其公开了，其包括：1)采集室内场景的图像序列数据及惯性测量数据，同时对室内场景进行实时三维重建，得到关键帧图像序列及其实时重建的位置与姿态；2)利用所述关键帧图像序列及其对应的实时重建的位置与姿态，进行离线三维重建，得到室内场景的稠密三维点云；3)从所述室内场景的稠密三维点云中抽取平面结构，对平面结构进行筛选和分类，得到房顶平面、地面平面和候选墙面平面，同时得到楼层高度；4)根据所述房顶平面、地面平面、候选墙面平面及楼层高度，构造所述室内场景的三维布局；5)输出三维布局重建结果；其在获取RGB影像位姿后，然后在关键帧之间进行计算量较大的稠密重建，进而完成室内三维重建；该现有技术应用传感器多且有的比较特殊，而且计算比较复杂。
请参照图1所示，本发明提供了一种基于单目RGB的室内三维重建方法，包括如下步骤：
步骤S1、进行数据采集，采集连续的影像视频流，提取影像的特征点、特征匹配点和关键帧，并且得到关键帧实时的位姿信息；
步骤S2、用预先训练好的深度神经网络从获取的关键帧中预测出深度图；
步骤S3、利用获取的特征匹配点作为依据，对深度图进行尺度矫正，得到矫正后的深度图；
步骤S4、将关键帧实时的位姿信息与矫正后的深度图进行融合，重建出室内三维模型。
本发明使用简单的RGB传感器即可快速高效的进行室内三维重建，而且本发明不仅对硬件具有较低要求，也具有更低的计算量，能够被广泛应用到各种移动设备进行三维重建。
在步骤S1内，从经过高斯平滑的原始影像上提取灰度变化较快的角点作为特征点进行提取；利用光流跟踪进行特征跟踪，进而完成特征的匹配，提取特征匹配点；基于特征匹配点，利用多视觉立体几何获取影像的影像初始位姿和稀疏点。
具体地说，采集连续的影像视频流，并通过提取影像特征点和特征匹配来获取每张影像之间的点对关系，并通过多视立体几何恢复三维位姿信息，作为后续重建的依据;与此同时，还需要从连续的视频流中选取一定的关键帧，作为后续重建的依据。
在进行特征提取时，为保证SLAM的实时性，直接从经过高斯平滑的原始影像上提取灰度变化较快的角点作为特征点，其规则如下，即在窗口大小为m×m的范围里像素亮度差异大于阈值
Figure 132209DEST_PATH_IMAGE001
的像素的数量大于n的点为特征点。下式描述了特征提取过程，其中
Figure 715506DEST_PATH_IMAGE002
表示在影像上一点的像素坐标，
Figure 323205DEST_PATH_IMAGE003
表示该像素点的灰度值。完成特征提取后即可利用光流跟踪进行特征跟踪，进而完成特征的匹配。
Figure 375475DEST_PATH_IMAGE004
；
基于匹配的特征，可以利用多视觉立体几何获取影像的影像初始位姿P和稀疏点S，但是由于误差累计等原因，还需要构建优化方程对误差进行消除，最终获取全局一致性的位姿和稀疏点。下式描述了上述过程，其中
Figure 94032DEST_PATH_IMAGE005
表示某张影像的初始位姿，sj表示某个稀疏点的初始位置，mij表示点
Figure 797414DEST_PATH_IMAGE006
在影像
Figure 576015DEST_PATH_IMAGE007
上的特征点提取坐标，
Figure 381160DEST_PATH_IMAGE008
表示点sj在影像
Figure 903408DEST_PATH_IMAGE009
上的投影坐标。
Figure 461297DEST_PATH_IMAGE010
。
在步骤S2内，基于关键帧的深度估计，在步骤S1运行的同时，每获取一张关键帧，即利用预先训练好的深度神经网络从该关键帧中预测出无绝对尺度的深度图。
构建深度神经网络，利用数据集对获取的关键帧进行训练，得到预测值，从而预测出深度图；基于深度神经网络进行深度图估计的核心是构建网络F，利用数据集D=(I，D)对其进行训练，使得其满足以下条件，及最小化F预测值F(I)与真实深度图之间的差异，其中d为训练数据集中的真实深度，F(I)表示经过深度神经网络在影像I的预测深度。
Figure 410798DEST_PATH_IMAGE011
；
为达成此目的，使用Huber-Loss对网络进行训练，当差异较大时使用L2范数，提高收敛速度；当差异较小时使用L1范数，保证收敛到最佳值，其中
Figure 375343DEST_PATH_IMAGE013
为真实值与预测值的差异，
Figure 950550DEST_PATH_IMAGE014
为差异阈值用于选择合适的损失函数。
Figure 113678DEST_PATH_IMAGE015
。
在步骤S3内，利用稀疏点从预测的深度图上进行采样，然后将采样得到的深度值与稀疏点本身的深度值进行比较，得到深度图的尺度矫正参数，再对预测的深度图进行缩放，得到矫正后的深度图。
具体地讲，由于深度神经网络计算获取的深度图并不具备真实的尺度信息，因此通过多张关键帧获取的深度图的尺度并不是一致的。因此，需要利用第一步骤中提取的特征匹配点作为依据，对关键帧的深度图进行尺度矫正，保证尺度的一致性。尺度矫正的大致思路是，利用稀疏点从预测深度图上进行采样，然后将采样得到的深度与稀疏点本身的深度值进行比较，构建出优化方程，计算出深度图的尺度矫正参数。
记预测深度图为
Figure 499660DEST_PATH_IMAGE016
，从SLAM***获取的影像位姿为
Figure 748239DEST_PATH_IMAGE017
，稀疏点为
Figure 127136DEST_PATH_IMAGE018
。由于
Figure 144771DEST_PATH_IMAGE019
缺少尺度信息，则显然存在稀疏点投影深度和预测深度图不一致情况；以下公式中第一行表示稀疏点投影到深度图对应影像上，第二行表示稀疏点投影深度
Figure 701654DEST_PATH_IMAGE020
与预测深度图
Figure 890059DEST_PATH_IMAGE021
的采样值并不相同，其中
Figure 292222DEST_PATH_IMAGE022
表示点
Figure 164363DEST_PATH_IMAGE023
在影像
Figure 135555DEST_PATH_IMAGE024
上的特征点提取坐标，
Figure 358726DEST_PATH_IMAGE025
表示点
Figure 564580DEST_PATH_IMAGE026
的投影深度，
Figure 9336DEST_PATH_IMAGE027
表示点
Figure 376864DEST_PATH_IMAGE028
在影像
Figure 821752DEST_PATH_IMAGE029
上的投影坐标处的预测深度。
Figure 80564DEST_PATH_IMAGE030
；
为此需要为每个深度图设定一个缩放尺度
Figure 192876DEST_PATH_IMAGE031
，使其满足以下条件，其中参数定义如上所示：
Figure 996884DEST_PATH_IMAGE032
；
获取尺度矫正参数
Figure 194647DEST_PATH_IMAGE033
后，即可对预测深度图进行缩放，使其保证全局尺度的一致性，其中
Figure 991571DEST_PATH_IMAGE034
为原始深度图，
Figure 958390DEST_PATH_IMAGE035
为经过尺度矫正后的深度图：
Figure 933299DEST_PATH_IMAGE036
。
在步骤S4内，根据需求分辨率将待重建区域切分成规定的尺寸的体素，再将每一个体素投影到影像上，采用均值计算，计算出体素到真实表面的距离。
具体地讲，完成数据采集后，即可同时获得关键帧的位姿信息和经过尺度校正后的深度图，此时即可通过t-SDF(阶段符号距离函数)来融合深度图，并重建出室内三维模型。
首先根据需求分辨率将大小为
Figure 618358DEST_PATH_IMAGE037
的待重建区域切分成尺寸为
Figure 218973DEST_PATH_IMAGE038
的体素V。对于每一个
Figure 40298DEST_PATH_IMAGE039
，逐个其投影到影像上，并通过
Figure 451688DEST_PATH_IMAGE040
计算体素到真实表面的距离，其中
Figure 358464DEST_PATH_IMAGE041
表示体素
Figure 497190DEST_PATH_IMAGE042
投影到影像
Figure 438601DEST_PATH_IMAGE043
的三维坐标，
Figure 755313DEST_PATH_IMAGE044
表示对应的投影深度，
Figure 149386DEST_PATH_IMAGE045
表示体素
Figure 91803DEST_PATH_IMAGE046
投影坐标处在矫正深度图
Figure 887720DEST_PATH_IMAGE047
上的深度值，
Figure 640913DEST_PATH_IMAGE048
为对应的
Figure 522281DEST_PATH_IMAGE049
值：
Figure 2810DEST_PATH_IMAGE050
；
由于每个体素在多个影像上可见，因此还需要融合多个
Figure 653234DEST_PATH_IMAGE051
距离，直接采用均值，其中N表示体素
Figure 374065DEST_PATH_IMAGE052
被观测次数：
Figure 742730DEST_PATH_IMAGE053
；
完成计算所有体素的
Figure 777682DEST_PATH_IMAGE054
距离后，即可利用Marching Cube完成表面重建。
本发明还提供了一种基于单目RGB的室内三维重建***，包括：
采集模块，用于采集连续的影像视频流，提取影像的特征点、特征匹配点和关键帧；
训练模块，用于将预先训练好的深度神经网络从获取的关键帧中预测出深度图；
深度图尺度矫正模块，利用获取的特征匹配点作为依据，对深度图进行尺度矫正，得到矫正后的深度图；
重建模块，用于将关键帧实时的位姿信息与矫正后的深度图进行融合，重建出室内三维模型。
本发明简化了进行室内重建时对传感器的过高要求，使得仅使用简单的RGB传感器即可快速高效的进行室内三维重建；相比于其他方法，本发明不仅对硬件具有较低要求，也具有更低的计算量，能够被广泛应用到各种移动设备进行三维重建。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于单目RGB的室内三维重建方法，其特征在于，包括如下步骤：
步骤S1、进行数据采集，采集连续的影像视频流，提取影像的特征点、特征匹配点和关键帧，并且得到关键帧实时的位姿信息；
步骤S2、用预先训练好的深度神经网络从获取的关键帧中预测出深度图；
步骤S3、利用获取的特征匹配点作为依据，对深度图进行尺度矫正，得到矫正后的深度图；
步骤S4、将关键帧实时的位姿信息与矫正后的深度图进行融合，重建出室内三维模型；
在步骤S1内，基于特征匹配点，利用多视觉立体几何获取影像的影像初始位姿和稀疏点；
在步骤S3内，利用稀疏点从预测的深度图上进行采样，然后将采样得到的深度值与稀疏点本身的深度值进行比较，得到深度图的尺度矫正参数，再对预测的深度图进行缩放，得到矫正后的深度图。
2.根据权利要求1所述的一种基于单目RGB的室内三维重建方法，其特征在于，在步骤S1内，从经过高斯平滑的原始影像上提取灰度变化较快的角点作为特征点进行提取。
3.根据权利要求2所述的一种基于单目RGB的室内三维重建方法，其特征在于，在步骤S1内，利用光流跟踪进行特征跟踪，进而完成特征的匹配，提取特征匹配点。
4.根据权利要求3所述的一种基于单目RGB的室内三维重建方法，其特征在于，以步骤S1内，构建优化方程式对误差进行降低，获取全局一致性的位姿和稀疏点。
5.根据权利要求1所述的一种基于单目RGB的室内三维重建方法，其特征在于，在步骤S2内，构建深度神经网络，利用数据集对获取的关键帧进行训练，得到预测值，从而预测出深度图。
6.根据权利要求1所述的一种基于单目RGB的室内三维重建方法，其特征在于，在步骤S4内，根据需求分辨率将待重建区域切分成规定的尺寸的体素，再将每一个体素投影到影像上，采用均值计算，计算出体素到真实表面的距离。
7.一种基于单目RGB的室内三维重建***，其特征在于，包括：
采集模块，用于采集连续的影像视频流，提取影像的特征点、特征匹配点和关键帧；
训练预测模块，利用具有真实深度图的标注影像训练深度神经网络，并将其用于获取关键帧的深度图；
深度图尺度矫正模块，利用获取的特征匹配点作为依据，对深度图进行尺度矫正，得到矫正后的深度图；
重建模块，用于将关键帧实时的位姿信息与矫正后的深度图进行融合，重建出室内三维模型；
所述采集模块基于特征匹配点，利用多视觉立体几何获取影像的影像初始位姿和稀疏点；
所述深度图尺度矫正模块利用稀疏点从预测的深度图上进行采样，然后将采样得到的深度值与稀疏点本身的深度值进行比较，得到深度图的尺度矫正参数，再对预测的深度图进行缩放，得到矫正后的深度图。
CN202111527159.5A 2021-12-15 2021-12-15 一种基于单目rgb的室内三维重建方法及其*** Active CN113920254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111527159.5A CN113920254B (zh) 2021-12-15 2021-12-15 一种基于单目rgb的室内三维重建方法及其***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111527159.5A CN113920254B (zh) 2021-12-15 2021-12-15 一种基于单目rgb的室内三维重建方法及其***

Publications (2)

Publication Number Publication Date
CN113920254A CN113920254A (zh) 2022-01-11
CN113920254B true CN113920254B (zh) 2022-03-22

Family

ID=80737826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111527159.5A Active CN113920254B (zh) 2021-12-15 2021-12-15 一种基于单目rgb的室内三维重建方法及其***

Country Status (1)

Country Link
CN (1) CN113920254B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824067B (zh) * 2023-08-24 2023-11-24 成都量芯集成科技有限公司 一种室内三维重建方法及其装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087394A (zh) * 2018-08-02 2018-12-25 福州大学 一种基于低成本rgb-d传感器的实时室内三维重建方法
CN113362247A (zh) * 2021-06-11 2021-09-07 山东大学 一种激光融合多目相机的语义实景三维重建方法及***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9542749B2 (en) * 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging
CN108416840B (zh) * 2018-03-14 2020-02-18 大连理工大学 一种基于单目相机的三维场景稠密重建方法
CN108564616B (zh) * 2018-03-15 2020-09-01 中国科学院自动化研究所 快速鲁棒的rgb-d室内三维场景重建方法
CN109658449B (zh) * 2018-12-03 2020-07-10 华中科技大学 一种基于rgb-d图像的室内场景三维重建方法
CN109961506B (zh) * 2019-03-13 2023-05-02 东南大学 一种融合改进Census图的局部场景三维重建方法
CN110120093A (zh) * 2019-03-25 2019-08-13 深圳大学 一种多元特征混合优化的rgb-d室内三维测图方法及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087394A (zh) * 2018-08-02 2018-12-25 福州大学 一种基于低成本rgb-d传感器的实时室内三维重建方法
CN113362247A (zh) * 2021-06-11 2021-09-07 山东大学 一种激光融合多目相机的语义实景三维重建方法及***

Also Published As

Publication number Publication date
CN113920254A (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
Fan et al. Pothole detection based on disparity transformation and road surface modeling
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及***
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN109598794B (zh) 三维gis动态模型的构建方法
CN111126304B (zh) 一种基于室内自然场景图像深度学习的增强现实导航方法
CN113450408B (zh) 一种基于深度相机的非规则物***姿估计方法及装置
CN111612059B (zh) 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法
CN113139453B (zh) 一种基于深度学习的正射影像高层建筑基底矢量提取方法
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
Tsai et al. Real-time indoor scene understanding using bayesian filtering with motion cues
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
CN112785643A (zh) 一种基于机器人平台的室内墙角二维语义地图构建方法
CN114424250A (zh) 结构建模
CN110570457B (zh) 一种基于流数据的三维物体检测与跟踪方法
CN107481279A (zh) 一种单目视频深度图计算方法
CN104517095B (zh) 一种基于深度图像的人头分割方法
CN113744337B (zh) 一种融合视觉、imu与声纳的同步定位与建图方法
CN112233177A (zh) 一种无人机位姿估计方法及***
Xia et al. Façade separation in ground-based LiDAR point clouds based on edges and windows
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
CN116449384A (zh) 基于固态激光雷达的雷达惯性紧耦合定位建图方法
CN114117614A (zh) 一种建筑物立面纹理自动生成方法和***
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN113920254B (zh) 一种基于单目rgb的室内三维重建方法及其***
El Ansari et al. Temporal consistent fast stereo matching for advanced driver assistance systems (ADAS)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Yan Qingsong

Inventor after: Zhao Kaiyong

Inventor before: Yan Qingsong