CN114119889B - 基于跨模态融合的360度环境深度补全和地图重建方法 - Google Patents

基于跨模态融合的360度环境深度补全和地图重建方法 Download PDF

Info

Publication number
CN114119889B
CN114119889B CN202111341830.7A CN202111341830A CN114119889B CN 114119889 B CN114119889 B CN 114119889B CN 202111341830 A CN202111341830 A CN 202111341830A CN 114119889 B CN114119889 B CN 114119889B
Authority
CN
China
Prior art keywords
depth
map
panoramic
dense
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111341830.7A
Other languages
English (en)
Other versions
CN114119889A (zh
Inventor
刘儒瑜
刘政喆
宋琴
盛伟国
郑宇军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Normal University
Original Assignee
Hangzhou Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Normal University filed Critical Hangzhou Normal University
Priority to CN202111341830.7A priority Critical patent/CN114119889B/zh
Publication of CN114119889A publication Critical patent/CN114119889A/zh
Application granted granted Critical
Publication of CN114119889B publication Critical patent/CN114119889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于跨模态融合的360度环境深度补全和地图重建方法。本发明方法首先构建跨模态的全景深度补全网络，获得场景的全景深度图，作为深度补全模块，然后将深度补全模块嵌入全景定位和稠密建图***，构建全景定位和稠密地图重建***，完成大规模环境的三维重建。全景深度补全网络包括基于跨模态融合的全景深度补全网络结构和基于单位球面面积积分的深度补全损失函数。本发明方法能够有效提取稀疏深度模态的特征，最终生成对应的全景深度特征图，并根据全景深度补全网络在通道维度串联两种模态特征，通过损失函数的约束网络从而得到高精度稠密全景深度图像。本发明方法将深度补全模块嵌入***，实现大规模场景的地图重建。

Description

基于跨模态融合的360度环境深度补全和地图重建方法
技术领域
本发明属于计算机视觉和人工智能领域，具体涉及一种基于跨模态融合的360度环境深度估计和地图重建方法。
背景技术
深度补全和地图重建是机器人环境感知中的基本任务之一，深度补全从稀疏且不规则的点云中生成稠密的深度信息，然后将预测的深度信息映射到二维平面得到深度图。而地图重建则是根据图像的姿态信息，利用图像的二维特征及其对应的深度信息生成环境的三维地图。随着硬件的发展，360度全景视觉传感器越来越普及，但是目前并没有一种硬件设备能直接得到稠密的全景深度图。而基于软件的全景深度图生成方法基本有三种。第一种方法是利用普通的窄视角深度相机获取一系列深度图，将这些深度图拼接起来得到全景深度图。由于普通深度相机感知的视角和深度范围均有限，当应用在大规模的室内场景中时，生成的深度图会存在部分区域缺失的情况。第二种方法是基于3D LiDAR(LightDetection And Ranging)的深度估计方法，LiDAR可以提供水平方向360度全向深度信息，但是在垂直方向上仍然存在视角狭窄的问题，并且LiDAR只提供稀疏的点云深度信息。第三种方法是基于深度学习的深度图预测方法，该方法主要着眼于从亮度图像预测深度图，使用模态单一，因此会存在尺度模糊精度不高的问题。
发明内容
本发明的目的是为了克服上述方法中深度估计视野受限，深度信息稀疏以及单一模态的局限，提供一种基于跨模态融合的360度深度补全方法，利用360度全景图像和稀疏深度两种模态数据，通过球面归一化卷积操作从球面分布的稀疏全景深度图中学习几何距离特征，再通过基于跨模态融合的深度补全神经网络直接生成准确的与图像对应的全景深度图，将深度补全嵌入到全景SLAM(Simultaneous Localization And Mapping)中构建稠密的环境点云地图。
本发明方法具体技术方案如下：
首先构建跨模态的全景深度补全网络，获得场景的全景深度图，作为深度补全模块，然后将深度补全模块嵌入全景定位和稠密建图***，构建全景定位和稠密地图重建***，完成大规模环境的三维重建。
(1)构建跨模态的全景深度补全网络，网络包括基于跨模态融合的全景深度补全网络结构，以及基于单位球面面积积分的深度补全损失函数；网络的输入涉及全景图像和稀疏深度两种模态，分别以不同的分辨率，从不同的维度提供环境信息，通过最小化损失函数优化网络中的参数，得到最终稠密全景深度图。包括：
(1-1)球面规一化卷积操作：
通过融合输入模态得到更新后的球面稀疏深度图Sl+1和置信度图Cl+1，输入模态由对应的球面稀疏深度图Sl和置信度图Cl组成，两个输入共享球面卷积。
其中，Ψ表示球面卷积，(u,v)表示输入模态的特征图的全局坐标，(i,j)表示输入模态的特征图邻域的全局坐标，Sl(u,v)表示Sl中坐标为(u,v)点的特征点，Cl(u,v)表示Cl中坐标为(u,v)点的特征点，b表示Sl的网络偏置，τ表示Cl的网络偏置。
(1-2)构建基于跨模态融合的全景深度补全网络，由两部分构成：球面稀疏特征提取网络GSFE和跨模态全景深度补全网络GCmODC。
所述的球面稀疏特征提取网络GSFE是一个编码器-解码器网络结构，由球面规一化卷积、球形池化模块、上采样模块和下采样模块构成；GSFE输出的特征模态包括输出球面稠密深度图和输出置信度图/>Sk和Ck分别表示输入球面稀疏深度图和对应置信度图；GSFE负责为GCmODC提供球面稠密深度图及其对应的置信图。
所述的跨模态全景深度补全网络GCmODC的作用是生成最终的稠密全景深度图：GCmODC将GSFE生成的球面稠密深度图和对应的全景图像Ik在通道维度连接，以融合同分辨率的跨模态特征，并让连接后的数据通过GCmODC，生成最终精确的球面稠密深度图/> ConCat[·,·,Dim＝1]表示通过通道维度连接特征。
(1-3)构建基于单位球面面积积分的深度补全损失函数；
首先，用经度θ和纬度φ表示输入模态的特征图的全局坐标(u,v)， Iw和Ih分别表示输入模态的特征图宽和高；
然后，通过计算单位球面的表面积积分，定义每个像素的权重w(u,v)：
超参数t＝100，单位球半径R＝1.0；
用每个像素的权重计算损失函数：
N表示图像数量，n为图像序号，E(u,v)[·]表示像素均值函数，像素点的预测值/>与真实值的偏差/>计算阈值/> 为最大偏差值；Ⅱ表示满足下标条件，则Ⅱ(·)＝1，否则Ⅱ(·)＝0。
(2)构建全景定位和稠密地图重建***；具体是：
(2-1)使用全景深度补全网络估计稠密深度图，完成SLAM的快速初始化；创建初始地图后，***连续跟踪图像的姿态，同时生成关键帧，并将关键帧存储在缓冲池中。
(2-2)***进行稠密点云重建：首先，***从缓冲池中获取关键帧，以及对应的稀疏深度图，进行深度补全，得到稠密深度图；然后，***的深度融合模块结合RGB全景图像中每个像素及对应的深度值，利用反投影获得每个关键帧的稠密三维点云，并将每帧稠密点云转换到全局坐标系下；最后，将每帧稠密点云与全局的点云地图合并，生成优化后的三维环境模型。
本发明提出基于全景成像模型的全景SLAM***，以同时估计全景图像的姿态和稀疏的环境地图。使用全景深度补全网络估计稠密深度图完成SLAM的快速初始化。在稠密地图重建中，首先***利用关键帧以及对应的稀疏深度图进行深度补全得到稠密深度图。然后，***的深度融合模块结合RGB全景图像中每个像素及对应的深度值，利用反投影获得每个关键帧的稠密三维点云，并将每帧稠密点云转换到全局坐标系下。最后，将稠密点云与全局的点云地图合并，生成优化后的三维环境模型。
本发明与现有技术相比具有以下有益效果：本发明设计的球面归一化卷积操作，能够有效提取稀疏深度模态的特征，最终生成与全景图像对应的同分辨率的全景深度特征图，并根据跨模态深度补全网络在通道维度串联两种模态特征，通过损失函数的约束网络从而得到高精度稠密全景深度图像。本发明进一步提出全景定位与稠密地图重建***，将深度补全模块嵌入***，实现大规模场景的地图重建。
具体实施方式
基于跨模态融合的360度环境深度补全和地图重建方法，首先构建跨模态的全景深度补全网络，获得场景的全景深度图，作为深度补全模块，然后将深度补全模块嵌入全景定位和稠密建图***，构建全景定位和稠密地图重建***，完成大规模环境的三维重建。
(1)构建跨模态的全景深度补全网络，网络包括基于跨模态融合的全景深度补全网络结构，以及基于单位球面面积积分的深度补全损失函数。网络的输入涉及全景图像和稀疏深度两种模态，分别以不同的分辨率，从不同的维度提供环境信息，通过最小化损失函数优化网络中的参数，得到最终稠密全景深度图。针对稀疏深度模态，本发明设计一种球面归一化卷积操作，以在网络结构中提取该模态中的特征。包括：
(1-1)球面规一化卷积操作：由于深度模态数据中深度点分布稀疏且不规则的特性，标准的卷积并不适用。本发明提出一种球面归一化卷积方法，其输入模态由对应的球面稀疏深度图Sl和置信度图Cl组成，两个输入共享球面卷积。输出包含一个深度项和一个置信度项，通过融合Sl和Cl，得到更新后的球面稀疏深度图Sl+1：
其中，Ψ表示球面卷积，(u,v)表示输入模态的特征图的全局坐标，(i,j)表示输入模态的特征图邻域的全局坐标，Sl(u,v)表示Sl中坐标为(u,v)点的特征点，Cl(u,v)表示Cl中坐标为(u,v)点的特征点，b表示Sl的网络偏置，τ表示Cl的网络偏置。
首先计算Sl和Cl的对应元素乘积，然后对结果进行球面卷积，获得中间结果的深度图。同时对Cl进行相同的球面卷积以计算权值。最后，将计算所得权值和中间结果的深度图的元素乘积，加入网络偏置b，得到更新后的球面稀疏深度图Sl+1。
更新后的置信度图Cl+1计算方法与Sl+1相似，但是置信度图的更新不需要球面稀疏深度图Sl的参与：
(1-2)构建基于跨模态融合的全景深度补全网络；
本发明设计了一种深度补全神经网络，能从全景图像和稀疏深度图中提取并融合跨模态特征以生成稠密的全景深度图。构建的全景深度补全网络由两部分构成：球面稀疏特征提取网络GSFE和跨模态全景深度补全网络GCmODC，具体详细描述如下：
GSFE是一个编码器-解码器网络结构，由球面规一化卷积、球形池化模块、上采样模块和下采样模块构成。该结构可以高效处理稀疏深度图，并以很小的计算代价生成稠密的球面深度图。
球面稀疏特征提取网络GSFE输出的特征模态包括输出球面稠密深度图和输出置信度图/> Sk和Ck分别表示输入球面稀疏深度图和对应置信度图。
GSFE负责为GCmODC提供球面稠密深度图及其对应的置信图，稀疏特征提取只关注稀疏深度图，不关注颜色信息。
GCmODC的作用是生成最终的稠密全景深度图：GCmODC将GSFE生成的球面稠密深度图和对应的全景图像Ik在通道维度连接，以融合同分辨率的跨模态特征，并让连接后的数据通过跨模态的全景深度补全网络GCmODC，生成最终精确的球面稠密深度图/> ConCat[·,·,Dim＝1]表示通过通道维度连接特征。
球面稀疏特征提取网络GSFE，以球面稀疏深度图和置信度图作为输入，然后输出更新以上两项。跨模态全景深度补全网络GCmODC则提出了跨模态全景特征融合。它将第一部分的深度图输出和对应的全景图像串联起来作为输入，从而输出最终的稠密全景深度图。
(1-3)构建基于单位球面面积积分的深度补全损失函数；
由于球面全景图中的像素具有空间分配不平衡的特点，传统的损失函数未考虑该特性从而难以约束网络得到精确的深度图，本发明构建带权值的berHu损失函数LWberHu约束网络：
首先，用经度θ和纬度φ表示输入模态的特征图的全局坐标(u,v)， Iw和Ih分别表示输入模态的特征图宽和高。
然后，通过计算单位球面的表面积积分，定义每个像素的权重w(u,v)：
超参数t＝100，单位球半径R＝1.0。
用每个像素的权重计算损失函数：
N表示图像数量，n为图像序号，E(u,v)[·]表示像素均值函数，像素点的预测值/>与真实值的偏差/>计算阈值/> 为最大偏差值；Ⅱ表示满足下标条件，则Ⅱ(·)＝1，否则Ⅱ(·)＝0。
(2)构建全景定位和稠密地图重建***；全景深度补全网络获得场景的全景深度图，作为深度补全模块嵌入全景定位和稠密建图***，完成大规模环境的三维重建；具体是：
(2-1)使用全景深度补全网络估计稠密深度图，完成SLAM的快速初始化；创建初始地图后，***连续跟踪图像的姿态，同时生成关键帧，并将关键帧存储在缓冲池中，为后续的深度补全提供关键帧。
(2-2)***进行稠密点云重建：首先***从缓冲池中获取关键帧以及对应的稀疏深度图，进行深度补全，得到稠密深度图。稀疏深度图是通过将全景SLAM生成的三维路标点反投影到RGB全景图像空间而创建的，将图像及对应的稀疏深度图，输入到跨模态的全景深度补全网络中得到稠密深度图。然后，***的深度融合模块结合RGB图像中每个像素及对应的深度值，利用反投影获得每个关键帧的稠密三维点云，并将每帧稠密点云转换到全局坐标系下。最后，将每帧稠密点云与全局的点云地图合并，生成优化后的三维环境模型。

Claims (1)

1.基于跨模态融合的360度环境深度补全和地图重建方法，其特征在于：
首先构建跨模态的全景深度补全网络，获得场景的全景深度图，将全景深度图作为深度补全模块，然后将深度补全模块嵌入全景定位和稠密建图***，构建全景定位和稠密地图重建***，完成大规模环境的三维重建；
(1)构建跨模态的全景深度补全网络，网络包括基于跨模态融合的全景深度补全网络结构，以及基于单位球面面积积分的深度补全损失函数；网络的输入涉及全景图像和稀疏深度两种模态，分别以不同的分辨率，从不同的维度提供环境信息，通过最小化损失函数优化网络中的参数，得到最终稠密全景深度图；包括：
(1-1)球面规一化卷积操作：
通过融合输入模态得到更新后的球面稀疏深度图Sl+1和置信度图Cl+1，输入模态由对应的球面稀疏深度图Sl和置信度图Cl组成，两个输入共享球面卷积；
其中，Ψ表示球面卷积，(u,v)表示输入模态的特征图的全局坐标，(i,j)表示输入模态的特征图邻域的全局坐标，Sl(u,v)表示Sl中坐标为(u,v)点的特征点，Cl(u,v)表示Cl中坐标为(u,v)点的特征点，b表示Sl的网络偏置，τ表示Cl的网络偏置；
(1-2)构建基于跨模态融合的全景深度补全网络，由两部分构成：球面稀疏特征提取网络GSFE和跨模态全景深度补全网络GCmODC；
所述的球面稀疏特征提取网络GSFE是一个编码器-解码器网络结构，由球面规一化卷积、球形池化模块、上采样模块和下采样模块构成；GSFE输出的特征模态包括输出球面稠密深度图和输出置信度图/> Sk和Ck分别表示输入球面稀疏深度图和对应置信度图；GSFE负责为GCmODC提供球面稠密深度图及其对应的置信图；
所述的跨模态全景深度补全网络GCmODC的作用是生成最终的稠密全景深度图：GCmODC将GSFE生成的球面稠密深度图和对应的全景图像Ik在通道维度连接，以融合同分辨率的跨模态特征，并让连接后的数据通过GCmODC，生成最终精确的球面稠密深度图/> ConCat[·,·,Dim＝1]表示通过通道维度连接特征；
(1-3)构建基于单位球面面积积分的深度补全损失函数；
首先，用经度θ和纬度φ表示输入模态的特征图的全局坐标(u,v)， Iw和Ih分别表示输入模态的特征图宽和高；
然后，通过计算单位球面的表面积积分，定义每个像素的权重w(u,v)：
超参数t＝100，单位球半径R＝1.0；
用每个像素的权重计算损失函数：
N表示图像数量，n为图像序号，Ε(u,v)[·]表示像素均值函数，像素点的预测值/>与真实值/>的偏差/>计算阈值/> 为最大偏差值；Ⅱ表示满足下标条件，则Ⅱ(·)＝1，否则Ⅱ(·)＝0；
(2)构建全景定位和稠密地图重建***；具体是：
(2-1)使用全景深度补全网络估计稠密深度图，完成SLAM的快速初始化；创建初始地图后，***连续跟踪图像的姿态，同时生成关键帧，并将关键帧存储在缓冲池中；
(2-2)***进行稠密点云重建：首先，***从缓冲池中获取关键帧，以及对应的稀疏深度图，进行深度补全，得到稠密深度图；然后，***的深度融合模块结合RGB全景图像中每个像素及对应的深度值，利用反投影获得每个关键帧的稠密三维点云，并将每帧稠密点云转换到全局坐标系下；最后，将每帧稠密点云与全局的点云地图合并，生成优化后的三维环境模型。
CN202111341830.7A 2021-11-12 2021-11-12 基于跨模态融合的360度环境深度补全和地图重建方法 Active CN114119889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111341830.7A CN114119889B (zh) 2021-11-12 2021-11-12 基于跨模态融合的360度环境深度补全和地图重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111341830.7A CN114119889B (zh) 2021-11-12 2021-11-12 基于跨模态融合的360度环境深度补全和地图重建方法

Publications (2)

Publication Number Publication Date
CN114119889A CN114119889A (zh) 2022-03-01
CN114119889B true CN114119889B (zh) 2024-04-09

Family

ID=80379204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111341830.7A Active CN114119889B (zh) 2021-11-12 2021-11-12 基于跨模态融合的360度环境深度补全和地图重建方法

Country Status (1)

Country Link
CN (1) CN114119889B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078869A (zh) * 2022-10-27 2023-11-17 北京石头创新科技有限公司 彩色三维地图显示方法及装置
CN117437363B (zh) * 2023-12-20 2024-03-22 安徽大学 基于深度感知迭代器的大规模多视图立体方法
CN117456124B (zh) * 2023-12-26 2024-03-26 浙江大学 一种基于背靠背双目鱼眼相机的稠密slam的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416840A (zh) * 2018-03-14 2018-08-17 大连理工大学 一种基于单目相机的三维场景稠密重建方法
CN109087349A (zh) * 2018-07-18 2018-12-25 亮风台（上海）信息科技有限公司 一种单目深度估计方法、装置、终端和存储介质
CN110021043A (zh) * 2019-02-28 2019-07-16 浙江大学 一种基于立体匹配和置信度传播的场景深度获取方法
CN110097589A (zh) * 2019-04-29 2019-08-06 广东工业大学 一种应用于稀疏地图稠密化的深度补全方法
CN110910327A (zh) * 2019-11-26 2020-03-24 福州大学 一种基于掩模增强网络模型的无监督深度补全方法
CN112435325A (zh) * 2020-09-29 2021-03-02 北京航空航天大学 基于vi-slam和深度估计网络的无人机场景稠密重建方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11468585B2 (en) * 2019-08-27 2022-10-11 Nec Corporation Pseudo RGB-D for self-improving monocular slam and depth prediction
CN112749594B (zh) * 2019-10-31 2022-04-22 浙江商汤科技开发有限公司 信息补全方法、车道线识别方法、智能行驶方法及相关产品
EP4115392A4 (en) * 2020-03-04 2023-08-23 Magic Leap, Inc. SYSTEMS AND PROCESSES FOR EFFICIENT GENERATION OF FLOOR PLANS FROM 3D SCANS OF INTERIOR SCENES
RU2745010C1 (ru) * 2020-08-25 2021-03-18 Самсунг Электроникс Ко., Лтд. Способы реконструкции карты глубины и электронное вычислительное устройство для их реализации
CN114842260B (zh) * 2022-05-10 2024-06-04 杭州师范大学 一种基于蓝图分离卷积的点云分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416840A (zh) * 2018-03-14 2018-08-17 大连理工大学 一种基于单目相机的三维场景稠密重建方法
CN109087349A (zh) * 2018-07-18 2018-12-25 亮风台（上海）信息科技有限公司 一种单目深度估计方法、装置、终端和存储介质
CN110021043A (zh) * 2019-02-28 2019-07-16 浙江大学 一种基于立体匹配和置信度传播的场景深度获取方法
CN110097589A (zh) * 2019-04-29 2019-08-06 广东工业大学 一种应用于稀疏地图稠密化的深度补全方法
CN110910327A (zh) * 2019-11-26 2020-03-24 福州大学 一种基于掩模增强网络模型的无监督深度补全方法
CN112435325A (zh) * 2020-09-29 2021-03-02 北京航空航天大学 基于vi-slam和深度估计网络的无人机场景稠密重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ruyu Liu,et al..Towards SLAM-Based Outdoor Localization using Poor GPS and 2.5D Building Models.IEEE.2019,全文. *
基于多方向滤波的强边缘深度图像补全方法;吕浩;陈世峰;;集成技术;20161115(第06期);全文 *

Also Published As

Publication number Publication date
CN114119889A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN114119889B (zh) 基于跨模态融合的360度环境深度补全和地图重建方法
CN111062873B (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
Moreau et al. Lens: Localization enhanced by nerf synthesis
CN104376552B (zh) 一种3d模型与二维图像的虚实配准方法
JP7178396B2 (ja) 入力映像に含まれた客体の３次元ポーズの推定のためのデータを生成する方法およびコンピュータシステム
Won et al. Sweepnet: Wide-baseline omnidirectional depth estimation
US11417069B1 (en) Object and camera localization system and localization method for mapping of the real world
CN111028155B (zh) 一种基于多对双目相机的视差图像拼接方法
CN111563415A (zh) 一种基于双目视觉的三维目标检测***及方法
CN112750203B (zh) 模型重建方法、装置、设备及存储介质
Won et al. End-to-end learning for omnidirectional stereo matching with uncertainty prior
CN113313732A (zh) 一种基于自监督学习的前视场景深度估计方法
CN111062326A (zh) 一种基于几何驱动的自监督人体3d姿态估计网络训练方法
WO2022100419A1 (zh) 一种图像处理方法及相关设备
CN111325782A (zh) 一种基于多尺度统一的无监督单目视图深度估计方法
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
CN115049794A (zh) 通过深度补全生成稠密的全局点云图方法及***
Lu et al. Single image 3d vehicle pose estimation for augmented reality
CN117352126A (zh) 肌肉受力可视化方法、装置、计算机设备以及存储介质
US12045998B2 (en) Systems and methods for neural implicit scene representation with dense, uncertainty-aware monocular depth constraints
CN115330935A (zh) 一种基于深度学习的三维重建方法及***
CA3172195A1 (en) Object and camera localization system and localization method for mapping of the real world
Cui et al. Underwater depth estimation for spherical images
CN114119891A (zh) 一种机器人单目半稠密地图三维重建方法和重建***
CN115272450A (zh) 一种基于全景分割的目标定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant