CN112862959A - 基于语义先验的实时概率单目稠密重建方法及*** - Google Patents

基于语义先验的实时概率单目稠密重建方法及*** Download PDF

Info

Publication number
CN112862959A
CN112862959A CN202110309748.XA CN202110309748A CN112862959A CN 112862959 A CN112862959 A CN 112862959A CN 202110309748 A CN202110309748 A CN 202110309748A CN 112862959 A CN112862959 A CN 112862959A
Authority
CN
China
Prior art keywords
probability
depth
semantic
real
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110309748.XA
Other languages
English (en)
Other versions
CN112862959B (zh
Inventor
季向阳
娄志强
邸研
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110309748.XA priority Critical patent/CN112862959B/zh
Publication of CN112862959A publication Critical patent/CN112862959A/zh
Application granted granted Critical
Publication of CN112862959B publication Critical patent/CN112862959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于语义先验的实时概率单目稠密重建方法及***，所述方法包括以下步骤：S1，定义一帧图像It，根据关键帧Ik对应的概率加权深度图Dk以及两帧之间的相对位姿
Figure DDA0002989043110000011
计算It对应的深度图Dt；S2，得到It对应的深度图Dt后，采用SGM法得到关键帧Ik的本地深度观测参数；S3，对本地深度观测参数进行本地初始化处理；S4，利用更新的本地初始化结果时序更新Ik的概率模型，然后再利用空间上概率加权更新深度图Dk；S5，当It转化为关键帧时，根据关键帧Ik的概率模型传播到It上以持续利用时序信息。根据本发明的基于语义先验的实时概率单目稠密重建方法，能够更好地提高稠密重建质量。

Description

基于语义先验的实时概率单目稠密重建方法及***
技术领域
本发明涉及三维视觉技术领域，尤其是涉及一种基于语义先验的实时概率单目稠密重建方法及***。
背景技术
如今，智能交通与自动驾驶发展迅速，车辆在行驶过程中需要有感知周围环境三维结构的能力，雷达虽然可以完成这一任务，但是它成本高昂且难以利用场景的语义信息，相机成本低廉且能捕捉到丰富的颜色以及结构等信息，因此在动态场景中如何利用图像完成稠密重建已经成为目前的研究热点。视觉稠密重建技术能输出图像中绝大部像素的深度，恢复图像损失的三维场景信息，可以广泛运用于机器人导航、路径规划以及三维物体检测等任务中。
但是在稠密重建中，目前还存在许多棘手的问题，如有限的计算资源、多变的场景深度范围以语义信息的合理引入等。在现有技术中，通常采用传统的SFM(Structure fromMotion运动恢复结构)方法、基于滤波的方法和基于CNN(Convolutional Neural Network卷积神经网络)的方法。
传统的SFM方法基于优化来重建稠密深度，有巨大的计算成本，难以达到实时稠密重建的要求；基于滤波的方法虽然能高效求解深度，但是它们难以引入多样的语义信息，并且绝大多数基于滤波的方法对单个像素的深度建模，建模时没有考虑像素间的深度关系，未考虑空间结构信息，这进一步降低稠密重建结果的准确度；基于CNN的方法需要数据集来训练，有监督方法的则还需要真实深度图，这一条件更加苛刻，而现实场景又是复杂多样的，因而目前这类方法都有很强的数据依赖性，在完全不同的场景下有时甚至难以输出合理的结果。因此，上述技术存在改进的空间。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的一个目的在于提出一种基于语义先验的实时概率单目稠密重建方法，所述基于语义先验的实时概率单目稠密重建方法，能够更好地提高稠密重建质量。
本发明还提出了一种采用了上述基于语义先验的实时概率单目稠密重建方法的***。
根据本发明实施例的基于语义先验的实时概率单目稠密重建方法，包括以下步骤：
S1，定义一帧图像It，根据关键帧Ik对应的概率加权深度图Dk以及两帧之间的相对位姿
Figure BDA0002989043090000021
计算It对应的深度图Dt；
S2，得到It对应的深度图Dt后，采用SGM法得到关键帧Ik的本地深度观测参数；
S3，对本地深度观测参数进行本地初始化处理；
S4，利用更新的本地初始化结果时序更新kk的概率模型，然后再利用空间上概率加权更新深度图Dk；
S5，当It转化为关键帧时，根据关键帧Ik的概率模型传播到It上以持续利用时序信息。
根据本发明的基于语义先验的实时概率单目稠密重建方法，能够更好地提高稠密重建质量。
根据本发明一个实施例的基于语义先验的实时概率单目稠密重建方法，关键帧Ik对应有像素uk，即：
Figure BDA0002989043090000022
其中，K为相机内参矩阵，ut为It上对应的uk像素坐标，D(u)表示像素u的深度。
根据本发明一个实施例的基于语义先验的实时概率单目稠密重建方法，在SGM法中的损失函数Lc引入语义稀疏函数，即：
LM＝α(S(p1)，S(p2))Lc
Figure BDA0002989043090000023
其中，p1与p2为两帧上的对应匹配点，S(p)表示像素p的语义，β为预设参数，且β＞1。
根据本发明一个实施例的基于语义先验的实时概率单目稠密重建方法，对本地深度观测参数进行本地初始化处理包括：像素深度概率模型初始化处理和区域平面概率模型初始化处理。
根据本发明一个实施例的基于语义先验的实时概率单目稠密重建方法，像素深度概率模型的本地深度
Figure BDA0002989043090000024
的概率密度函数为：
Figure BDA0002989043090000031
其中，π表示u为内点的概率，
Figure BDA0002989043090000032
分别是高斯分布
Figure BDA0002989043090000033
的均值与方差，zl，zr分别是均匀分布
Figure BDA0002989043090000034
的左右边界。
根据本发明一个实施例的基于语义先验的实时概率单目稠密重建方法，在选取合适的先验概率分布后，关于πu，zu的后验概率分布为高斯分布和贝塔分布的乘积，即：
Figure BDA0002989043090000035
其中au，bu为贝塔分布
Figure BDA0002989043090000036
的参数，μu，σu为高斯分布
Figure BDA0002989043090000037
的参数。
根据本发明一个实施例的基于语义先验的实时概率单目稠密重建方法，区域平面概率模型采用vMF分布进行建模，即：
Figure BDA0002989043090000038
其中xn是一个随机的三维单位向量，μ为该分布的平均单位向量，kn为集中参数。
根据本发明一个实施例的基于语义先验的实时概率单目稠密重建方法，像素深度概率模型和区域平面概率模型通过软关联方式关联，即像素p属于区域Rk的概率为：
Pk(p)＝Pcolor(I(p)，I(pk))Pdistance(p，pc)
Figure BDA0002989043090000039
其中Pcolor，Pdistance，Psemantic和Pdepth分别表示颜色、像素距离、语义以及深度概率，pk表示区域Rk的中心点，S(p)和I(p)分别表示像素p的语义和颜色，dp表示像素p的后验深度估计值，
Figure BDA00029890430900000310
表示利用区域Rk的后验平面参数估计值计算得到的像素p深度。
根据本发明一个实施例的基于语义先验的实时概率单目稠密重建方法，当It为转化为关键帧时，根据z个关键帧与It之间的相对位姿，通过语义SGM得到关键帧It的初始本地深度观测参数；当It未为转化为关键帧时，根据It与关键帧kk之间的相对位姿，通过语义SGM输出关键帧Ik的本地深度观测参数。
根据本发明的第二方面的基于语义先验的实时概率单目稠密重建***，采用了如第一方面任一种所述的基于语义先验的实时概率单目稠密重建方法。所述***与上述的基于语义先验的实时概率单目稠密重建方法相对于现有技术所具有的优势相同，在此不再赘述。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明实施例的基于语义先验的实时概率单目稠密重建方法的流程图一图；
图2是根据本发明实施例的基于语义先验的实时概率单目稠密重建方法的流程图二图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
下面参考图1和图2描述根据本发明实施例的基于语义先验的实时概率单目稠密重建方法。如图1所示，根据本发明实施例的根据本发明实施例的基于语义先验的实时概率单目稠密重建方法，包括以下步骤：
S1，定义一帧图像It，根据关键帧Ik对应的概率加权深度图Dk以及两帧之间的相对位姿
Figure BDA0002989043090000041
计算It对应的深度图Dt；
S2，得到It对应的深度图Dt后，采用SGM法(Semi Global Matching半全局匹配)得到关键帧kk的本地深度观测参数；
S3，对本地深度观测参数进行本地初始化处理；
S4，利用更新的本地初始化结果时序更新Ik的概率模型，然后再利用空间上概率加权更新深度图Dk，这样有利于不断优化关键帧深度，提升关键帧的准确性；
S5，当It转化为关键帧时，根据关键帧Ik的概率模型传播到It上以持续利用时序信息。
根据本发明的基于语义先验的实时概率单目稠密重建方法，能够更好地提高稠密重建质量。
根据本发明一个实施例的基于语义先验的实时概率单目稠密重建方法，关键帧kk对应有像素uk，即：
Figure BDA0002989043090000051
其中，K为相机内参矩阵，ut为It上对应的uk像素坐标，D(u)表示像素u的深度。
需要说明的是，得到It大部分像素的深度，然后使用导向滤波作为后处理去填补空洞并平滑深度图，最后输出It的深度图Dt。
根据本发明一个实施例的基于语义先验的实时概率单目稠密重建方法，在SGM法中的损失函数Lc引入语义稀疏函数，即：
LM＝α(S(p1)，S(p2))Lc
Figure BDA0002989043090000052
其中，p1与p2为两帧上的对应匹配点，S(p)表示像素p的语义，β为预设参数，且β＞1。
根据本发明一个实施例的基于语义先验的实时概率单目稠密重建方法，对本地深度观测参数进行本地初始化处理包括：像素深度概率模型初始化处理和区域平面概率模型初始化处理。
进一步地，针对像素深度概率模型，直接用深度图Dk上每个像素的深度作为本地观测，当Dk上某个像素深度不存在或者不在合理深度范围内时，认为本次观测为外点，用均匀分布拟合，反之使用高斯分布和均匀分布拟合。
进一步地，针对区域平面概率模型，无法从Dk直接得到区域平面参数的本地观测，可以对Ik上的某个区域
Figure BDA0002989043090000053
其中心为
Figure BDA0002989043090000054
为
Figure BDA0002989043090000055
一定半径范围的邻域。进一步地，通过计算
Figure BDA0002989043090000056
内每个像素属于该区域的概率Pi(p)，当Pi(p)大于预设阈值T2且像素p存在本地深度观测时，将p纳入区域
Figure BDA0002989043090000057
的可信点集
Figure BDA0002989043090000058
进一步地，随机在
Figure BDA0002989043090000059
中选取三个不同的点，依据这三个点可以算出
Figure BDA00029890430900000510
的平面法向量以及中心点深度，进一步地，重复这一过程，就能得到一组中心点深度观测
Figure BDA0002989043090000061
以及对应的一组平面法向量观测
Figure BDA0002989043090000062
进一步地，得到Cd与Cv后，若Cd与Cv包含观测数量过少，则认定本区域的本次观测时外点，这样可以直接使用均匀分布建模。进一步地，当数量足够时，可以采用EM算法初始化本地观测的概率模型，例如，在一个具体的实施例中，以计算法向量概率模型参数的EM算法来做具体说明，在期望计算步骤，我们计算每个观测的内点概率，即
Figure BDA0002989043090000063
Figure BDA0002989043090000064
Figure BDA0002989043090000065
进一步地，在最大化步骤，可以更新参数，即
Figure BDA0002989043090000066
Figure BDA0002989043090000067
Figure BDA0002989043090000068
μ←μ/||μ||2
Figure BDA0002989043090000069
这样迭代数次直至最大迭代次数或收敛，若最后内点概率π小于阈值Tπ，则认为是外点，依然使用均匀分布去拟合。
根据本发明一个实施例的基于语义先验的实时概率单目稠密重建方法，像素深度概率模型的本地深度
Figure BDA00029890430900000610
的概率密度函数为：
Figure BDA00029890430900000611
其中，π表示u为内点的概率，
Figure BDA00029890430900000612
分别是高斯分布
Figure BDA00029890430900000613
的均值与方差，zl，zr分别是均匀分布
Figure BDA00029890430900000614
的左右边界。
根据本发明一个实施例的基于语义先验的实时概率单目稠密重建方法，在选取合适的先验概率分布后，关于πu，zu的后验概率分布为高斯分布和贝塔分布的乘积，即：
Figure BDA00029890430900000615
其中au，bu为贝塔分布
Figure BDA00029890430900000616
的参数，μu，σu为高斯分布
Figure BDA00029890430900000617
的参数。
进一步地，当得到一个关于μ的更新的深度观测后，更新的后验概率形式为：
Figure BDA0002989043090000071
具体地，使用矩匹配方法可以将这一形式转换为q(πu，du|a′u，b′u，μ′u，σ′u)，即完成了更新的观测信息的融合与后验概率的参数更新，同时依然保持了高斯分布和贝塔分布的形式。
根据本发明一个实施例的基于语义先验的实时概率单目稠密重建方法，区域平面概率模型采用vMF分布进行建模，即：
Figure BDA0002989043090000072
其中xn是一个随机的三维单位向量，μ为该分布的平均单位向量，kn为集中参数。
进一步地，vMF分布的均值为：
Figure BDA0002989043090000073
其中Ij(·)表示第一类修正贝塞尔曲线，D表示xn维数。
根据本发明一个实施例的基于语义先验的实时概率单目稠密重建方法，像素深度概率模型和区域平面概率模型通过软关联方式关联，即像素p属于区域Rk的概率为：
Pk(p)＝Pcolor(I(p)，I(pk))Pdistance(p，pc)
Figure BDA0002989043090000074
其中Pcolor，Pdistance，Psemantic和Pdepth分别表示颜色、像素距离、语义以及深度概率，pk表示区域Rk的中心点，S(p)和I(p)分别表示像素p的语义和颜色，dp表示像素p的后验深度估计值，
Figure BDA0002989043090000075
表示利用区域Rk的后验平面参数估计值计算得到的像素p深度。
进一步地，Pk(p)中的每个概率分量都具有统一的形式，即
P*(a，b)＝k1 exp(-k2 L(a，b))
其中k1和k2为每个概率分量对应的权重参数。
进一步地，对于语义概率分量Psemantic，分量公式为：
Figure BDA0002989043090000081
进一步地，对于其他概率分量，分量公式为：
L(a，b)＝||a-b||2。
进一步地，对于单个像素p，可以属于多个区域{Ri|i∈{1，2，…，m}}，进一步地，对每个区域可以分布计算概率Pi(p)，这样根据每个区域的后验平面参数可以得到一个像素p的深度di(p)，则像素p最终的深度计算公式为：
Figure BDA0002989043090000082
其中，
Figure BDA0002989043090000083
为示性函数，公式为：
Figure BDA0002989043090000084
根据本发明一个实施例的基于语义先验的实时概率单目稠密重建方法，当It为转化为关键帧时，根据z个关键帧与It之间的相对位姿，通过语义SGM得到关键帧It的初始本地深度观测参数；当It未为转化为关键帧时，根据It与关键帧Ix之间的相对位姿，通过语义SGM输出关键帧kk的本地深度观测参数。
综上所述，根据本发明的基于语义先验的实时概率单目稠密重建方法，能够更好地提高稠密重建质量。
本发明还提供了一种基于语义先验的实时概率单目稠密重建***，该***包括上述的基于语义先验的实时概率单目稠密重建方法，从而具有稠密重建质量更高等优点。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于语义先验的实时概率单目稠密重建方法，其特征在于，包括以下步骤：
S1，定义一帧图像It，根据关键帧Ik对应的概率加权深度图Dk以及两帧之间的相对位姿
Figure FDA0002989043080000011
计算It对应的深度图Dt；
S2，得到It对应的深度图Dt后，采用SGM法得到关键帧Ik的本地深度观测参数；
S3，对本地深度观测参数进行本地初始化处理；
S4，利用更新的本地初始化结果时序更新Ik的概率模型，然后再利用空间上概率加权更新深度图Dk；
S5，当It转化为关键帧时，根据关键帧Ik的概率模型传播到It上以持续利用时序信息。
2.根据权利要求1所述的基于语义先验的实时概率单目稠密重建方法，其特征在于，关键帧Ik对应有像素uk，即：
Figure FDA0002989043080000012
其中，K为相机内参矩阵，ut为It上对应的uk像素坐标，D(u)表示像素u的深度。
3.根据权利要求2所述的基于语义先验的实时概率单目稠密重建方法，其特征在于，在SGM法中的损失函数Lc引入语义稀疏函数，即：
LM＝α(S(p1)，S(p2))Lc
Figure FDA0002989043080000013
其中，p1与p2为两帧上的对应匹配点，S(p)表示像素p的语义，β为预设参数，且β＞1。
4.根据权利要求3所述的基于语义先验的实时概率单目稠密重建方法，其特征在于，对本地深度观测参数进行本地初始化处理包括：像素深度概率模型初始化处理和区域平面概率模型初始化处理。
5.根据权利要求4所述的基于语义先验的实时概率单目稠密重建方法，其特征在于，像素深度概率模型的本地深度
Figure FDA0002989043080000014
的概率密度函数为：
Figure FDA0002989043080000015
其中，π表示u为内点的概率，
Figure FDA0002989043080000021
分别是高斯分布
Figure FDA0002989043080000022
的均值与方差，zl，zr分别是均匀分布
Figure FDA0002989043080000023
的左右边界。
6.根据权利要求5所述的基于语义先验的实时概率单目稠密重建方法，其特征在于，在选取合适的先验概率分布后，关于πu，zu的后验概率分布为高斯分布和贝塔分布的乘积，即：
Figure FDA0002989043080000024
其中au，bu为贝塔分布
Figure FDA0002989043080000025
的参数，μu，σu为高斯分布
Figure FDA0002989043080000026
的参数。
7.根据权利要求4所述的基于语义先验的实时概率单目稠密重建方法，其特征在于，区域平面概率模型采用vMF分布进行建模，即：
Figure FDA0002989043080000027
其中xn是一个随机的三维单位向量，μ为该分布的平均单位向量，kn为集中参数。
8.根据权利要求4所述的基于语义先验的实时概率单目稠密重建方法，其特征在于，像素深度概率模型和区域平面概率模型通过软关联方式关联，即像素p属于区域Rk的概率为：
Pk(p)＝Pcolor(I(p)，I(pk))Pdistance(p，pc)
Figure FDA0002989043080000028
其中Pcolor，Pdistance，Psemantic和Pdepth分别表示颜色、像素距离、语义以及深度概率，pk表示区域Rk的中心点，S(p)和I(p)分别表示像素p的语义和颜色，dp表示像素p的后验深度估计值，
Figure FDA0002989043080000029
表示利用区域Rk的后验平面参数估计值计算得到的像素p深度。
9.根据权利要求1所述的基于语义先验的实时概率单目稠密重建方法，其特征在于，当It为转化为关键帧时，根据z个关键帧与It之间的相对位姿，通过语义SGM得到关键帧It的初始本地深度观测参数；当It未为转化为关键帧时，根据It与关键帧Ik之间的相对位姿，通过语义SGM输出关键帧Ik的本地深度观测参数。
10.一种基于语义先验的实时概率单目稠密重建***，其特征在于，采用了根据权利要求1-9中任一项所述的基于语义先验的实时概率单目稠密重建方法。
CN202110309748.XA 2021-03-23 2021-03-23 基于语义先验的实时概率单目稠密重建方法及*** Active CN112862959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110309748.XA CN112862959B (zh) 2021-03-23 2021-03-23 基于语义先验的实时概率单目稠密重建方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110309748.XA CN112862959B (zh) 2021-03-23 2021-03-23 基于语义先验的实时概率单目稠密重建方法及***

Publications (2)

Publication Number Publication Date
CN112862959A true CN112862959A (zh) 2021-05-28
CN112862959B CN112862959B (zh) 2022-07-12

Family

ID=75992737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110309748.XA Active CN112862959B (zh) 2021-03-23 2021-03-23 基于语义先验的实时概率单目稠密重建方法及***

Country Status (1)

Country Link
CN (1) CN112862959B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945265A (zh) * 2017-11-29 2018-04-20 华中科技大学 基于在线学习深度预测网络的实时稠密单目slam方法与***
CN108416840A (zh) * 2018-03-14 2018-08-17 大连理工大学 一种基于单目相机的三维场景稠密重建方法
CN110349249A (zh) * 2019-06-26 2019-10-18 华中科技大学 基于rgb-d数据的实时稠密重建方法及***
CN111998862A (zh) * 2020-07-02 2020-11-27 中山大学 一种基于bnn的稠密双目slam方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945265A (zh) * 2017-11-29 2018-04-20 华中科技大学 基于在线学习深度预测网络的实时稠密单目slam方法与***
CN108416840A (zh) * 2018-03-14 2018-08-17 大连理工大学 一种基于单目相机的三维场景稠密重建方法
CN110349249A (zh) * 2019-06-26 2019-10-18 华中科技大学 基于rgb-d数据的实时稠密重建方法及***
CN111998862A (zh) * 2020-07-02 2020-11-27 中山大学 一种基于bnn的稠密双目slam方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YAN DI 等: "A Unified Framework for Piecewise Semantic Reconstruction in Dynamic Scenes via Exploiting Superpixel Relations", 《2020 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》 *

Also Published As

Publication number Publication date
CN112862959B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN111739078B (zh) 一种基于上下文注意力机制的单目无监督深度估计方法
CN109410307B (zh) 一种场景点云语义分割方法
Yang et al. Unsupervised learning of geometry from videos with edge-aware depth-normal consistency
CN112132893B (zh) 一种适用于室内动态环境的视觉slam方法
Gosala et al. Bird’s-eye-view panoptic segmentation using monocular frontal view images
CN111428765B (zh) 一种基于全局卷积、局部深度卷积融合的目标检测方法
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
Bešić et al. Dynamic object removal and spatio-temporal RGB-D inpainting via geometry-aware adversarial learning
CN113313732A (zh) 一种基于自监督学习的前视场景深度估计方法
CN112465021B (zh) 基于图像插帧法的位姿轨迹估计方法
CN107194929B (zh) 一种对肺部ct图像感兴趣区域的追踪方法
CN114445265A (zh) 等矩形投影立体匹配的两阶段深度估计机器学习算法和球面扭曲层
Rosu et al. Semi-supervised semantic mapping through label propagation with semantic texture meshes
CN110910327A (zh) 一种基于掩模增强网络模型的无监督深度补全方法
CN115661246A (zh) 一种基于自监督学习的姿态估计方法
CN115063447A (zh) 一种基于视频序列的目标动物运动追踪方法及相关设备
Wang et al. Unsupervised learning of 3d scene flow from monocular camera
US11308368B2 (en) Image processing using generative graphical models
CN113628246B (zh) 一种基于3d卷积模板更新的孪生网络目标跟踪方法
CN117523100A (zh) 基于神经网络与多视图一致性的三维场景重建方法和装置
CN117612153A (zh) 基于图像与点云信息补全的三维目标识别与定位方法
CN117726747A (zh) 补全弱纹理场景的三维重建方法、装置、存储介质和设备
CN110458867B (zh) 一种基于注意力循环网络的目标跟踪方法
CN112862959B (zh) 基于语义先验的实时概率单目稠密重建方法及***
Yin et al. Novel view synthesis for large-scale scene using adversarial loss

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210528

Assignee: ZHONGQU (BEIJING) TECHNOLOGY CO.,LTD.

Assignor: TSINGHUA University

Contract record no.: X2022110000074

Denomination of invention: Real-time probabilistic monocular density reconstruction method and system based on semantic prior

Granted publication date: 20220712

License type: Common License

Record date: 20221103

EE01 Entry into force of recordation of patent licensing contract