CN112288788B - 单目图像深度估计方法 - Google Patents

单目图像深度估计方法 Download PDF

Info

Publication number
CN112288788B
CN112288788B CN202011084248.2A CN202011084248A CN112288788B CN 112288788 B CN112288788 B CN 112288788B CN 202011084248 A CN202011084248 A CN 202011084248A CN 112288788 B CN112288788 B CN 112288788B
Authority
CN
China
Prior art keywords
image
depth
training
loss
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011084248.2A
Other languages
English (en)
Other versions
CN112288788A (zh
Inventor
霍智勇
乔璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202011084248.2A priority Critical patent/CN112288788B/zh
Publication of CN112288788A publication Critical patent/CN112288788A/zh
Application granted granted Critical
Publication of CN112288788B publication Critical patent/CN112288788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种单目图像深度估计方法，所述方法包括：获取训练图像；将所获取的训练图像输入预先构建的深度预测网络中进行训练，得到对应的预测深度图；将所得到的预测深度图与对应的GT深度图采用排序损失、多尺度结构相似损失和多尺度尺度不变梯度匹配损失的联合损失函数进行联合损失计算，得到对应的单目深度估计图。上述的方案，可以提高单目图像深度估计的准确性。

Description

单目图像深度估计方法
技术领域
本发明涉及图像处理技术领域，具体地涉及一种单目图像深度估计方法。
背景技术
从二维图像中获取三维深度信息是计算机视觉领域的一个重要问题，也是理解场景几何关系的重要组成部分。图像深度信息在同时定位和映射(SLAM)、导航、目标检测和语义分割等领域有着重要应用。
单目图像深度估计，和传统的基于多视点以及双目立体匹配的方法不同，仅利用单个视点的图像来进行深度估计。因为现实生活中绝大部分应用场景均只提供单视点的数据，所以单目图像深度估计更贴近实际的应用需求。
但是，现有的单目图像深度估计方法存在着准确性低的问题。
发明内容
本发明解决的技术问题是提供一种单目图像深度估计方法，以提高单目图像深度估计的准确性。
为解决上述技术问题，本发明实施例提供了一种单目图像深度估计方法，所述方法包括：
获取训练图像；
将所获取的训练图像输入预先构建的深度预测网络中进行训练，得到对应的预测深度图；
将所得到的预测深度图与对应的GT深度图采用排序损失、多尺度结构相似损失和多尺度尺度不变梯度匹配损失的联合损失函数进行联合损失计算，得到对应的单目深度估计图。
可选地，在将所获取的训练图像输入预先构建的深度预测网络中进行训练之前，还包括：
将所述训练图像进行扩充，得到第一训练图像；
将扩充后的训练图像调整至分辨率，得到第二训练图像；
将所述第二训练图像进行归一化处理，得到预处理后的训练图像。
可选地，所述将所述训练图像进行扩充，包括：将所述训练图像进行缩放、旋转和随机水平翻转处理中至少一项。
可选地，所述将所获取的训练图像输入预先构建的深度预测网络中进行训练，包括：
将所述预处理后的训练图像输入预设的ResNet50网络，得到分辨率依次下降的多个特定层特征图像；
对所述多个特定层特征图像执行逆序遍历，获取遍历至的当前特定层特征图像；
将当前特定层特征图像与对应的特征融合图像进行合并，生成与前一位序的特定层特征图像分辨率相同的图像，直至所述多个特定层特征图像遍历完成；其中，所述对应的特征融合图像为对下一特定层特征图像执行残差卷积后与下一特定层特征图像后的特定层特征图像的双线性上采样图像进行融合得到。
可选地，所述联合损失函数为：
L＝Lrank+αLms-ssim+βLgrad；
其中，L表示所述联合损失函数，Lrank表示基于随机采样的排序损失，Lms-ss表示多尺度结构相似损失函数，Lgrad表示多尺度尺度不变梯度匹配损失，α表示多尺度结构相似损失函数的平衡因子，β表示多尺度尺度不变梯度匹配损失函数的平衡因子。
可选地，所述特定层特征图像的数量为4个。
可选地，所述GT深度图利用flownet2.0获得双目图像的光流的的水平分量。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
上述的方案，获取训练图像；将所获取的训练图像输入预先构建的深度预测网络中进行训练，得到对应的预测深度图；将所得到的预测深度图与对应的GT深度图采用排序损失、多尺度结构相似损失和多尺度尺度不变梯度匹配损失的联合损失函数进行联合损失计算，得到对应的单目深度估计图。该方案在训练时，将预测出的深度图与GT深度图进行排序损失、多尺度结构相似损失以及多尺度尺度不变梯度匹配损失的联合损失函数计算，改善在仅采用基于随机采样点对的排序损失下造成的预测深度图几何不一致性以及边缘模糊的问题，故可以提高预测深度图的准确性。
附图说明
图1是本发明实施例的一单目图像深度估计方法的流程示意图；
图2是本发明实施例中将所获取的训练图像输入预先构建的深度预测网络中进行训练的流程示意图。
具体实施方式
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
由于单视点图像能提供的信息相对缺乏且严重依赖场景语义，在一个数据集上进行训练时采用的方法运用到另一类数据集上往往会表现得更差，因此如何提高单目深度估计的泛化性和准确性仍然具有挑战性。
对于深度估计数据集，先前采用深度传感器(如Kinect、激光扫描仪)获取精确的度量深度，但都局限于刚性对象或稀疏重建。这些数据集在多样性方面都是有限的，并且无法泛化到室外的图像。另一种获取RGB-D图像的来源是合成数据，这些数据集没有噪声，且具有精确的度量深度和明显的深度不连续性，但由于合成数据和真实数据之间存在域差异，因此需要进行域自适应以适应实际应用。为了探索视觉世界的多样性，人们越来越关注室外场景图像，例如：Chen等人提出包含由人工注释的相对深度点对的野外数据集DIW，Li等人提出的包含了上百个知名景点的网络数据集Megadepth，以及Ke Xian等人提出的通过网上收集的双目图像获得密集相对深度图的数据集ReDWeb。
传统的单目深度估计基于几何方法，依靠SLAM或运动恢复结构(Structure FromMotion,SfM)技术估计相机姿态并获得稀疏点云，然后通过多视点立体(Multi ViewStereo，MVS)技术获得密集深度值。这类方法可以产生高精度的重建图像，但需要遵循严格的使用条件，此外，这类方法无法很好地处理图像中的非刚性区域。近年来，深度学习得到了快速发展，基于深度学习的单目图像深度估计方法开始得到关注。Eigen D等人首次提出用卷积神经网络进行单目深度估计，基本思想是运用了一个两尺度神经网络，分别是全局粗略尺度网络和局部精细尺度网络，前者得到一个低分辨率的粗略深度图，再用后者去改善前者的输出得到最后的精细深度图，但预测出的深度图精度低，对细节方面表现较差。之后，Eigen D在此基础上进行了一些改进，在原有网络基础上增加了第三个尺度网络，来输出更高分辨率的图片。但这种基于多尺度网络的方法采用具有真实深度的数据集进行有监督训练，此类数据集制作难度较大，数量也较少，算法的适应场景和泛化能力受到数据集的限制。Chen等人提出了采用相对深度进行深度预测的方法，即通过训练包含由人工标注的相对深度注视点对的野外数据集，预测出输入图像的相对深度信息。Ke Xian等人对由双目图像获得的GT深度图和由深度卷积网络生成的预测深度图进行随机采样，并使用Chen等提出的成对排序损失。
综上所述，采用基于深度学习的卷积神经网络可以自动提取图像特征来描述深度信息，进而获得深度预测。然而这方面仍然存在泛化性差，以及深度图精度不够等问题。
本发明实施例中的技术方案通过在训练时，将预测出的深度图与GT深度图进行排序损失、多尺度结构相似损失以及多尺度尺度不变梯度匹配损失的联合损失函数计算，改善在仅采用基于随机采样点对的排序损失下造成的预测深度图几何不一致性以及边缘模糊的问题，故可以提高预测深度图的准确性
图1是本发明实施例的一单目图像深度估计方法的流程示意图。参考图1，本发明实施例中的一种单目图像深度估计方法，具体可以包括：
步骤S101：获取训练图像。
步骤S102：将所获取的训练图像输入预先构建的深度预测网络中进行训练，得到对应的预测深度图。
步骤S103：将所得到的预测深度图与对应的GT深度图采用排序损失、多尺度结构相似损失和多尺度尺度不变梯度匹配损失的联合损失函数进行联合损失计算，得到对应的单目深度估计图。
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
执行步骤S101，获取训练图像。
在具体实施中，为了提高深度预测的泛化能力，所需的训练数据集应该更加多样化，NYU v2数据集只适用于室内场景，KITTI数据集仅包含道路相关场景，Make3D数据集较小，仅包含959个户外场景数据，基于此，本发明在获取训练数据集时选用ReDWeb数据集，该数据集包含3600对RGB图像以及GT深度图。由双目立体图像对通过flownet2.0网络获得光流，并将光流的水平分量作为监督的深度图，但由于部分图像中包含天空这种大面积无纹理区域，因此使用预先训练好的RefineNet网络对天空区域进行分割，并将分割出的天空区域设置为GT深度图中像素最大值。同时，使用Chen等人提出的DIW数据集中包含1410张图像的验证集作为本文的验证数据集。
本发明实施例中，获取训练图像之后，还包括将上述训练图像样本数据进行预处理的步骤。具体而言，可以包括：首先运用数据扩充方法对训练图像样本数据进行扩充，包括缩放、旋转、随机水平翻转处理，得到对应的第一训练图像；其次，将扩充后得到的第一训练图像调整至预设分辨率，如384×384，得到第二训练图像，以便送入编码器为ResNet的深度预测网络中；最后，对经过上述预处理操作得到的样本图像数据集进行归一化处理。其中，所述归一化处理所采用的计算公式如下：
Figure BDA0002719801810000051
其中，xi[channel]表示经过预处理后得到的训练图像的三通道图像像素值，yi表示对所述训练图像进行归一化处理后的像素值，mean[channel]表示所述训练图像的像素值的均值，std[channel]表示所述训练图像的像素值的标准差。
本发明一实施例中，所述设置为mean＝[0.485,0.456,0.406]，设置为std＝[0.229,0.224,0.225]。
执行步骤S102，将所获取的训练图像输入预先构建的深度预测网络中进行训练，得到对应的预测深度图。
在具体实施中，在将所获取的训练图像输入预先构建的深度预测网络中进行训练时：
首先，将所述预处理后的训练图像输入预设的ResNet50网络，得到分辨率依次下降的多个特定层特征图像。
请参见图2，例如，将经过预处理后尺寸为384×384的训练图像数据作为深度预测网络ResNet50的输入，根据输出特征图的分辨率将作为编码器的ResNet50网络分成4个不同的构建模块，每个模块输出的特征图尺寸(以W×H×C形式)分别为96×96×256、48×48×512、24×24×1024、12×12×2048，最终特征图的大小是输入图像的1/32。
其次，对所述多个特定层特征图像执行逆序遍历，获取遍历至的当前特定层特征图像，并将当前特定层特征图像与对应的特征融合图像进行合并，生成与前一位序的特定层特征图像分辨率相同的图像，直至所述多个特定层特征图像遍历完成；其中，所述对应的特征融合图像为对下一特定层特征图像执行残差卷积后与下一特定层特征图像后的特定层特征图像的双线性上采样图像进行融合得到。
对由ResNet得到的特征图直接进行简单的上采样或反卷积，则将生成粗略的预测深度图。对此有两种方法可以使用来获得更好的预测结果，一种是空洞卷积，另一种是多尺度特征融合。但由于前者会占用过多的内存，并且容易产生棋盘伪影；后者可以节省内存，产生高质量的预测，因此选择采用多个多尺度特征融合模块用于网络解码器。
请参见图2，对于解码器中特征融合部分的前向传播的过程包括：首先对ResNet50生成的最后一组特定层特征图进行上采样，从尺寸为12×12×2048扩大到24×24×2048；然后对预先训练好的特定层特征图使用一个残差卷积块，再将其与上一位序的特征融合模块生成的融合特征图进行合并；最后，将合并的结果再通过一个残差卷积块以及上采样，以生成与下一个输入块的分辨率相同的特征图，直至所述四个特定层特征图像遍历完成。
为了生成最终的深度预测结果，将通过3个特征融合模块后得到的结果输入到自适应输出模块中，此模块包括两个3×3卷积层和一个双线性上采样层，得到最终大小为384×384的预测深度图。
为了获取上述深度预测网络模型的最优解，本发明实施例中，将所得到的预测深度图与对应的GT深度图采用排序损失、多尺度结构相似损失和多尺度尺度不变梯度匹配损失的联合损失函数进行联合损失计算，得到对应的单目深度估计图。
具体而言，在对上述网络训练之前需进行网络权重的初始化，编码器部分网络权重数值由预训练好的ResNet50网络进行初始化，而解码器部分网络通过随机数进行初始化，其概率分布服从均值为0，方差为0.01的正态分布。在预处理好的单目图像输入到步骤2的深度预测网络后，需要提出合理的损失函数来作为优化网络参数的约束条件。对于深度预测图，全局与局部的准确性都要进行评估，仅仅采用基于随机采样的排序损失不能得到更具有几何一致性以及边缘更准确的深度预测结果，因此本发明采用排序损失、多尺度结构相似损失及多尺度尺度不变梯度匹配损失的联合损失函数来提高深度预测图的准确性。训练所需要采用的损失函数如下：
L＝Lrank+αLms-ssim+βLgrad   (2)
其中，L表示所述联合损失函数，Lrank表示基于随机采样的排序损失，Lms-ssim表示多尺度结构相似损失函数，Lgrad表示多尺度尺度不变梯度匹配损失，α表示多尺度结构相似损失函数的平衡因子，β表示多尺度尺度不变梯度匹配损失函数的平衡因子。
排序损失函数计算如下式所示：
Figure BDA0002719801810000071
且：
Figure BDA0002719801810000072
Figure BDA0002719801810000081
其中，N表示随机采样点对数，φ(pi,0,pi,1)表示预测深度图中成对排序损失，表示深度点对在相应预测深度图像上的深度值，l表示GT深度图上对应点对的排序标签，pi,0 *,pi,1 *表示点对(i,0,i,1)在GT深度图像上的深度值，τ表示阈值，设置为0.02。
多尺度结构相似度损失L_(ms-ssim)计算如下式所示：
Figure BDA0002719801810000082
其中，cj(p,p*)、sj(p,p*)分别表示在尺度为j时，预测深度与GT深度在对比度和结构上的比较；lM(p,p*)表示仅在最高尺度M时在亮度上的对比；αM、βj、γj用于调整不同成分的相对重要性，为了简化参数选择，尺度j下设置αj＝βj＝γj。
Figure BDA0002719801810000083
其中，M表示GT深度图的像素值，Ri s表示在不同尺度下预测深度图的像素值和GT深度图的像素值的差值，s表示尺度的数量。本发明一实施例中，s的数量为4。
采用本发明实施例中的上述方案的技术方案，获取训练图像，将所获取的训练图像输入预先构建的深度预测网络中进行训练，得到对应的预测深度图，并将所得到的预测深度图与对应的GT深度图采用排序损失、多尺度结构相似损失和多尺度尺度不变梯度匹配损失的联合损失函数进行联合损失计算，得到对应的单目深度估计图。在训练时，将预测出的深度图与GT深度图进行排序损失、多尺度结构相似损失以及多尺度尺度不变梯度匹配损失的联合损失函数计算，改善在仅采用基于随机采样点对的排序损失下造成的预测深度图几何不一致性以及边缘模糊的问题，故可以提高预测深度图的准确性。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (6)

1.一种单目图像深度估计方法，其特征在于，包括：
获取训练图像；
将所获取的训练图像输入预先构建的深度预测网络中进行训练，得到对应的预测深度图；
将所得到的预测深度图与对应的GT深度图采用排序损失、多尺度结构相似损失和多尺度尺度不变梯度匹配损失的联合损失函数进行联合损失计算，得到对应的单目深度估计图，其中，排序损失、多尺度结构相似损失和多尺度尺度不变梯度匹配损失的联合损失函数为：
L＝Lrank+αLms-ssim+βLgrad，且：
Figure FDA0003956637100000011
Figure FDA0003956637100000012
Figure FDA0003956637100000013
其中，L表示所述联合损失函数，Lrank表示基于随机采样的排序损失，Lms-ssim表示多尺度结构相似损失函数，Lgrad表示多尺度尺度不变梯度匹配损失函数，α表示多尺度结构相似损失函数的平衡因子，β表示多尺度尺度不变梯度匹配损失函数的平衡因子，N表示随机采样点对数，φ(pi，0，pi，1)表示预测深度图中成对排序损失，l表示GT深度图上对应点对的排序标签，pi，0 *，pi，1 *表示点对(i，0，i，1)在GT深度图像上的深度值，τ表示阈值，设置为0.02，cj(p，p*)、sj(p，p*)分别表示在尺度为j时，预测深度与GT深度在对比度和结构上的比较，lM(p，p*)表示仅在最高尺度M时在亮度上的对比，αM、βj、γj用于调整不同成分的相对重要性，为了简化参数选择，尺度j下设置αj＝βj＝γj，M表示GT深度图的像素值，Ri s表示在不同尺度下预测深度图的像素值和GT深度图的像素值的差值，s表示尺度的数量。
2.根据权利要求1所述的单目图像深度估计方法，其特征在于，在将所获取的训练图像输入预先构建的深度预测网络中进行训练之前，还包括：
将所述训练图像进行扩充，得到第一训练图像；
将扩充后的训练图像调整至分辨率，得到第二训练图像；
将所述第二训练图像进行归一化处理，得到预处理后的训练图像。
3.根据权利要求2所述的单目图像深度估计方法，其特征在于，所述将所述训练图像进行扩充，包括：将所述训练图像进行缩放、旋转和随机水平翻转处理中至少一项。
4.根据权利要求2或3所述的单目图像深度估计方法，其特征在于，所述将所获取的训练图像输入预先构建的深度预测网络中进行训练，包括：
将所述预处理后的训练图像输入预设的ResNet50网络，得到分辨率依次下降的多个特定层特征图像；
对所述多个特定层特征图像执行逆序遍历，获取遍历至的当前特定层特征图像；
将当前特定层特征图像与对应的特征融合图像进行合并，生成与前一位序的特定层特征图像分辨率相同的图像，直至所述多个特定层特征图像遍历完成；其中，所述对应的特征融合图像为对下一特定层特征图像执行残差卷积后与下一特定层特征图像后的特定层特征图像的双线性上采样图像进行融合得到。
5.根据权利要求4所述的单目图像深度估计方法，其特征在于，所述特定层特征图像的数量为4个。
6.根据权利要求1所述的单目图像深度估计方法，其特征在于，所述GT深度图利用flownet2.0获得双目图像的光流的水平分量。
CN202011084248.2A 2020-10-12 2020-10-12 单目图像深度估计方法 Active CN112288788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011084248.2A CN112288788B (zh) 2020-10-12 2020-10-12 单目图像深度估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011084248.2A CN112288788B (zh) 2020-10-12 2020-10-12 单目图像深度估计方法

Publications (2)

Publication Number Publication Date
CN112288788A CN112288788A (zh) 2021-01-29
CN112288788B true CN112288788B (zh) 2023-04-28

Family

ID=74497002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011084248.2A Active CN112288788B (zh) 2020-10-12 2020-10-12 单目图像深度估计方法

Country Status (1)

Country Link
CN (1) CN112288788B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114757984A (zh) * 2022-04-26 2022-07-15 北京拙河科技有限公司 光场相机的场景深度估计方法及装置
CN117616457A (zh) * 2022-06-20 2024-02-27 北京小米移动软件有限公司 一种图像深度预测方法、装置、设备及存储介质
CN116152323B (zh) * 2023-04-18 2023-09-08 荣耀终端有限公司 深度估计方法、单目深度估计模型生成方法和电子设备
CN117036439A (zh) * 2023-10-09 2023-11-10 广州市大湾区虚拟现实研究院 一种基于多尺度残差网络的单幅图像深度估计方法和***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578436A (zh) * 2017-08-02 2018-01-12 南京邮电大学 一种基于全卷积神经网络fcn的单目图像深度估计方法
CN109377530A (zh) * 2018-11-30 2019-02-22 天津大学 一种基于深度神经网络的双目深度估计方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578436A (zh) * 2017-08-02 2018-01-12 南京邮电大学 一种基于全卷积神经网络fcn的单目图像深度估计方法
CN109377530A (zh) * 2018-11-30 2019-02-22 天津大学 一种基于深度神经网络的双目深度估计方法

Also Published As

Publication number Publication date
CN112288788A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN112288788B (zh) 单目图像深度估计方法
CN112001960B (zh) 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法
Zhang et al. Meshstereo: A global stereo model with mesh alignment regularization for view interpolation
CN111325794A (zh) 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
CN111462206B (zh) 一种基于卷积神经网络的单目结构光深度成像方法
Li et al. Detail-preserving and content-aware variational multi-view stereo reconstruction
CN110782490A (zh) 一种具有时空一致性的视频深度图估计方法及装置
US11823322B2 (en) Utilizing voxel feature transformations for view synthesis
Zhang et al. Personal photograph enhancement using internet photo collections
CN110910437B (zh) 一种复杂室内场景的深度预测方法
CN111626308B (zh) 一种基于轻量卷积神经网络的实时光流估计方法
CN113870422B (zh) 一种点云重建方法、装置、设备及介质
Vitoria et al. Semantic image inpainting through improved wasserstein generative adversarial networks
CN113674146A (zh) 图像超分辨率
JP7119023B2 (ja) オブジェクトの３ｄイメージングを実施するためのシステムおよび方法
CN114429555A (zh) 由粗到细的图像稠密匹配方法、***、设备及存储介质
CN112686830B (zh) 基于图像分解的单一深度图的超分辨率方法
Yeh et al. Photoscene: Photorealistic material and lighting transfer for indoor scenes
CN115423978A (zh) 用于建筑物重建的基于深度学习的图像激光数据融合方法
CN112862736B (zh) 一种基于点的实时三维重建与优化方法
CN115880720A (zh) 一种基于置信度分享的无标注场景自适应人体姿态和外形估计方法
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计***
CN115546505A (zh) 一种基于深度学习的无监督单目图像深度估计方法
Alperovich et al. Intrinsic light field decomposition and disparity estimation with deep encoder-decoder network
Choi et al. Balanced spherical grid for egocentric view synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant