CN113516698B - 一种室内空间深度估计方法、装置、设备及存储介质 - Google Patents

一种室内空间深度估计方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113516698B
CN113516698B CN202110836609.2A CN202110836609A CN113516698B CN 113516698 B CN113516698 B CN 113516698B CN 202110836609 A CN202110836609 A CN 202110836609A CN 113516698 B CN113516698 B CN 113516698B
Authority
CN
China
Prior art keywords
depth estimation
indoor space
network
trained
space image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110836609.2A
Other languages
English (en)
Other versions
CN113516698A (zh
Inventor
黄锐
蒋华烈
陈基伟
丁来言
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese University of Hong Kong Shenzhen
Original Assignee
Chinese University of Hong Kong Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese University of Hong Kong Shenzhen filed Critical Chinese University of Hong Kong Shenzhen
Priority to CN202110836609.2A priority Critical patent/CN113516698B/zh
Publication of CN113516698A publication Critical patent/CN113516698A/zh
Application granted granted Critical
Publication of CN113516698B publication Critical patent/CN113516698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种室内空间深度估计方法、装置、设备及存储介质，包括：基于室内空间图像中目标物体的几何结构特征的一致性损失，确定待训练的单目深度估计网络的损失函数；单目深度估计网络为无监督深度学***滑和结构扭曲的问题。

Description

一种室内空间深度估计方法、装置、设备及存储介质
技术领域
本发明涉及深度估计技术领域，特别涉及一种室内空间深度估计方法、装置、设备及存储介质。
背景技术
随着科学技术的发展，深度估计的应用领域不断扩大，因此对于室内空间的深度估计也越来越被人们重视。单目深度估计(MDE，Monocular Depth Estimation)作为一种常用的深度估计方法也被应用在对室内空间的深度估计中。
现有技术中单目深度估计方法分为有监督估计方法和无监督估计方法两种。有监督估计方法例如FCRN(Fully Convolutional Residual Networks，全卷积残差网络)、DORN(Deep Ordinal Regression Network，深度序数回归网络)需要依赖于带有大量GroundTruth的数据集，但是在深度估计任务中数据集的采集成本巨大，并且可能会因为数据集中的标签数量过少或标注准确性低，而导致算法效率低下。无监督估计方法例如Monodepth2(Digging Into Self-Supervised Monocular Depth Estimation)、P2Net(Patch-match and Plane-regularization for Unsupervised Indoor DepthEstimation)在面对室内场景中大量出现的大面积的无纹理区域时，例如，墙壁、天花板等，这些区域的光度信号无法提供可靠的深度信息。并且，现有技术的方法依赖于光流或者在特征点上做块匹配，这些方法会使得估计结果的边缘过平滑或者产生扭曲，破坏了目标的结构性。
发明内容
有鉴于此，本发明的目的在于提供一种室内空间深度估计方法、装置、设备及存储介质，能够在对室内空间图像进行无监督深度估计时，优化深度估计结果产生的过平滑和结构扭曲的问题。其具体方案如下：
本申请的第一方面提供了一种室内空间深度估计方法，包括：
基于室内空间图像中目标物体的几何结构特征的一致性损失，确定待训练的单目深度估计网络的损失函数；所述单目深度估计网络为无监督深度学习网络；
利用所述损失函数对所述待训练的单目深度估计网络进行训练，得到训练后网络；
当获取到待检测室内空间图像，则利用所述训练后网络对所述待检测室内空间图像进行检测，以得到相应的深度估计结果。
可选的，所述基于室内空间图像中目标物体的几何结构特征的一致性损失，确定待训练的单目深度估计网络的损失函数，包括：
利用光度误差、平面系数的平滑正则项以及室内空间图像中目标物体的几何结构特征的一致性损失，构建待训练的单目深度估计网络的损失函数。
可选的，所述基于室内空间图像中目标物体的几何结构特征的一致性损失，确定待训练的单目深度估计网络的损失函数，包括：
基于室内空间图像中目标物体的平面特征的一致性损失，确定待训练的单目深度估计网络的损失函数。
可选的，所述平面特征的一致性损失的表达式为：
其中，Lpc为所述平面特征的一致性损失，Ai、Bi、Ci、Di为从所述目标物体的平面上随机提取的一组平面特征点，Np为所述平面特征点的组数。
可选的，所述基于室内空间图像中目标物体的几何结构特征的一致性损失，确定待训练的单目深度估计网络的损失函数，包括：
基于室内空间图像中目标物体的线特征的一致性损失，确定待训练的单目深度估计网络的损失函数。
可选的，所述线特征的一致性损失的表达式为：
其中，Llc为所述线特征的一致性损失，Ei、Fi、Gi为从所述目标物体上的线段中随机提取的一组线段特征点，Nl为所述线段特征点的组数。
可选的，所述室内空间深度估计方法，包括：
所述线特征所属的线段的长度大于所述室内空间图像的对角线长度的预设百分比。
可选的，所述基于室内空间图像中目标物体的几何结构特征的一致性损失，确定待训练的单目深度估计网络的损失函数，包括：
基于室内空间图像中目标物体的平面特征的一致性损失和线段特征的一致性损失，确定待训练的单目深度估计网络的损失函数。
本申请的第二方面提供了一种室内空间深度估计装置，包括：
损失函数确定模块，用于基于室内空间图像中目标物体的几何结构特征的一致性损失，确定待训练的单目深度估计网络的损失函数；所述单目深度估计网络为无监督深度学习网络；
网络训练模块，用于利用所述损失函数对所述待训练的单目深度估计网络进行训练，得到训练后网络；
深度估计模块，用于当获取到待检测室内空间图像，则利用所述训练后网络对所述待检测室内空间图像进行检测，以得到相应的深度估计结果。
本申请的第三方面提供了一种电子设备，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述室内空间深度估计方法。
本申请的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述室内空间深度估计方法。
本申请中，通过基于室内空间图像中目标物体的几何结构特征的一致性损失，确定待训练的单目深度估计网络的损失函数，然后利用所述损失函数对所述待训练的单目深度估计网络进行训练，进而得到训练后网络，其中，所述单目深度估计网络为无监督深度学***滑和结构扭曲的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种室内空间深度估计方法流程图；
图2为本申请提供的一种具体的室内空间深度估计方法流程图；
图3为本申请提供的一种深度网络输出的向量调制示意图；
图4为本申请提供的一种具体的室内空间深度估计方法流程图；
图5为本申请提供的一种平面特征一致性和线段特征一致性示意图；
图6为本申请提供的一种室内空间深度估计装置结构示意图；
图7为本申请提供的一种室内空间深度估计电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术通过有监督的深度估计方法对室内空间进行深度估计时，需要依赖带有大量GroundTruth的数据集，并且数据集的采集成本较高；而通过无监督的深度估计方法对室内空间进行深度估计时，因为室内空间存在大量无纹理区域，因此深度估计结果会产生的过平滑和结构扭曲的问题。
图1为本申请实施例提供的一种室内空间深度估计方法流程图。参见图1所示，该室内空间深度估计方法包括：
S11：基于室内空间图像中目标物体的几何结构特征的一致性损失，确定待训练的单目深度估计网络的损失函数；所述单目深度估计网络为无监督深度学习网络；
本实施例中，室内空间图像中目标物体的几何结构特征的一致性损失，可以为平面特征的一致性损失或线段特征的一致性损失。可以理解的是，在室内空间图像中目标物体存在大量的无纹理区域，例如在墙壁、天花板等，所以上述目标物体存在很多规律性的几何结构特征，例如平面的平滑，线边缘的平直。因而可以基于上述目标物体的几何结构特征确定所述一致性损失的种类，进而得到所述目标物体的几何结构特征的一致性损失，然后基于所述一致性损失确定待训练的无监督单目深度估计网络的损失函数。例如，当所述目标物体为墙壁时，上述墙壁存在光滑的平面，因而需要考虑上述墙壁平面特征的一致性损失；当所述目标物体为房门时，上述房门的边缘存在平直的线结构，因而需要考虑上述房门线段特征的一致性损失。
S12：利用所述损失函数对所述待训练的单目深度估计网络进行训练，得到训练后网络。
S13：当获取到待检测室内空间图像，则利用所述训练后网络对所述待检测室内空间图像进行检测，以得到相应的深度估计结果。
本实施例中，当获取到待检测室内空间图像时，通过利用基于所述目标物体的几何结构特征的一致性损失确定的损失函数训练后得到的网络，对所述待检测室内空间图像进行检测，得到的深度估计结果能够降低出现过平滑和结构扭曲的问题，进而保证生成的深度图能够保持目标物体的结构性不被破坏。在一般情况下，利用所述损失函数训练后的单目深度估计网络，能够将与有监督的深度估计网络之间的差距缩小三分之一以上。其中，对所述单目深度估计网络训练的数据集可以是NYU Depth V2数据集。并且，所述训练后的单目深度估计网络还可以推广到其它数据集，例如ScanNet数据集。将所述训练后的单目深度估计网络推广到ScanNet数据集时，所述训练后的单目深度估计网络的性能将会优于有监督的网络。
可见，本申请实施例通过基于室内空间图像中目标物体的几何结构特征的一致性损失，确定待训练的单目深度估计网络的损失函数，其中，所述单目深度估计网络为无监督深度学***滑和结构扭曲的问题。
图2为本申请实施例提供的一种具体的室内空间深度估计方法流程图。参见图2所示，该室内空间深度估计方法包括：
S21：利用光度误差、平面系数的平滑正则项以及室内空间图像中目标物体的几何结构特征的一致性损失，构建待训练的单目深度估计网络的损失函数。
本实施例中，所述光度误差为深度估计任务中的常用损失项，所述光度误差的表达式为：
其中，所述Lpe为光度误差，SSIM(·)为结构相似性函数，‖·‖1为L1损失，It为目标视图，Is→t为通过源视图合成的目标视图，α为用于平衡结构相似性函数SSIM(·)和L1损失‖·‖1的权重系数。其中，权重系数通常的取值为0.85，结构相似性函数SSIM(·)和L1损失‖·‖1常用于衡量两幅视图的相似度。
本实施例中，所述平面系数平滑正则项用于保证室内空间中无纹理区域保持合理的深度输出，所述平面系数平滑正则项的表达式为：
其中，为绝对平均标准化系数，/>co表征与深度估计网络输出的局部平面方程相关的系数向量，{x,y,z}为摄影设备对所述室内空间图像中目标物体的拍摄帧中对应的三维点pn的坐标；
进一步的，若深度估计网络实际输出的系数向量与摄影设备对所述室内空间图像中目标物体的拍摄帧中对应的三维点pn的角度大于90°，例如图3所示，则对应的深度估计网络不能保证生成一个正向的逆深度，因此可以通过将实际输出的系数向量与对应的三维点pn之间的角度减半来得到调整后的新的系数向量co，相应的表达式为：
S22：利用所述损失函数对所述待训练的单目深度估计网络进行训练，得到训练后网络。
S23：当获取到待检测室内空间图像，则利用所述训练后网络对所述待检测室内空间图像进行检测，以得到相应的深度估计结果。
本实施例中，关于上述步骤S22、S23的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请实施例通过利用光度误差、平面系数的平滑正则项以及室内空间图像中目标物体的几何结构特征的一致性损失，构建待训练的单目深度估计网络的损失函数，然后利用所述损失函数对所述待训练的单目深度估计网络进行训练，进而得到训练后网络，当获取到待检测室内空间图像，则利用所述训练后网络对所述待检测室内空间图像进行检测，以得到相应的深度估计结果。通过利用光度误差、平面系数的平滑正则项和目标物体的几何结构特征的一致性损失确定的损失函数对待训练的单目深度估计网络进行训练，并利用得到的训练后的单目深度估计网络对待检测室内空间图像进行深度估计，能够进一步优化在对室内空间图像进行无监督深度估计时，深度估计结果产生的过平滑和结构扭曲的问题，降低输出结构结构性被破坏的概率，弥补了无监督单目深度估计方法在对室内空间进行深度估计时的不足。
图4为本申请实施例提供的一种具体的室内空间深度估计方法流程图。参见图4所示，该室内空间深度估计方法包括：
S31：基于室内空间图像中目标物体的平面特征的一致性损失和线段特征的一致性损失，确定待训练的单目深度估计网络的损失函数；所述单目深度估计网络为无监督深度学习网络。
本实施例中，所述平面特征的一致性损失用于降低不同平面被错分为同一个平面的概率，所述平面特征的一致性损失的表达式为：
其中，Lpc为所述平面特征的一致性损失，Ai、Bi、Ci、Di为从所述目标物体的平面上随机提取的一组平面特征点，Np为所述平面特征点的组数。可以理解的是，因为Ai、Bi、Ci、Di位于所述目标物体的同一平面，所以与/>的点乘结果应为0。
例如图5所示，a、b、c、d分别为在室内空间图像中的目标物体上的4个点，A、B、C、D为与a、b、c、d分别对应的平面特征点，基于所述平面特征点可以确定与所述目标物体的平面特征的一致性。具体的，上述特征点可以通过P2Net中的方法从所述目标物体平面的超像素区域上随机提取。
本实施例中，所述线特征的一致性损失用于降低线结构特征出现畸变的概率，所述线特征的一致性损失的表达式为：
其中，Llc为所述线特征的一致性损失，Ei、Fi、Gi为从所述目标物体上的线段中随机提取的一组线段特征点，Nl为所述线段特征点的组数。
例如图5所示，e、f、g分别为在室内空间图像中的房门边缘上的三个点，E、F、G分别为与e、f、g对应的线段特征点，基于所述线段特征点可以确定与所述目标物体的线段特征的一致性。可以理解的是，在上述房门边缘上可以提取到多组平面特征点。具体的，上述目标物体上的线段，提取可以通过线段检测器(LSD，Line Segment Detector)进行提取。需要指出的是，当提取的线段的长度特别短时，此类线段对于所述线特征的一致性损失优化作用不明显，因此所述线特征所属的线段的长度大于所述室内空间图像的对角线长度的预设百分比。例如，将所述预设百分比设为百分之十，则舍去长度小于所述室内空间图像对角线长度百分之十的线段。
具体的，本实施例中可以利用光度误差、平面系数的平滑正则项、室内空间图像中目标物体的平面特征的一致性损失和线段特征的一致性损失，确定待训练的单目深度估计网络的损失函数。所述损失函数的表达式为：
L＝Lpe+αcosLcos+αpcLpc+αlcLlc；
其中，L为所述损失函数，Lpe为所述光度误差，αcos为所述平面系数的平滑正则项的权重，Lcos为所述平面系数的平滑正则项，αpc为所述平面一致性损失的权重，Lpc为所述平面一致性损失，αlc为所述线一致性损失的权重，Llc为所述线一致性损失。
S32：利用所述损失函数对所述待训练的单目深度估计网络进行训练，得到训练后网络。
S33：当获取到待检测室内空间图像，则利用所述训练后网络对所述待检测室内空间图像进行检测，以得到相应的深度估计结果。
本实施例中，关于上述步骤S32、S33的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请实施例，通过基于室内空间图像中目标物体的平面特征的一致性损失和线段特征的一致性损失，确定待训练的无监督单目深度估计网络的损失函数，然后利用所述损失函数对所述待训练的无监督单目深度估计网络进行训练，进而得到训练后网络，当获取到待检测室内空间图像，则利用所述训练后网络对所述待检测室内空间图像进行检测，以得到相应的深度估计结果。通过利用目标物体的几何结构特征的一致性损失确定的损失函数对待训练的无监督单目深度估计网络进行训练，并利用得到的训练后的单目深度估计网络对待检测室内空间图像进行深度估计，能够优化在对室内空间图像进行无监督深度估计时，深度估计结果产生的过平滑和结构扭曲的问题。
参见图6所示，本申请实施例还相应公开了一种室内空间深度估计装置，包括：
损失函数确定模块11，用于基于室内空间图像中目标物体的几何结构特征的一致性损失，确定待训练的单目深度估计网络的损失函数；所述单目深度估计网络为无监督深度学习网络；
网络训练模块12，用于利用所述损失函数对所述待训练的单目深度估计网络进行训练，得到训练后网络；
深度估计模块13，用于当获取到待检测室内空间图像，则利用所述训练后网络对所述待检测室内空间图像进行检测，以得到相应的深度估计结果。
可见，本申请实施例通过基于室内空间图像中目标物体的几何结构特征的一致性损失，确定待训练的单目深度估计网络的损失函数，其中，所述单目深度估计网络为无监督深度学***滑和结构扭曲的问题。
在一些具体实施例中，所述损失函数确定模块11，具体包括：
第一损失函数确定子模块，用于利用光度误差、平面系数的平滑正则项以及室内空间图像中目标物体的几何结构特征的一致性损失，构建待训练的单目深度估计网络的损失函数。
在一些具体实施例中，所述损失函数确定模块11，具体包括：
第一损失函数确定单元，用于基于室内空间图像中目标物体的平面特征的一致性损失，确定待训练的单目深度估计网络的损失函数。
在一些具体实施例中，所述损失函数确定模块11，具体包括：
第二损失函数确定单元，用于基于室内空间图像中目标物体的线特征的一致性损失，确定待训练的单目深度估计网络的损失函数。
在一些具体实施例中，所述损失函数确定模块11，具体包括：
第二损失函数确定单元，用于基于室内空间图像中目标物体的平面特征的一致性损失和线段特征的一致性损失，确定待训练的单目深度估计网络的损失函数。
进一步的，本申请实施例还提供了一种电子设备。图7是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图7为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的室内空间深度估计方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作***221、计算机程序222，存储方式可以是短暂存储或者永久存储。
其中，操作***221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的室内空间深度估计方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的室内空间深度估计方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的室内空间深度估计方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种室内空间深度估计方法，其特征在于，包括：
基于室内空间图像中目标物体的几何结构特征的一致性损失，确定待训练的单目深度估计网络的损失函数；所述单目深度估计网络为无监督深度学习网络；
利用所述损失函数对所述待训练的单目深度估计网络进行训练，得到训练后网络；
当获取到待检测室内空间图像，则利用所述训练后网络对所述待检测室内空间图像进行检测，以得到相应的深度估计结果；
其中，所述几何结构特征的一致性损失包括室内空间图像中目标物体的平面特征和/或线特征的一致性损失；
所述平面特征的一致性损失的表达式为：
其中，Lpc为所述平面特征的一致性损失，Ai、Bi、Ci、Di为从所述目标物体的平面上随机提取的一组平面特征点，Np为所述平面特征点的组数；
所述线特征的一致性损失的表达式为：
其中，Llc为所述线特征的一致性损失，Ei、Fi、Gi为从所述目标物体上的线段中随机提取的一组线段特征点，Nl为所述线段特征点的组数。
2.根据权利要求1所述的室内空间深度估计方法，其特征在于，所述基于室内空间图像中目标物体的几何结构特征的一致性损失，确定待训练的单目深度估计网络的损失函数，包括：
利用光度误差、平面系数的平滑正则项以及室内空间图像中目标物体的几何结构特征的一致性损失，构建待训练的单目深度估计网络的损失函数。
3.根据权利要求1所述的室内空间深度估计方法，其特征在于，所述线特征所属的线段的长度大于所述室内空间图像的对角线长度的预设百分比。
4.一种室内空间深度估计装置，其特征在于，包括：
损失函数确定模块，用于基于室内空间图像中目标物体的几何结构特征的一致性损失，确定待训练的单目深度估计网络的损失函数；所述单目深度估计网络为无监督深度学习网络；
网络训练模块，用于利用所述损失函数对所述待训练的单目深度估计网络进行训练，得到训练后网络；
深度估计模块，用于当获取到待检测室内空间图像，则利用所述训练后网络对所述待检测室内空间图像进行检测，以得到相应的深度估计结果；
其中，所述几何结构特征的一致性损失包括室内空间图像中目标物体的平面特征和/或线特征的一致性损失；
所述平面特征的一致性损失的表达式为：
其中，Lpc为所述平面特征的一致性损失，Ai、Bi、Ci、Di为从所述目标物体的平面上随机提取的一组平面特征点，Np为所述平面特征点的组数；
所述线特征的一致性损失的表达式为：
其中，Llc为所述线特征的一致性损失，Ei、Fi、Gi为从所述目标物体上的线段中随机提取的一组线段特征点，Nl为所述线段特征点的组数。
5.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至3任一项所述的室内空间深度估计方法。
6.一种计算机可读存储介质，其特征在于，用于存储计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至3任一项所述的室内空间深度估计方法。
CN202110836609.2A 2021-07-23 2021-07-23 一种室内空间深度估计方法、装置、设备及存储介质 Active CN113516698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110836609.2A CN113516698B (zh) 2021-07-23 2021-07-23 一种室内空间深度估计方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110836609.2A CN113516698B (zh) 2021-07-23 2021-07-23 一种室内空间深度估计方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113516698A CN113516698A (zh) 2021-10-19
CN113516698B true CN113516698B (zh) 2023-11-17

Family

ID=78067559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110836609.2A Active CN113516698B (zh) 2021-07-23 2021-07-23 一种室内空间深度估计方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113516698B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629800A (zh) * 2017-03-20 2018-10-09 北京三星通信技术研究有限公司 平面确定方法及增强现实显示信息的显示方法、相应装置
CN110738697A (zh) * 2019-10-10 2020-01-31 福州大学 基于深度学习的单目深度估计方法
WO2020119620A1 (zh) * 2018-12-14 2020-06-18 中国科学院深圳先进技术研究院 具有自我提升能力的金字塔双目深度估计模型
CN111476835A (zh) * 2020-05-21 2020-07-31 中国科学院自动化研究所 多视角图像一致性的无监督深度预测方法、***、装置
CN111739078A (zh) * 2020-06-15 2020-10-02 大连理工大学 一种基于上下文注意力机制的单目无监督深度估计方法
CN112598721A (zh) * 2020-12-22 2021-04-02 绍兴市北大信息技术科创中心 基于归一化回归函数单目深度估计***训练方法和网络
CN112634127A (zh) * 2020-12-22 2021-04-09 天津大学 一种无监督立体图像重定向方法
CN112767467A (zh) * 2021-01-25 2021-05-07 郑健青 一种基于自监督深度学习的双图深度估计方法
CN113140018A (zh) * 2021-04-30 2021-07-20 北京百度网讯科技有限公司 训练对抗网络模型的方法、建立字库的方法、装置和设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629800A (zh) * 2017-03-20 2018-10-09 北京三星通信技术研究有限公司 平面确定方法及增强现实显示信息的显示方法、相应装置
WO2020119620A1 (zh) * 2018-12-14 2020-06-18 中国科学院深圳先进技术研究院 具有自我提升能力的金字塔双目深度估计模型
CN110738697A (zh) * 2019-10-10 2020-01-31 福州大学 基于深度学习的单目深度估计方法
CN111476835A (zh) * 2020-05-21 2020-07-31 中国科学院自动化研究所 多视角图像一致性的无监督深度预测方法、***、装置
CN111739078A (zh) * 2020-06-15 2020-10-02 大连理工大学 一种基于上下文注意力机制的单目无监督深度估计方法
CN112598721A (zh) * 2020-12-22 2021-04-02 绍兴市北大信息技术科创中心 基于归一化回归函数单目深度估计***训练方法和网络
CN112634127A (zh) * 2020-12-22 2021-04-09 天津大学 一种无监督立体图像重定向方法
CN112767467A (zh) * 2021-01-25 2021-05-07 郑健青 一种基于自监督深度学习的双图深度估计方法
CN113140018A (zh) * 2021-04-30 2021-07-20 北京百度网讯科技有限公司 训练对抗网络模型的方法、建立字库的方法、装置和设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"基于无监督学习的单目深度估计研究";孙业昊;《中国优秀硕士学位论文全文数据库信息科技辑》;全文 *
unsupervised monocular depth estimation with left-right consistency;Clement Godard;《IEEE》;全文 *
基于单张彩色图输入的平面提取综述;朱尊杰;徐浙峰;任小元;侯佳;孙垚棋;颜成钢;;杭州电子科技大学学报(自然科学版)(04);全文 *

Also Published As

Publication number Publication date
CN113516698A (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
US9202278B2 (en) Plane-based self-calibration for structure from motion
Mahdi et al. Performance analysis of simulated annealing cooling schedules in the context of dense image matching
US20180182103A1 (en) 3d segmentation reconstruction from 2d slices
Fornasier et al. Iterative thresholding meets free-discontinuity problems
US10445926B2 (en) Light path correlation in digital image rendering of a digital scene
CN113240596A (zh) 一种基于高阶张量奇异值分解的彩***恢复方法及***
Pinies et al. Dense mono reconstruction: Living with the pain of the plain plane
CN109035363B (zh) 一种快速迭代的线圆最优拟合方法
JP2020123114A (ja) 深度超解像装置、深度超解像方法、及びプログラム
Zhang et al. High‐Order Total Bounded Variation Model and Its Fast Algorithm for Poissonian Image Restoration
CN113516698B (zh) 一种室内空间深度估计方法、装置、设备及存储介质
US20190004996A1 (en) Convex Relaxation Regression Systems and Related Methods
CN113516697A (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
Baranger et al. Combined energy method and regularization to solve the Cauchy problem for the heat equation
Aftab et al. L q-Closest-Point to Affine Subspaces Using the Generalized Weiszfeld Algorithm
US9679363B1 (en) System and method for reducing image noise
Duarte et al. Smoothness of boundaries of regular sets
Demaret et al. Anisotropic triangulation methods in adaptive image approximation
CN109791687A (zh) 在任意曲面上的图像修复
CN112560834B (zh) 一种坐标预测模型生成方法、装置及图形识别方法、装置
CN113721191A (zh) 自适应栅格化提升矩阵补全性能的信号源定位方法和***
CN115485735A (zh) 用于从rgbd视频生产ifc bim对象的密集3d建模方法
Xiao et al. Image completion using belief propagation based on planar priorities
Chen et al. Live accurate and dense reconstruction from a handheld camera
Yang et al. A Combination of the Total Variation Filter and a Fourth‐Order Filter for Image Registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant