CN113822919B - 基于语义信息约束的水下图像相对深度估计方法 - Google Patents

基于语义信息约束的水下图像相对深度估计方法 Download PDF

Info

Publication number
CN113822919B
CN113822919B CN202111399127.1A CN202111399127A CN113822919B CN 113822919 B CN113822919 B CN 113822919B CN 202111399127 A CN202111399127 A CN 202111399127A CN 113822919 B CN113822919 B CN 113822919B
Authority
CN
China
Prior art keywords
depth
relative depth
map
relative
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111399127.1A
Other languages
English (en)
Other versions
CN113822919A (zh
Inventor
李坤乾
王西亚
宋大雷
刘文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202111399127.1A priority Critical patent/CN113822919B/zh
Publication of CN113822919A publication Critical patent/CN113822919A/zh
Application granted granted Critical
Publication of CN113822919B publication Critical patent/CN113822919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于计算机视觉领域，具体涉及一种基于语义信息约束的水下图像相对深度估计方法、***、设备，旨在解决现有的水下图像相对深度估计精度低以及边缘轮廓不明显的问题。本发明方法包括：获取待相对深度估计的单目水下图像，作为输入图像；通过训练好的相对深度图预测模型获取所述输入图像对应的预测深度图，进而得到水下场景的相对深度关系；所述相对深度图预测模型基于编码‑解码结构的深度卷积神经网络构建。本发明提高了水下图像相对深度的估计精度，并提升了深度估计边缘效果。

Description

基于语义信息约束的水下图像相对深度估计方法
技术领域
本发明属于计算机视觉领域，具体涉及一种基于语义信息约束的水下图像相对深度估计方法、***、设备。
背景技术
近年来，由于陆地资源的紧缺，探索和开发海洋资源显得愈发的重要。智能水下机器人在进行水下作业时具有非常高的效率，在海洋资源开发与利用中扮演着不可或缺的角色。其中，对于基于机器人的水下监测、水下作业以及水下视觉导航任务，实现基于单目水下图像的视觉深度估计至关重要，也是保证各类任务安全执行的前提。
因为水下环境具有能见度低，几何畸变等特点，导致对水下环境进行深度估计比陆上环境更加困难。深度信息可以通过立体匹配技术来获取，立体匹配技术利用双目相机采集的两张对应的图片进行相关性匹配和三角测量方法进行深度推断。此外，还可以利用时间飞行(Time-of-Flight, TOF)相机与微软的Kinect相机等专业深度传感装置直接获取深度信息。但是由于水下环境复杂多样，且存在成像限制和光学畸变等问题，这些方法取得的效果相较于陆上环境较差，并且设备昂贵，成本较高，不适用于轻量级的水下移动终端。
随着深度学习的不断发展，深度卷积神经网络由于自身强劲的特征拟合能力，可以通过模型学习的手段，利用单张陆上彩色图像直接估计对应的场景深度信息。但对于水下场景，仍存在不少问题：不同于陆上场景，水下图像的深度标注数据集非常稀少，很难获得实际水下场景的深度图，而现有的深度估计方法大多数是监督型的，需要真实有效的深度图等监督信息进行训练，才能够得到效果较好的深度估计网络。此外，现有的大多数基于深度学习的水下图像深度估计方法预测的深度图中的部分物体的形状轮廓不够明显，边缘细节较差，而且当图像场景中存在明显的深度层次变换时，在相对深度预测图中并没有能够得到直观体现。语义信息与深度信息共享了相似的上下文信息，利用语义信息来对深度估计进行约束，能够在一定程度上解决这些问题，提升深度估计效果。
水下场景光照不足、能见度低，场景极其复杂恶劣，导致水下机器人在进行水下作业时会遇到许多困难，而深度信息能够为场景的立体感知、复杂目标的层次性划分、定位提供丰富的信息。因此，基于语义信息约束的水下图像相对深度估计方法具有非常广阔的应用前景。基于此，本发明提出了一种基于语义信息约束的水下图像相对深度估计方法。
发明内容
为了解决现有技术中的上述问题，即为了解决现有的水下图像相对深度估计精度低，边缘轮廓不明显的问题，本发明提出了一种基于语义信息约束的水下图像相对深度估计方法，该方法包括：
步骤S100，获取待相对深度估计的单目水下图像，作为输入图像；
步骤S200，通过训练好的相对深度图预测模型获取所述输入图像对应的相对深度预测图，进而得到水下场景的相对深度关系；
所述相对深度图预测模型基于编码-解码结构的深度卷积神经网络构建，其训练方法为：
步骤A100，获取带有语义标注的水下图像数据集；所述水下图像数据集中包括水下图像及其对应的语义图；所述水下图像为RGB图像；
步骤A200，对所述水下图像数据集中的水下图像分别进行深度估计、相对深度关系标注，得到基础深度图、相对深度标注图；对所述水下图像数据集中的语义图进行边缘提取、高斯平滑、数据归一化处理，得到语义边缘惩罚因子图；通过数据预处理步骤得到模型的输入数据；
步骤A300，沿相对深度标注图的标注线进行超像素分割，得到超像素块；在各个超像素块中随机取点，并按照相邻像素块之间深度关系组成点对，作为第一类点对；
提取水下图像的特征，获取设定语义之间的深度先验假设，并根据深度先验假设从不同语义区域中随机选取采样点，并按照相对深度关系组成点对，作为第二类点对；所述设定语义包括海水背景、海底和岩石以及鱼类语义；
在相对深度标注图的标注线上取多个垂足点，计算过垂足点的垂线，并在每个垂足点所在的语义区域内截取各垂足点对应的垂线；随机选取同一标注线上的任意两条垂线，在垂线上取点，并按照相对深度关系随机组成点对，作为第三类点对；
根据所述第一类点对、所述第二类点对、所述第三类点对，构建相对深度点对数据集；
步骤A400，将基础深度图、语义边缘惩罚因子图、相对深度标注图输入相对深度图预测模型得到相对深度预测图；
分别计算基础深度图与相对深度预测图、语义边缘惩罚因子图与相对深度预测图、相对深度点对数据集中的相对深度点对数据与相对深度预测图之间的损失，得到像素深度值差异损失、语义深度边缘一致性损失、点对间相对深度排序损失；
对像素深度值差异损失、语义深度边缘一致性损失、点对间相对深度排序损失进行求和，作为总损失，更新相对深度图预测模型的网络参数；
A500，循环执行步骤A400，直至得到训练好的相对深度图预测模型。
在一些优选的实施方式中，对所述水下图像数据集中的水下图像分别进行深度估计、相对深度关系标注，得到基础深度图、相对深度标注图，其方法为：
将水下图像输入UW-Net深度估计模型，经UW-Net深度估计模型中的生成器生成单通道相对深度预测图，作为基础深度图；
对水下图像中相对深度关系的变化趋势进行标注，得到相对深度标注图；其中，所述相对深度标注图中的相对深度关系沿标注线递增。
在一些优选的实施方式中，沿相对深度标注图的标注线进行超像素分割，得到超像素块，其方法为：
通过超像素分割算法在相对深度标注图的标注线上等间距选取种子点，并在种子点的邻域内进行聚类，最终沿标注线得到超像素块。
在一些优选的实施方式中，所述像素深度值差异损失，其计算方法为：
Figure 559611DEST_PATH_IMAGE001
其中，
Figure 897183DEST_PATH_IMAGE002
表示像素深度值差异损失，
Figure 182670DEST_PATH_IMAGE003
为相对深度预测图，
Figure 450841DEST_PATH_IMAGE004
为基础深度图，
Figure 239805DEST_PATH_IMAGE005
为位置坐标，
Figure 951540DEST_PATH_IMAGE006
为相对深度预测图的像素总数。
在一些优选的实施方式中，所述语义深度边缘一致性损失，其计算方法为：
Figure 458745DEST_PATH_IMAGE007
其中，
Figure 530606DEST_PATH_IMAGE008
表示语义深度边缘一致性损失，
Figure 970815DEST_PATH_IMAGE009
为相对深度预测图的边缘检测图，
Figure 584942DEST_PATH_IMAGE010
为语义边缘惩罚因子图，
Figure 845022DEST_PATH_IMAGE011
为位置坐标，
Figure 658258DEST_PATH_IMAGE012
为相对深度预测图的像素总数。
在一些优选的实施方式中，所述点对间相对深度排序损失，其计算方法为：
Figure 687394DEST_PATH_IMAGE013
其中，
Figure 990199DEST_PATH_IMAGE014
表示点对间相对深度排序损失，
Figure 488308DEST_PATH_IMAGE015
为相对深度点对数据集中的点对总 数，
Figure 105234DEST_PATH_IMAGE016
为点对
Figure 988876DEST_PATH_IMAGE017
之间的相对深度关系真值，
Figure 462583DEST_PATH_IMAGE018
，
Figure 431676DEST_PATH_IMAGE019
为点
Figure 399763DEST_PATH_IMAGE020
和点
Figure 403491DEST_PATH_IMAGE021
在相对深度预 测图处的深度预测值。
本发明的第二方面，提出了一种基于语义信息约束的水下图像相对深度估计***，该***包括：图像获取模块、相对深度估计模块；
所述图像获取模块，配置为获取待相对深度估计的单目水下图像，作为输入图；
所述相对深度估计模块，通过训练好的相对深度图预测模型获取所述输入图像对应的相对深度预测图，进而得到水下场景的相对深度关系；
所述相对深度图预测模型基于编码-解码结构的深度卷积神经网络构建，其训练方法为：
步骤A100，获取带有语义标注的水下图像数据集；所述水下图像数据集中包括水下图像及其对应的语义图；所述水下图像为RGB图像；
步骤A200，对所述水下图像数据集中的水下图像分别进行深度估计、相对深度关系标注，得到基础深度图、相对深度标注图；对所述水下图像数据集中的语义图进行边缘提取、高斯平滑、数据归一化处理，得到语义边缘惩罚因子图；通过数据预处理步骤得到模型的输入数据；
步骤A300，沿相对深度标注图的标注线进行超像素分割，得到超像素块；在各个超像素块中随机取点，并按照相邻像素块之间深度关系组成点对，作为第一类点对；
提取水下图像的特征，获取设定语义之间的深度先验假设，并根据深度先验假设从不同语义区域中随机选取采样点，并按照相对深度关系组成点对，作为第二类点对；所述设定语义包括海水背景、海底和岩石以及鱼类语义；
在相对深度标注图的标注线上取多个垂足点，计算过垂足点的垂线，并在每个垂足点所在的语义区域内截取各垂足点对应的垂线；随机选取同一标注线上的任意两条垂线，在垂线上取点，并按照相对深度关系随机组成点对，作为第三类点对；
根据所述第一类点对、所述第二类点对、所述第三类点对，构建相对深度点对数据集；
步骤A400，将基础深度图、语义边缘惩罚因子图、相对深度标注图输入相对深度图预测模型得到相对深度预测图；
分别计算基础深度图与相对深度预测图、语义边缘惩罚因子图与相对深度预测图、相对深度点对数据集中的相对深度点对数据与相对深度预测图之间的损失，得到像素深度值差异损失、语义深度边缘一致性损失、点对间相对深度排序损失；
对像素深度值差异损失、语义深度边缘一致性损失、点对间相对深度排序损失进行求和，作为总损失，更新相对深度图预测模型的网络参数；
A500，循环执行步骤A400，直至得到训练好的相对深度图预测模型。
本发明的第三方面，提出了一种电子设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于语义信息约束的水下图像相对深度估计方法。
本发明的有益效果：
本发明提高了水下图像相对深度的估计精度，并提升了深度估计边缘效果。
本发明通过相对深度样本采样、基于语义引导的深度约束生成、多损失函数协同优化等若干步骤，得到单目水下图像的相对深度预测图。充分利用了水下图像的语义信息，提升深度估计边缘效果，强化深度估计算法的细节感知能力。
此外，在相对深度训练样本生成的过程中，利用多种采样策略，充分挖掘了水下图像中的相对深度关系特征，扩充了约束样本，提高了相对深度估计结果的整体预测精度，并优化了深度图的局部渐变关系。最终，通过设计融合多种约束的损失函数，实现了模型的端到端训练与优化。在模型部署阶段，无需提供语义标注图的条件下，即可实现任意水下图像的相对深度估计。本发明创新性好、输入数据易得、深度估计可靠性高，细节效果好，可广泛应用于单目水下图像的深度估计任务，进而可以部署到各类水下视觉感知设备，利用深度信息提高水下立体感知能力。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1 是本发明一种实施例的基于语义信息约束的水下图像相对深度估计方法的流程示意图；
图2为本发明一种实施例的基于语义信息约束的水下图像相对深度估计***的框架示意图；
图3是本发明一种实施例的基于语义信息约束的水下图像相对深度估计方法的详细流程示意图；
图4是本发明一种实施例的水下图像数据集中图像预处理的流程示意图；
图5是本发明一种实施例的构建相对深度点对数据集的流程示意图；
图6是本发明一种实施例的适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明第一实施例的一种基于语义信息约束的水下图像相对深度估计方法，如图1所示，该方法包括：
步骤S100，获取待相对深度估计的单目水下图像，作为输入图像；
步骤S200，通过训练好的相对深度图预测模型获取所述输入图像对应的相对深度预测图，进而得到水下场景的相对深度关系；
所述相对深度图预测模型基于编码-解码结构的深度卷积神经网络构建，其训练方法为：
步骤A100，获取带有语义标注的水下图像数据集；所述水下图像数据集中包括水下图像及其对应的语义图；所述水下图像为RGB图像；
步骤A200，对所述水下图像数据集中的水下图像分别进行深度估计、相对深度关系标注，得到基础深度图、相对深度标注图；对所述水下图像数据集中的语义图进行边缘提取、高斯平滑、数据归一化处理，得到语义边缘惩罚因子图；通过数据预处理步骤得到模型的输入数据；
步骤A300，沿相对深度标注图的标注线进行超像素分割，得到超像素块；在各个超像素块中随机取点，并按照相邻像素块之间深度关系组成点对，作为第一类点对；
提取水下图像的特征，获取设定语义之间的深度先验假设，并根据深度先验假设从不同语义区域中随机选取采样点，并按照相对深度关系组成点对，作为第二类点对；所述设定语义包括海水背景、海底和岩石以及鱼类语义；
在相对深度标注图的标注线上取多个垂足点，计算过垂足点的垂线，并在每个垂足点所在的语义区域内截取各垂足点对应的垂线；随机选取同一标注线上的任意两条垂线，在垂线上取点，并按照相对深度关系随机组成点对，作为第三类点对；
根据所述第一类点对、所述第二类点对、所述第三类点对，构建相对深度点对数据集；
步骤A400，将基础深度图、语义边缘惩罚因子图、相对深度标注图输入相对深度图预测模型得到相对深度预测图；
分别计算基础深度图与相对深度预测图、语义边缘惩罚因子图与相对深度预测图、相对深度点对数据集中的相对深度点对数据与相对深度预测图之间的损失，得到像素深度值差异损失、语义深度边缘一致性损失、点对间相对深度排序损失；
对像素深度值差异损失、语义深度边缘一致性损失、点对间相对深度排序损失进行求和，作为总损失，更新相对深度图预测模型的网络参数；
A500，循环执行步骤A400，直至得到训练好的相对深度图预测模型。
为了更清晰地对本发明基于语义信息约束的水下图像相对深度估计方法进行说明，下面结合附图1、3，对本发明方法一种实施例中各步骤进行展开详述。
从图3中可以看出，本方法包含训练数据准备、模型训练以及模型部署三大模块，数据准备中的数据预处理和训练数据采样是模型训练的前提条件。因此，在下述实施例中，先对相对深度图预测模型的训练过程进行详述，再对基于语义信息约束的水下图像相对深度估计方法获取水下场景的相对深度关系的过程进行详述。
1、相对深度图预测模型的训练过程
步骤A100，获取带有语义标注的水下图像数据集；所述水下图像数据集中包括水下图像及其对应的语义图；所述水下图像为RGB图像；
在本实施例中，获取带有语义标注图的水下图像数据集I raw ，如SUIM数据集，或用其他具有语义标注的水下图像数据集，所述水下图像数据集包括水下图像（即水下RGB图像）及其对应的语义图。
步骤A200，对所述水下图像数据集中的水下图像分别进行深度估计、相对深度关系标注，得到基础深度图、相对深度标注图；对所述水下图像数据集中的语义图进行边缘提取、高斯平滑、数据归一化处理，得到语义边缘惩罚因子图；通过数据预处理步骤得到模型的输入数据；
在本实施例中，基于水下图像数据集，构建相对深度图预测模型训练过程中所需的训练数据，主要包括基础深度图、语义边缘惩罚因子图和相对深度标注图。具体如下：
如图4所示，将带有语义标注图的水下图像数据集中的水下图像依次送入UW-Net深度估计模型（在其他实施例中，可以选取其他深度估计模型进行替代），经生成器网络后输出单通道深度预测图base_depth，即基础深度图；
将水下图像数据集中的语义图进行边缘提取，得到不同语义区域的边缘图，对边缘图进行高斯平滑，将平滑后到图像进行数据归一化，将元素数值归一化至0～1区间，得到语义边缘惩罚因子图；
对水下图像数据集中的水下图像中相对深度关系的变化趋势进行标注，场景中的相对深度关系沿标注线递增，得到相对深度标注图。在标注时，本发明优选labelme图像标注工具进行标注。
步骤A300，沿相对深度标注图的标注线进行超像素分割，得到超像素块；在各个超像素块中随机取点，并按照相邻像素块之间深度关系组成点对，作为第一类点对；
提取水下图像的特征，获取设定语义之间的深度先验假设，并根据深度先验假设从不同语义区域中随机选取采样点，并按照相对深度关系组成点对，作为第二类点对；所述设定语义包括海水背景、海底和岩石以及鱼类语义；
在相对深度标注图的标注线上取多个垂足点，计算过垂足点的垂线，并在每个垂足点所在的语义区域内截取各垂足点对应的垂线；随机选取同一标注线上的任意两条垂线，在垂线上取点，并按照相对深度关系随机组成点对，作为第三类点对；
根据所述第一类点对、所述第二类点对、所述第三类点对，构建相对深度点对数据集；
在本实施例中，基于相对深度标注图、水下图像进行多种方式的点对采样，具体如下：
如图5所示，根据相对深度标注图，利用超像素分割算法（例如SLIC或其他超像素分割算法），在标注线上等间距选取种子点，在种子点的邻域内进行聚类，最终沿标注线得到超像素块，在各个超像素块中随机取点，按照相邻像素块之间的深度关系组成点对，作为第一类点对；在各个超像素块中随机取点，按照相邻像素块之间的深度关系组成点对，即在任意两个像素块各随机选取一个点，组成点对（其中，在构建第一类点对集合时，每个像素块可以选取多个点，用于组成点对）；
如图5所示，根据水下图像特征，得到设定语义之间的深度先验假设，所述设定语义之间的深度先验假设包括海水背景、海底和岩石以及鱼类语义之间的深度先验假设，即海水位于水下图像的深度“无穷远”处；海底和岩石沿图像纵坐标深度递增；大多数场景中鱼类位于水下图像深度最近处。
根据假设从不同语义区域中随机选取采样点，根据相对深度关系组成点对，作为第二类点对；根据假设从不同语义区域中随机选取采样点，根据相对深度关系组成点对，即从任意两个语义区域各随机选取一个采样点，组成点对（其中，在构建第二类点对集合时，每个语义区域可以选取多个采样点，用于组成点对）；
如图5所示，根据深度标注图，进行相对深度自动推理。在相对深度标注图的标注线上取多个垂足点，计算过垂足点的垂线，并在每个垂足点所在的语义区域内截取各垂足点对应的垂线（保证垂线段和其对应的垂足点在同一语义区域）；随机选取同一标注线上的任意两条垂线，在垂线上取点，并按照相对深度关系随机组成点对，作为第三类点对。在垂线上取点，并按照相对深度关系随机组成点对，即在任意两条垂线上各随机选取一个点，组成点对（其中，在构建第三类点对集合时，每条垂线上可以选取多个点，用于组成点对）。
根据所述第一类点对、所述第二类点对、所述第三类点对，构建相对深度点对数据集（即相对深度点对数据集包括第一类点对、第二类点对、第三类点对）。
步骤A400，将基础深度图、语义边缘惩罚因子图、相对深度标注图输入相对深度图预测模型得到相对深度预测图；
分别计算基础深度图与相对深度预测图、语义边缘惩罚因子图与相对深度预测图、相对深度点对数据集中的相对深度点对数据与相对深度预测图之间的损失，得到像素深度值差异损失、语义深度边缘一致性损失、点对间相对深度排序损失；
对像素深度值差异损失、语义深度边缘一致性损失、点对间相对深度排序损失进行求和，作为总损失，更新相对深度图预测模型的网络参数；
在本实施例中，利用基础深度图、语义边缘惩罚因子图以及相对深度点对数据对相对深度图预测模型输出的相对深度预测图（本发明中相对深度图预测模型的输出只有一个，即相对深度预测图，即基础深度图、语义边缘惩罚因子图、相对深度标注图对应的相对深度预测图均完全相同，即具有唯一的相对深度预测图。另外，本发明中水下图像、基础深度图、相对深度预测图具有相同的图像尺寸）进行约束，最小化像素深度值差异损失、语义深度边缘一致性损失和相对深度排序损失，改善深度估计的边缘效果和深度变化的层次细节，协同优化相对深度图预测模型，具体如下：
步骤A410，将步骤A200获取的三种图像（基础深度图、语义边缘惩罚因子图、相对深度标注图）作为相对深度图预测模型的输入，经过网络后输出的相对深度预测图。所述相对深度图预测模型基于编码-解码结构的深度卷积神经网络构建，例如U-Net、Dense-Net等深度编码-解码模型。
步骤A420，计算相对深度预测图和基础深度图之间的各像素值（即深度值）差异， 对全图深度估计结果进行约束。像素深度值差异损失
Figure 985782DEST_PATH_IMAGE002
具体计算公式如下：
Figure 442171DEST_PATH_IMAGE022
（1）
其中，
Figure 463217DEST_PATH_IMAGE003
为相对深度预测图，
Figure 72184DEST_PATH_IMAGE004
为基础深度图，
Figure 90955DEST_PATH_IMAGE005
为位置坐标，
Figure 300220DEST_PATH_IMAGE006
为相对深度预测 图的像素总数，
Figure 593798DEST_PATH_IMAGE002
是将第一深度图和基础深度图按像素相减并计算全图的平均差异值， 训练过程中最小化该差异从而约束全局的深度预测结果。
步骤A430，利用Sobel算子提取相对深度预测图的边缘，边缘提取结果图（即相对 深度预测图的边缘检测图）和语义边缘惩罚因子图之间计算语义深度边缘一致性损失，对 深度估计边缘进行约束。语义深度边缘一致性损失
Figure 509801DEST_PATH_IMAGE023
的具体计算公式如下：
Figure 496212DEST_PATH_IMAGE024
（2）
其中，
Figure 946435DEST_PATH_IMAGE025
为相对深度预测图的边缘检测图，
Figure 246966DEST_PATH_IMAGE026
为语义边缘惩罚因子图，
Figure 814213DEST_PATH_IMAGE005
为位置坐 标，
Figure 237105DEST_PATH_IMAGE006
为相对深度预测图的像素总数；相对深度预测图的边缘检测图和语义边缘惩罚因子 图之间对应点相乘，累加两图中各像素点点乘结果并求取均值，得到语义深度边缘一致性 损失，利用该损失对深度估计边缘进行约束，提升深度估计边缘效果。
步骤A440，利用步骤A300中取得的点对数据，计算相对深度排序损失，利用像素点 之间的相对深度关系对深度预测结果进行约束，改善深度估计细节，点对间相对深度排序 损失
Figure 155382DEST_PATH_IMAGE027
的具体计算方式如下：
Figure 994025DEST_PATH_IMAGE013
（3）
其中，
Figure 432091DEST_PATH_IMAGE028
为相对深度点对数据集中的点对总数，
Figure 25883DEST_PATH_IMAGE029
为点对
Figure 165877DEST_PATH_IMAGE030
之间的 相对深度关系真值：
Figure 73791DEST_PATH_IMAGE031
更近，则+1（“更近”即
Figure 881210DEST_PATH_IMAGE031
所对应的深度值小于
Figure 131056DEST_PATH_IMAGE032
对应的深度值），
Figure 961609DEST_PATH_IMAGE033
更 远，则-1（“更远”即
Figure 938792DEST_PATH_IMAGE031
所对应的深度值大于
Figure 866297DEST_PATH_IMAGE032
对应的深度值），
Figure 536313DEST_PATH_IMAGE034
，
Figure 854162DEST_PATH_IMAGE035
为点
Figure 651348DEST_PATH_IMAGE031
和点
Figure 167780DEST_PATH_IMAGE032
在相对深 度预测图处的深度预测值。如果预测的相对深度关系和真值标签一致，它会鼓励深度之间 的微小差异，预测关系和真值关系不一致，它会导致较大的损失。利用该约束，可以优化相 对深度预测图的局部渐变关系，深度细节还原度得到提升；
步骤A450，根据像素深度值差异损失、语义深度边缘一致性损失、相对排序损失共 同约束深度预测结果，并对三个损失求和，组作为总损失
Figure 211959DEST_PATH_IMAGE036
，即下述公式：
Figure 79421DEST_PATH_IMAGE037
（4）
训练过程中最小化
Figure 663986DEST_PATH_IMAGE038
使预测结果更接近真实深度关系，更新相对深度图预测模 型的网络参数。
A500，循环执行步骤A400，直至得到训练好的相对深度图预测模型。
在本实施例中，实际训练时，A100-A300作为数据的预处理过程只执行一次，A400循环执行更新相对深度图预测模型的网络参数，直至得到训练好的相对深度图预测模型。
2、基于语义信息约束的水下图像相对深度估计方法
步骤S100，获取待相对深度估计的单目水下图像，作为输入图像；
在本实施例中，获取任意单目水下图像作为模型的输入。
步骤S200，通过训练好的相对深度图预测模型获取所述输入图像对应的相对深度预测图，进而得到水下场景的相对深度关系。
在本实施例中，通过上述训练好的相对深度图预测模型获取单目水下图像的相对深度预测图，进而确定水下场景的相对深度关系。
另外，根据水下作业的任务需求，将本发明中的相对深度图预测模型部署在水下感知设备终端，根据设备采集到的单目水下图像生成对应的相对深度图，增强水下设备的立体感知能力。
本发明第二实施例的一种基于语义信息约束的水下图像相对深度估计***，如图2所示，该***包括：图像获取模块100、相对深度估计模块200；
所述图像获取模块100，配置为获取待相对深度估计的单目水下图像，作为输入图；
所述相对深度估计模块200，通过训练好的相对深度图预测模型获取所述输入图像对应的相对深度预测图，进而得到水下场景的相对深度关系；
所述相对深度图预测模型基于编码-解码结构的深度卷积神经网络构建，其训练方法为：
步骤A100，获取带有语义标注的水下图像数据集；所述水下图像数据集中包括水下图像及其对应的语义图；所述水下图像为RGB图像；
步骤A200，对所述水下图像数据集中的水下图像分别进行深度估计、相对深度关系标注，得到基础深度图、相对深度标注图；对所述水下图像数据集中的语义图进行边缘提取、高斯平滑、数据归一化处理，得到语义边缘惩罚因子图；通过数据预处理步骤得到模型的输入数据；
步骤A300，沿相对深度标注图的标注线进行超像素分割，得到超像素块；在各个超像素块中随机取点，并按照相邻像素块之间深度关系组成点对，作为第一类点对；
提取水下图像的特征，获取设定语义之间的深度先验假设，并根据深度先验假设从不同语义区域中随机选取采样点，并按照相对深度关系组成点对，作为第二类点对；所述设定语义包括海水背景、海底和岩石以及鱼类语义；
在相对深度标注图的标注线上取多个垂足点，计算过垂足点的垂线，并在每个垂足点所在的语义区域内截取各垂足点对应的垂线；随机选取同一标注线上的任意两条垂线，在垂线上取点，并按照相对深度关系随机组成点对，作为第三类点对；
根据所述第一类点对、所述第二类点对、所述第三类点对，构建相对深度点对数据集；
步骤A400，将基础深度图、语义边缘惩罚因子图、相对深度标注图输入相对深度图预测模型得到相对深度预测图；
分别计算基础深度图与相对深度预测图、语义边缘惩罚因子图与相对深度预测图、相对深度点对数据集中的相对深度点对数据与相对深度预测图之间的损失，得到像素深度值差异损失、语义深度边缘一致性损失、点对间相对深度排序损失；
对像素深度值差异损失、语义深度边缘一致性损失、点对间相对深度排序损失进行求和，作为总损失，更新相对深度图预测模型的网络参数；
A500，循环执行步骤A400，直至得到训练好的相对深度图预测模型。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的***的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于语义信息约束的水下图像相对深度估计***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种电子设备，至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求上述的基于语义信息约束的水下图像相对深度估计方法。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的电子设备的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
下面参考图6，其示出了适于用来实现本申请***、方法、设备实施例的服务器的计算机***的结构示意图。图6示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机***包括中央处理单元（CPU，Central Processing Unit）601，其可以根据存储在只读存储器（ROM，Read Only Memory）602中的程序或者从存储部分608加载到随机访问存储器（RAM，Random Access Memory）603中的程序而执行各种适当的动作和处理。在RAM603中，还存储有***操作所需的各种程序和数据。CPU601、ROM 602以及RAM603通过总线604彼此相连。输入/输出（I/O，Input/Output）接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管、液晶显示器等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如局域网卡、调制解调器等的网络接口卡的通讯部分609。通讯部分609经由诸如因特网的网络执行通讯处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通讯部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被CPU601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言，如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，如C语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网或广域网连接到用户计算机，或者可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种基于语义信息约束的水下图像相对深度估计方法，其特征在于，该方法包括：
步骤S100，获取待相对深度估计的单目水下图像，作为输入图像；
步骤S200，通过训练好的相对深度图预测模型获取所述输入图像对应的相对深度预测图，进而得到水下场景的相对深度关系；
所述相对深度图预测模型基于编码-解码结构的深度卷积神经网络构建，其训练方法为：
步骤A100，获取带有语义标注的水下图像数据集；所述水下图像数据集中包括水下图像及其对应的语义图；所述水下图像为RGB图像；
步骤A200，对所述水下图像数据集中的水下图像分别进行深度估计、相对深度关系标注，得到基础深度图、相对深度标注图；对所述水下图像数据集中的语义图进行边缘提取、高斯平滑、数据归一化处理，得到语义边缘惩罚因子图；
步骤A300，沿相对深度标注图的标注线进行超像素分割，得到超像素块；在各个超像素块中随机取点，并按照相邻像素块之间相对深度关系组成点对，作为第一类点对；
提取水下图像的特征，获取设定语义之间的深度先验假设，并根据深度先验假设从不同语义区域中随机选取采样点，并按照相对深度关系组成点对，作为第二类点对；所述设定语义包括海水背景、海底和岩石以及鱼类语义；
在相对深度标注图的标注线上取多个垂足点，计算过垂足点的垂线，并在每个垂足点所在的语义区域内截取各垂足点对应的垂线；随机选取同一标注线上的任意两条垂线，在垂线上取点，并按照相对深度关系随机组成点对，作为第三类点对；
根据所述第一类点对、所述第二类点对、所述第三类点对，构建相对深度点对数据集；
步骤A400，将基础深度图、语义边缘惩罚因子图、相对深度标注图输入相对深度图预测模型得到相对深度预测图；
分别计算基础深度图与相对深度预测图、语义边缘惩罚因子图与相对深度预测图、相对深度点对数据集中的相对深度点对数据与相对深度预测图之间的损失，得到像素深度值差异损失、语义深度边缘一致性损失、点对间相对深度排序损失；
对像素深度值差异损失、语义深度边缘一致性损失、点对间相对深度排序损失进行求和，作为总损失，更新相对深度图预测模型的网络参数；
A500，循环执行步骤A400，直至得到训练好的相对深度图预测模型。
2.根据权利要求1所述的基于语义信息约束的水下图像相对深度估计方法，其特征在于，对所述水下图像数据集中的水下图像分别进行深度估计、相对深度关系标注，得到基础深度图、相对深度标注图，其方法为：
将水下图像输入UW-Net深度估计模型，经UW-Net深度估计模型中的生成器生成单通道相对深度预测图，作为基础深度图；
对水下图像中相对深度关系的变化趋势进行标注，得到相对深度标注图；其中，所述相对深度标注图中的相对深度关系沿标注线递增。
3.根据权利要求1所述的基于语义信息约束的水下图像相对深度估计方法，其特征在于，沿相对深度标注图的标注线进行超像素分割，得到超像素块，其方法为：
通过超像素分割算法在相对深度标注图的标注线上等间距选取种子点，并在种子点的邻域内进行聚类，最终沿标注线得到超像素块。
4.根据权利要求1所述的基于语义信息约束的水下图像相对深度估计方法，其特征在于，所述像素深度值差异损失，其计算方法为：
Figure 993268DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
表示像素深度值差异损失，
Figure 209616DEST_PATH_IMAGE004
为相对深度预测图，
Figure DEST_PATH_IMAGE005
为基础深度图，
Figure 530876DEST_PATH_IMAGE006
为位置坐标，
Figure DEST_PATH_IMAGE007
为相对深度预测图的像素总数。
5.根据权利要求4所述的基于语义信息约束的水下图像相对深度估计方法，其特征在于，所述语义深度边缘一致性损失，其计算方法为：
Figure DEST_PATH_IMAGE009
其中，
Figure 599720DEST_PATH_IMAGE010
表示语义深度边缘一致性损失，
Figure DEST_PATH_IMAGE011
为相对深度预测图的边缘检测图，
Figure 133469DEST_PATH_IMAGE012
为语义边缘惩罚因子图，
Figure 188013DEST_PATH_IMAGE006
为位置坐标，
Figure 634169DEST_PATH_IMAGE007
为相对深度预测图的像素总数。
6.根据权利要求5所述的基于语义信息约束的水下图像相对深度估计方法，其特征在于，所述点对间相对深度排序损失，其计算方法为：
Figure 406953DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE015
表示点对间相对深度排序损失，
Figure 478814DEST_PATH_IMAGE016
为相对深度点对数据集中的点对总数，
Figure DEST_PATH_IMAGE017
为点对
Figure 168290DEST_PATH_IMAGE018
之间的相对深度关系真值，即若
Figure DEST_PATH_IMAGE019
所对应的深度值小于
Figure 34615DEST_PATH_IMAGE020
对应的深度值，则
Figure DEST_PATH_IMAGE021
=1，若
Figure 560274DEST_PATH_IMAGE019
所对应的深度值大于
Figure 170247DEST_PATH_IMAGE020
对应的深度值，则
Figure 684536DEST_PATH_IMAGE021
=-1，
Figure 987342DEST_PATH_IMAGE022
，
Figure DEST_PATH_IMAGE023
为点
Figure 469139DEST_PATH_IMAGE019
和点
Figure 617223DEST_PATH_IMAGE020
在相对深度预测图处的深度预测值。
7.一种基于语义信息约束的水下图像相对深度估计***，其特征在于，该***包括：图像获取模块、相对深度估计模块；
所述图像获取模块，配置为获取待相对深度估计的单目水下图像，作为输入图像；
所述相对深度估计模块，通过训练好的相对深度图预测模型获取所述输入图像对应的相对深度预测图，进而得到水下场景的相对深度关系；
所述相对深度图预测模型基于编码-解码结构的深度卷积神经网络构建，其训练方法为：
步骤A100，获取带有语义标注的水下图像数据集；所述水下图像数据集中包括水下图像及其对应的语义图；所述水下图像为RGB图像；
步骤A200，对所述水下图像数据集中的水下图像分别进行深度估计、相对深度关系标注，得到基础深度图、相对深度标注图；对所述水下图像数据集中的语义图进行边缘提取、高斯平滑、数据归一化处理，得到语义边缘惩罚因子图；
步骤A300，沿相对深度标注图的标注线进行超像素分割，得到超像素块；在各个超像素块中随机取点，并按照相邻像素块之间相对深度关系组成点对，作为第一类点对；
提取水下图像的特征，获取设定语义之间的深度先验假设，并根据深度先验假设从不同语义区域中随机选取采样点，并按照相对深度关系组成点对，作为第二类点对；所述设定语义包括海水背景、海底和岩石以及鱼类语义；
在相对深度标注图的标注线上取多个垂足点，计算过垂足点的垂线，并在每个垂足点所在的语义区域内截取各垂足点对应的垂线；随机选取同一标注线上的任意两条垂线，在垂线上取点，并按照相对深度关系随机组成点对，作为第三类点对；
根据所述第一类点对、所述第二类点对、所述第三类点对，构建相对深度点对数据集；
步骤A400，将基础深度图、语义边缘惩罚因子图、相对深度标注图输入相对深度图预测模型得到相对深度预测图；
分别计算基础深度图与相对深度预测图、语义边缘惩罚因子图与相对深度预测图、相对深度点对数据集中的相对深度点对数据与相对深度预测图之间的损失，得到像素深度值差异损失、语义深度边缘一致性损失、点对间相对深度排序损失；
对像素深度值差异损失、语义深度边缘一致性损失、点对间相对深度排序损失进行求和，作为总损失，更新相对深度图预测模型的网络参数；
A500，循环执行步骤A400，直至得到训练好的相对深度图预测模型。
8.一种电子设备，其特征在于，包括：
至少一个处理器；以及与至少一个所述处理器通信连接的存储器；
其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1-6任一项所述的基于语义信息约束的水下图像相对深度估计方法。
CN202111399127.1A 2021-11-24 2021-11-24 基于语义信息约束的水下图像相对深度估计方法 Active CN113822919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111399127.1A CN113822919B (zh) 2021-11-24 2021-11-24 基于语义信息约束的水下图像相对深度估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111399127.1A CN113822919B (zh) 2021-11-24 2021-11-24 基于语义信息约束的水下图像相对深度估计方法

Publications (2)

Publication Number Publication Date
CN113822919A CN113822919A (zh) 2021-12-21
CN113822919B true CN113822919B (zh) 2022-02-25

Family

ID=78918132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111399127.1A Active CN113822919B (zh) 2021-11-24 2021-11-24 基于语义信息约束的水下图像相对深度估计方法

Country Status (1)

Country Link
CN (1) CN113822919B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882091B (zh) * 2022-04-29 2024-02-13 中国科学院上海微***与信息技术研究所 一种结合语义边缘的深度估计方法
CN115841614B (zh) * 2023-02-20 2023-05-05 中国石油大学(华东) 一种影像处理方法、装置、水下成像设备及介质
CN117788475B (zh) * 2024-02-27 2024-06-07 中国铁路北京局集团有限公司天津供电段 一种基于单目深度估计的铁路危树检测方法、***及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898101A (zh) * 2018-06-29 2018-11-27 西安电子科技大学 基于素描图和先验约束的高分辨sar图像路网检测方法
CN109034374A (zh) * 2018-07-03 2018-12-18 苏州中科启慧软件技术有限公司 使用多刻度密集连通卷积网络的相对深度序列估计方法
CN109087349A (zh) * 2018-07-18 2018-12-25 亮风台（上海）信息科技有限公司 一种单目深度估计方法、装置、终端和存储介质
CN109255833A (zh) * 2018-09-30 2019-01-22 宁波工程学院 基于语义先验和渐进式优化宽基线致密三维场景重建方法
CN111340864A (zh) * 2020-02-26 2020-06-26 浙江大华技术股份有限公司 基于单目估计的三维场景融合方法及装置
CN111476835A (zh) * 2020-05-21 2020-07-31 中国科学院自动化研究所 多视角图像一致性的无监督深度预测方法、***、装置
CN111736173A (zh) * 2020-05-24 2020-10-02 深圳奥比中光科技有限公司 一种基于tof的深度测量装置、方法及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416840B (zh) * 2018-03-14 2020-02-18 大连理工大学 一种基于单目相机的三维场景稠密重建方法
CN111209802B (zh) * 2019-12-24 2022-07-22 浙江大学 一种图形焦点转移的机器人视觉图像场景解析方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898101A (zh) * 2018-06-29 2018-11-27 西安电子科技大学 基于素描图和先验约束的高分辨sar图像路网检测方法
CN109034374A (zh) * 2018-07-03 2018-12-18 苏州中科启慧软件技术有限公司 使用多刻度密集连通卷积网络的相对深度序列估计方法
CN109087349A (zh) * 2018-07-18 2018-12-25 亮风台（上海）信息科技有限公司 一种单目深度估计方法、装置、终端和存储介质
CN109255833A (zh) * 2018-09-30 2019-01-22 宁波工程学院 基于语义先验和渐进式优化宽基线致密三维场景重建方法
CN111340864A (zh) * 2020-02-26 2020-06-26 浙江大华技术股份有限公司 基于单目估计的三维场景融合方法及装置
CN111476835A (zh) * 2020-05-21 2020-07-31 中国科学院自动化研究所 多视角图像一致性的无监督深度预测方法、***、装置
CN111736173A (zh) * 2020-05-24 2020-10-02 深圳奥比中光科技有限公司 一种基于tof的深度测量装置、方法及电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Low-Bandwidth and Compute-Bound RGB-D Planar Semantic SLAM;Jincheng Zhang et al.;《sensors》;20210810;第1-24页 *
Monocular Depth Estimation Using Relative Depth Maps;Jae-Han Lee,Chang-Su Kim;《2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20191231;第9721-9730页 *
基于场景深度估计和白平衡的水下图像复原;蔡晨东 等;《激光与光电子学进展》;20190228;第56卷(第3期);第031008-1——031008-8页 *
融合深度图像的卷积神经网络语义分割方法;王孙平，陈世峰;《集成技术》;20180930;第7卷(第5期);第58-66页 *

Also Published As

Publication number Publication date
CN113822919A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
CN113822919B (zh) 基于语义信息约束的水下图像相对深度估计方法
JP6862409B2 (ja) 地図生成及び移動主体の位置決めの方法及び装置
EP3201881B1 (en) 3-dimensional model generation using edges
US9129435B2 (en) Method for creating 3-D models by stitching multiple partial 3-D models
US11508098B2 (en) Cross-device supervisory computer vision system
CN110060205B (zh) 图像处理方法及装置、存储介质及电子设备
CN114842121B (zh) 贴图生成模型训练和贴图生成方法、装置、设备及介质
CN111260774A (zh) 生成3d关节点回归模型的方法和装置
CN115861601A (zh) 一种多传感器融合感知方法及装置
CN114998406A (zh) 一种自监督多视图深度估计方法、装置
CN113793370A (zh) 三维点云配准方法、装置、电子设备及可读介质
CN114677422A (zh) 深度信息生成方法、图像虚化方法和视频虚化方法
Buyukdemircioglu et al. Deep learning for 3D building reconstruction: A review
Li et al. Vision-based shipwreck mapping: on evaluating features quality and open source state estimation packages
CN115620264B (zh) 车辆定位方法、装置、电子设备和计算机可读介质
CN116740160A (zh) 一种复杂交通场景中的毫秒级多平面实时提取方法及装置
CN113763468B (zh) 一种定位方法、装置、***及存储介质
CN114494574A (zh) 一种多损失函数约束的深度学习单目三维重建方法及***
CN114119973A (zh) 一种基于图像语义分割网络的空间距离预测方法及***
CN112991388A (zh) 基于光流跟踪预测和凸几何距离的线段特征跟踪方法
CN112258568A (zh) 一种高精度地图要素的提取方法及装置
CN114612544B (zh) 图像处理方法、装置、设备和存储介质
CN117437624B (zh) 违禁品检测方法、装置及电子设备
CN113393493B (zh) 目标对象的跟踪方法及装置
CN112434674B (zh) 基于标注框虚拟扩增的微小人脸检测方法、***及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant