CN115457101A - 面向无人机平台的边缘保持多视图深度估计及测距方法 - Google Patents

面向无人机平台的边缘保持多视图深度估计及测距方法 Download PDF

Info

Publication number
CN115457101A
CN115457101A CN202211408484.4A CN202211408484A CN115457101A CN 115457101 A CN115457101 A CN 115457101A CN 202211408484 A CN202211408484 A CN 202211408484A CN 115457101 A CN115457101 A CN 115457101A
Authority
CN
China
Prior art keywords
depth
view
depth map
map
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211408484.4A
Other languages
English (en)
Other versions
CN115457101B (zh
Inventor
陶文兵
苏婉娟
刘李漫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Tuke Intelligent Information Technology Co ltd
Original Assignee
Wuhan Tuke Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Tuke Intelligent Technology Co ltd filed Critical Wuhan Tuke Intelligent Technology Co ltd
Priority to CN202211408484.4A priority Critical patent/CN115457101B/zh
Publication of CN115457101A publication Critical patent/CN115457101A/zh
Application granted granted Critical
Publication of CN115457101B publication Critical patent/CN115457101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种面向无人机平台的高效的边缘保持多视图深度估计及测距方法，以一幅参考图像和多幅邻域图像及其相机姿态作为输入，以“由粗到细”的方式准确地估计出参考图像的深度图。该方法包括：提出了一个层级边缘保持残差学习模块来校正双线性上采样中产生的误差和对多尺度深度估计网络估计的深度图进行优化，使网络能够得到边缘细节保持的深度图；提出一种交叉视图光度一致性损失来增强训练时细节区域的梯度流，可进一步提高深度估计的准确性；设计了一个轻量级的多视图深度估计级联网络框架，通过在相同分辨率下堆叠阶段可以在不增加很多额外显存和时间消耗的情况下尽可能多地进行深度假设采样，从而能够在高效地进行深度估计。

Description

面向无人机平台的边缘保持多视图深度估计及测距方法
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种面向无人机平台的边缘保持多视图深度估计及测距方法。
背景技术
面向无人机平台的多视图深度估计旨在从无人机获取的多视角图像中建立密集对应关系，从而恢复参考视角下图像的深度。无人机自主导航需要具备感知周围环境和定位能力，面向无人机平台的多视图深度估计能够为无人机提供三维场景感知与理解能力，为无人机实现自主避障和基于无人机的测距与三维地图重建提供技术支撑。近年来，深度学***滑特性，导致估计的深度图中在对象边缘处存在过度平滑的问题。
此外，得益于由粗到细（Coarse-to-Fine）架构能够较为高效地进行深度图估计，其被广泛地应用于基于学***衡，受限于无人机有限的机载硬件资源，现有的多视图深度估计算法难以在无人机平台上进行实际应用。因此，如何准确地恢复细节区域的深度来为无人机进行精准地测距提供支撑，以及如何在性能和效率间实现很好的平衡仍然是有待解决的关键问题。
发明内容
本发明针对现有技术中存在的技术问题，提供一种面向无人机平台的边缘保持多视图深度估计及测距方法，以解决现有的方法难以恢复薄结构和物体边缘区域的深度和难以在性能和效率间实现很好平衡的技术问题。
根据本发明的第一方面，提供了一种面向无人机平台的边缘保持多视图深度估计 方法，包括：步骤1，给定一幅参考图像
Figure 795187DEST_PATH_IMAGE001
及其N-1幅邻域图像
Figure 674281DEST_PATH_IMAGE002
，利用权值共享的多 尺度深度特征提取网络提取各幅图像的多尺度深度特征
Figure 318889DEST_PATH_IMAGE003
，其中，
Figure 149180DEST_PATH_IMAGE004
表示第s 个尺度，第s个尺度特征的大小为
Figure 904646DEST_PATH_IMAGE005
，
Figure 497301DEST_PATH_IMAGE006
为第s个尺度特征的通道数，
Figure 922598DEST_PATH_IMAGE007
为原始输入图像的大小；
步骤2，确定所述多尺度深度特征提取网络第1个阶段估计的深度图
Figure 866283DEST_PATH_IMAGE008
；
步骤3，基于所述深度图
Figure 300806DEST_PATH_IMAGE008
确定所述多尺度深度特征提取网络第2个阶段估计的 深度图
Figure 13547DEST_PATH_IMAGE009
；
步骤4，采用层级边缘保持残差学习模块来对所述深度图
Figure 140903DEST_PATH_IMAGE009
进行优化和上采样， 得到优化后的深度图
Figure 476945DEST_PATH_IMAGE010
；
步骤5，基于所述深度图
Figure 449580DEST_PATH_IMAGE010
和第2个尺度下的图像深度特征
Figure 282407DEST_PATH_IMAGE011
，依次进行第3 个阶段和第4个阶段的深度估计，得到第4个阶段估计的深度图
Figure 315085DEST_PATH_IMAGE012
；
步骤6，采用层级边缘保持残差学习模块对所述深度图
Figure 967783DEST_PATH_IMAGE012
进行优化和上采样，得 到优化后的深度图
Figure 9688DEST_PATH_IMAGE013
；
步骤7，基于优化后的深度图
Figure 94360DEST_PATH_IMAGE013
和第3个尺度下的图像深度特征
Figure 688153DEST_PATH_IMAGE014
，进行第5 个阶段的深度估计，得到深度图
Figure 437934DEST_PATH_IMAGE015
。
在上述技术方案的基础上，本发明还可以作出如下改进。
可选的，所述多尺度特征提取网络为由具有跳跃式连接的一个编码器和一个解码器组成的二维U型网络；所述编码器和所述解码器由多个残差块组成。
可选的，所述步骤2中包括：
步骤201，在整个场景深度范围
Figure 877006DEST_PATH_IMAGE016
内均匀采样
Figure 294212DEST_PATH_IMAGE017
个深度假设值；
步骤202，通过可微单应变换，在每个深度假设下，将第i幅邻域视图的深度特征
Figure 58905DEST_PATH_IMAGE018
投影变换至参考视图下，再利用组相关度量来构建两视图代价体
Figure 561562DEST_PATH_IMAGE019
；
步骤203，对于第i个两视图代价体
Figure 443805DEST_PATH_IMAGE019
，采用浅层3D CNN来估计可见性图
Figure 840151DEST_PATH_IMAGE020
，并基 于每幅领域视图的可见性图
Figure 651112DEST_PATH_IMAGE021
，对所有的两视图代价体进行加权求和，得到最终聚合的代 价体
Figure 765699DEST_PATH_IMAGE022
；
步骤204，利用三维卷积神经网络对所述代价体
Figure 687519DEST_PATH_IMAGE022
进行正则化，通过Softmax操作 得到深度概率体，并基于该深度概率体，采用soft-argmax得到所述深度图
Figure 876054DEST_PATH_IMAGE023
。
可选的，所述步骤3包括：
步骤301，根据所述深度图
Figure 90873DEST_PATH_IMAGE023
确定第二阶段的深度假设采样范围
Figure 692756DEST_PATH_IMAGE024
，并在该深度 范围内进行均匀采样
Figure 683845DEST_PATH_IMAGE025
个深度假设值；
步骤302，按照所述步骤201-步骤203的方法进行两视图代价体构造与聚合，在第1 个尺度下的图像深度特征
Figure 930150DEST_PATH_IMAGE026
与
Figure 941968DEST_PATH_IMAGE025
个深度假设值的基础上得到聚合的代价体
Figure 906513DEST_PATH_IMAGE027
；
步骤303，按照所述步骤204的方法进行代价体正则化和深度图预测，基于代价体
Figure 29190DEST_PATH_IMAGE027
得到所述深度图
Figure 628536DEST_PATH_IMAGE009
。
可选的，所述步骤4包括：
步骤401，利用上下文编码网络提取参考图像的多尺度上下文特征
Figure 76835DEST_PATH_IMAGE028
，其中，
Figure 263097DEST_PATH_IMAGE029
表示第s个尺度，第s个尺度特征的大小为
Figure 189465DEST_PATH_IMAGE030
；
步骤402，对所述深度图
Figure 144782DEST_PATH_IMAGE009
进行归一化，利用一个浅层的2D CNN网络对归一化后 的所述深度图
Figure 498403DEST_PATH_IMAGE031
进行特征提取；
步骤403，将提取的深度图特征与图像的上下文特征
Figure 171961DEST_PATH_IMAGE032
进行连接，并输入至边缘保 持残差学习网络进行残差学习，得到残差图
Figure 167599DEST_PATH_IMAGE033
；
步骤404，将经过归一化和上采样的所述深度图与所述残差图
Figure 7117DEST_PATH_IMAGE033
进行相加，并 将相加后的结果进行解归一化，得到优化后的所述深度图
Figure 203743DEST_PATH_IMAGE034
。
可选的，所述步骤401中的所述上下文编码网络为一个二维U型网络，所述上下文编码网络包括：具有跳跃式连接的一个编码器和一个解码器；
所述步骤402中对所述深度图
Figure 630176DEST_PATH_IMAGE035
归一化的公式为：
Figure 773713DEST_PATH_IMAGE036
（1）
其中，
Figure 93836DEST_PATH_IMAGE037
和
Figure 428740DEST_PATH_IMAGE038
分别表示均值和方差计算；
所述步骤403中的所述边缘保持残差学习网络为由具有跳跃式连接的一个编码器和一个解码器组成的二维U型网络；所述编码器和所述解码器由多个残差块组成；
所述步骤404中，对所述归一化的深度图
Figure 201524DEST_PATH_IMAGE039
采用双线性插值进行上采样并与所述 残差图
Figure 883172DEST_PATH_IMAGE040
进行相加，得到优化后的归一化深度图
Figure 57801DEST_PATH_IMAGE041
，即
Figure 799492DEST_PATH_IMAGE042
（2）
其中，
Figure 59573DEST_PATH_IMAGE043
表示采用双线性插值将上
Figure 544912DEST_PATH_IMAGE041
采样至原来的两倍；利用深度图
Figure 213528DEST_PATH_IMAGE035
的均 值和方差进行解归一化，得到优化后的深度图
Figure 516333DEST_PATH_IMAGE044
：
Figure 873497DEST_PATH_IMAGE045
（3）。
可选的，所述步骤5和步骤7中进行第3个阶段、第4个阶段和第5个阶段的深度估计的过程中：按照所述步骤301的方法确定深度范围；
按照所述步骤201-步骤203的方法进行两视图代价体构造与聚合；按照所述步骤204的方法进行代价体正则化和深度图预测。
可选的，所述步骤6包括：
步骤601，利用上下文编码网络提取参考图像的多尺度上下文特征
Figure 287160DEST_PATH_IMAGE046
；
步骤602，对所述深度图
Figure 46169DEST_PATH_IMAGE047
进行归一化，利用一个浅层的2D CNN网络对归一化后 的所述深度图
Figure 519876DEST_PATH_IMAGE048
进行特征提取；
步骤603，将提取的深度图特征与图像的上下文特征
Figure 629914DEST_PATH_IMAGE049
进行连接，并输入至边缘保 持残差学习网络进行残差学习，得到残差图
Figure 316110DEST_PATH_IMAGE050
；
步骤604，将经过归一化和上采样的深度图与残差图进行相加，并将相加后的结果 进行解归一化，得到优化后的所述深度图
Figure 693740DEST_PATH_IMAGE051
。
可选的，所述多尺度深度特征提取网络网络的训练过程包括：
步骤801，采用交叉视图光度一致性损失与L1损失一起对多尺度深度估计网络进 行监督，对于所述参考图像
Figure 338348DEST_PATH_IMAGE052
中深度值为d的像素
Figure 670103DEST_PATH_IMAGE053
，其在源视图中对应的像素
Figure 691149DEST_PATH_IMAGE054
为
Figure 159170DEST_PATH_IMAGE055
（4）
其中，
Figure 974680DEST_PATH_IMAGE056
和
Figure 793731DEST_PATH_IMAGE057
分别为参考视图和第i个邻域视图的相机内参，
Figure 352888DEST_PATH_IMAGE058
、
Figure 705110DEST_PATH_IMAGE059
为参考视图 和第i个邻域视图之间的相对旋转和平移；通过可微分双线性插值得到第i个邻域视图在参 考视图上基于深度图D合成的图像
Figure 301308DEST_PATH_IMAGE060
，即
Figure 732289DEST_PATH_IMAGE061
（5）
将变换过程中生成的二进制掩码
Figure 704924DEST_PATH_IMAGE062
，用于标识合成图像
Figure 537751DEST_PATH_IMAGE063
中的无效像素；
交叉视图光度一致性损失的计算公示为：
Figure 304850DEST_PATH_IMAGE064
（6）
其中，分别表示根据真实深度和估计深度在第i个邻域视图的基础上合成的视图， N表示视图数，
Figure 223127DEST_PATH_IMAGE065
表示合成图像和生成的GT深度图中的有效像素，其由
Figure 497988DEST_PATH_IMAGE066
得到，
Figure 919743DEST_PATH_IMAGE067
表示GT 深度映射中的有效像素；
步骤802，结合交叉视图光度一致性损失和L1损失得到多尺度深度估计分支部分的损失：
Figure 123322DEST_PATH_IMAGE068
（7）
其中
Figure 528895DEST_PATH_IMAGE069
为第s个阶段下损失函数的权重系数；
步骤803，层级边缘保持残差学习分支采用L1损失来进行监督，整个网络的总体损失为：
Figure 108912DEST_PATH_IMAGE070
（8）
其中
Figure 650752DEST_PATH_IMAGE071
为第s个阶段下损失函数的权重系数。
根据本发明的第二方面，提供一种面向无人机平台的测距方法，包括：基于本发明实施例提供的面向无人机平台的边缘保持多视图深度估计方法得到的所述深度图进行测距。
本发明提供的一种面向无人机平台的边缘保持多视图深度估计及测距方法，为了实现细节区域的精准估计，提出了一种层级边缘保持残差学***衡，设计了一个轻量级的多视图深度估计级联网络框架，并将其与上述提出的两种策略进行结合，从而能够在高效的情况下实现精准的深度估计，有利于在无人机平台上进行实际应用。
附图说明
图1为本发明提供的一种面向无人机平台的高效的边缘保持多视图深度估计及测距方法整体架构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
为了克服背景技术中的缺陷和问题，提出了层级边缘保持残差学习模块来对多尺度深度估计网络估计的深度图进行优化，使得网络能够进行边缘感知地深度图上采样。此外，提出一种交叉视图光度一致性损失，以加强细节区域在训练时的梯度流，从而实现更加精细地深度估计。同时，在此基础上，设计了一个轻量级的多视图深度估计级联网络框架，能够高效地进行深度估计。
为此，本发明提供了一种面向无人机平台的高效的边缘保持多视图深度估计及测距方法，图1为本发明提供的一种面向无人机平台的边缘保持多视图深度估计及测距方法的整体架构示意图，如图1所示，该边缘保持多视图深度估计方法包括：
步骤1，给定一幅参考图像
Figure 759654DEST_PATH_IMAGE001
及其N-1幅邻域图像
Figure 386944DEST_PATH_IMAGE002
，利用权值共享的多尺度 深度特征提取网络提取各幅图像的多尺度深度特征
Figure 269187DEST_PATH_IMAGE003
，其中，
Figure 665533DEST_PATH_IMAGE004
表示第s个尺 度，第s个尺度特征的大小为
Figure 945336DEST_PATH_IMAGE005
，
Figure 59923DEST_PATH_IMAGE006
为第s个尺度特征的通道数，
Figure 716163DEST_PATH_IMAGE007
为原始输入图像的大小。
步骤2，确定多尺度深度特征提取网络第1个阶段估计的深度图
Figure 232595DEST_PATH_IMAGE008
。
步骤3，基于深度图
Figure 214458DEST_PATH_IMAGE008
确定多尺度深度特征提取网络第2个阶段估计的深度图
Figure 816340DEST_PATH_IMAGE009
。
步骤4，为了进行边缘保持的上采样，采用层级边缘保持残差学习模块来对深度图
Figure 774807DEST_PATH_IMAGE009
进行优化和上采样，得到优化后的深度图
Figure 145745DEST_PATH_IMAGE010
。
步骤5，基于深度图
Figure 32930DEST_PATH_IMAGE010
和第2个尺度下的图像深度特征
Figure 856529DEST_PATH_IMAGE011
，依次进行第3个阶 段和第4个阶段的深度估计，得到第4个阶段估计的深度图
Figure 120152DEST_PATH_IMAGE012
。
步骤6，采用层级边缘保持残差学习模块对深度图
Figure 345596DEST_PATH_IMAGE012
进行优化和上采样，得到优 化后的深度图
Figure 403682DEST_PATH_IMAGE013
。
步骤7，基于优化后的深度图
Figure 980157DEST_PATH_IMAGE013
和第3个尺度下的图像深度特征
Figure 280426DEST_PATH_IMAGE014
，进行第5 个阶段的深度估计，得到最终的深度图
Figure 501323DEST_PATH_IMAGE015
。
综上，整个多尺度深度估计网络分支总共有五个阶段，每个阶段的深度假设采样数分别为32、16、8、8和8，第2个阶段对应的深度采样范围衰减为前一阶段的一半，其余阶段衰减为前一阶段的四分之一。
本发明提供的一种面向无人机平台的高效的边缘保持多视图深度估计方法，以解决现有的方法难以恢复薄结构和物体边缘区域的深度和难以在性能和效率间实现很好平衡的技术问题。
实施例1
本发明提供的实施例1为本发明提供的一种面向无人机平台的边缘保持多视图深度估计方法的实施例，结合图1可知，该边缘保持多视图深度估计方法的实施例包括：
步骤1，给定一幅参考图像
Figure 120523DEST_PATH_IMAGE001
及其N-1幅邻域图像
Figure 794081DEST_PATH_IMAGE002
，利用权值共享的多尺度 深度特征提取网络提取各幅图像的多尺度深度特征
Figure 524140DEST_PATH_IMAGE003
，其中，
Figure 599543DEST_PATH_IMAGE004
表示第s个尺 度，第s个尺度特征的大小为
Figure 389645DEST_PATH_IMAGE005
，
Figure 783455DEST_PATH_IMAGE006
为第s个尺度特征的通道数，
Figure 51625DEST_PATH_IMAGE007
为原始输入图像的大小。
在一种可能的实施例方式中，多尺度特征提取网络是一个二维U型网络，其主要由具有跳跃式连接的一个编码器和一个解码器组成。此外，为了增强特征表示能力，编码器和解码器由多个残差块组成。
步骤2，确定多尺度深度特征提取网络第1个阶段估计的深度图
Figure 981535DEST_PATH_IMAGE008
。
在一种可能的实施例方式中，对于第1个阶段，步骤2中包括：
步骤201，在整个场景深度范围
Figure 942538DEST_PATH_IMAGE016
内均匀采样
Figure 325109DEST_PATH_IMAGE017
个深度假设值。
可以理解的是，对于深度假设d，通过可微单应变换将所有邻域视图的深度特征
Figure 396970DEST_PATH_IMAGE018
投影变换至参考视图下，得到变换后的特征
Figure 446965DEST_PATH_IMAGE072
，可微单应变换计算过程如公式 （1）所示。
Figure 313290DEST_PATH_IMAGE073
（1）
其中，
Figure 947272DEST_PATH_IMAGE074
和
Figure 557245DEST_PATH_IMAGE075
分别表示参考视图的相机内参和外参，
Figure 461747DEST_PATH_IMAGE076
和
Figure 498973DEST_PATH_IMAGE077
分别表示第i幅邻域 视图的相机内参和外参。
步骤202，通过可微单应变换，在每个深度假设下，将第i幅邻域视图的深度特征
Figure 121715DEST_PATH_IMAGE018
投影变换至参考视图下，再利用组相关度量来构建两视图代价体
Figure 535379DEST_PATH_IMAGE019
。
可以理解的是，基于组相关度量计算每幅邻域视角的投影变换深度特征与参考视 角的深度特征的相似性。具体而言，对于参考图像的深度特征
Figure 294388DEST_PATH_IMAGE078
和在深度值d下的第i幅邻 域视图的投影变换特征
Figure 768094DEST_PATH_IMAGE079
，沿着特征通道维度，将它们的特征均匀地分成G组。然后，
Figure 111089DEST_PATH_IMAGE078
和
Figure 62864DEST_PATH_IMAGE079
间第g组特征相似性计算为：
Figure 941958DEST_PATH_IMAGE080
（2）
其中，
Figure 320987DEST_PATH_IMAGE081
，
Figure 652742DEST_PATH_IMAGE082
和
Figure 408209DEST_PATH_IMAGE083
分别是
Figure 141810DEST_PATH_IMAGE084
和
Figure 957319DEST_PATH_IMAGE085
的第g组特征，
Figure 298343DEST_PATH_IMAGE086
是内积操作。当 计算完
Figure 591921DEST_PATH_IMAGE078
和
Figure 180028DEST_PATH_IMAGE079
间所有G组的特征相似性后，这些特征相似性将会成一个G通道的特征相似 性图
Figure 166439DEST_PATH_IMAGE087
。由于有
Figure 472786DEST_PATH_IMAGE017
个深度假设值，参考图像和第i幅邻域视图之间的
Figure 570055DEST_PATH_IMAGE017
个特征相似性图进 一步构成大小为
Figure 12669DEST_PATH_IMAGE088
的两视图代价体
Figure 169981DEST_PATH_IMAGE019
。
步骤203，对于第i个两视图代价体
Figure 462160DEST_PATH_IMAGE019
，采用浅层3D CNN来估计可见性图
Figure 97541DEST_PATH_IMAGE020
，并基 于每幅领域视图的可见性图
Figure 660240DEST_PATH_IMAGE021
，对所有的两视图代价体进行加权求和，得到最终聚合的代 价体
Figure 988453DEST_PATH_IMAGE022
。
可以理解的是，为了得到第i幅邻域视图在参考视图下的可见性图
Figure 3814DEST_PATH_IMAGE089
，对于每个 两视图代价体，采用一层3D卷积-批正则化-ReLU激活函数-一层3D卷积-Sigmoid激活函数 构成的浅层3D CNN进行可见性估计。在此基础上，利用每幅领域视图的可见性图
Figure 708465DEST_PATH_IMAGE090
，对两视 图代价体进行加权求和，得到最终聚合的代价体
Figure 125671DEST_PATH_IMAGE091
，即
Figure 624785DEST_PATH_IMAGE092
（3）
步骤204，利用三维卷积神经网络对代价体
Figure 625977DEST_PATH_IMAGE022
进行正则化，通过Softmax操作得到 深度概率体，并基于该深度概率体，采用soft-argmax得到深度图
Figure 603160DEST_PATH_IMAGE023
。
可以理解的是，对于代价体
Figure 140452DEST_PATH_IMAGE022
，利用三维卷积神经网络对代价体
Figure 76047DEST_PATH_IMAGE093
进行正则化， 该三维卷积神经网络由三维U型神经网络构成。之后，采用Softmax操作得到深度概率体，并 基于soft-argmax回归出深度图，即通过对深度概率体和深度假设求期望得到最终的深度 图
Figure 800420DEST_PATH_IMAGE023
。
步骤3，基于深度图
Figure 581295DEST_PATH_IMAGE008
确定所述多尺度深度特征提取网络第2个阶段估计的深度 图
Figure 238672DEST_PATH_IMAGE009
。
在一种可能的实施例方式中，对于第2个阶段，步骤3包括：
步骤301，根据深度图
Figure 79589DEST_PATH_IMAGE023
确定第二阶段的深度假设采样范围
Figure 55373DEST_PATH_IMAGE024
，并在该深度范围 内进行均匀采样
Figure 639938DEST_PATH_IMAGE025
个深度假设值。
可以理解的是，根据上一阶段估计的
Figure 886243DEST_PATH_IMAGE023
确定该阶段的深度假设采样范围
Figure 898061DEST_PATH_IMAGE024
，并 在该深度范围内进行均匀采样
Figure 862606DEST_PATH_IMAGE025
个深度假设值，其中
Figure 985283DEST_PATH_IMAGE024
确定的采样范围为
Figure 351673DEST_PATH_IMAGE094
。
步骤302，按照步骤201-步骤203的方法进行两视图代价体构造与聚合，在第1个尺 度下的图像深度特征
Figure 908294DEST_PATH_IMAGE026
与
Figure 484769DEST_PATH_IMAGE025
个深度假设值的基础上得到聚合的代价体
Figure 286503DEST_PATH_IMAGE027
。
可以理解的是，按照步骤2中的两视图代价体构造与聚合方法，在第1个尺度下的 图像深度特征
Figure 366455DEST_PATH_IMAGE026
与
Figure 861021DEST_PATH_IMAGE025
个深度假设值的基础上得到聚合的代价体
Figure 393633DEST_PATH_IMAGE027
。
步骤303，按照步骤204的方法进行代价体正则化和深度图预测，基于代价体
Figure 999058DEST_PATH_IMAGE027
得到所述深度图
Figure 199095DEST_PATH_IMAGE009
。
可以理解的是，按照步骤2中的代价体正则化和深度图预测方法，基于代价体
Figure 363098DEST_PATH_IMAGE027
得到深度图
Figure 383007DEST_PATH_IMAGE009
。
步骤4，采用层级边缘保持残差学习模块来对深度图
Figure 792123DEST_PATH_IMAGE009
进行优化和上采样，得到 优化后的深度图
Figure 846666DEST_PATH_IMAGE010
。
在一种可能的实施例方式中，步骤4包括：
步骤401，利用上下文编码网络提取参考图像的多尺度上下文特征
Figure 417456DEST_PATH_IMAGE028
，其中，
Figure 190240DEST_PATH_IMAGE029
表示第s个尺度，第s个尺度特征的大小为
Figure 137467DEST_PATH_IMAGE030
。
可以理解的是，步骤401中的上下文编码网络结构与步骤1中多尺度特征提取网络结构类似，同样是由具有跳跃式连接的一个编码器和一个解码器组成的二维U型网络。
步骤402，对深度图
Figure 46518DEST_PATH_IMAGE009
进行归一化，利用一个浅层的2D CNN网络对归一化后的深 度图
Figure 552323DEST_PATH_IMAGE031
进行特征提取。
可以理解的是，步骤402中对深度图
Figure 546824DEST_PATH_IMAGE009
归一化的公式为：
Figure 297742DEST_PATH_IMAGE036
（4）
其中，
Figure 326878DEST_PATH_IMAGE037
和
Figure 98525DEST_PATH_IMAGE038
分别表示均值和方差计算。
步骤403，将提取的深度图特征与图像的上下文特征
Figure 986847DEST_PATH_IMAGE032
进行连接，并输入至边缘保 持残差学习网络进行残差学习，得到残差图
Figure 275877DEST_PATH_IMAGE033
。
可以理解的是，步骤403中的边缘保持残差学习网络为由具有跳跃式连接的一个编码器和一个解码器组成的二维U型网络；编码器和解码器由多个残差块组成，以增强特征表示能力。
步骤404，将经过归一化和上采样的深度图与残差图
Figure 159519DEST_PATH_IMAGE033
进行相加，并将相加后 的结果进行解归一化，得到优化后的深度图
Figure 741548DEST_PATH_IMAGE034
。
可以理解的是，步骤404中，对归一化的深度图
Figure 710641DEST_PATH_IMAGE039
采用双线性插值进行上采样并 与所述残差图
Figure 803362DEST_PATH_IMAGE040
进行相加，得到优化后的归一化深度图
Figure 541511DEST_PATH_IMAGE041
，即
Figure 61485DEST_PATH_IMAGE042
（5）
其中，
Figure 517874DEST_PATH_IMAGE043
表示采用双线性插值将上
Figure 148706DEST_PATH_IMAGE041
采样至原来的两倍；在此基础上，利用深 度图
Figure 6941DEST_PATH_IMAGE035
的均值和方差进行解归一化，得到优化后的深度图
Figure 196352DEST_PATH_IMAGE044
：
Figure 874458DEST_PATH_IMAGE045
（6）
步骤5，基于深度图
Figure 308981DEST_PATH_IMAGE010
和第2个尺度下的图像深度特征
Figure 21722DEST_PATH_IMAGE011
，依次进行第3个阶 段和第4个阶段的深度估计，得到第4个阶段估计的深度图
Figure 883499DEST_PATH_IMAGE012
。
步骤6，采用层级边缘保持残差学习模块对深度图
Figure 314480DEST_PATH_IMAGE012
进行优化和上采样，得到优 化后的深度图
Figure 287116DEST_PATH_IMAGE013
。
在一种可能的实施例方式中，步骤6的方法与步骤4类似，具体可以包括：
步骤601，利用上下文编码网络提取参考图像的多尺度上下文特征
Figure 854363DEST_PATH_IMAGE046
。
步骤602，对深度图
Figure 385576DEST_PATH_IMAGE047
进行归一化，利用一个浅层的2D CNN网络对归一化后的深 度图
Figure 38275DEST_PATH_IMAGE048
进行特征提取。
步骤603，将提取的深度图特征与图像的上下文特征
Figure 814601DEST_PATH_IMAGE049
进行连接，并输入至边缘保 持残差学习网络进行残差学习，得到残差图
Figure 767513DEST_PATH_IMAGE050
。
步骤604，将经过归一化和上采样的深度图与残差图进行相加，并将相加后的结果 进行解归一化，得到优化后的深度图
Figure 971093DEST_PATH_IMAGE051
。
步骤7，基于优化后的深度图
Figure 111087DEST_PATH_IMAGE013
和第3个尺度下的图像深度特征
Figure 425525DEST_PATH_IMAGE014
，进行第5 个阶段的深度估计，得到深度图
Figure 967364DEST_PATH_IMAGE015
。
在一种可能的实施例方式中，步骤5和步骤7中进行第3个阶段、第4个阶段和第5个阶段的深度估计的过程中：按照步骤301的方法确定深度范围。
按照步骤201-步骤203的方法进行两视图代价体构造与聚合；按照步骤204的方法进行代价体正则化和深度图预测。
在一种可能的实施例方式中，
多尺度深度特征提取网络网络的训练过程包括：
步骤801，采用交叉视图光度一致性损失与L1损失一起对多尺度深度估计网络进 行监督，交叉视图光度一致性的核心思想是通过基于深度的视图合成来将真实深度值与预 测的深度值的差异转换为基于真实深度值合成的图像与基于预测的深度值合成的深度值 的差异，以此来放大细节区域的梯度流。对于参考图像
Figure 840380DEST_PATH_IMAGE052
中深度值为d的像素
Figure 467671DEST_PATH_IMAGE053
，其在源视 图中对应的像素
Figure 585799DEST_PATH_IMAGE054
为：
Figure 247725DEST_PATH_IMAGE055
（7）
其中，
Figure 793107DEST_PATH_IMAGE056
和
Figure 642114DEST_PATH_IMAGE057
分别为参考视图和第i个邻域视图的相机内参，
Figure 563934DEST_PATH_IMAGE058
、
Figure 80366DEST_PATH_IMAGE059
为参考视图 和第i个邻域视图之间的相对旋转和平移；经过以上变换，可通过可微分双线性插值得到第 i个邻域视图在参考视图上基于深度图D合成的图像
Figure 295184DEST_PATH_IMAGE060
，即
Figure 631488DEST_PATH_IMAGE061
（8）
在此变换过程中会生成一个二进制掩码
Figure 356998DEST_PATH_IMAGE062
，用于标识合成图像
Figure 462357DEST_PATH_IMAGE063
中的无效像素， 即投影到图像外部区域的像素。
交叉视图光度一致性损失的计算公示为：
Figure 615121DEST_PATH_IMAGE064
（9）
其中，分别表示根据真实深度和估计深度在第i个邻域视图的基础上合成的视图， N表示视图数，
Figure 579666DEST_PATH_IMAGE065
表示合成图像和生成的GT深度图中的有效像素，其由
Figure 702343DEST_PATH_IMAGE066
得到，
Figure 98427DEST_PATH_IMAGE067
表示GT 深度映射中的有效像素。
步骤802，结合交叉视图光度一致性损失和L1损失得到多尺度深度估计分支部分的损失：
Figure 156513DEST_PATH_IMAGE068
（10）
其中
Figure 467408DEST_PATH_IMAGE069
为第s个阶段下损失函数的权重系数，第1至第5个阶段的损失函数的权重 系数可以分别设置为0.5、0.5、1、1和2。
步骤803，层级边缘保持残差学习分支则采用L1损失来进行监督，则整个网络的总体损失为：
Figure 269142DEST_PATH_IMAGE070
（11）
其中
Figure 880252DEST_PATH_IMAGE071
为第s个阶段下损失函数的权重系数，第2和第4个阶段的损失函数的权重 系数可以分别设置为1和2。
实施例2
本发明提供的实施例2为本发明提供的一种面向无人机平台的测距方法的实施例，结合图1可知，该测距方法的实施例包括：基于本发明实施例提供的一种面向无人机平台的边缘保持多视图深度估计方法得到的深度图进行测距。
可以理解的是，本发明提供的一种面向无人机平台的测距方法与前述各实施例提供的面向无人机平台的边缘保持多视图深度估计方法相对应，面向无人机平台的测距方法的相关技术特征可参考面向无人机平台的边缘保持多视图深度估计方法的相关技术特征，在此不再赘述。
本发明实施例提供的一种面向无人机平台的边缘保持多视图深度估计及测距方法，对深度估计结果和效率有显著增益，增益主要来自以下三个方面：首先通过层级边缘保持残差学***台上进行实际应用。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（***）、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种面向无人机平台的边缘保持多视图深度估计方法，其特征在于，所述边缘保持多视图深度估计方法包括：
步骤1，给定一幅参考图像
Figure 238976DEST_PATH_IMAGE001
及其N-1幅邻域图像
Figure 288972DEST_PATH_IMAGE002
，利用权值共享的多尺度深度 特征提取网络提取各幅图像的多尺度深度特征
Figure 155297DEST_PATH_IMAGE003
，其中，
Figure 540011DEST_PATH_IMAGE004
表示第s个尺度，第 s个尺度特征的大小为
Figure 149984DEST_PATH_IMAGE005
，
Figure 54486DEST_PATH_IMAGE006
为第s个尺度特征的通道数，
Figure 91712DEST_PATH_IMAGE007
为 原始输入图像的大小；
步骤2，确定所述多尺度深度特征提取网络第1个阶段估计的深度图
Figure 698143DEST_PATH_IMAGE008
；
步骤3，基于所述深度图
Figure 111806DEST_PATH_IMAGE008
确定所述多尺度深度特征提取网络第2个阶段估计的深度图
Figure 870815DEST_PATH_IMAGE009
；
步骤4，采用层级边缘保持残差学习模块来对所述深度图
Figure 344522DEST_PATH_IMAGE009
进行优化和上采样，得到 优化后的深度图
Figure 48035DEST_PATH_IMAGE010
；
步骤5，基于所述深度图
Figure 124445DEST_PATH_IMAGE010
和第2个尺度下的图像深度特征
Figure 128173DEST_PATH_IMAGE011
，依次进行第3个阶 段和第4个阶段的深度估计，得到第4个阶段估计的深度图
Figure 648147DEST_PATH_IMAGE012
；
步骤6，采用层级边缘保持残差学习模块对所述深度图
Figure 838957DEST_PATH_IMAGE012
进行优化和上采样，得到优 化后的深度图
Figure 719057DEST_PATH_IMAGE013
；
步骤7，基于优化后的深度图
Figure 577292DEST_PATH_IMAGE013
和第3个尺度下的图像深度特征
Figure 2588DEST_PATH_IMAGE014
，进行第5个阶 段的深度估计，得到深度图
Figure 946273DEST_PATH_IMAGE015
。
2.根据权利要求1所述的边缘保持多视图深度估计方法，其特征在于，所述多尺度特征提取网络为由具有跳跃式连接的一个编码器和一个解码器组成的二维U型网络；所述编码器和所述解码器由多个残差块组成。
3.根据权利要求1所述的边缘保持多视图深度估计方法，其特征在于，所述步骤2中包括：
步骤201，在整个场景深度范围
Figure 630064DEST_PATH_IMAGE016
内均匀采样
Figure 342805DEST_PATH_IMAGE017
个深度假设值；
步骤202，通过可微单应变换，在每个深度假设下，将第i幅邻域视图的深度特征
Figure 939003DEST_PATH_IMAGE018
投影变换至参考视图下，再利用组相关度量来构建两视图代价体
Figure 104405DEST_PATH_IMAGE019
；
步骤203，对于第i个两视图代价体
Figure 201674DEST_PATH_IMAGE019
，采用浅层3D CNN来估计可见性图
Figure 159135DEST_PATH_IMAGE020
，并基于每 幅领域视图的可见性图
Figure 785288DEST_PATH_IMAGE021
，对所有的两视图代价体进行加权求和，得到最终聚合的代价体
Figure 578932DEST_PATH_IMAGE022
；
步骤204，利用三维卷积神经网络对所述代价体
Figure 479892DEST_PATH_IMAGE022
进行正则化，通过Softmax操作得到 深度概率体，并基于该深度概率体，采用soft-argmax得到所述深度图
Figure 26279DEST_PATH_IMAGE023
。
4.根据权利要求3所述的边缘保持多视图深度估计方法，其特征在于，所述步骤3包括：
步骤301，根据所述深度图
Figure 354493DEST_PATH_IMAGE023
确定第二阶段的深度假设采样范围
Figure 369853DEST_PATH_IMAGE024
，并在该深度范围 内进行均匀采样
Figure 808925DEST_PATH_IMAGE025
个深度假设值；
步骤302，按照所述步骤201-步骤203的方法进行两视图代价体构造与聚合，在第1个尺 度下的图像深度特征
Figure 350764DEST_PATH_IMAGE026
与
Figure 974513DEST_PATH_IMAGE025
个深度假设值的基础上得到聚合的代价体
Figure 601803DEST_PATH_IMAGE027
；
步骤303，按照所述步骤204的方法进行代价体正则化和深度图预测，基于代价体
Figure 454353DEST_PATH_IMAGE027
得 到所述深度图
Figure 850699DEST_PATH_IMAGE009
。
5.根据权利要求1所述的边缘保持多视图深度估计方法，其特征在于，所述步骤4包括：
步骤401，利用上下文编码网络提取参考图像的多尺度上下文特征
Figure 645348DEST_PATH_IMAGE028
，其中，
Figure 759935DEST_PATH_IMAGE029
表 示第s个尺度，第s个尺度特征的大小为
Figure 275230DEST_PATH_IMAGE030
；
步骤402，对所述深度图
Figure 667028DEST_PATH_IMAGE009
进行归一化，利用一个浅层的2D CNN网络对归一化后的所 述深度图
Figure 507945DEST_PATH_IMAGE031
进行特征提取；
步骤403，将提取的深度图特征与图像的上下文特征
Figure 234462DEST_PATH_IMAGE032
进行连接，并输入至边缘保持残 差学习网络进行残差学习，得到残差图
Figure 553447DEST_PATH_IMAGE033
；
步骤404，将经过归一化和上采样的所述深度图与所述残差图
Figure 799752DEST_PATH_IMAGE033
进行相加，并将相加 后的结果进行解归一化，得到优化后的所述深度图
Figure 811571DEST_PATH_IMAGE034
。
6.根据权利要求5所述的边缘保持多视图深度估计方法，其特征在于，
所述步骤401中的所述上下文编码网络为一个二维U型网络，所述上下文编码网络包括：具有跳跃式连接的一个编码器和一个解码器；
所述步骤402中对所述深度图
Figure 369591DEST_PATH_IMAGE035
归一化的公式为：
Figure 882481DEST_PATH_IMAGE036
（1）
其中，
Figure 107926DEST_PATH_IMAGE037
和
Figure 166011DEST_PATH_IMAGE038
分别表示均值和方差计算；
所述步骤403中的所述边缘保持残差学习网络为由具有跳跃式连接的一个编码器和一个解码器组成的二维U型网络；所述编码器和所述解码器由多个残差块组成；
所述步骤404中，对所述归一化的深度图
Figure 476907DEST_PATH_IMAGE039
采用双线性插值进行上采样并与所述残差 图
Figure 551346DEST_PATH_IMAGE040
进行相加，得到优化后的归一化深度图
Figure 631298DEST_PATH_IMAGE041
，即
Figure 125864DEST_PATH_IMAGE042
（2）
其中，
Figure 658476DEST_PATH_IMAGE043
表示采用双线性插值将上
Figure 388535DEST_PATH_IMAGE041
采样至原来的两倍；
利用深度图
Figure 447627DEST_PATH_IMAGE035
的均值和方差进行解归一化，得到优化后的深度图
Figure 972149DEST_PATH_IMAGE044
：
Figure 133003DEST_PATH_IMAGE045
（3）。
7.根据权利要求5所述的边缘保持多视图深度估计方法，其特征在于，所述步骤5和步骤7中进行第3个阶段、第4个阶段和第5个阶段的深度估计的过程中：按照所述步骤301的方法确定深度范围；
按照所述步骤201-步骤203的方法进行两视图代价体构造与聚合；按照所述步骤204的方法进行代价体正则化和深度图预测。
8.根据权利要求5所述的边缘保持多视图深度估计方法，其特征在于，所述步骤6包括：
步骤601，利用上下文编码网络提取参考图像的多尺度上下文特征
Figure 401173DEST_PATH_IMAGE046
；
步骤602，对所述深度图
Figure 580351DEST_PATH_IMAGE047
进行归一化，利用一个浅层的2D CNN网络对归一化后的所述 深度图
Figure 275774DEST_PATH_IMAGE048
进行特征提取；
步骤603，将提取的深度图特征与图像的上下文特征
Figure 782979DEST_PATH_IMAGE049
进行连接，并输入至边缘保持残 差学习网络进行残差学习，得到残差图
Figure 730206DEST_PATH_IMAGE050
；
步骤604，将经过归一化和上采样的深度图与残差图进行相加，并将相加后的结果进行 解归一化，得到优化后的所述深度图
Figure 904836DEST_PATH_IMAGE051
。
9.根据权利要求1所述的边缘保持多视图深度估计方法，其特征在于，所述多尺度深度特征提取网络网络的训练过程包括：
步骤801，采用交叉视图光度一致性损失与L1损失一起对多尺度深度估计网络进行监 督，对于所述参考图像
Figure 630215DEST_PATH_IMAGE052
中深度值为d的像素
Figure 890295DEST_PATH_IMAGE053
，其在源视图中对应的像素
Figure 375634DEST_PATH_IMAGE054
为
Figure 139191DEST_PATH_IMAGE055
（4）
其中，
Figure 176417DEST_PATH_IMAGE056
和
Figure 48427DEST_PATH_IMAGE057
分别为参考视图和第i个邻域视图的相机内参，
Figure 462091DEST_PATH_IMAGE058
、
Figure 955520DEST_PATH_IMAGE059
为参考视图和第i 个邻域视图之间的相对旋转和平移；通过可微分双线性插值得到第i个邻域视图在参考视 图上基于深度图D合成的图像
Figure 429227DEST_PATH_IMAGE060
，即
Figure 522954DEST_PATH_IMAGE061
（5）
将变换过程中生成的二进制掩码
Figure 209150DEST_PATH_IMAGE062
，用于标识合成图像
Figure 212878DEST_PATH_IMAGE063
中的无效像素；
交叉视图光度一致性损失的计算公示为：
Figure 467273DEST_PATH_IMAGE064
（6）
其中，分别表示根据真实深度和估计深度在第i个邻域视图的基础上合成的视图，N表 示视图数，
Figure 923662DEST_PATH_IMAGE065
表示合成图像和生成的GT深度图中的有效像素，其由
Figure 538183DEST_PATH_IMAGE066
得到，
Figure 396418DEST_PATH_IMAGE067
表示GT深 度映射中的有效像素；
步骤802，结合交叉视图光度一致性损失和L1损失得到多尺度深度估计分支部分的损失：
Figure 87293DEST_PATH_IMAGE068
（7）
其中
Figure 30979DEST_PATH_IMAGE069
为第s个阶段下损失函数的权重系数；
步骤803，层级边缘保持残差学习分支采用L1损失来进行监督，整个网络的总体损失为：
Figure 58977DEST_PATH_IMAGE070
（8）
其中
Figure 896352DEST_PATH_IMAGE071
为第s个阶段下损失函数的权重系数。
10.一种面向无人机平台的测距方法，其特征在于，所述测距方法包括：基于权利要求1-9任一项所述的面向无人机平台的边缘保持多视图深度估计方法得到的所述深度图进行测距。
CN202211408484.4A 2022-11-10 2022-11-10 面向无人机平台的边缘保持多视图深度估计及测距方法 Active CN115457101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211408484.4A CN115457101B (zh) 2022-11-10 2022-11-10 面向无人机平台的边缘保持多视图深度估计及测距方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211408484.4A CN115457101B (zh) 2022-11-10 2022-11-10 面向无人机平台的边缘保持多视图深度估计及测距方法

Publications (2)

Publication Number Publication Date
CN115457101A true CN115457101A (zh) 2022-12-09
CN115457101B CN115457101B (zh) 2023-03-24

Family

ID=84295585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211408484.4A Active CN115457101B (zh) 2022-11-10 2022-11-10 面向无人机平台的边缘保持多视图深度估计及测距方法

Country Status (1)

Country Link
CN (1) CN115457101B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765333A (zh) * 2018-05-24 2018-11-06 华南理工大学 一种基于深度卷积神经网络的深度图完善方法
CN110310317A (zh) * 2019-06-28 2019-10-08 西北工业大学 一种基于深度学习的单目视觉场景深度估计的方法
CN111462329A (zh) * 2020-03-24 2020-07-28 南京航空航天大学 一种基于深度学习的无人机航拍影像的三维重建方法
CN112001960A (zh) * 2020-08-25 2020-11-27 中国人民解放军91550部队 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法
WO2021098554A1 (zh) * 2019-11-20 2021-05-27 Oppo广东移动通信有限公司 一种特征提取方法、装置、设备及存储介质
US20210319577A1 (en) * 2020-04-14 2021-10-14 Toyota Research Institute, Inc. Depth estimation based on ego-motion estimation and residual flow estimation
CN113962858A (zh) * 2021-10-22 2022-01-21 沈阳工业大学 一种多视角深度获取方法
CN114820755A (zh) * 2022-06-24 2022-07-29 武汉图科智能科技有限公司 一种深度图估计方法及***
CN115082540A (zh) * 2022-07-25 2022-09-20 武汉图科智能科技有限公司 一种适用于无人机平台的多视图深度估计方法及装置
CN115131418A (zh) * 2022-06-08 2022-09-30 中国石油大学(华东) 一种基于Transformer的单目深度估计算法
CN115170746A (zh) * 2022-09-07 2022-10-11 中南大学 一种基于深度学习的多视图三维重建方法、***及设备
CN115272438A (zh) * 2022-08-19 2022-11-01 中国矿业大学 一种面向三维场景重建的高精度单目深度估计***及方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765333A (zh) * 2018-05-24 2018-11-06 华南理工大学 一种基于深度卷积神经网络的深度图完善方法
CN110310317A (zh) * 2019-06-28 2019-10-08 西北工业大学 一种基于深度学习的单目视觉场景深度估计的方法
WO2021098554A1 (zh) * 2019-11-20 2021-05-27 Oppo广东移动通信有限公司 一种特征提取方法、装置、设备及存储介质
CN111462329A (zh) * 2020-03-24 2020-07-28 南京航空航天大学 一种基于深度学习的无人机航拍影像的三维重建方法
US20210319577A1 (en) * 2020-04-14 2021-10-14 Toyota Research Institute, Inc. Depth estimation based on ego-motion estimation and residual flow estimation
CN112001960A (zh) * 2020-08-25 2020-11-27 中国人民解放军91550部队 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法
CN113962858A (zh) * 2021-10-22 2022-01-21 沈阳工业大学 一种多视角深度获取方法
CN115131418A (zh) * 2022-06-08 2022-09-30 中国石油大学(华东) 一种基于Transformer的单目深度估计算法
CN114820755A (zh) * 2022-06-24 2022-07-29 武汉图科智能科技有限公司 一种深度图估计方法及***
CN115082540A (zh) * 2022-07-25 2022-09-20 武汉图科智能科技有限公司 一种适用于无人机平台的多视图深度估计方法及装置
CN115272438A (zh) * 2022-08-19 2022-11-01 中国矿业大学 一种面向三维场景重建的高精度单目深度估计***及方法
CN115170746A (zh) * 2022-09-07 2022-10-11 中南大学 一种基于深度学习的多视图三维重建方法、***及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MADHUANAND L 等: "Deep learning for monocular depth estimation from UAV images", 《ISPRS ANNALS OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES》 *
WANJUAN SU 等: "Uncertainty Guided Multi-View Stereo Network for Depth Estimation", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *

Also Published As

Publication number Publication date
CN115457101B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN110533712B (zh) 一种基于卷积神经网络的双目立体匹配方法
US11210803B2 (en) Method for 3D scene dense reconstruction based on monocular visual slam
US10885659B2 (en) Object pose estimating method and apparatus
US10353271B2 (en) Depth estimation method for monocular image based on multi-scale CNN and continuous CRF
CN110782490A (zh) 一种具有时空一致性的视频深度图估计方法及装置
CN110443883B (zh) 一种基于dropblock的单张彩色图片平面三维重建方法
CN113592026B (zh) 一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法
US8416989B2 (en) Image processing apparatus, image capture apparatus, image processing method, and program
CN112232134A (zh) 一种基于沙漏网络结合注意力机制的人体姿态估计方法
CN106846249A (zh) 一种全景视频拼接方法
CN111354030A (zh) 嵌入SENet单元的无监督单目图像深度图生成方法
CN113344869A (zh) 一种基于候选视差的行车环境实时立体匹配方法及装置
CN113963117A (zh) 一种基于可变卷积深度网络的多视图三维重建方法及装置
CN116912405A (zh) 一种基于改进MVSNet的三维重建方法及***
CN116579962A (zh) 一种基于鱼眼相机的全景感知方法、装置、设备及介质
CN114742875A (zh) 基于多尺度特征提取和自适应聚合的双目立体匹配方法
CN115035172A (zh) 基于置信度分级及级间融合增强的深度估计方法及***
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN111179327B (zh) 一种深度图的计算方法
CN117726747A (zh) 补全弱纹理场景的三维重建方法、装置、存储介质和设备
CN114820755B (zh) 一种深度图估计方法及***
CN115457101B (zh) 面向无人机平台的边缘保持多视图深度估计及测距方法
CN115239559A (zh) 一种融合视图合成的深度图超分辨率方法及***
CN113066165A (zh) 多阶段无监督学习的三维重建方法、装置和电子设备
CN117115145B (zh) 检测方法及装置、电子设备、计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: No. 548, 5th Floor, Building 10, No. 28 Linping Avenue, Donghu Street, Linping District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Tuke Intelligent Information Technology Co.,Ltd.

Address before: 430000 B033, No. 05, 4th floor, building 2, international enterprise center, No. 1, Guanggu Avenue, Donghu New Technology Development Zone, Wuhan, Hubei (Wuhan area of free trade zone)

Patentee before: Wuhan Tuke Intelligent Technology Co.,Ltd.

CP03 Change of name, title or address