CN112991416A - 深度估计方法、模型训练方法、装置、设备及存储介质 - Google Patents

深度估计方法、模型训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112991416A
CN112991416A CN202110396926.7A CN202110396926A CN112991416A CN 112991416 A CN112991416 A CN 112991416A CN 202110396926 A CN202110396926 A CN 202110396926A CN 112991416 A CN112991416 A CN 112991416A
Authority
CN
China
Prior art keywords
depth value
depth
gradient
value
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110396926.7A
Other languages
English (en)
Inventor
董怀琴
吴宇斌
尹康
王慧
朱志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110396926.7A priority Critical patent/CN112991416A/zh
Publication of CN112991416A publication Critical patent/CN112991416A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种深度估计方法、模型训练方法、装置、设备及存储介质，涉及计算机视觉技术领域。所述方法包括：获取原始图像；调用深度估计模型；通过深度估计模型对原始图像进行深度值估计，得到原始图像的估计深度值集合；其中，深度估计模型的损失函数包括深度损失函数和/或梯度损失函数，深度损失函数用于表征基于深度估计模型输出的估计深度值和真实深度值之间的差异程度，梯度损失函数用于表征估计深度值的梯度和真实深度值的梯度之间的差异程度，估计深度值的梯度基于估计深度值和步长确定，真实深度值的梯度基于真实深度值和步长确定。本申请实施例的深度估计模型增加了对平面的约束，使得预测的图像的深度值更加准确。

Description

深度估计方法、模型训练方法、装置、设备及存储介质
技术领域
本申请实施例涉及计算机视觉技术领域，特别涉及一种深度估计方法、模型训练方法、装置、设备及存储介质。
背景技术
深度图像中的像素点的灰度值可以表示像素点显示的场景距离拍摄设备的远近。因此，深度图像可以用来表示三维场景信息。
在相关技术中，图像深度估计的方法主要有单目深度估计方法和双目深度估计方法。其中，单目深度估计方法是基于一个镜头，双目深度估计方法是基于两个镜头。单目深度估计方法是基于一幅图像来估计它的深度，双目深度估计方法是用两个摄像头成像，因为两个摄像头之间存在一定的距离，所以同一景物通过两个镜头所成的像有一定的差别，即视差，基于视差来估计出图像的深度。
发明内容
本申请实施例提供一种深度估计方法、模型训练方法、装置、设备及存储介质。所述技术方案如下：
一方面，本申请实施例提供一种深度值估计方法，所述方法包括：
获取原始图像；
调用深度估计模型；
通过所述深度估计模型对所述原始图像进行深度值估计，得到所述原始图像的估计深度值集合，所述估计深度值集合包括至少一个估计深度值；
其中，所述深度估计模型的损失函数包括深度损失函数和/或梯度损失函数，所述深度损失函数用于表征基于所述深度估计模型输出的估计深度值和真实深度值之间的差异程度，所述梯度损失函数用于表征估计深度值的梯度和真实深度值的梯度之间的差异程度，所述估计深度值的梯度基于所述估计深度值和步长确定，所述真实深度值的梯度基于所述真实深度值和所述步长确定。
另一方面，本申请实施例提供一种模型训练方法，所述方法包括：
获取深度估计模型的训练数据，所述训练数据包括至少一个训练样本，所述训练样本包括训练图像和所述训练图像的标准深度值集合，所述标准深度值集合包括至少一个标准深度值；
通过所述深度估计模型对所述训练图像进行深度值估计，得到所述训练图像的预测深度值集合，所述预测深度值集合包括至少一个预测深度值；
基于所述训练图像的标准深度值集合和所述训练图像的预测深度值集合，确定损失函数的值；
基于所述损失函数的值对所述深度估计模型进行训练，得到完成训练的深度估计模型；
其中，所述损失函数包括深度损失函数和/或梯度损失函数，所述深度损失函数用于表征基于所述深度估计模型输出的预测深度值和标准深度值之间的差异程度，所述梯度损失函数用于表征预测深度值的梯度和标准深度值的梯度之间的差异程度，所述预测深度值的梯度基于所述预测深度值和步长确定，所述标准深度值的梯度基于所述标准深度值和所述步长确定。
另一方面，本申请实施例提供一种深度值估计装置，所述装置包括：
图像获取模块，用于获取原始图像；
模型调用模块，用于调用深度估计模型；
图像估计模块，用于通过所述深度估计模型对所述原始图像进行深度值估计，得到所述原始图像的估计深度值集合，所述估计深度值集合包括至少一个估计深度值；
其中，所述深度估计模型的损失函数包括深度损失函数和/或梯度损失函数，所述深度损失函数用于表征基于所述深度估计模型输出的估计深度值和真实深度值之间的差异程度，所述梯度损失函数用于表征估计深度值的梯度和真实深度值的梯度之间的差异程度，所述估计深度值的梯度基于所述估计深度值和步长确定，所述真实深度值的梯度基于所述真实深度值和所述步长确定。
另一方面，本申请实施例提供一种模型训练装置，所述装置包括：
数据获取模块，用于获取深度估计模型的训练数据，所述训练数据包括至少一个训练样本，所述训练样本包括训练图像和所述训练图像的标准深度值集合，所述标准深度值集合包括至少一个标准深度值；
图像估计模块，用于通过所述深度估计模型对所述训练图像进行深度值估计，得到所述训练图像的预测深度值集合，所述预测深度值集合包括至少一个预测深度值；
损失确定模块，用于基于所述训练图像的标准深度值集合和所述训练图像的预测深度值集合，确定损失函数的值；
模型训练模块，用于基于所述损失函数的值对所述深度估计模型进行训练，得到完成训练的深度估计模型；
其中，所述损失函数包括深度损失函数和/或梯度损失函数，所述深度损失函数用于表征基于所述深度估计模型输出的预测深度值和标准深度值之间的差异程度，所述梯度损失函数用于表征预测深度值的梯度和标准深度值的梯度之间的差异程度，所述预测深度值的梯度基于所述预测深度值和步长确定，所述标准深度值的梯度基于所述标准深度值和所述步长确定。
另一方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如上述方面所述的深度值估计方法，或实现如上述方面所述的模型训练方法。
又一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上述方面所述的深度值估计方法，或实现如上述方面所述的模型训练方法。
又一方面，本申请实施例提供一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面所述的深度值估计方法，或实现如上述方面所述的模型训练方法。
本申请实施例提供的技术方案可以带来如下有益效果：
通过深度估计模型对图像进行深度值估计，得到该图像的深度值，深度估计模型的损失函数包括深度损失函数和梯度损失函数，在损失函数中利用梯度信息对平面的深度估计进行约束，从而得到一个比较平滑的平面深度值，因此，基于该损失函数训练得到的深度估计模型增加了对平面的约束，使得预测的图像的深度值更加准确。
附图说明
图1是本申请一个实施例提供的深度值估计方法的流程图；
图2是本申请一个实施例提供的原始图像的示意图；
图3是相关技术提供的深度值可视化图的示意图；
图4是本申请一个实施例提供的深度值可视化图的示意图；
图5是本申请一个实施例提供的模型训练方法的流程图；
图6是本申请一个实施例提供的深度值估计装置的框图；
图7是本申请一个实施例提供的模型训练装置的框图；
图8是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1，其示出了本申请一个实施例提供的深度值估计方法的流程图。该方法可以由计算机设备执行，计算机设备是指具备计算和处理能力的电子设备，计算机设备可以包括终端和服务器，终端可以包括手机、平板电脑、PC(Personal Computer，个人计算机)、智能可穿戴设备等电子设备，服务器可以是一台服务器，也可以是由多台服务器组成的服务器集群，本申请实施例对此不作限定。该方法可以包括如下几个步骤。
步骤101，获取原始图像。
原始图像是指需要确定深度值的图像。深度值用于指示原始图像中的像素点显示的场景距离拍摄设备的远近。
在可能的实现方式中，原始图像可以通过单目摄像头拍摄得到。原始图像可以为RGB(Red Green Blue，红绿蓝)图像，也即，原始图像可以为彩色图像。
在可能的实现方式中，原始图像可以从网上获取得到。
当深度值估计方法的执行主体为终端时，终端可以通过单目摄像头拍摄得到原始图像，或者从网上获取得到原始图像，本申请实施例对终端获取原始图像的方式不作限定。
当深度值估计方法的执行主体为服务器时，原始图像可以由终端拍摄得到后，发送给服务器，或者，服务器从本地获取原始图像，本申请实施例对服务器获取原始图像的方式不作限定。
步骤102，调用深度估计模型。
深度估计模型是指用于估计图像的深度值的模型。示例性地，深度估计模型为单目深度估计模型。
在可能的实现方式中，深度估计模型可以包括卷积神经网络，卷积神经网络可以包括ResNet50网络，当然，在其他可能的实现方式中，深度估计模型还可以是其他形式的神经网络，本申请实施例对此不作限定。
当深度值估计方法的执行主体为终端时，深度估计模型可以存储在终端本地，此时，终端可以直接从本地调用深度估计模型；或者，深度估计模型可以存储在服务器，此时，终端向服务器发送模型获取请求；服务器响应于模型获取请求，向终端发送深度估计模型。
当深度值估计方法的执行主体为服务器时，深度估计模型可以存储在服务器本地，此时，服务器可以直接从本地调用深度估计模型。
步骤103，通过深度估计模型对原始图像进行深度值估计，得到原始图像的估计深度值集合。
深度估计模型的输入为图像，输出为该图像的估计深度值集合，估计深度值集合包括至少一个估计深度值，估计深度值用于指示深度估计模型预测的图像中的像素点显示的场景距离拍摄设备的远近。
深度值估计是指估计图像的深度值的操作。
在可能的实现方式中，基于原始图像的估计深度值集合可以得到深度图像。原始图像的估计深度值集合包括的估计深度值的个数与原始图像中的像素点的个数相同，也即，原始图像中的每个像素点都对应有一个估计深度值。
其中，深度估计模型的损失函数包括深度损失函数和/或梯度损失函数，深度损失函数用于表征基于深度估计模型输出的估计深度值和真实深度值之间的差异程度，梯度损失函数用于表征估计深度值的梯度和真实深度值的梯度之间的差异程度，估计深度值的梯度基于估计深度值和步长确定，真实深度值的梯度基于真实深度值和步长确定。
在可能的实现方式中，当计算机设备通过深度估计模型对训练图像进行深度值估计，得到训练图像的预测深度值之前，计算机设备可以对训练图像进行增强处理，得到增强处理后的训练图像，增强处理包括以下至少一项：随机旋转、随机左右旋转、随机裁剪、伽马变换，增强处理后的训练图像用于输入深度估计模型。可选地，随机旋转包括水平翻转、垂直翻转、水平垂直翻转。伽马变换是指在图像处理过程中将漂白(相机过曝)的图像或者过暗(曝光不足)的图像进行修正。
有关深度估计模型的训练流程可参见下文实施例，此处先不作介绍说明。
如图2所示，其示出了本申请一个实施例提供的原始图像的示意图，图3示出了相关技术提供的深度值可视化图的示意图，在相关技术中通过仅利用深度损失函数训练得到的深度估计模型对原始图像进行深度值估计得到图3所示的深度值，图4示出了本申请实施例提供的深度值可视化图的示意图。在本申请示例中，通过深度损失函数和梯度损失函数训练得到的深度估计模型对原始图像进行深度值估计得到如图4所示的深度值。对比图3和图4可以看出，图4示出的深度值可视化图的边缘更加清晰，图像更加锐利，图像质量更好，图3示出的深度值可视化图的边缘较模糊，不平滑。
综上所述，本申请实施例提供的技术方案中，通过深度估计模型对图像进行深度值估计，得到该图像的深度值，深度估计模型的损失函数包括深度损失函数和梯度损失函数，在损失函数中利用梯度信息对平面的深度估计进行约束，从而得到一个比较平滑的平面深度值，因此，基于该损失函数训练得到的深度估计模型增加了对平面的约束，使得预测的图像的深度值更加准确。
请参考图5，其示出了本申请一个实施例提供的模型训练方法的流程图。该方法可以由计算机设备执行，该计算机设备可以包括服务器。该方法可以包括如下几个步骤。
步骤501，获取深度估计模型的训练数据，训练数据包括至少一个训练样本，训练样本包括训练图像和训练图像的标准深度值集合。
训练图像是指在模型训练过程中使用的图像。训练图像可以是RGB图像，RGB图像的尺寸为H*W*3，其中H、W、3分别是训练图像的高、宽和通道数。特别地，如果训练图像是单通道即灰度图，需要将训练图像的像素值在通道维度重复三次以保持格式统一。
在可能的实现方式中，计算机设备通过深度相机获取多张训练图像以及训练图像的标准深度值集合；或者，计算机设备通过单目相机获取多张训练图像，以及通过深度传感器获取训练图像的标准深度值集合。
标准深度值集合包括至少一个标准深度值，标准深度值的个数与训练图像的像素点的个数相同，也即，训练图像的各个像素点都对应有一个标准深度值。标准深度值用于指示训练图像的像素点显示的场景与拍摄设备的真实距离。
步骤502，通过深度估计模型对训练图像进行深度值估计，得到训练图像的预测深度值集合。
预测深度值集合包括至少一个预测深度值，预测深度值用于指示深度估计模型预测的像素点显示的场景与拍摄设备的距离。
预测深度值的个数与标准深度值的个数相同，且都等于训练图像中像素点的个数。
步骤503，基于训练图像的标准深度值集合和训练图像的预测深度值集合，确定损失函数的值。
其中，损失函数包括深度损失函数和/或梯度损失函数，深度损失函数用于表征基于深度估计模型输出的预测深度值和标准深度值之间的差异程度，梯度损失函数用于表征预测深度值的梯度和标准深度值的梯度之间的差异程度，预测深度值的梯度基于预测深度值和步长确定，标准深度值的梯度基于标准深度值和步长确定。
步长用于指示像素点的位置的变化量，步长为正整数。
深度损失函数越小，表示预测深度值和标准深度值越接近；梯度损失函数越小，表示预测深度值的梯度和标准深度值的梯度越接近。
步骤504，基于损失函数的值对深度估计模型进行训练，得到完成训练的深度估计模型。
示例性地，基于梯度下降法反传更新深度估计模型的网络参数。基于损失函数的值对深度估计模型进行训练，直至网络收敛，得到完成训练的深度估计模型。
在可能的实现方式中，在损失函数的值小于阈值的情况下，确定网络收敛，得到完成训练的深度估计模型。
在可能的实现方式中，得到完成训练的深度估计模型后，可以通过测试样本再对深度估计模型进行测试，得到测试结果，直至测试结果达到预设结果，得到最终的深度估计模型。测试样本是指模型测试阶段使用的样本。测试样本可以包括测试图像和测试图像的标准深度值。
综上所述，本申请实施例提供的技术方案中，通过深度估计模型对图像进行深度值估计，得到该图像的深度值，深度估计模型的损失函数包括深度损失函数和梯度损失函数，在损失函数中利用梯度信息对平面的深度估计进行约束，从而得到一个比较平滑的平面深度值，因此，基于该损失函数训练得到的深度估计模型增加了对平面的约束，使得预测的图像的深度值更加准确。
在示意性实施例中，损失函数可以通过如下方式确定：
第一、基于标准深度值集合和预测深度值集合，确定深度损失函数的值。
在可能的实现方式中，深度损失函数通过如下方式确定：将训练图像中的各个像素点对应的深度值差值的绝对值之和，确定为深度损失函数的值，像素点对应的深度值差值是指像素点的预测深度值与像素点的标准深度值的差值。
训练图像中的各个像素点对应的深度值差值的绝对值之和也可以称之为对训练图像的像素点的预测深度值与标准深度值取L1范数。
示例性地，深度损失函数L1可以通过如下方式确定：
Figure BDA0003018910920000081
其中，ξ(i，j)表示第i行第j列的像素点的预测深度值，
Figure BDA0003018910920000082
表示第i行第j列的像素点的标准深度值。
第二、基于标准深度值和步长，确定标准深度值的梯度。
在可能的实现方式中，标准深度值的梯度通过如下方式确定：
1、对于训练图像中的任意一个第一位置的像素点，基于第一位置的像素点的标准深度值、第二位置的像素点的标准深度值和第三位置的像素点的标准深度值，确定第一位置的像素点的标准深度值的初始梯度。
第一位置的像素点可以是指训练图像中的任意一个位置的像素点。第二位置的像素点的行数为第一位置的像素点的行数加上步长，第二位置的像素点的列数与第一位置的像素点的列数一致，第三位置的像素点的行数与第一位置的像素点的行数一致，第三位置的像素点的列数为第一位置的像素点的列数加上步长。
示例性地，第一位置的像素点的标准深度值的初始梯度
Figure BDA0003018910920000091
可以通过如下公式确定：
Figure BDA0003018910920000092
其中，
Figure BDA0003018910920000093
表示第i行第j列的像素点(第一位置的像素点)的标准深度值的初始梯度，
Figure BDA0003018910920000094
表示第i+h行第j列的像素点(第二位置的像素点)的标准深度值，
Figure BDA0003018910920000095
表示第一位置的像素点的标准深度值，
Figure BDA0003018910920000096
表示第i行第j+h列的像素点(第三位置的像素点)的标准深度值，()T表示转置运算，h表示步长，i、j为正整数。
需要说明的是，括号左边的式子表示在x方向上的梯度，括号后边的式子表示在y方向上的梯度。
在示意性实施例中，步长可以从步长集合中选取，步长集合中包括至少一个步长，示例性地，步长集合可以为{1,2,4,8,16}，当然，在其它可能的实现方式中，步长集合还可以包括其它个数的步长，以及其它数值的步长，本申请实施例对步长集合中包括的步长个数不作限定，对步长的数值也不作限定。
示例性地，初始梯度也可以称之为一阶梯度。
2、基于第二位置的像素点的标准深度值、第四位置的像素点的标准深度值、第五位置的像素点的标准深度值，确定第二位置的像素点的标准深度值的初始梯度。
第四位置的像素点的行数为第二位置的像素点的行数加上步长，第四位置的像素点的列数与第二位置的像素点的列数一致，第五位置的像素点的行数与第二位置的像素点的行数一致，第五位置的像素点的列数为第二位置的像素点的列数加上步长。
示例性地，第二位置的像素点的标准深度值的初始梯度
Figure BDA0003018910920000097
可以通过如下公式确定：
Figure BDA0003018910920000101
其中，
Figure BDA0003018910920000102
表示第i+h行第j列的像素点(第二位置的像素点)的标准深度值的初始梯度，
Figure BDA0003018910920000103
表示第i+2h行第j列的像素点(第四位置的像素点)的标准深度值，
Figure BDA0003018910920000104
表示第i+h行第j列的像素点(第二位置的像素点)的标准深度值，
Figure BDA0003018910920000105
表示第i+h行第j+h列的像素点(第五位置的像素点)的标准深度值。
3、基于第三位置的像素点的标准深度值、第六位置的像素点的标准深度值、第七位置的像素点的标准深度值，确定第三位置的像素点的标准深度值的初始梯度。
第六位置的像素点的行数为第三位置的像素点的行数加上步长，第六位置的像素点的列数与第三位置的像素点的列数一致，第七位置的像素点的行数与第三位置的像素点的行数一致，第七位置的像素点的列数为第三位置的像素点的列数加上步长。
示例性地，第三位置的像素点的标准深度值的初始梯度
Figure BDA0003018910920000106
可以通过如下公式确定：
Figure BDA0003018910920000107
其中，
Figure BDA0003018910920000108
表示第i行第j+h列的像素点(第三位置的像素点)的标准深度值的初始梯度，
Figure BDA0003018910920000109
表示第i+h行第j+h列的像素点(第六位置的像素点)的标准深度值，
Figure BDA00030189109200001010
表示第i行第j+h列的像素点(第三位置的像素点)的标准深度值，
Figure BDA00030189109200001011
表示第i行第j+2h列的像素点(第七位置的像素点)的标准深度值。
4、基于第一位置的像素点的初始梯度、第二位置的像素点的初始梯度、第三位置的像素点的初始梯度，确定标准深度值的梯度。
示例性地，标准深度值的梯度
Figure BDA0003018910920000111
可以通过如下公式确定：
Figure BDA0003018910920000112
标准深度值的梯度还可以称之为二阶梯度。
第三、基于预测深度值和步长，确定预测深度值的梯度。
在可能的实现方式中，预测深度值的梯度可以通过如下公式确定：
1、基于第一位置的像素点的预测深度值、第二位置的像素点的预测深度值和第三位置的像素点的预测深度值，确定第一位置的像素点的预测深度值的初始梯度。
第一位置的像素点可以是指训练图像中的任意一个位置的像素点。第二位置的像素点的行数为第一位置的像素点的行数加上步长，第二位置的像素点的列数与第一位置的像素点的列数一致，第三位置的像素点的行数与第一位置的像素点的行数一致，第三位置的像素点的列数为第一位置的像素点的列数加上步长。
示例性地，第一位置的像素点的预测深度值的初始梯度gh[ξ](i，j)可以通过如下公式确定：
Figure BDA0003018910920000113
其中，gh[ξ](i，j)表示第i行第j列的像素点(第一位置的像素点)的预测深度值的初始梯度，ξ(i+h，j)表示第i+h行第j列的像素点(第二位置的像素点)的预测深度值，ξ(i，j)表示第i行第j列的像素点(第一位置的像素点)的预测深度值，ξ(i，j+h)表示第i行第j+h列的像素点(第三位置的像素点)的预测深度值，h表示步长，i、j为正整数。
2、基于第二位置的像素点的预测深度值、第四位置的像素点的预测深度值、第五位置的像素点的预测深度值，确定第二位置的像素点的预测深度值的初始梯度。
第四位置的像素点的行数为第二位置的像素点的行数加上步长，第四位置的像素点的列数与第二位置的像素点的列数一致，第五位置的像素点的行数与第二位置的像素点的行数一致，第五位置的像素点的列数为第二位置的像素点的列数加上步长。
示例性地，第二位置的像素点的预测深度值的初始梯度gh[ξ](i+h，j)可以通过如下公式确定：
Figure BDA0003018910920000121
其中，gh[ξ](i+h，j)表示第i+h行第j列的像素点(第二位置的像素点)的预测深度值的初始梯度，ξ(i+2h，j)表示第i+2h行第j列的像素点(第四位置的像素点)的预测深度值，ξ(i+h，j)表示第i+h行第j列的像素点(第二位置的像素点)的预测深度值，ξ(i+h，j+h)表示第i+h行第j+h列的像素点(第五位置的像素点)的预测深度值。
3、基于第三位置的像素点的预测深度值、第六位置的像素点的预测深度值、第七位置的像素点的预测深度值，确定第三位置的像素点的预测深度值的初始梯度。
第六位置的像素点的行数为第三位置的像素点的行数加上步长，第六位置的像素点的列数与第三位置的像素点的列数一致，第七位置的像素点的行数与第三位置的像素点的行数一致，第七位置的像素点的列数为第三位置的像素点的列数加上步长。
示例性地，第三位置的像素点的预测深度值的初始梯度gh[ξ](i，j+h)可以通过如下公式确定：
Figure BDA0003018910920000122
其中，gh[ξ](i，j+h)表示第i行第j+h列的像素点(第三位置的像素点)的预测深度值的初始梯度，ξ(i+h，j+h)表示第i+h行第j+h列的像素点(第六位置的像素点)的预测深度值，ξ(i，j+h)表示第i行第j+h列的像素点(第三位置的像素点)的预测深度值，ξ(i，j+2h)表示第i行第j+2h列的像素点(第七位置的像素点)的预测深度值。
4、基于第一位置的像素点的初始梯度、第二位置的像素点的初始梯度、第三位置的像素点的初始梯度，确定预测深度值的梯度。
示例性地，预测深度值的梯度
Figure BDA0003018910920000131
可以通过如下公式确定：
Figure BDA0003018910920000132
第四、基于标准深度值的梯度和预测深度值的梯度，确定梯度损失函数的值。
在可能的实现方式中，计算机设备基于训练图像中的各个像素点对应的梯度值差值的平方和的平方根，确定梯度损失函数的值，像素点对应的梯度值差值是指像素点的标准深度值的梯度与像素点的预测深度值的梯度的差值。
示例性地，梯度损失函数L2可以通过如下公式确定：
Figure BDA0003018910920000133
训练图像中的各个像素点对应的梯度值差值的平方和的平方根也可以称之为是对训练图像中的各个像素点对应的梯度值差值取L2范数。
第五、基于第一倍数的深度损失函数的值和第二倍数的梯度损失函数的值，确定损失函数的值。
示例性地，损失函数Loss可以通过如下公式确定：
Loss＝λ1L1+λ2L2；
其中，λ1表示第一倍数，λ2表示第二倍数，λ1、λ2为非负数。
在可能的实现方式中，λ1+λ2＝1。
本申请实施例提出一个基于二阶梯度的损失函数，解决了对平面深度估计所产生的不平滑问题，从而使得深度估计模型能够适用于更多的应用场景。并且，本申请实施例提出的损失函数还可以应用到其他的需要改善平面深度估计效果的深度估计和重建算法中，具有很大的使用价值。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图6，其示出了本申请一个实施例提供的深度值估计装置的框图，该装置具有实现上述深度值估计方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置600可以包括：
图像获取模块610，用于获取原始图像；
模型调用模块620，用于调用深度估计模型；
图像估计模块630，用于通过所述深度估计模型对所述原始图像进行深度值估计，得到所述原始图像的估计深度值集合，所述估计深度值集合包括至少一个估计深度值；
其中，所述深度估计模型的损失函数包括深度损失函数和/或梯度损失函数，所述深度损失函数用于表征基于所述深度估计模型输出的估计深度值和真实深度值之间的差异程度，所述梯度损失函数用于表征估计深度值的梯度和真实深度值的梯度之间的差异程度，所述估计深度值的梯度基于所述估计深度值和步长确定，所述真实深度值的梯度基于所述真实深度值和所述步长确定。
综上所述，本申请实施例提供的技术方案中，通过深度估计模型对图像进行深度值估计，得到该图像的深度值，深度估计模型的损失函数包括深度损失函数和梯度损失函数，在损失函数中利用梯度信息对平面的深度估计进行约束，从而得到一个比较平滑的平面深度值，因此，基于该损失函数训练得到的深度估计模型增加了对平面的约束，使得预测的图像的深度值更加准确。
请参考图7，其示出了本申请一个实施例提供的模型训练装置的框图，该装置具有实现上述模型训练方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置700可以包括：
数据获取模块710，用于获取深度估计模型的训练数据，所述训练数据包括至少一个训练样本，所述训练样本包括训练图像和所述训练图像的标准深度值集合，所述标准深度值集合包括至少一个标准深度值；
图像估计模块720，用于通过所述深度估计模型对所述训练图像进行深度值估计，得到所述训练图像的预测深度值集合，所述预测深度值集合包括至少一个预测深度值；
损失确定模块730，用于基于所述训练图像的标准深度值集合和所述训练图像的预测深度值集合，确定损失函数的值；
模型训练模块740，用于基于所述损失函数的值对所述深度估计模型进行训练，得到完成训练的深度估计模型；
其中，所述损失函数包括深度损失函数和/或梯度损失函数，所述深度损失函数用于表征基于所述深度估计模型输出的预测深度值和标准深度值之间的差异程度，所述梯度损失函数用于表征预测深度值的梯度和标准深度值的梯度之间的差异程度，所述预测深度值的梯度基于所述预测深度值和步长确定，所述标准深度值的梯度基于所述标准深度值和所述步长确定。
综上所述，本申请实施例提供的技术方案中，通过深度估计模型对图像进行深度值估计，得到该图像的深度值，深度估计模型的损失函数包括深度损失函数和梯度损失函数，在损失函数中利用梯度信息对平面的深度估计进行约束，从而得到一个比较平滑的平面深度值，因此，基于该损失函数训练得到的深度估计模型增加了对平面的约束，使得预测的图像的深度值更加准确。
在示意性实施例中，所述损失确定模块730，包括：
第一确定单元(图中未示出)，用于基于所述标准深度值集合和所述预测深度值集合，确定所述深度损失函数的值；
第二确定单元(图中未示出)，用于基于所述标准深度值和所述步长，确定所述标准深度值的梯度；
第三确定单元(图中未示出)，用于基于所述预测深度值和所述步长，确定所述预测深度值的梯度；
第四确定单元(图中未示出)，用于基于所述标准深度值的梯度和所述预测深度值的梯度，确定所述梯度损失函数的值；
第五确定单元(图中未示出)，用于基于第一倍数的所述深度损失函数的值和第二倍数的所述梯度损失函数的值，确定所述损失函数的值。
在示意性实施例中，所述第一确定单元，用于：
将所述训练图像中的各个像素点对应的深度值差值的绝对值之和，确定为所述深度损失函数的值，所述像素点对应的深度值差值是指所述像素点的预测深度值与所述像素点的标准深度值的差值。
在示意性实施例中，所述第二确定单元，用于：
对于所述训练图像中的任意一个第一位置的像素点，基于第一位置的像素点的标准深度值、第二位置的像素点的标准深度值和第三位置的像素点的标准深度值，确定所述第一位置的像素点的标准深度值的初始梯度；
基于所述第二位置的像素点的标准深度值、第四位置的像素点的标准深度值、第五位置的像素点的标准深度值，确定所述第二位置的像素点的标准深度值的初始梯度；
基于所述第三位置的像素点的标准深度值、第六位置的像素点的标准深度值、第七位置的像素点的标准深度值，确定所述第三位置的像素点的标准深度值的初始梯度；
基于所述第一位置的像素点的初始梯度、所述第二位置的像素点的初始梯度、所述第三位置的像素点的初始梯度，确定所述标准深度值的梯度；
其中，所述第二位置的像素点的行数为所述第一位置的像素点的行数加上所述步长，所述第二位置的像素点的列数与所述第一位置的像素点的列数一致，所述第三位置的像素点的行数与所述第一位置的像素点的行数一致，所述第三位置的像素点的列数为所述第一位置的像素点的列数加上所述步长，所述第四位置的像素点的行数为所述第二位置的像素点的行数加上所述步长，所述第四位置的像素点的列数与所述第二位置的像素点的列数一致，所述第五位置的像素点的行数与所述第二位置的像素点的行数一致，所述第五位置的像素点的列数为所述第二位置的像素点的列数加上步长，所述第六位置的像素点的行数为所述第三位置的像素点的行数加上所述步长，所述第六位置的像素点的列数与所述第三位置的像素点的列数一致，所述第七位置的像素点的行数与所述第三位置的像素点的行数一致，所述第七位置的像素点的列数为所述第三位置的像素点的列数加上所述步长。
在示意性实施例中，所述第三确定单元，用于：
基于第一位置的像素点的预测深度值、第二位置的像素点的预测深度值和第三位置的像素点的预测深度值，确定所述第一位置的像素点的预测深度值的初始梯度；
基于所述第二位置的像素点的预测深度值、第四位置的像素点的预测深度值、第五位置的像素点的预测深度值，确定所述第二位置的像素点的预测深度值的初始梯度；
基于所述第三位置的像素点的预测深度值、第六位置的像素点的预测深度值、第七位置的像素点的预测深度值，确定所述第三位置的像素点的预测深度值的初始梯度；
基于所述第一位置的像素点的初始梯度、所述第二位置的像素点的初始梯度、所述第三位置的像素点的初始梯度，确定所述预测深度值的梯度；
其中，所述第二位置的像素点的行数为所述第一位置的像素点的行数加上所述步长，所述第二位置的像素点的列数与所述第一位置的像素点的列数一致，所述第三位置的像素点的行数与所述第一位置的像素点的行数一致，所述第三位置的像素点的列数为所述第一位置的像素点的列数加上所述步长，所述第四位置的像素点的行数为所述第二位置的像素点的行数加上所述步长，所述第四位置的像素点的列数与所述第二位置的像素点的列数一致，所述第五位置的像素点的行数与所述第二位置的像素点的行数一致，所述第五位置的像素点的列数为所述第二位置的像素点的列数加上步长，所述第六位置的像素点的行数为所述第三位置的像素点的行数加上所述步长，所述第六位置的像素点的列数与所述第三位置的像素点的列数一致，所述第七位置的像素点的行数与所述第三位置的像素点的行数一致，所述第七位置的像素点的列数为所述第三位置的像素点的列数加上所述步长。
在示意性实施例中，所述第四确定单元，用于：
基于所述训练图像中的各个像素点对应的梯度值差值的平方和的平方根，确定所述梯度损失函数的值，所述像素点对应的梯度值差值是指所述像素点的标准深度值的梯度与所述像素点的预测深度值的梯度的差值。
在示意性实施例中，所述装置，还包括：
图像增强模块(图中未示出)，用于对所述训练图像进行增强处理，得到增强处理后的训练图像，所述增强处理包括以下至少一项：随机旋转、随机左右旋转、随机裁剪、伽马变换，所述增强处理后的训练图像用于输入所述深度估计模型。
需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图8，其示出了本申请一个实施例提供的计算机设备的结构框图。
本申请实施例中的计算机设备可以包括一个或多个如下部件：处理器810和存储器820。
处理器810可以包括一个或者多个处理核心。处理器810利用各种接口和线路连接整个计算机设备内的各个部分，通过运行或执行存储在存储器820内的指令、程序、代码集或指令集，以及调用存储在存储器820内的数据，执行计算机设备的各种功能和处理数据。可选地，处理器810可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器810可集成中央处理器(CentralProcessing Unit，CPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***和应用程序等；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器810中，单独通过一块芯片进行实现。
可选地，处理器810执行存储器820中的程序指令时实现上述各个方法实施例提供的方法。
存储器820可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选地，该存储器820包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器820可用于存储指令、程序、代码、代码集或指令集。存储器820可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令、用于实现上述各个方法实施例的指令等；存储数据区可存储根据计算机设备的使用所创建的数据等。
上述计算机设备的结构仅是示意性的，在实际实现时，计算机设备可以包括更多或更少的组件，比如：显示屏等，本实施例对此不作限定。
本领域技术人员可以理解，图8中示出的结构并不构成对计算机设备的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由计算机设备的处理器加载并执行以实现上述深度值估计方法实施例中的各个步骤。
在示例性实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由计算机设备的处理器加载并执行以实现上述模型训练方法实施例中的各个步骤。
在示例性实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述深度值估计方法。
在示例性实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述模型训练方法。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种深度值估计方法，其特征在于，所述方法包括：
获取原始图像；
调用深度估计模型；
通过所述深度估计模型对所述原始图像进行深度值估计，得到所述原始图像的估计深度值集合，所述估计深度值集合包括至少一个估计深度值；
其中，所述深度估计模型的损失函数包括深度损失函数和/或梯度损失函数，所述深度损失函数用于表征基于所述深度估计模型输出的估计深度值和真实深度值之间的差异程度，所述梯度损失函数用于表征估计深度值的梯度和真实深度值的梯度之间的差异程度，所述估计深度值的梯度基于所述估计深度值和步长确定，所述真实深度值的梯度基于所述真实深度值和所述步长确定。
2.一种模型训练方法，其特征在于，所述方法包括：
获取深度估计模型的训练数据，所述训练数据包括至少一个训练样本，所述训练样本包括训练图像和所述训练图像的标准深度值集合，所述标准深度值集合包括至少一个标准深度值；
通过所述深度估计模型对所述训练图像进行深度值估计，得到所述训练图像的预测深度值集合，所述预测深度值集合包括至少一个预测深度值；
基于所述训练图像的标准深度值集合和所述训练图像的预测深度值集合，确定损失函数的值；
基于所述损失函数的值对所述深度估计模型进行训练，得到完成训练的深度估计模型；
其中，所述损失函数包括深度损失函数和/或梯度损失函数，所述深度损失函数用于表征基于所述深度估计模型输出的预测深度值和标准深度值之间的差异程度，所述梯度损失函数用于表征预测深度值的梯度和标准深度值的梯度之间的差异程度，所述预测深度值的梯度基于所述预测深度值和步长确定，所述标准深度值的梯度基于所述标准深度值和所述步长确定。
3.根据权利要求2所述的方法，其特征在于，所述基于所述训练图像的标准深度值集合和所述训练图像的预测深度值集合，确定损失函数的值，包括：
基于所述标准深度值集合和所述预测深度值集合，确定所述深度损失函数的值；
基于所述标准深度值和所述步长，确定所述标准深度值的梯度；
基于所述预测深度值和所述步长，确定所述预测深度值的梯度；
基于所述标准深度值的梯度和所述预测深度值的梯度，确定所述梯度损失函数的值；
基于第一倍数的所述深度损失函数的值和第二倍数的所述梯度损失函数的值，确定所述损失函数的值。
4.根据权利要求3所述的方法，其特征在于，所述基于所述标准深度值集合和所述预测深度值集合，确定所述深度损失函数的值，包括：
将所述训练图像中的各个像素点对应的深度值差值的绝对值之和，确定为所述深度损失函数的值，所述像素点对应的深度值差值是指所述像素点的预测深度值与所述像素点的标准深度值的差值。
5.根据权利要求3所述的方法，其特征在于，所述基于所述标准深度值和所述步长，确定所述标准深度值的梯度，包括：
对于所述训练图像中的任意一个第一位置的像素点，基于第一位置的像素点的标准深度值、第二位置的像素点的标准深度值和第三位置的像素点的标准深度值，确定所述第一位置的像素点的标准深度值的初始梯度；
基于所述第二位置的像素点的标准深度值、第四位置的像素点的标准深度值、第五位置的像素点的标准深度值，确定所述第二位置的像素点的标准深度值的初始梯度；
基于所述第三位置的像素点的标准深度值、第六位置的像素点的标准深度值、第七位置的像素点的标准深度值，确定所述第三位置的像素点的标准深度值的初始梯度；
基于所述第一位置的像素点的初始梯度、所述第二位置的像素点的初始梯度、所述第三位置的像素点的初始梯度，确定所述标准深度值的梯度；
其中，所述第二位置的像素点的行数为所述第一位置的像素点的行数加上所述步长，所述第二位置的像素点的列数与所述第一位置的像素点的列数一致，所述第三位置的像素点的行数与所述第一位置的像素点的行数一致，所述第三位置的像素点的列数为所述第一位置的像素点的列数加上所述步长，所述第四位置的像素点的行数为所述第二位置的像素点的行数加上所述步长，所述第四位置的像素点的列数与所述第二位置的像素点的列数一致，所述第五位置的像素点的行数与所述第二位置的像素点的行数一致，所述第五位置的像素点的列数为所述第二位置的像素点的列数加上步长，所述第六位置的像素点的行数为所述第三位置的像素点的行数加上所述步长，所述第六位置的像素点的列数与所述第三位置的像素点的列数一致，所述第七位置的像素点的行数与所述第三位置的像素点的行数一致，所述第七位置的像素点的列数为所述第三位置的像素点的列数加上所述步长。
6.根据权利要求3所述的方法，其特征在于，所述基于所述预测深度值和所述步长，确定所述预测深度值的梯度，包括：
基于第一位置的像素点的预测深度值、第二位置的像素点的预测深度值和第三位置的像素点的预测深度值，确定所述第一位置的像素点的预测深度值的初始梯度；
基于所述第二位置的像素点的预测深度值、第四位置的像素点的预测深度值、第五位置的像素点的预测深度值，确定所述第二位置的像素点的预测深度值的初始梯度；
基于所述第三位置的像素点的预测深度值、第六位置的像素点的预测深度值、第七位置的像素点的预测深度值，确定所述第三位置的像素点的预测深度值的初始梯度；
基于所述第一位置的像素点的初始梯度、所述第二位置的像素点的初始梯度、所述第三位置的像素点的初始梯度，确定所述预测深度值的梯度；
其中，所述第二位置的像素点的行数为所述第一位置的像素点的行数加上所述步长，所述第二位置的像素点的列数与所述第一位置的像素点的列数一致，所述第三位置的像素点的行数与所述第一位置的像素点的行数一致，所述第三位置的像素点的列数为所述第一位置的像素点的列数加上所述步长，所述第四位置的像素点的行数为所述第二位置的像素点的行数加上所述步长，所述第四位置的像素点的列数与所述第二位置的像素点的列数一致，所述第五位置的像素点的行数与所述第二位置的像素点的行数一致，所述第五位置的像素点的列数为所述第二位置的像素点的列数加上步长，所述第六位置的像素点的行数为所述第三位置的像素点的行数加上所述步长，所述第六位置的像素点的列数与所述第三位置的像素点的列数一致，所述第七位置的像素点的行数与所述第三位置的像素点的行数一致，所述第七位置的像素点的列数为所述第三位置的像素点的列数加上所述步长。
7.根据权利要求3所述的方法，其特征在于，所述基于所述标准深度值的梯度和所述预测深度值的梯度，确定所述梯度损失函数的值，包括：
基于所述训练图像中的各个像素点对应的梯度值差值的平方和的平方根，确定所述梯度损失函数的值，所述像素点对应的梯度值差值是指所述像素点的标准深度值的梯度与所述像素点的预测深度值的梯度的差值。
8.根据权利要求2至7任一项所述的方法，其特征在于，所述通过所述深度估计模型对所述训练图像进行深度值估计，得到所述训练图像的预测深度值之前，还包括：
对所述训练图像进行增强处理，得到增强处理后的训练图像，所述增强处理包括以下至少一项：随机旋转、随机左右旋转、随机裁剪、伽马变换，所述增强处理后的训练图像用于输入所述深度估计模型。
9.一种深度值估计装置，其特征在于，所述装置包括：
图像获取模块，用于获取原始图像；
模型调用模块，用于调用深度估计模型；
图像估计模块，用于通过所述深度估计模型对所述原始图像进行深度值估计，得到所述原始图像的估计深度值集合，所述估计深度值集合包括至少一个估计深度值；
其中，所述深度估计模型的损失函数包括深度损失函数和/或梯度损失函数，所述深度损失函数用于表征基于所述深度估计模型输出的估计深度值和真实深度值之间的差异程度，所述梯度损失函数用于表征估计深度值的梯度和真实深度值的梯度之间的差异程度，所述估计深度值的梯度基于所述估计深度值和步长确定，所述真实深度值的梯度基于所述真实深度值和所述步长确定。
10.一种模型训练装置，其特征在于，所述装置包括：
数据获取模块，用于获取深度估计模型的训练数据，所述训练数据包括至少一个训练样本，所述训练样本包括训练图像和所述训练图像的标准深度值集合，所述标准深度值集合包括至少一个标准深度值；
图像估计模块，用于通过所述深度估计模型对所述训练图像进行深度值估计，得到所述训练图像的预测深度值集合，所述预测深度值集合包括至少一个预测深度值；
损失确定模块，用于基于所述训练图像的标准深度值集合和所述训练图像的预测深度值集合，确定损失函数的值；
模型训练模块，用于基于所述损失函数的值对所述深度估计模型进行训练，得到完成训练的深度估计模型；
其中，所述损失函数包括深度损失函数和/或梯度损失函数，所述深度损失函数用于表征基于所述深度估计模型输出的预测深度值和标准深度值之间的差异程度，所述梯度损失函数用于表征预测深度值的梯度和标准深度值的梯度之间的差异程度，所述预测深度值的梯度基于所述预测深度值和步长确定，所述标准深度值的梯度基于所述标准深度值和所述步长确定。
11.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1所述的深度值估计方法，或实现如权利要求2至8任一项所述的模型训练方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1所述的深度值估计方法，或实现如权利要求2至8任一项所述的模型训练方法。
CN202110396926.7A 2021-04-13 2021-04-13 深度估计方法、模型训练方法、装置、设备及存储介质 Pending CN112991416A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110396926.7A CN112991416A (zh) 2021-04-13 2021-04-13 深度估计方法、模型训练方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110396926.7A CN112991416A (zh) 2021-04-13 2021-04-13 深度估计方法、模型训练方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112991416A true CN112991416A (zh) 2021-06-18

Family

ID=76338298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110396926.7A Pending CN112991416A (zh) 2021-04-13 2021-04-13 深度估计方法、模型训练方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112991416A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191514A (zh) * 2018-10-23 2019-01-11 北京字节跳动网络技术有限公司 用于生成深度检测模型的方法和装置
CN110189372A (zh) * 2019-05-30 2019-08-30 北京百度网讯科技有限公司 深度图模型训练方法和装置
WO2019223382A1 (zh) * 2018-05-22 2019-11-28 深圳市商汤科技有限公司 单目深度估计方法及其装置、设备和存储介质
CN110599532A (zh) * 2019-09-18 2019-12-20 厦门美图之家科技有限公司 图像的深度估计模型优化、深度估计处理方法及装置
CN110738697A (zh) * 2019-10-10 2020-01-31 福州大学 基于深度学习的单目深度估计方法
CN112241976A (zh) * 2019-07-19 2021-01-19 杭州海康威视数字技术股份有限公司 一种训练模型的方法及装置
CN112488104A (zh) * 2020-11-30 2021-03-12 华为技术有限公司 深度及置信度估计***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019223382A1 (zh) * 2018-05-22 2019-11-28 深圳市商汤科技有限公司 单目深度估计方法及其装置、设备和存储介质
CN109191514A (zh) * 2018-10-23 2019-01-11 北京字节跳动网络技术有限公司 用于生成深度检测模型的方法和装置
CN110189372A (zh) * 2019-05-30 2019-08-30 北京百度网讯科技有限公司 深度图模型训练方法和装置
CN112241976A (zh) * 2019-07-19 2021-01-19 杭州海康威视数字技术股份有限公司 一种训练模型的方法及装置
CN110599532A (zh) * 2019-09-18 2019-12-20 厦门美图之家科技有限公司 图像的深度估计模型优化、深度估计处理方法及装置
CN110738697A (zh) * 2019-10-10 2020-01-31 福州大学 基于深度学习的单目深度估计方法
CN112488104A (zh) * 2020-11-30 2021-03-12 华为技术有限公司 深度及置信度估计***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ABDERRAHIM HALIMI等: "RESTORATION OF DEPTH AND INTENSITY IMAGES USING A GRAPH LAPLACIAN REGULARIZATION", 《2017 IEEE 7TH INTERNATIONAL WORKSHOP ON COMPUTATIONAL ADVANCES IN MULTI-SENSOR ADAPTIVE PROCESSING (CAMSAP)》, pages 1 - 5 *
独识: "梯度算法求步长的公式_机器学习系列（四）—— 梯度下降", 《HTTPS://BLOG.CSDN.NET/WEIXIN_34433661/ARTICLE/DETAILS/113709569》, pages 1 - 9 *

Similar Documents

Publication Publication Date Title
KR102295403B1 (ko) 깊이 추정 방법 및 장치, 전자 기기, 프로그램 및 매체
US11416781B2 (en) Image processing method and apparatus, and computer-readable medium, and electronic device
KR102319177B1 (ko) 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체
CN108898567B (zh) 图像降噪方法、装置及***
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
JP6902122B2 (ja) ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器
CN108230384B (zh) 图像深度计算方法、装置、存储介质和电子设备
CN110751649B (zh) 视频质量评估方法、装置、电子设备及存储介质
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN111835983B (zh) 一种基于生成对抗网络的多曝光图高动态范围成像方法及***
CN113688907B (zh) 模型训练、视频处理方法，装置，设备以及存储介质
CN113723317B (zh) 3d人脸的重建方法、装置、电子设备和存储介质
JP5911292B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
CN113658091A (zh) 一种图像评价方法、存储介质及终端设备
CN114445302A (zh) 图像处理方法、装置、电子设备及存储介质
CN113658196A (zh) 红外图像中船舶的检测方法、装置、电子设备和介质
CN113159229A (zh) 图像融合方法、电子设备及相关产品
CN113706400A (zh) 图像矫正方法、装置、显微镜图像的矫正方法及电子设备
CN110136085B (zh) 一种图像的降噪方法及装置
CN117173232A (zh) 深度图像的获取方法、装置及设备
US20230060988A1 (en) Image processing device and method
CN111369435A (zh) 基于自适应稳定模型的彩色图像深度上采样方法及***
CN111160240A (zh) 图像对象的识别处理方法、装置及智能设备、存储介质
CN112991416A (zh) 深度估计方法、模型训练方法、装置、设备及存储介质
CN110766153A (zh) 神经网络模型训练方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210618