CN113850719A - 基于联合隐式图像函数的rgb图像引导深度图超分辨率方法 - Google Patents

基于联合隐式图像函数的rgb图像引导深度图超分辨率方法 Download PDF

Info

Publication number
CN113850719A
CN113850719A CN202110677405.9A CN202110677405A CN113850719A CN 113850719 A CN113850719 A CN 113850719A CN 202110677405 A CN202110677405 A CN 202110677405A CN 113850719 A CN113850719 A CN 113850719A
Authority
CN
China
Prior art keywords
image
depth map
resolution
depth
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110677405.9A
Other languages
English (en)
Other versions
CN113850719B (zh
Inventor
唐嘉祥
陈小康
曾钢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202110677405.9A priority Critical patent/CN113850719B/zh
Publication of CN113850719A publication Critical patent/CN113850719A/zh
Application granted granted Critical
Publication of CN113850719B publication Critical patent/CN113850719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公布了一种基于联合隐式图像函数的RGB图像引导深度图超分辨率方法，建立用于深度图超分辨率图像恢复的深度神经网络模型，包含RGB图像编码器，深度图编码器以及JIIF解码器；采用隐式神经表示方法，建立适用于RGB引导的深度图超分辨率任务的联合隐式图像函数，对多模态输入进行建模；通过所建立深度神经网络模型的两个编码器从RGB图像以及输入的低分辨率深度图中分别提取特征；再通过JIIF解码器对高分辨率下的每个像素深度值进行预测并输出；实现基于联合隐式图像函数的RGB图像引导深度图超分辨率图像恢复。本发明方法在RGB图像引导的深度图像超分辨率恢复任务上取得了优于现有技术的图像恢复效果，具有较好的可解释性。

Description

基于联合隐式图像函数的RGB图像引导深度图超分辨率方法
技术领域
本发明涉及一种基于联合隐式图像函数的RGB图像引导的深度图超分辨率(图像恢复)方法，可应用于RGB图像引导的深度图超分辨率任务，具体涉及一种联合隐式图像函数的定义以及一个用于从数据中学习此函数的深度神经网络模型，用于将低分辨率、含有噪声的深度图恢复为高分辨率、无噪声的深度图，属于计算机视觉图像处理技术领域。
背景技术
RGB图像引导的深度图超分辨率任务指的是从一张低分辨率、含有噪声的深度图以及一张对应的高分辨率的RGB图像中恢复高分辨率、无噪声的深度图的任务，在三维重建等任务中有着实际的应用。受限于深度传感器的精度，采集到的深度图通常质量较低，但RGB相机的发展使得高质量的RGB图像可以较容易地获取。现有的深度图超分辨率图像恢复方法通常将这个深度图超分辨率图像恢复任务视为引导滤波(Guided Filtering)问题，通过构建显式的滤波器，将RGB图像中的结构细节转移到深度图中，从而提高深度图的质量，例如文献[1](He,Kaiming et al.“Guided Image Filtering.”IEEE Transactions onPattern Analysis and Machine Intelligence 35,2013:1397-1409.)。但由于RGB图像中信息的复杂性，这种方法可能会将不正确的信息转移到深度图中。另一种常见的方法将这个图像恢复任务视为一个稠密回归问题，通过监督学习的方法训练神经网络，直接对高分辨率的深度图进行回归，例如文献[2](Li,Yijun et al.“Deep Joint Image Filtering.”ECCV,2016.)与[3](Su,Hang et al.“Pixel-Adaptive Convolutional NeuralNetworks.”CVPR,2019:11158-11167.)等。这种方法可以利用CNN的特征提取能力，取得了更好的效果，但可解释性通常较差。
发明内容
为了克服上述技术存在的不足，本发明提供一种基于联合隐式图像函数的RGB图像引导的深度图超分辨率方法及***，创建应用于深度图超分辨率图像恢复任务的深度神经网络模型，具体采用的联合隐式图像函数表示是一种适用于引导图像超分辨率任务的隐式图像表示形式，用于从对应的RGB图像中提取细节信息，从而更好的完成深度图的超分辨率图像恢复任务。
本发明提出的联合隐式图像函数(Joint Implicit Image Function，JIIF)，从隐式神经表示(Implicit Neural Representation)的视角处理RGB图像引导的深度图超分辨率任务。具体而言，我们采用图像插值的形式解决深度图超分辨率问题，并使用一个由多层感知机(Multi-layer Perceptron)实现的深度隐函数(Deep Implicit Function，DIF)学习插值过程中使用的权重与值，最后通过插值公式计算预测的像素值。将本发明方法应用于深度图超分辨率图像恢复任务，恢复得到的图像在具有较好的可解释性的同时，通过利用深度神经网络的特征提取能力，取得了较好的图像恢复效果。
本发明的技术方案是：
一种基于联合隐式图像函数的RGB图像引导深度图超分辨率方法，包括：建立深度神经网络模型；通过两个编码器从RGB图像以及输入的低分辨率深度图中分别提取特征；通过联合隐式图像函数，对于输出的高分辨率深度图中每一个像素，预测插值公式中的权重与值；按照插值公式对每个像素的特征进行插值，再通过解码器输出每个像素深度值的预测。本发明创建的用于深度图超分辨率图像恢复的深度神经网络模型包含RGB图像编码器，深度图编码器，以及JIIF解码器三个部分。
基于联合隐式图像函数的RGB图像引导的深度图超分辨率恢复方法包括如下步骤：
创建用于深度图超分辨率图像恢复的深度神经网络模型，包含RGB图像编码器，深度图编码器，以及JIIF解码器三个部分。本方法首次将隐式神经表示的方法应用于RGB引导的深度图超分辨率任务，提出了适用于此任务的联合隐式图像函数，对多模态的输入(RGB图像，低分辨率深度图)进行建模，并用于对高分辨率下的每一个像素的值进行预测，结合了CNN编码器提取特征的能力以及DIF的空间表达能力，在取得了更准确的预测结果的同时具有较好的解释性。
A.从输入的RGB图像以及低分辨率深度图中提取特征；
A1.通过RGB图像编码器Eφ提取高分辨率RGB图像中每个像素处的特征；
A2.通过深度图编码器Eψ提取低分辨率深度图像中每个像素处的特征；
B.通过JIIF解码器输出预测的高分辨率深度图；
B1.对于高分辨率深度图中的每一个像素(目标像素)，寻找低分辨率深度图中坐标最近的四个像素(近邻像素)以及提取的深度特征；
B2.在高分辨率RGB图像中找到目标像素对应的坐标处的RGB特征，以及四个近邻像素对应的坐标处的RGB特征；
B3.使用一个统一的联合隐式图像函数，输入上述目标像素以及近邻像素的坐标、深度特征以及RGB特征，输出目标像素与每个近邻像素间的插值权重以及值。
B4.通过插值公式，计算B3中的插值权重以及值在目标像素处的插值结果，作为目标像素处预测的深度值。
在步骤A中，我们通过两个编码器分别提取输入的高分辨率RGB图像与低分辨率深度图的特征，此处提取的特征的分辨率保持不变，即与输入的图像分辨率相同，从而可以视为位于每个像素处的特征。
在步骤B中，我们通过提出的JIIF解码器预测高分辨率深度图。对于高分辨率图像中的每一个目标像素，我们分别对其进行预测。首先，我们在低分辨率深度图中寻找坐标最近的四个近邻像素及其深度特征。传统的插值算法通常通过手工设计的规则计算插值权重，例如双线性插值，没有考虑RGB引导图像的信息。在本方法中，由于高分辨率RGB图像中目标像素与四个近邻像素的RGB特征是已知的，我们可以通过神经网络学习目标像素与任一近邻像素的RGB特征之间的相似性，归一化处理后作为深度特征的插值权重，从而利用了RGB引导图像中的先验知识。进一步的，我们使用一个统一的联合隐式图像函数同时学习插值权重与值。最后，我们使用学习得到的权重与值进行加权求和，输出最终的深度值预测。
与现有技术相比，本发明可以更好的利用RGB引导图像中的信息，并且具有较好的可解释性，在RGB图像引导的深度图像超分辨率恢复任务上取得了优于现有技术的图像恢复效果。
附图说明
图1是RGB图像引导的深度图超分辨率方法的流程示意图。
图2是本发明建立的用于深度图超分辨率图像恢复的深度神经网网络模型的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚完整的描述。
本发明提出一种基于联合隐式图像函数引导的深度图超分辨率图像恢复方法，图1所示是本发明提供的RGB图像引导的深度图超分辨率方法的流程；通过提出一种联合隐式图像函数(Joint Implicit Image Function，JIIF)，从隐式神经表示(Implicit NeuralRepresentation)的视角处理RGB图像引导的深度图超分辨率恢复任务。具体而言，我们采用图像插值的形式解决超分辨率问题，并且使用一个MLP学习插值过程中使用的权重与值，最后通过插值公式计算预测的像素值。将本发明方法应用于深度图超分辨率图像恢复任务，恢复得到的图像在具有较好的可解释性的同时，通过利用深度神经网络的特征提取能力，取得了较好的图像恢复效果。
本发明是一种基于联合隐式图像函数的RGB图像引导的深度图超分辨率方法，包括：建立深度神经网络模型；本发明创建的用于深度图超分辨率图像恢复的深度神经网络模型包含RGB图像编码器，深度图编码器，以及JIIF解码器三个部分。通过两个编码器从RGB图像以及输入的低分辨率深度图中分别提取特征；通过联合隐式图像函数，对于输出的高分辨率深度图中每一个像素，预测插值公式中的权重与值；按照插值公式对每个像素的特征进行插值，再通过解码器输出每个像素深度值的预测。
图2所示是本发明建立的用于深度图超分辨率图像恢复的深度神经网网络模型的结构示意；首先是编码器部分，包括RGB图像编码器和深度图编码器。对于输入的高分辨率RGB图像G与低分辨率深度图M，我们分别使用两个结构相同的RGB图像编码器Eφ以及深度图编码器Eψ对其提取特征。两个编码器提取的特征图的分辨率与输入图像的分辨率相同，从而可以得到每一个输入像素处的特征：
Figure BDA0003117374060000041
其中，xi与xj分别代表像素i与j的坐标，zi代表像素i处的RGB特征，gj代表像素j处的深度图特征。我们使用连续的图像表示形式，将坐标放缩到[-1,1]内，从而使得不同分辨率下的坐标可以共享。这些RGB特征与深度图特征可以被视为输入图像空间中一系列的隐式编码(latent codes)，用来编码对应像素处的局部特征。具体实施时，编码器由一系列的残差模块(Residual Block)构成，具体包含12个残差模块，每个模块提取的特征维度为128维。
接下来，我们从广义的图像插值公式出发，引出联合隐式图像函数的定义。对于低分辨率的输入图像M，输出的高分辨率图像I中任一像素xq的值I(xq)可以通过如下插值公式得到：
Figure BDA0003117374060000042
其中，Nq是像素q的邻域，二维图像问题中通常选取坐标距离最近的四个像素。i为此邻域中的任一像素，vq,i是i处的像素值，wq,i是q与i之间的插值权重，通常要求∑iwq,i＝1。现有传统的图像插值算法通过人为规定wq,i与vq,i的方式进行插值，例如双线性插值中采用：
Figure BDA0003117374060000051
不同于现有的传统方法，本方法使用神经网络模型学习wq,i与vq,i。对于值vq,i，我们使用隐式神经表示的方法从提取的特征中进行学习：
vq,i＝fθ(zi,gi,xq-xi)
此处fθ为一个通过MLP实现的深度隐函数。此函数输入i处的深度特征以及RGB特征，并且考虑了q与i之间的相对距离xq-xi，输出通过i处的隐式编码预测的q处的值。接下来对于wq,i，我们使用图注意力机制的方法进行学习：
wq,i＝fη(gi,gq-gi)
同样，此处fη为一个通过MLP实现的函数。此函数输入q与i处的RGB特征，输出q与i之间的相似度。为了区别wq,i与wi,q，使得权重具有不对称性，我们输入q与i处的RGB特征之差。由于wq,i与vq,i都是通过MLP结构的函数进行学习的，我们可以将这个两个函数统一起来，只使用一个函数同时学习wq,i与vq,i：
vq,i,wq,i＝fθ(zi,gi,gq-gi,xq-xi)
深度隐函数fθ同时利用了提取的RGB特征以及深度特征，用来表示输出的高分辨率深度图。并且通过耦合插值权重与值的学习过程，我们减少了模型需要的参数量。具体实施时，fθ共包含五层，特征维度分别为(1024,512,256,128,2)。最后，我们对wq,i进行归一化处理，并通过插值公式计算出最终的预测结果，作为目标像素处的深度值。
我们通过监督学习的方式对上述创建的用于深度图超分辨率图像恢复的深度神经网络模型进行训练，使用的损失函数为预测的高分辨率深度图与真实的高分辨率深度图之间的L1误差：
Figure BDA0003117374060000052
其中N为总的像素数量，Igt(xi)表示xi处的深度图真值，Ipred(xi)表示xi处预测的深度图。
利用训练好的用于深度图超分辨率图像恢复的深度神经网络模型，输入待恢复的RGB图像，进行深度图超分辨率图像恢复，即输出恢复好的深度图超分辨率图像。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

1.一种基于联合隐式图像函数的RGB图像引导深度图超分辨率方法，其特征是，包括：
建立深度神经网络模型，用于深度图超分辨率图像恢复；所建立的用于深度图超分辨率图像恢复的深度神经网络模型包含RGB图像编码器，深度图编码器以及联合隐式图像函数解码器(JIIF解码器)；
采用隐式神经表示方法，建立适用于RGB引导的深度图超分辨率任务的联合隐式图像函数，对多模态输入进行建模；所述多模态的输入包括RGB图像和低分辨率深度图；
通过所建立深度神经网络模型的RGB图像编码器和深度图编码器，从RGB图像以及输入的低分辨率深度图中分别提取特征；
对于输出的高分辨率深度图中每一个像素，通过联合隐式图像函数预测插值公式中的权重与值；按照插值公式对每个像素的特征进行插值，得到高分辨率下的每一个像素的深度值；
再通过JIIF解码器对高分辨率下的每个像素深度值进行预测并输出；
利用训练好的用于深度图超分辨率图像恢复的深度神经网络模型，输入待恢复的RGB图像，进行深度图超分辨率图像恢复，即输出恢复好的深度图超分辨率图像，由此实现基于联合隐式图像函数的RGB图像引导深度图超分辨率图像恢复。
2.如权利要求1所述基于联合隐式图像函数的RGB图像引导深度图超分辨率方法，其特征是，具体包括如下步骤：
A.通过两个编码器从输入的RGB图像以及低分辨率深度图中分别提取特征，提取的特征的分辨率保持不变，即与输入图像的分辨率相同，；
A1.通过RGB图像编码器提取高分辨率RGB图像中每个像素处的特征；
A2.通过深度图编码器提取低分辨率深度图像中每个像素处的特征；
B.通过JIIF解码器输出预测的高分辨率深度图：通过神经网络学习目标像素与任一近邻像素的RGB特征之间的相似性，归一化处理后作为深度特征的插值权重；进一步使用联合隐式图像函数同时学习插值权重与值；再使用学习得到的权重与值进行加权求和，输出深度值预测值；具体包括：
B1.对于高分辨率深度图中的每一个像素，即目标像素，寻找低分辨率深度图中坐标最近的四个近邻像素以及提取的深度特征；
B2.在高分辨率RGB图像中找到目标像素对应的坐标处的RGB特征，以及四个近邻像素对应的坐标处的RGB特征；
B3.使用联合隐式图像函数，输入上述目标像素以及近邻像素的坐标、深度特征以及RGB特征，输出目标像素与每个近邻像素间的插值权重以及值；
B4.通过插值公式，计算B3中的插值权重以及值在目标像素处的插值结果，作为目标像素处预测的深度值。
3.如权利要求1所述基于联合隐式图像函数的RGB图像引导深度图超分辨率方法，其特征是，RGB图像编码器和深度图编码器分别提取输入图像的像素特征图，表示为：
Figure FDA0003117374050000021
其中，xi与xj分别代表像素i与j的坐标，zi代表像素i处的RGB特征，gj代表像素j处的深度图特征；
使用连续图像表示方法，将坐标放缩到[-1,1]内，使得不同分辨率下的坐标共享；
将这些RGB特征和深度图特征作为输入图像空间中一系列的隐式编码，用来编码对应像素处的局部特征。
4.如权利要求3所述基于联合隐式图像函数的RGB图像引导深度图超分辨率方法，其特征是，编码器包括一系列的残差模块；具体可包含12个残差模块，每个模块提取的特征维度为128维。
5.如权利要求3所述基于联合隐式图像函数的RGB图像引导深度图超分辨率方法，其特征是，根据图像插值公式定义联合隐式图像函数；对于低分辨率的输入图像M，通过如下插值公式得到高分辨率图像I中任一像素xq的值I(xq)：
Figure FDA0003117374050000022
其中，Nq是像素q的邻域；i为此邻域中的任一像素，vq,i是i处的像素值，wq,i是q与i之间的插值权重，通常∑iwq,i＝1；
使用神经网络模型学习wq,i与vq,i：对于值vq,i，使用隐式神经表示方法从提取的特征中进行学习，表示为：
vq,i＝fθ(zi,gi,xq-xi)
其中，fθ为通过MLP实现的深度隐函数；函数的输入为i处的深度特征以及RGB特征，且考虑q与i之间的相对距离xq-xi；函数的输出为通过i处的隐式编码预测的q处的值。
6.如权利要求5所述基于联合隐式图像函数的RGB图像引导深度图超分辨率方法，其特征是，对于wq,i，使用图注意力机制的方法进行学习，表示为：
wq,i＝fη(gi,gq-gi)
其中，fη为通过MLP实现的函数；函数的输入为q与i处的RGB特征；函数的输出为q与i之间的相似度。
7.如权利要求6所述基于联合隐式图像函数的RGB图像引导深度图超分辨率方法，其特征是，具体输入q与i处的RGB特征之差，用于区别wq,i与wi,q，使得权重具有不对称性。
8.如权利要求7所述基于联合隐式图像函数的RGB图像引导深度图超分辨率方法，其特征是，具体只使用同一个MLP结构的函数同时学习wq,i与vq,i；表示为：
vq,i,wq,i＝fθ(zi,gi,gq-gi,xq-xi)
深度隐函数fθ同时利用提取的RGB特征以及深度特征，用来表示输出的高分辨率深度图；
再对wq,i进行归一化处理，并通过插值公式计算出预测结果，作为目标像素处的深度值。
9.如权利要求8所述基于联合隐式图像函数的RGB图像引导深度图超分辨率方法，其特征是，深度隐函数fθ共包含五层，特征维度分别为(1024,512,256,128,2)。
10.如权利要求1所述基于联合隐式图像函数的RGB图像引导深度图超分辨率方法，其特征是，通过监督学习的方式对创建的用于深度图超分辨率图像恢复的深度神经网络模型进行训练，使用的损失函数为预测的高分辨率深度图与真实的高分辨率深度图之间的L1误差：
Figure FDA0003117374050000031
其中，N为总的像素数量，Igt(xi)表示xi处的深度图真值，Ipred(xi)表示xi处预测的深度图。
CN202110677405.9A 2021-06-16 2021-06-16 基于联合隐式图像函数的rgb图像引导深度图超分辨率方法 Active CN113850719B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110677405.9A CN113850719B (zh) 2021-06-16 2021-06-16 基于联合隐式图像函数的rgb图像引导深度图超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110677405.9A CN113850719B (zh) 2021-06-16 2021-06-16 基于联合隐式图像函数的rgb图像引导深度图超分辨率方法

Publications (2)

Publication Number Publication Date
CN113850719A true CN113850719A (zh) 2021-12-28
CN113850719B CN113850719B (zh) 2024-06-18

Family

ID=78973051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110677405.9A Active CN113850719B (zh) 2021-06-16 2021-06-16 基于联合隐式图像函数的rgb图像引导深度图超分辨率方法

Country Status (1)

Country Link
CN (1) CN113850719B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114331849A (zh) * 2022-03-15 2022-04-12 之江实验室 一种跨模态核磁共振超分网络及图像超分辨率方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102479380A (zh) * 2010-11-25 2012-05-30 北京大学 一种提高图像分辨率的图像插值方法及装置
CN108492248A (zh) * 2018-01-30 2018-09-04 天津大学 基于深度学习的深度图超分辨率方法
CN109523470A (zh) * 2018-11-21 2019-03-26 四川长虹电器股份有限公司 一种深度图像超分辨率重建方法及***
KR20190040586A (ko) * 2017-10-11 2019-04-19 인하대학교 산학협력단 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템
CN112529777A (zh) * 2020-10-30 2021-03-19 肇庆市博士芯电子科技有限公司 基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102479380A (zh) * 2010-11-25 2012-05-30 北京大学 一种提高图像分辨率的图像插值方法及装置
KR20190040586A (ko) * 2017-10-11 2019-04-19 인하대학교 산학협력단 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템
CN108492248A (zh) * 2018-01-30 2018-09-04 天津大学 基于深度学习的深度图超分辨率方法
CN109523470A (zh) * 2018-11-21 2019-03-26 四川长虹电器股份有限公司 一种深度图像超分辨率重建方法及***
CN112529777A (zh) * 2020-10-30 2021-03-19 肇庆市博士芯电子科技有限公司 基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114331849A (zh) * 2022-03-15 2022-04-12 之江实验室 一种跨模态核磁共振超分网络及图像超分辨率方法

Also Published As

Publication number Publication date
CN113850719B (zh) 2024-06-18

Similar Documents

Publication Publication Date Title
CN110111366B (zh) 一种基于多级损失量的端到端光流估计方法
CN112347859B (zh) 一种光学遥感图像显著性目标检测方法
CN107292912B (zh) 一种基于多尺度对应结构化学习的光流估计方法
CN111243066A (zh) 一种基于自监督学习与生成对抗机制的人脸表情迁移方法
CN111861880B (zh) 基于区域信息增强与块自注意力的图像超分与融合方法
CN115953582B (zh) 一种图像语义分割方法及***
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN113554032B (zh) 基于高度感知的多路并行网络的遥感图像分割方法
CN115345866A (zh) 一种遥感影像中建筑物提取方法、电子设备及存储介质
CN115187638A (zh) 一种基于光流遮罩的无监督单目深度估计方法
CN111753670A (zh) 注意力修复和关键点检测迭代协同的人脸超分方法
CN113850719B (zh) 基于联合隐式图像函数的rgb图像引导深度图超分辨率方法
Li et al. TCTL-Net: Template-free color transfer learning for self-attention driven underwater image enhancement
CN117252928A (zh) 用于电子产品模块化智能组装的视觉图像定位***
CN117372617A (zh) 一种基于GCN-Transformer模型的点云数据重建方法及电子设备
US20240062347A1 (en) Multi-scale fusion defogging method based on stacked hourglass network
CN117058392A (zh) 一种基于卷积局部增强的多尺度Transformer图像语义分割方法
US20230245282A1 (en) Method and device for depth image completion
CN111275751A (zh) 一种无监督绝对尺度计算方法及***
CN115131414A (zh) 基于深度学习的无人机图像对齐方法、电子设备和存储介质
CN114372944B (zh) 一种多模态和多尺度融合的候选区域生成方法及相关装置
CN115018726A (zh) 一种基于U-Net的图像非均匀模糊核的估计方法
CN115578574A (zh) 一种基于深度学习和拓扑感知的三维点云补全方法
CN115330935A (zh) 一种基于深度学习的三维重建方法及***
CN111382845B (zh) 一种基于自注意力机制的模板重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant