CN116152060A - 一种双特征融合引导的深度图像超分辨率重建方法 - Google Patents
一种双特征融合引导的深度图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN116152060A CN116152060A CN202211628783.9A CN202211628783A CN116152060A CN 116152060 A CN116152060 A CN 116152060A CN 202211628783 A CN202211628783 A CN 202211628783A CN 116152060 A CN116152060 A CN 116152060A
- Authority
- CN
- China
- Prior art keywords
- depth
- features
- reconstruction
- feature
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims description 15
- 230000009977 dual effect Effects 0.000 claims description 10
- 238000011084 recovery Methods 0.000 claims description 9
- 238000013178 mathematical model Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 241000282326 Felis catus Species 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种基于双特征融合引导的深度图像超分辨率重建方法，网络模型包括特征提取部分和深度恢复重建部分。特征提取部分以经双三次插值放大后的深度图和同场景彩色图的强度图作为输入，采用输入金字塔分别提取逐级提取深度特征和强度特征，得到多尺度特征，得到的特征作为深度恢复重建部分的输入；深度恢复重建部分则是将提取到的最后一级深度特征和强度特征先经过双通道融合模块进行特征融合，然后利用双特征引导重建模块利用特征提取部分得到的深度特征和强度特征对上一级重建特征进行逐级的引导恢复重建，最后得到重建效果好的深度图。
Description
技术领域
本发明属于图像处理、计算机视觉技术领域，涉及一种基于卷积神经网络的深度图像超分辨率重建方法。
背景技术
深度信息是人类感知三维空间事物的重要信息。深度相机发展，能够实时的获取空间内物体的深度信息，被广泛应用于机器人视觉、医疗、多媒体娱乐等多个领域。由于受硬件的限制和成像过程的影响，导致现有的深度相机获得的深度图像分辨率较低，质量较差，进而限制了三维重建、虚拟现实等很多领域的发展。因此，深度图像的超分辨率重建技术研究具有重要意义。其中深度图像的超分辨率重建技术分为两类：单幅深度图的超分辨率重建、彩色图像引导深度图像超分辨率重建。
将单幅深度图直接进行超分辨率重建的优点是输入少，运算量少，但也因此可以用到的信息较少，存在着严重的病态性。而同场景的彩色图像中有大量的高频信息(如图像的边缘信息)，来辅助深度图像的像素预测，因此可以将同场景高分辨率彩色图像作为数据指导项以协助深度图像的重建。且卷积神经网络技术的发展在现在的图像超分辨率重建中也有很好的表现，其特征提取丰富的特点更有利于重建图像。但现有的基于卷积神经网络的、彩色图像引导的深度图像超分辨率重建技术存在着特征融合不充分、重建后的深度图出现纹理转移和深度流失的问题还需要解决。
发明内容
针对上述现象，本文提供了一种基于卷积神经网络的深度图像超分辨率重建网络。
为此，本发明采取的技术方案：
一种基于双特征融合引导的深度图像超分辨率重建网络的方法，训练整个网络包括下列步骤：
(1)数据集准备：从不同深度图像公开数据集中分别选取一定量的深度图像和同场景彩色图像，并对得到的图像数据数据增强和输入图像的获取操作。
(1.1).将获得的深度图像和同场景彩色图像进行90°、180°、270°的旋转以及翻转，然后以48的步长进行重叠采样，裁剪得到96×96大小的图像块。得到的图像块作为网络训练的训练集和验证集。
(1.2).对增强后的深度图像逐一进行下采样，得到低分辨率深度图。
(2)图像预处理：在进行网络训练前需要将低分辨率深度图和同场景高分辨率彩色图做预处理，具体包括：对低分辨率深度图做双三次插值操作将深度图扩展到与同场景彩色图一致的尺寸；对同场景高分辨率彩色图像采用YCrCb格式，由于要用彩色图中的强度信息作为引导依据，因此只取其Y通道作为强度图像。将这二者作为网络输入。
(3)网络结构设计：整个网络结构主要分为两部分。
第一部分为特征提取部分。这里采用两个相同的输入金字塔结构分别从输入的深度图
提取深度特征，从强度图Yhr强度特征，并在每一级中加入残差注意模块强化特征，并与下一级特征融合得到多层次特征，且每一层得到的特征又会在于第二部分中用于引导恢复重建。
第二部分为深度恢复重建部分。这里先采用双通道融合模块对特征提取部分得到的最后一级多层次特征进行双特征融合，融合后的特征又会经反卷积、双特征引导重建模块以及残差注意力模块顺次操作后进行深度恢复重建，并进行4次上述循环操作得到最后的深度特征，并与输入深度图做像素相加得到最后重建的深度图。而上述提到的特征提取部分每一级特征会在这部分中的双特征引导重建模块用于引导上一级输出特征进行深度恢复重建。
除此之外，本发明采用最小均值误差(MSE)作为损失函数，来缩短网络重建得到的深度图和真实深度图之间的差距：
其中，k代表第k幅图像；N代表每次训练样本的个数；θ代表要学习的参数；
代表输入深度图，/>
代表对应彩色图的Y通道图像；/>
代表重建得到的深度图；
代表对应的真实深度图。
(4)用步骤(1)中得到的数据集对整个网络进行训练，网络通过基于反向传播的梯度下降法来更新网络参数。
(5)将测试低分辨率深度图像和同场景彩色图经预处理后输入到训练好的网络模型中，在输出层得到超分辨率的深度图。
具体的，步骤(3)中的特征提取部分：
特征提取部分包括深度特征提取支路和强度特征提取支路。以步骤(3)所述的深度图像和强度图像作为输入，使用两个一致的输入金字塔结构对二者进行特征提取。以深度特征提取支路为例。
对输入深度图
做下采样，每次下采样后的深度图经过一次不同通道数的卷积得到多种尺度的特征图，再与上一级池化后的特征拼接后，经过残差注意力操作得到增强后的多尺度特征。此过程的数学模型为：
其中，i∈{1，2，3，4}，
是经过第i次下采样后的深度图像；/>
是从/>
中提取的特征；/>
和/>
是卷积操作中的权重和偏置；σ(·)代表ReLU激活函数；maxpool(·)代表下采样操作；fRAM(·)代表残差注意力操作；/>
代表/>
经残差注意力操作的得到的特征；cat(·)代表拼接操作。
而步骤(3)中的深度恢复重建部分：
深度恢复重建部分主要包括双通道融合模块和双特征引导重建模块。
对特征提取部分最后一级得到的深度特征
和强度特征/>
先经过双通道融合模块得到融合特征/>
然后以此为输入，先经过反卷积进行特征上采样和通道压缩，输出结果与特征提取部分同一级的深度特征/>
和强度特征/>
共同进入双特征引导重建模块中进行引导恢复重建，融合后的特征经过残差注意力操作，得到引导后的特征。再经过3次上述循环操作得到重建特征/>
对最后得到的特征/>
做1×1卷积，并与输入深度图/>
做像素相加，得到重建后的深度图Dsr。此过程的数学模型为：
其中，j∈{0，1，2，3}，fDCM(·)代表双通道融合模块；fDGM(·)代表双特征引导重建模块；deconv(·)代表反卷积；σ代表ReLU激活函数；Wsr和bsr分别代表1×1卷积操作的权重和偏置；
代表像素相加。
进一步地，在所述双通道融合模块(DCM)中，将特征提取部分得到的深度特征Fd和强度特征Fg做通道注意力操作操作，然后分别与原特征相加以实现强化特征得到
和/>
对强化后的两特征做先拼接后卷积的操作进行初步融合，再最后通过一次通道注意力操作，完成双通道特征融合。
此过程的数学模型为：
其中，fC(·)代表通道注意力操作；WDCM和bDCM是卷积操作中的权重和偏置。
同样在所述的双特征引导重建模块(DGM)中，先将同级同尺寸的深度特征Fd和强度特征Fg先做自选择连接SSC得到双特征融合后的特征FSSC，以此用于引导上一级特征Fs进行恢复重建。具体操作就是将FSSC特征与Fs特征做拼接和卷积的操作得到初始融合特征Fmix，最后再进行一次通道注意力操作充分融合得到输出特征Fout。
此过程的数学模型为：
FSSC＝fSSC(Fd，Fg) (12)
Fmix＝σ(WDGM·cat(FSSC，Fs)+bDGM) (13)
Fout＝fC(Fmix) (14)
其中，fSSC(·)代表自选择连接操作；WDGM和bDGM是卷积操作中的权重和偏置。
本发明提出一种基于卷积神经网络的深度图像超分辨率重建方法，与通常深度图像超分辨率重建方法相比，本发明具有如下优势：
(1)传统的拼接和卷积的特征融合方式会出现特征融合不充分的现象，进而在结果图中出现纹理转移的现象，而本发明提出的双特征融合操作，分别在深度特征、强度特征、以及两种特征之间采用通道注意力机制，能够有效提取深度、强度特征，并进行充分融合，可以加强深度图像重建的引导作用；
(2)设计双特征引导重建模块并多级引导，将深度特征和强度特征融合后引导深度图像超分辨率重建，解决纹理转移和深度流失问题，也避免了特征利用不足的问题。
附图说明
图1是本发明的网络结构图；
图2是本发明使用的特征提取部分中的深度特征提取支路结构图；
图3是本发明提出的深度恢复重建结构图；
图4是本发明提出的双通道融合模块结构图；
图5是本发明使用的通道注意力操作示意图；
图6是本发明提出的双特征引导重建模块结构图；
图7(a)是实例中Laundry真实深度图；
图7(b)是实例中Laundry深度图同场景彩色图；
图7(c)是实例中Laundry局部真实深度图；
图7(d)是实例中Laundry低分辨率深度图经JBU传统方法重建后的局部深度图；
图7(e)是实例中Laundry低分辨率深度图经MSG神经网络方法重建后的局部深度图；
图7(f)是实例中Laundry低分辨率深度图经本发明重建后的局部深度图。
具体实施方式：
本发明在做上采样因子r＝4的深度图像超分辨率重建时，采用的具体方案是：
(1)数据集准备：从MPI Sintel深度数据集和Middlebury数据集选取92对RGB-D图像对。将得到的图像对做90°、180°、270°的旋转以及翻转，然后对获取到的深度图像和彩色图像作步长为48的重叠采样，裁剪得到96×96大小的图像块，以此作为网络的训练集和验证集；然后对深度图像逐一做4倍下采样得到大小为24×24的低分辨率深度图；
测试集则是选取Middleburry(2005)数据集的不同场景的6对RGB-D图像，同样对深度图做4倍下采样作为本发明的测试深度图。
(2)图像预处理：对步骤(1)得到的深度图低分辨率深度图做双三次插值操作进行4倍上采样，得到96×96大小的网络输入深度图；对于同场景彩色图像，采用YCrCb格式，提取Y通道作为网络的强度输入图像。
(3)网络结构设计：
网络整体结构参阅图1，网络整体结构包括特征提取和深度恢复重建两个部分。
特征提取部分参考图2，采用两个结构一致的输入金字塔结构分别提取深度图像和强度图像的深度特征及强度特征。以深度特征提取为例；对输入深度图像做4次下采样，依次得到48×48、24×24、12×12以及6×6四个尺寸的深度图，并以这些深度图作为每一级的输入；将该级的输入深度图进行卷积核为3×3的卷积操作，得到的特征与上一级输出特征拼接，在经过一次残差注意力操作(即图中的RAM)得到该级的输出特征。在最后一级的输出得到包含了多种尺度的特征。
深度恢复重建部分参考图3，将上一部分中最后一级得到的深度特征和强度特征先经过双通道融合模块(DCM)进行深度特征和强度特征的融合。将融合后的特征先进行卷积核为3×3、步幅为2×2的反卷积操作进行特征尺寸放大与通道压缩，将放大后的特征与特征提取部分同一级的深度特征和强度特征共同进入双特征引导重建模块(DGM)中进行引导恢复重建，融合后的特征经过残差注意力操作，得到引导后的特征。再经过3次循环操作，得到重建特征。对最后得到的特征做卷积核为1×1卷积操作，同时将特征通道压缩为1，将得到的特征与输入深度图做像素相加，得到重建后的深度图。
双通道融合模块(DCM)参考图4，先对两个输入特征进行通道注意力操作进行特征强化。再强化的两特征先进行特征拼接，然后做卷积核为1×1的卷积操作完成初步特征融合，最后经过一次通道注意力操作得到充分融合后的特征。其中的通道注意力参考图5。
双特征引导重建模块(DGM)参考图6，先将同级同尺寸的深度特征和强度特征先做自选择连接SSC得到双特征融合后的特征；再与上一级输出特征做先拼接、后卷积核为1×1卷积的操作得到初始融合特征，最后再进行一次通道注意力操作充分融合得到输出特征。
(4)网络训练设置：
采用Python语言，使用tensorfiow深度学习框架进行深度神经网络模型的搭建和训练如图1所示的网络。训练期间按照公式(1)计算重建后图像与真实深度图之间的差距；最后使用ADAM进行网络优化。初始学习率设置为0.00001，如果在4个epochs内损失函数没有减少，学习率衰减0.25000。如果学习率衰减低于10-7网络停止训练。
(5)评价指标选择：本文采用峰值信噪比(，Peak Signal-to-NoiseRatio，PSNR)和均方根误差(Root Mean Square Error，RMSE)作为评价指标。PSNR的数值越大，表明重构图像质量越好。RMSE是数值越小，表明重建深度图与原始图像越接近，重建效果越好。
Middlebury数据集中的Laundry深度图的重建效果对比参阅图7，在其他两种方法中，JBU为联合双边上采样方法(Kopf J等人发表文章Joint bilateral upsampling)，为传统方法；MSG为多尺度引导方法，为卷积神经网络方法(Hui等人发表文章Depth map super-resolution by deep multi-scale guidance)。图(a)为真实深度图，图(b)为对应同场景彩色图，图(c)为真实深度图中提取壶嘴位置的局部深度图，图(d)为JBU方法重建后截取相同位置的局部深度图，图(e)为采用MSG方法重建后截取相同位置的局部深度图，图(f)为本发明重建后截取同位置的局部深度图。
可以看出本发明的方法在壶嘴这样深度不连续的位置和背景窗框和墙这样平滑位置都有较好的恢复出来。三种方法的PSNR和RMSE数值如下表所示。通过表格可以看出本发明的4×重建效果要明显由于其他两种方法。
| 方法 | PSNR/dB | RMSE |
| JBU | 39.70 | 2.64 |
| MSG | 50.18 | 0.79 |
| 本发明 | 52.71 | 0.59 |
Claims (1)
1.一种基于双特征融合引导的深度图像超分辨率重建网络，其特征在于，整个网络的训练过程如下：
(1)数据集准备：从不同公开的深度图像数据集中分别选取一定量的深度图像和同场景彩色图像，首先对得到的图像做90°、180°、270°的旋转以及翻转，然后对获取到的深度图像和彩色图像作步长为48的重叠采样，裁剪得到96×96大小的图像块，以此作为网络的训练集和验证集；然后对深度图像逐一做4倍下采样得到低分辨率深度图；
(2)图像预处理：对步骤(1)得到的低分辨率深度图做双三次插值操作，使得处理后深度图的尺寸与同场景彩色图一致，得到网络的深度输入图像；然后将同场景彩色图采用YCrCb格式，提取其Y通道图像作为网络的强度输入图像；
(3)网络结构设计：网络结构包括两部分；
一部分为特征提取部分，采用两个结构一致的输入金字塔结构分别提取输入的深度图像和强度图像的特征；以深度特征提取为例，对输入深度图逐级下采样，每次下采样得到的深度图先经过以此不同通道数的卷积操作得到特征图，与上一级池化后的特征拼接后，经过一次残差注意力操作得到该层的特征；该层的特征用于后续引导重建，也用于与下一级特征融合形成多尺度特征，此过程的数学模型为：
其中，i∈{1，2，3，4}，
是经过i次下采样后的深度图像；/>
是从/>
中提取的特征；
和/>
是卷积操作中的权重和偏置；σ(·)代表ReLU激活函数；maxpool(·)代表下采样操作；fRAM(·)代表残差注意力操作；/>
代表/>
经残差注意力操作的得到的特征；cat(·)代表拼接操作；
第二部分为深度恢复重建部分，这部分主要采用双通道融合模块和双特征引导重建模块对提取到的特征做恢复重建；
对特征提取部分最后一级得到的多层次强度特征
和深度特征/>
先经过双通道融合模块得到融合后的特征/>
融合后的特征先经反卷积放大特征尺寸后，与同一级深度特征/>
和强度特征/>
共同进入双特征引导重建模块进行引导恢复重建，输出特征在经过残差注意力强化特征后得到该级的输出特征；在经过3次上述循环操作得到重建特征/>
再将重建特征做1×1，通道数为1的卷积操作，并与输入深度图做像素相加，得到最后重建后的深度图Dsr；此过程的数学模型为：
其中，j∈{0，1，2，3}，fDCM(·)代表双通道融合模块；fDGM(·)代表双特征引导重建模块；deconv(·)代表反卷积；σ代表ReLU激活函数；Wsr和bsr分别代表1×1卷积操作的权重和偏置；
代表像素相加；
其中，在第二部分的双通道融合模块中，将输入的深度特征和强度特征分别经通道注意力强化后，再顺次进行特征拼接和卷积操作完成特征初步融合，再经过一次通道注意力强化明显特征后得到得到完全融合后的特征；此模块的数学模型为：
其中，Fd和Fg分别代表特征提取部分得到的深度特征和强度特征；
和/>
分别代表经通道注意力强化后的深度和强度特征；fC(·)代表通道注意力操作；WDCM和bDCM是卷积操作中的权重和偏置；
同样，第二部分的双特征引导重建模块是将同级的来自特征提取部分的深度特征和强度特征以及上一级重建特征共同作为输入，先将深度特征和强度特征做自选择连接得到融合引导特征，再以此引导上一级重建特征做恢复重建操作，此模块的数学模型为：
FSSC＝fSSC(Fd，Fg) (11)
Fmix＝σ(WDGM·cat(FSSC，Fs)+bDGM) (12)
Fout＝fC(Fmix) (13)
其中，fSSC(·)代表自选择连接操作；FSSC代表经自选择连接得到双特征融合后的特征；Fs代表上一级重建特征；Fmix代表将FSSC特征与Fs特征做拼接和卷积的操作得到初始融合特征；WDGM和bDGM是卷积操作中的权重和偏置；
整个网络采用采用最小均值误差(MSE)作为损失函数，来缩短网络重建得到的深度图和真实深度图之间的差距：
其中，k代表第k幅图像；N代表每次训练样本的个数；θ代表要学习的参数；
代表输入深度图，/>
代表对应彩色图的Y通道图像；/>
代表重建得到的深度图；/>
代表对应的真实深度图；
(4)网络训练：此网络通过基于反向传播的梯度下降法来更新网络参数；
(5)深度图超分辨率重建：将测试低分辨率深度图像和同场景彩色图经预处理后输入到训练好的网络模型中，在输出层得到超分辨率的深度图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211628783.9A CN116152060A (zh) | 2022-12-19 | 2022-12-19 | 一种双特征融合引导的深度图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211628783.9A CN116152060A (zh) | 2022-12-19 | 2022-12-19 | 一种双特征融合引导的深度图像超分辨率重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116152060A true CN116152060A (zh) | 2023-05-23 |
Family
ID=86357453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211628783.9A Pending CN116152060A (zh) | 2022-12-19 | 2022-12-19 | 一种双特征融合引导的深度图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116152060A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116402692A (zh) * | 2023-06-07 | 2023-07-07 | 江西财经大学 | 基于非对称交叉注意力的深度图超分辨率重建方法与*** |
-
2022
- 2022-12-19 CN CN202211628783.9A patent/CN116152060A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116402692A (zh) * | 2023-06-07 | 2023-07-07 | 江西财经大学 | 基于非对称交叉注意力的深度图超分辨率重建方法与*** |
| CN116402692B (zh) * | 2023-06-07 | 2023-08-18 | 江西财经大学 | 基于非对称交叉注意力的深度图超分辨率重建方法与*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110992262B (zh) | 一种基于生成对抗网络的遥感图像超分辨重建方法 | |
| CN110443768B (zh) | 基于多重一致性约束的单帧图像超分辨率重建方法 | |
| CN111275618A (zh) | 一种基于双支感知的深度图超分辨率重建网络构建方法 | |
| CN113205096B (zh) | 一种基于注意力的联合图像与特征自适应的语义分割方法 | |
| CN112215755B (zh) | 一种基于反投影注意力网络的图像超分辨率重建方法 | |
| CN110930342A (zh) | 一种基于彩色图引导的深度图超分辨率重建网络构建方法 | |
| CN111681166A (zh) | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 | |
| CN111626927B (zh) | 采用视差约束的双目图像超分辨率方法、***及装置 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN114219719A (zh) | 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法 | |
| CN112884668A (zh) | 基于多尺度的轻量级低光图像增强方法 | |
| CN117274760A (zh) | 一种基于多尺度混合变换器的红外与可见光图像融合方法 | |
| CN116152060A (zh) | 一种双特征融合引导的深度图像超分辨率重建方法 | |
| CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其*** | |
| CN115511708A (zh) | 基于不确定性感知特征传输的深度图超分辨率方法及*** | |
| CN112070752A (zh) | 一种医学图像的心耳分割方法、装置及存储介质 | |
| CN117611601B (zh) | 基于文字辅助的半监督3d医学图像分割方法 | |
| CN113962878B (zh) | 一种低能见度图像去雾模型方法 | |
| CN111080533B (zh) | 一种基于自监督残差感知网络的数码变焦方法 | |
| CN112862684A (zh) | 一种深度图超分辨率重建和去噪神经网络的数据处理方法 | |
| CN117314808A (zh) | 一种结合Transformer与CNN双编码器的红外与可见光图像融合方法 | |
| CN116934972A (zh) | 一种基于双流网络的三维人体重建方法 | |
| CN115311135A (zh) | 一种基于3dcnn的各向同性mri分辨率重建方法 | |
| CN116342385A (zh) | 文本图像超分辨率网络的训练方法、装置以及存储介质 | |
| CN116703719A (zh) | 一种基于人脸3d先验信息的人脸超分辨率重建装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |