CN107403415A - 基于全卷积神经网络的压缩深度图质量增强方法及装置 - Google Patents
基于全卷积神经网络的压缩深度图质量增强方法及装置 Download PDFInfo
- Publication number
- CN107403415A CN107403415A CN201710602293.4A CN201710602293A CN107403415A CN 107403415 A CN107403415 A CN 107403415A CN 201710602293 A CN201710602293 A CN 201710602293A CN 107403415 A CN107403415 A CN 107403415A
- Authority
- CN
- China
- Prior art keywords
- neural networks
- convolutional neural
- depth map
- full convolutional
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 145
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000006835 compression Effects 0.000 title claims abstract description 69
- 238000007906 compression Methods 0.000 title claims abstract description 69
- 238000005457 optimization Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 69
- 230000002708 enhancing effect Effects 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 11
- 230000007935 neutral effect Effects 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 6
- 230000001537 neural effect Effects 0.000 claims description 5
- 238000003475 lamination Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 41
- 230000008569 process Effects 0.000 description 26
- 238000013461 design Methods 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Generation (AREA)
Abstract
本发明适用于图像处理技术领域，提供了一种基于全卷积神经网络的压缩深度图质量增强方法及装置，全卷积神经网络包括若干个级联的FCN单元，方法包括：利用大量压缩过的纹理图及预置的第一损失函数对预置的全卷积神经网络中的网络参数进行训练，得到优化后的全卷积神经网络；利用少量压缩过的深度图及预置的第二损失函数对优化后的全卷积神经网络中的网络参数进行训练，得到目标全卷积神经网络；将压缩过的待增强深度图依次通过目标全卷积神经网络中级联式FCN单元进行处理，得到质量增强后的深度图；本发明提供的方法先对网络进行训练，确定最优的参数，然后采用级联式FCN单元对待增强深度图进行处理，显著提高了压缩后深度图的质量。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于级联式神经网络的压缩深度图质量增强方法及装置。
背景技术
传输深度图以及相应的纹理图可以实现接收端的多种3D应用，由于深度图上的每个像素点信息表示相应3D场景的几何信息，当在传输期间被压缩时，压缩失真将导致严重的几何失真和视觉感知退化。近期，很多新颖的方法集中在去除采集和生成深度图时所引入的噪声以及对低分辨率的深度图进行超分辨增强。这些方法主要可以分为基于滤波器(filter-based)、基于模型(model-based)和目前常用的基于学习(learning-based)这三类。
在基于滤波器的方法中，一个较为典型的代表就是联合双向上采样方法(JBU，Joint Bilateral Upsampling)，该方法中所提出的双边权重是需要根据对应的纹理图而确定的。基于此，有人提出了更为复杂的滤波器，例如，具有自适应滤波参数，同时可以保留边缘的自适应双边滤波器(ABF，Adaptive Bilateral Filter)，以及不仅考虑深度图和纹理图空间相关性，还考虑其亮度相似性的联合三边滤波器(JTF，Joint TrilateralFilter)。根据纹理图和深度图之间的结构相似性，基于滤波器的方法将显著性结构从纹理图传输到增强的深度图上。而基于模型的方法中，纹理图和深度图之间的模型依赖关系起着重要作用，例如马尔可夫随机场(MRF，Markov Random Fields)模型、非局部平均值(NLM，Nonlocal Mean)模型、总广义变分(TGV,Total Generalized Variation)模型和自适应自回归模型。
在基于学习的方法中，较为典型的是超分辨率卷积神经网络(SRCNN,Super-Resolution Convolutional Neural Network)模型，该方法可以减少纹理图上的压缩失真，实现图像超分辨增强。此外还有降噪增强型卷积神经网络(DE-CNN，Denoise andEnhance Convolutional Neural Network)模型，其主要原理是通过纹理图的辅助，去除深度图的噪声。
然而，基于滤波器和基于模型的方法通常是需要针对具体的图像类型专门设计的，具有很强的针对性但泛化能力弱，并且受限于其复杂的依赖性。基于学习的方法尽管有助于提取和映射压缩深度图中的隐藏信息，但大多数基于学习的深度图增强方法不仅需要纹理图的辅助，而且还要确保所使用的纹理图与深度图达到点到点对齐的精度，但这一点并不是总能满足的。
另外，采用基于学习的方法对深度图进行质量增强时，需要先对网络进行训练，然后再进行深度图质量增强。一般而言，网络结构越深即里面包含的卷积层越多，重建后深度图质量越高；但与此同时，对训练样本数量即深度图样本数量的要求也会越高，因此网络容易出现过饱和或不收敛的情况，从而导致无法提高重建后的深度图质量。
传输过程中的有损压缩都不可避免地会降低图像质量，特别是对于那些包含3D场景几何信息的深度图，当采用大比例有损压缩时，几何失真和视觉感知退化会明显地出现在深度图的不连续区域，这不仅影响深度图本身的质量，还会影响在双目立体图像应用中合成视图的质量；因此，在接收端接收到压缩的深度图后，需要提供一种增强方法来增强接收端的深度图质量。
发明内容
本发明提供一种基于级联式神经网络的压缩深度图质量增强方法及装置，旨在针对采用有损压缩模式压缩的深度图提供一种质量增强方法。
本发明提供了一种基于全卷积神经网络的压缩深度图质量增强方法，所述全卷积神经网络包括若干个级联式全卷积网络FCN单元，每个所述FCN单元包括4层依次连接的卷积层，所述方法包括：
利用大量压缩过的纹理图及预置的第一损失函数对预置的全卷积神经网络中的网络参数进行训练，得到优化后的网络参数；
利用少量压缩过的深度图及预置的第二损失函数对所述优化后的网络参数进行训练，得到目标全卷积神经网络；
将压缩过的待增强深度图依次通过所述目标全卷积神经网络中的级联式FCN单元进行处理，得到质量增强后的深度图。
进一步地，所述将压缩过的待增强深度图依次通过所述目标全卷积神经网络中的级联式FCN单元进行处理，包括：
在每个FCN单元中，将压缩过的待增强深度图通过第1个卷积层进行特征提取，得到64个第一特征图；
将所述64个第一特征图通过第2个卷积层进行特征融合，得到32个第二特征图；
将所述32个第二特征图通过第3个卷积层进行非线性映射，得到16个第三特征图；
将所述16个第三特征图通过第4个卷积层进行重建，得到质量增强后的深度图。
进一步地，所述第1个卷积层由64个9×9大小的卷积核组成，所述第2个卷积层由32个7×7大小的卷积核组成，所述第3个卷积层由16个1×1大小的卷积核组成，所述第4个卷积层由1个5×5大小的卷积核组成。
进一步地，所述利用大量压缩过的纹理图及预置的第一损失函数对预置的全卷积神经网络中的网络参数进行训练，得到优化后的网络参数，包括：
利用大量压缩过的纹理图对预置的全卷积神经网络中的网络参数进行训练，并利用网络重建的纹理图及预置的第一损失函数调整所述全卷积神经网络中的网络参数，直至所述全卷积神经网络达到稳定收敛，得到优化后的网络参数；
所述利用少量压缩过的深度图及预置的第二损失函数对所述优化后的网络参数进行训练，得到目标全卷积神经网络，包括：
利用少量压缩过的深度图对所述优化后的网络参数进行训练，并利用网络重建的深度图及预置的第二损失函数调整所述全卷积神经网络中的网络参数，直至所述全卷积神经网络达到稳定收敛，得到目标全卷积神经网络。
进一步地，所述第一损失函数为：
其中，Loss1表示重建后的纹理图与压缩之前的纹理图像素点对点之间的欧氏距离，Θ表示全卷积神经网络中的全部参数，F(IT；Θ)表示经过所述全卷积神经网络重建后的质量增强的纹理图，IT表示压缩过的纹理图，表示压缩之前的纹理图；
所述第二损失函数为：
其中，Loss2表示重建后的深度图与压缩之前的深度图像素点对点之间的欧氏距离，Θ表示全卷积神经网络中的全部参数，IM表示从压缩之前的深度图上提取的边缘轮廓图，F(ID；Θ)表示经过所述全卷积神经网络重建后的质量增强的深度图，ID表示压缩过的深度图，表示压缩之前的深度图。
本发明还提供了一种基于全卷积神经网络的压缩深度图质量增强装置，所述全卷积神经网络包括若干个级联式全卷积网络FCN单元，每个所述FCN单元包括4层依次连接的卷积层，所述装置包括：
第一训练模块，用于利用大量压缩过的纹理图及预置的第一损失函数对预置的全卷积神经网络中的网络参数进行训练，得到优化后的网络参数；
第二训练模块，用于利用少量压缩过的深度图及预置的第二损失函数对所述优化后的网络参数进行训练，得到目标全卷积神经网络；
质量增强模块，用于将压缩过的待增强深度图依次通过所述目标全卷积神经网络中的级联式FCN单元进行处理，得到质量增强后的深度图。
进一步地，每个所述FCN单元包括：特征提取子模块、融合子模块、非线性映射子模块和重建子模块；
所述特征提取子模块，用于将压缩过的待增强深度图通过第1个卷积层进行特征提取，得到64个第一特征图；
所述融合子模块，用于将所述64个第一特征图通过第2个卷积层进行特征融合，得到32个第二特征图；
所述非线性映射子模块，用于将所述32个第二特征图通过第3个卷积层进行非线性映射，得到16个第三特征图；
所述重建子模块，用于将所述16个第三特征图通过第4个卷积层进行重建，得到质量增强后的深度图。
进一步地，所述第1个卷积层由64个9×9大小的卷积核组成，所述第2个卷积层由32个7×7大小的卷积核组成，所述第3个卷积层由16个1×1大小的卷积核组成，所述第4个卷积层由1个5×5大小的卷积核组成。
进一步地，所述第一训练模块，具体用于利用大量压缩过的纹理图对预置的全卷积神经网络中的网络参数进行训练，并利用网络重建的纹理图及预置的第一损失函数调整所述全卷积神经网络中的网络参数，直至所述全卷积神经网络达到稳定收敛，得到优化后的网络参数；
所述第二训练模块，具体用于利用少量压缩过的深度图对所述优化后的网络参数进行训练，并利用网络重建的深度图及预置的第二损失函数调整所述全卷积神经网络中的网络参数，直至所述全卷积神经网络达到稳定收敛，得到目标全卷积神经网络。
进一步地，所述第一损失函数为：
其中，Loss1表示重建后的纹理图与压缩之前的纹理图像素点对点之间的欧氏距离，Θ表示全卷积神经网络中的全部参数，F(IT；Θ)表示经过所述全卷积神经网络重建后的质量增强的纹理图，IT表示压缩过的纹理图，表示压缩之前的纹理图；
所述第二损失函数为：
其中，Loss2表示重建后的深度图与压缩之前的深度图像素点对点之间的欧氏距离，Θ表示全卷积神经网络中的全部参数，IM表示从压缩之前的深度图上提取的边缘轮廓图，F(ID；Θ)表示经过所述全卷积神经网络重建后的质量增强的深度图，ID表示压缩过的深度图，表示压缩之前的深度图。
本发明与现有技术相比，有益效果在于：本发明提供了一种基于全卷积神经网络的压缩深度图质量增强方法及装置，其中，方法包括：利用大量压缩过的纹理图及预置的第一损失函数对预置的全卷积神经网络中的网络参数进行训练，得到优化后的网络参数；利用少量压缩过的深度图及预置的第二损失函数对优化后的网络参数进行训练，得到目标全卷积神经网络；将压缩过的待增强深度图依次通过目标全卷积神经网络中的级联式FCN单元进行处理，得到质量增强后的深度图；本发明与现有技术相比，先利用大量压缩过的纹理图和第一损失函数对级联式的全卷积神经网络中的网络参数进行训练，得到优化后的网络参数，再利用少量压缩过的深度图和第二损失函数对优化后的网络参数进行二次训练，使得在只有少量深度图训练样本的情况下能很好地训练网络，使其收敛但不会过饱和，保证了网络的泛化能力；本发明采用级联式网络，相较于同等深度的网络而言，更容易训练；并且采用本发明提供的训练方法训练出的全卷积神经网络对压缩过的待增强深度图进行处理后，质量得到显著提高。
附图说明
图1是本发明实施例提供的一种基于全卷积神经网络的压缩深度图质量增强方法的流程示意图；
图2是本发明实施例提供的全卷积神经网络的结构示意图；
图3是本发明实施例提供的一种基于全卷积神经网络的压缩深度图质量增强装置的模块示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
由于现有技术中存在采用有损压缩模式对深度图进行压缩后，图像质量受损的问题。
为了解决上述技术问题，本发明提出一种基于全卷积神经网络的压缩深度图质量增强方法及装置，其中，方法包括两个过程，训练过程和增强过程；训练过程为：先利用大量压缩过的纹理图对全卷积神经网络进行训练，得到优化后的网络参数，再利用少量压缩过的深度图对优化后的网络参数进行二次训练，得到目标全卷积神经网络；增强过程为：将压缩过的待增强深度图依次通过所述目标全卷积神经网络中的级联式FCN(FullyConvolutional Network，全卷积网络)单元进行处理，从而得到质量增强后的深度图。
如图1所示，为本发明实施例提供的一种基于全卷积神经网络的压缩深度图质量增强方法，其中，所述全卷积神经网络包括若干个级联式全卷积网络FCN单元，每个FCN单元包括4层依次连接的卷积层，具体结构如图2所示，所述方法包括：
步骤S101，利用大量压缩过的纹理图及预置的第一损失函数对预置的全卷积神经网络中的网络参数进行训练，得到优化后的网络参数；
具体地，本发明实施例提供的技术方案包括两个过程：训练过程和增强过程。
关于训练过程，因为在训练此类任务的网络时通常会遇到两个问题，一个是数据不足，这是因为可用于训练的深度图数量非常有限；另一个是网络不收敛。有研究指出，在低级视觉任务中，即使输入足量的训练图，当训练一个超过4层的网络时，依旧容易出现网络不收敛的情况。针对以上问题，本发明实施例在提供的全卷积神经网络的基础上将训练分为两个过程，其中，第一训练过程为：利用大量压缩过的纹理图并结合预置的第一损失函数对预置的全卷积神经网络中的网络参数进行训练，得到优化后的网络参数。
其中，所述第一损失函数为：
其中，Loss1表示重建后的纹理图与压缩之前的纹理图像素点对点之间的欧氏距离，Θ表示全卷积神经网络中的全部参数，F(IT；Θ)表示经过所述全卷积神经网络重建后的质量增强的纹理图，IT表示压缩过的纹理图，表示压缩之前的纹理图。
具体地，在第一训练过程中，输入大量压缩过的纹理图到所述全卷积神经网络中，利用经过所述全卷积神经网络生成的纹理图并结合所述第一损失函数反馈的函数值来不断调整所述全卷积神经网络中的网络参数，直至所述全卷积神经网络收敛后即所述第一损失函数的值已经足够小且不再减小时，第一训练过程结束；那么，此时训练得到的网络参数就作为利用纹理图训练得到的全卷积神经网络的网络参数。
步骤S102，利用少量压缩过的深度图及预置的第二损失函数对所述优化后的网络参数进行训练，得到目标全卷积神经网络；
具体地，第一训练过程结束后，通过迁移学习的方式，来初始化深度图训练的全卷积神经网络中的网络参数，即将第一训练过程得到的网络参数赋值给深度图训练的全卷积神经网络中的网络参数，作为该网络参数的初始值；然后进行第二训练过程：利用为数不多的压缩过的深度图并结合预置的第二损失函数对初始化后的所述全卷积神经网络中的网络参数进行训练，得到目标全卷积神经网络；具体地，是利用少量压缩过的深度图对初始化后的所述全卷积神经网络中的网络参数进行训练，并利用训练输出的深度图及预置的第二损失函数调整所述全卷积神经网络中的网络参数，直至所述全卷积神经网络收敛后，得到目标全卷积神经网络。
其中，所述第二损失函数为：
其中，Loss2表示重建后的深度图与压缩之前的深度图像素点对点之间的欧氏距离，Θ表示全卷积神经网络中的全部参数，IM表示从压缩之前的深度图上提取的边缘轮廓图，F(ID；Θ)表示经过所述全卷积神经网络重建后的质量增强的深度图，ID表示压缩过的深度图，表示压缩之前的深度图。
比如，纹理图训练的全卷积神经网络的网络参数初始值为A0，然后第一训练过程结束后值变为A1；这时，深度图的网络初始值为B0，我们令B0＝A1，就相当于初始化了深度图的全卷积神经网络；最后经过第二训练过程后，深度图的网络参数变为B1，这个B1就是最后用于增强过程的网络参数了。
本发明实施例提供的训练过程，由于受益于全卷积神经网络的级联结构和利用纹理图的迁移学习方式，使得该全卷积神经网络相较于同等深度的网络来说，即使使用数量有限的训练数据，也可以快速收敛；另外，将边缘轮廓图引入到第二损失函数中，可以达到去除待增强的深度图的压缩失真而不会使边缘模糊的目的。
此外，采用小型训练样本块(24×24)代替整幅纹理图或深度图来训练全卷积神经网络，具有至少三个好处：一是可以缩短在全卷积神经网络中的整个卷积过程和反向传播的时间；二是它可以产生更多的训练样本，从而使网络呈现出更好的结果；三是它可以使全卷积神经网络“看到”更多的边界信息，达到消除边界失真的目的。因此，在实际训练时都是把纹理图或者是深度图分割成24x24的小块送进全卷积神经网络进行训练。
步骤S103，将压缩过的待增强深度图依次通过所述目标全卷积神经网络中的级联式FCN单元进行处理，得到质量增强后的深度图。
具体地，每个FCN单元包括4层依次连接的卷积层，在每个FCN单元中的增强过程为：
将压缩过的待增强深度图通过第1个卷积层进行特征提取，得到64个第一特征图；
将所述64个第一特征图通过第2个卷积层进行特征融合，得到32个第二特征图；
将所述32个第二特征图通过第3个卷积层进行非线性映射，得到16个第三特征图；
将所述16个第三特征图通过第4个卷积层进行重建，得到质量增强后的深度图。
其中，所述第1个卷积层由64个9×9大小的卷积核组成，所述第2个卷积层由32个7×7大小的卷积核组成，所述第3个卷积层由16个1×1大小的卷积核组成，所述第4个卷积层由1个5×5大小的卷积核组成。
具体地，将压缩过的待增强深度图依次经过级联式FCN单元后，其质量呈渐进式增强；直至经过最后一个FCN单元处理后，输出最终的质量增强后的深度图。
具体地，本发明实施例提供的每个FCN单元中的前三个卷积层后面各连接一个参数化修正线性单元(PReLU,Parametric Rectified Linear Unit)，即对应图2中所示的激活层，用于在全卷积神经网络中引入非线性，从而增强各卷积层之间的非线性关系。
具体地，本发明实施例提供的全卷积神经网络包括2个FCN单元，即共包括8个卷积层；事实上，我们通过实验发现，该网络连接两个FCN时效果达到最优，若再增加网络深度，恢复图像的质量提高甚微；从计算效率和存储成本的角度考虑，最终选择用2个FCN单元。
本发明实施例提供的一种基于全卷积神经网络的压缩深度图质量增强方法，其中，设计的全卷积神经网络采用级联式FCN单元，每个FCN单元都由4层依次连接的卷积层组成；在利用该全卷积神经网络进行训练和质量增强时，仅以压缩后的深度图作为唯一的输入，不涉及任何预处理或后处理，将所有的计算都封装在这个端到端的网络中，这种级联式网络设计在很大程度上简化了同等深度网络的训练复杂度；在进行训练时，先利用大量纹理图进行初步训练，再利用少量深度图对网络进行二次训练，得到最优的网络参数，使得在只有少量深度图训练样本的情况下能很好地训练网络，使其收敛但不会过饱和，保证了网络的泛化能力；另外，将边缘轮廓图引入到第二损失函数中，这样可以有效减少边界失真，显著提高深度图的质量；在进行质量增强时，采用级联式FCN单元进行深度图的质量增强，客观的可视化结果表明，本发明实施例提供的方法在提高深度图质量方面可以实现超过当前最先进的方法的优越性能。本发明提供的方法未来可应用于3D视频的质量增强方面；未来也可提升深度信息的精度，可用于人机交互、3D重建等领域。
如图3所示，为本发明实施例提供的一种基于全卷积神经网络的压缩深度图质量增强装置，其中，所述全卷积神经网络包括若干个级联式全卷积网络FCN单元，每个FCN单元包括4层依次连接的卷积层，具体结构如图2所示，所述装置包括：
第一训练模块201，用于利用大量压缩过的纹理图及预置的第一损失函数对预置的全卷积神经网络中的网络参数进行训练，得到优化后的网络参数；
具体地，所述第一损失函数为：
其中，Loss1表示重建后的纹理图与压缩之前的纹理图像素点对点之间的欧氏距离，Θ表示全卷积神经网络中的全部参数，F(IT；Θ)表示经过所述全卷积神经网络重建后的质量增强的纹理图，IT表示压缩过的纹理图，表示压缩之前的纹理图。
具体地，在第一训练模块201中，输入大量压缩过的纹理图到所述全卷积神经网络中，利用经过所述全卷积神经网络生成的纹理图并结合所述第一损失函数反馈的函数值来不断调整所述全卷积神经网络中的网络参数，直至所述全卷积神经网络收敛后即所述第一损失函数的值已经足够小且不再减小时，第一训练过程结束；那么，此时训练得到的网络参数就作为利用纹理图训练得到的全卷积神经网络的网络参数。
第二训练模块202，用于利用少量压缩过的深度图及预置的第二损失函数对所述优化后的网络参数进行训练，得到目标全卷积神经网络；
具体地，第一训练过程结束后，通过迁移学习的方式，来初始化深度图训练的全卷积神经网络中的网络参数，即将第一训练过程得到的网络参数赋值给深度图训练的全卷积神经网络中的网络参数，作为该网络参数的初始值；在第二训练模块中，利用为数不多的压缩过的深度图并结合预置的第二损失函数对初始化后的所述全卷积神经网络中的网络参数进行训练，得到目标全卷积神经网络；具体地，是利用少量压缩过的深度图对初始化后的所述全卷积神经网络中的网络参数进行训练，并利用训练输出的深度图及预置的第二损失函数调整所述全卷积神经网络中的网络参数，直至所述全卷积神经网络收敛后，得到目标全卷积神经网络。
其中，所述第二损失函数为：
其中，Loss2表示重建后的深度图与压缩之前的深度图像素点对点之间的欧氏距离，Θ表示全卷积神经网络中的全部参数，IM表示从压缩之前的深度图上提取的边缘轮廓图，F(ID；Θ)表示经过所述全卷积神经网络重建后的质量增强的深度图，ID表示压缩过的深度图，表示压缩之前的深度图。
本发明实施例提供的第一训练模块201和第二训练模块202，由于受益于全卷积神经网络的级联结构和利用纹理图的迁移学习方式，使得该全卷积神经网络相较于同等深度的网络来说，即使使用数量有限的训练数据，也可以快速收敛；另外，将边缘轮廓图引入到第二损失函数中，可以达到去除待增强的深度图的压缩失真而不会使边缘模糊的目的。
此外，采用小型训练样本块(24×24)代替整幅纹理图或深度图来训练全卷积神经网络，具有至少三个好处：一是可以缩短在全卷积神经网络中的整个卷积过程和反向传播的时间；二是它可以产生更多的训练样本，从而使网络呈现出更好的结果；三是它可以使全卷积神经网络“看到”更多的边界信息，达到消除边界失真的目的。因此，在实际训练时都是把纹理图或者是深度图分割成24x24的小块送进全卷积神经网络进行训练。
质量增强模块203，用于将压缩过的待增强深度图依次通过所述目标全卷积神经网络中的级联式FCN单元进行处理，得到质量增强后的深度图。
具体地，每个所述FCN单元包括：特征提取子模块、融合子模块、非线性映射子模块和重建子模块；
其中，所述特征提取子模块，用于将压缩过的待增强深度图通过第1个卷积层进行特征提取，得到64个第一特征图；
所述融合子模块，用于将所述64个第一特征图通过第2个卷积层进行特征融合，得到32个第二特征图；
所述非线性映射子模块，用于将所述32个第二特征图通过第3个卷积层进行非线性映射，得到16个第三特征图；
所述重建子模块，用于将所述16个第三特征图通过第4个卷积层进行重建，得到质量增强后的深度图。
其中，所述第1个卷积层由64个9×9大小的卷积核组成，所述第2个卷积层由32个7×7大小的卷积核组成，所述第3个卷积层由16个1×1大小的卷积核组成，所述第4个卷积层由1个5×5大小的卷积核组成。
具体地，将压缩过的待增强深度图依次经过级联式FCN单元后，其质量呈渐进式增强；直至经过最后一个FCN单元处理后，输出最终的质量增强后的深度图。
具体地，本发明实施例提供的每个FCN单元中的前三个卷积层后面各连接一个参数化修正线性单元(PReLU,Parametric Rectified Linear Unit)，即对应图2中所示的激活层，用于在全卷积神经网络中引入非线性，从而增强各卷积层之间的非线性关系。
具体地，本发明实施例提供的全卷积神经网络包括2个FCN单元，即共包括8个卷积层；事实上，我们通过实验发现，该网络连接两个FCN时效果达到最优，若再增加网络深度，恢复图像的质量提高甚微；从计算效率和存储成本的角度考虑，最终选择用2个FCN单元。
本发明实施例提供的一种基于全卷积神经网络的压缩深度图质量增强装置，其中，设计的全卷积神经网络采用级联式FCN单元，每个FCN单元都由4层依次连接的卷积层组成；在利用该全卷积神经网络进行训练和质量增强时，仅以压缩后的深度图作为唯一的输入，不涉及任何预处理或后处理，将所有的计算都封装在这个端到端的网络中，这种级联式网络设计在很大程度上简化了同等深度网络的训练复杂度；在进行训练时，先利用大量纹理图进行初步训练，再利用少量深度图对网络进行二次训练，得到最优的网络参数，使得在只有少量深度图训练样本的情况下能很好地训练网络，使其收敛但不会过饱和，保证了网络的泛化能力；另外，将边缘轮廓图引入到第二损失函数中，这样可以有效减少边界失真，显著提高深度图的质量；在进行质量增强时，采用级联式FCN单元进行深度图的质量增强，客观的可视化结果表明，本发明实施例提供的装置在提高深度图质量方面可以实现超过当前最先进的方法的优越性能。本发明提供的装置未来可应用于3D视频的质量增强方面；未来也可提升深度信息的精度，可用于人机交互、3D重建等领域。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于全卷积神经网络的压缩深度图质量增强方法，其特征在于，所述全卷积神经网络包括若干个级联式全卷积网络FCN单元，每个所述FCN单元包括4层依次连接的卷积层，所述方法包括：
利用大量压缩过的纹理图及预置的第一损失函数对预置的全卷积神经网络中的网络参数进行训练，得到优化后的网络参数；
利用少量压缩过的深度图及预置的第二损失函数对所述优化后的网络参数进行训练，得到目标全卷积神经网络；
将压缩过的待增强深度图依次通过所述目标全卷积神经网络中的级联式FCN单元进行处理，得到质量增强后的深度图。
2.如权利要求1所述的压缩深度图质量增强方法，其特征在于，所述将压缩过的待增强深度图依次通过所述目标全卷积神经网络中的级联式FCN单元进行处理，包括：
在每个FCN单元中，将压缩过的待增强深度图通过第1个卷积层进行特征提取，得到64个第一特征图；
将所述64个第一特征图通过第2个卷积层进行特征融合，得到32个第二特征图；
将所述32个第二特征图通过第3个卷积层进行非线性映射，得到16个第三特征图；
将所述16个第三特征图通过第4个卷积层进行重建，得到质量增强后的深度图。
3.如权利要求2所述的压缩深度图质量增强方法，其特征在于，所述第1个卷积层由64个9×9大小的卷积核组成，所述第2个卷积层由32个7×7大小的卷积核组成，所述第3个卷积层由16个1×1大小的卷积核组成，所述第4个卷积层由1个5×5大小的卷积核组成。
4.如权利要求1所述的压缩深度图质量增强方法，其特征在于，所述利用大量压缩过的纹理图及预置的第一损失函数对预置的全卷积神经网络中的网络参数进行训练，得到优化后的网络参数，包括：
利用大量压缩过的纹理图对预置的全卷积神经网络中的网络参数进行训练，并利用网络重建的纹理图及预置的第一损失函数调整所述全卷积神经网络中的网络参数，直至所述全卷积神经网络达到稳定收敛，得到优化后的网络参数；
所述利用少量压缩过的深度图及预置的第二损失函数对所述优化后的网络参数进行训练，得到目标全卷积神经网络，包括：
利用少量压缩过的深度图对所述优化后的网络参数进行训练，并利用网络重建的深度图及预置的第二损失函数调整所述全卷积神经网络中的网络参数，直至所述全卷积神经网络达到稳定收敛，得到目标全卷积神经网络。
5.如权利要求4所述的压缩深度图质量增强方法，其特征在于，所述第一损失函数为：
<mrow>
<msub>
<mi>Loss</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>&Theta;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<mi>F</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>T</mi>
</msub>
<mo>;</mo>
<mi>&Theta;</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>G</mi>
<mi>T</mi>
</mrow>
<mi>T</mi>
</msubsup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
其中，Loss1表示重建后的纹理图与压缩之前的纹理图像素点对点之间的欧氏距离，Θ表示全卷积神经网络中的全部参数，F(IT；Θ)表示经过所述全卷积神经网络重建后的质量增强的纹理图，IT表示压缩过的纹理图，表示压缩之前的纹理图；
所述第二损失函数为：
<mrow>
<msub>
<mi>Loss</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>&Theta;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>I</mi>
<mi>M</mi>
</msub>
<mo>&times;</mo>
<mrow>
<mo>(</mo>
<mi>F</mi>
<mo>(</mo>
<mrow>
<msub>
<mi>I</mi>
<mi>D</mi>
</msub>
<mo>;</mo>
<mi>&Theta;</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>G</mi>
<mi>T</mi>
</mrow>
<mi>D</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
1
其中，Loss2表示重建后的深度图与压缩之前的深度图像素点对点之间的欧氏距离，Θ表示全卷积神经网络中的全部参数，IM表示从压缩之前的深度图上提取的边缘轮廓图，F(ID；Θ)表示经过所述全卷积神经网络重建后的质量增强的深度图，ID表示压缩过的深度图，表示压缩之前的深度图。
6.一种基于全卷积神经网络的压缩深度图质量增强装置，其特征在于，所述全卷积神经网络包括若干个级联式全卷积网络FCN单元，每个所述FCN单元包括4层依次连接的卷积层，所述装置包括：
第一训练模块，用于利用大量压缩过的纹理图及预置的第一损失函数对预置的全卷积神经网络中的网络参数进行训练，得到优化后的网络参数；
第二训练模块，用于利用少量压缩过的深度图及预置的第二损失函数对所述优化后的网络参数进行训练，得到目标全卷积神经网络；
质量增强模块，用于将压缩过的待增强深度图依次通过所述目标全卷积神经网络中的级联式FCN单元进行处理，得到质量增强后的深度图。
7.如权利要求6所述的压缩深度图质量增强装置，其特征在于，每个所述FCN单元包括：特征提取子模块、融合子模块、非线性映射子模块和重建子模块；
所述特征提取子模块，用于将压缩过的待增强深度图通过第1个卷积层进行特征提取，得到64个第一特征图；
所述融合子模块，用于将所述64个第一特征图通过第2个卷积层进行特征融合，得到32个第二特征图；
所述非线性映射子模块，用于将所述32个第二特征图通过第3个卷积层进行非线性映射，得到16个第三特征图；
所述重建子模块，用于将所述16个第三特征图通过第4个卷积层进行重建，得到质量增强后的深度图。
8.如权利要求7所述的压缩深度图质量增强装置，其特征在于，所述第1个卷积层由64个9×9大小的卷积核组成，所述第2个卷积层由32个7×7大小的卷积核组成，所述第3个卷积层由16个1×1大小的卷积核组成，所述第4个卷积层由1个5×5大小的卷积核组成。
9.如权利要求6所述的压缩深度图质量增强装置，其特征在于，所述第一训练模块，具体用于利用大量压缩过的纹理图对预置的全卷积神经网络中的网络参数进行训练，并利用网络重建的纹理图及预置的第一损失函数调整所述全卷积神经网络中的网络参数，直至所述全卷积神经网络达到稳定收敛，得到优化后的网络参数；
所述第二训练模块，具体用于利用少量压缩过的深度图对所述优化后的网络参数进行训练，并利用网络重建的深度图及预置的第二损失函数调整所述全卷积神经网络中的网络参数，直至所述全卷积神经网络达到稳定收敛，得到目标全卷积神经网络。
10.如权利要求9所述的压缩深度图质量增强装置，其特征在于，所述第一损失函数为：
<mrow>
<msub>
<mi>Loss</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>&Theta;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<mi>F</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>T</mi>
</msub>
<mo>;</mo>
<mi>&Theta;</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>G</mi>
<mi>T</mi>
</mrow>
<mi>T</mi>
</msubsup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
其中，Loss1表示重建后的纹理图与压缩之前的纹理图像素点对点之间的欧氏距离，Θ表示全卷积神经网络中的全部参数，F(IT；Θ)表示经过所述全卷积神经网络重建后的质量增强的纹理图，IT表示压缩过的纹理图，表示压缩之前的纹理图；
所述第二损失函数为：
<mrow>
<msub>
<mi>Loss</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mi>&Theta;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>I</mi>
<mi>M</mi>
</msub>
<mo>&times;</mo>
<mrow>
<mo>(</mo>
<mi>F</mi>
<mo>(</mo>
<mrow>
<msub>
<mi>I</mi>
<mi>D</mi>
</msub>
<mo>;</mo>
<mi>&Theta;</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>G</mi>
<mi>T</mi>
</mrow>
<mi>D</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
其中，Loss2表示重建后的深度图与压缩之前的深度图像素点对点之间的欧氏距离，Θ表示全卷积神经网络中的全部参数，IM表示从压缩之前的深度图上提取的边缘轮廓图，F(ID；Θ)表示经过所述全卷积神经网络重建后的质量增强的深度图，ID表示压缩过的深度图，表示压缩之前的深度图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710602293.4A CN107403415B (zh) | 2017-07-21 | 2017-07-21 | 基于全卷积神经网络的压缩深度图质量增强方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710602293.4A CN107403415B (zh) | 2017-07-21 | 2017-07-21 | 基于全卷积神经网络的压缩深度图质量增强方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107403415A true CN107403415A (zh) | 2017-11-28 |
| CN107403415B CN107403415B (zh) | 2021-04-09 |
Family
ID=60401268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710602293.4A Active CN107403415B (zh) | 2017-07-21 | 2017-07-21 | 基于全卷积神经网络的压缩深度图质量增强方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107403415B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416748A (zh) * | 2018-02-26 | 2018-08-17 | 阿博茨德（北京）科技有限公司 | Jpeg压缩文档的图像预处理方法及装置 |
| CN108520220A (zh) * | 2018-03-30 | 2018-09-11 | 百度在线网络技术（北京）有限公司 | 模型生成方法和装置 |
| CN109003272A (zh) * | 2018-07-26 | 2018-12-14 | 北京小米移动软件有限公司 | 图像处理方法、装置及*** |
| CN109003239A (zh) * | 2018-07-04 | 2018-12-14 | 华南理工大学 | 一种基于迁移学习神经网络的多光谱图像锐化方法 |
| CN109102468A (zh) * | 2018-06-27 | 2018-12-28 | 广州视源电子科技股份有限公司 | 图像增强方法、装置、终端设备及存储介质 |
| CN109255758A (zh) * | 2018-07-13 | 2019-01-22 | 杭州电子科技大学 | 基于全1*1卷积神经网络的图像增强方法 |
| CN109410289A (zh) * | 2018-11-09 | 2019-03-01 | 中国科学院武汉物理与数学研究所 | 一种深度学习的高欠采样超极化气体肺部mri重建方法 |
| CN109903350A (zh) * | 2017-12-07 | 2019-06-18 | 上海寒武纪信息科技有限公司 | 图像压缩方法及相关装置 |
| CN109903219A (zh) * | 2019-02-28 | 2019-06-18 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
| CN109949224A (zh) * | 2019-02-26 | 2019-06-28 | 北京悦图遥感科技发展有限公司 | 一种基于深度学习的联级超分辨率重建的方法及装置 |
| CN110135582A (zh) * | 2019-05-09 | 2019-08-16 | 北京市商汤科技开发有限公司 | 神经网络训练、图像处理方法及装置、存储介质 |
| CN110399881A (zh) * | 2019-07-11 | 2019-11-01 | 深圳大学 | 一种端到端的基于双目立体图像的质量增强方法及装置 |
| CN110574371A (zh) * | 2017-12-08 | 2019-12-13 | 百度时代网络技术（北京）有限公司 | 使用硬件加速器的立体摄像机深度确定 |
| CN110766152A (zh) * | 2018-07-27 | 2020-02-07 | 富士通株式会社 | 用于训练深度神经网络的方法和装置 |
| CN111382772A (zh) * | 2018-12-29 | 2020-07-07 | Tcl集团股份有限公司 | 一种图像处理方法、装置及终端设备 |
| CN111415311A (zh) * | 2020-03-27 | 2020-07-14 | 北京航空航天大学杭州创新研究院 | 资源节约型图像质量增强模型 |
| CN115278246A (zh) * | 2022-08-01 | 2022-11-01 | 天津大学 | 一种深度图端到端智能压缩编码方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105825484A (zh) * | 2016-03-23 | 2016-08-03 | 华南理工大学 | 一种基于深度学习的深度图像去噪及增强方法 |
| US20170064305A1 (en) * | 2012-08-24 | 2017-03-02 | Microsoft Technology Licensing, Llc | Depth data processing and compression |
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
-
2017
- 2017-07-21 CN CN201710602293.4A patent/CN107403415B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170064305A1 (en) * | 2012-08-24 | 2017-03-02 | Microsoft Technology Licensing, Llc | Depth data processing and compression |
| CN105825484A (zh) * | 2016-03-23 | 2016-08-03 | 华南理工大学 | 一种基于深度学习的深度图像去噪及增强方法 |
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
Non-Patent Citations (3)
| Title |
|---|
| CHAO DONG ET AL: "Compression Artifacts Reduction by a Deep Convolutional Network", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
| XIN ZHANG ET AL: "FAST DEPTH IMAGE DENOISING AND ENHANCEMENT USING A DEEP CONVOLUTIONAL NETWORK", 《ICASSP 2016》 * |
| ZHI JIN ET AL: "Virtual-View-Assisted Video Super-Resolution and Enhancement", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 * |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903350A (zh) * | 2017-12-07 | 2019-06-18 | 上海寒武纪信息科技有限公司 | 图像压缩方法及相关装置 |
| CN110574371A (zh) * | 2017-12-08 | 2019-12-13 | 百度时代网络技术（北京）有限公司 | 使用硬件加速器的立体摄像机深度确定 |
| US11182917B2 (en) | 2017-12-08 | 2021-11-23 | Baidu Usa Llc | Stereo camera depth determination using hardware accelerator |
| CN110574371B (zh) * | 2017-12-08 | 2021-12-21 | 百度时代网络技术（北京）有限公司 | 使用硬件加速器的立体摄像机深度确定 |
| CN108416748A (zh) * | 2018-02-26 | 2018-08-17 | 阿博茨德（北京）科技有限公司 | Jpeg压缩文档的图像预处理方法及装置 |
| CN108520220A (zh) * | 2018-03-30 | 2018-09-11 | 百度在线网络技术（北京）有限公司 | 模型生成方法和装置 |
| CN108520220B (zh) * | 2018-03-30 | 2021-07-09 | 百度在线网络技术（北京）有限公司 | 模型生成方法和装置 |
| CN109102468A (zh) * | 2018-06-27 | 2018-12-28 | 广州视源电子科技股份有限公司 | 图像增强方法、装置、终端设备及存储介质 |
| CN109102468B (zh) * | 2018-06-27 | 2021-06-01 | 广州视源电子科技股份有限公司 | 图像增强方法、装置、终端设备及存储介质 |
| CN109003239B (zh) * | 2018-07-04 | 2022-03-29 | 华南理工大学 | 一种基于迁移学习神经网络的多光谱图像锐化方法 |
| CN109003239A (zh) * | 2018-07-04 | 2018-12-14 | 华南理工大学 | 一种基于迁移学习神经网络的多光谱图像锐化方法 |
| CN109255758A (zh) * | 2018-07-13 | 2019-01-22 | 杭州电子科技大学 | 基于全1*1卷积神经网络的图像增强方法 |
| CN109255758B (zh) * | 2018-07-13 | 2021-09-21 | 杭州电子科技大学 | 基于全1*1卷积神经网络的图像增强方法 |
| CN109003272A (zh) * | 2018-07-26 | 2018-12-14 | 北京小米移动软件有限公司 | 图像处理方法、装置及*** |
| CN109003272B (zh) * | 2018-07-26 | 2021-02-09 | 北京小米移动软件有限公司 | 图像处理方法、装置及*** |
| CN110766152B (zh) * | 2018-07-27 | 2023-08-04 | 富士通株式会社 | 用于训练深度神经网络的方法和装置 |
| CN110766152A (zh) * | 2018-07-27 | 2020-02-07 | 富士通株式会社 | 用于训练深度神经网络的方法和装置 |
| CN109410289B (zh) * | 2018-11-09 | 2021-11-12 | 中国科学院精密测量科学与技术创新研究院 | 一种深度学习的高欠采样超极化气体肺部mri重建方法 |
| CN109410289A (zh) * | 2018-11-09 | 2019-03-01 | 中国科学院武汉物理与数学研究所 | 一种深度学习的高欠采样超极化气体肺部mri重建方法 |
| CN111382772B (zh) * | 2018-12-29 | 2024-01-26 | Tcl科技集团股份有限公司 | 一种图像处理方法、装置及终端设备 |
| CN111382772A (zh) * | 2018-12-29 | 2020-07-07 | Tcl集团股份有限公司 | 一种图像处理方法、装置及终端设备 |
| CN109949224A (zh) * | 2019-02-26 | 2019-06-28 | 北京悦图遥感科技发展有限公司 | 一种基于深度学习的联级超分辨率重建的方法及装置 |
| CN109949224B (zh) * | 2019-02-26 | 2023-06-30 | 北京悦图遥感科技发展有限公司 | 一种基于深度学习的联级超分辨率重建的方法及装置 |
| CN109903219A (zh) * | 2019-02-28 | 2019-06-18 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
| CN110135582A (zh) * | 2019-05-09 | 2019-08-16 | 北京市商汤科技开发有限公司 | 神经网络训练、图像处理方法及装置、存储介质 |
| CN110399881B (zh) * | 2019-07-11 | 2021-06-01 | 深圳大学 | 一种端到端的基于双目立体图像的质量增强方法及装置 |
| CN110399881A (zh) * | 2019-07-11 | 2019-11-01 | 深圳大学 | 一种端到端的基于双目立体图像的质量增强方法及装置 |
| CN111415311B (zh) * | 2020-03-27 | 2023-03-14 | 北京航空航天大学杭州创新研究院 | 资源节约型图像质量增强模型 |
| CN111415311A (zh) * | 2020-03-27 | 2020-07-14 | 北京航空航天大学杭州创新研究院 | 资源节约型图像质量增强模型 |
| CN115278246A (zh) * | 2022-08-01 | 2022-11-01 | 天津大学 | 一种深度图端到端智能压缩编码方法及装置 |
| CN115278246B (zh) * | 2022-08-01 | 2024-04-16 | 天津大学 | 一种深度图端到端智能压缩编码方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107403415B (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107403415A (zh) | 基于全卷积神经网络的压缩深度图质量增强方法及装置 | |
| CN110610526B (zh) | 一种基于wnet对单目人像进行分割和景深渲染的方法 | |
| CN107358576A (zh) | 基于卷积神经网络的深度图超分辨率重建方法 | |
| CN114041161A (zh) | 训练用于增强图像细节的神经网络模型的方法和装置 | |
| CN109118432A (zh) | 一种基于快速循环卷积网络的图像超分辨率重建方法 | |
| CN111861961A (zh) | 单幅图像超分辨率的多尺度残差融合模型及其复原方法 | |
| CN109146788A (zh) | 基于深度学习的超分辨率图像重建方法和装置 | |
| CN105976318A (zh) | 一种图像超分辨率重建方法 | |
| CN104156957B (zh) | 一种稳定高效的高分辨率立体匹配方法 | |
| CN106709879B (zh) | 一种基于简单透镜计算成像的空间变化点扩散函数平滑方法 | |
| CN113033570A (zh) | 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法 | |
| CN107220957B (zh) | 一种利用滚动导向滤波的遥感图像融合方法 | |
| CN110070489A (zh) | 一种基于视差注意力机制的双目图像超分辨方法 | |
| CN113066025B (zh) | 一种基于增量学习与特征、注意力传递的图像去雾方法 | |
| CN106920214A (zh) | 空间目标图像超分辨率重建方法 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN113052755A (zh) | 一种基于深度学习的高分辨率图像智能化抠图方法 | |
| CN114820408A (zh) | 基于自注意力和卷积神经网络的红外可见光图像融合方法 | |
| CN107301662A (zh) | 深度图像的压缩恢复方法、装置、设备及存储介质 | |
| CN111882485B (zh) | 分级特征反馈融合的深度图像超分辨率重建方法 | |
| Sun et al. | Deep maximum a posterior estimator for video denoising | |
| CN113962878B (zh) | 一种低能见度图像去雾模型方法 | |
| CN107729885A (zh) | 一种基于多重残差学习的人脸增强方法 | |
| CN117173025A (zh) | 基于跨层混合注意力Transformer的单帧图像超分辨率方法及*** | |
| CN117456330A (zh) | 一种基于MSFAF-Net的低照度目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |