CN108537746A - 一种基于深度卷积网络的模糊可变图像盲复原方法 - Google Patents
一种基于深度卷积网络的模糊可变图像盲复原方法 Download PDFInfo
- Publication number
- CN108537746A CN108537746A CN201810234360.6A CN201810234360A CN108537746A CN 108537746 A CN108537746 A CN 108537746A CN 201810234360 A CN201810234360 A CN 201810234360A CN 108537746 A CN108537746 A CN 108537746A
- Authority
- CN
- China
- Prior art keywords
- fuzzy
- parameter
- network
- net
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000013528 artificial neural network Methods 0.000 claims abstract description 46
- 238000005457 optimization Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 23
- 230000004913 activation Effects 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 7
- 239000012141 concentrate Substances 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000003475 lamination Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 206010016322 Feeling abnormal Diseases 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 6
- 238000011084 recovery Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度卷积网络的模糊可变图像盲复原方法，包括以下步骤：S1、对模糊图像需要考虑的模糊类型进行建模，确定每种模糊类型的模糊参数范围；S2、根据步骤S1确定的每种模糊类型的模糊参数范围，合成具有可变模糊的训练数据集，其中每组训练数据包括清晰图像、模糊图像和模糊参数；S3、搭建并训练深度卷积网络：将训练数据集输入神经网络，优化神经网络权重，得到训练好的深度卷积网络；S4、将待复原的模糊图像输入训练好的深度卷积网络，输出即为复原的清晰图像。所述方法摆脱了传统去模糊算法的限制，采用全卷积网络来估计多种可变模糊，提高了算法的精度和速度。
Description
技术领域
本发明涉及数字图像处理及机器学习领域，具体涉及一种基于深度卷积网络的模糊可变图像盲复原方法。
背景技术
当使用相机或其他光学成像设备对物体进行拍摄成像时，受许多因素影响，图像很有可能会出现模糊。光照条件不充分以及曝光时间过长将导致相机与被摄物体之间的相对运动被记录在最终成像中，这就是我们常说的运动模糊。在遥感摄影这一领域中，大气湍流会影响最终成像效果，造成模糊。另外一种常见的模糊源自于不准确的拍摄焦距。在大多数情况下，我们不具备重新拍摄清晰图像的条件，因此，对模糊图像进行去模糊操作从而复原清晰图像成为了必要操作。
图像的模糊过程通常被建模为模糊核与清晰图像进行卷积的过程。在实际的生产与生活中，这个模糊核通常是可变的，或者说是不一致的。一个典型的案例就是多个被摄物体以不同的速度和方向进行运动时，成像中的运动模糊在空间上就是不一致的。另一个典型的例子是CCD(Charge Coupled Device，电荷耦合器件)传感器阵列不一致性导致的可变模糊。面对可变模糊，目前有两类解决方法：1)非盲复原，这类方法要求提供模糊图像的模糊核先验和模糊数。2)盲复原，这类方法假设模糊核是未知的。在多数情况下，模糊核的信息是不会被提供的，因此，盲复原的方法应用范围更广。
近年来，DNN(Deep Neural Network,深度神经网络)由于在图像领域优越的表现，而被广泛应用于从低语意级别的图像复原到高语义级别的图像识别等各种图像处理任务。现存一些较好的去模糊方法就利用了DNN相关技术。如Ruomei Yan等人的文章“BlindImage Blur Estimation via Deep Learning”(IEEE Transactions on ImageProcessing,2016,25(4):1910-1921.)中，作者训练DNN对图像的特征图进行分类，并根据分类结果，进一步采用对应GRNN(Generalized Regression Neural Network，广义回归神经网络)进行模糊核参数回归，后续的去模糊操作直接采用了现存的非盲复原方法。在SunJian等人的文章“Learning a convolutional neural network for non-uniform motionblur removal”(Computer Vision and Pattern Recognition.IEEE,2015:769-777.)中，作者训练分类CNN(Convolution Neural Network,深度卷积网络)来预测每个重叠局部块的模糊核在361个候选模糊核(12种长度，30种角度)中的似然度，然后采用加权平均的方式计算每个像素点的模糊核似然度，利用MRF(Markov Random Field，马尔科夫随机场)模型建模求解运动场，最后采用传统方法重建清晰图像，虽然候选分类可以扩充到包括高斯模糊核和失焦模糊核，但挑选怎样的模糊核加入候选又成了一个难题。上述方法虽然引入了DNN作为核参数估计的方法，很好的利用了DNN对大量数据的学习能力，但是仍然存在下列局限：1)没有脱离传统的清晰图像复原方法，运行速度慢；2)对于模糊核的预测，需要针对不同类型设计网络，不具备普适性；3)对于可变模糊核，需进行分块处理和加权融合，分块精度影响复原效果，且消耗额外的运行时间。
发明内容
本发明的目的是针对现有技术的不足，提供了一种基于深度卷积网络的模糊可变图像盲复原方法，能够在一次网络前馈传播中，同时预测多种模糊类别的模糊参数，并给出清晰图像复原结果。
本发明的目的可以通过如下技术方案实现：
一种基于深度卷积网络的模糊可变图像盲复原方法，所述方法包括以下步骤：
S1、对模糊图像需要考虑的模糊类型进行建模，确定每种模糊类型的模糊参数范围；
S2、根据步骤S1确定的每种模糊类型的模糊参数范围，合成具有可变模糊的训练数据集，其中每组训练数据包括清晰图像、模糊图像和模糊参数；
S3、搭建并训练深度卷积网络：将训练数据集输入神经网络，优化神经网络权重，得到训练好的深度卷积网络；
S4、将待复原的模糊图像输入训练好的深度卷积网络，输出即为复原的清晰图像。
进一步地，步骤S1中对模糊图像需要考虑的模糊类型进行建模得到的模糊模型按照下式定义：
Ib,ij＝[q(x|i,j)*Io+ε]<i,j>
其中Ib代表观测到的模糊图像，Io代表潜在的清晰图像，Ib,ij和Io,ij分别表示模糊图像和清晰图像在[i,j](i行j列)位置的取值，·<i,j>表示取[i,j]位置的操作，q(·|i,j)表示可变PSF(point spread function，点扩散函数)，ε是加性噪声，x＝(x1,x2)表示笛卡尔坐标；对于不同模糊类型的可变PSF，q(·|i,j)参数化表示如下：qg(x|σij)代表[i,j]位置的高斯模糊PSF，σij代表高斯模糊参数场σ在[i,j]的取值；qm(x|lij,θij)代表[i,j]位置的运动模糊PSF，lij,θij代表参数场l,θ在[i,j]的取值；qd(x|rij)代表[i,j]位置的失焦模糊PSF，rij代表参数场r在[i,j]的取值；其中4个模糊参数场σ,l,θ,r简化了空间可变模糊的表述形式，每个参数场标记了模糊类型对应PSF参数在每个像素位置的取值。
进一步地，每种模糊类型的模糊参数范围如下：
其中，n代表训练数据集中正方形训练图像的边长。
进一步地，所述高斯模糊用于对大气湍流进行建模：
其中qg(·|σij)代表可变高斯模糊PSF，σij表示高斯模糊参数场σ在[i,j]的取值，R是PSF定义域，被设为区间[-3σij,3σij]，这样就包含99.7％的模糊能量，x＝(x1,x2)表示笛卡尔坐标，对于高斯模糊，需要估计的参数是高斯模糊参数场σ；
所述运动模糊用于对线性运动造成的运动模糊进行建模：
其中，qm(·|lij,θij)表述可变运动模糊PSF，lij,θij代表参数场l,θ在[i,j]的取值，x＝(x1,x2)表示笛卡尔坐标，对于运动模糊，需要估计的参数是运动强度参数场l和角度参数场θ；
所述失焦模糊用圆盘形均值滤波器来建模：
其中qd(·|rij)表示可变失焦模糊PSF，rij表示参数场r在[i,j]的取值，x＝(x1,x2)表示笛卡尔坐标，对于失焦模糊，需要估计的参数是模糊半径参数场r。
进一步地，步骤S2中合成具有可变模糊的训练数据集的具体操作方法如下：
(1)、裁剪训练图片中心固定大小边长为n的正方形训练图像作为清晰图像Io；
(2)、为构造空间可变的模糊，对清晰图像Io进行随机尺度级别的平均分块，并对Io每个不同位置的小块应用S1中模糊类型之一的随机参数，构建参数场σ,l,θ,r；
(3)、根据参数场的参数值对划分好的Io每个不同位置的小块进行模糊，将模糊的小块按原位置拼接，得到模糊图像Ib，Ib对应的像素级别参数归一化后记为Pb；
(4)、对清晰图像Io、模糊图像Ib进行如下标准化处理：
最终得到包括清晰图像、模糊图像和模糊参数的训练数据集。
进一步地，步骤S3中的神经网络由两个子网络组成：用于估计模糊图像的像素级参数的编码子网络P-net(parametric-network)和用于将模糊图像复原为清晰图像的解码子网络G-net(generative-network)。
进一步地，所述编码子网络P-net由10个模块组成：第一个模块Conv1包含1层卷积核大小为7×7的卷积层(Convolution Layer)和1层leaky ReLU激活元；第2～9个模块(ResBlock1～ResBlock8)为8个残差模块(Residual Block)，每个残差模块包含两层3×3的卷积层，2层批归一化(Batch Normalization Layer)层和两层leaky ReLU激活元；最后一个模块Conv2为1层卷积核大小为3×3的卷积层和1层sigmoid激活函数；所述解码子网络G-net呈瓶颈结构，由12个模块组成：第1个模块Conv1包含1层卷积核大小为9×9的卷积层，1层单归一化层；第2个模块Down包括2层卷积核大小为3×3、步长stride＝2的卷积层，这一个模块将输入的长宽缩小至原先的1/4；第3～10个模块(ResBlock1～ResBlock8)为8个残差模块，每个残差模块包含2层3×3的卷积层，2层单归一化层和两层ReLU激活元；第11个模块Up包含2层卷积核大小为3×3、步长stride＝1/2的反卷积层(Transposed ConvolutionLayer)，这一个模块将第2个模块缩小的数据再放大回原先的长和宽；第12个模块Conv2为1层卷积核大小为3×3的卷积层；解码子网络G-net的第2个模块和第11个模块之前采用跳跃连接(Skip Connection)，整体采用全局跳跃连接。
进一步地，步骤S3中神经网络的损失函数如下：
其中是总体损失函数值，是G-net损失函数值，是P-net损失函数值，β＝1是P-net损失函数的比例系数，Pb代表模糊图像的模糊参数，是P-net输出的模糊核参数预测值，Io表示清晰图像，是G-net输出的去模糊图片，也是整个神经网络的输出，下标ij代表图片或参数的[i,j]位置，n代表训练数据集中正方形训练图像的边长。
进一步地，步骤S3中的神经网络是采用小批量梯度下降(Mini-batch gradientdescent)的方式在GPU上训练的，通过迭代求解获得最优神经网络参数：
(1)首先对神经网络的所有参数采用Xavier算法初始化，并设定初始学习率、批量大小和迭代次数；
(2)在每一次迭代中，权重优化过程如下：计算两个子网络P-net和G-net的损失函数值，分别记为和
(3)通过反向传播，求得P-net网络权重Wp,bp关于损失函数值的导数求得G-net网络权重Wg,bg关于损失函数值的导数
(4)通过Adam梯度下降算法优化神经网络权重；
(5)重复步骤(2)-(4)直至神经网络收敛或迭代次数达到最大值。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明采用全卷积深度网络，根据预测的参数作为指导直接去模糊，免去了对传统去模糊方法的依赖，消除了算法断层造成的结果受限，并且极大地提升了运行速度。
2、本发明在参数估计部分将分类和回归的过程合并，直接训练神经网络以输出每种模糊的强度，这样只用一个神经网络就可以同时对多种类型的模糊参数进行预测，简化了神经网络的结构。
3、本发明对模糊更具适应性：对新增的模糊模型或更大的参数范围，制作数据集重新训练整个全卷积神经网络即可，不需要根据不同模糊类型设计候选分类的划分方法，更具备普适性。
4、本发明一方面能将块级别可变模糊参数估计升级为像素级别的参数估计，提升了估计精度，另一方面采用全卷积的形式省去另外设计加权融合/插值算法的必要，节省了计算开销；此外，将整张图像输入神经网络进行计算比分成一个个图像块分别输入神经网络进行计算效率要高，神经网络的前向传播和反向传播都更快，提升了计算的效率，能够满足实际应用需要。
附图说明
图1为本发明实施例所搭建的深度卷积网络框架图。
图2为本发明实施例所搭建的深度卷积网络子网络P-net的网络结构图。
图3为本发明实施例所搭建的深度卷积网络子网络G-net的网络结构图。
图4为本发明实施例一种基于深度卷积网络的模糊可变图像盲复原方法的流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例：
本实施例提供了一种基于深度卷积网络的模糊可变图像盲复原方法，所述方法的流程图如图4所示，包括以下步骤：
S1、对模糊图像需要考虑的模糊类型进行建模，确定每种模糊类型的模糊参数范围；其中，对模糊图像需要考虑的模糊类型进行建模得到的模糊模型按照下式定义：
Ib,ij＝[q(x|i,j)*Io+ε]<i,j>
式中Ib代表观测到的模糊图像，Io代表潜在的清晰图像，Ib,ij和Io,ij分别表示模糊图像和清晰图像在[i,j](i行j列)位置的取值，·<i,j>表示取[i,j]位置的操作，q(·|i,j)表示可变PSF(point spread function，点扩散函数)，ε是加性噪声，x＝(x1,x2)表示笛卡尔坐标；对于不同模糊类型的可变PSF，q(·|i,j)参数化表示如下：qg(x|σij)代表[i,j]位置的高斯模糊PSF，σij代表高斯模糊参数场σ在[i,j]的取值；qm(x|lij,θij)代表[i,j]位置的运动模糊PSF，lij,θij代表参数场l,θ在[i,j]的取值；qd(x|rij)代表[i,j]位置的失焦模糊PSF，rij代表参数场r在[i,j]的取值；其中4个模糊参数场σ,l,θ,r简化了空间可变模糊的表述形式，每个参数场标记了模糊类型对应PSF参数在每个像素位置的取值。
所述高斯模糊用于对大气湍流进行建模：
其中qg(·|σij)代表可变高斯模糊PSF，σij表示高斯模糊参数场σ在[i,j]的取值，R是PSF定义域，被设为区间[-3σij,3σij]，这样就包含99.7％的模糊能量，x＝(x1,x2)表示笛卡尔坐标，对于高斯模糊，需要估计的参数是高斯模糊参数场σ；
所述运动模糊用于对线性运动造成的运动模糊进行建模：
其中，qm(·|lij,θij)表述可变运动模糊PSF，lij,θij代表参数场l,θ在[i,j]的取值，x＝(x1,x2)表示笛卡尔坐标，对于运动模糊，需要估计的参数是运动强度参数场l和角度参数场θ；
所述失焦模糊用圆盘形均值滤波器来建模：
其中qd(·|rij)表示可变失焦模糊PSF，rij表示参数场r在[i,j]的取值，x＝(x1,x2)表示笛卡尔坐标，对于失焦模糊，需要估计的参数是模糊半径参数场r。
确定了参数估计的任务是对上述3种模糊类型的4个像素级别参数或者说是4个参数场进行估计后，需要定义去模糊任务可以处理的最大模糊强度，也就是4个参数场中每个参数值的取值范围，其中每种模糊类型的模糊参数范围如下：
式中，σmax＝3,lmax＝10,θmax＝180,rmax＝5分别表示了4个参数场的元素最大取值，下标ij表示参数场[i,j]处参数值，n代表训练数据集中正方形训练图像的边长，本实施例中取n＝128，c为输入图像的通道数，对彩色rgb图像，c＝3；对灰度图像，c＝1；本实施例中，取c＝3。
S2、根据步骤S1确定的每种模糊类型的模糊参数范围，合成具有可变模糊的训练数据集，其中每组训练数据包括清晰图像、模糊图像和模糊参数；
本实施例采用MS-COCO数据集(2014版本)通过合成加工得到的数据集作为训练数据集，随机采样其中2000张图像用于合成验证集，其余图像用于合成训练集。为了构造三种类型下可变模糊图像对，按如下步骤对每张图片进行合成处理：
(1)、以图片中心为原点，裁剪训练图片中心固定大小边长为n＝128的正方形训练图像作为清晰图像Io；
(2)、为构造空间可变的模糊，对清晰图像Io进行随机尺度级别的平均分块，随机取分块尺度k∈{0,1,2}，平均分为22k块，每个块大小为(n/2^k)×(n/2^k)(在训练中，取n＝128，神经网络训练完后，神经网络输入可以为任意长宽的矩形图像)；对Io每个不同位置的小块应用S1中模糊类型之一的随机参数，构建参数场σ,l,θ,r，若图片中某点处不存在某种模糊，则该类型参数场在该点处取值为0；
(3)、根据参数场的参数值对划分好的Io每个不同位置的小块进行模糊，将模糊的小块按原位置拼接，得到合成的模糊图像Ib；
(4)、对步骤(2)得到的参数场σ,l,θ,r进行归一化后按照顺序在第三个维度拼接在一起成为一个3维矩阵Pb，称为一组训练数据中的模糊参数，即：
其中，Pb,ij是模糊参数在[i,j]位置的值，是一个由拼接而成的4元向量。分别是4个参数场在[i,j]位置归一化后的值，σmax,lmax,θmax,rmax是4个参数场σ,l,θ,r的参数最大取值。
(4)、对清晰图像Io、模糊图像Ib进行如下标准化处理：
最终得到包括清晰图像、模糊图像和模糊参数的训练数据集。
完成以上步骤，得到一组训练数据：模糊图像Ib，清晰图像Io，模糊参数Pb，其中，清晰图像和模糊参数在训练中将作为标签值。
S3、搭建并训练深度卷积网络：将训练数据集输入神经网络，优化神经网络权重，得到训练好的深度卷积网络；
本实施例的神经网络由两个子网络组成：用于估计模糊图像的像素级参数的编码子网络P-net(parametric-network)和用于将模糊图像复原为清晰图像的解码子网络G-net(generative-network)。为了详细阐述神经网络结构，定义以下符号：F(·|Wf,bf)表示整个神经网络，p(·|Wp,bp)表示P-net，g(·|Wg,bg)表示G-net；W和b分别代表神经网络对应的参数(weight)和偏置(bias)，Ib和Io分别表示模糊图像和清晰图像，Pb代表模糊图像Ib的像素级模糊参数；在训练中，Io和Pb作为标签值，是已知的；在实际应用中，Io与Pb是未知的，符合图像盲复原任务的定义，是P-net输出的模糊核参数预测值，是G-net输出的去模糊图片，也是整个网络的输出，下标ij代表图片或参数[i,j]位置。如图1所示，给定神经网络的输入数据Ib，先将输入数据输入至P-net，由P-net估计其像素级参数像素级参数与输入数据Ib拼接后一同输入G-net，输出即为复原的清晰图像即：
从神经网络整体来看，是神经网络训练的目的是使P-net输出逼近Pb，使G-net输出逼近Io，因此，神经网络的损失函数定义如下：
其中是总体损失函数值，是G-net损失函数值，是P-net损失函数值，β＝1是P-net损失函数的比例系数，Pb代表模糊图像的模糊参数，是P-net输出的模糊核参数预测值，Io表示清晰图像，是G-net输出的去模糊图片，也是整个神经网络的输出，下标ij代表图片或参数的[i,j]位置，n代表训练数据集中正方形训练图像的边长。
所述编码子网络P-net的网络结构如图2所示，由10个模块组成：第一个模块Conv1包含1层卷积核大小为7×7的卷积层(Convolution Layer)和1层leaky ReLU激活元；第2～9个模块(ResBlock1～ResBlock8)为8个残差模块(Residual Block)，每个残差模块包含两层3×3的卷积层，2层批归一化(Batch Normalization Layer)层和两层leaky ReLU激活元；最后一个模块Conv2为1层卷积核大小为3×3的卷积层和1层sigmoid激活函数。为了扩大感受野，残差模块中每一层卷积层都采用空洞卷积(Dilated Convolution)的方式，取膨胀率dilation rate＝2，用空洞卷积而不是朴素的带步长的卷积(Stride Convolution)，是为了保证网络获得足够大的感受野的同时，不会在卷积过程中忽略特征层信息。
所述解码子网络G-net的网络结构如图3所示，呈瓶颈结构，由12个模块组成：第1个模块Conv1包含1层卷积核大小为9×9的卷积层，1层单归一化层；第2个模块Down包括2层卷积核大小为3×3、步长stride＝2的卷积层，这一个模块将输入的长宽缩小至原先的1/4；第3～10个模块(ResBlock1～ResBlock8)为8个残差模块，每个残差模块包含2层3×3的卷积层，2层单归一化层和两层ReLU激活元；第11个模块Up包含2层卷积核大小为3×3、步长stride＝1/2的反卷积层(Transposed Convolution Layer)，这一个模块将第2个模块缩小的数据再放大回原先的长和宽；第12个模块Conv2为1层卷积核大小为3×3的卷积层；解码子网络G-net的第2个模块和第11个模块之前采用跳跃连接(Skip Connection)，整体采用全局跳跃连接。瓶颈结构能加快网络速度，G-net采用global skip connection，即G-net网络学习的是Io-Ib，这一策略可以使训练更稳定，收敛的更快。
P-net和G-net的详细结构(包括每层网络具体参数)如表1所示：
表1
其中Conv()代表卷积层，6个参数分别是：输入通道数、输出通道数、卷积核大小、步长、膨胀率、边界填充长度。LeakyReLU()代表LeakyReLU激活元，参数为斜率。Sigmoid代表Sigmoid激活元。ReLU代表ReLU激活元。BatchNorm()代表批归一化层，参数为输入通道数。InstanceNorm()代表单归一化层，参数为输入通道数。TransposedConv()代表反卷积层，6个参数分别是：输入通道数、输出通道数、卷积核大小、步长、膨胀率、边界填充长度。
所述神经网络是采用小批量梯度下降(Mini-batch gradient descent)的方式在GPU上训练的，通过迭代求解获得最优神经网络参数：
(1)首先对神经网络的所有参数采用Xavier算法初始化，并设定初始学习率lr＝0.001、批量大小为8(即一次迭代输入8组训练数据)和迭代次数为15；
(2)在每一次迭代中，权重优化过程如下：计算两个子网络P-net和G-net的损失函数值，分别记为和
(3)通过反向传播，求得P-net网络权重Wp,bp关于损失函数值的导数求得G-net网络权重Wg,bg关于损失函数值的导数
(4)通过Adam梯度下降算法优化神经网络权重；
(5)重复步骤(2)-(4)直至神经网络收敛或迭代次数达到最大值。
神经网络训练完成后保存权重文件。
S4、将待复原的模糊图像输入训练好的深度卷积网络，输出即为复原的清晰图像。具体地，首先加载步骤S3保存的网络权重，然后对待测模糊图像进行标准化处理，输入深度卷积网络，得到输出对输出进行如下去标准化操作后即为去模糊结果：
其中代表复原的清晰图像。
本发明首先产生大量空间不一致的模糊图像训练样本，然后采用深度学习框架pytorch进行网络搭建和训练，由于使用全卷积网络结构，网络可以处理任意大小的输入图像，网络中的编码子网络所预测的像素级模糊参数对解码子网络的去模糊任务起到了指导作用，利用训练好的神经网络模型即可快速、高效的完成3种类型可变模糊的盲复原任务。只要一幅输入模糊图像，即可获取较好的复原效果，可应用于遥感成像、普通相机成像等，以后处理的方式实现图像的去模糊清晰化。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。
Claims (9)
1.一种基于深度卷积网络的模糊可变图像盲复原方法，其特征在于，所述方法包括以下步骤：
S1、对模糊图像需要考虑的模糊类型进行建模，确定每种模糊类型的模糊参数范围；
S2、根据步骤S1确定的每种模糊类型的模糊参数范围，合成具有可变模糊的训练数据集，其中每组训练数据包括清晰图像、模糊图像和模糊参数；
S3、搭建并训练深度卷积网络：将训练数据集输入神经网络，优化神经网络权重，得到训练好的深度卷积网络；
S4、将待复原的模糊图像输入训练好的深度卷积网络，输出即为复原的清晰图像。
2.根据权利要求1所述的一种基于深度卷积网络的模糊可变图像盲复原方法，其特征在于，步骤S1中对模糊图像需要考虑的模糊类型进行建模得到的模糊模型按照下式定义：
Ib,ij＝[q(x|i,j)*Io+ε]<i,j>
其中Ib代表观测到的模糊图像，Io代表潜在的清晰图像，Ib,ij和Io,ij分别表示模糊图像和清晰图像在[i,j]位置的取值，·<i,j>表示取[i,j]位置的操作，q(·|i,j)表示可变PSF，ε是加性噪声，x＝(x1,x2)表示笛卡尔坐标；对于不同模糊类型的可变PSF，q(·|i,j)参数化表示如下：qg(x|σij)代表[i,j]位置的高斯模糊PSF，σij代表高斯模糊参数场σ在[i,j]的取值；qm(x|lij,θij)代表[i,j]位置的运动模糊PSF，lij,θij代表参数场l,θ在[i,j]的取值；qd(x|rij)代表[i,j]位置的失焦模糊PSF，rij代表参数场r在[i,j]的取值；其中4个模糊参数场σ,l,θ,r简化了空间可变模糊的表述形式，每个参数场标记了模糊类型对应PSF参数在每个像素位置的取值。
3.根据权利要求2所述的一种基于深度卷积网络的模糊可变图像盲复原方法，其特征在于，每种模糊类型的模糊参数范围如下：
其中，n代表训练数据集中正方形训练图像的边长。
4.根据权利要求2所述的一种基于深度卷积网络的模糊可变图像盲复原方法，其特征在于，所述高斯模糊用于对大气湍流进行建模：
其中qg(·|σij)代表可变高斯模糊PSF，σij表示高斯模糊参数场σ在[i,j]的取值，R是PSF定义域，被设为区间[-3σij,3σij]，这样就包含99.7％的模糊能量，x＝(x1,x2)表示笛卡尔坐标，对于高斯模糊，需要估计的参数是高斯模糊参数场σ；
所述运动模糊用于对线性运动造成的运动模糊进行建模：
其中，qm(·|lij,θij)表述可变运动模糊PSF，lij,θij代表参数场l,θ在[i,j]的取值，x＝(x1,x2)表示笛卡尔坐标，对于运动模糊，需要估计的参数是运动强度参数场l和角度参数场θ；
所述失焦模糊用圆盘形均值滤波器来建模：
其中qd(·|rij)表示可变失焦模糊PSF，rij表示参数场r在[i,j]的取值，x＝(x1,x2)表示笛卡尔坐标，对于失焦模糊，需要估计的参数是模糊半径参数场r。
5.根据权利要求1所述的一种基于深度卷积网络的模糊可变图像盲复原方法，其特征在于，步骤S2中合成具有可变模糊的训练数据集的具体操作方法如下：
(1)、裁剪训练图片中心固定大小边长为n的正方形训练图像作为清晰图像Io；
(2)、为构造空间可变的模糊，对清晰图像Io进行随机尺度级别的平均分块，并对Io每个不同位置的小块应用S1中模糊类型之一的随机参数，构建参数场σ,l,θ,r；
(3)、根据参数场的参数值对划分好的Io每个不同位置的小块进行模糊，将模糊的小块按原位置拼接，得到模糊图像Ib，Ib对应的像素级别参数归一化后记为Pb；
(4)、对清晰图像Io、模糊图像Ib进行如下标准化处理：
最终得到包括清晰图像、模糊图像和模糊参数的训练数据集。
6.根据权利要求1所述的一种基于深度卷积网络的模糊可变图像盲复原方法，其特征在于，步骤S3中的神经网络由两个子网络组成：用于估计模糊图像的像素级参数的编码子网络P-net和用于将模糊图像复原为清晰图像的解码子网络G-net。
7.根据权利要求6所述的一种基于深度卷积网络的模糊可变图像盲复原方法，其特征在于，所述编码子网络P-net由10个模块组成：第一个模块Conv1包含1层卷积核大小为7×7的卷积层和1层leaky ReLU激活元；第2～9个模块为8个残差模块，每个残差模块包含两层3×3的卷积层，2层批归一化层和两层leaky ReLU激活元；最后一个模块Conv2为1层卷积核大小为3×3的卷积层和1层sigmoid激活函数；所述解码子网络G-net呈瓶颈结构，由12个模块组成：第1个模块Conv1包含1层卷积核大小为9×9的卷积层，1层单归一化层；第2个模块Down包括2层卷积核大小为3×3、步长stride＝2的卷积层，这一个模块将输入的长宽缩小至原先的1/4；第3～10个模块为8个残差模块，每个残差模块包含2层3×3的卷积层，2层单归一化层和两层ReLU激活元；第11个模块Up包含2层卷积核大小为3×3、步长stride＝1/2的反卷积层，这一个模块将第2个模块缩小的数据再放大回原先的长和宽；第12个模块Conv2为1层卷积核大小为3×3的卷积层；解码子网络G-net的第2个模块和第11个模块之前采用跳跃连接，整体采用全局跳跃连接。
8.根据权利要求6所述的一种基于深度卷积网络的模糊可变图像盲复原方法，其特征在于，步骤S3中神经网络的损失函数如下：
其中是总体损失函数值，是G-net损失函数值，是P-net损失函数值，β＝1是P-net损失函数的比例系数，Pb代表模糊图像的模糊参数，是P-net输出的模糊核参数预测值，Io表示清晰图像，是G-net输出的去模糊图片，也是整个神经网络的输出，下标ij代表图片或参数的[i,j]位置，n代表训练数据集中正方形训练图像的边长。
9.根据权利要求6所述的一种基于深度卷积网络的模糊可变图像盲复原方法，其特征在于，步骤S3中的神经网络是采用小批量梯度下降的方式在GPU上训练的，通过迭代求解获得最优神经网络参数：
(1)首先对神经网络的所有参数采用Xavier算法初始化，并设定初始学习率、批量大小和迭代次数；
(2)在每一次迭代中，权重优化过程如下：计算两个子网络P-net和G-net的损失函数值，分别记为和
(3)通过反向传播，求得P-net网络权重Wp,bp关于损失函数值的导数求得G-net网络权重Wg,bg关于损失函数值的导数
(4)通过Adam梯度下降算法优化神经网络权重；
(5)重复步骤(2)-(4)直至神经网络收敛或迭代次数达到最大值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810234360.6A CN108537746B (zh) | 2018-03-21 | 2018-03-21 | 一种基于深度卷积网络的模糊可变图像盲复原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810234360.6A CN108537746B (zh) | 2018-03-21 | 2018-03-21 | 一种基于深度卷积网络的模糊可变图像盲复原方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108537746A true CN108537746A (zh) | 2018-09-14 |
| CN108537746B CN108537746B (zh) | 2021-09-21 |
Family
ID=63484995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810234360.6A Expired - Fee Related CN108537746B (zh) | 2018-03-21 | 2018-03-21 | 一种基于深度卷积网络的模糊可变图像盲复原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108537746B (zh) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109509159A (zh) * | 2018-11-20 | 2019-03-22 | 湖南湖工电气有限公司 | 一种基于深度学习的无人机模糊图像端到端复原方法 |
| CN109523482A (zh) * | 2018-11-14 | 2019-03-26 | 太原理工大学 | 一种基于深度神经网络的对含纹理退化图像的复原方法 |
| CN109544492A (zh) * | 2018-10-25 | 2019-03-29 | 东南大学 | 一种基于卷积神经网络的多聚焦图像融合数据集制作方法 |
| CN109559290A (zh) * | 2018-12-14 | 2019-04-02 | 中国石油大学(华东) | 一种深度非对称跳跃连接的图像降噪方法 |
| CN109583344A (zh) * | 2018-11-21 | 2019-04-05 | 红相股份有限公司 | 一种基于深度学习的电力设备红外图像处理方法 |
| CN109785263A (zh) * | 2019-01-14 | 2019-05-21 | 北京大学深圳研究生院 | 一种基于Retinex的逆色调映射图像转换方法 |
| CN110047044A (zh) * | 2019-03-21 | 2019-07-23 | 深圳先进技术研究院 | 一种图像处理模型的构建方法、装置及终端设备 |
| CN110147733A (zh) * | 2019-04-16 | 2019-08-20 | 北京航空航天大学 | 一种跨域的大范围场景生成方法 |
| CN110223259A (zh) * | 2019-06-14 | 2019-09-10 | 华北电力大学（保定） | 一种基于生成式对抗网络的道路交通模糊图像增强方法 |
| CN110223242A (zh) * | 2019-05-07 | 2019-09-10 | 北京航空航天大学 | 一种基于时空域残差生成对抗网络的视频湍流移除方法 |
| CN110363716A (zh) * | 2019-06-25 | 2019-10-22 | 北京工业大学 | 一种基于条件生成对抗网络复合降质图像高质量重建方法 |
| CN110378167A (zh) * | 2019-07-09 | 2019-10-25 | 江苏安方电力科技有限公司 | 一种基于深度学习的条码图像补正算法 |
| CN110533607A (zh) * | 2019-07-30 | 2019-12-03 | 北京威睛光学技术有限公司 | 一种基于深度学习的图像处理方法、装置及电子设备 |
| CN110599416A (zh) * | 2019-09-02 | 2019-12-20 | 太原理工大学 | 一种基于空间目标图像数据库的非合作目标图像盲复原方法 |
| CN110852963A (zh) * | 2019-10-29 | 2020-02-28 | 天津大学 | 一种基于相关最大性的湍流退化图像复原方法 |
| CN110996082A (zh) * | 2019-12-17 | 2020-04-10 | 成都极米科技股份有限公司 | 投影调节方法、装置、投影仪及可读存储介质 |
| CN111091503A (zh) * | 2019-11-09 | 2020-05-01 | 复旦大学 | 基于深度学习的图像去失焦模糊方法 |
| CN111369451A (zh) * | 2020-02-24 | 2020-07-03 | 西华大学 | 一种基于复杂任务分解正则化的图像复原模型、方法及设备 |
| CN111462019A (zh) * | 2020-04-20 | 2020-07-28 | 武汉大学 | 基于深度神经网络参数估计的图像去模糊方法及*** |
| CN112085674A (zh) * | 2020-08-27 | 2020-12-15 | 河海大学 | 基于神经网络的航拍图像去模糊算法 |
| CN112330549A (zh) * | 2020-10-16 | 2021-02-05 | 西安工业大学 | 一种基于盲解卷积网络的模糊图像盲复原方法及*** |
| CN112396560A (zh) * | 2019-08-16 | 2021-02-23 | 通用电气精准医疗有限责任公司 | 用于使用深度神经网络对医疗图像进行去模糊的***和方法 |
| CN112419201A (zh) * | 2020-12-04 | 2021-02-26 | 珠海亿智电子科技有限公司 | 一种基于残差网络的图像去模糊方法 |
| CN113284068A (zh) * | 2021-06-04 | 2021-08-20 | 中国科学院光电技术研究所 | 一种基于通道共享时空网络的自适应光学图像盲复原方法 |
| CN113353102A (zh) * | 2021-07-08 | 2021-09-07 | 重庆大学 | 一种基于深度强化学习的无保护左转弯驾驶控制方法 |
| CN113724159A (zh) * | 2021-08-18 | 2021-11-30 | 北京工业大学 | 基于模糊等级的花粉图像去模糊方法、装置、设备及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0466252A2 (en) * | 1990-07-03 | 1992-01-15 | The Research Foundation Of State University Of New York | A method and apparatus for restoring convolution degraded images and signals |
| CN101968881A (zh) * | 2010-10-27 | 2011-02-09 | 东南大学 | 一种运动模糊和散焦复合模糊的图像复原方法 |
| US20110193997A1 (en) * | 2008-09-30 | 2011-08-11 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, and image pickup apparatus |
| CN104331871A (zh) * | 2014-12-02 | 2015-02-04 | 苏州大学 | 一种图像去模糊方法及装置 |
| CN105139348A (zh) * | 2015-07-27 | 2015-12-09 | 中国科学院光电技术研究所 | 一种运动模糊图像的双迭代混合盲复原方法 |
| CN106530251A (zh) * | 2016-11-03 | 2017-03-22 | 北京航星机器制造有限公司 | 一种盲卷积运动模糊图像复原方法 |
| CN107274378A (zh) * | 2017-07-25 | 2017-10-20 | 江西理工大学 | 一种融合记忆cnn的图像模糊类型识别及参数整定方法 |
-
2018
- 2018-03-21 CN CN201810234360.6A patent/CN108537746B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0466252A2 (en) * | 1990-07-03 | 1992-01-15 | The Research Foundation Of State University Of New York | A method and apparatus for restoring convolution degraded images and signals |
| US20110193997A1 (en) * | 2008-09-30 | 2011-08-11 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, and image pickup apparatus |
| CN101968881A (zh) * | 2010-10-27 | 2011-02-09 | 东南大学 | 一种运动模糊和散焦复合模糊的图像复原方法 |
| CN104331871A (zh) * | 2014-12-02 | 2015-02-04 | 苏州大学 | 一种图像去模糊方法及装置 |
| CN105139348A (zh) * | 2015-07-27 | 2015-12-09 | 中国科学院光电技术研究所 | 一种运动模糊图像的双迭代混合盲复原方法 |
| CN106530251A (zh) * | 2016-11-03 | 2017-03-22 | 北京航星机器制造有限公司 | 一种盲卷积运动模糊图像复原方法 |
| CN107274378A (zh) * | 2017-07-25 | 2017-10-20 | 江西理工大学 | 一种融合记忆cnn的图像模糊类型识别及参数整定方法 |
Non-Patent Citations (2)
| Title |
|---|
| 任静静: "基于卷积神经网络的图像模糊去除", 《中国优秀硕士学位论文全文数据库》 * |
| 肖宿等: "基于稀疏正则优化的图像复原算法", 《计算机应用》 * |
Cited By (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544492A (zh) * | 2018-10-25 | 2019-03-29 | 东南大学 | 一种基于卷积神经网络的多聚焦图像融合数据集制作方法 |
| CN109523482A (zh) * | 2018-11-14 | 2019-03-26 | 太原理工大学 | 一种基于深度神经网络的对含纹理退化图像的复原方法 |
| CN109523482B (zh) * | 2018-11-14 | 2021-04-30 | 太原理工大学 | 一种基于深度神经网络的对含纹理退化图像的复原方法 |
| CN109509159A (zh) * | 2018-11-20 | 2019-03-22 | 湖南湖工电气有限公司 | 一种基于深度学习的无人机模糊图像端到端复原方法 |
| CN109583344A (zh) * | 2018-11-21 | 2019-04-05 | 红相股份有限公司 | 一种基于深度学习的电力设备红外图像处理方法 |
| CN109583344B (zh) * | 2018-11-21 | 2019-11-19 | 红相股份有限公司 | 一种基于深度学习的电力设备红外图像处理方法 |
| CN109559290A (zh) * | 2018-12-14 | 2019-04-02 | 中国石油大学(华东) | 一种深度非对称跳跃连接的图像降噪方法 |
| CN109785263B (zh) * | 2019-01-14 | 2022-09-16 | 北京大学深圳研究生院 | 一种基于Retinex的逆色调映射图像转换方法 |
| CN109785263A (zh) * | 2019-01-14 | 2019-05-21 | 北京大学深圳研究生院 | 一种基于Retinex的逆色调映射图像转换方法 |
| CN110047044A (zh) * | 2019-03-21 | 2019-07-23 | 深圳先进技术研究院 | 一种图像处理模型的构建方法、装置及终端设备 |
| CN110047044B (zh) * | 2019-03-21 | 2021-01-29 | 深圳先进技术研究院 | 一种图像处理模型的构建方法、装置及终端设备 |
| CN110147733A (zh) * | 2019-04-16 | 2019-08-20 | 北京航空航天大学 | 一种跨域的大范围场景生成方法 |
| CN110223242A (zh) * | 2019-05-07 | 2019-09-10 | 北京航空航天大学 | 一种基于时空域残差生成对抗网络的视频湍流移除方法 |
| CN110223242B (zh) * | 2019-05-07 | 2021-08-10 | 北京航空航天大学 | 一种基于时空域残差生成对抗网络的视频湍流移除方法 |
| CN110223259A (zh) * | 2019-06-14 | 2019-09-10 | 华北电力大学（保定） | 一种基于生成式对抗网络的道路交通模糊图像增强方法 |
| CN110363716B (zh) * | 2019-06-25 | 2021-11-19 | 北京工业大学 | 一种基于条件生成对抗网络复合降质图像高质量重建方法 |
| CN110363716A (zh) * | 2019-06-25 | 2019-10-22 | 北京工业大学 | 一种基于条件生成对抗网络复合降质图像高质量重建方法 |
| CN110378167A (zh) * | 2019-07-09 | 2019-10-25 | 江苏安方电力科技有限公司 | 一种基于深度学习的条码图像补正算法 |
| CN110378167B (zh) * | 2019-07-09 | 2022-09-16 | 江苏安方电力科技有限公司 | 一种基于深度学习的条码图像补正方法 |
| CN110533607B (zh) * | 2019-07-30 | 2022-04-26 | 北京威睛光学技术有限公司 | 一种基于深度学习的图像处理方法、装置及电子设备 |
| CN110533607A (zh) * | 2019-07-30 | 2019-12-03 | 北京威睛光学技术有限公司 | 一种基于深度学习的图像处理方法、装置及电子设备 |
| CN112396560A (zh) * | 2019-08-16 | 2021-02-23 | 通用电气精准医疗有限责任公司 | 用于使用深度神经网络对医疗图像进行去模糊的***和方法 |
| CN110599416A (zh) * | 2019-09-02 | 2019-12-20 | 太原理工大学 | 一种基于空间目标图像数据库的非合作目标图像盲复原方法 |
| CN110599416B (zh) * | 2019-09-02 | 2022-10-11 | 太原理工大学 | 一种基于空间目标图像数据库的非合作目标图像盲复原方法 |
| CN110852963A (zh) * | 2019-10-29 | 2020-02-28 | 天津大学 | 一种基于相关最大性的湍流退化图像复原方法 |
| CN111091503B (zh) * | 2019-11-09 | 2023-05-02 | 复旦大学 | 基于深度学习的图像去失焦模糊方法 |
| CN111091503A (zh) * | 2019-11-09 | 2020-05-01 | 复旦大学 | 基于深度学习的图像去失焦模糊方法 |
| CN110996082A (zh) * | 2019-12-17 | 2020-04-10 | 成都极米科技股份有限公司 | 投影调节方法、装置、投影仪及可读存储介质 |
| CN110996082B (zh) * | 2019-12-17 | 2021-11-09 | 成都极米科技股份有限公司 | 投影调节方法、装置、投影仪及可读存储介质 |
| CN111369451A (zh) * | 2020-02-24 | 2020-07-03 | 西华大学 | 一种基于复杂任务分解正则化的图像复原模型、方法及设备 |
| CN111462019A (zh) * | 2020-04-20 | 2020-07-28 | 武汉大学 | 基于深度神经网络参数估计的图像去模糊方法及*** |
| CN112085674B (zh) * | 2020-08-27 | 2022-08-26 | 河海大学 | 基于神经网络的航拍图像去模糊算法 |
| CN112085674A (zh) * | 2020-08-27 | 2020-12-15 | 河海大学 | 基于神经网络的航拍图像去模糊算法 |
| CN112330549A (zh) * | 2020-10-16 | 2021-02-05 | 西安工业大学 | 一种基于盲解卷积网络的模糊图像盲复原方法及*** |
| CN112330549B (zh) * | 2020-10-16 | 2023-08-08 | 西安工业大学 | 一种基于盲解卷积网络的模糊图像盲复原方法及*** |
| CN112419201A (zh) * | 2020-12-04 | 2021-02-26 | 珠海亿智电子科技有限公司 | 一种基于残差网络的图像去模糊方法 |
| CN113284068A (zh) * | 2021-06-04 | 2021-08-20 | 中国科学院光电技术研究所 | 一种基于通道共享时空网络的自适应光学图像盲复原方法 |
| CN113353102A (zh) * | 2021-07-08 | 2021-09-07 | 重庆大学 | 一种基于深度强化学习的无保护左转弯驾驶控制方法 |
| CN113353102B (zh) * | 2021-07-08 | 2022-11-25 | 重庆大学 | 一种基于深度强化学习的无保护左转弯驾驶控制方法 |
| CN113724159A (zh) * | 2021-08-18 | 2021-11-30 | 北京工业大学 | 基于模糊等级的花粉图像去模糊方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108537746B (zh) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108537746A (zh) | 一种基于深度卷积网络的模糊可变图像盲复原方法 | |
| CN110232394B (zh) | 一种多尺度图像语义分割方法 | |
| US20220319155A1 (en) | Image Processing Method, Image Processing Apparatus, and Device | |
| JP6946572B2 (ja) | 加速された量子化積和演算 | |
| CN110782462B (zh) | 一种基于双流特征融合的语义分割方法 | |
| CN110188239B (zh) | 一种基于跨模态注意力机制的双流视频分类方法和装置 | |
| US11915128B2 (en) | Neural network circuit device, neural network processing method, and neural network execution program | |
| CN107798381B (zh) | 一种基于卷积神经网络的图像识别方法 | |
| CN110490082B (zh) | 一种有效融合神经网络特征的道路场景语义分割方法 | |
| Jiang et al. | Cascaded subpatch networks for effective CNNs | |
| CN112446380A (zh) | 图像处理方法和装置 | |
| CN107730514B (zh) | 场景分割网络训练方法、装置、计算设备及存储介质 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN109740451B (zh) | 基于重要性加权的道路场景图像语义分割方法 | |
| CN110378344B (zh) | 基于谱维转换网络的卷积神经网络多光谱图像分割方法 | |
| CN112132145B (zh) | 一种基于模型扩展卷积神经网络的图像分类方法及*** | |
| CN107680053A (zh) | 一种基于深度学习分类的模糊核优化迭代初始值估计方法 | |
| CN113378933A (zh) | 甲状腺超声图像分类和分割网络、训练方法、装置及介质 | |
| WO2022100490A1 (en) | Methods and systems for deblurring blurry images | |
| CN110930409A (zh) | 一种基于深度学习的盐体语义分割方法及语义分割模型 | |
| CN113841162A (zh) | 深度神经网络中的深度优先卷积 | |
| JP2017068608A (ja) | 演算装置、方法及びプログラム | |
| Douillard et al. | Tackling catastrophic forgetting and background shift in continual semantic segmentation | |
| CN113065575A (zh) | 一种图像处理方法及相关装置 | |
| CN113378812A (zh) | 一种基于Mask R-CNN和CRNN的数字表盘识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210921 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |