CN114418883A - 一种基于深度先验的盲图像去模糊方法 - Google Patents
一种基于深度先验的盲图像去模糊方法 Download PDFInfo
- Publication number
- CN114418883A CN114418883A CN202210052867.6A CN202210052867A CN114418883A CN 114418883 A CN114418883 A CN 114418883A CN 202210052867 A CN202210052867 A CN 202210052867A CN 114418883 A CN114418883 A CN 114418883A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- kernel
- fuzzy
- clear
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000006870 function Effects 0.000 claims abstract description 42
- 238000011478 gradient descent method Methods 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 7
- 150000001875 compounds Chemical class 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 abstract description 11
- 238000012549 training Methods 0.000 abstract description 6
- 238000013178 mathematical model Methods 0.000 abstract description 5
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 238000006731 degradation reaction Methods 0.000 description 8
- 230000015556 catabolic process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度先验的盲图像去模糊方法,使用深度卷积神经网络DIP‑Net隐式地建模图像平滑性先验约束生成清晰图像;通过求解关于模糊核最优化问题的精确解估计模糊核;交替迭代更新模糊核与清晰图像,利用复原的清晰图像和模糊核计算损失函数并更新网络参数。对模糊图像与模糊核联合建模,采用交替迭代网络模型与数学模型的方式同时估计清晰图像与模糊核;在无任何附加隐式或显式的图像先验的情况下,仅利用模糊图像实现了端到端地自监督学习的盲去模糊。本发明结合深度网络结构实现正则化方法,无需使用模糊图像与模糊核真值训练网络;与传统模型方法相比,无需采用图像金字塔的方式由粗到细的估计模糊核,有效抑制复原图像中存在的噪声。
Description
技术领域
本发明涉及图像去模糊领域,更具体地说,涉及一种基于深度先验的盲图像去模糊方法。
背景技术
在图像获取过程中,由于受到大气湍流、成像设备与目标之间相对运动、成像设备聚焦不准等因素的影响,获取的图像会有一定程度的模糊。在交通监控、生物医学、天文观测、遥感遥测等众多领域,清晰图像能够提供更多有用的信息。为了满足各个应用领域对清晰图像的需求,一般从硬件和软件两个方面入手。通过改善硬件的方式存在成本高、技术难度大、易受环境影响等问题,而图像去模糊技术是指从算法层面,通过图像处理手段利用模糊图像复原出清晰图像。
图像去模糊通过对图像降质过程的建模,求解图像降质过程的逆过程,估计潜在的清晰图像。根据模糊核是否已知,图像去模糊方法可以分为非盲图像去模糊和盲图像去模糊。盲图像去模糊方法是指在降质模型或降质参数未知的情况下同时估计出原始的清晰图像和模糊核,具有严重的病态性,需要引入图像的先验信息来约束可行解的空间。现有的盲图像去模糊方法大致可以分为两类:基于最优化模型的方法和基于深度学***凡解的产生。图像梯度是图像相邻像素间的关系,而图像块先验能够表示更大的图像结构。Michaeli等将跨尺度相似图像块之间的相似性作为正则约束项估计模糊核。Pan等将暗通道先验以正则项的形式引入去模糊目标函数。基于最优化模型的盲图像去模糊方法利用手工设计的先验构建图像先验模型,通常难以建模复杂的图像特征。基于深度学习(Deep learning)的方法通过深度神经网络(Deepneural network,DNN)自适应地学习清晰图像的特征,可分为监督学习和非监督学习的方法。监督学习的盲图像去模糊方法需要使用成对的模糊/清晰图像数据集训练网络,学习模糊图像到清晰图像的映射,当待复原图像与训练数据集的特征差异较大时,无法保证网络的重建质量。非监督学习的盲图像去模糊方法无需数据集训练网络,自监督学习是一种常用的非监督学习方法,以模糊图像为监督信号,无需模糊核或清晰图像真值。Ren等提出的SelfDeblur模型利用DIP-Net估计清晰图像,利用全连接网络估计模糊核,同时更新两个网络的参数估计模糊核与清晰图像。
自然图像先验为图像复原提供有效的附加信息,约束图像复原问题可行解的空间。传统先验对自然图像的统计特性进行数学建模,但是数学表达式难以表示复杂的自然图像先验。近年来,研究学者提出利用深度网络建模图像先验信息,这种由深度网络所表示的先验信息称为深度先验。深度先验通过深度网络自适应学习清晰图像的特性或模糊图像到清晰图像的映射关系,无需显式地用数学模型表达先验。深度先验可分为显式和隐式建模两类。一类使用数据集训练网络,学习图像某种潜在的先验信息;另一类利用网络结构建模图像的先验信息。
本发明公开了一种基于深度先验的盲图像去模糊算法,将网络模型与数学模型相结合,联合建模清晰图像和模糊核,采用自监督学***滑性先验约束来估计清晰图像,通过求解模糊核最小化问题的精确解估计模糊核,加速模型收敛;同时利用复原的清晰图像和模糊核计算损失函数并更新网络参数,交替迭代估计清晰图像和模糊核。与传统模型的方法相比,本发明无需利用图像金字塔模型由粗到细估计模糊核;与监督学习的盲图像去模糊方法相比,本发明以模糊图像作为自监督信号,无需模糊核或清晰图像真值,没有训练过程。与SelfDeblur相比,本发明求解关于模糊核最优化问题的精确解,可以直接求得当前估计图像的最优模糊核,加速模型收敛,并有效降低模型复杂度;同时,本发明通过求解模糊核最优化问题直接求得二维表示的模糊核,加快网络迭代。本发明公开的方法能够准确估计出清晰图像与模糊核,同时有效抑制复原图像中存在的噪声。
发明内容
有鉴于此,本发明实施例提供了一种基于深度先验的盲图像去模糊方法,以复原出原始的清晰图像。
为了实现上述目的,本发明实施例提供了如下方案:
一种基于深度先验的盲图像去模糊方法,其特征在于,包含以下4个步骤:
步骤1.构建图像生成网络模型,并初始化网络参数
本发明使用图像生成网络DIP-Net实现随机向量z到清晰图像x的映射x=f(z;θ),利用网络本身抑制噪声,隐式地建模平滑性约束先验项。DIP-Net具有U型编解码结构,包含五组下采样和上采样卷积结构,每一组卷积操作均通过跨层连接将下采样层的特征与对应相同维数的上采样层特征进行融合,跨层连接的通道数固定为16。网络输入z为区间(0,1)上均匀分布的随机向量,即z~U(0,1),其尺寸与模糊图像一致,通道数一般设置为8或16,本发明设置为8。
本发明的参数设置包括学习率η、网络输入随机向量z、模糊核尺寸s、模糊核正则化参数λh、最大迭代次数K。随机初始化图像生成网络参数θ0,即可得清晰图像的初始估计x0=f(z;θ0),以降质图像作为自监督信号,利用梯度下降法更新参数θ*使损失函数收敛。
步骤2.估计模糊核
固定网络参数θk-1,xk-1=f(z;θk-1),用下式估计模糊核hk:
步骤3.估计清晰图像
步骤3.1计算损失函数:
固定当前模糊核的估计hk,给定θk-1,更新θk。本发明使用DIP-Net生成清晰图像,因此网络的损失函数为:
上式为均方误差损失函数,也可以使用其他连续可导函数作为网络的损失函数。
步骤3.2更新图像生成网络参数:
计算损失函数关于网络参数的梯度,利用梯度下降法更新θk:
式中,η表示学习率。本发明使用Adam梯度下降法更新参数。
步骤3.3生成清晰图像:利用更新参数后的图像生成网络生成清晰图像xk=f(z;θk)。
步骤4.判断收敛,输出模糊核与清晰图像的估计
通过步骤2和步骤3,完成对目标函数的一次迭代求解,获得模糊核的估计hk,并将清晰图像的估计xk-1更新为xk。如果此时算法收敛或达到最大迭代次数,则停止迭代,输出最终的模糊核与清晰图像估计;否则,令k=k+1,然后重复步骤2和步骤3。
优选的,所述模糊核正则化参数λh的初始值为2×10-5。
优选的,所述图像生成网络中输入数据通道数固定为8。
优选的,所述学习率衰减系数为0.5。
本发明公开了一种基于深度先验的盲图像去模糊算法,端到端地复原清晰图像。本发明将网络模型与数学模型相结合,联合建模清晰图像和模糊核。利用深度卷积神经网络DIP-Net隐式地建模图像平滑性先验约束来估计清晰图像,通过求解模糊核最小化问题的精确解估计模糊核;交替迭代更新模糊核与清晰图像,利用复原的清晰图像和模糊核计算损失函数并更新网络参数。本发明无需利用图像金字塔模型由粗到细估计模糊核,同时以模糊图像作为自监督信号,无需模糊核或清晰图像真值,没有训练过程。本发明公开的方法能够准确估计出清晰图像与模糊核,同时有效抑制复原图像中存在的噪声。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的盲图像去模糊的示意图;
图2为本发明实施例所提供的基于深度先验的盲图像去模糊方法结构的示意图;
图3为本发明实施例所提供的基于深度先验的盲图像去模糊方法的流程图;
图4为本发明实施例所提供的图像生成网络的示意图;
图5为本发明实施例所提供的图像生成与网络参数更新过程的示意图;
图6为本发明实施例所提供的在Lai数据集上各种方法的平均PSNR和SSIM比较;
图7为本发明实施例所提供的在Levin数据集上各种方法的平均PSNR、SSIM、ER和运行时间比较;
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在图像去模糊问题中,均匀模糊图像的降质过程可以表示为如下卷积形式:
y=h*x+n (1)式中,y为模糊图像,h为模糊核,x为清晰图像,n为噪声,*为二维卷积操作。在卷积模型下,盲图像去模糊方法即研究如何从模糊图像y中同时估计出模糊核h和清晰图像x,如图1所示。
本发明使用图像生成网络估计清晰图像,并引入模糊核h的正则化约束项作为模糊核先验,目标函数可表示为:
式中,y为模糊图像,f(z;θ)为网络输入为z、网络参数为θ的图像生成网络,h为模糊核,λh为模糊核正则化参数。目标函数中前一项为数据保真项,保证重建图像符合降质模型;后一项为模糊核h的正则化约束项,使用范数对其约束,使其满足凸优化条件,能够快速收敛到全局最优解,并对其进行稀疏处理,以保证运动模糊核的稀疏性。
图2为本发明公开的基于深度先验的盲图像去模糊方法的整体结构,本发明将网络模型与数学模型结合,通过交替求解式(2)所示的最优化问题同时估计清晰图像和模糊核。利用DIP-Net估计清晰图像,计算损失函数更新网络参数θ的过程就是图像更新的过程,根据模糊核最小化问题的最优性条件估计模糊核,交替迭代更新清晰图像与模糊核。
本发明实施例公开了一种基于深度先验的盲图像去模糊的方法,以复原出原始的清晰图像。参见图3,上述方法包括以下4个步骤。
步骤1.构建图像生成网络模型,并初始化网络参数
图像生成网络DIP-Net实现随机向量z到清晰图像x的映射x=f(z;θ)。DIP-Net旨在解决图像去噪问题,网络以有噪图像作为监督信号,计算损失函数更新网络参数,在随机向量拟合有噪图像的过程中,会优先生成无噪清晰图像。
本发明使用的图像生成网络DIP-Net具有U型编解码结构,其具体结构如图4所示,包含五组下采样和上采样卷积结构,每一组卷积操作均通过跨层连接将下采样层的特征与对应相同维数的上采样层特征进行融合,跨层连接的通道数固定为16。网络输入z为区间(0,1)上均匀分布的随机向量,即z~U(0,1),其尺寸与模糊图像一致,通道数一般设置为8或16,本发明设置为8。SelfDeblur仅对模糊图像的亮度通道进行去模糊,网络输出为单通道的灰度图,彩色图像合成时会发生图像颜色失真。本发明对模糊图像的RGB通道同时进行复原,模型的输出通道数为3,网络直接生成彩色图像,无需合成过程。图中输入向量尺寸为8×271×271,从第一组卷积层至第六组卷积层,特征图尺寸从271×271下降至9×9,每一层的特征通道数固定为128。
本发明方法的参数设置包括学习率η、网络输入随机向量z、模糊核尺寸s、模糊核正则化参数λh、最大迭代次数K。随机初始化图像生成网络参数θ0,即可得清晰图像的初始估计x0=f(z;θ0),以降质图像作为自监督信号,利用梯度下降法更新参数θ*使损失函数收敛。
本发明采用交替求解的方式求解式(2)中的网络参数θ与模糊核h,即先固定估计清晰图像的网络参数θk-1,求解模糊核hk,再固定模糊核的估计hk,求解估计清晰图像的网络参数θk,直到收敛或达到最大迭代次数。
步骤2.估计模糊核
对模糊核进行更新,即固定网络参数θk-1,估计模糊核hk,此时最优化问题可以表述为:
本发明在频域直接求解模糊核h的精确解,来加快目标函数的求解速度。由于傅里叶运算固有的周期性会造成振荡现象,因此利用图像的偏导数建模数据保真项。令xk-1=f(z;θk-1),式(3)可写为:
整理可得:
式中,^为反转操作。根据卷积定理可知,空域中图像的卷积等效于傅里叶变换的频域乘积,将式(6)转换到频域求解:
步骤3.估计清晰图像
非盲图像去模糊问题通常可以建模为如下的最优化问题:
式中,y为模糊图像,h为模糊核,x为清晰图像,R(x)为平滑性函数,λx为正则项系数。目标函数中前一项为数据保真项,保证重建图像符合降质模型;后一项为平滑性先验约束项,抑制噪声放大。
DIP-Net通过图像生成网络f(z;θ),利用网络本身抑制噪声,等效于隐式地建模式(9)中平滑性约束先验项R(x),网络损失函数为:
式中,θ为网络参数,z为网络输入,x*=f(z;θ*)为网络生成的清晰图像,θ*为求解的最优网络参数。
DIP-Net是一种自监督学***滑性约束能够抑制噪声放大,因此可以应用于多种图像逆问题的求解。
步骤3.1计算损失函数:
对清晰图像进行估计,即固定当前模糊核的估计hk,给定θk-1,更新θk,此时目标函数简化为:
本发明使用DIP-Net生成清晰图像,式(11)中的目标函数即为网络的损失函数:
式(12)为均方误差损失函数,也可以使用其他连续可导函数作为网络的损失函数。
步骤3.2更新图像生成网络参数:
计算式(12)的损失函数关于网络参数的梯度,利用梯度下降法更新θk,
式中,η表示学习率。图5给出了图像生成与网络参数更新的过程。在图像估计过程中,给定输入向量z和初始网络参数θ0。在第k次迭代时,利用网络前一次生成的清晰图像xk-1=f(z;θk-1)与模糊图像y计算损失函数关于网络参数的梯度,反向传播更新网络参数θk,根据当前估计的网络参数θk生成清晰图像xk=f(z;θk),重复以上过程,直至损失函数收敛或达到最大迭代次数。
本发明使用Adam梯度下降法更新网络参数,Adam算法使用动量vk和RMSProp算法中的二阶动量sk。为了简化数学表达式,令梯度初始化v0=s0=0,给定超参数0≤β1<1,第k次迭代的动量vk表示为梯度gk-1的指数加权移动平均:
vk=β1vk-1+(1-β1)gk-1 (14)
给定超参数0≤β2<1,sk表示为梯度平方项gk-1⊙gk-1的指数加权移动平均:
sk=β2sk-1+(1-β2)gk-1⊙gk-1 (15)
式中,⊙表示逐元素相乘。由于v0和s0中的元素均初始化为零,在第k次迭代时,动量vk表示为:
将之前每一次迭代的梯度权值相加,可得,
Adam算法使用偏差修正后的变量v′k和s′k以及学习率η更新梯度g′k-1,
式中,η为学习率,Adam中自变量每个元素具有不同的学习率;∈为常数,用于避免式(20)中出现分母为0的情况。在第k次迭代中使用g′k-1更新网络参数,
θk=θk-1-g′k-1 (21)
步骤3.3生成清晰图像:利用更新参数后的图像生成网络生成清晰图像xk=f(z;θk)。
步骤4.判断收敛,输出模糊核与清晰图像的估计
通过步骤2和步骤3,完成对目标函数的一次迭代求解,获得模糊核的估计hk,并将清晰图像的估计xk-1更新为xk。如果此时算法收敛或达到最大迭代次数,则停止迭代,输出最终的模糊核与清晰图像估计;否则,令k=k+1,然后重复步骤2和步骤3。
优选的,设置模糊核正则化参数λh的初始值为2×10-5,图像生成网络中输入数据通道数固定为8,学习率衰减系数为0.5。
本发明在Lai数据集和Levin数据集上验证所公开的方法。Lai数据集的模拟模糊图像集包含25幅清晰图像和4个不同尺寸的模糊核,通过清晰图像与模糊核的卷积运算生成共100幅模糊图像。Lai数据集中的模糊图像可分为人造物(Manmade)、自然(Natural)、人(People/Face)、饱和(Saturated)和文字(Text)五类,每类包含20幅模糊图像。Levin等对平面上打印的图像成像,在成像过程中固定成像装置,在曝光期间手动控制相机的运动状态,使获取的图像产生运动模糊,同时记录相机的运动轨迹,将其作为模糊核真值。Levin数据集包括4幅清晰图像和8个模糊核,共32幅模糊图像。
本发明使用峰值信噪比PSNR、结构相似性SSIM以及误差比ER作为定量评价指标。PSNR等效于计算复原的清晰图像与真值图像之间的均方误差,SSIM从亮度、对比度和结构性三个因素度量复原图像与真值图像的相似度,其结果在[0,1]之间,两个指标越高表示图像重建质量越好。ER是模糊核评价指标,计算使用真实模糊核h与估计模糊核h*复原的图像与真值图像之差的比值:
当使用真实模糊核进行图像复原时ER值为1,ER值越小说明估计的模糊核越接近真实模糊核。
Michaeli等、Perrone等、Levin等、Pan等和Ren等方法为目前普遍认可的图像去模糊方法,其中,Michaeli等、Perrone等、Levin等以及Pan等均为基于最优化模型的盲去模糊方法,需要结合非盲图像去模糊方法进行图像复原。而Ren等和本发明方法无需构建图像金字塔,并能够直接估计出模糊核和清晰图像,不需要借助非盲去模糊方法。图6给出了各个算法在Lai模拟图像数据集中不同类别图像上的平均PSNR和SSIM。可以看出,本发明方法在Manmade、Natural、Saturated和Text类别图像上的平均PSNR和SSIM达到最大值,在People/Face类别的图像上,本发明方法的平均PSNR/SSIM高于Michaeli等、Perrone等以及Pan等方法。图7列出了各种图像去模糊算法在Levin数据集上的平均PSNR、SSIM、ER和运行时间,可以看出本发明方法的平均PSNR和SSIM均达到最高,平均ER更接近1,且相比于Pan等和Ren等方法有效降低了算法运行时间。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本发明所示的这些实施例,而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。
Claims (4)
1.一种基于深度先验的盲图像去模糊方法,其特征在于,包含以下4个步骤:
步骤1.构建图像生成网络模型,并初始化网络参数
本发明使用图像生成网络DIP-Net实现随机向量z到清晰图像x的映射x=f(z;θ),利用网络本身抑制噪声,隐式地建模平滑性约束先验项;DIP-Net具有U型编解码结构,包含五组下采样和上采样卷积结构,每一组卷积操作均通过跨层连接将下采样层的特征与对应相同维数的上采样层特征进行融合,跨层连接的通道数固定为16;网络输入z为区间(0,1)上均匀分布的随机向量,即z~U(0,1),其尺寸与模糊图像一致,通道数一般设置为8或16,本发明设置为8;
本发明的参数设置包括学习率η、网络输入随机向量z、模糊核尺寸s、模糊核正则化参数λh、最大迭代次数K;随机初始化图像生成网络参数θ0,即可得清晰图像的初始估计x0=f(z;θ0),以降质图像作为自监督信号,利用梯度下降法更新参数θ*使损失函数收敛;
步骤2.估计模糊核
固定网络参数θk-1,xk-1=f(z;θk-1),用下式估计模糊核hk:
步骤3.估计清晰图像
步骤3.1计算损失函数:
固定当前模糊核的估计hk,给定θk-1,更新θk;本发明使用DIP-Net生成清晰图像,因此网络的损失函数为:
上式为均方误差损失函数,也可以使用其他连续可导函数作为网络的损失函数;
步骤3.2更新图像生成网络参数:
计算损失函数关于网络参数的梯度,利用梯度下降法更新θk:
式中,η表示学习率;本发明使用Adam梯度下降法更新参数;
步骤3.3生成清晰图像:利用更新参数后的图像生成网络生成清晰图像xk=f(z;θk);
步骤4.判断收敛,输出模糊核与清晰图像的估计
通过步骤2和步骤3,完成对目标函数的一次迭代求解,获得模糊核的估计hk,并将清晰图像的估计xk-1更新为xk;如果此时算法收敛或达到最大迭代次数,则停止迭代,输出最终的模糊核与清晰图像估计;否则,令k=k+1,然后重复步骤2和步骤3。
2.如权利要求1所述的一种基于深度先验的盲图像去模糊方法,其特征在于,所述模糊核正则化参数λh的初始值为2×10-5。
3.如权利要求1所述的一种基于深度先验的盲图像去模糊方法,其特征在于,所述图像生成网络中输入数据通道数固定为8。
4.如权利要求1所述的一种基于深度先验的盲图像去模糊方法,其特征在于,所述学习率衰减系数为0.5。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210052867.6A CN114418883B (zh) | 2022-01-18 | 2022-01-18 | 一种基于深度先验的盲图像去模糊方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210052867.6A CN114418883B (zh) | 2022-01-18 | 2022-01-18 | 一种基于深度先验的盲图像去模糊方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114418883A true CN114418883A (zh) | 2022-04-29 |
CN114418883B CN114418883B (zh) | 2024-03-29 |
Family
ID=81273046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210052867.6A Active CN114418883B (zh) | 2022-01-18 | 2022-01-18 | 一种基于深度先验的盲图像去模糊方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114418883B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110969582A (zh) * | 2019-08-13 | 2020-04-07 | 中国科学院遥感与数字地球研究所 | 一种基于多源参考信息的遥感图像盲复原方法 |
CN114662519A (zh) * | 2022-05-24 | 2022-06-24 | 武汉朗修科技有限公司 | 基于位置探测图形梯度和强度先验的qr码盲去模糊方法 |
CN114897734A (zh) * | 2022-05-18 | 2022-08-12 | 北京化工大学 | 一种基于梯度方向先验的被测目标图像复原方法 |
CN114967121A (zh) * | 2022-05-13 | 2022-08-30 | 哈尔滨工业大学 | 一种端到端的单透镜成像***设计方法 |
CN115861099A (zh) * | 2022-11-24 | 2023-03-28 | 南京信息工程大学 | 一种引入物理成像先验知识约束的卫星云图图像复原方法 |
CN116091367A (zh) * | 2023-04-10 | 2023-05-09 | 中国科学院空天信息创新研究院 | 光学遥感图像盲去模糊方法、装置、设备和介质 |
CN117058039A (zh) * | 2023-08-28 | 2023-11-14 | 北京航空航天大学 | 一种基于随机退化的模糊图像修复方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564544A (zh) * | 2018-04-11 | 2018-09-21 | 南京邮电大学 | 基于边缘感知的图像盲去模糊组合稀疏优化方法 |
WO2018227882A1 (zh) * | 2017-06-15 | 2018-12-20 | 北京大学深圳研究生院 | 基于先验约束和离群值抑制的图像去模糊方法 |
CN109345474A (zh) * | 2018-05-22 | 2019-02-15 | 南京信息工程大学 | 基于梯度域和深度学习的图像运动模糊盲去除方法 |
CN110675347A (zh) * | 2019-09-30 | 2020-01-10 | 北京工业大学 | 一种基于组稀疏表示的图像盲复原方法 |
CN111598809A (zh) * | 2020-05-18 | 2020-08-28 | 哈尔滨理工大学 | 一种基于深度学习的图像运动模糊盲去除算法 |
CN112085674A (zh) * | 2020-08-27 | 2020-12-15 | 河海大学 | 基于神经网络的航拍图像去模糊算法 |
US20210334939A1 (en) * | 2020-04-28 | 2021-10-28 | Carnegie Mellon University | Method and architecture for blind image deconvolution |
-
2022
- 2022-01-18 CN CN202210052867.6A patent/CN114418883B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018227882A1 (zh) * | 2017-06-15 | 2018-12-20 | 北京大学深圳研究生院 | 基于先验约束和离群值抑制的图像去模糊方法 |
CN108564544A (zh) * | 2018-04-11 | 2018-09-21 | 南京邮电大学 | 基于边缘感知的图像盲去模糊组合稀疏优化方法 |
CN109345474A (zh) * | 2018-05-22 | 2019-02-15 | 南京信息工程大学 | 基于梯度域和深度学习的图像运动模糊盲去除方法 |
CN110675347A (zh) * | 2019-09-30 | 2020-01-10 | 北京工业大学 | 一种基于组稀疏表示的图像盲复原方法 |
US20210334939A1 (en) * | 2020-04-28 | 2021-10-28 | Carnegie Mellon University | Method and architecture for blind image deconvolution |
CN111598809A (zh) * | 2020-05-18 | 2020-08-28 | 哈尔滨理工大学 | 一种基于深度学习的图像运动模糊盲去除算法 |
CN112085674A (zh) * | 2020-08-27 | 2020-12-15 | 河海大学 | 基于神经网络的航拍图像去模糊算法 |
Non-Patent Citations (3)
Title |
---|
余义斌;吴承鑫;彭念;袁仕芳;: "基于超拉普拉斯先验与核谱特性噪声图像盲去模糊", 工程数学学报, no. 06, 15 December 2018 (2018-12-15), pages 42 - 48 * |
杨爱萍;王金斌;杨炳旺;何宇清;: "联合深度去噪先验图像盲去模糊", 光学学报, no. 10, 24 May 2018 (2018-05-24), pages 143 - 151 * |
陈晨;许金鑫;危才华;李庆武;: "基于显著性强度和梯度先验的多尺度图像盲去模糊", 激光与光电子学进展, no. 04, 31 December 2020 (2020-12-31), pages 271 - 277 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110969582A (zh) * | 2019-08-13 | 2020-04-07 | 中国科学院遥感与数字地球研究所 | 一种基于多源参考信息的遥感图像盲复原方法 |
CN110969582B (zh) * | 2019-08-13 | 2023-12-15 | 中国科学院遥感与数字地球研究所 | 一种基于多源参考信息的遥感图像盲复原方法 |
CN114967121A (zh) * | 2022-05-13 | 2022-08-30 | 哈尔滨工业大学 | 一种端到端的单透镜成像***设计方法 |
CN114967121B (zh) * | 2022-05-13 | 2023-02-03 | 哈尔滨工业大学 | 一种端到端的单透镜成像***设计方法 |
CN114897734A (zh) * | 2022-05-18 | 2022-08-12 | 北京化工大学 | 一种基于梯度方向先验的被测目标图像复原方法 |
CN114897734B (zh) * | 2022-05-18 | 2024-05-28 | 北京化工大学 | 一种基于梯度方向先验的被测目标图像复原方法 |
CN114662519A (zh) * | 2022-05-24 | 2022-06-24 | 武汉朗修科技有限公司 | 基于位置探测图形梯度和强度先验的qr码盲去模糊方法 |
CN115861099A (zh) * | 2022-11-24 | 2023-03-28 | 南京信息工程大学 | 一种引入物理成像先验知识约束的卫星云图图像复原方法 |
CN115861099B (zh) * | 2022-11-24 | 2024-02-13 | 南京信息工程大学 | 一种引入物理成像先验知识约束的卫星云图图像复原方法 |
CN116091367A (zh) * | 2023-04-10 | 2023-05-09 | 中国科学院空天信息创新研究院 | 光学遥感图像盲去模糊方法、装置、设备和介质 |
CN116091367B (zh) * | 2023-04-10 | 2023-07-18 | 中国科学院空天信息创新研究院 | 光学遥感图像盲去模糊方法、装置、设备和介质 |
CN117058039A (zh) * | 2023-08-28 | 2023-11-14 | 北京航空航天大学 | 一种基于随机退化的模糊图像修复方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114418883B (zh) | 2024-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114418883A (zh) | 一种基于深度先验的盲图像去模糊方法 | |
Liu et al. | Learning converged propagations with deep prior ensemble for image enhancement | |
CN107633486B (zh) | 基于三维全卷积神经网络的结构磁共振图像去噪方法 | |
Zhang et al. | Group-based sparse representation for image restoration | |
CN110675347B (zh) | 一种基于组稀疏表示的图像盲复原方法 | |
CN107133923B (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
US20220020123A1 (en) | Bayesian image denoising method based on distribution constraint of noisy images | |
CN106920220A (zh) | 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法 | |
CN111462019A (zh) | 基于深度神经网络参数估计的图像去模糊方法及*** | |
CN114202459B (zh) | 一种基于深度先验的盲图像超分辨率方法 | |
CN110796616B (zh) | 基于范数约束和自适应加权梯度的湍流退化图像恢复方法 | |
Kim et al. | Deeply aggregated alternating minimization for image restoration | |
CN113538374B (zh) | 一种面向高速运动物体的红外图像模糊校正方法 | |
CN108629741B (zh) | 一种基于l0和l1正则项的模糊核估计方法 | |
Chaurasiya et al. | Deep dilated CNN based image denoising | |
CN112330549A (zh) | 一种基于盲解卷积网络的模糊图像盲复原方法及*** | |
CN100377176C (zh) | 一种改进的nas-rif盲图像复原方法 | |
Ke et al. | Unsupervised image restoration using partially linear denoisers | |
CN114998107A (zh) | 一种图像盲超分辨网络模型、方法、设备及存储介质 | |
US20240020796A1 (en) | Noise reconstruction for image denoising | |
Wen et al. | The power of complementary regularizers: Image recovery via transform learning and low-rank modeling | |
Sharma et al. | Deep learning based frameworks for image super-resolution and noise-resilient super-resolution | |
CN1904942A (zh) | 基于自适应判决反馈均衡技术的盲图像复原方法 | |
Wu et al. | Variational PDE based image restoration using neural network | |
Wei et al. | Image denoising with deep unfolding and normalizing flows |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |