CN115564671B - 基于长短曝光图像对的自监督图像复原*** - Google Patents

基于长短曝光图像对的自监督图像复原*** Download PDF

Info

Publication number
CN115564671B
CN115564671B CN202211165701.1A CN202211165701A CN115564671B CN 115564671 B CN115564671 B CN 115564671B CN 202211165701 A CN202211165701 A CN 202211165701A CN 115564671 B CN115564671 B CN 115564671B
Authority
CN
China
Prior art keywords
image
convolution
noise
encoder
blurred
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211165701.1A
Other languages
English (en)
Other versions
CN115564671A (zh
Inventor
闫子飞
张志路
徐溶键
刘铭
左旺孟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202211165701.1A priority Critical patent/CN115564671B/zh
Publication of CN115564671A publication Critical patent/CN115564671A/zh
Application granted granted Critical
Publication of CN115564671B publication Critical patent/CN115564671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

基于长短曝光图像对的自监督图像复原***，属于图像复原领域。解决了现有利用长短曝光的互补性进行图像复原方法，在模型训练阶段图像复原模型的损失函数的确定依赖于目标图像，存在目标图像获取困难的问题。本发明通过利用短曝光和长曝光图像的互补性进行图像复原，即联合长短曝光图像作为图像复原模型D输入以复原出更好效果的图像。本发明在图像复原模型D训练阶段采用自监督的方式进行参数学习。且自监督的方式进行参数学习的过程中，确定图像复原模型D的损失函数，并利用损失函数对图像复原模型D的卷积参数进行更新，实现对图像复原模型D以自监督的方式进行卷积参数学习。本发明主要用于图像复原。

Description

基于长短曝光图像对的自监督图像复原***
技术领域
本发明属于图像复原领域。
背景技术
低光摄影时，通常需要调高感光度(ISO)和延长曝光时间来获得令人满意的图像，但高ISO设置往往会带来明显的噪声，长曝光设置往往会导致图像模糊。现有的解决方法通常对高ISO图像进行去噪或者对长曝光图像进行去模糊来复原出具有更好视觉效果的图像，但是这种复原方法存在只用一种图像作为图像复原模型的输入进行图像复原，存在严重不适定性及复原难度大的问题。
此外，高ISO下由于曝光时间短，图像几乎没有模糊；长曝光图像由于ISO较低，图像噪声可以忽略。一些方法通过利用长短曝光的互补性，联合两个图像进行图像复原，且进行图像复原的过程中将具有长短曝互补性的两个图像作为图像复原模型的输入，但是在图像复原模型训练阶段，需要清晰干净的目标图像来计算图像复原模型在训练过程中的损失函数，而在真实场景下，目标图像很难获得，因此，以上问题亟需解决。
发明内容
本发明的目的是为了解决现有利用长短曝光的互补性进行图像复原方法，在模型训练阶段图像复原模型的损失函数的确定依赖于目标图像，存在目标图像获取困难的问题，因此本发明提供了一种基于长短曝光图像对的自监督图像复原***。在图像复原模型D模型训练阶段采用自监督的方式进行卷积参数学习。本发明中所述基于长短曝光图像对的自监督图像复原***的自监督学习***的损失函数由复原损失函数/>和正则项损失函数/>构成的噪声图像引导去模糊损失函数和模糊图像引导去噪损失函数(即：辅助损失函数/>)组成。
基于长短曝光图像对的自监督图像复原***，包括图像复原模型D、损失函数计算模块、第一子采样模块和近邻子采样模块；
第一子采样模块，用于对模糊图像IB进行子采样操作获得采样后的模糊图像g1(IB)；
近邻子采样模块，用于对噪声图像IN进行近邻子采样操作获得近邻子采样图像对，其中，近邻子采样图像对包括采样后的第一噪声图像g1(IN)和采样后的第二噪声图像g2(IN)；
模糊图像IB和噪声图像IN分别为同一场景下的长曝光模糊图像和短曝光噪声图像，采样后的模糊图像g1(IB)和采样后的第一噪声图像g1(IN)同时作为图像复原模型D的输入，对图像复原模型D进行训练；
图像复原模型D，根据接收的采样后的模糊图像g1(IB)和采样后的第一噪声图像g1(IN)进行图像复原，输出复原图像D(g1(IB)，g1(IN))；
损失函数计算模块，用于根据采样后的模糊图像g1(IB)和复原图像D(g1(IB)，g1(IN))确定辅助损失函数还用于根据采样后的第二噪声图像g2(IN)和复原图像D(g1(IB)，g1(IN))确定复原损失函数/>还用于根据采样后的第二噪声图像g2(IN)、复原图像D(g1(IB)，g1(IN))、模糊图像IB以及噪声图像IN确定正则项损失函数/>还用于根据辅助损失函数/>复原损失函数/>和正则项损失函数/>确定图像复原模型D的损失函数/>并利用损失函数/>对图像复原模型D的卷积参数进行更新，实现对图像复原模型D以自监督的方式进行卷积参数学习。
优选的是，
其中，λreg为正则项损失函数的权重；λaux为辅助损失函数的权重。
优选的是，λreg＝λaux＝2。
优选的是，损失函数计算模块根据采样后的模糊图像g1(IB)和复原图像D(g1(IB)，g1(IN))确定辅助损失函数的实现方式包括：
S11、将采样后的模糊图像g1(IB)和复原图像D(g1(IB)，g1(IN))均被分割成N个大小相同的图像块，分割后的图像块分别定义为On和g1(IB)n；On和g1(IB)n之间存在对应关系，n和N均为整数；
On为复原图像D(g1(IB)，g1(IN))被分割后的第n个图像块；1≤n≤N；
g1(IB)n为采样后的模糊图像g1(IB)被分割后的第n个图像块；
S12、将On和g1(IB)n作为一组图像块，根据该组图像块确定图像块g1(IB)n的锐利值mn，且当mn取值为1时，则认定图像块g1(IB)n为锐利区域；当取值为0时，则认定图像块g1(IB)n为非锐利区域；其中，
mn为采样后的模糊图像g1(IB)中第n个图像块的锐利值；
S13、根据采样后的模糊图像g1(IB)的锐利区域，确定辅助损失函数
优选的是，步骤S12中、
mn＝sgn(max(0，s(g1(IB)n，On)-∈s))*sgn(max(0，var(g1(IB)n)-var(On)-∈v))；
其中，s(·)表示结构相似度度量，var(·)表示方差度量，max(·)表示最大值函数，sgn(·)表示符号函数，∈s和∈v分别表示第一阈值和第二阈值。
优选的是，步骤S13中，
其中，表示L2范数的平方。
优选的是，损失函数计算模块根据采样后的第二噪声图像g2(IN)和复原图像D(g1(IB)，g1(IN))确定复原损失函数的实现方式为：
其中，表示L2范数的平方。
优选的是，损失函数计算模块根据采样后的第二噪声图像g2(IN)、复原图像D(g1(IB)，g1(IN))、模糊图像IB以及噪声图像IN确定正则项损失函数的实现方式为：
其中，为无梯度的图像复原模型/>的输出，且无梯度的图像复原模型与图像复原模型D的结构及卷积参数值均相同，且图像复原模型/>中卷积参数无梯度。
优选的是，利用损失函数对图像复原模型D的参数进行更新采用Adam优化算法实现。
优选的是，图像复原模型D包括噪声图像编码器至/>、模糊图像编码器/>至/>、以及解码器D1；至D5；
噪声图像编码器至/>的具体操作如下：
噪声图像编码器用于对采样后的模糊图像g1(IB)依次进行第一卷积操作和第一激活操作；
噪声图像编码器用于对噪声图像编码器/>的输出依次进行最大池化、第二卷积操作和第二激活操作；
噪声图像编码器用于对噪声图像编码器/>的输出依次进行最大池化、第三卷积操作和第三激活操作；
噪声图像编码器用于对噪声图像编码器/>的输出依次进行最大池化、第四卷积操作和第四激活操作；
噪声图像编码器用于对噪声图像编码器/>的输出依次进行最大池化、第五卷积操作和第五激活操作；
噪声图像编码器用于对噪声图像编码器/>的输出依次进行最大池化、第六卷积操作和第六激活操作；
模糊图像编码器至/>具体操作如下：
模糊图像编码器用于对采样后的模糊图像g1(IB)依次进行第七卷积操作和第七激活操作；
模糊图像编码器用于对模糊图像编码器/>的输出依次进行最大池化、第八卷积操作和第八激活操作；
模糊图像编码器用于对模糊图像编码器/>的输出依次进行最大池化、第九卷积操作和第九激活操作；
模糊图像编码器用于对模糊图像编码器/>的输出依次进行最大池化、第十卷积操作和第十激活操作；
模糊图像编码器用于对模糊图像编码器/>的输出依次进行最大池化、第十一卷积操作和第十一激活操作；
模糊图像编码器用于对模糊图像编码器/>的输出依次进行最大池化、第十二卷积操作和第十二激活操作；
第一卷积操作至第十二卷积操作均为48个3×3、步长为1、填充为1的卷积操作；第一激活操作至第十二激活操作均采用LeakyReLU函数实现；
解码器D1至D5具体操作如下：
解码器D5对噪声图像编码器和模糊图像编码器/>的输出进行双线性上采样操作，并将上采样后的特征与噪声图像编码器/>和模糊图像编码器/>的输出进行特征融合后，依次进行第十三卷积操作、第十三激活操作、第十四卷积操作和第十四激活操作；
解码器D4对解码器D5的输出进行双线性上采样操作，并将上采样后的特征与噪声图像编码器和模糊图像编码器/>的输出进行特征融合后，依次进行第十五卷积操作、第十五激活操作、第十六卷积操作和第十六激活操作；
解码器D3对解码器D4的输出进行双线性上采样操作，并将上采样后的特征与噪声图像编码器和模糊图像编码器/>的输出进行特征融合后，依次进行第十七卷积操作、第十七激活操作、第十八卷积操作和第十八激活操作；
解码器D2对解码器D3的输出进行双线性上采样操作，并将上采样后的特征与噪声图像编码器和模糊图像编码器/>的输出进行特征融合后，依次进行第十九卷积操作、第十九激活操作、第二十卷积操作和第二十激活操作；
解码器D1对解码器D2的输出进行双线性上采样操作，并将上采样后的特征与噪声图像编码器和模糊图像编码器/>的输出进行特征融合后，依次进行第二十一卷积操作、第二十一激活操作、第二十二卷积操作、第二十二激活操作和第二十三卷积操作；
其中，
第十三卷积操作为96个3×3、步长为1、填充为1的卷积操作；
第十四卷积操作为48个3×3、步长为1、填充为1的卷积操作；
第十五卷积操作为96个3×3、步长为1、填充为1的卷积操作；
第十六卷积操作为48个3×3、步长为1、填充为1的卷积操作；
第十七卷积操作为96个3×3、步长为1、填充为1的卷积操作；
第十八卷积操作为48个3×3、步长为1、填充为1的卷积操作；
第十九卷积操作为96个3×3、步长为1、填充为1的卷积操作；
第二十卷积操作为48个3×3、步长为1、填充为1的卷积操作；
第二十一卷积操作为64个3×3、步长为1、填充为1的卷积操作；
第二十二卷积操作为32个3×3、步长为1、填充为1的卷积操作；
第二十三卷积操作为3个3×3、步长为1、填充为1的卷积操作；
第十三激活操作至第二十二激活操作均采用LeakyReLU函数实现。
本发明的有益效果为：
本发明通过利用短曝光和长曝光图像的互补性进行图像复原，即联合长短曝光图像作为图像复原模型D输入以复原出更好效果的图像。针对现有技术中需结合长短曝互补性的两个图像、以及目标图像进行图像复原方法中，模型训练阶段依赖的目标图像不易获取的问题，本发明无需额外的清晰图像作为目标图像，并且取消了现有技术中依赖于有监督学习模型对复原模型参数学习的方式，本发明在图像复原模型D训练阶段采用自监督的方式进行参数学习。且自监督的方式进行参数学习的过程中，确定图像复原模型D的损失函数并利用损失函数/>对图像复原模型D的卷积参数进行更新，实现对图像复原模型D以自监督的方式进行卷积参数学习。本发明图像复原模型D的损失函数/>由复原损失函数/>和正则项损失函数/>构成的噪声图像引导去模糊损失函数和模糊图像引导去噪损失函数(即：辅助损失函数/>)组成。
噪声图像引导去模糊损失函数以长曝光模糊图像作为输入，噪声图像作为目标图像来训练复原模型的去模糊过程。模糊图像引导去噪图像去噪损失函数提取出模糊图像中的锐利区域，使用这些锐利区域为噪声图像的自监督去噪提供部分监督，辅助噪声图像的去噪过程。
本发明在测试阶段，可以输入长短曝光图像对直接输入训练后的图像复原模型D中进行复原。相比于现有技术中联合长短曝光图像对有监督图像复原方法，本发明无需额外的清晰图像，并且取消了现有技术中依赖于有监督学习模型对复原模型参数学习的方式，本发明以自监督方式学习模型参数。本发明图像复原结果在实际场景图像的视觉效果上更加真实逼真，有效地缓解了其他方法的结果伪影较多、不真实的问题。本发明可以直接部署在手机等成像设备上，以在低光条件下获得更清晰干净的图像。
附图说明
图1为实施例提及的近邻子采样操作的原理示意图；其中，a1至a9分别为子采样操作g1(·)后的图像中第1至第9像素点；b1至b9分别为子采样操作g2(·)后的图像第1至第9像素点；
图2为本发明所述的基于长短曝光图像对的自监督图像复原***的原理框图；
图3为实施例提及的图像复原模型D的结构示意图；
图4为在高斯噪声下利用相同的图像复原模型的网络结构的条件下，采用不同图像复原方法进行图像复原时输出的复原图像的视觉比较图；
图5为在泊松噪声下利用相同的图像复原模型的网络结构的条件下，采用不同图像复原方法进行图像复原时输出的复原图像的视觉比较图；
图6表示在传感器噪声下利用相同的图像复原模型的网络结构的条件下，采用不同图像复原方法进行图像复原时输出的复原图像的视觉比较图；
图7表示在真实场景图像下利用相同的图像复原模型的网络结构的条件下，采用不同图像复原方法进行图像复原时输出的复原图像的视觉比较图；
在图4至7中，每副图中的，图(a)表示输入噪声图像；
图(b)表示现有的有监督的学习方法进行图像复原时，仅利用图(a)的噪声图像作为图像复原模型的输入，进行图像复原后的结果示意图；
图(c)表示采用N2V方法进行图像复原时，仅利用图(a)的噪声图像作为图像复原模型的输入，进行图像复原后的结果示意图；
图(d)表示采用Latine19-pme方法进行图像复原时，仅利用图(a)的噪声图像作为图像复原模型的输入，进行图像复原后的结果示意图；
图(e)表示采用DBSN方法进行图像复原时，仅利用图(a)的噪声图像作为图像复原模型的输入，进行图像复原后的结果示意图；
图(f)表示采用R2R方法进行图像复原时，仅利用图(a)的噪声图像作为图像复原模型的输入，进行图像复原后的结果示意图；
图(g)表示输入模糊图像；
图(h)表示现有的有监督的学习方法进行图像复原时，仅利用图(g)的模糊图像作为图像复原模型的输入，进行图像复原后的结果示意图；
图(i)表示采用Neighbor2Neighbor方法进行图像复原时，仅利用图(a)的噪声图像作为图像复原模型的输入，进行图像复原后的结果示意图；
图(j)表示采用Blind2Unblind方法进行图像复原时，仅利用图(a)的噪声图像作为图像复原模型的输入，进行图像复原后的结果示意图；
图(k)表示本发明所述自监督图像复原***进行图像复原时，将图(a)的噪声图像和图(g)的模糊图像作为像复原模型的输入，进行图像复原后的结果示意图；
图(p)表示有监督的学习方法进行图像复原时，将图(a)的噪声图像和图(g)的模糊图像作为像复原模型的输入，进行图像复原后的结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
参见图1和图2说明本实施方式，本实施方式所述的基于长短曝光图像对的自监督图像复原***，包括图像复原模型D、损失函数计算模块、第一子采样模块和近邻子采样模块；
第一子采样模块，用于对模糊图像IB进行子采样操作获得采样后的模糊图像g1(IB)；
近邻子采样模块，用于对噪声图像IN进行近邻子采样操作获得近邻子采样图像对，其中，近邻子采样图像对包括采样后的第一噪声图像g1(IN)和采样后的第二噪声图像g2(IN)；
模糊图像IB和噪声图像IN分别为同一场景下的长曝光模糊图像和短曝光噪声图像，采样后的模糊图像g1(IB)和采样后的第一噪声图像g1(IN)同时作为图像复原模型D的输入，对图像复原模型D进行训练；
图像复原模型D，根据接收的采样后的模糊图像g1(IB)和采样后的第一噪声图像g1(IN)进行图像复原，输出复原图像D(g1(IB)，g1(IN))；
损失函数计算模块，用于根据采样后的模糊图像g1(IB)和复原图像D(g1(IB)，g1(IN))确定辅助损失函数还用于根据采样后的第二噪声图像g2(IN)和复原图像D(g1(IB)，g1(IN))确定复原损失函数/>还用于根据采样后的第二噪声图像g2(IN)、复原图像D(g1(IB)，g1(IN))、模糊图像IB以及噪声图像IN确定正则项损失函数/>还用于根据辅助损失函数/>复原损失函数/>和正则项损失函数/>确定图像复原模型D的损失函数/>并利用损失函数/>对图像复原模型D的卷积参数进行更新，实现对图像复原模型D以自监督的方式进行卷积参数学习。
本实施方式中，由复原损失函数和正则项损失函数/>构成的噪声图像引导去模糊损失函数，辅助损失函数/>作为模糊图像引导去噪损失函数。本发明无需额外的清晰图像作为目标图像，并且取消了现有技术中依赖于有监督学习模型对复原模型参数学习的方式，本发明在图像复原模型D训练阶段采用自监督的方式进行参数学习。且自监督的方式进行参数学习的过程中，确定图像复原模型D的损失函数/>并利用损失函数/>对图像复原模型D的卷积参数进行更新，实现对图像复原模型D以自监督的方式进行卷积参数学习。
应用时，在训练图像复原模型D时，当直接将长短曝光图像作为模型输入时，难以使用自监督的方式学习图像复原模型的参数。借助Neighbor2Neighbor的结论，在训练图像复原模型时，本发明首先采用近邻子采样操作对长短曝光图像进行处理。
近邻子采样操作为现有技术，具体参见图1，其过程为：先将原图像划分为2*2的图像块，然后对于每个图像块，从中选取两个相邻的像素，所有图像块内的两个相邻像素分别组合起来构成两个近邻子采样图像。定义近邻子采样操作中的两个子采样操作分别为g1(·)和g2(·)。
Neighbor2Neighbor表明从噪声图像IN中采样出两个子图像，即分别为采样后的第一噪声图像g1(IN)和采样后的第二噪声图像g2(IN)、且两个图像的噪声是相互独立的，g1(IN)和g2(IN)可以分别作为输入图像和目标图像来训练图像复原模型D，且采样后的第一噪声图像g1(IN)和采样后的第二噪声图像g2(IN)是对同一噪声图像IN采样后对应位置的像素在原噪声图像IN中相邻。
本发明若对模糊图像IB进行近邻子采样得到两张子图g1(IB)和g2(IB)。根据前面对噪声图像引导去模糊的叙述和证明，g1(IB)和g2(IN)可分别作为输入图像和目标图像来训练去模糊模型。联合Neighbor2Neighbor的结论，故本发明将g1(IN)和g1(IB)同时作为图像复原模型D的输入，将g2(IN)作为目标图像，来训练基于长短曝光图像对的图像复原模型D。
应用时，图像复原模型D可采用现有的复原模型实现，其模型训练次数、及图像复原模型D的卷积参数更新次数，以预设时间为准，结束图像复原模型D的卷积参数更新后，也即：结束对图像复原模型D训练后，测试或应用阶段可直接将基于长短曝光图像对(即：噪声图像和模糊图像)作为训练后的图像复原模型D的输入，该训练后的图像复原模型D可直接输出复原后的图像。
更进一步的，
其中，λreg为正则项损失函数的权重；λaux为辅助损失函数的权重。
本优选实施方式，采用上述计算公式损失函数具有的好的效果是联合了噪声图像引导去模糊损失函数和模糊图像引导去噪损失函数(即：辅助损失函数/>)，计算出的损失函数/>的损失值能让图像复原模型D的网络参数朝着更好的方向更新。
更进一步的，λreg＝λaux＝2。
更进一步的，损失函数计算模块根据采样后的模糊图像g1(IB)和复原图像D(g1(IB)，g1(IN))确定辅助损失函数的实现方式包括：
S11、将采样后的模糊图像g1(IB)和复原图像D(g1(IB)，g1(IN))均被分割成N个大小相同的图像块，分割后的图像块分别定义为On和g1(IB)n；On和g1(IB)n之间存在对应关系，n和N均为整数；
On为复原图像D(g1(IB)，g1(IN))被分割后的第n个图像块；1≤n≤N；
g1(IB)n为采样后的模糊图像g1(IB)被分割后的第n个图像块；
S12、将On和g1(IB)n作为一组图像块，根据该组图像块确定图像块g1(IB)n的锐利值mn，且当mn取值为1时，则认定图像块g1(IB)n为锐利区域；当取值为0时，则认定图像块g1(IB)n为非锐利区域；其中，
mn为采样后的模糊图像g1(IB)中第n个图像块的锐利值；
S13、根据采样后的模糊图像g1(IB)的锐利区域，确定辅助损失函数
本优选实施方式中，辅助损失函数用于引导图像复原模型D对采样后的第一噪声图像g1(IN)进行去噪。具体应用时，提取出模糊图像中的锐利区域，使用这些锐利区域为噪声图像的自监督去噪提供部分监督，辅助去噪过程。在由物体运动导致模糊的图像中，静态场景有时相对锐利，这些锐利的区域有助于为去噪提供部分的监督信息。
具体应用时，本发明可先将图像复原模型D训练时的输出的复原图像D(g1(IB)，g1(IN))(也即：O)和对应的子采样后的模糊图像g1(IB)分成N个互不相交的32×32大小的图像块，划分后的图像块分别定义为On和g1(IB)n(1≤n≤N)。对于每一组输出图像块On和模糊图像块g1(IB)n，目标是得到一个mn∈{0，1}，其中，mn的取值为1或0，当mn为1时，表示图像块On是锐利的。
更进一步的，步骤S12中、
mn＝sgn(max(0，s(g1(IB)n，On)-∈s))*sgn(max(0，var(g1(IB)n)-var(On)-∈v))；
其中，s(·)表示结构相似度度量，var(·)表示方差度量，max(·)表示最大值函数，sgn(·)表示符号函数，∈s和∈v分别表示第一阈值和第二阈值。
本优选实施方式中，mn值的获得方式，可以较为准确的检测出模糊图像中的锐利区域。
更进一步的，步骤S13中，
其中，表示L2范数的平方。
更进一步的，损失函数计算模块根据采样后的第二噪声图像g2(IN)和复原图像D(g1(IB)，g1(IN))确定复原损失函数的实现方式为：
其中，表示L2范数的平方。
本优选实施方式，复原损失函数的实现方式，使得图像复原模型D不会拟合出噪声图像。
更进一步的，损失函数计算模块根据采样后的第二噪声图像g2(IN)、复原图像D(g1(IB)，g1(IN))、模糊图像IB以及噪声图像IN确定正则项损失函数的实现方式为：
其中，为无梯度的图像复原模型/>的输出，且无梯度的图像复原模型与图像复原模型D的结构及卷积参数值均相同，且图像复原模型/>中卷积参数无梯度。
本优选实施方式，获得正则项损失函数的方式，有助于图像复原模型D发挥出更好的复原效果。
更进一步的，利用损失函数对图像复原模型D的参数进行更新采用Adam优化算法实现。
本优选实施方式中，对具有自监督学习功能的图像复原模型D采用Adam优化算法进行端到端的训练。
更进一步的，参见图3，图像复原模型D包括噪声图像编码器至/>模糊图像编码器/>至/>以及解码器D1至D5；
噪声图像编码器至/>的具体操作如下：
噪声图像编码器用于对采样后的模糊图像g1(IB)依次进行第一卷积操作和第一激活操作；
噪声图像编码器用于对噪声图像编码器/>的输出依次进行最大池化、第二卷积操作和第二激活操作；
噪声图像编码器用于对噪声图像编码器/>的输出依次进行最大池化、第三卷积操作和第三激活操作；
噪声图像编码器用于对噪声图像编码器/>的输出依次进行最大池化、第四卷积操作和第四激活操作；
噪声图像编码器用于对噪声图像编码器/>的输出依次进行最大池化、第五卷积操作和第五激活操作；
噪声图像编码器用于对噪声图像编码器/>的输出依次进行最大池化、第六卷积操作和第六激活操作；
模糊图像编码器更/>具体操作如下：
模糊图像编码器用于对采样后的模糊图像g1(IB)依次进行第七卷积操作和第七激活操作；
模糊图像编码器用于对模糊图像编码器/>的输出依次进行最大池化、第八卷积操作和第八激活操作；
模糊图像编码器用于对模糊图像编码器/>的输出依次进行最大池化、第九卷积操作和第九激活操作；
模糊图像编码器用于对模糊图像编码器/>的输出依次进行最大池化、第十卷积操作和第十激活操作；
模糊图像编码器用于对模糊图像编码器/>的输出依次进行最大池化、第十一卷积操作和第十一激活操作；
模糊图像编码器用于对模糊图像编码器/>的输出依次进行最大池化、第十二卷积操作和第十二激活操作；
第一卷积操作至第十二卷积操作均为48个3×3、步长为1、填充为1的卷积操作；第一激活操作至第十二激活操作均采用LeakyReLU函数实现；
解码器D1至D5具体操作如下：
解码器D5对噪声图像编码器和模糊图像编码器/>的输出进行双线性上采样操作，并将上采样后的特征与噪声图像编码器/>和模糊图像编码器/>的输出进行特征融合后，依次进行第十三卷积操作、第十三激活操作、第十四卷积操作和第十四激活操作；
解码器D4对解码器D5的输出进行双线性上采样操作，并将上采样后的特征与噪声图像编码器和模糊图像编码器/>的输出进行特征融合后，依次进行第十五卷积操作、第十五激活操作、第十六卷积操作和第十六激活操作；
解码器D3对解码器D4的输出进行双线性上采样操作，并将上采样后的特征与噪声图像编码器和模糊图像编码器/>的输出进行特征融合后，依次进行第十七卷积操作、第十七激活操作、第十八卷积操作和第十八激活操作；
解码器D2对解码器D3的输出进行双线性上采样操作，并将上采样后的特征与噪声图像编码器和模糊图像编码器/>的输出进行特征融合后，依次进行第十九卷积操作、第十九激活操作、第二十卷积操作和第二十激活操作；
解码器D1对解码器D2的输出进行双线性上采样操作，并将上采样后的特征与噪声图像编码器和模糊图像编码器/>的输出进行特征融合后，依次进行第二十一卷积操作、第二十一激活操作、第二十二卷积操作、第二十二激活操作和第二十三卷积操作；
其中，
第十三卷积操作为96个3×3、步长为1、填充为1的卷积操作；
第十四卷积操作为48个3×3、步长为1、填充为1的卷积操作；
第十五卷积操作为96个3×3、步长为1、填充为1的卷积操作；
第十六卷积操作为48个3×3、步长为1、填充为1的卷积操作；
第十七卷积操作为96个3×3、步长为1、填充为1的卷积操作；
第十八卷积操作为48个3×3、步长为1、填充为1的卷积操作；
第十九卷积操作为96个3×3、步长为1、填充为1的卷积操作；
第二十卷积操作为48个3×3、步长为1、填充为1的卷积操作；
第二十一卷积操作为64个3×3、步长为1、填充为1的卷积操作；
第二十二卷积操作为32个3×3、步长为1、填充为1的卷积操作；
第二十三卷积操作为3个3×3、步长为1、填充为1的卷积操作；
第十三激活操作至第二十二激活操作均采用LeakyReLU函数实现。
本优先实施方式中，给出了图像复原模型D的一种具体网络结构，该种网络结构所具有的技术效果是对模糊图像和噪声图像采取不同的编码器，在解码器端对模糊图像和噪声图像的特征进行融合，从而复原出干净清晰的图像。
噪声图像引导去模糊损失函数由复原损失函数和正则项损失函数/>构成，其以长曝光模糊图像作为复原模型输入，同一场景的噪声图像作为目标图像来训练图像复原模型，下面具体通过公式证明其可行性，具体为：
拍摄长曝光图像时，相机的抖动和被摄物体的移动都会导致拍摄出来的图像存在模糊。使用IB表示模糊图像，模糊图像可以表示成如下形式：
IB＝K(I)+NB；
其中，I表示清晰图，K表示一个非均匀的模糊核，NB表示低强度的噪声。大多数去模糊算法都是利用一个去模糊网络DB从IB中估计I。训练去模糊网络DB的网络参数θB的过程既是优化下列目标函数的过程：
其中，L(·)为自监督训练所使用的损失函数；
为关于IB，I的期望，/>为数值最小时的ΘB值。
在暗光环境下拍摄短曝光图像时，受限于较低的光子总量以及相机数字图像处理***(ISP)的内部缺陷，得到的照片往往充满噪声。其可以用如下公式表示：
IN＝I+NN；
其中，NN表示较大水平的噪声(噪声水平远大于模糊图像IB的噪声NB)。当使用得到的噪声图像IN作为图像去模糊过程中的目标图像时，网络参数可以表示为：
其中，为以IB为条件关于IN的期望，令L(DB(IB；ΘB)，IN)为L2范数损失函数，于是有：/>
其中，
表示以IB为条件关于I和IN的期望，/>为以IB为条件关于I的期望，表示以NB为可被视为一个常量。此外，假设NN是0均值的随机变量，且NN与I独立，就可以得到/>则有：
即使用噪声图像IN作为关于IB的复原模型的目标图像与使用清晰图像I作为关于IB的复原模型的目标图像，最终得到的复原模型效果相同，通过以上，使用噪声图像IN与使用清晰图像I作为关于IB的复原模型的目标图像的效果相同，即两种使用方式可以得到具有相同参数值的复原模型，则可以证明噪声图像可以引导去模糊，而不会复原出有噪声的图像，验证了本发明用噪声图像引导去模糊的理论的可行性。
本发明针对噪声短曝光图像和模糊长曝光图像进行图像复原，与现有的自监督去噪方法以及有监督去噪或者去模糊基线方法相比，本发明所述的基于长短曝光图像对的自监督图像复原***联合长短曝光图像对作为输入，可以复原出更低噪声和更少模糊的图像。相比于当前主流方法，本发明实现了良好的复原性能，在结果的视觉效果上有显著的改善。
验证本发明所述的基于长短曝光图像对的自监督图像复原***，具有视觉效果上有显著的改善，具体可参见图4至图7中的采用本发明方法获得的结果，即：图(k)显示的结果与其他自监督方法得到的结果，即：图(c)、图(d)、图(e)、图(f)、图(i)、图(j)显示的结果和有监督方法得到的结果，即：图(b)和图(h)相比细节更丰富、更清晰，采用本发明方法获得的结果，即：图(k)为自监督显示的结果与有监督方法结果，即图(p)显示的结果基本相当，说明本发明提出的自监督方法甚至可以达到有监督方法的效果，并本发明自监督学习的过程不依赖于清晰的目标图像进行自监督学习，而图(p)中的有监督方法依赖于清晰的目标图像，进行有监督学习。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (7)

1.基于长短曝光图像对的自监督图像复原***，其特征在于，包括图像复原模型D、损失函数计算模块、第一子采样模块和近邻子采样模块；
第一子采样模块，用于对模糊图像IB进行子采样操作获得采样后的模糊图像g1(IB)；
近邻子采样模块，用于对噪声图像IN进行近邻子采样操作获得近邻子采样图像对，其中，近邻子采样图像对包括采样后的第一噪声图像g1(IN)和采样后的第二噪声图像g2(IN)；
模糊图像IB和噪声图像IN分别为同一场景下的长曝光模糊图像和短曝光噪声图像，采样后的模糊图像g1(IB)和采样后的第一噪声图像g1(IN)同时作为图像复原模型D的输入，对图像复原模型D进行训练；
图像复原模型D，根据接收的采样后的模糊图像g1(IB)和采样后的第一噪声图像g1(IN)进行图像复原，输出复原图像D(g1(IB),g1(IN))；
损失函数计算模块，用于根据采样后的模糊图像g1(IB)和复原图像D(g1(IB),g1(IN))确定辅助损失函数还用于根据采样后的第二噪声图像g2(IN)和复原图像D(g1(IB),g1(IN))确定复原损失函数/>还用于根据采样后的第二噪声图像g2(IN)、复原图像D(g1(IB),g1(IN))、模糊图像IB以及噪声图像DN确定正则项损失函数/>还用于根据辅助损失函数/>复原损失函数/>和正则项损失函数/>确定图像复原模型I的损失函数/>并利用损失函数/>对图像复原模型D的卷积参数进行更新，实现对图像复原模型D以自监督的方式进行卷积参数学习；
损失函数计算模块根据采样后的模糊图像g1(IB)和复原图像D(h1(IB),g1(IN))确定辅助损失函数的实现方式包括：
S11、将采样后的模糊图像g1(IB)和复原图像D(g1(IB),g1(IN))均被分割成N个大小相同的图像块，分割后的图像块分别定义为On和g1(IB)n；On和g1(IB)n之间存在对应关系，n和N均为整数；
On为复原图像D(g1(IB),g1(IN))被分割后的第n个图像块；1≤n≤N；
g1(IB)n为采样后的模糊图像g1(IB)被分割后的第n个图像块；
S12、将On和g1(IB)n作为一组图像块，根据该组图像块确定图像块g1(IB)n的锐利值mn，且当mn取值为1时，则认定图像块g1(IB)n为锐利区域；当取值为0时，则认定图像块g1(IB)n为非锐利区域；其中，
mn为采样后的模糊图像g1(IB)中第n个图像块的锐利值；
mn＝sgn(max(0，s(g1(IB)n，Qn)-∈s))*sgn(max(0，var(g1(IB)n)-var(On)-∈v))；
其中，s(·)表示结构相似度度量，var(·)表示方差度量，max(·)表示最大值函数，sgn(·)表示符号函数，∈s和∈v分别表示第一阈值和第二阈值；
S13、根据采样后的模糊图像g1(IB)的锐利区域，确定辅助损失函数
损失函数计算模块根据采样后的第二噪声图像g2(IN)、复原图像D(g1(IB),g1(IN))、模糊图像IB以及噪声图像IN确定正则项损失函数的实现方式为：
其中，为无梯度的图像复原模型/>的输出，且无梯度的图像复原模型与图像复原模型D的结构及卷积参数值均相同，且图像复原模型/>中卷积参数无梯度。
2.根据权利要求1所述的基于长短曝光图像对的自监督图像复原***，其特征在于，
其中，λreg为正则项损失函数的权重；λaux为辅助损失函数的权重。
3.根据权利要求2所述的基于长短曝光图像对的自监督图像复原***，其特征在于，λreg＝λaux＝2。
4.根据权利要求1所述的基于长短曝光图像对的自监督图像复原***，其特征在于，步骤S13中，
其中，表示L2范数的平方。
5.根据权利要求1所述的基于长短曝光图像对的自监督图像复原***，其特征在于，损失函数计算模块根据采样后的第二噪声图像g2(IN)和复原图像D(g1(IB),g1(IN))确定复原损失函数的实现方式为：
其中，表示L2范数的平方。
6.根据权利要求1所述的基于长短曝光图像对的自监督图像复原***，其特征在于，利用损失函数对图像复原模型D的参数进行更新采用Adam优化算法实现。
7.根据权利要求1所述的基于长短曝光图像对的自监督图像复原***，其特征在于，图像复原模型D包括噪声图像编码器至/>模糊图像编码器/>至/>以及解码器D1；至D5；
噪声图像编码器至/>的具体操作如下：
噪声图像编码器用于对采样后的模糊图像g1(IB)依次进行第一卷积操作和第一激活操作；
噪声图像编码器用于对噪声图像编码器/>的输出依次进行最大池化、第二卷积操作和第二激活操作；
噪声图像编码器用于对噪声图像编码器/>的输出依次进行最大池化、第三卷积操作和第三激活操作；
噪声图像编码器用于对噪声图像编码器/>的输出依次进行最大池化、第四卷积操作和第四激活操作；
噪声图像编码器用于对噪声图像编码器/>的输出依次进行最大池化、第五卷积操作和第五激活操作；
噪声图像编码器用于对噪声图像编码器/>的输出依次进行最大池化、第六卷积操作和第六激活操作；
模糊图像编码器至/>具体操作如下：
模糊图像编码器用于对采样后的模糊图像g1(IB)依次进行第七卷积操作和第七激活操作；
模糊图像编码器用于对模糊图像编码器/>的输出依次进行最大池化、第八卷积操作和第八激活操作；
模糊图像编码器用于对模糊图像编码器/>的输出依次进行最大池化、第九卷积操作和第九激活操作；
模糊图像编码器用于对模糊图像编码器/>的输出依次进行最大池化、第十卷积操作和第十激活操作；
模糊图像编码器用于对模糊图像编码器/>的输出依次进行最大池化、第十一卷积操作和第十一激活操作；
模糊图像编码器用于对模糊图像编码器/>的输出依次进行最大池化、第十二卷积操作和第十二激活操作；
第一卷积操作至第十二卷积操作均为48个3×3、步长为1、填充为1的卷积操作；第一激活操作至第十二激活操作均采用LeakyReLU函数实现；
解码器D1至D5具体操作如下：
解码器D5对噪声图像编码器和模糊图像编码器/>的输出进行双线性上采样操作，并将上采样后的特征与噪声图像编码器/>和模糊图像编码器/>的输出进行特征融合后，依次进行第十三卷积操作、第十三激活操作、第十四卷积操作和第十四激活操作；
解码器D4对解码器D5的输出进行双线性上采样操作，并将上采样后的特征与噪声图像编码器和模糊图像编码器/>的输出进行特征融合后，依次进行第十五卷积操作、第十五激活操作、第十六卷积操作和第十六激活操作；
解码器D3对解码器D4的输出进行双线性上采样操作，并将上采样后的特征与噪声图像编码器和模糊图像编码器/>的输出进行特征融合后，依次进行第十七卷积操作、第十七激活操作、第十八卷积操作和第十八激活操作；
解码器D2对解码器D3的输出进行双线性上采样操作，并将上采样后的特征与噪声图像编码器和模糊图像编码器/>的输出进行特征融合后，依次进行第十九卷积操作、第十九激活操作、第二十卷积操作和第二十激活操作；
解码器D1对解码器D2的输出进行双线性上采样操作，并将上采样后的特征与噪声图像编码器和模糊图像编码器/>的输出进行特征融合后，依次进行第二十一卷积操作、第二十一激活操作、第二十二卷积操作、第二十二激活操作和第二十三卷积操作；
其中，
第十三卷积操作为96个3×3、步长为1、填充为1的卷积操作；
第十四卷积操作为48个3×3、步长为1、填充为1的卷积操作；
第十五卷积操作为96个3×3、步长为1、填充为1的卷积操作；
第十六卷积操作为48个3×3、步长为1、填充为1的卷积操作；
第十七卷积操作为96个3×3、步长为1、填充为1的卷积操作；
第十八卷积操作为48个3×3、步长为1、填充为1的卷积操作；
第十九卷积操作为96个3×3、步长为1、填充为1的卷积操作；
第二十卷积操作为48个3×3、步长为1、填充为1的卷积操作；
第二十一卷积操作为64个3×3、步长为1、填充为1的卷积操作；
第二十二卷积操作为32个3×3、步长为1、填充为1的卷积操作；
第二十三卷积操作为3个3×3、步长为1、填充为1的卷积操作；
第十三激活操作至第二十二激活操作均采用LeakyReLU函数实现。
CN202211165701.1A 2022-09-23 2022-09-23 基于长短曝光图像对的自监督图像复原*** Active CN115564671B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211165701.1A CN115564671B (zh) 2022-09-23 2022-09-23 基于长短曝光图像对的自监督图像复原***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211165701.1A CN115564671B (zh) 2022-09-23 2022-09-23 基于长短曝光图像对的自监督图像复原***

Publications (2)

Publication Number Publication Date
CN115564671A CN115564671A (zh) 2023-01-03
CN115564671B true CN115564671B (zh) 2024-05-03

Family

ID=84741173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211165701.1A Active CN115564671B (zh) 2022-09-23 2022-09-23 基于长短曝光图像对的自监督图像复原***

Country Status (1)

Country Link
CN (1) CN115564671B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966277A (zh) * 2015-07-10 2015-10-07 浙江大学 一种基于长短曝光图像对的图像复原方法
CN110378845A (zh) * 2019-06-17 2019-10-25 杭州电子科技大学 一种基于卷积神经网络的极端条件下的图像修复方法
CN110992272A (zh) * 2019-10-18 2020-04-10 深圳大学 基于深度学习的暗光图像增强方法、装置、设备及介质
CN111064904A (zh) * 2019-12-26 2020-04-24 深圳深知未来智能有限公司 一种暗光图像增强方法
CN111986084A (zh) * 2020-08-03 2020-11-24 南京大学 一种基于多任务融合的多相机低光照图像质量增强方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11521011B2 (en) * 2019-06-06 2022-12-06 Samsung Electronics Co., Ltd. Method and apparatus for training neural network model for enhancing image detail

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966277A (zh) * 2015-07-10 2015-10-07 浙江大学 一种基于长短曝光图像对的图像复原方法
CN110378845A (zh) * 2019-06-17 2019-10-25 杭州电子科技大学 一种基于卷积神经网络的极端条件下的图像修复方法
CN110992272A (zh) * 2019-10-18 2020-04-10 深圳大学 基于深度学习的暗光图像增强方法、装置、设备及介质
CN111064904A (zh) * 2019-12-26 2020-04-24 深圳深知未来智能有限公司 一种暗光图像增强方法
CN111986084A (zh) * 2020-08-03 2020-11-24 南京大学 一种基于多任务融合的多相机低光照图像质量增强方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Low-light Image Restoration with Short- and Long-exposure Raw Pairs;Meng Chang;《arXiv》;20210228;1-13 *
Neighbor2Neighbor：Self-Supervised Denoising from Single Noisy Images;Tao Huang 等;《2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20211102;14776-14785 *
Self-Supervised Image Restoration with Blurry and Noisy Pairs;Zhilu Zhang 等;《arXiv》;20221114;1-17 *
光学遥感图像质量提升及评价技术研究;崔光茫;《中国博士学位论文全文数据库信息科技辑》;20170215;I140-154 *

Also Published As

Publication number Publication date
CN115564671A (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN111539879B (zh) 基于深度学习的视频盲去噪方法及装置
CN109102462B (zh) 一种基于深度学习的视频超分辨率重建方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及***
CN110097509B (zh) 一种局部运动模糊图像的复原方法
Tai et al. Coded exposure imaging for projective motion deblurring
Marinč et al. Multi-kernel prediction networks for denoising of burst images
CN109345474A (zh) 基于梯度域和深度学习的图像运动模糊盲去除方法
CN106169173B (zh) 一种图像插值方法
CN111553867B (zh) 一种图像去模糊方法、装置、计算机设备及存储介质
CN112164011A (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
KR101341871B1 (ko) 비디오 디블러링 방법 및 그 장치
Rasheed et al. LSR: Lightening super-resolution deep network for low-light image enhancement
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
Chang et al. Beyond camera motion blur removing: How to handle outliers in deblurring
CN115564671B (zh) 基于长短曝光图像对的自监督图像复原***
CN113256565A (zh) 运动模糊图像智能复原方法
Yang et al. Image deblurring utilizing inertial sensors and a short-long-short exposure strategy
Zhao et al. An improved image deconvolution approach using local constraint
CN113012071B (zh) 一种基于深度感知网络的图像失焦去模糊方法
CN115035013A (zh) 图像处理方法、图像处理装置、终端及可读存储介质
CN116091337A (zh) 一种基于事件信号神经编码方式的图像增强方法及装置
Liu et al. Robust guided image filtering
Noor et al. Multi-frame super resolution with deep residual learning on flow registered non-integer pixel images
CN110121016B (zh) 一种基于双重曝光先验的视频去模糊方法及装置
CN115018726A (zh) 一种基于U-Net的图像非均匀模糊核的估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant