CN117252782A - 基于条件去噪扩散和掩膜优化的图像修复方法 - Google Patents

基于条件去噪扩散和掩膜优化的图像修复方法 Download PDF

Info

Publication number
CN117252782A
CN117252782A CN202311436266.6A CN202311436266A CN117252782A CN 117252782 A CN117252782 A CN 117252782A CN 202311436266 A CN202311436266 A CN 202311436266A CN 117252782 A CN117252782 A CN 117252782A
Authority
CN
China
Prior art keywords
image
mask
diffusion
images
conditional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311436266.6A
Other languages
English (en)
Inventor
侯向丹
张子申
刘洪普
陈泉松
孙晓凯
周世昌
肖奕霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202311436266.6A priority Critical patent/CN117252782A/zh
Publication of CN117252782A publication Critical patent/CN117252782A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明为一种基于条件去噪扩散和掩膜优化的图像修复方法,首先获取受损图像,得到数据集;然后,搭建掩膜优化网络;掩膜优化网络对输入图像进行进行卷积和层归一化操作,层归一化后的特征经过展平和线性嵌入,得到一维向量;一维向量经过局部自注意力计算得到权重评分矩阵,对权重评分矩阵的所有权重评分进行降序排列,选取权重评分高的多个像素位置,在受损图像中将这些像素位置标记为已修复区域,对掩膜进行更新;最后,将掩膜作为算子对受损图像进行值零空间分解,值零空间分解得到的图像用于条件去躁扩散模型的后向逆扩散。生成修复后的图像;利用数据集对腌膜优化网络和条件去躁扩散模型进行训练,训练后的掩膜优化网络和条件去躁扩散模型组成修复模型。该方法采用掩膜算子优化机制对图像的待修复区域进行针对性修复,缩小了修复区域的大小。

Description

基于条件去噪扩散和掩膜优化的图像修复方法
技术领域
本发明属于图像修复处理领域,具体涉及一种基于条件去噪扩散和掩膜优化的图像修复方法。
背景技术
图像修复的主要目的是对图像进行去噪、超分辨率处理和去除图中特定元素等,随着AI技术的发展,图像修复也在发展不同的任务形式,例如水印去除、老旧照片修复等。
现有的图像修复技术可分为传统图像修复和基于深度学习的图像修复,传统的图像修复方法通常依赖于周围的像素点,通过插值技术修复目标点,这种方法需要严格的数学推导过程。由于过度依赖严格的数学推导,传统图像修复方法的迭代速度较慢,且在面对大面积的修复任务时,通常难以理解图像的语义信息或者语义信息理解错误,导致修复图像出现内容错误。相较之下,基于深度学习的图像修复方法能够通过学习大量的数据,使模型具有较强处理大面积图像修复任务的能力,但是由于模型生成能力不足,仍在不同程度上存在图像层面、人物层面合成不够真实清晰自然的问题,比如图片出现伪影、图像失真或纹理模糊等。因此,本发明提出一种基于条件去躁扩散和腌膜优化的图像修复方法。
发明内容
针对现有技术的不足,本发明拟解决的技术问题是,提供一种基于条件去噪扩散和掩膜优化的图像修复方法。
为达到上述目的,本发明采用如下的技术方案:
一种基于条件去躁扩散和掩膜优化的图像修复方法,其特征在于,该方法包括以下步骤:
步骤一:获取受损图像,若干张受损图像组成数据集;
步骤二:搭建掩膜优化网络;掩膜优化网络对输入图像进行进行卷积和层归一化操作,层归一化后的特征经过展平和线性嵌入,得到一维向量;一维向量经过局部自注意力计算得到权重评分矩阵,对权重评分矩阵的所有权重评分进行降序排列,选取权重评分高的多个像素位置,在受损图像中将这些像素位置标记为已修复区域,对掩膜进行更新;
步骤三:利用条件去躁扩散模型生成修复后的图像;去躁扩散模型包括前向加噪和后向逆扩散两个过程,在后向逆扩散过程中,第t轮迭代的噪声图像xt表示为:
其中,αt=1-βt,βt为权重参数,x0为受损图像,Zt为高斯噪声;
将掩膜作为算子,通过下式对受损图像进行值零空间分解;
其中,x0|t为第t轮迭代对应的受损图像,为x0|t经过分解计算后的图像,M't为第t轮迭代的掩膜算子,/>为掩膜算子M't的伪逆,I为单位矩阵,y表示原始的受损图像;
后向逆扩散公式为:
式中,xt-1为第t-1轮迭代的噪声图像,∈为随机噪声;
步骤四:使用数据集对腌膜优化网络和条件去躁扩散模型进行训练,训练后的掩膜优化网络和条件去躁扩散模型组成修复模型,将受损图像输入到修复模型中,生成修复后的图像。
进一步的,在步骤二中,受损图像被均匀分割为多张子图像,子图像作为掩膜优化网络的输入图像;所有子图像经过掩膜优化网络得到的图像再进行拼接,得到拼接图像;拼接图像被均匀分割为多张子图像,这些子图像作为下一轮迭代掩膜优化网络的输入图像,以此重复通过迭代对掩膜进行优化。
进一步的,在训练过程中通过下述的目标优化函数计算损失:
L=λ1L12L2 (9)
其中,λ1和λ2为超参数,L1为均方误差,L2为感知损失。
与现有技术相比,本发明的有益效果为:
1、本发明提出的图像修复方法采用了从图像到图像的修复方式,具有更高的计算效率,可以高效率的实时处理;具有良好的通用性,在多种应用场景中提供高效的图像修复服务;具有更好的学习能力,通过不断地训练和学习,模型可以为不同受损程度的图像提供更好的修复效果。利用掩膜算子优化机制,通过局部自注意力机制对掩膜进行优化,在去躁扩散模型的后向逆扩散过程中,上一轮迭代得到的优化后的掩膜作为下一轮迭代掩膜优化的输入,进而对受损图像的待修复区域进行针对性修复,显著减少了修复区域的大小,减少了计算量。
2、本发明使用改进的值零空间分解算法,利用掩膜算子将图像分解为值空间和零空间两部分,值空间包含图像的主题信息内容,用于构建图像的主体部分,零空间用于图像的纹理细节信息,可以为图像提供更加丰富的纹理细节,使修复后的图像更加清晰,通过值空间和零空间二者的相互结合,共同组成条件去躁扩散模型的先验知识,更好地指导模型对图像受损区域进行修复,使图像修复的内容更合理,纹理更加清晰,显著提升了生成图像的清晰度。
附图说明
图1为本发明的整体流程图;
图2为本发明的掩膜优化网络的结构图;
图3为本发明的去躁扩散模型的前向加噪的示意图;
图4为本发明的去躁扩散模型的后向逆扩散的示意图;
图5为本发明方法对于不同对象的修复结果对比;
图6为不同方法对于不同对象的修复结果对比。
具体实施方式
下面结合附图和具体实施方式进一步阐明本发明的技术方案,并不以此限制本申请的保护范围。
本发明提供一种基于条件去躁扩散和掩膜优化的图像修复方法(简称方法,参见图1~6),通过以下步骤实现:
步骤一:从常规图像修复的输入输出数据中采样得到图像对,图像对由一张受损图像和一张完整图像组成;若干图像对组成数据集;
步骤二:搭建掩膜优化网络,利用掩膜优化网络对受损图像的掩膜进行优化;
将受损图像被分割为多张等大小的子图像,子图像输入到掩膜优化网络中进行卷积和层归一化操作,减少噪声对计算结果的影响;将层归一化后的特征进行展平和线性嵌入,得到一维向量;展平是将多维数据转换为一维数据,便于序列处理;线性嵌入则降低数据维度,减少计算负担并提取重要特征;展平和线性嵌入这两步操作提高了计算效率,使模型能够适应不同类型的输入;
一维向量经过局部自注意力机制进行局部自注意力计算,得到权重评分矩阵,权重评分矩阵反映了子图像各像素位置的权重评分;对权重评分矩阵的所有权重评分进行降序排列,选取权重评分高的N个像素位置,在受损图像中将这N个像素位置标记为已修复区域,对掩膜进行更新;
所有子图像经过掩膜优化网络得到的图像进行拼接,得到拼接图像;拼接图像被均匀分割为多张子图像,这些子图像作为下一轮迭代掩膜优化网络的输入图像,以此重复通过迭代对掩膜进行优化,经过多轮迭代后掩膜会明显收缩;与直接使用原始掩膜相比,掩膜优化能够更有针对性地进行空间分解,更好地帮助去噪扩散模型生成修复后的图像,进而提高图像修复的质量。
步骤三:利用条件去躁扩散模型生成修复后的图像;去躁扩散模型包括前向加噪和后向逆扩散两个过程,前向加噪过程使用高斯噪声对受损图像的待修复区域进行加噪,生成噪声图像;后向逆扩散过程以条件扩散的方式对噪声图像进行去噪,经过多轮迭代生成修复后的图像;
前向加噪过程是一个在受损图像x0的待修复区域逐步引入高斯噪声,生成噪声图像xT的过程;其中,T表示总的迭代轮次,第t轮迭代生成的噪声图像xt表示为:
其中,βt为人为定义的一组权重参数,xt-1为第t-1轮迭代生成的噪声图像,Zt为高斯噪声;
后向逆扩散过程是一个对噪声图像xT逐步去躁,生成图像x0的过程;在后向逆扩散过程中每轮迭代都倾向于去除前向加噪过程中添加的噪声,UNet网络根据噪声图像xT生成第T轮迭代的随机正态分布变量,再根据随机正态分布变量和第T-1轮迭代的噪声图像xT-1生成第T-1轮迭代的随机正态分布变量,以此迭代预测生成修复图像;
令1-βt=αt,噪声图像xt可以表示为:
将步骤二得到的掩膜作为算子,利用值零空间分解算法对受损图像进行分解计算,值零空间分解计算公式为:
其中,等式右边第一项和第二项分别表示值空间和零空间,x0|t为第t轮迭代对应的受损图像,为x0|t经过分解计算后的图像,M't为第t轮迭代的掩膜算子,/>为掩膜算子M't的伪逆,I为单位矩阵,y表示原始的受损图像;
后向逆扩散公式为:
式中,∈为随机噪声;
条件扩散的主要思想是从一个随机的初始状态(例如高斯噪声)开始,通过逐步扩散使初始状态逐渐接近目标分布,在这个过程中UNet网络的作用是提供一个指导信息,确保扩散过程朝着正确的方向发展;在扩散过程中,每轮迭代都可以看作是在模拟一个随机过程,该过程受到信息指导,具体来说,UNet网络用于评估当前状态与目标状态分布的接近程度,并提供一个梯度信号,以指示如何更新当前状态使其更接近目标状态分布。在本发明中,通过掩膜算子将受损图像进行值零空间分解,本质上保留有效值域信息,重建零域信息,零域信息作为UNet网络计算的信息;将UNet网络记为C,将当前状态x和迭代轮次t作为输入,输出随机正态分布变量,通过softmax函数将随机正态分布变量转换为概率分布P;
P=softmax(C(x,t)) (6)
交叉熵损失函数定义为:
CE(y,P)=-∑iyilog(Pi) (7)
为了更接近于真实分布,通过计算交叉熵损失相对与当前状态x的梯度,利用这个梯度来更新x,以减少损失;梯度计算公式为:
最终,通过多次迭代,条件去躁扩散模型能够生成与目标状态分布相似的样本,即修复后的图像。
步骤四:使用数据集对腌膜优化网络和条件去躁扩散模型进行训练,使用均方误差和感知损失的联合损失作为目标优化函数,表达式为:
L=λ1L12L2 (9)
其中,λ1和λ2为超参数,取值在0和1之间;L1为均方误差,L2为感知损失;
训练后的掩膜优化网络和条件去躁扩散模型组成修复模型,将修复模型用于图像修复。
利用公共数据集Celeba256和ImageNet验证本发明方法的有效性,通过PSNR、SSIM、FID三种指标来评估图像修复质量。PSNR(Peak Signal-to-Noise Ratio)是衡量两幅图像差异程度的指标,通过比较原始图像和修复后的图像来评估图像质量,PSNR值越高,表示图像质量损失越低,但它未考虑人眼的视觉感知特性,有时不能准确反映人类视觉体验。SSIM(结构相似性)是一个全参考图像质量评价指标,通过比较两幅图像的亮度、对比度和结构来衡量它们的相似度。SSIM值的范围是-1到1,值越接近1,表示图像相似度越高。与PSNR不同,SSIM在设计时考虑了人眼的视觉特性,更能反映人的视觉感受。FID(FréchetInception Distance)是用于衡量生成图像与真实图像之间分布的差异的指标。它通过Inception V3模型计算两个图像集合的特征向量,然后计算特征向量的Fréchet距离。FID值越低,表示生成图像的分布与真实图像的分布越接近,通常认为FID是评估生成模型性能的重要指标,具有较高的优先级。
表1和表2为不同数据集下不同模型的测试结果,与现有的修复模型对比,本发明方法在PSNR、SSIM、FID三种指标上都取得了良好表现,本发明的PSNR值优于对比模型,说明使用条件去噪扩散模型使得修复图像的质量损失低;SSIM值优于对比模型,说明改进的值零空间分解算法可以有效还原生成内容的图像结构;FID值优于对比模型,说明掩膜优化机制可以有效增强生成图像的纹理细节和清晰度。
表1Celeba256数据集下不同模型的测试结果
表2ImageNet数据集下不同模型的测试结果
图5为本发明方法对于不同对象的修复结果对比,图6为不同方法对于不同对象的修复结果对比。从图中可以看出,受损图像经过修复处理后可以有效生成符合原始图像语义的内容,同时修复结果具有相应的图像结构和纹理细节,修复后的图像具有良好的清晰度。
本发明未述及之处适用于现有技术。

Claims (3)

1.一种基于条件去躁扩散和掩膜优化的图像修复方法,其特征在于,该方法包括以下步骤:
步骤一:获取受损图像,若干张受损图像组成数据集;
步骤二:搭建掩膜优化网络;掩膜优化网络对输入图像进行进行卷积和层归一化操作,层归一化后的特征经过展平和线性嵌入,得到一维向量;一维向量经过局部自注意力计算得到权重评分矩阵,对权重评分矩阵的所有权重评分进行降序排列,选取权重评分高的多个像素位置,在受损图像中将这些像素位置标记为已修复区域,对掩膜进行更新;
步骤三:利用条件去躁扩散模型生成修复后的图像;去躁扩散模型包括前向加噪和后向逆扩散两个过程,在后向逆扩散过程中,第t轮迭代的噪声图像xt表示为:
其中,αt=1-βt,βt为权重参数,x0为受损图像,Zt为高斯噪声;
将掩膜作为算子,通过下式对受损图像进行值零空间分解;
其中,x0|t为第t轮迭代对应的受损图像,为x0|t经过分解计算后的图像,M't为第t轮迭代的掩膜算子,/>为掩膜算子M't的伪逆,I为单位矩阵,y表示原始的受损图像;
后向逆扩散公式为:
式中,xt-1为第t-1轮迭代的噪声图像,∈为随机噪声;
步骤四:使用数据集对腌膜优化网络和条件去躁扩散模型进行训练,训练后的掩膜优化网络和条件去躁扩散模型组成修复模型,将受损图像输入到修复模型中,生成修复后的图像。
2.根据权利要求1所述的基于条件去躁扩散和掩膜优化的图像修复方法,其特征在于,在步骤二中,受损图像被均匀分割为多张子图像,子图像作为掩膜优化网络的输入图像;所有子图像经过掩膜优化网络得到的图像再进行拼接,得到拼接图像;拼接图像被均匀分割为多张子图像,这些子图像作为下一轮迭代掩膜优化网络的输入图像,以此重复通过迭代对掩膜进行优化。
3.根据权利要求1或2所述的基于条件去躁扩散和掩膜优化的图像修复方法,其特征在于,在训练过程中通过下述的目标优化函数计算损失:
L=λ1L12L2 (9)
其中,λ1和λ2为超参数,L1为均方误差,L2为感知损失。
CN202311436266.6A 2023-11-01 2023-11-01 基于条件去噪扩散和掩膜优化的图像修复方法 Pending CN117252782A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311436266.6A CN117252782A (zh) 2023-11-01 2023-11-01 基于条件去噪扩散和掩膜优化的图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311436266.6A CN117252782A (zh) 2023-11-01 2023-11-01 基于条件去噪扩散和掩膜优化的图像修复方法

Publications (1)

Publication Number Publication Date
CN117252782A true CN117252782A (zh) 2023-12-19

Family

ID=89133345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311436266.6A Pending CN117252782A (zh) 2023-11-01 2023-11-01 基于条件去噪扩散和掩膜优化的图像修复方法

Country Status (1)

Country Link
CN (1) CN117252782A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745593A (zh) * 2023-12-29 2024-03-22 湖北大学 一种基于扩散模型老照片划痕修复方法与***
CN118096762A (zh) * 2024-04-28 2024-05-28 齐鲁工业大学(山东省科学院) 一种基于动态扩散深度神经网络的图像恢复方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745593A (zh) * 2023-12-29 2024-03-22 湖北大学 一种基于扩散模型老照片划痕修复方法与***
CN117745593B (zh) * 2023-12-29 2024-07-05 湖北大学 一种基于扩散模型老照片划痕修复方法与***
CN118096762A (zh) * 2024-04-28 2024-05-28 齐鲁工业大学(山东省科学院) 一种基于动态扩散深度神经网络的图像恢复方法
CN118096762B (zh) * 2024-04-28 2024-07-16 齐鲁工业大学(山东省科学院) 一种基于动态扩散深度神经网络的图像恢复方法

Similar Documents

Publication Publication Date Title
Liang et al. Details or artifacts: A locally discriminative learning approach to realistic image super-resolution
WO2021022929A1 (zh) 一种单帧图像超分辨率重建方法
CN117252782A (zh) 基于条件去噪扩散和掩膜优化的图像修复方法
CN106127688B (zh) 一种超分辨率图像重建方法及其***
CN107633520A (zh) 一种基于深度残差网络的超分辨率图像质量评估方法
Xu et al. Pixel-level non-local image smoothing with objective evaluation
CN110796622B (zh) 一种基于串联神经网络多层特征的图像比特增强方法
CN113298734B (zh) 一种基于混合空洞卷积的图像修复方法及***
CN114494015B (zh) 基于盲超分辨率网络的图像重建方法
CN108537734A (zh) 基于梯度轮廓例子字典和加权自适应p范数的单幅图像超分辨率重建方法
CN113870128A (zh) 一种基于深度卷积对抗式网络的数字壁画图像修复方法
CN113191983A (zh) 一种基于深度学习注意力机制的图像去噪方法及装置
CN111489305B (zh) 基于强化学习的图像增强方法
CN117575915A (zh) 一种图像超分辨率重建方法、终端设备及存储介质
CN113487512B (zh) 一种基于边缘信息指导的数字图像修复方法及装置
CN114926883A (zh) 一种满足多种降质模型的人脸图像处理方法
CN117197627B (zh) 一种基于高阶退化模型的多模态图像融合方法
Wu et al. Lightweight asymmetric convolutional distillation network for single image super-resolution
Feng et al. Real-world non-homogeneous haze removal by sliding self-attention wavelet network
CN116416161A (zh) 一种改进生成对抗网络的图像修复方法
CN113378980B (zh) 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法
CN115512108A (zh) 一种基于不确定性的半监督oct图像视网膜分割方法
Mohite et al. Image inpainting with contextual attention and partial convolution
CN114841895A (zh) 一种基于双向映射网络的图像阴影去除方法
CN114862696A (zh) 一种基于轮廓和语义引导的人脸图像修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination