CN115272130A - 基于多光谱级联归一化的图像去摩尔纹***及方法 - Google Patents

基于多光谱级联归一化的图像去摩尔纹***及方法 Download PDF

Info

Publication number
CN115272130A
CN115272130A CN202211007177.5A CN202211007177A CN115272130A CN 115272130 A CN115272130 A CN 115272130A CN 202211007177 A CN202211007177 A CN 202211007177A CN 115272130 A CN115272130 A CN 115272130A
Authority
CN
China
Prior art keywords
moire
image
multispectral
normalization
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211007177.5A
Other languages
English (en)
Inventor
张莉
代强
赵雷
王邦军
李映
周伟达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202211007177.5A priority Critical patent/CN115272130A/zh
Publication of CN115272130A publication Critical patent/CN115272130A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多光谱级联归一化的图像去摩尔纹***，其包括数据处理模块、模型训练模块和图像处理模块，数据处理模块用于对获取的原始训练集中的图像进行数据增强处理，得到训练数据集；模型训练模块用于使用训练数据集对去摩尔纹网络模型进行训练，图像处理模块用于利用训练好的去摩尔纹网络模型在测试图像上进行去摩尔纹处理，得到去摩尔纹处理后的图像。本发明提出了多光谱级联归一化模块，利用多光谱级联归一化模块对摩尔纹进行动态编码，有助于模型学习摩尔纹之前的频率并清晰地还原摩尔纹图像，实现对摩尔纹的有效去除。

Description

基于多光谱级联归一化的图像去摩尔纹***及方法
技术领域
本发明涉及图像处理技术领域，尤其是指一种基于多光谱级联归一化的图像去摩尔纹***及方法。
背景技术
摩尔纹效应也被称为频率混叠，通常发生在两个重复图案相互干扰的情况下，比如用智能手机拍摄数字屏幕时就会产生摩尔纹。摩尔纹以彩色条纹、波纹或曲线的形式出现，严重降低了图像的视觉质量。与去噪、超分辨率重建、去马赛克等图像修复问题不同，图像中的摩尔纹图案是动态的，具有广泛的频率分布，既包括低频部分，也包括高频部分。因此，摩尔纹的宽频谱特性，以及摩尔纹和动态纹理特性是图像去摩尔纹的两个主要挑战。
现有的去摩尔纹技术大多是使用人工设计滤波器或者使用图像分解等方法，而且这些方法都需要先验信息来指导或规范化，并不能有效的去除摩尔纹，而且他们去摩尔纹的结果往往是过于平滑，普遍缺乏高频细节。此外这些方法不能考虑到摩尔纹的动态特性，即在摩尔纹的不同尺度下对摩尔纹进行去除，这种做法往往只能导致只能去除某一小范围的摩尔纹。摩尔纹还是一种具有宽频谱特性的特殊噪声，其不同于一般的高斯噪声以及其他类型的噪声，对于这些噪声只需要在高频上进行处理，即可以有效的去除噪声。而摩尔纹的频谱分布包含了高频和低频，因此为了有效的去除摩尔纹，必须考虑到摩尔纹的宽频谱特性。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术存在的问题，提出一种基于多光谱级联归一化的图像去摩尔纹***及方法，其提出了多光谱级联归一化模块，利用多光谱级联归一化模块对摩尔纹进行动态编码，有助于模型学习摩尔纹之前的频率并清晰地还原摩尔纹图像，实现对摩尔纹的有效去除。
为解决上述技术问题，本发明提供一种基于多光谱级联归一化的图像去摩尔纹***，包括：
数据处理模块，其用于对获取的原始训练集中的图像进行数据增强处理，得到训练数据集；
模型训练模块，其用于使用训练数据集对去摩尔纹网络模型进行训练，所述去摩尔纹网络模型包括多个分支网络，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中的摩尔纹图像特征进行学习，得到训练好的去摩尔纹网络模型；
图像处理模块，其用于利用训练好的去摩尔纹网络模型在测试图像上进行去摩尔纹处理，得到去摩尔纹处理后的图像；
其中，每个分支网络均包括多光谱级联归一化模块，所述多光谱级联归一化模块用于对不同分辨率的摩尔纹图像特征进行多光谱特征编码。
在本发明的一个实施例中，所述去摩尔纹网络模型包括三个分支网络，第一个分支网络对输入的训练数据集中的图像进行下采样得到分辨率为原始图像1/2的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第二个分支网络对分辨率为原始图像1/2的下采样特征图进行下采样得到分辨率为原始图像1/4的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第三个分支网络对分辨率为原始图像1/4的下采样特征图进行下采样得到分辨率为原始图像1/8的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征。
在本发明的一个实施例中，每个分支网络均包括下采样模块，所述下采样模块用于对输入的图像进行下采样得到多个不同分辨率的下采样特征图。
在本发明的一个实施例中，所述多光谱级联归一化模块包括卷积层、多光谱注意力层和归一化层，所述卷积层用于对下采样特征图进行特征提取，所述多光谱注意力层用于学习提取的不同分辨率的摩尔纹图像特征，所述归一化层用于对不同分辨率的摩尔纹图像特征进行多光谱特征编码。
在本发明的一个实施例中，所述多光谱注意力层包括拆分单元、DCT变换单元、全连接单元和多光谱注意力输出单元，所述拆分单元用于对输入至多光谱注意力层的摩尔纹图像特征进行拆分；所述DCT变换单元用于对拆分后的多个摩尔纹图像特征进行DCT变换，得到多个光谱特征；所述全连接单元用于对多个光谱特征进行全连接操作；所述多光谱注意力输出单元用于将全连接操作后的光谱特征与多个摩尔纹图像特征点乘得到的多光谱注意力输出。
在本发明的一个实施例中，所述模型训练模块在使用训练数据集对去摩尔纹网络模型进行训练时，首先要初始化去摩尔纹网络模型的权重，然后采用训练数据集对初始化后的去摩尔纹网络模型进行训练，每批次训练取多个图像，并使得损失函数的损失最小，其中损失函数l为：
Figure BDA0003809307940000031
式中I和
Figure BDA0003809307940000032
分别表示原始高清图像和生成的去摩尔纹图像，I(i,j)表示图像I中的第i行第j列的像素值，M和N分别表示图像的宽度和高度，B表示每批次的图像数量,ε表示Charbonnier惩罚系数。
此外，本发明还提供一种基于多光谱级联归一化的图像去摩尔纹方法，包括以下步骤：
S101:对获取的原始训练集中的图像进行数据增强处理，得到训练数据集；
S102:使用训练数据集对去摩尔纹网络模型进行训练，所述去摩尔纹网络模型包括多个分支网络，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中摩尔纹图像的特征信息进行学习，得到训练好的去摩尔纹网络模型；
S103:利用训练好的去摩尔纹网络模型在测试图像上进行去摩尔纹处理，得到去摩尔纹处理后的图像；
其中，每个分支网络均包括多光谱级联归一化模块，使用所述多光谱级联归一化模块对不同分辨率的摩尔纹图像特征进行多光谱特征编码。
在本发明的一个实施例中，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中摩尔纹图像的特征信息的方法包括：
所述去摩尔纹网络模型包括三个分支网络，第一个分支网络对输入的训练数据集中的图像进行下采样得到分辨率为原始图像1/2的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第二个分支网络对分辨率为原始图像1/2的下采样特征图进行下采样得到分辨率为原始图像1/4的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第三个分支网络对分辨率为原始图像1/4的下采样特征图进行下采样得到分辨率为原始图像1/8的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征。
在本发明的一个实施例中，使用所述多光谱级联归一化模块对不同分辨率的摩尔纹图像特征进行多光谱特征编码的方法包括：
所述多光谱级联归一化模块包括卷积层、多光谱注意力层和归一化层；
将下采样特征图输入至所述卷积层进行特征提取，得到不同分辨率的摩尔纹图像特征；
使用多光谱注意力层学习不同分辨率的摩尔纹图像特征；
使用归一化层对学习后的不同分辨率的摩尔纹图像特征进行多光谱特征编码。
在本发明的一个实施例中，使用多光谱注意力层学习不同分辨率的摩尔纹图像特征的方法包括：
将输入至多光谱注意力层的摩尔纹图像特征进行拆分，得到多个摩尔纹图像特征；
对拆分后的多个摩尔纹图像特征进行DCT变换，得到多个光谱特征；对多个光谱特征进行全连接操作；
将全连接操作后的光谱特征与多个摩尔纹图像特征点乘得到的多光谱注意力输出。
本发明的上述技术方案相比现有技术具有以下优点：
1.对于摩尔纹纹理的动态特性，本发明提出了多光谱级联归一化模块，利用多光谱级联归一化模块对摩尔纹进行动态编码，有助于模型学习摩尔纹之前的频率并清晰地还原摩尔纹图像，实现对摩尔纹的有效去除；
2.针对摩尔纹的宽频谱特性，本发明使用多尺度的卷积网络结构来处理不同空间分辨率的摩尔纹图像,其不需要再使用人工设计滤波器或者使用图像分解，而是自动的学习摩尔纹的特征信息，然后在不同尺度下对摩尔纹进行有效的去除，去摩尔纹的结果也保留了高频细节，而且具有更好地视觉效果，即具有更好的保真度和感知性。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
图1为本发明所提供的一种基于多光谱级联归一化的图像去摩尔纹***的框架图。
图2为本发明所提供的多光谱级联归一化去摩尔纹网络模型的总体架构图。
图3为本发明多光谱级联归一化模块的结构示意图。
图4为本发明多光谱通道注意力机制的结构示意图。
图5为本发明所提供的一种基于多光谱级联归一化的图像去摩尔纹方法的流程图。
其中，附图标记说明如下：10、数据处理模块；20、模型训练模块；30、图像处理模块。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
请参考图1所示，本发明实施例提供一种基于多光谱级联归一化的图像去摩尔纹***，其包括数据处理模块10、模型训练模块20和图像处理模块30，数据处理模块10用于对获取的原始训练集中的图像进行数据增强处理，得到训练数据集；模型训练模块20用于使用训练数据集对去摩尔纹网络模型进行训练，图像处理模块30用于利用训练好的去摩尔纹网络模型在测试图像上进行去摩尔纹处理，得到去摩尔纹处理后的图像。
请参考图2所示，上述所述去摩尔纹网络模型包括多个分支网络，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中的摩尔纹图像特征进行学习，得到训练好的去摩尔纹网络模型；其中，每个分支网络均包括多光谱级联归一化模块，所述多光谱级联归一化模块用于对不同分辨率的摩尔纹图像特征进行多光谱特征编码。
对于摩尔纹纹理的动态特性，本发明提出了多光谱级联归一化模块，利用多光谱级联归一化模块对摩尔纹进行动态编码，有助于模型学习摩尔纹之前的频率并清晰地还原摩尔纹图像，实现对摩尔纹的有效去除。
针对摩尔纹的宽频谱特性，本发明使用多尺度的卷积网络结构来处理不同空间分辨率的摩尔纹图像,其不需要再使用人工设计滤波器或者使用图像分解，而是自动的学习摩尔纹的特征信息，然后在不同尺度下对摩尔纹进行有效的去除，去摩尔纹的结果也保留了高频细节，而且具有更好地视觉效果，即具有更好的保真度和感知性。
具体地，每个分支网络均包括下采样模块，所述下采样模块用于对输入的图像进行下采样得到多个不同分辨率的下采样特征图。作为优选的一个实施方案，上述所述去摩尔纹网络模型包括三个分支网络，第一个分支网络对输入的训练数据集中的图像进行下采样得到分辨率为原始图像1/2的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第二个分支网络对分辨率为原始图像1/2的下采样特征图进行下采样得到分辨率为原始图像1/4的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第三个分支网络对分辨率为原始图像1/4的下采样特征图进行下采样得到分辨率为原始图像1/8的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征。
三个分支网络均使用了本发明提出的多光谱级联归一化模块进行特征加密，该多光谱级联归一化模块如图3所示。该多光谱级联归一化模块使用的多光谱通道注意力机制如图4所示。
请参考图3所示，上述所述多光谱级联归一化模块包括卷积层、多光谱注意力层和归一化层，所述卷积层用于对下采样特征图进行特征提取，所述多光谱注意力层用于学习提取的不同分辨率的摩尔纹图像特征，所述归一化层用于对不同分辨率的摩尔纹图像特征进行多光谱特征编码。具体地，下采样特征图Xi首先进入两个卷积层进行特征提取，然后Xi的部分摩尔纹图像特征进入多光谱注意力层进行学习，接着与直接从卷积层输出的另一部分摩尔纹图像特征进行点乘,然后进行残差连接，这一系列操作完成后会重复一次然后进入归一化层。编码特征图Enci首先进入一个卷积层，然后部分编码特征图进入归一化层和下采样特征图Xi的输出一起进行归一化，得到摩尔纹图像特征Xi+1，接着另一部分编码特征图会直接输出为编码特征图Enci+1。
请参考图4所示，上述所述多光谱注意力层包括拆分单元、DCT变换单元、全连接单元和多光谱注意力输出单元，所述拆分单元用于对输入至多光谱注意力层的摩尔纹图像特征进行拆分；所述DCT变换单元用于对拆分后的多个摩尔纹图像特征进行DCT变换，得到多个光谱特征；所述全连接单元用于对多个光谱特征进行全连接操作；所述多光谱注意力输出单元用于将全连接操作后的光谱特征与多个摩尔纹图像特征点乘得到的多光谱注意力输出。具体地，高H,宽W,通道数为C的摩尔纹图像特征首先进行拆分操作，将通道为C的摩尔纹图像特征拆分为n个摩尔纹图像特征，然后对这些摩尔纹图像特征进行DCT变换，得到n个光谱特征。接着将这些光谱特征进行全连接操作，之后与n个摩尔纹图像特征进行点乘得到多光谱注意力。
在本发明的一个实施例中，本发明提出的多光谱级联归一化模块能够帮助去摩尔纹网络模型解决摩尔纹纹理的动态特性。此外，残差块被用来模拟每个特征级别和频段的干净图像和模糊图像之间的差异，使用设计的主尺度旁路分支对不同空间分辨率的图像特征进行编码，并且还在每个主干分辨率分支中加入多光谱通道注意力机制和自适应实例归一化以进行多光谱特征编码。多光谱通道注意力可以有效学***均数和方差)，然后进行特征编码，因此下采样图像经过多光谱级联归一化模块就会进行多光谱级联归一化。
所述模型训练模块20在使用训练数据集对去摩尔纹网络模型进行训练时，首先要初始化去摩尔纹网络模型的权重，然后采用训练数据集对初始化后的去摩尔纹网络模型进行训练，每批次训练取多个图像，并使得损失函数的损失最小，其中损失函数l为：
Figure BDA0003809307940000091
式中I和
Figure BDA0003809307940000092
分别表示原始高清图像和生成的去摩尔纹图像，I(i,j)表示图像I中的第i行第j列的像素值，M和N分别表示图像的宽度和高度，B表示每批次的图像数量,ε表示Charbonnier惩罚系数。
本实施例在AIM摩尔纹训练数据集和TIP摩尔纹训练数据集上进行训练，并在AIM和TIP摩尔纹数据集里的测试集上进行了测试。AIM摩尔纹数据集中的训练集有10000张摩尔纹图像和对应的高清图像，而TIP摩尔纹数据集中的训练集具有135000张真实世界的摩尔纹图像和对应的高清图像。本实施例中使用到的测试集是AIM摩尔纹数据集和TIP摩尔纹数据集中的测试集，共200张图像。
具体实施步骤如下：
一、数据处理模块
对AIM摩尔纹数据集里的10000张摩尔纹图像和TIP摩尔纹数据集里的135000张真实世界的摩尔纹图像进行旋转和翻转，并且还将图像分别缩小为原来的0.5和0.7倍以进行数据扩充。最终得到一个新的大规模训练集D′，新训练集D′的总数为217500。此外，本次试验将训练图像预先裁剪为特定大小，并将其输入至去摩尔纹网络模型中。
本发明中使用到的测试集是AIM摩尔纹数据集和TIP摩尔纹数据集中的测试集，共200张图像。
二、模型训练模块
本发明的去摩尔纹网络模型如图2所示。输入的图像首先经过下采样模块Down1，得到分辨率为原始图像1/2的下采样特征图，然后将这些下采样特征图输入Branch 1(分支网络1),以此提取该分辨率下的摩尔纹图像的特征信息。之后将Down1输出的下采样特征图输入进第二个下采样模块Down2，得到分辨率为原始图像1/4的下采样特征图，之后将此分辨率的下采样特征图输入Branch 2(分支网络2)，得到分辨率为原始图像1/4的摩尔纹图像的特征信息。最后将Down2输出的下采样特征图输入进第三个下采样模块Down3，得到分辨率为原始图像1/8的下采样特征图，然后这些特征图进入Branch 3(分支网络3)，得到分辨率为原始图像1/8的摩尔纹图像的特征信息。
三个分支网络Branch 1到Branch 3均使用了多光谱级联归一化模块进行特征加密，该多光谱级联归一化模块如图3所示。该多光谱级联归一化模块使用的多光谱通道注意力机制如图4所示。
具体训练时，首先需要初始化去摩尔纹网络模型的权重，然后采用训练集D′对图2所示网络进行训练。每批次训练取B对图像，并使得下面的损失最小：
Figure BDA0003809307940000101
其中l表示损失函数，I和
Figure BDA0003809307940000102
分别表示原始高清图像和生成的去摩尔纹图像，I(i,j)表示图像I中的第i行第j列的像素值，M和N分别表示图像的宽度和高度，B代表每批次的图像数量,ε是Charbonnier惩罚系数。在本实例中，B＝40且ε＝0.001。
三、图像处理模块
输入一张摩尔纹图像X，用训练后的去摩尔纹网络模型对其进行图像重建，即可获得其高清图像Xclear。
本发明的效果可以通过如下实验验证：
通过在AIM和TIP摩尔纹数据集中的测试集上，反复进行步骤三的图像重建，可以获得去摩尔纹后的高清图像。对测试后得到的去摩尔纹高清图像与对应的原始干净高清图像进行峰值信噪比和结构相似性指标的评估，即
Figure BDA0003809307940000111
其中n＝8，且
Figure BDA0003809307940000112
同时与其他已有方法在相同的数据集上进行对比，实验结果如表1和表2所示。从表1和表2可以发现，本发明在峰值信噪比与结构相似性上均取得了较好的结果。
表1.在AIM数据集上各方法的性能对比
Figure BDA0003809307940000113
表2.在TIP数据集上各方法的性能对比
Figure BDA0003809307940000114
本发明采用三分支的多尺度设计，端到端地学***滑地提高分辨率。
下面对本发明实施例二公开的一种基于多光谱级联归一化的图像去摩尔纹方法进行介绍，下文描述的一种基于多光谱级联归一化的图像去摩尔纹方法与上文描述的一种基于多光谱级联归一化的图像去摩尔纹***可相互对应参照。
请参阅图5所示，本发明实施例提供一种基于多光谱级联归一化的图像去摩尔纹方法，包括以下步骤：
S101:对获取的原始训练集中的图像进行数据增强处理，得到训练数据集；
S102:使用训练数据集对去摩尔纹网络模型进行训练，所述去摩尔纹网络模型包括多个分支网络，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中摩尔纹图像的特征信息进行学习，得到训练好的去摩尔纹网络模型，其中，每个分支网络均包括多光谱级联归一化模块，使用所述多光谱级联归一化模块对不同分辨率的摩尔纹图像特征进行多光谱特征编码；
S103:利用训练好的去摩尔纹网络模型在测试图像上进行去摩尔纹处理，得到去摩尔纹处理后的图像。
在本发明的一个实施例中，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中摩尔纹图像的特征信息的方法包括：
所述去摩尔纹网络模型包括三个分支网络，第一个分支网络对输入的训练数据集中的图像进行下采样得到分辨率为原始图像1/2的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第二个分支网络对分辨率为原始图像1/2的下采样特征图进行下采样得到分辨率为原始图像1/4的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第三个分支网络对分辨率为原始图像1/4的下采样特征图进行下采样得到分辨率为原始图像1/8的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征。
在本发明的一个实施例中，使用所述多光谱级联归一化模块对不同分辨率的摩尔纹图像特征进行多光谱特征编码的方法包括：
所述多光谱级联归一化模块包括卷积层、多光谱注意力层和归一化层；
将下采样特征图输入至所述卷积层进行特征提取，得到不同分辨率的摩尔纹图像特征；
使用多光谱注意力层学习不同分辨率的摩尔纹图像特征；
使用归一化层对学习后的不同分辨率的摩尔纹图像特征进行多光谱特征编码。
在本发明的一个实施例中，使用多光谱注意力层学习不同分辨率的摩尔纹图像特征的方法包括：
将输入至多光谱注意力层的摩尔纹图像特征进行拆分，得到多个摩尔纹图像特征；
对拆分后的多个摩尔纹图像特征进行DCT变换，得到多个光谱特征；对多个光谱特征进行全连接操作；
将全连接操作后的光谱特征与多个摩尔纹图像特征点乘得到的多光谱注意力输出。
本实施例的基于多光谱级联归一化的图像去摩尔纹方法基于前述的基于多光谱级联归一化的图像去摩尔纹***实现，因此该方法的具体实施方式可见前文中的基于多光谱级联归一化的图像去摩尔纹***的实施例部分，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的基于多光谱级联归一化的图像去摩尔纹方法基于前述的基于多光谱级联归一化的图像去摩尔纹***实现，因此其作用与上述***的作用相对应，这里不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于多光谱级联归一化的图像去摩尔纹***，其特征在于，包括：
数据处理模块，其用于对获取的原始训练集中的图像进行数据增强处理，得到训练数据集；
模型训练模块，其用于使用训练数据集对去摩尔纹网络模型进行训练，所述去摩尔纹网络模型包括多个分支网络，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中的摩尔纹图像特征进行学习，得到训练好的去摩尔纹网络模型；
图像处理模块，其用于利用训练好的去摩尔纹网络模型在测试图像上进行去摩尔纹处理，得到去摩尔纹处理后的图像；
其中，每个分支网络均包括多光谱级联归一化模块，所述多光谱级联归一化模块用于对不同分辨率的摩尔纹图像特征进行多光谱特征编码。
2.如权利要求1所述的基于多光谱级联归一化的图像去摩尔纹***，其特征在于：所述去摩尔纹网络模型包括三个分支网络，第一个分支网络对输入的训练数据集中的图像进行下采样得到分辨率为原始图像1/2的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第二个分支网络对分辨率为原始图像1/2的下采样特征图进行下采样得到分辨率为原始图像1/4的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第三个分支网络对分辨率为原始图像1/4的下采样特征图进行下采样得到分辨率为原始图像1/8的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征。
3.如权利要求1或2所述的基于多光谱级联归一化的图像去摩尔纹***，其特征在于：每个分支网络均包括下采样模块，所述下采样模块用于对输入的图像进行下采样得到多个不同分辨率的下采样特征图。
4.如权利要求1所述的基于多光谱级联归一化的图像去摩尔纹***，其特征在于：所述多光谱级联归一化模块包括卷积层、多光谱注意力层和归一化层，所述卷积层用于对下采样特征图进行特征提取，所述多光谱注意力层用于学习提取的不同分辨率的摩尔纹图像特征，所述归一化层用于对不同分辨率的摩尔纹图像特征进行多光谱特征编码。
5.如权利要求4所述的基于多光谱级联归一化的图像去摩尔纹***，其特征在于：所述多光谱注意力层包括拆分单元、DCT变换单元、全连接单元和多光谱注意力输出单元，所述拆分单元用于对输入至多光谱注意力层的摩尔纹图像特征进行拆分；所述DCT变换单元用于对拆分后的多个摩尔纹图像特征进行DCT变换，得到多个光谱特征；所述全连接单元用于对多个光谱特征进行全连接操作；所述多光谱注意力输出单元用于将全连接操作后的光谱特征与多个摩尔纹图像特征点乘得到的多光谱注意力输出。
6.如权利要求1所述的基于多光谱级联归一化的图像去摩尔纹***，其特征在于：所述模型训练模块在使用训练数据集对去摩尔纹网络模型进行训练时，首先要初始化去摩尔纹网络模型的权重，然后采用训练数据集对初始化后的去摩尔纹网络模型进行训练，每批次训练取多个图像，并使得损失函数的损失最小，其中损失函数l为：
Figure FDA0003809307930000021
式中I和
Figure FDA0003809307930000022
分别表示原始高清图像和生成的去摩尔纹图像，I(i,j)表示图像I中的第i行第j列的像素值，M和N分别表示图像的宽度和高度，B表示每批次的图像数量,ε表示Charbonnier惩罚系数。
7.一种基于多光谱级联归一化的图像去摩尔纹方法，其特征在于，包括以下步骤：
对获取的原始训练集中的图像进行数据增强处理，得到训练数据集；
使用训练数据集对去摩尔纹网络模型进行训练，所述去摩尔纹网络模型包括多个分支网络，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中摩尔纹图像的特征信息进行学习，得到训练好的去摩尔纹网络模型；
利用训练好的去摩尔纹网络模型在测试图像上进行去摩尔纹处理，得到去摩尔纹处理后的图像；
其中，每个分支网络均包括多光谱级联归一化模块，使用所述多光谱级联归一化模块对不同分辨率的摩尔纹图像特征进行多光谱特征编码。
8.如权利要求7所述的基于多光谱级联归一化的图像去摩尔纹方法，其特征在于，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中摩尔纹图像的特征信息的方法包括：
所述去摩尔纹网络模型包括三个分支网络，第一个分支网络对输入的训练数据集中的图像进行下采样得到分辨率为原始图像1/2的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第二个分支网络对分辨率为原始图像1/2的下采样特征图进行下采样得到分辨率为原始图像1/4的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第三个分支网络对分辨率为原始图像1/4的下采样特征图进行下采样得到分辨率为原始图像1/8的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征。
9.如权利要求7或8所述的基于多光谱级联归一化的图像去摩尔纹方法，其特征在于，使用所述多光谱级联归一化模块对不同分辨率的摩尔纹图像特征进行多光谱特征编码的方法包括：
所述多光谱级联归一化模块包括卷积层、多光谱注意力层和归一化层；
将下采样特征图输入至所述卷积层进行特征提取，得到不同分辨率的摩尔纹图像特征；
使用多光谱注意力层学习不同分辨率的摩尔纹图像特征；
使用归一化层对学习后的不同分辨率的摩尔纹图像特征进行多光谱特征编码。
10.如权利要求9所述的基于多光谱级联归一化的图像去摩尔纹方法，其特征在于，使用多光谱注意力层学习不同分辨率的摩尔纹图像特征的方法包括：
将输入至多光谱注意力层的摩尔纹图像特征进行拆分，得到多个摩尔纹图像特征；
对拆分后的多个摩尔纹图像特征进行DCT变换，得到多个光谱特征；对多个光谱特征进行全连接操作；
将全连接操作后的光谱特征与多个摩尔纹图像特征点乘得到的多光谱注意力输出。
CN202211007177.5A 2022-08-22 2022-08-22 基于多光谱级联归一化的图像去摩尔纹***及方法 Pending CN115272130A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211007177.5A CN115272130A (zh) 2022-08-22 2022-08-22 基于多光谱级联归一化的图像去摩尔纹***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211007177.5A CN115272130A (zh) 2022-08-22 2022-08-22 基于多光谱级联归一化的图像去摩尔纹***及方法

Publications (1)

Publication Number Publication Date
CN115272130A true CN115272130A (zh) 2022-11-01

Family

ID=83752680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211007177.5A Pending CN115272130A (zh) 2022-08-22 2022-08-22 基于多光谱级联归一化的图像去摩尔纹***及方法

Country Status (1)

Country Link
CN (1) CN115272130A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2727742A1 (de) * 2012-11-06 2014-05-07 Giesecke & Devrient GmbH Sicherheitselement mit Linsenrasterbild
CN108229331A (zh) * 2017-03-16 2018-06-29 北京市商汤科技开发有限公司 人脸防伪检测方法和***、电子设备、程序和介质
CN112541576A (zh) * 2020-12-14 2021-03-23 四川翼飞视科技有限公司 Rgb单目图像的生物活体识别神经网络及其构建方法
CN114693593A (zh) * 2020-12-31 2022-07-01 杭州海康慧影科技有限公司 图像处理方法、装置、及计算机装置
CN114693558A (zh) * 2022-03-31 2022-07-01 福州大学 基于渐进融合多尺度策略的图像去摩尔纹方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2727742A1 (de) * 2012-11-06 2014-05-07 Giesecke & Devrient GmbH Sicherheitselement mit Linsenrasterbild
CN108229331A (zh) * 2017-03-16 2018-06-29 北京市商汤科技开发有限公司 人脸防伪检测方法和***、电子设备、程序和介质
CN112541576A (zh) * 2020-12-14 2021-03-23 四川翼飞视科技有限公司 Rgb单目图像的生物活体识别神经网络及其构建方法
CN114693593A (zh) * 2020-12-31 2022-07-01 杭州海康慧影科技有限公司 图像处理方法、装置、及计算机装置
CN114693558A (zh) * 2022-03-31 2022-07-01 福州大学 基于渐进融合多尺度策略的图像去摩尔纹方法及***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DAI Q等: "Multi-spectral Dynamic Feature Encoding Network for Image Demoiréing" *
XI CHENG等: "Improved multi-scale dynamic feature encoding network for image demoiréing" *
ZEQUN QIN等: "FcaNet: Frequency Channel Attention Networks" *
李桐: "感知一致的图像摩尔纹去除方法" *

Similar Documents

Publication Publication Date Title
CN113658051B (zh) 一种基于循环生成对抗网络的图像去雾方法及***
CN107403415B (zh) 基于全卷积神经网络的压缩深度图质量增强方法及装置
CN110517327B (zh) 一种基于颜色校正和对比度拉伸的水下图像增强方法
CN111738952B (zh) 一种图像修复的方法、装置及电子设备
CN112288632B (zh) 基于精简esrgan的单图像超分辨率方法及***
CN112669214B (zh) 一种基于交替方向乘子算法的模糊图像超分辨率重建方法
CN113450290B (zh) 基于图像修补技术的低照度图像增强方法及***
JPH0944657A (ja) 画像処理方法および装置
CN113191972B (zh) 一种轻量真实图像去噪的神经网络设计及训练方法
CN113421187B (zh) 一种超分辨率重建方法、***、存储介质、设备
CN114881888A (zh) 基于线性稀疏注意力Transformer的视频去摩尔纹方法
CN114693558A (zh) 基于渐进融合多尺度策略的图像去摩尔纹方法及***
CN114742911A (zh) 图像压缩感知重建方法、***、设备及介质
CN117333398A (zh) 一种基于自监督的多尺度图像去噪方法及装置
CN115131203A (zh) Lr图像生成方法及基于不确定性的真实图像超分辨率方法
CN115272131B (zh) 基于自适应多光谱编码的图像去摩尔纹***及方法
Amaranageswarao et al. Joint restoration convolutional neural network for low-quality image super resolution
CN113096032B (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
CN113222856A (zh) 一种逆半色调图像处理方法、终端设备及可读存储介质
CN113962882A (zh) 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法
CN115272130A (zh) 基于多光谱级联归一化的图像去摩尔纹***及方法
CN108717687B (zh) 基于转换压缩的图像增强方法及终端设备
CN113139920B (zh) 一种古籍图像修复方法、终端设备及存储介质
CN114331853B (zh) 基于目标向量更新模块的单幅图像复原迭代框架
CN116934583A (zh) 基于深浅特征融合网络的遥感图像超分辨率算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20221101

RJ01 Rejection of invention patent application after publication