CN111383200B - 基于生成式对抗神经网络的cfa图像去马赛克方法 - Google Patents

基于生成式对抗神经网络的cfa图像去马赛克方法 Download PDF

Info

Publication number
CN111383200B
CN111383200B CN202010239207.XA CN202010239207A CN111383200B CN 111383200 B CN111383200 B CN 111383200B CN 202010239207 A CN202010239207 A CN 202010239207A CN 111383200 B CN111383200 B CN 111383200B
Authority
CN
China
Prior art keywords
layer
convolution
image
output
batch normalization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010239207.XA
Other languages
English (en)
Other versions
CN111383200A (zh
Inventor
罗静蕊
王婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010239207.XA priority Critical patent/CN111383200B/zh
Publication of CN111383200A publication Critical patent/CN111383200A/zh
Application granted granted Critical
Publication of CN111383200B publication Critical patent/CN111383200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于生成式对抗神经网络的CFA图像去马赛克方法，具体为：步骤1、构造训练数据集，并对数据进行预处理操作，得到数量充足的训练数据集；步骤2、构建生成式对抗网络GAN；步骤3、将步骤1中得到的训练数据集进行一系列像素操作，作为步骤2中所搭建GAN网络的输入；步骤4、设置步骤2中所搭建GAN网络的损失函数、超参数，选择网络优化算法以优化损失函数；步骤5、训练构建的生成式对抗网络GAN；步骤6、对步骤5中的已训练网络模型进行测试实验，并用彩色峰值信噪比和结构相似性指数度量去马赛克图像，说明网络性能。该方法旨在减少去马赛克图像的伪影现象，更好的恢复图像中高频部分(角或边)的纹理信息。

Description

基于生成式对抗神经网络的CFA图像去马赛克方法
技术领域
本发明属于图像处理方法技术领域，具体涉及一种基于生成式对抗神经网络的CFA图像去马赛克方法。
背景技术
图像是人类获取信息、表达信息和传递信息的重要手段之一。数码相机目前逐渐成为主流的成像设备，广泛应用于智能交通、医学成像、遥感技术等领域。在日常生活中应用最广泛的是数字彩色图像，全彩色图像中每个像素有三个颜色值：红、绿和蓝。为了获得准确的图像色彩信息，数码相机需要三个颜色感应器分别接受每个像素的红、绿和蓝三种颜色分量信息，然后将三个分量合成一幅彩色图像。三个颜色传感器的放置问题会影响到后续的颜色合成。此外，三个传感器的相机价格通常很昂贵并且体积相对较大，大多数数码相机在传感器元件前面放置彩色滤波阵列(CFA)。对于CFA，Bayer模式最流行的模式之一，并且很多去马赛克算法都是针对此模式来设计的。为了从CFA图像中恢复高质量的彩色图像，因此需要使用去马赛克技术十分重要。
CFA图像去马赛克实质上是一个病态逆问题，目前存在很多算法用于图像去马赛克，其中最简单并广泛使用的是图像插值算法，最常用的线性插值方法，实现简单快捷，但它们存在一些固有的缺陷，比如在边缘出会出现伪影和细节模糊现象。最邻近插值法是比较快得一种插值法，通过复制空间位置最接近得像素值来完成插值处理。但是由于这种方法没有考虑到色彩和空间得相关性，插值结果会产生很多的虚假色和锯齿现象。双线性插值法，它通过相邻像素对未捕捉到的像素进行估计，但是这种方法重建后的图像会存在很多伪影以及色彩存在较大的失真。Bicubic是一种放大灰度图像插值算法，它可以通过独立的对每种颜色分量进行插值处理达到去马赛克的目的，但是它的输出图像往往会出现伪影现象。目前传统的去马赛克方法可以获得很高的精度，对于处理大面积颜色近似相同、亮度渐变的平滑区域使用简单的插值算法就会得到很好的效果，但是在对图像边缘和角面进行去马赛克时依然具有很大的挑战性。总的来说，这些方法存在两个问题。首先，它们利用手工制作的滤波器来进行插值，在高频信号出现变化时(如边和角)，各个颜色通道会出现空间偏移，在对邻近值进行插值时，插值结果会显示出颜色伪影或者出现拉链效应；其次，有些传统去马赛克方法忽略了不同颜色通道之间的相关性，并没有考虑到CFA中的所有图像信息。为了得到更加平滑的图像，必须考虑通道之间的相关性。
发明内容
本发明的目的是提供一种基于生成式对抗神经网络的CFA图像去马赛克方法，该方法旨在减少去马赛克图像的伪影现象，更好的恢复图像中高频部分(角或边)的纹理信息，以获得更接近事实的图像。
本发明所采用的技术方案是，基于生成式对抗神经网络的CFA图像去马赛克方法，具体按照以下步骤实施：
步骤1、构造训练数据集，并对数据进行预处理操作，得到数量充足的训练数据集；
步骤2、构建生成式对抗网络GAN，GAN包括两部分：生成器和鉴别器，对于生成器使用U-Net模型，对于鉴别器使用稠密残差网络；
步骤3、将步骤1中得到的训练数据集进行一系列像素操作，作为步骤2中所搭建GAN网络的输入；
步骤4、设置步骤2中所搭建GAN网络的损失函数、超参数，选择网络优化算法以优化损失函数；
步骤5、训练构建的生成式对抗网络GAN，根据步骤4设置的网络超参数、损失函数以及选择的网络优化算法对训练数据集进行训练，得到与其对应的已训练网络模型；
步骤6、对步骤5中的已训练网络模型进行测试实验，并用彩色峰值信噪比和结构相似性指数度量去马赛克图像，说明网络性能。
本发明的特点还在于，
步骤1具体包括以下步骤：
步骤1.1、从现有数据库中随机找出若干幅彩色图像作为彩色图像数据集，使用滤波器对每一幅彩色图像进行下采样操作，得到的下采样图像为彩色滤波阵列图像，将所有的CFA图像组成CFA图像数据集，彩色图像数据集与CFA图像数据集组成训练数据集；
步骤1.2、对步骤1.1得到的训练数据集进行预处理操作，将训练数据集中的每张图像进行0.7，0.8，0.9，1倍的缩放，根据训练数据集中图像的大小，选择适合尺度的滑动窗口进行平移操作，即完成对图像的小块分割得到若干个小块图像，以提高网络训练性能；紧接着对每个小块图像进行90°旋转、180°旋转、270°旋转和上下翻转的增广操作，从而得到数量充足的训练数据集。
步骤2具体包括以下步骤：
步骤2.1、构建GAN中的生成器部分，采用U-Net模型，设置该网络的每层参数；
步骤2.2、构建GAN中的鉴别器部分，采用稠密残差网络模型，设置该网络的每层参数。
步骤2.1中，生成器结构采用U-Net模型，其结构依次为：输入层—第1个卷积层—第1个PReLU激活函数层—第2个卷积层—第1个批量归一化操作层—第2个PReLU激活函数层—第3个卷积层—第2个批量归一化操作层—第3个PReLU激活函数层—第4个卷积层—第3个批量归一化操作层—第4个PReLU激活函数层—第5个卷积层—第4个批量归一化操作层—第5个PReLU激活函数层—第6个卷积层—第5个批量归一化操作层—第6个PReLU激活函数层—第7个卷积层—第6个批量归一化操作层—第7个PReLU激活函数层—第8个卷积层—第7个批量归一化操作层—第8个PReLU激活函数层—第1个反卷积层—第8个批量归一化操作层—第9个PReLU激活函数层—第2个反卷积层—第9个批量归一化操作层—第10个PReLU激活函数层—第3个反卷积层—第10个批量归一化操作层—第11个PReLU激活函数层—第4个反卷积层—第11个批量归一化操作层—第12个PReLU激活函数层—第5个反卷积层—第12个批量归一化操作层—第13个PReLU激活函数层—第6个反卷积层—第13个批量归一化操作层—第14个PReLU激活函数层—第7个反卷积层—第14个批量归一化操作层—第8个反卷积层—第1个Tanh激活函数层—输出层；
其中，输入层表示四通道压缩CFA图像，输出层表示输出图像；上述结构中第1个卷积层输出与第14个批量归一化操作层输出相连，第1个批量归一化操作层输出与第13个批量归一化操作层输出相连，第2个批量归一化操作层输出与第12个批量归一化操作层输出相连，第3个批量归一化操作层输出与第11个批量归一化操作层输出相连，第4个批量归一化操作层输出与第10个批量归一化操作层输出相连，第5个批量归一化操作层输出与第9个批量归一化操作层输出相连，第6个批量归一化操作层输出与第8个批量归一化操作层输出相连，构成对称连接。
步骤2.1中，构建的GAN模型中生成器结构的各层参数设置如下：
将输入层的输入通道设置为4；将第1个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为16；将第2个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为32；将第3个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为64；将第4个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为128；将第5个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为256；将第6个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为256；将第7个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为512；将第8个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为512；将第1个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为512；将第2个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为512；将第3个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为256；将第4个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为256；将第5个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为128；将第6个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为64；将第7个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为32；将第8个反卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为3；
对于生成器中的所有PReLU激活函数层，其函数定义为：
PReLU(xp)＝max(0,xp)+κ×min(0,xp) (1)
其中，κ表示一个正常数，κ∈(0,1)，设置κ为0.1；xp表示PReLU激活函数层的输入向量；
对于生成器中的Tanh激活函数层，其函数定义为：
Figure BDA0002431993480000061
其中，xt表示Tanh激活函数层的输入向量。
步骤2.2中，鉴别器结构采用稠密残差网络模型，其结构依次为：输入层—第1个稠密残差块—第2个稠密残差块—第3个稠密残差块—第4个稠密残差块—第5个稠密残差块—卷积层—Sigmoid激活函数层—输出层；
其中，输入层为生成器的输出图像与相应真实图像；输出层为鉴别器判决结果，为0或1；第1个稠密残差块、2个稠密残差块、3个稠密残差块及4个稠密残差块的输出分别与第5个稠密残差块输出相连，构成稠密残差块之间的跳远连接；
鉴别器中的所有稠密残差块的结构为：第1个PReLU激活函数层—第1个卷积层—第1个批量归一化操作层—第2个PReLU激活函数层—第2个卷积层—第2个批量归一化操作层—第3个PReLU激活函数层—第3个卷积层—第3个批量归一化操作层；
其中，第1个PReLU激活函数层输入与第1个批量归一化操作层输出相连；第1个批量归一化操作层输出与第2个批量归一化操作层输出相连；第2个批量归一化操作层输出与第3个批量归一化操作层输出相连；第1个PReLU激活函数层输入与第2个批量归一化操作层输出相连；第1个批量归一化操作层输出与第3个批量归一化操作层输出相连，最终构成稠密残差块的稠密连接和跳远连接；
所构建的GAN模型中鉴别器结构的各层参数设置如下：
对于鉴别器中的所有PReLU激活函数层，其函数定义为见公式(1)，参数设置与(1)中一致。
对于鉴别器中的Sigmoid激活函数层，其函数定义为：
Figure BDA0002431993480000071
其中，xs表示Sigmoid激活函数层的输入向量。鉴别器中稠密残差块的所有卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为64。
步骤3具体包括以下步骤：
将步骤1训练数据集中的CFA图像数据集为输入CFA图像，对输入CFA图像进行一系列像素操作：取出CFA图像中的红，绿，蓝三种颜色分量，形成三通道CFA图像；然后将绿色分量进一步分离成两个通道，从而形成四通道CFA图像；最后对这四通道图像进行像素压缩，只提取不为0的像素值；将最终得到的四通道压缩CFA图像作为生成器的输入，生成器的输出为插值后的输出图像；将输出图像与真实图像同时输入鉴别器中，鉴别器的输出将反馈到生成器中。
步骤4具体包括以下步骤：
步骤4.1、设置GAN网络的损失函数，设yi为步骤3中得到的四通道压缩CFA图像，xi为对应的真实图像，其中i＝1,2,…,N，N表示图像的数量，对于生成器部分，对抗性损失函数La表示为：
Figure BDA0002431993480000081
式中，G(yi)表示四通道压缩CFA图像yi通过生成器后的输出图像，D(G(yi))表示输出图像G(yi)通过鉴别器的输出结果，另外使用VGG特征感知函数Lp，其定义为：
Figure BDA0002431993480000082
式中，F[G(yi)]表示根据预训练VGG网络中的conv2层提取关于生成器输出图像G(yi)的特征映射矩阵，F(xi)表示根据预训练VGG网络中的conv2层提取关于真实图像xi的特征映射矩阵，另外使用重建损失函数Lr，其定义为：
Figure BDA0002431993480000083
式中，
Figure BDA0002431993480000084
表示总变差，λ表示正则化权重，Lr函数能够删除细节伪像，保留图片中的细节，最后将La、Lp和Lr三个损失结合一起，共同约束所提出的生成器，定义生成器的损失函数为：
LG＝αLa+βLp+γLr (7)
式中，α、β、γ表示正权重；设置参数α＝0.5、β＝1、γ＝1、λ＝10-5根据上式对生成器的参数进行相应修改后，对鉴别器进行更新，鉴别器的损失函数为：
Figure BDA0002431993480000091
式中，D(xi)表示真实图像xi通过鉴别器的输出结果，D(G(yi))表示输出图像G(yi)通过鉴别器的输出结果；
网络的损失函数为生成器的损失函数与鉴别器的损失函数的和，即LG+LD；
步骤4.2、设置GAN网络的超参数，具体包络网络输入批次、学习速率、迭代次数；
将输入批次设置为64，将迭代次数设置为200，将初始学习速率设置为0.01，并设置每经历40迭代后，学习速率减少1/10；
步骤4.3、设置GAN网络的优化算法，优化算法使用自适应时刻估计算法来优化步骤4.1中的损失函数。
步骤6具体包括以下步骤：
步骤6.1、选取测试彩色图像，其不在网络训练集中，使用滤波器对测试彩色图像进行下采样操作，得到的下采样图像为测试CFA图像；
步骤6.2、将步骤6.1中得到的测试CFA图像输入到步骤4得到的已训练网络模型中，进而获得网络的输出图像，即测试去马赛克图像；
步骤6.3、为了说明网络性能，用彩色峰值信噪比和结构相似性指数度量步骤6.2中获得的测试去马赛克图像，其中CPSNR指标的基准为：20dB以上，PSNR越大表示图像去马塞克效果更好；SSIM指标的取值范围为[0,1]，其值越大表示图像结构越接近原始图像。
本发明的有益效果是：该方法通过对搭建好网络框架进行训练，使用已训练好的网络可以直接完成图像去马赛克的工作，并且不需要手动调节网络各个参数，本发明可以更好的学习识别输入信号的高频特征(边和角)，有效地恢复图像的纹理和边缘信息，且在一定程度上消除图像伪影现象，提高了彩色图像的视觉效果。
附图说明
图1是本发明一种基于生成式对抗神经网络的CFA图像去马赛克方法的流程图；
图2是本发明一种基于生成式对抗神经网络的CFA图像去马赛克方法中构建的模型；
图3是本发明方法中构建的GAN模型中生成器的结构示意图；
图4是本发明方法中构建的GAN模型中鉴别器的结构示意图；
图5是本发明仿真实验中的仿真图；
图5中，图5(a)为本发明仿真实验所使用的测试彩色图像，图5(b)为图5(a)中方框处相应的放大区域图像，图5(c)为使用最邻近插值法的仿真结果图像，图5(d)为图5(c)中方框处相应的放大区域图像，图5(e)为使用双线性插值法的仿真结果图像，图5(f)为图5(e)中方框处相应的放大区域图像，图5(g)为本发明方法的仿真结果，图5(h)为图5(g)中方框处相应的放大区域图像。
图中，1.输入CFA图像，2.三通道CFA图像(图中所示由上到下依次为红，绿，蓝颜色分量)，3.四通道CFA图像(图中所示由上到下依次为红，绿，绿，蓝颜色分量)，4.四通道压缩CFA图像(图中所示由上到下依次为红，绿，绿，蓝颜色分量)，5.输出图像(图中所示由上到下依次为红，绿，蓝颜色分量)，6.真实图像(图中所示由上到下依次为红，绿，蓝颜色分量)，7.生成器，8.鉴别器，9.卷积层，10.反卷积层，11.PReLU激活函数层，12.批量归一化(BN)操作层，13.Tanh激活函数层，14.稠密残差块，15.Sigmoid激活函数层。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于生成式对抗神经网络的CFA图像去马赛克方法，如图1所示，具体按照以下步骤实施：
步骤1、构造训练数据集，并对数据进行预处理操作，得到数量充足的训练数据集；
步骤1具体包括以下步骤：
步骤1.1、从现有数据库中随机找出400幅彩色图像作为彩色图像数据集，使用滤波器对每一幅彩色图像进行下采样操作，得到的下采样图像为彩色滤波阵列(CFA)图像，将所有的CFA图像组成CFA图像数据集，彩色图像数据集与CFA图像数据集组成训练数据集；
步骤1.2、对步骤1.1得到的训练数据集进行预处理操作，将训练数据集中的每张图像进行0.7，0.8，0.9，1倍的缩放，根据训练数据集中图像的大小，选择适合尺度的滑动窗口进行平移操作，即完成对图像的小块分割得到若干个小块图像，以提高网络训练性能；紧接着对每个小块图像进行90°旋转、180°旋转、270°旋转和上下翻转的增广操作，从而得到数量充足的训练数据集。
步骤2、构建生成式对抗网络GAN，GAN包括两部分：生成器和鉴别器，对于生成器使用U-Net模型，对于鉴别器使用稠密残差网络；
步骤2具体包括以下步骤：
步骤2.1、构建GAN中的生成器部分，采用U-Net模型，设置该网络的每层参数；
如图3所示，步骤2.1中，生成器结构采用U-Net模型，其结构依次为：输入层—第1个卷积层9—第1个PReLU激活函数层11—第2个卷积层9—第1个批量归一化操作层12—第2个PReLU激活函数层11—第3个卷积层9—第2个批量归一化操作层12—第3个PReLU激活函数层11—第4个卷积层9—第3个批量归一化操作层12—第4个PReLU激活函数层11—第5个卷积层9—第4个批量归一化操作层12—第5个PReLU激活函数层11—第6个卷积层9—第5个批量归一化操作层12—第6个PReLU激活函数层11—第7个卷积层9—第6个批量归一化操作层12—第7个PReLU激活函数层11—第8个卷积层9—第7个批量归一化操作层12—第8个PReLU激活函数层11—第1个反卷积层10—第8个批量归一化操作层12—第9个PReLU激活函数层11—第2个反卷积层10—第9个批量归一化操作层12—第10个PReLU激活函数层11—第3个反卷积层10—第10个批量归一化操作层12—第11个PReLU激活函数层11—第4个反卷积层10—第11个批量归一化操作层12—第12个PReLU激活函数层11—第5个反卷积层10—第12个批量归一化操作层12—第13个PReLU激活函数层11—第6个反卷积层10—第13个批量归一化操作层12—第14个PReLU激活函数层11—第7个反卷积层10—第14个批量归一化操作层12—第8个反卷积层10—第1个Tanh激活函数层13—输出层；
其中，输入层表示四通道压缩CFA图像，输出层表示输出图像；上述结构中第1个卷积层输出与第14个批量归一化操作层输出相连，第1个批量归一化操作层输出与第13个批量归一化操作层输出相连，第2个批量归一化操作层输出与第12个批量归一化操作层输出相连，第3个批量归一化操作层输出与第11个批量归一化操作层输出相连，第4个批量归一化操作层输出与第10个批量归一化操作层输出相连，第5个批量归一化操作层输出与第9个批量归一化操作层输出相连，第6个批量归一化操作层输出与第8个批量归一化操作层输出相连，构成对称连接。
步骤2.1中，构建的GAN模型中生成器结构的各层参数设置如下：
将输入层的输入通道设置为4；将第1个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为16；将第2个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为32；将第3个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为64；将第4个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为128；将第5个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为256；将第6个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为256；将第7个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为512；将第8个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为512；将第1个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为512；将第2个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为512；将第3个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为256；将第4个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为256；将第5个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为128；将第6个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为64；将第7个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为32；将第8个反卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为3；
对于生成器中的所有PReLU激活函数层，其函数定义为：
PReLU(xp)＝max(0,xp)+κ×min(0,xp) (1)
其中，κ表示一个正常数，κ∈(0,1)，设置κ为0.1；xp表示PReLU激活函数层的输入向量；
对于生成器中的Tanh激活函数层，其函数定义为：
Figure BDA0002431993480000141
其中，xt表示Tanh激活函数层的输入向量；
步骤2.2、构建GAN中的鉴别器部分，采用稠密残差网络模型，设置该网络的每层参数；
如图4所示，步骤2.2中，鉴别器结构采用稠密残差网络模型，其结构依次为：输入层—第1个稠密残差块14—第2个稠密残差块14—第3个稠密残差块14—第4个稠密残差块14—第5个稠密残差块14—卷积层—Sigmoid激活函数层15—输出层；
其中，输入层为生成器的输出图像与相应真实图像；输出层为鉴别器判决结果，为0或1；第1个稠密残差块、2个稠密残差块、3个稠密残差块及4个稠密残差块的输出分别与第5个稠密残差块输出相连，构成稠密残差块之间的跳远连接；
鉴别器中的所有稠密残差块的结构为：第1个PReLU激活函数层—第1个卷积层—第1个批量归一化操作层—第2个PReLU激活函数层—第2个卷积层—第2个批量归一化操作层—第3个PReLU激活函数层—第3个卷积层—第3个批量归一化操作层；
其中，第1个PReLU激活函数层输入与第1个批量归一化操作层输出相连；第1个批量归一化操作层输出与第2个批量归一化操作层输出相连；第2个批量归一化操作层输出与第3个批量归一化操作层输出相连；第1个PReLU激活函数层输入与第2个批量归一化操作层输出相连；第1个批量归一化操作层输出与第3个批量归一化操作层输出相连，最终构成稠密残差块的稠密连接和跳远连接；
所构建的GAN模型中鉴别器结构的各层参数设置如下：
对于鉴别器中的所有PReLU激活函数层，其函数定义为见公式(1)，参数设置与(1)中一致。
对于鉴别器中的Sigmoid激活函数层，其函数定义为：
Figure BDA0002431993480000151
其中，xs表示Sigmoid激活函数层的输入向量。鉴别器中稠密残差块的所有卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为64。
步骤3、将步骤1中得到的训练数据集进行一系列像素操作，作为步骤2中所搭建GAN网络的输入；
步骤3具体包括以下步骤：
如图2所示，将步骤1训练数据集中的CFA图像数据集为输入CFA图像1，对输入CFA图像进行一系列像素操作：取出CFA图像中的红，绿，蓝三种颜色分量，形成三通道CFA图像2(三通道CFA图像2中由上到下依次为红，绿，蓝颜色分量)；然后将绿色分量进一步分离成两个通道，从而形成四通道CFA图像3(四通道CFA图像3中由上到下依次为红，绿，绿，蓝颜色分量)；最后对这四通道图像进行像素压缩，只提取不为0的像素值；将最终得到的四通道压缩CFA图像4(四通道压缩CFA图像4中由上到下依次为红，绿，绿，蓝颜色分量)作为生成器7的输入，生成器7的输出为插值后的输出图像5(输出图像5中由上到下依次为红，绿，蓝颜色分量)；将输出图像5与真实图像6同时输入鉴别器8中，鉴别器8的输出将反馈到生成器7中。
步骤4、设置步骤2中所搭建GAN网络的损失函数、超参数，选择网络优化算法以优化损失函数；
步骤4具体包括以下步骤：
步骤4.1、设置GAN网络的损失函数，设yi为步骤3中得到的四通道压缩CFA图像，xi为对应的真实图像，其中i＝1,2,…,N，N表示图像的数量，对于生成器部分，对抗性损失函数La表示为：
Figure BDA0002431993480000161
式中，G(yi)表示四通道压缩CFA图像yi通过生成器后的输出图像，D(G(yi))表示输出图像G(yi)通过鉴别器的输出结果，另外使用VGG特征感知函数Lp，其定义为：
Figure BDA0002431993480000162
式中，F[G(yi)]表示根据预训练VGG网络中的conv2层提取关于生成器输出图像G(yi)的特征映射矩阵，F(xi)表示根据预训练VGG网络中的conv2层提取关于真实图像xi的特征映射矩阵，上式可以帮助细节恢复，另外使用重建损失函数Lr，其定义为：
Figure BDA0002431993480000171
式中，
Figure BDA0002431993480000172
表示总变差，λ表示正则化权重，Lr函数能够删除细节伪像，保留图片中的细节，最后将La、Lp和Lr三个损失结合一起，共同约束所提出的生成器，定义生成器的损失函数为：
LG＝αLa+βLp+γLr (7)
式中，α、β、γ表示正权重；设置参数α＝0.5、β＝1、γ＝1、λ＝10-5根据上式对生成器的参数进行相应修改后，对鉴别器进行更新，鉴别器的损失函数为：
Figure BDA0002431993480000173
式中，D(xi)表示真实图像xi通过鉴别器的输出结果，D(G(yi))表示输出图像G(yi)通过鉴别器的输出结果；
网络的损失函数为生成器的损失函数与鉴别器的损失函数的和，即LG+LD；
步骤4.2、设置GAN网络的超参数，具体包络网络输入批次、学习速率、迭代次数；
将输入批次设置为64，将迭代次数设置为200，将初始学习速率设置为0.01，并设置每经历40迭代后，学习速率减少1/10；
步骤4.3、设置GAN网络的优化算法，优化算法使用自适应时刻估计算法来优化步骤4.1中的损失函数。
步骤5、训练构建的生成式对抗网络GAN，根据步骤4设置的网络超参数、损失函数以及选择的网络优化算法对训练数据集进行训练，得到与其对应的已训练网络模型；
步骤6、对步骤5中的已训练网络模型进行测试实验，并用彩色峰值信噪比和结构相似性指数度量去马赛克图像，说明网络性能；
步骤6具体包括以下步骤：
步骤6.1、选取测试彩色图像，其不在网络训练集中，使用滤波器对测试彩色图像进行下采样操作，得到的下采样图像为测试CFA图像；
步骤6.2、将步骤6.1中得到的测试CFA图像输入到步骤4得到的已训练网络模型中，进而获得网络的输出图像，即测试去马赛克图像；
步骤6.3、为了说明网络性能，用彩色峰值信噪比(CPSNR)和结构相似性指数(SSIM)度量步骤6.2中获得的测试去马赛克图像，其中CPSNR指标的基准为：20dB以上，PSNR越大表示图像去马塞克效果更好；SSIM指标的取值范围为[0,1]，其值越大表示图像结构越接近原始图像。
下面结合仿真实验对本发明的效果做进一步的说明。
1.仿真条件：
本发明的仿真实验是在Tensorflow环境中进行训练，安装环境为具有Nvidia
Figure BDA0002431993480000181
MX250GPU和Inter Core i5-8265U CPU的计算机。
2.仿真内容与结果分析：
附图5是本发明的仿真图，其中，图5(a)为本发明仿真实验所使用的测试彩色图像，图5(b)为图5(a)中方框处相应的放大区域图像，图5(c)为使用最邻近插值法的仿真结果图像，图5(d)为图5(c)中方框处相应的放大区域图像，图5(e)为使用双线性插值法的仿真结果图像，图5(f)为图5(e)中方框处相应的放大区域图像，图5(g)为本发明方法的仿真结果，图5(h)为图5(g)中方框处相应的放大区域图像，对比图5(d)、图5(e)和图5(h)可以看出本发明可以更好的识别输入信号的高频特征(边和角)，有效地恢复图像的纹理和边缘信息，在一定程度上可以消除图像伪影现象，以获得更接近事实的图像，并且本发明可以应用于实际中。

Claims (3)

1.基于生成式对抗神经网络的CFA图像去马赛克方法，其特征在于，具体按照以下步骤实施：
步骤1、构造训练数据集，并对数据进行预处理操作，得到数量充足的训练数据集；
步骤2、构建生成式对抗网络GAN，GAN包括两部分：生成器和鉴别器，对于生成器使用U-Net模型，对于鉴别器使用稠密残差网络；
步骤3、将步骤1中得到的训练数据集进行一系列像素操作，作为步骤2中所搭建GAN网络的输入；
步骤4、设置步骤2中所搭建GAN网络的损失函数、超参数，选择网络优化算法以优化损失函数；
步骤5、训练构建的生成式对抗网络GAN，根据步骤4设置的网络超参数、损失函数以及选择的网络优化算法对训练数据集进行训练，得到与其对应的已训练网络模型；
步骤6、对步骤5中的已训练网络模型进行测试实验，并用彩色峰值信噪比和结构相似性指数度量去马赛克图像，说明网络性能；
所述步骤1具体包括以下步骤：
步骤1.1、从现有数据库中随机找出若干幅彩色图像作为彩色图像数据集，使用滤波器对每一幅彩色图像进行下采样操作，得到的下采样图像为彩色滤波阵列图像，将所有的CFA图像组成CFA图像数据集，彩色图像数据集与CFA图像数据集组成训练数据集；
步骤1.2、对步骤1.1得到的训练数据集进行预处理操作，将训练数据集中的每张图像进行0.7，0.8，0.9，1倍的缩放，根据训练数据集中图像的大小，选择适合尺度的滑动窗口进行平移操作，即完成对图像的小块分割得到若干个小块图像，以提高网络训练性能；紧接着对每个小块图像进行90°旋转、180°旋转、270°旋转和上下翻转的增广操作，从而得到数量充足的训练数据集；
所述步骤2具体包括以下步骤：
步骤2.1、构建GAN中的生成器部分，采用U-Net模型，设置该网络的每层参数；
步骤2.2、构建GAN中的鉴别器部分，采用稠密残差网络模型，设置该网络的每层参数；
所述步骤2.1中，生成器结构采用U-Net模型，其结构依次为：输入层—第1个卷积层—第1个PReLU激活函数层—第2个卷积层—第1个批量归一化操作层—第2个PReLU激活函数层—第3个卷积层—第2个批量归一化操作层—第3个PReLU激活函数层—第4个卷积层—第3个批量归一化操作层—第4个PReLU激活函数层—第5个卷积层—第4个批量归一化操作层—第5个PReLU激活函数层—第6个卷积层—第5个批量归一化操作层—第6个PReLU激活函数层—第7个卷积层—第6个批量归一化操作层—第7个PReLU激活函数层—第8个卷积层—第7个批量归一化操作层—第8个PReLU激活函数层—第1个反卷积层—第8个批量归一化操作层—第9个PReLU激活函数层—第2个反卷积层—第9个批量归一化操作层—第10个PReLU激活函数层—第3个反卷积层—第10个批量归一化操作层—第11个PReLU激活函数层—第4个反卷积层—第11个批量归一化操作层—第12个PReLU激活函数层—第5个反卷积层—第12个批量归一化操作层—第13个PReLU激活函数层—第6个反卷积层—第13个批量归一化操作层—第14个PReLU激活函数层—第7个反卷积层—第14个批量归一化操作层—第8个反卷积层—第1个Tanh激活函数层—输出层；
其中，输入层表示四通道压缩CFA图像，输出层表示输出图像；上述结构中第1个卷积层输出与第14个批量归一化操作层输出相连，第1个批量归一化操作层输出与第13个批量归一化操作层输出相连，第2个批量归一化操作层输出与第12个批量归一化操作层输出相连，第3个批量归一化操作层输出与第11个批量归一化操作层输出相连，第4个批量归一化操作层输出与第10个批量归一化操作层输出相连，第5个批量归一化操作层输出与第9个批量归一化操作层输出相连，第6个批量归一化操作层输出与第8个批量归一化操作层输出相连，构成对称连接；
步骤2.1中，构建的GAN模型中生成器结构的各层参数设置如下：
将输入层的输入通道设置为4；将第1个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为16；将第2个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为32；将第3个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为64；将第4个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为128；将第5个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为256；将第6个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为256；将第7个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为512；将第8个卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为512；将第1个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为512；将第2个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为512；将第3个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为256；将第4个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为256；将第5个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为128；将第6个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为64；将第7个反卷积层的卷积核尺度设置为4*4，卷积步长设置为2*2，特征映射图的数目设置为32；将第8个反卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为3；
对于生成器中的所有PReLU激活函数层，其函数定义为：
PReLU(xp)＝max(0,xp)+κ×min(0,xp) (1)
其中，κ表示一个正常数，κ∈(0,1)，设置κ为0.1；xp表示PReLU激活函数层的输入向量；
对于生成器中的Tanh激活函数层，其函数定义为：
Figure FDA0004057115840000041
其中，xt表示Tanh激活函数层的输入向量；
步骤2.2中，鉴别器结构采用稠密残差网络模型，其结构依次为：输入层—第1个稠密残差块—第2个稠密残差块—第3个稠密残差块—第4个稠密残差块—第5个稠密残差块—卷积层—Sigmoid激活函数层—输出层；
其中，输入层为生成器的输出图像与相应真实图像；输出层为鉴别器判决结果，为0或1；第1个稠密残差块、2个稠密残差块、3个稠密残差块及4个稠密残差块的输出分别与第5个稠密残差块输出相连，构成稠密残差块之间的跳远连接；
鉴别器中的所有稠密残差块的结构为：第1个PReLU激活函数层—第1个卷积层—第1个批量归一化操作层—第2个PReLU激活函数层—第2个卷积层—第2个批量归一化操作层—第3个PReLU激活函数层—第3个卷积层—第3个批量归一化操作层；
其中，第1个PReLU激活函数层输入与第1个批量归一化操作层输出相连；第1个批量归一化操作层输出与第2个批量归一化操作层输出相连；第2个批量归一化操作层输出与第3个批量归一化操作层输出相连；第1个PReLU激活函数层输入与第2个批量归一化操作层输出相连；第1个批量归一化操作层输出与第3个批量归一化操作层输出相连，最终构成稠密残差块的稠密连接和跳远连接；
所构建的GAN模型中鉴别器结构的各层参数设置如下：
对于鉴别器中的所有PReLU激活函数层，其函数定义为见公式(1)，参数设置与(1)中一致；
对于鉴别器中的Sigmoid激活函数层，其函数定义为：
Figure FDA0004057115840000051
其中，xs表示Sigmoid激活函数层的输入向量；鉴别器中稠密残差块的所有卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为64；
所述步骤3具体包括以下步骤：
将步骤1训练数据集中的CFA图像数据集为输入CFA图像，对输入CFA图像进行一系列像素操作：取出CFA图像中的红，绿，蓝三种颜色分量，形成三通道CFA图像；然后将绿色分量进一步分离成两个通道，从而形成四通道CFA图像；最后对这四通道图像进行像素压缩，只提取不为0的像素值；将最终得到的四通道压缩CFA图像作为生成器的输入，生成器的输出为插值后的输出图像；将输出图像与真实图像同时输入鉴别器中，鉴别器的输出将反馈到生成器中。
2.根据权利要求1所述的基于生成式对抗神经网络的CFA图像去马赛克方法，其特征在于，所述步骤4具体包括以下步骤：
步骤4.1、设置GAN网络的损失函数，设yi为步骤3中得到的四通道压缩CFA图像，xi为对应的真实图像，其中i＝1,2,…,N，N表示图像的数量，对于生成器部分，对抗性损失函数La表示为：
Figure FDA0004057115840000061
式中，G(yi)表示四通道压缩CFA图像yi通过生成器后的输出图像，D(G(yi))表示输出图像G(yi)通过鉴别器的输出结果，另外使用VGG特征感知函数Lp，其定义为：
Figure FDA0004057115840000062
式中，F[G(yi)]表示根据预训练VGG网络中的conv2层提取关于生成器输出图像G(yi)的特征映射矩阵，F(xi)表示根据预训练VGG网络中的conv2层提取关于真实图像xi的特征映射矩阵，另外使用重建损失函数Lr，其定义为：
Figure FDA0004057115840000071
/>
式中，
Figure FDA0004057115840000072
表示总变差，λ表示正则化权重，Lr函数能够删除细节伪像，保留图片中的细节，最后将La、Lp和Lr三个损失结合一起，共同约束所提出的生成器，定义生成器的损失函数为：
LG＝αLa+βLp+yLr (7)
式中，α、β、γ表示正权重；设置参数α＝0.5、β＝1、γ＝1、λ＝10-5根据上式对生成器的参数进行相应修改后，对鉴别器进行更新，鉴别器的损失函数为：
Figure FDA0004057115840000073
式中，D(xi)表示真实图像xi通过鉴别器的输出结果，D(G(yi))表示输出图像G(yi)通过鉴别器的输出结果；
网络的损失函数为生成器的损失函数与鉴别器的损失函数的和，即LG+LD；
步骤4.2、设置GAN网络的超参数，具体包络网络输入批次、学习速率、迭代次数；
将输入批次设置为64，将迭代次数设置为200，将初始学习速率设置为0.01，并设置每经历40迭代后，学习速率减少1/10；
步骤4.3、设置GAN网络的优化算法，优化算法使用自适应时刻估计算法来优化步骤4.1中的损失函数。
3.根据权利要求1所述的基于生成式对抗神经网络的CFA图像去马赛克方法，其特征在于，所述步骤6具体包括以下步骤：
步骤6.1、选取测试彩色图像，其不在网络训练集中，使用滤波器对测试彩色图像进行下采样操作，得到的下采样图像为测试CFA图像；
步骤6.2、将步骤6.1中得到的测试CFA图像输入到步骤4得到的已训练网络模型中，进而获得网络的输出图像，即测试去马赛克图像；
步骤6.3、为了说明网络性能，用彩色峰值信噪比和结构相似性指数度量步骤6.2中获得的测试去马赛克图像，其中CPSNR指标的基准为：20dB以上，PSNR越大表示图像去马塞克效果更好；SSIM指标的取值范围为[0,1]，其值越大表示图像结构越接近原始图像。
CN202010239207.XA 2020-03-30 2020-03-30 基于生成式对抗神经网络的cfa图像去马赛克方法 Active CN111383200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010239207.XA CN111383200B (zh) 2020-03-30 2020-03-30 基于生成式对抗神经网络的cfa图像去马赛克方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010239207.XA CN111383200B (zh) 2020-03-30 2020-03-30 基于生成式对抗神经网络的cfa图像去马赛克方法

Publications (2)

Publication Number Publication Date
CN111383200A CN111383200A (zh) 2020-07-07
CN111383200B true CN111383200B (zh) 2023-05-23

Family

ID=71220039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010239207.XA Active CN111383200B (zh) 2020-03-30 2020-03-30 基于生成式对抗神经网络的cfa图像去马赛克方法

Country Status (1)

Country Link
CN (1) CN111383200B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132104B (zh) * 2020-10-09 2021-08-03 哈尔滨工业大学 一种基于环路生成对抗网络的isar舰船目标图像域增强识别方法
CN112308119B (zh) * 2020-10-15 2021-11-05 中国医学科学院北京协和医院 一种肾小球肾炎的免疫荧光分类方法及装置
CN112508929A (zh) * 2020-12-16 2021-03-16 奥比中光科技集团股份有限公司 一种训练生成对抗网络的方法和装置
CN113099121B (zh) * 2021-04-15 2022-05-06 西安交通大学 一种基于弱监督学习的isp实现方法
CN116128735B (zh) * 2023-04-17 2023-06-20 中国工程物理研究院电子工程研究所 基于密集连接残差网络的多光谱图像去马赛克结构及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11024009B2 (en) * 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network
CN110473154B (zh) * 2019-07-31 2021-11-16 西安理工大学 一种基于生成对抗网络的图像去噪方法
CN110570353B (zh) * 2019-08-27 2023-05-12 天津大学 密集连接生成对抗网络单幅图像超分辨率重建方法

Also Published As

Publication number Publication date
CN111383200A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN111383200B (zh) 基于生成式对抗神经网络的cfa图像去马赛克方法
CN111739078B (zh) 一种基于上下文注意力机制的单目无监督深度估计方法
CN111080724B (zh) 一种红外和可见光的融合方法
CN109671023B (zh) 一种人脸图像超分辨率二次重建方法
US8229212B2 (en) Interpolation system and method
US7373019B2 (en) System and method for providing multi-sensor super-resolution
CN111311490A (zh) 基于多帧融合光流的视频超分辨率重建方法
US8345971B2 (en) Method and system for spatial-temporal denoising and demosaicking for noisy color filter array videos
US8213744B2 (en) Image processing apparatus and storage medium storing image processing program
CN110211038A (zh) 基于dirac残差深度神经网络的超分辨率重建方法
EP2147407A1 (en) Noise reduced color image using panchromatic image
EP1110414A1 (en) Method and apparatus for synthesizing high-resolution imagery using one high-resolution camera and a lower resolution camera
US20050244052A1 (en) Edge-sensitive denoising and color interpolation of digital images
CN114170286B (zh) 一种基于无监督深度学习的单目深度估计方法
CN111626927A (zh) 采用视差约束的双目图像超分辨率方法、***及装置
CN115578255A (zh) 一种基于帧间亚像素块匹配的超分辨率重建方法
CN104036468A (zh) 基于预放大非负邻域嵌入的单帧图像超分辨重建方法
CN113610912B (zh) 三维场景重建中低分辨率图像单目深度估计***及方法
CN103313068A (zh) 基于灰边缘约束灰世界的白平衡校正图像处理方法及装置
CN115004220A (zh) 用于原始低光图像增强的神经网络
CN107330856B (zh) 一种基于投影变换和薄板样条的全景成像方法
Paul et al. Maximum accurate medical image demosaicing using WRGB based Newton Gregory interpolation method
CN111696167A (zh) 自范例学习引导的单张影像超分辨率重构方法
US11669939B1 (en) Burst deblurring with kernel estimation networks
CN104574320B (zh) 一种基于稀疏编码系数匹配的图像超分辨率复原方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant