CN107590786A - 一种基于对抗学习网络的图像增强方法 - Google Patents

Abstract

本发明中提出的一种基于对抗学习网络的图像增强方法，其主要内容包括：网络框架、损失函数设计、分辨器网络和网络训练参数，其过程为，首先建立并初始化一个对抗学习网络，用转换函数在生成器中对图像的亮度和色度进行转换从而产生增强效果的图像，然后通过分辨器的损失函数进行对整个网络权重及参数的调整，生成器中图像的增强效果受到分辨器的筛选反馈，从而形成对抗学习，改进图像的正确对比度增强法则。本发明可以处理不同亮度与色度的图像，提供一个基于对抗学习的生产网络来转换图像特性，同时改善了图像增强的效果和区域。

Description

一种基于对抗学习网络的图像增强方法

技术领域

本发明涉及数字图像处理领域，尤其是涉及了一种基于对抗学习网络的图像增强方法。

背景技术

增强图像中的有用信息目的是要改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体或局部特性。一把做法是将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。其应用已经渗透到医学诊断、航空航天、军事侦察、指纹识别、无损探伤、卫星图片等领域。特别地，对X射线图片、CT影像、内窥镜图像进行增强，使医生更容易确定病变区域；对不同时间拍摄的同一地区的遥感图片进行增强处理，可以观察该区域的变化。另外，对于新兴领域如机器人视觉研究、无人驾驶与道路监控等都有着极高的研究价值。

尽管图像增强处理方法已应用到各个领域，但是还没有一种通用的衡量图像质量的指标能够用来评价图像增强方法的优劣，图像增强理论有待进一步完善。因此，图像增强技术的探索具有实验性和多样性。增强的方法往往具有针对性，以至于对某类图像增强效果好的增强方法未必一定适用于另一类图像，给图像增强的方向带来困难。因此基于人类视觉审美的方法越来越趋于重要。

本发明提出了一种新颖的损失函数组合来调整网络权重的新框架。建立并初始化一个对抗学习网络，用转换函数在生成器中对图像的亮度和色度进行转换从而产生增强效果的图像，然后通过分辨器的损失函数进行对整个网络权重及参数的调整，生成器中图像的增强效果受到分辨器的筛选反馈，从而形成对抗学习，改进图像的正确对比度增强法则。本发明可以处理不同亮度与色度的图像，提供一个基于对抗学习的生产网络来转换图像特性，同时改善了图像增强的效果和区域。

发明内容

针对解决在各种图像中增强关键区域像素的问题，本发明的目的在于提供一种基于对抗学习网络的图像增强方法，提出了一种新颖的损失函数组合来调整网络权重的新框架。

为解决上述问题，本发明提供一种基于对抗学习网络的图像增强方法，其主要内容包括：

(一)网络框架；

(二)损失函数设计；

(三)分辨器网络；

(四)网络训练参数。

其中，所述的网络框架，包括一个生成器G和一个分辨器D，对抗学习网络的训练过程即对生成器和分辨器求全局最优的过程，具体如下：

其中，p_data是真实图像数据I的分布，而p_z是生成器生成样本G(z)的分布(z是随机或编码向量)，因此当p_z逐渐收敛到p_data时，公式(1)会在达到全局最优，彼时，分辨器D将无法区分图像是来自于真实图像数据I还是生成器样本G(z)，从而达到对抗学习的目的。

所述的生成器，根据输入真实图像数据I去学习一组图像增强参数{θ}，这组参数通过一个可微分的转换参数{T_θ}后产生新的图像数据I^output：

其中，θ^crop声明了对给定输入图像I切割参数调整度，从属图像切割模块；θ^L和θ^AB分别代表增强参数{θ}中关于亮度和色度的调整度，从属颜色增强模块。

所述的图像切割模块，基于视觉审美或人类视觉焦点条件下寻找图像的最关键区域进行增强，具体为对于给定的输入图像I，生成切割坐标参数θ^crop＝[x，y，w，h]，将图像按照此坐标进行切割；同时，基于RestNet网络输出的2048一维向量，采用1×1大小的卷积核对其进行卷积操作，使得其输出个数为5的特征图，前4个特征图为坐标参数，第5个特征为该图像经过概率转换函数softmax时的概率值。

所述的颜色增强模块，对于给定图像I，使用调整度参数θ^L和θ^AB分别对光照及颜色对比进行调整，具体为使用权利要求书3所述的亮度转换函数和色度转换函数对于每个像素进行换算。

所述的亮度转换函数，对给定像素m∈L，有

其中，为保证连续，设定和k₃＝1-a；此外，控制参数p≥1使得阴暗区域更加明亮，0＜p＜1使得过度曝光区域更加阴暗，通过公式(3)，转换函数设定了参数θ^L＝[a，b，p，q]，该参数组将通过端对端学习进行调整。

所述的色度转换函数，对给定像素同时从属两个颜色空间，即m∈A和m∈B，有

及

其中，转换函数设定了参数θ^AB＝[θ^A，θ^B]＝[α，β]，该参数组将通过端对端学习进行调整。

所述的损失函数设计，设计一个一般损失函数来调整学习网络的参数，具体地，该一般损失函数由三个独立的损失函数通过加权求和方式得到：

1)对抗损失：

2)感知损失：此损失项的设计是为了防止切割图像和增强对比度带来的视觉上的质量降低：

其中f_vgg是指在第7层特征图；

3)正则化损失：

其中，

其中，D指分辨器。

所述的分辨器网络，评估预训练后的图像所具有的美感程度，其手段是通过应用交叉熵损失函数进行对网络权重的调整，具体为：

其中，I^output＝T_{θ}(I^bad)。

所述的网络训练参数，为使得网络趋于优化，作出以下设定：

1)设定图像尺寸为224×224，经过网络的训练后将得到2048个尺寸为7×7的特征图；

2)设定池化方式为平均值池化，即在滑动窗口中选择该窗口所有元素的平均值作为下采样保留值；

3)分别设定生成器和分辨器的学习率为lr_G＝5e^-5和lr_D＝5e^-7；

4)每批次训练样本数设置为64，采用随机梯度下降法进行权值更新；

5)训练总迭代数为5000代，其中生成器和分辨器的训练代数各为2500。

附图说明

图1是本发明一种基于对抗学习网络的图像增强方法的***流程图。

图2是本发明一种基于对抗学习网络的图像增强方法的图像增强比较图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于对抗学习网络的图像增强方法的***流程图。主要包括网络框架；损失函数设计；分辨器网络；网络训练参数。

其中，网络框架。包括一个生成器G和一个分辨器D，对抗学习网络的训练过程即对生成器和分辨器求全局最优的过程，具体如下：

其中，p_data是真实图像数据I的分布，而p_z是生成器生成样本G(z)的分布(z是随机或编码向量)，因此当p_z逐渐收敛到p_data时，公式(1)会在达到全局最优，彼时，分辨器D将无法区分图像是来自于真实图像数据I还是生成器样本G(z)，从而达到对抗学习的目的。

生成器，根据输入真实图像数据I去学习一组图像增强参数{θ}，这组参数通过一个可微分的转换参数{T_θ}后产生新的图像数据I^output：

其中，θ^crop声明了对给定输入图像I切割参数调整度，从属图像切割模块；θ^L和θ^AB分别代表增强参数{θ}中关于亮度和色度的调整度，从属颜色增强模块。

图像切割模块，基于视觉审美或人类视觉焦点条件下寻找图像的最关键区域进行增强，具体为对于给定的输入图像I，生成切割坐标参数θ^crop＝[x，y，w，h]，将图像按照此坐标进行切割；同时，基于RestNet网络输出的2048一维向量，采用1×1大小的卷积核对其进行卷积操作，使得其输出个数为5的特征图，前4个特征图为坐标参数，第5个特征为该图像经过概率转换函数softmax时的概率值。

颜色增强模块，对于给定图像I，使用调整度参数θ^L和θ^AB分别对光照及颜色对比进行调整，具体为使用权利要求书3所述的亮度转换函数和色度转换函数对于每个像素进行换算。

亮度转换函数，对给定像素m∈L，有

其中，为保证连续，设定和k₃＝1-a；此外，控制参数p≥1使得阴暗区域更加明亮，0＜p＜1使得过度曝光区域更加阴暗，通过公式(3)，转换函数设定了参数θ^L＝[a，b，p，q]，该参数组将通过端对端学习进行调整。

色度转换函数，对给定像素同时从属两个颜色空间，即m∈A和m∈B，有

及

其中，转换函数设定了参数θ^AB＝[θ^A，θ^B]＝[α，β]，该参数组将通过端对端学习进行调整。

损失函数设计，设计一个一般损失函数来调整学习网络的参数，具体地，该一般损失函数由三个独立的损失函数通过加权求和方式得到：

1)对抗损失：

2)感知损失：此损失项的设计是为了防止切割图像和增强对比度带来的视觉上的质量降低：

其中f_vgg是指在第7层特征图；

3)正则化损失：

其中，

其中，D指分辨器。

分辨器网络，评估预训练后的图像所具有的美感程度，其手段是通过应用交叉熵损失函数进行对网络权重的调整，具体为：

其中，I^output＝T_{θ}(I^bad)。

网络训练参数，为使得网络趋于优化，作出以下设定：

1)设定图像尺寸为224×224，经过网络的训练后将得到2048个尺寸为7×7的特征图；

2)设定池化方式为平均值池化，即在滑动窗口中选择该窗口所有元素的平均值作为下采样保留值；

3)分别设定生成器和分辨器的学习率为lr_G＝5e^-5和lr_D＝5e^-7；

4)每批次训练样本数设置为64，采用随机梯度下降法进行权值更新；

5)训练总迭代数为5000代，其中生成器和分辨器的训练代数各为2500。

图2是本发明一种基于对抗学习网络的图像增强方法的图像增强比较图。如图所示，可以观察到在第一列原始图像输入后分别经过专业画图软件自动增强和本发明方法增强，可以发现，经过本发明处理过的图像其关键区域的纹理更加清晰，色彩对比图更加明显，具有更好的审美视觉效果。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于对抗学习网络的图像增强方法，其特征在于，主要包括网络框架(一)；损失函数设计(二)；分辨器网络(三)；网络训练参数(四)。

2.基于权利要求书1所述的网络框架(一)，其特征在于，包括一个生成器G和一个分辨器D，对抗学习网络的训练过程即对生成器和分辨器求全局最优的过程，具体如下：

其中，p_data是真实图像数据I的分布，而p_z是生成器生成样本G(z)的分布(z是随机或编码向量)，因此当p_z逐渐收敛到p_data时，公式(1)会在达到全局最优，彼时，分辨器D将无法区分图像是来自于真实图像数据I还是生成器样本G(z)，从而达到对抗学习的目的。

3.基于权利要求书2所述的生成器，其特征在于，根据输入真实图像数据I去学习一组图像增强参数{θ}，这组参数通过一个可微分的转换参数{T_θ}后产生新的图像数据I^output：

其中，θ^crop声明了对给定输入图像I切割参数调整度，从属图像切割模块；θ^L和θ^AB分别代表增强参数{θ}中关于亮度和色度的调整度，从属颜色增强模块。

4.基于权利要求书3所述的图像切割模块，其特征在于，基于视觉审美或人类视觉焦点条件下寻找图像的最关键区域进行增强，具体为对于给定的输入图像I，生成切割坐标参数θ^crop＝[x，y，w，h]，将图像按照此坐标进行切割；同时，基于RestNet网络输出的2048一维向量，采用1×1大小的卷积核对其进行卷积操作，使得其输出个数为5的特征图，前4个特征图为坐标参数，第5个特征为该图像经过概率转换函数softmax时的概率值。

5.基于权利要求书3所述的颜色增强模块，其特征在于，对于给定图像I，使用调整度参数θ^L和θ^AB分别对光照及颜色对比进行调整，具体为使用权利要求书3所述的亮度转换函数和色度转换函数对于每个像素进行换算。

6.基于权利要求书5所述的亮度转换函数，其特征在于，对给定像素m∈L，有

其中，为保证连续，设定和k₃＝1-a；此外，控制参数p≥1使得阴暗区域更加明亮，0＜p＜1使得过度曝光区域更加阴暗，通过公式(3)，转换函数设定了参数θ^L＝[a，b，p，q]，该参数组将通过端对端学习进行调整。

7.基于权利要求书5所述的色度转换函数，其特征在于，对给定像素同时从属两个颜色空间，即m∈A和m∈B，有

及

其中，转换函数设定了参数θ^AB＝[θ^A，θ^B]＝[α，β]，该参数组将通过端对端学习进行调整。

8.基于权利要求书1所述的损失函数设计(二)，其特征在于，设计一个一般损失函数来调整学习网络的参数，具体地，该一般损失函数由三个独立的损失函数通过加权求和方式得到：

1)对抗损失：

<mrow> <msub> <mi>L</mi> <mrow> <mi>g</mi> <mi>a</mi> <mi>n</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mi>D</mi> <mrow> <mo>(</mo> <msubsup> <mi>I</mi> <mi>i</mi> <mrow> <mi>o</mi> <mi>u</mi> <mi>t</mi> <mi>p</mi> <mi>u</mi> <mi>t</mi> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>

2)感知损失：此损失项的设计是为了防止切割图像和增强对比度带来的视觉上的质量降低：

<mrow> <msub> <mi>L</mi> <mrow> <mi>p</mi> <mi>e</mi> <mi>r</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mo>|</mo> <mo>|</mo> <msub> <mi>f</mi> <mrow> <mi>v</mi> <mi>g</mi> <mi>g</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>I</mi> <mi>i</mi> <mrow> <mi>o</mi> <mi>u</mi> <mi>t</mi> <mi>p</mi> <mi>u</mi> <mi>t</mi> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>f</mi> <mrow> <mi>v</mi> <mi>g</mi> <mi>g</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>

其中f_vgg是指在第7层特征图；

3)正则化损失：

<mrow> <msub> <mi>L</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>g</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mi>&amp;phi;</mi> <mrow> <mo>(</mo> <msubsup> <mi>I</mi> <mi>i</mi> <mrow> <mi>o</mi> <mi>u</mi> <mi>t</mi> <mi>p</mi> <mi>u</mi> <mi>t</mi> </mrow> </msubsup> <mo>,</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>

其中，

其中，D指分辨器。

9.基于权利要求书1所述的分辨器网络(三)，其特征在于，评估预训练后的图像所具有的美感程度，其手段是通过应用交叉熵损失函数进行对网络权重的调整，具体为：

<mrow> <msub> <mi>L</mi> <mi>D</mi> </msub> <mo>=</mo> <msub> <mi>E</mi> <mrow> <mi>I</mi> <mo>~</mo> <msub> <mi>p</mi> <mrow> <mi>g</mi> <mi>o</mi> <mi>o</mi> <mi>d</mi> </mrow> </msub> </mrow> </msub> <mo>&amp;lsqb;</mo> <msub> <mi>f</mi> <mi>W</mi> </msub> <mrow> <mo>(</mo> <msup> <mi>I</mi> <mrow> <mi>g</mi> <mi>o</mi> <mi>o</mi> <mi>d</mi> </mrow> </msup> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <msub> <mi>E</mi> <mrow> <mi>&amp;theta;</mi> <mo>~</mo> <msup> <mi>I</mi> <mrow> <mi>b</mi> <mi>a</mi> <mi>d</mi> </mrow> </msup> </mrow> </msub> <mo>&amp;lsqb;</mo> <msub> <mi>f</mi> <mi>W</mi> </msub> <mrow> <mo>(</mo> <msup> <mi>I</mi> <mrow> <mi>o</mi> <mi>u</mi> <mi>t</mi> <mi>p</mi> <mi>u</mi> <mi>t</mi> </mrow> </msup> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>

其中，I^output＝T_{θ}(I^bad)。

10.基于权利要求书1所述的网络训练参数(四)，其特征在于，为使得网络趋于优化，作出以下设定：

1)设定图像尺寸为224×224，经过网络的训练后将得到2048个尺寸为7×7的特征图；

2)设定池化方式为平均值池化，即在滑动窗口中选择该窗口所有元素的平均值作为下采样保留值；

3)分别设定生成器和分辨器的学习率为lr_G＝5e^-5和lr_D＝5e^-7；

4)每批次训练样本数设置为64，采用随机梯度下降法进行权值更新；

5)训练总迭代数为5000代，其中生成器和分辨器的训练代数各为2500。