CN112669242A - 基于改进图像增强算法与生成对抗网络的夜景复原方法 - Google Patents

基于改进图像增强算法与生成对抗网络的夜景复原方法 Download PDF

Info

Publication number
CN112669242A
CN112669242A CN202110278464.9A CN202110278464A CN112669242A CN 112669242 A CN112669242 A CN 112669242A CN 202110278464 A CN202110278464 A CN 202110278464A CN 112669242 A CN112669242 A CN 112669242A
Authority
CN
China
Prior art keywords
image
night
representing
channel
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110278464.9A
Other languages
English (en)
Inventor
李昊伶
朱锐
徐天怡
殷嫦藜
吴林芮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202110278464.9A priority Critical patent/CN112669242A/zh
Publication of CN112669242A publication Critical patent/CN112669242A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于改进图像增强算法与生成对抗网络的夜景复原方法，包括以下步骤：S1：采集夜间图像，并利用MSRCP算法对夜间图像进行增强处理；S2：判断增强处理后的夜间图像是否需要进行风格迁移，若是则进入步骤S3，否则进入步骤S4；S3：进行风格迁移，并进入步骤S4；S4：对增强处理后的夜间图像依次进行暗通道先验去雾和清晰度处理，完成夜景复原。本发明的夜景复原方法适用于安防监控和有区域夜间取景需要的领域，训练集易收集，易训练，对模型的泛化性要求不高，在单风格区域的实验当中尤为出色，具有很强的实用性和可行性。

Description

基于改进图像增强算法与生成对抗网络的夜景复原方法
技术领域
本发明属于图像处理和机器视觉技术领域，具体涉及一种基于改进图像增强算法与生成对抗网络的夜景复原方法。
背景技术
随着社会经济发展，人类夜间活动变得不断丰富。人类和其他许多生物对黑夜有着天生的恐惧。因为我们在黑夜里视力不佳，不能很好地观察周围的情况，在防御方面处于弱势。而在现代社会，人们的许多活动和研究因为视线、夜晚摄影效果等原因而难以进行，战争的发动、军队的行进和偷袭多在晚上发生，不法分子也大多选择在夜幕的保护下进行违法活动。在夜晚，人类主导夜间视觉的细胞对色彩的敏感程度显著下降。在光线微弱的情况下，依靠自身视觉***很难捕捉周边信息，相机也由于光线原因难以捕捉藏匿在黑暗中的关键信息，本申请的目标是实现一种技术来弥补夜晚的视觉缺陷。在科学研究领域，许多动物昼伏夜出且对光敏感，科学家为了研究动物的夜间行为需要在夜间拍摄图片视频。为了不打扰他们不能开灯光，而是一般采用红外摄像机，但部分动物特征信息会因此丢失，如果能将拍摄到的夜间影像复原，会有很大帮助。在公共安防领域，在夜幕的掩护下，夜晚犯罪频发，而公共场合监控设备采集到的视频往往在夜晚由于光线效果不佳，这导致保安看监控时容易错过关键信息，警察调查监控时对于昏暗的死角也束手无策。通过对采集到的夜景视频进行复原，可以使安保人员发现夜幕中的危险并作出快速反应，为办案人员恢复出明朗的景象，快速找到人员衣物颜色、车辆等重要信息，为案件侦破提供帮助。在国防和战争领域，战争中军队都喜欢在夜幕的庇护下行进、发动偷袭。假设敌人躲过了雷达监测，仅靠疲惫的站岗哨兵微弱的夜间视力很难发现敌人。这时如果能将夜景复原，便可快速发现敌人靠近，具有战略实践意义。经过研究，本申请实现了一种将图像处理算法和神经网络深度学习结合的技术，可以很好地复原夜晚景象，还原白天风格，帮助人们捕捉夜晚敏感关键的信息。
发明内容
本发明的目的是为了解决夜景图像复原的问题，提出了一种基于改进图像增强算法与生成对抗网络的夜景复原方法。
本发明的技术方案是：一种基于改进图像增强算法与生成对抗网络的夜景复原方法包括以下步骤：
S1：采集夜间图像，并利用MSRCP算法对夜间图像进行增强处理；
S2：判断增强处理后的夜间图像是否需要进行风格迁移，若是则进入步骤S3，否则进入步骤S4；
S3：训练夜间图像区域的非配对图像翻译神经网络，将增强处理后的夜间图像作为训练集的夜晚域输入，进行风格迁移，并进入步骤S4；
S4：对增强处理后的夜间图像依次进行暗通道先验去雾和清晰度处理，完成夜景复原。
本发明的有益效果是：本发明的夜景复原方法适用于安防监控和有区域夜间取景需要的领域，训练集易收集易训练，对模型的泛化性要求不高，在单风格区域的实验当中尤为出色，具有很强的实用性和可行性。创新的神经网络结构大大缓解了网络训练的压力，保护了图像内容，提升了生成图像的质量，还解决了夜间局部过度曝光的问题，最终输出的图像清晰柔和并且细节突出。
进一步地，步骤S1中，若采集的夜间图像为单通道图像，则进行增强处理包括以下子步骤：
A11：根据Retinex算法，对夜间图像进行分解和移项处理，得到夜间图像的关系式，具体为：
Figure DEST_PATH_IMAGE001
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
表示采集的单通道夜间图像矩阵，
Figure DEST_PATH_IMAGE004
表示采集的夜间图像为单通道图像的环境光照分量矩阵，
Figure DEST_PATH_IMAGE005
表示单通道图像的目标物体反射分量矩阵，
Figure DEST_PATH_IMAGE006
表示像素坐标的横坐标，
Figure DEST_PATH_IMAGE007
表示像素坐标的纵坐标，
Figure DEST_PATH_IMAGE008
表示矩阵
Figure 112469DEST_PATH_IMAGE003
上坐标为
Figure DEST_PATH_IMAGE009
的像素值，
Figure DEST_PATH_IMAGE010
表示矩阵
Figure 764030DEST_PATH_IMAGE004
上坐标为
Figure 199560DEST_PATH_IMAGE009
的像素值，
Figure DEST_PATH_IMAGE011
表示矩阵
Figure 860348DEST_PATH_IMAGE005
上坐标为
Figure 81245DEST_PATH_IMAGE009
的像素值，
Figure DEST_PATH_IMAGE012
表示卷积运算，
Figure DEST_PATH_IMAGE013
表示对数运算；
A12：利用高斯核对夜间图像的关系式进行卷积操作，得到增强处理后的目标物体反射分量；
A13：将增强处理后的目标物体反射分量映射至像素值域[0，255]，得到增强处理后的图像；
步骤A12中，利用高斯核对夜间图像的关系式进行卷积操作的方法为：选取sigma值并计算对应的权重矩阵，将权重矩阵作为高斯核进行卷积操作，其计算公式为：
Figure DEST_PATH_IMAGE015
其中，
Figure DEST_PATH_IMAGE016
表示高斯核矩阵，
Figure DEST_PATH_IMAGE017
表示高斯核矩阵
Figure 559500DEST_PATH_IMAGE016
上坐标为
Figure DEST_PATH_IMAGE018
的像素值；
步骤S1中，若采集的夜间图像为多通道图像，则进行增强处理包括以下子步骤：
B11：根据Retinex算法，对夜间图像进行分解并进行移项处理，得到夜间图像的关系式，具体为：
Figure DEST_PATH_IMAGE019
Figure DEST_PATH_IMAGE020
其中，
Figure DEST_PATH_IMAGE021
表示采集的多通道夜间图像矩阵，
Figure DEST_PATH_IMAGE022
表示采集的夜间图像为多通道图像的环境光照分量矩阵，
Figure DEST_PATH_IMAGE023
表示多通道图像的目标物体反射分量矩阵，
Figure DEST_PATH_IMAGE024
表示矩阵
Figure 810221DEST_PATH_IMAGE021
上坐标为
Figure 743542DEST_PATH_IMAGE009
的像素值，
Figure DEST_PATH_IMAGE025
表示矩阵
Figure 599372DEST_PATH_IMAGE022
上坐标为
Figure 389473DEST_PATH_IMAGE009
的像素值，
Figure DEST_PATH_IMAGE026
表示矩阵
Figure 284748DEST_PATH_IMAGE023
上坐标为
Figure 552918DEST_PATH_IMAGE009
的像素值；
B12：根据夜间图像的关系式，在不同通道上进行高斯滤波并加权相加，得到增强处理后的图像；
步骤B12中，在不同通道上进行高斯滤波并加权相加的计算公式为：
Figure DEST_PATH_IMAGE027
其中，
Figure DEST_PATH_IMAGE028
表示下一个多通道图像的目标物体反射分量矩阵，
Figure DEST_PATH_IMAGE029
表示矩阵
Figure 466516DEST_PATH_IMAGE028
上坐标为
Figure 630782DEST_PATH_IMAGE009
的像素值，
Figure DEST_PATH_IMAGE030
表示每个通道对应的权重，
Figure DEST_PATH_IMAGE031
表示所采集到的夜间图像的第
Figure DEST_PATH_IMAGE032
个通道图层中坐标为
Figure 262620DEST_PATH_IMAGE009
处的像素值，
Figure DEST_PATH_IMAGE033
表示第
Figure 927957DEST_PATH_IMAGE032
个通道图层经高斯模糊后坐标为
Figure 102586DEST_PATH_IMAGE009
处的像素值。
上述进一步方案的有益效果是：在本发明中，对于摄像机拍摄到的夜间图
像
Figure DEST_PATH_IMAGE034
，先考虑其为单通道图像（如灰度图），根据Retinex理论可以看作是环境光照分量
Figure DEST_PATH_IMAGE035
和目标物体反射分量
Figure DEST_PATH_IMAGE036
相乘所得，
Figure 31228DEST_PATH_IMAGE036
携带图像细节信息，是所求的增强后的图像。通过移项再两边取对数，可抛开入射光性质得到物体本来面貌。
进一步地，步骤S3中，训练夜间图像区域的非配对图像翻译神经网络采用小批量梯度下降法，训练参数设置包括：设置批量大小batch_size，
训练过程中将图像裁剪成256
Figure DEST_PATH_IMAGE037
256，设置初始学习率，采用ADAM优化器调整学习率，设置优化器参数和设置训练代数，其中，前半训练代数采用初始学习率学习，后半训练代数的学习率以相同数值递减。
进一步地，步骤S3中，将增强处理后的夜间图像作为训练集的夜晚域输入进行风格迁移的方法为：采用循环一致性进行非配对图像翻译；依次采用最小二乘对抗性损失和自我身份映射损失完成风格迁移。
上述进一步方案的有益效果是：在本发明中，考虑到图像配对训练对于训练集的要求十分苛刻，每次训练都要用同一个地方的白天和黑夜作为一对训练样本，这并不现实，于是采用了循环一致性损失来实现非配对训练，在没有配对样本的情况下学习将图像从源域x转换为目标域y，假如目标为学习映射g：x→y，目前只有判别器使用对抗性损失来训练，但这个映射是高度欠约束的，可是不配对又难以寻找重建误差项。此时循环一致性损失采用逆映射f：y→x对其进行耦合，推动f(g(x))≈x，f(g(y))≈y（使某域的图片经过两个生成器映射转换后能近似回到初始值）。同时为了保护输出图像的色彩组成，引入了自我身份映射一致性损失，目的是推动f(x)≈x，g(y)≈y。
进一步地，步骤S3中，采用循环一致性进行图像非配对翻译的函数表达式为：
Figure DEST_PATH_IMAGE038
其中，
Figure DEST_PATH_IMAGE039
表示生成对抗网络中两个生成器产生的循环一致性损失之和，
Figure DEST_PATH_IMAGE040
表示
Figure DEST_PATH_IMAGE041
是来自夜间图像域的真实样本，
Figure DEST_PATH_IMAGE042
表示
Figure DEST_PATH_IMAGE043
是来自白天图像域的真实样本，
Figure DEST_PATH_IMAGE044
表示负责黑夜到白天映射的生成器，
Figure DEST_PATH_IMAGE045
表示负责白天到黑夜映射的生成器，
Figure DEST_PATH_IMAGE046
表示将真实的夜间照片放入生成器
Figure DEST_PATH_IMAGE047
生成的假白天照片，
Figure DEST_PATH_IMAGE048
表示将真实的白天照片放入生成器
Figure DEST_PATH_IMAGE049
生成的假夜间照片，
Figure DEST_PATH_IMAGE050
表示图像间的曼哈顿距离运算；
上述进一步方案的有益效果是：在本发明中，采用循环一致性损失施加了和配对训练差不多强度的约束，考虑到了地面真实输出，得到了很好的效果，而且最大的优势是训练集非配对容易获得。但是为了训练方便付出的代价也是巨大的，那就是多了一个判别器和一个生成器，但它们起到的作用仅仅是提供产生循环一致损失的一半工作。产生了很多不必要的副产物，参数多了很多，机器训练压力更大了。但采用VGG特征距离代替循环一致性损失，效果并不好。考虑到循环一致损失效果出色，而且一旦神经网络模型训练出来，那么后面复原的速度就和网络训练复杂程度没什么关系，本申请最终采用循环一致损失，这也是目前图像翻译非配对训练提升约束的唯一方法。
最小二乘对抗性损失的函数表达式为：
Figure DEST_PATH_IMAGE051
其中，
Figure DEST_PATH_IMAGE052
表示黑夜到白天映射中产生的最小二乘对抗性损失，
Figure DEST_PATH_IMAGE053
表示夜晚图像域，
Figure DEST_PATH_IMAGE054
表示白天图像域，
Figure DEST_PATH_IMAGE055
表示判别白天图像域
Figure 78860DEST_PATH_IMAGE054
真假的鉴别器，
Figure DEST_PATH_IMAGE056
表示将真实的夜间照片放入生成器
Figure 298620DEST_PATH_IMAGE044
生成的假白天照片,
Figure DEST_PATH_IMAGE057
表示将真实白天样本输入鉴别器
Figure DEST_PATH_IMAGE058
输出的介于[0,1]的预测值，
Figure DEST_PATH_IMAGE059
表示将生成器
Figure 186810DEST_PATH_IMAGE044
生成的假白天照片输入鉴别器
Figure 692878DEST_PATH_IMAGE058
输出的介于[0,1]的预测值；
上述进一步方案的有益效果是：在本发明中，对于风格转换，增强后生成对抗网络将学习在没有配对示例的情况下将图像从增强域x转换为日光域y。 在这里三种损失是必要的。首先，对抗性损失由鉴别器提供，这是为了最小化实际日光场景与输出之间的距离。采用最小二乘对抗性损失(LSGAN)损失代替负对数似然或sigmoid函数，因为这个损失是更稳定，模型的振荡更少，并倾向于产生更高质量的结果。
自我身份映射损失的函数表达式为：
Figure DEST_PATH_IMAGE060
其中，
Figure DEST_PATH_IMAGE061
表示生成对抗网络中两个生成器产生的自我身份映射损失之和，
Figure DEST_PATH_IMAGE062
表示将真实的白天照片放入生成器
Figure 33729DEST_PATH_IMAGE044
生成的假白天照片，
Figure DEST_PATH_IMAGE063
表示将真实的夜间照片放入生成器
Figure DEST_PATH_IMAGE064
生成的假夜间照片；
上述进一步方案的有益效果是：在本发明中，循环一致性损失虽然起到了一定的监督作用，使得生成图像比起直接学习映射而言更加接近地面真实输出，但在图像的颜色组成上仍然不能提供足够的约束。为了保护图像原本的颜色在映射的过程中少受损害，引入了另一种有益的损失，称为自我身份映射损失。这种损失是将目标域的真实图像输入到自己的生成器中，不会有太大改变，即推动f(x)≈x和g(y)≈y，这样的改进明显保护了图像颜色。
循环一致性损失和自我身份映射损失用来对“未配对”翻译施加约束。循环一致性损失就像一种传统的损失，但生成器的任务不仅是保护内容，也要在L1意义上接近地面真实输出。本申请没有考虑L2距离，因为它已经被证明是鼓励模糊的。在许多不关心源域的图像颜色组成的图像翻译任务中(例如图像边缘到图像，漫画到真实照片)，这一损失和对抗性损失足以很好地完成翻译任务。但对于日夜之间的翻译，要关心原来图像的颜色组成，它们仍然没有施加足够的约束。身份映射损失是必需的，用来保护输入到输出之间的颜色组成，否则输出的颜色将很奇怪。
进一步地，步骤S3中，非配对图像翻译神经网络包括局部判别器和生成器，其中，生成器将U-net和残差网络结合并引入光照强度自规范图对待复原的夜景图像及生成器网络产生的每一个特征图进行自正则操作；局部判别器使用卷积神经网络判断随机裁剪的70x70图像块的真假。
上述进一步方案的有益效果是：在本发明中， 对于生成器网络，网络的骨架部分包括了两个2跨步卷积层、两个1/2跨步反卷积层和几个残差块，并进行了实例归一化，输入与输出对应特征图之间还共享了部分图像内容信息，这样做保护了图像内容并且使得网络容易训练。同时加入了光照强度自规范图来改善光照分布，在夜间低照度图像中常常会有路灯、广告牌等过分明亮的物体，本发明的思路是引入一种光照强度自规范图，使得风格迁移过程中不同亮度的图像区域在最终输出的图像中亮度趋于一致，这样输出图像既不会过度曝光也不会低曝。具体方法：将输入RGB图像保存其对应灰度图的一个副本，由于灰度图的数值代表了图像光照强度，将此副本L的像素值标准化到区间[0,1]，然后使用1-L作为一种自我规范注意图（图像越亮的地方该数值越低）。调整此注意图大小，以匹配每次卷积处理后的特征图并和它们相乘，这种方法作为一种亮度规范的形式改善了输出的视觉效果。
对于判别器网络，使用普通卷积神经网络输出一个相对概率来判断图片真假，采用70
Figure 837606DEST_PATH_IMAGE037
70大小的局部鉴别器，减少了像素鉴别器的过分约束和尖锐高频的细节，避免了全局鉴别器庞大的训练参数，缓解机器训练压力。同时局部鉴别器更容易识别曝光物体，能完全解决局部过曝对周围的错误渲染效果（自规范图是亮度意义上的解决过度曝光，局部鉴别器还可以把周围的错误渲染效果抹去）。为了减少模型振荡，使用判别器接收到的图像的50张历史记录更新判别器参数，即对判别器的训练参数batch_size为50（这里是指50张70X70的局部切块，而不是50张输入图像），而生成器由于机器性能原因取batch_size为1~4（这里是指整张图片），它们都较高频地更新参数。
进一步地，步骤S4包括以下子步骤：
S41：对增强处理后的夜间图像进行暗通道先验去雾处理；
S42：对进行暗通道先验去雾处理后的图像进行清晰度处理，完成夜景复原。
上述进一步方案的有益效果是：在本发明中，增强的夜间图像普遍存在严重雾化情况，所以采用暗通道先验理论进行去雾。用MSRCP处理夜景，当图像光线分布均匀且比较充足时（如夜间的街景），复原效果良好。但实际应用中很多夜景图片有大片暗光、无光和无信息区域，利用MSRCP算法处理这些区域时很容易造成色彩错误渲染和程度不同的雾化效果，噪声严重。另外夜晚的景象、照片总是不清晰的，这是因为影像没有足够的光线进入人眼或相机的感光元件，所以即使通过色彩复原也不会使图像清晰。Retinex算法在过于黑暗的地方会因为信息匮乏，计算出错，出现颜色错误渲染的结果，通过调整色彩增益和偏差改善了输出效果，同时发现减小图像分辨率有利于抑制错误渲染的扩张（同时小分辨率能更好地满足实时处理）。
进一步地，步骤S41包括以下子步骤：
S411：根据增强处理后的夜间图像，确定夜间图像的暗通道
Figure DEST_PATH_IMAGE065
，其计算公式为：
Figure DEST_PATH_IMAGE066
其中，
Figure DEST_PATH_IMAGE067
表示彩色图像的每个通道，
Figure DEST_PATH_IMAGE068
表示红色，
Figure DEST_PATH_IMAGE069
表示绿色，
Figure DEST_PATH_IMAGE070
表示蓝色，
Figure DEST_PATH_IMAGE071
表示三原色集合，
Figure DEST_PATH_IMAGE072
表示彩色图像的红色通道，
Figure DEST_PATH_IMAGE073
表示彩色图像的绿色通道，
Figure DEST_PATH_IMAGE074
表示彩色图像的蓝色通道，
Figure DEST_PATH_IMAGE075
表示以像素为中心的窗口，
Figure DEST_PATH_IMAGE076
表示属于窗口
Figure 173778DEST_PATH_IMAGE075
中的任一像素；
S412：基于暗通道
Figure 772119DEST_PATH_IMAGE065
，对夜间图像进行去雾处理；
步骤S412中，雾图形成模型方程为：
Figure DEST_PATH_IMAGE077
其中，
Figure DEST_PATH_IMAGE078
表示待去雾图像，
Figure DEST_PATH_IMAGE079
表示无雾图像，
Figure DEST_PATH_IMAGE080
表示全球大气光成分，
Figure DEST_PATH_IMAGE081
表示透射率；
基于暗通道
Figure 865846DEST_PATH_IMAGE065
先验理论和雾图形成模型方程，得到无雾图像，其计算公式为：
Figure DEST_PATH_IMAGE082
其中，
Figure DEST_PATH_IMAGE083
表示透射率阈值，
Figure DEST_PATH_IMAGE084
表示取最大值运算。
进一步地，步骤S42中，对图像进行清晰度处理的方法为：依次进行锐化和滤波；
其中，进行锐化的方法为：利用锐化内核对进行暗通道去雾处理后的图像进行一次卷积操作，锐化内核为：
Figure DEST_PATH_IMAGE085
；
进行滤波的方法为：采用opencv的库函数bilateralFilter（src，d，sigmaColor，sigmaSpace）对锐化后的图像进行双边滤波，其中，scr表示输入锐化后的图像，d表示滤波模板的尺寸大小，sigmaColor表示色彩空间的sigma参数，sigmaSpace表示坐标空间的sigma参数。
上述进一步方案的有益效果是：在本发明中，由于没有足够的光线，夜晚图像一般都比较模糊，这是因为拍到的影像本来就有大量信息缺失，使用Retinex也无法改变这一点。采用对图像先锐化再滤波的方法进行清晰度的提高。对图像进行锐化这样简单地处理会增加更多噪声。为了消除噪点，诸如中值滤波、高斯滤波等模糊技术的结果并不好，处理结果是图像背景模糊不清或较暗，提升清晰度的效果失败。而保留边缘的双边滤波是结合图像的空间邻近度和像素值相似度的一种折中处理，同时考虑空间与信息和灰度相似性，达到保边去噪的目的。利用锐化内核对进行暗通道去雾处理后的图像进行一次卷积操作，以增强图像边缘达到清晰化的目的，锐化后的图像噪声会明显变多，所以对图像进行一次保边去噪的双边滤波。
附图说明
图1为夜景复原方法的流程图；
图2为去雾的实验图；
图3为自我身份映射损失保护色彩的实验图；
图4为损失函数组成图；
图5为两种判别器的比较图；
图6为光照强度自规范+局部鉴别器的优势对比图；
图7为复原流程、生成器网络结构和，带残差块的U-net结构图；
图8为不同场景的实验对比图；
图9为步骤S4的流程图。
具体实施方式
下面结合附图对本发明的实施例作进一步的说明。
如图1所示，本发明提供了一种基于改进图像增强算法与生成对抗网络的夜景复原方法，包括以下步骤：
S1：采集夜间图像，并利用MSRCP算法对夜间图像进行增强处理；
S2：判断增强处理后的夜间图像是否需要进行风格迁移，若是则进入步骤S3，否则进入步骤S4；
S3：训练夜间图像区域的非配对图像翻译神经网络，将增强处理后的夜间图像作为训练集的夜晚域输入，进行风格迁移，并进入步骤S4；
S4：对增强处理后的夜间图像依次进行暗通道先验去雾和清晰度处理，完成夜景复原。
在本发明实施例中，生成对抗网络（GAN）是一种应用广泛的神经网络，基于博弈论发展而来。本申请的目标是将其应用于图像翻译问题，实现白天风格迁移。本申请采用的技术是带有循环一致性损失的GAN，它由PixtoPix翻译网络发展而来。PixtoPix实现了图像一对一的配对训练，是具有高度约束的、典型的无监督训练网络，是本申请的理想方案。但此技术对于训练集的要求十分苛刻。要想实现黑夜à白天映射模型的训练，每次训练都要用同一个地方的白天和黑夜，如果要现实采集只能定点摆拍，不适合本申请这样需要大训练集的项目。
循环一致性损失在PixtoPix的基础上实现了非配对训练，只需要两个风格不同的图像集即可训练，满足本申请训练集相对容易获取的要求，并且其工作适合于图像颜色和纹理的风格迁移，可以全面复原白天风格的图像。而本申请要面向应用改进具体映射的细节，具体来说本申请在实验中发现夜晚的路灯等过度明亮的物体容易在还原白天风格的过程中过度曝光，不仅亮度上令人不适，还渲染得使周围的东西泛白。为了让此神经网络更好的适应本申请的任务，引入了光照强度自规范图作为改进方法，来改善复原效果。考虑到夜景图像光线不足、信息量少且特征不明确，直接用夜晚图像作为训练集的效果并不好，特别是前面提到的“伸手不见五指”的地方——那些黑暗的地方不同的图像看起来都差不多，神经网络很难学习到那部分图像的特征及我们期望的对应映射关系，虽然神经网络已强大到可以对黑暗区域产生合理想象和输出，但那却不是真实的情况，难以投入实际应用。
在本申请的实验中直接进行黑夜à白天图像翻译的结果是会将许多黑暗的地方认作白天，图片大面积泛白或泛蓝（取决于训练集中白天的颜色），实验效果很差。所以将改进后Retinex算法复原的夜间图像代替原图作为训练集的夜间域输入到神经网络中，取得了很好的效果。
在本发明实施例中，如图1所示，步骤S1中，若采集的夜间图像为单通道图像，则进行增强处理包括以下子步骤：
A11：根据Retinex算法，对夜间图像进行分解和移项处理，得到夜间图像的关系式，具体为：
Figure 411096DEST_PATH_IMAGE001
Figure 290191DEST_PATH_IMAGE002
其中，
Figure 138061DEST_PATH_IMAGE003
表示采集的单通道夜间图像矩阵，
Figure 594450DEST_PATH_IMAGE004
表示采集的夜间图像为单通道图像的环境光照分量矩阵，
Figure 474550DEST_PATH_IMAGE005
表示单通道图像的目标物体反射分量矩阵，
Figure 332785DEST_PATH_IMAGE006
表示像素坐标的横坐标，
Figure 23660DEST_PATH_IMAGE007
表示像素坐标的纵坐标，
Figure 967346DEST_PATH_IMAGE008
表示矩阵
Figure 729765DEST_PATH_IMAGE003
上坐标为
Figure 567140DEST_PATH_IMAGE009
的像素值，
Figure 553551DEST_PATH_IMAGE010
表示矩阵
Figure 859898DEST_PATH_IMAGE004
上坐标为
Figure 957167DEST_PATH_IMAGE009
的像素值，
Figure 993256DEST_PATH_IMAGE011
表示矩阵
Figure 9623DEST_PATH_IMAGE005
上坐标为
Figure 927900DEST_PATH_IMAGE009
的像素值，
Figure 969805DEST_PATH_IMAGE012
表示卷积运算，
Figure 391560DEST_PATH_IMAGE013
表示对数运算；
A12：利用高斯核对夜间图像的关系式进行卷积操作，得到增强处理后的目标物体反射分量；
由于环境光照分量无法直接求得，利用高斯核对夜间图像的关系式进行卷积操作来表示环境光照分量，代入步骤A11的公式得到增强处理后的目标物体反射分量；
A13：将增强处理后的目标物体反射分量映射至像素值域[0，255]，得到增强处理后的图像；
步骤A12中，利用高斯核对夜间图像的关系式进行卷积操作的方法为：选取sigma值并计算对应的权重矩阵，将权重矩阵作为高斯核进行卷积操作，其计算公式为：
Figure DEST_PATH_IMAGE086
其中，
Figure 578827DEST_PATH_IMAGE016
表示高斯核矩阵，
Figure 984401DEST_PATH_IMAGE017
表示高斯核矩阵
Figure 564418DEST_PATH_IMAGE016
上坐标为
Figure 106258DEST_PATH_IMAGE018
的像素值；
根据步骤A11的公式不能求出单通道图像的目标物体反射分量矩阵
Figure 808634DEST_PATH_IMAGE005
，因为采集的夜间图像为单通道图像的环境光照分量矩阵
Figure 560559DEST_PATH_IMAGE004
无法求出，所以还进行了步骤A13，用
Figure DEST_PATH_IMAGE087
代替
Figure 475425DEST_PATH_IMAGE010
。因为经过比较发现三个不同尺度（红、绿、蓝）对应高斯模糊的sigma值为[15,80,200]时效果最好（不同的sigma值会计算出不同的权重矩阵，本申请采用模糊半径为1，通过sigma值计算权重矩阵并在保证9个点权重和为1的条件下得到最终的权重矩阵进行卷积操作，这个权重矩阵即是用到的高斯核
Figure DEST_PATH_IMAGE088
。用
Figure DEST_PATH_IMAGE089
代替
Figure 261984DEST_PATH_IMAGE004
，即高斯模糊后的图像代替环境光照分量。
高斯核矩阵
Figure 932000DEST_PATH_IMAGE088
和单通道图像矩阵一样，它也是一个二维矩阵，通过人为规定的sigma值计算出来。它和其他图像矩阵进行卷积操作可以模糊图像以代表图像的环境光照分量；
步骤S1中，若采集的夜间图像为多通道图像，则进行增强处理包括以下子步骤：
B11：根据Retinex算法，对夜间图像进行分解并进行移项处理，得到夜间图像的关系式，具体为：
Figure 187532DEST_PATH_IMAGE019
Figure 968406DEST_PATH_IMAGE020
其中，
Figure 609472DEST_PATH_IMAGE021
表示采集的多通道夜间图像矩阵，
Figure DEST_PATH_IMAGE090
表示采集的夜间图像为多通道图像的环境光照分量矩阵，
Figure DEST_PATH_IMAGE091
表示多通道图像的目标物体反射分量矩阵，
Figure DEST_PATH_IMAGE092
表示矩阵
Figure 388072DEST_PATH_IMAGE021
上坐标为
Figure 114589DEST_PATH_IMAGE018
的像素值，
Figure DEST_PATH_IMAGE093
表示矩阵
Figure 433574DEST_PATH_IMAGE090
上坐标为
Figure 945458DEST_PATH_IMAGE018
的像素值，
Figure DEST_PATH_IMAGE094
表示矩阵
Figure 613069DEST_PATH_IMAGE091
上坐标为
Figure 639931DEST_PATH_IMAGE018
的像素值；
B12：根据夜间图像的关系式，在不同通道上进行高斯滤波并加权相加，得到增强处理后的图像；
步骤B12中，在不同通道上进行高斯滤波并加权相加的计算公式为：
Figure DEST_PATH_IMAGE095
其中，
Figure 434711DEST_PATH_IMAGE028
表示下一个多通道图像的目标物体反射分量矩阵，
Figure 925736DEST_PATH_IMAGE029
表示矩阵
Figure DEST_PATH_IMAGE096
上坐标为
Figure 764248DEST_PATH_IMAGE009
的像素值，
Figure 543985DEST_PATH_IMAGE030
表示每个通道对应的权重，
Figure 345719DEST_PATH_IMAGE031
表示所采集到的夜间图像的第
Figure 425670DEST_PATH_IMAGE032
个通道图层中坐标为
Figure 435083DEST_PATH_IMAGE009
处的像素值，
Figure 233275DEST_PATH_IMAGE033
表示第
Figure 166596DEST_PATH_IMAGE032
个通道图层经高斯模糊后坐标为
Figure 976420DEST_PATH_IMAGE009
处的像素值。
在多通道图像中，每一次都是自己加上下一个通道处理的结果，类似于i = i+1。
在本发明中，对于摄像机拍摄到的夜间图像
Figure DEST_PATH_IMAGE097
，先考虑其为单通道图像（如灰度图），根据Retinex理论可以看作是环境光照分量
Figure DEST_PATH_IMAGE098
和目标物体反射分量
Figure DEST_PATH_IMAGE099
相乘所得，
Figure 625576DEST_PATH_IMAGE099
携带图像细节信息，是所求的增强后的图像。通过移项再两边取对数，可抛开入射光性质得到物体本来面貌。
在本发明实施例中，如图1所示，步骤S3中，训练夜间图像区域的非配对图像翻译神经网络采用小批量梯度下降法，训练参数设置包括：设置批量大小batch_size，
训练过程中将图像裁剪成256
Figure 114326DEST_PATH_IMAGE037
256，设置初始学习率，采用ADAM优化器调整学习率，设置优化器参数和设置训练代数，其中，前半训练代数采用初始学习率学习，后半训练代数的学习率以相同数值递减。
在本发明实施例中，如图3所示，步骤S3中，将增强处理后的夜间图像作为训练集的夜晚域输入进行风格迁移的方法为：采用循环一致性进行非配对图像翻译；依次采用最小二乘对抗性损失和自我身份映射损失完成风格迁移。
在本发明中，考虑到图像配对训练对于训练集的要求十分苛刻，每次训练都要用同一个地方的白天和黑夜作为一对训练样本，这并不现实，于是采用了循环一致性损失来实现非配对训练，在没有配对样本的情况下学习将图像从源域x转换为目标域y，假如目标为学习映射g：x→y，目前只有判别器使用对抗性损失来训练，但这个映射是高度欠约束的，可是不配对又难以寻找重建误差项。此时循环一致性损失采用逆映射f：y→x对其进行耦合，推动f(g(x))≈x，f(g(y))≈y（使某域的图片经过两个生成器映射转换后能近似回到初始值）。同时为了保护输出图像的色彩组成，引入了自我身份映射一致性损失，目的是推动f(x)≈x，g(y)≈y。
在本发明实施例中，如图1所示，步骤S3中，采用循环一致性进行图像非配对翻译的函数表达式为：
Figure 382497DEST_PATH_IMAGE038
其中，
Figure 827253DEST_PATH_IMAGE039
表示生成对抗网络中两个生成器产生的循环一致性损失之和，
Figure 788256DEST_PATH_IMAGE040
表示
Figure 170827DEST_PATH_IMAGE041
是来自夜间图像域的真实样本，
Figure 242688DEST_PATH_IMAGE042
表示
Figure 620580DEST_PATH_IMAGE043
是来自白天图像域的真实样本，
Figure 611539DEST_PATH_IMAGE044
表示负责黑夜到白天映射的生成器，
Figure 137198DEST_PATH_IMAGE045
表示负责白天到黑夜映射的生成器，
Figure 622537DEST_PATH_IMAGE046
表示将真实的夜间照片放入生成器
Figure 651673DEST_PATH_IMAGE047
生成的假白天照片，
Figure 892161DEST_PATH_IMAGE048
表示将真实的白天照片放入生成器
Figure 764171DEST_PATH_IMAGE049
生成的假夜间照片，
Figure 177835DEST_PATH_IMAGE050
表示图像间的曼哈顿距离运算；
在本发明中，采用循环一致性损失施加了和配对训练差不多强度的约束，考虑到了地面真实输出，得到了很好的效果，而且最大的优势是训练集非配对容易获得。但是为了训练方便付出的代价也是巨大的，那就是多了一个判别器和一个生成器，但它们起到的作用仅仅是提供产生循环一致损失的一半工作。产生了很多不必要的副产物，参数多了很多，机器训练压力更大了。但采用VGG特征距离代替循环一致性损失，效果并不好。考虑到循环一致损失效果出色，而且一旦神经网络模型训练出来，那么后面复原的速度就和网络训练复杂程度没什么关系，本申请最终采用循环一致损失，这也是目前图像翻译非配对训练提升约束的唯一方法。
最小二乘对抗性损失的函数表达式为：
Figure DEST_PATH_IMAGE100
其中，
Figure 733581DEST_PATH_IMAGE052
表示黑夜到白天映射中产生的最小二乘对抗性损失，
Figure 410550DEST_PATH_IMAGE053
表示夜晚图像域，
Figure 504277DEST_PATH_IMAGE054
表示白天图像域，
Figure 456053DEST_PATH_IMAGE055
表示判别白天图像域
Figure 600726DEST_PATH_IMAGE054
真假的鉴别器，
Figure 979755DEST_PATH_IMAGE056
表示将真实的夜间照片放入生成器
Figure 560778DEST_PATH_IMAGE044
生成的假白天照片,
Figure 519506DEST_PATH_IMAGE057
表示将真实白天样本输入鉴别器
Figure 377741DEST_PATH_IMAGE058
输出的介于[0,1]的预测值，
Figure 68617DEST_PATH_IMAGE059
表示将生成器
Figure 277881DEST_PATH_IMAGE044
生成的假白天照片输入鉴别器
Figure 696093DEST_PATH_IMAGE058
输出的介于[0,1]的预测值；
Figure DEST_PATH_IMAGE101
是来自夜间图像域的真实样本，
Figure DEST_PATH_IMAGE102
是来自白天图像域的真实样本。损失函数的输入为真实样本
Figure 549779DEST_PATH_IMAGE101
和
Figure 536190DEST_PATH_IMAGE076
，而
Figure DEST_PATH_IMAGE103
表示这些样本来自的图像域。由于在生成对抗网络中，对抗性损失最后是由鉴别器产生的，即最后输出的是鉴别器的预测值与图像真假（0或1）之间的距离，所以函数参数中没有
Figure 888543DEST_PATH_IMAGE101
和
Figure 189074DEST_PATH_IMAGE076
，但他们是作为生成器或鉴别器的输入的。
在本发明中，对于风格转换，增强后生成对抗网络将学习在没有配对示例的情况下将图像从增强域x转换为日光域y。 在这里三种损失是必要的。首先，对抗性损失由鉴别器提供，这是为了最小化实际日光场景与输出之间的距离。采用最小二乘对抗性损失(LSGAN)损失代替负对数似然或sigmoid函数，因为这个损失是更稳定，模型的振荡更少，并倾向于产生更高质量的结果。
自我身份映射损失的函数表达式为：
Figure DEST_PATH_IMAGE104
其中，
Figure 162846DEST_PATH_IMAGE061
表示生成对抗网络中两个生成器产生的自我身份映射损失之和，
Figure 710371DEST_PATH_IMAGE062
表示将真实的白天照片放入生成器
Figure 628649DEST_PATH_IMAGE044
生成的假白天照片，
Figure 467292DEST_PATH_IMAGE063
表示将真实的夜间照片放入生成器
Figure 29991DEST_PATH_IMAGE064
生成的假夜间照片；
在本发明中，循环一致性损失虽然起到了一定的监督作用，使得生成图像比起直接学习映射而言更加接近地面真实输出，但在图像的颜色组成上仍然不能提供足够的约束。为了保护图像原本的颜色在映射的过程中少受损害，引入了另一种有益的损失，称为自我身份映射损失。这种损失是将目标域的真实图像输入到自己的生成器中，不会有太大改变，即推动f(x)≈x和g(y)≈y，这样的改进明显保护了图像颜色。
循环一致性损失和自我身份映射损失用来对“未配对”翻译施加约束。循环一致性损失就像一种传统的损失，但生成器的任务不仅是保护内容，也要在L1意义上接近地面真实输出。本申请没有考虑L2距离，因为它已经被证明是鼓励模糊的。在许多不关心源域的图像颜色组成的图像翻译任务中(例如图像边缘到图像，漫画到真实照片)，这一损失和对抗性损失足以很好地完成翻译任务。但对于日夜之间的翻译，要关心原来图像的颜色组成，它们仍然没有施加足够的约束。身份映射损失是必需的，用来保护输入到输出之间的颜色组成，否则输出的颜色将很奇怪。
在本发明实施例中，如图4所示，为损失函数示意图，表示图像域X(增强后的夜晚图像)造成的所有损失，对于白天域Y反之亦然。
在本发明实施例中，如图1所示，步骤S3中，非配对图像翻译神经网络包括局部判别器和生成器，其中，生成器将U-net和残差网络结合并引入光照强度自规范图对待复原的夜景图像及生成器网络产生的每一个特征图进行自正则操作；局部判别器使用卷积神经网络判断随机裁剪的70x70图像块的真假。
在本发明中， 对于生成器网络，网络的骨架部分包括了两个2跨步卷积层、两个1/2跨步反卷积层和几个残差块，并进行了实例归一化，输入与输出对应特征图之间还共享了部分图像内容信息，这样做保护了图像内容并且使得网络容易训练。同时加入了光照强度自规范图来改善光照分布，在夜间低照度图像中常常会有路灯、广告牌等过分明亮的物体，本发明的思路是引入一种光照强度自规范图，使得风格迁移过程中不同亮度的图像区域在最终输出的图像中亮度趋于一致，这样输出图像既不会过度曝光也不会低曝。具体方法：将输入RGB图像保存其对应灰度图的一个副本，由于灰度图的数值代表了图像光照强度，将此副本L的像素值标准化到区间[0,1]，然后使用1-L作为一种自我规范注意图（图像越亮的地方该数值越低）。调整此注意图大小，以匹配每次卷积处理后的特征图并和它们相乘，这种方法作为一种亮度规范的形式改善了输出的视觉效果。
对于判别器网络，使用普通卷积神经网络输出一个相对概率来判断图片真假，采用70
Figure 358204DEST_PATH_IMAGE037
70大小的局部鉴别器，减少了像素鉴别器的过分约束和尖锐高频的细节，避免了全局鉴别器庞大的训练参数，缓解机器训练压力。同时局部鉴别器更容易识别曝光物体，能完全解决局部过曝对周围的错误渲染效果（自规范图是亮度意义上的解决过度曝光，局部鉴别器还可以把周围的错误渲染效果抹去）。为了减少模型振荡，使用判别器接收到的图像的50张历史记录更新判别器参数，即对判别器的训练参数batch_size为50（这里是指50张70X70的局部切块，而不是50张输入图像），而生成器由于机器性能原因取batch_size为1~4（这里是指整张图片），它们都较高频地更新参数。
在本发明中，如图5和图6对比所示，局部鉴别器可以识别过度曝光的夜间路灯和广告牌等物体，与光照强度自规范图一起很好地解决了夜间的局部过度曝光问题，而像素鉴别器无法识别这些物体，无法解决过曝（即使引入自规范图），也因此很难学习到白天的风格，而且它过于关心局部细节，导致颜色异常。且全局鉴别器参数多，难以训练。
在本发明实施例中，如图7所示，把去雾放到了最后一步来做，这是因为实验过程中发现增强后的图像直接去雾可能会导致色彩失真、错误渲染、产生伪影等等，并且可能使得不同区域的图像风格进一步增大。这些都导致了网络的学习障碍。在多风格图像训练集上，这个副作用尤为明显，在单风格训练集上会减弱但不会消除，所以都选择最后来做去雾。
在本发明实施例中，如图8所示，可以看出本申请的夜景复原方法在单风格区域的实验当中更出色，提升了生成图像质量和可识别性，最终输出的图像清晰，细节明显并且柔和。
在本发明实施例中，本申请的技术实现得益于将图像处理算法和深度卷积生成对抗网络的结合，完成了非配对的夜à日图像翻译这一具体任务。本申请采用了一种适合处理夜景图像的图像增强的MSCRP算法，并通过暗通道去雾、锐化卷积、双边滤波、调整色彩增益和偏差改善错误渲染等手段改进了该算法对于夜景复原的许多缺点，使得输出的图片清晰明亮。如果只是为了突出夜间敏感信息，该部分技术已经可以直接用于夜景复原。之后依靠GPU云服务器训练生成对抗网络神经网络模型，将增强处理后的图像代替夜间图像输入训练。引入循环一致性损失实现非配对训练，和对抗性损失一起实现了风格迁移。还引入了自我一致性损失来保护图像在转换过程中不丢失颜色组成。本申请采用了局部判别器和生成器的思想，并且生成器将U-net和残差网络结合，大大缓解了网络训练压力、提升了生成图像质量和可识别性，还使用光照强度自正则注意图实现了过度曝光的处理，使最终输出的图像清晰，细节明显并且柔和。
在本发明实施例中，如图9所示，步骤S4包括以下子步骤：
S41：对增强处理后的夜间图像进行暗通道先验去雾处理；
S42：对进行暗通道先验去雾处理后的图像进行清晰度处理，完成夜景复原。
在本发明中，增强的夜间图像普遍存在严重雾化情况，所以采用暗通道先验理论进行去雾。用MSRCP处理夜景，当图像光线分布均匀且比较充足时（如夜间的街景），复原效果良好。但实际应用中很多夜景图片有大片暗光、无光和无信息区域，利用MSRCP算法处理这些区域时很容易造成色彩错误渲染和程度不同的雾化效果，噪声严重。另外夜晚的景象、照片总是不清晰的，这是因为影像没有足够的光线进入人眼或相机的感光元件，所以即使通过色彩复原也不会使图像清晰。Retinex算法在过于黑暗的地方会因为信息匮乏，计算出错，出现颜色错误渲染的结果，通过调整色彩增益和偏差改善了输出效果，同时发现减小图像分辨率有利于抑制错误渲染的扩张（同时小分辨率能更好地满足实时处理）。
图像增强领域的Retinex理论模仿人类视觉***，对图像中有光线的地方进行计算和增强，其原理是计算出被光线反射入人眼的物体的原本模样。Retinex并不是用于处理夜景的技术，而是一种图像增强算法。但其思想原理对本申请有所启发，因为其可以对夜晚的微弱光线进行充分利用，扩大视觉上的有用信息，用它在夜景还原上做了许多实验，效果良好。Retinex技术多种多样，在经过大量实验后发现带色彩恢复的多尺度算法MSRCP对于夜景图像的色彩复原和增强最为出色，但也有诸多缺陷和不足，于是本申请在其基础上进行了改进。
在本发明实施例中，如图2所示，去雾方法对于增强黑暗处的细节效果很出众，增强后直接去雾可能会导致第二行图中的色彩失真、错误渲染和光环伪影，也因此导致训练集图像风格差异增大，使神经网络难以学习。这些效果都在图8有所展现，所以把增强后不去雾的图像放入神经网络训练，输出白天风格的图像后再去雾。
在本发明实施例中，如图9所示，步骤S41包括以下子步骤：
S411：根据增强处理后的夜间图像，确定夜间图像的暗通道
Figure 622832DEST_PATH_IMAGE065
，其计算公式为：
Figure 593062DEST_PATH_IMAGE066
其中，
Figure 10268DEST_PATH_IMAGE067
表示彩色图像的每个通道，
Figure 509383DEST_PATH_IMAGE068
表示红色，
Figure 339936DEST_PATH_IMAGE069
表示绿色，
Figure 441753DEST_PATH_IMAGE070
表示蓝色，
Figure 369257DEST_PATH_IMAGE071
表示三原色集合，
Figure 914639DEST_PATH_IMAGE072
表示彩色图像的红色通道，
Figure 29226DEST_PATH_IMAGE073
表示彩色图像的绿色通道，
Figure 13362DEST_PATH_IMAGE074
表示彩色图像的蓝色通道，
Figure 654428DEST_PATH_IMAGE075
表示以像素为中心的窗口，
Figure 495345DEST_PATH_IMAGE076
表示属于窗口
Figure 238173DEST_PATH_IMAGE075
中的任一像素；
S412：基于暗通道
Figure 822738DEST_PATH_IMAGE065
，对夜间图像进行去雾处理；
步骤S412中，雾图形成模型方程为：
Figure 396939DEST_PATH_IMAGE077
其中，
Figure 556829DEST_PATH_IMAGE078
表示待去雾图像，
Figure 380428DEST_PATH_IMAGE079
表示无雾图像，
Figure 909630DEST_PATH_IMAGE080
表示全球大气光成分，
Figure 135075DEST_PATH_IMAGE081
表示透射率；
基于暗通道
Figure 442428DEST_PATH_IMAGE065
先验理论和雾图形成模型方程，得到无雾图像，其计算公式为：
Figure 222165DEST_PATH_IMAGE082
其中，
Figure 148533DEST_PATH_IMAGE083
表示透射率阈值，
Figure 103851DEST_PATH_IMAGE084
表示取最大值运算。
暗通道先验理论显示：
Figure DEST_PATH_IMAGE105
，即在户外无雾图像中的大部分局部区域，都存在一些像素点在至少一个颜色通道中具有非常低的值，趋近于0。
在本发明实施例中，如图9所示，步骤S42中，对图像进行清晰度处理的方法为：依次进行锐化和滤波；
其中，进行锐化的方法为：利用锐化内核对进行暗通道去雾处理后的图像进行一次卷积操作，锐化内核为：
Figure 644422DEST_PATH_IMAGE085
；
进行滤波的方法为：采用opencv的库函数bilateralFilter（src，d，sigmaColor，sigmaSpace）对锐化后的图像进行双边滤波，其中，scr表示输入锐化后的图像，d表示滤波模板的尺寸大小，sigmaColor表示色彩空间的sigma参数，sigmaSpace表示坐标空间的sigma参数。
在本发明中，由于没有足够的光线，夜晚图像一般都比较模糊，这是因为拍到的影像本来就有大量信息缺失，使用Retinex也无法改变这一点。采用对图像先锐化再滤波的方法进行清晰度的提高。对图像进行锐化这样简单地处理会增加更多噪声。为了消除噪点，诸如中值滤波、高斯滤波等模糊技术的结果并不好，处理结果是图像背景模糊不清或较暗，提升清晰度的效果失败。而保留边缘的双边滤波是结合图像的空间邻近度和像素值相似度的一种折中处理，同时考虑空间与信息和灰度相似性，达到保边去噪的目的。利用锐化内核对进行暗通道去雾处理后的图像进行一次卷积操作，以增强图像边缘达到清晰化的目的，锐化后的图像噪声会明显变多，所以对图像进行一次保边去噪的双边滤波。
滤波处理过程采用了opencv的库函数bilateralFilter（src，d，sigmaColor，sigmaSpace），其中scr为输入的原图像，d为滤波模板的尺寸大小（过滤期间使用的各像素邻域的直径），sigmaColor为色彩空间的sigma参数，该参数越大时表明该像素邻域内有更宽广的颜色会被混合到一起，产生较大的半相等颜色区域，sigmaSpace为坐标空间的sigma参数，该参数越大，则意味着更大范围内颜色相近像素将相互影响，从而使更大的区域中足够相似的颜色变为一个相同的颜色，通常使sigmaColor和sigmaSpace相等，然后调整他们以及d的大小。过大的滤波器（d>5）执行效率低，而且输入的噪声并不严重，于是令d为3进行实验，普遍认为 sigmaColor和sigmaSpace不能太大（大于150），否则滤波器的效果会很强，使图像显得非常卡通化。但在实验中没有发现此副作用。提供不断增加sigmaColor和sigmaSpace，去噪效果也不断改善，当它们为400时达到收敛，并取得到了良好的效果。
本发明的工作原理及过程为：夜景复原分为图像增强和风格迁移两部分。其中图像增强使用了带色彩恢复的多尺度Retinex算法——MSRCP，并对其进行了暗通道去雾、锐化、双边滤波去噪和降低错误渲染的改进。风格迁移部分使用云服务器训练生成对抗神经网络，采用循环一致性损失实现了图像非配对翻译，并与对抗性损失和自我身份映射损失一起完成了风格迁移，还引入了光照强度自规范作为自正则手段，来调节生成图像光照的分布，解决了低曝过曝问题，使最终的视觉效果柔和。
确定研究区域后，图像增强算法将进行第一步复原，图像的色彩和清晰度会大大增强，可以满足大部分需求，随后训练此区域的夜间à白天的非配对图像翻译神经网络，由图像增强算法复原的图像将会代替原夜景图像作为训练集的夜晚域输入。最终输出的图片将是明亮清晰的白天景象。实现图片复原后，借助opencv+wave+ffmpeg可以很容易实现夜景视频的复原，并在GPU加速计算的支持下实现实时复原。
在现有技术的基础上复原视频并不复杂，采用python编写wave负责提取视频的音频暂存，然后提取出的每一帧图片通过此技术批量处理全部还原成增强模式图或白天模式图，openCV将图片帧还原成视频，最后ffmpeg实现视频和音频结合完成最终复原。实时复原方面，只需要调用摄像头的画面，处理成帧进行复原。如果是图像增强部分，普通的计算机的计算性能就可以支持实时复原，前提是图片分辨率不能太高。如果要实现白天风格的复原、高分辨率画面实施复原，需要GPU加速计算的支持。
本发明的有益效果为：本发明的夜景复原方法适用于安防监控和有区域夜间取景需要的领域，训练集易收集易训练，对模型的泛化性要求不高，在单风格区域的实验当中尤为出色，具有很强的实用性和可行性。创新的神经网络结构大大缓解了网络训练的压力，保护了图像内容，提升了生成图像的质量，还解决了夜间局部过度曝光的问题，最终输出的图像清晰柔和并且细节突出。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (9)

1.一种基于改进图像增强算法与生成对抗网络的夜景复原方法，其特征在于，包括以下步骤：
S1：采集夜间图像，并利用MSRCP算法对夜间图像进行增强处理；
S2：判断增强处理后的夜间图像是否需要进行风格迁移，若是则进入步骤S3，否则进入步骤S4；
S3：训练夜间图像区域的非配对图像翻译神经网络，将增强处理后的夜间图像作为训练集的夜晚域输入，进行风格迁移，并进入步骤S4；
S4：对增强处理后的夜间图像依次进行暗通道先验去雾和清晰度处理，完成夜景复原。
2.根据权利要求1所述的基于改进图像增强算法与生成对抗网络的夜景复原方法，其特征在于，所述步骤S1中，若采集的夜间图像为单通道图像，则进行增强处理包括以下子步骤：
A11：根据Retinex算法，对夜间图像进行分解和移项处理，得到夜间图像的关系式，具体为：
Figure 371828DEST_PATH_IMAGE001
Figure 944892DEST_PATH_IMAGE002
其中，
Figure 569908DEST_PATH_IMAGE003
表示采集的单通道夜间图像矩阵，
Figure 632542DEST_PATH_IMAGE004
表示采集的夜间图像为单通道图像的环境光照分量矩阵，
Figure 959487DEST_PATH_IMAGE005
表示单通道图像的目标物体反射分量矩阵，
Figure 601821DEST_PATH_IMAGE006
表示像素坐标的横坐标，
Figure 81344DEST_PATH_IMAGE007
表示像素坐标的纵坐标，
Figure 252562DEST_PATH_IMAGE008
表示矩阵
Figure 66803DEST_PATH_IMAGE003
上坐标为
Figure 981670DEST_PATH_IMAGE009
的像素值，
Figure 378016DEST_PATH_IMAGE010
表示矩阵
Figure 985715DEST_PATH_IMAGE004
上坐标为
Figure 37984DEST_PATH_IMAGE009
的像素值，
Figure 740230DEST_PATH_IMAGE011
表示矩阵
Figure 194345DEST_PATH_IMAGE005
上坐标为
Figure 972945DEST_PATH_IMAGE009
的像素值，
Figure 309249DEST_PATH_IMAGE012
表示卷积运算，
Figure 831497DEST_PATH_IMAGE013
表示对数运算；
A12：利用高斯核对夜间图像的关系式进行卷积操作，得到增强处理后的目标物体反射分量；
A13：将增强处理后的目标物体反射分量映射至像素值域[0，255]，得到增强处理后的图像；
所述步骤A12中，利用高斯核对夜间图像的关系式进行卷积操作的方法为：选取sigma值并计算对应的权重矩阵，将权重矩阵作为高斯核进行卷积操作，其计算公式为：
Figure 389386DEST_PATH_IMAGE014
其中，
Figure 73308DEST_PATH_IMAGE015
表示高斯核矩阵，
Figure 834591DEST_PATH_IMAGE016
表示高斯核矩阵
Figure 160530DEST_PATH_IMAGE015
上坐标为
Figure 120396DEST_PATH_IMAGE017
的像素值；
所述步骤S1中，若采集的夜间图像为多通道图像，则进行增强处理包括以下子步骤：
B11：根据Retinex算法，对夜间图像进行分解并进行移项处理，得到夜间图像的关系式，具体为：
Figure 490066DEST_PATH_IMAGE018
Figure 4224DEST_PATH_IMAGE019
其中，
Figure 602696DEST_PATH_IMAGE020
表示采集的多通道夜间图像矩阵，
Figure 620330DEST_PATH_IMAGE021
表示采集的夜间图像为多通道图像的环境光照分量矩阵，
Figure 973951DEST_PATH_IMAGE022
表示多通道图像的目标物体反射分量矩阵，
Figure 959094DEST_PATH_IMAGE023
表示矩阵
Figure 361256DEST_PATH_IMAGE020
上坐标为
Figure 498976DEST_PATH_IMAGE009
的像素值，
Figure 961182DEST_PATH_IMAGE024
表示矩阵
Figure 168041DEST_PATH_IMAGE021
上坐标为
Figure 436211DEST_PATH_IMAGE009
的像素值，
Figure 428438DEST_PATH_IMAGE025
表示矩阵
Figure 61545DEST_PATH_IMAGE022
上坐标为
Figure 772012DEST_PATH_IMAGE009
的像素值；
B12：根据夜间图像的关系式，在不同通道上进行高斯滤波并加权相加，得到增强处理后的图像；
所述步骤B12中，在不同通道上进行高斯滤波并加权相加的计算公式为：
Figure 765244DEST_PATH_IMAGE026
其中，
Figure 611978DEST_PATH_IMAGE027
表示下一个多通道图像的目标物体反射分量矩阵，
Figure 478303DEST_PATH_IMAGE028
表示矩阵
Figure 410487DEST_PATH_IMAGE029
上坐标为
Figure 223722DEST_PATH_IMAGE017
的像素值，
Figure 439808DEST_PATH_IMAGE030
表示每个通道对应的权重，
Figure 149138DEST_PATH_IMAGE031
表示所采集到的夜间图像的第
Figure 834198DEST_PATH_IMAGE032
个通道图层中坐标为
Figure 982282DEST_PATH_IMAGE017
处的像素值，
Figure 803608DEST_PATH_IMAGE033
表示第
Figure 933107DEST_PATH_IMAGE032
个通道图层经高斯模糊后坐标为
Figure 839883DEST_PATH_IMAGE017
处的像素值。
3.根据权利要求1所述的基于改进图像增强算法与生成对抗网络的夜景复原方法，其特征在于，所述步骤S3中，训练夜间图像区域的非配对图像翻译神经网络采用小批量梯度下降法，训练参数设置包括：设置批量大小batch_size，
训练过程中将图像裁剪成256
Figure 994920DEST_PATH_IMAGE034
256，设置初始学习率，采用ADAM优化器调整学习率，设置优化器参数和设置训练代数，其中，前半训练代数采用初始学习率学习，后半训练代数的学习率以相同数值递减。
4.根据权利要求1所述的基于改进图像增强算法与生成对抗网络的夜景复原方法，其特征在于，所述步骤S3中，将增强处理后的夜间图像作为训练集的夜晚域输入进行风格迁移的方法为：采用循环一致性进行非配对图像翻译；依次采用最小二乘对抗性损失和自我身份映射损失完成风格迁移。
5.根据权利要求4所述的基于改进图像增强算法与生成对抗网络的夜景复原方法，其特征在于，所述步骤S3中，采用循环一致性进行图像非配对翻译的函数表达式为：
Figure 467490DEST_PATH_IMAGE035
其中，
Figure 49781DEST_PATH_IMAGE036
表示生成对抗网络中两个生成器产生的循环一致性损失之和，
Figure 693121DEST_PATH_IMAGE037
表示
Figure 120691DEST_PATH_IMAGE038
是来自夜间图像域的真实样本，
Figure 916609DEST_PATH_IMAGE039
表示
Figure 669801DEST_PATH_IMAGE040
是来自白天图像域的真实样本，
Figure 82328DEST_PATH_IMAGE041
表示负责黑夜到白天映射的生成器，
Figure 828436DEST_PATH_IMAGE042
表示负责白天到黑夜映射的生成器，
Figure 213281DEST_PATH_IMAGE043
表示将真实的夜间照片放入生成器
Figure 137375DEST_PATH_IMAGE044
生成的假白天照片，
Figure 506039DEST_PATH_IMAGE045
表示将真实的白天照片放入生成器
Figure 337729DEST_PATH_IMAGE046
生成的假夜间照片，
Figure 91927DEST_PATH_IMAGE047
表示图像间的曼哈顿距离运算；
最小二乘对抗性损失的函数表达式为：
Figure 186922DEST_PATH_IMAGE048
其中，
Figure 511724DEST_PATH_IMAGE049
表示黑夜到白天映射中产生的最小二乘对抗性损失，
Figure 350367DEST_PATH_IMAGE050
表示夜晚图像域，
Figure 772121DEST_PATH_IMAGE051
表示白天图像域，
Figure 287285DEST_PATH_IMAGE052
表示判别白天图像域
Figure 364963DEST_PATH_IMAGE051
真假的鉴别器，
Figure 476138DEST_PATH_IMAGE053
表示将真实的夜间照片放入生成器
Figure 955661DEST_PATH_IMAGE041
生成的假白天照片,
Figure 641726DEST_PATH_IMAGE054
表示将真实白天样本输入鉴别器
Figure 3437DEST_PATH_IMAGE055
输出的介于[0,1]的预测值，
Figure 183883DEST_PATH_IMAGE056
表示将生成器
Figure 783492DEST_PATH_IMAGE041
生成的假白天照片输入鉴别器
Figure 391190DEST_PATH_IMAGE055
输出的介于[0,1]的预测值；
自我身份映射损失的函数表达式为：
Figure 161569DEST_PATH_IMAGE057
其中，
Figure 145706DEST_PATH_IMAGE058
表示生成对抗网络中两个生成器产生的自我身份映射损失之和，
Figure 599821DEST_PATH_IMAGE059
表示将真实的白天照片放入生成器
Figure 175159DEST_PATH_IMAGE041
生成的假白天照片，
Figure 449145DEST_PATH_IMAGE060
表示将真实的夜间照片放入生成器
Figure 978519DEST_PATH_IMAGE061
生成的假夜间照片。
6.根据权利要求1所述的基于改进图像增强算法与生成对抗网络的夜景复原方法，其特征在于，所述步骤S3中，非配对图像翻译神经网络包括局部判别器和生成器，其中，生成器将U-net和残差网络结合并引入光照强度自规范图对待复原的夜景图像及生成器网络产生的每一个特征图进行自正则操作；局部判别器使用卷积神经网络判断随机裁剪的70x70图像块的真假。
7.根据权利要求1所述的基于改进图像增强算法与生成对抗网络的夜景复原方法原方法，其特征在于，所述步骤S4包括以下子步骤：
S41：对增强处理后的夜间图像进行暗通道先验去雾处理；
S42：对进行暗通道先验去雾处理后的图像进行清晰度处理，完成夜景复原。
8.根据权利要求7所述的基于改进图像增强算法与生成对抗网络的夜景复原方法，其特征在于，所述步骤S41包括以下子步骤：
S411：根据增强处理后的夜间图像，确定夜间图像的暗通道
Figure 287141DEST_PATH_IMAGE062
，其计算公式为：
Figure 236642DEST_PATH_IMAGE063
其中，
Figure 60242DEST_PATH_IMAGE064
表示彩色图像的每个通道，
Figure 120602DEST_PATH_IMAGE065
表示红色，
Figure 532997DEST_PATH_IMAGE066
表示绿色，
Figure 653400DEST_PATH_IMAGE067
表示蓝色，
Figure 901979DEST_PATH_IMAGE068
表示三原色集合，
Figure 562767DEST_PATH_IMAGE069
表示彩色图像的红色通道，
Figure 845981DEST_PATH_IMAGE070
表示彩色图像的绿色通道，
Figure 120973DEST_PATH_IMAGE071
表示彩色图像的蓝色通道，
Figure 856848DEST_PATH_IMAGE072
表示以像素为中心的窗口，
Figure 524590DEST_PATH_IMAGE073
表示属于窗口
Figure 662310DEST_PATH_IMAGE072
中的任一像素；
S412：基于暗通道
Figure 373783DEST_PATH_IMAGE062
，对夜间图像进行去雾处理；
所述步骤S412中，雾图形成模型方程为：
Figure 393692DEST_PATH_IMAGE074
其中，
Figure 865124DEST_PATH_IMAGE075
表示待去雾图像，
Figure 591772DEST_PATH_IMAGE076
表示无雾图像，
Figure 224879DEST_PATH_IMAGE077
表示全球大气光成分，
Figure 184613DEST_PATH_IMAGE078
表示透射率；
基于暗通道
Figure 990895DEST_PATH_IMAGE062
先验理论和雾图形成模型方程，得到无雾图像，其计算公式为：
Figure 837629DEST_PATH_IMAGE079
其中，
Figure 907216DEST_PATH_IMAGE080
表示透射率阈值，
Figure 573820DEST_PATH_IMAGE081
表示取最大值运算。
9.根据权利要求7所述的基于改进图像增强算法与生成对抗网络的夜景复原方法，其特征在于，所述步骤S42中，对图像进行清晰度处理的方法为：依次进行锐化和滤波；
其中，进行锐化的方法为：利用锐化内核对进行暗通道去雾处理后的图像进行一次卷积操作，锐化内核为：
Figure 636323DEST_PATH_IMAGE082
；
进行滤波的方法为：采用opencv的库函数bilateralFilter（src，d，sigmaColor，sigmaSpace）对锐化后的图像进行双边滤波，其中，scr表示输入锐化后的图像，d表示滤波模板的尺寸大小，sigmaColor表示色彩空间的sigma参数，sigmaSpace表示坐标空间的sigma参数。
CN202110278464.9A 2021-03-16 2021-03-16 基于改进图像增强算法与生成对抗网络的夜景复原方法 Pending CN112669242A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110278464.9A CN112669242A (zh) 2021-03-16 2021-03-16 基于改进图像增强算法与生成对抗网络的夜景复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110278464.9A CN112669242A (zh) 2021-03-16 2021-03-16 基于改进图像增强算法与生成对抗网络的夜景复原方法

Publications (1)

Publication Number Publication Date
CN112669242A true CN112669242A (zh) 2021-04-16

Family

ID=75399481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110278464.9A Pending CN112669242A (zh) 2021-03-16 2021-03-16 基于改进图像增强算法与生成对抗网络的夜景复原方法

Country Status (1)

Country Link
CN (1) CN112669242A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191971A (zh) * 2021-04-26 2021-07-30 贵州电网有限责任公司 一种基于yuv颜色空间的无人机图像去雾方法
CN113205574A (zh) * 2021-04-30 2021-08-03 武汉大学 一种基于注意力机制的艺术字风格迁移***
CN113256541A (zh) * 2021-07-16 2021-08-13 四川泓宝润业工程技术有限公司 利用机器学***台监控画面进行去水雾的方法
CN113269701A (zh) * 2021-05-08 2021-08-17 大连海事大学 一种基于注意力引导和核选择机制的低照度图像增强方法
CN113409225A (zh) * 2021-07-13 2021-09-17 北京科技大学 基于Retinex的无人机拍摄图像增强算法
CN113422928A (zh) * 2021-05-28 2021-09-21 佛山市诚智鑫信息科技有限公司 一种安全监控抓拍方法及***
CN113487493A (zh) * 2021-06-02 2021-10-08 厦门大学 基于GANilla的SAR图像自动彩色化方法
CN113610736A (zh) * 2021-07-16 2021-11-05 华东师范大学 基于循环生成对抗残差网络及qtp损失项的黑夜图像增强方法及***
CN113724162A (zh) * 2021-08-31 2021-11-30 南京邮电大学 一种零补光实时全彩夜视成像方法及***
CN114219725A (zh) * 2021-11-25 2022-03-22 中国科学院深圳先进技术研究院 一种图像处理方法、终端设备及计算机可读存储介质
CN114511488A (zh) * 2022-02-19 2022-05-17 西北工业大学 一种夜间场景的日间风格可视化方法
CN115588051A (zh) * 2022-09-29 2023-01-10 中国矿业大学(北京) 矿石加工环节的激光雷达和相机空间位置自动标定方法
CN116579945A (zh) * 2023-05-12 2023-08-11 西南交通大学 一种基于扩散模型的夜间图像复原方法
CN117237859A (zh) * 2023-11-14 2023-12-15 南京信息工程大学 基于低光照增强的夜间高速公路雾天能见度检测方法
CN117745563A (zh) * 2024-02-21 2024-03-22 深圳市格瑞邦科技有限公司 一种双摄像头结合的平板电脑增强显示方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548463A (zh) * 2016-10-28 2017-03-29 大连理工大学 基于暗通道与Retinex的海雾图像自动去雾方法及***
CN108038821A (zh) * 2017-11-20 2018-05-15 河海大学 一种基于生成式对抗网络的图像风格迁移方法
CN108389170A (zh) * 2018-03-07 2018-08-10 鞍钢集团矿业有限公司 多广角摄像机重叠区域的图像增强及去噪方法和装置
CN108734189A (zh) * 2017-04-20 2018-11-02 天津工业大学 浓雾天气下基于大气散射模型和深度学习的车牌识别***
CN109166144A (zh) * 2018-07-20 2019-01-08 中国海洋大学 一种基于生成对抗网络的图像深度估计方法
CN109300090A (zh) * 2018-08-28 2019-02-01 哈尔滨工业大学（威海） 一种基于亚像素和条件对抗生成网络的单幅图像去雾方法
CN109522847A (zh) * 2018-11-20 2019-03-26 中车株洲电力机车有限公司 一种基于深度图的轨道和道路障碍物检测方法
CN109671018A (zh) * 2018-12-12 2019-04-23 华东交通大学 一种基于生成式对抗网络和ResNets技术的图像转换方法及***
US10373023B1 (en) * 2019-01-28 2019-08-06 StradVision, Inc. Learning method and learning device for runtime input transformation of real image on real world into virtual image on virtual world, to be used for object detection on real images, by using cycle GAN capable of being applied to domain adaptation
CN110110576A (zh) * 2019-01-03 2019-08-09 北京航空航天大学 一种基于孪生语义网络的交通场景热红外语义生成方法
CN111161178A (zh) * 2019-12-25 2020-05-15 湖南大学 基于生成式对抗网络的单幅低光图像增强方法
CN111723840A (zh) * 2020-05-08 2020-09-29 天津大学 一种用于超声影像的聚类和风格迁移的方法
CN112232180A (zh) * 2020-10-14 2021-01-15 上海海洋大学 一种夜晚水下鱼类目标检测方法
CN112287779A (zh) * 2020-10-19 2021-01-29 华南农业大学 一种低光照度图像自然光照度补强方法及应用

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548463A (zh) * 2016-10-28 2017-03-29 大连理工大学 基于暗通道与Retinex的海雾图像自动去雾方法及***
CN108734189A (zh) * 2017-04-20 2018-11-02 天津工业大学 浓雾天气下基于大气散射模型和深度学习的车牌识别***
CN108038821A (zh) * 2017-11-20 2018-05-15 河海大学 一种基于生成式对抗网络的图像风格迁移方法
CN108389170A (zh) * 2018-03-07 2018-08-10 鞍钢集团矿业有限公司 多广角摄像机重叠区域的图像增强及去噪方法和装置
CN109166144A (zh) * 2018-07-20 2019-01-08 中国海洋大学 一种基于生成对抗网络的图像深度估计方法
CN109300090A (zh) * 2018-08-28 2019-02-01 哈尔滨工业大学（威海） 一种基于亚像素和条件对抗生成网络的单幅图像去雾方法
CN109522847A (zh) * 2018-11-20 2019-03-26 中车株洲电力机车有限公司 一种基于深度图的轨道和道路障碍物检测方法
CN109671018A (zh) * 2018-12-12 2019-04-23 华东交通大学 一种基于生成式对抗网络和ResNets技术的图像转换方法及***
CN110110576A (zh) * 2019-01-03 2019-08-09 北京航空航天大学 一种基于孪生语义网络的交通场景热红外语义生成方法
US10373023B1 (en) * 2019-01-28 2019-08-06 StradVision, Inc. Learning method and learning device for runtime input transformation of real image on real world into virtual image on virtual world, to be used for object detection on real images, by using cycle GAN capable of being applied to domain adaptation
CN111161178A (zh) * 2019-12-25 2020-05-15 湖南大学 基于生成式对抗网络的单幅低光图像增强方法
CN111723840A (zh) * 2020-05-08 2020-09-29 天津大学 一种用于超声影像的聚类和风格迁移的方法
CN112232180A (zh) * 2020-10-14 2021-01-15 上海海洋大学 一种夜晚水下鱼类目标检测方法
CN112287779A (zh) * 2020-10-19 2021-01-29 华南农业大学 一种低光照度图像自然光照度补强方法及应用

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JUN-YAN ZHU 等: "Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks", 《ARXIV:1703.10593V7》 *
WEIDONG ZHANG 等: "Single Image Defogging Based on Multi-Channel Convolutional MSRCR", 《DIGITAL OBJECT IDENTIFIER》 *
康健: "单幅雾天图像去雾方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
欧阳雯琪等: "Mask-2-Human:基于生成式对抗网络的人物图像生成方法", 《中国科技论文》 *
王野: "基于循环对抗网络的单图像去雾方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191971A (zh) * 2021-04-26 2021-07-30 贵州电网有限责任公司 一种基于yuv颜色空间的无人机图像去雾方法
CN113205574A (zh) * 2021-04-30 2021-08-03 武汉大学 一种基于注意力机制的艺术字风格迁移***
CN113269701A (zh) * 2021-05-08 2021-08-17 大连海事大学 一种基于注意力引导和核选择机制的低照度图像增强方法
CN113269701B (zh) * 2021-05-08 2024-04-26 大连海事大学 一种基于注意力引导和核选择机制的低照度图像增强方法
CN113422928B (zh) * 2021-05-28 2022-02-18 佛山市诚智鑫信息科技有限公司 一种安全监控抓拍方法及***
CN113422928A (zh) * 2021-05-28 2021-09-21 佛山市诚智鑫信息科技有限公司 一种安全监控抓拍方法及***
CN113487493B (zh) * 2021-06-02 2023-08-18 厦门大学 基于GANilla的SAR图像自动彩色化方法
CN113487493A (zh) * 2021-06-02 2021-10-08 厦门大学 基于GANilla的SAR图像自动彩色化方法
CN113409225A (zh) * 2021-07-13 2021-09-17 北京科技大学 基于Retinex的无人机拍摄图像增强算法
CN113409225B (zh) * 2021-07-13 2023-12-12 北京科技大学 基于Retinex的无人机拍摄图像增强算法
CN113610736A (zh) * 2021-07-16 2021-11-05 华东师范大学 基于循环生成对抗残差网络及qtp损失项的黑夜图像增强方法及***
CN113256541A (zh) * 2021-07-16 2021-08-13 四川泓宝润业工程技术有限公司 利用机器学***台监控画面进行去水雾的方法
CN113610736B (zh) * 2021-07-16 2023-09-19 华东师范大学 基于循环生成对抗残差网络及qtp损失项的黑夜图像增强方法及***
CN113724162A (zh) * 2021-08-31 2021-11-30 南京邮电大学 一种零补光实时全彩夜视成像方法及***
CN113724162B (zh) * 2021-08-31 2023-09-29 南京邮电大学 一种零补光实时全彩夜视成像方法及***
CN114219725A (zh) * 2021-11-25 2022-03-22 中国科学院深圳先进技术研究院 一种图像处理方法、终端设备及计算机可读存储介质
CN114511488A (zh) * 2022-02-19 2022-05-17 西北工业大学 一种夜间场景的日间风格可视化方法
CN114511488B (zh) * 2022-02-19 2024-02-27 西北工业大学 一种夜间场景的日间风格可视化方法
CN115588051A (zh) * 2022-09-29 2023-01-10 中国矿业大学(北京) 矿石加工环节的激光雷达和相机空间位置自动标定方法
CN116579945B (zh) * 2023-05-12 2024-02-27 西南交通大学 一种基于扩散模型的夜间图像复原方法
CN116579945A (zh) * 2023-05-12 2023-08-11 西南交通大学 一种基于扩散模型的夜间图像复原方法
CN117237859B (zh) * 2023-11-14 2024-02-13 南京信息工程大学 基于低光照增强的夜间高速公路雾天能见度检测方法
CN117237859A (zh) * 2023-11-14 2023-12-15 南京信息工程大学 基于低光照增强的夜间高速公路雾天能见度检测方法
CN117745563A (zh) * 2024-02-21 2024-03-22 深圳市格瑞邦科技有限公司 一种双摄像头结合的平板电脑增强显示方法
CN117745563B (zh) * 2024-02-21 2024-05-14 深圳市格瑞邦科技有限公司 一种双摄像头结合的平板电脑增强显示方法

Similar Documents

Publication Publication Date Title
CN112669242A (zh) 基于改进图像增强算法与生成对抗网络的夜景复原方法
CN103020920B (zh) 一种低照度图像增强方法
Lv et al. Real-time dehazing for image and video
CN110163818B (zh) 一种用于海事无人机的低照度视频图像增强方法
CN114119378A (zh) 图像融合方法、图像融合模型的训练方法和装置
Yuan et al. A region-wised medium transmission based image dehazing method
CN106886985A (zh) 一种减小色偏的自适应低照度图像增强方法
CN110827218B (zh) 基于图像hsv透射率加权校正的机载图像去雾方法
Wang et al. MAGAN: Unsupervised low-light image enhancement guided by mixed-attention
CN112561813B (zh) 人脸图像增强方法、装置、电子设备及存储介质
Lv et al. Low-light image enhancement via deep Retinex decomposition and bilateral learning
CN114627034A (zh) 一种图像增强方法、图像增强模型的训练方法及相关设备
Li et al. Global and adaptive contrast enhancement for low illumination gray images
CN110807738A (zh) 一种基于边缘图块锐化的模糊图像非盲复原方法
Li et al. Fast region-adaptive defogging and enhancement for outdoor images containing sky
CN114627269A (zh) 一种基于深度学***台
Zheng et al. Low-light image and video enhancement: A comprehensive survey and beyond
Chen et al. Single-image hdr reconstruction with task-specific network based on channel adaptive RDN
Wang et al. Nighttime image dehazing using color cast removal and dual path multi-scale fusion strategy
Wei et al. Sidgan: Single image dehazing without paired supervision
CN117422631A (zh) 基于自适应滤波分层的红外图像增强方法
CN117611501A (zh) 一种低照度图像增强方法、装置、设备及可读存储介质
Kim et al. Detail restoration and tone mapping networks for x-ray security inspection
Wang et al. Rapid nighttime haze removal with color-gray layer decomposition
Zhang et al. Nighttime haze removal with illumination correction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210416

RJ01 Rejection of invention patent application after publication