CN117115018A - 一种考虑真实噪声和伪影的微光图像增强方法及装置 - Google Patents
一种考虑真实噪声和伪影的微光图像增强方法及装置 Download PDFInfo
- Publication number
- CN117115018A CN117115018A CN202311005200.1A CN202311005200A CN117115018A CN 117115018 A CN117115018 A CN 117115018A CN 202311005200 A CN202311005200 A CN 202311005200A CN 117115018 A CN117115018 A CN 117115018A
- Authority
- CN
- China
- Prior art keywords
- noise
- network
- image
- convolution block
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000005286 illumination Methods 0.000 claims abstract description 55
- 238000002310 reflectometry Methods 0.000 claims abstract description 39
- 238000005457 optimization Methods 0.000 claims abstract description 20
- 238000011084 recovery Methods 0.000 claims abstract description 20
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 19
- 230000001419 dependent effect Effects 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000013139 quantization Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims 1
- 238000004590 computer program Methods 0.000 claims 1
- 230000004927 fusion Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 6
- 230000002708 enhancing effect Effects 0.000 abstract description 5
- 230000015556 catabolic process Effects 0.000 abstract description 3
- 238000006731 degradation reaction Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 6
- 230000009191 jumping Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种考虑真实噪声和伪影的微光图像增强方法及装置。本发明获取短曝光图像以及对应长曝光图像；利用分解网络提取图像的照度；利用照度优化网络优化照度；利用噪声模型得到短曝光图像的噪声源；利用短曝光图像的噪声源添加到原始长曝光图像，得到真实噪声的短曝光图像：利用构建反射率恢复网络对真实噪声的短曝光图像提取恢复反射率；融合优化照度和恢复反射率得到增强的微光图像。本发明针对增强微光图像过程中出现的不和谐及退化问题，结合改进的深度Retinex网络框架和使用合成的真实微光噪声数据来训练网络，解决在特定场景下微光图像增强中出现的局部过曝和伪影噪声。该方法易于实现，增强的图像有较高的观看体验与质量。
Description
技术领域
本发明属于低照度图像增强技术领域，具体涉及一种考虑真实噪声和伪影的微光图像增强方法及装置。
背景技术
随着相机设备技术的不断发展，在低照度环境下拍摄图像的需求大量增加，包括视觉监控，自动驾驶和计算摄影等领域。然而由于光照不足与传感器尺寸限制，微光图像质量的往往很糟糕，充满了嘈杂的噪声和伪影。现有的方法尽管在一定程度可以增强微光图像，但在真实微光条件下泛化性较差，增强后的图像往往出现亮部区域过曝和放大暗部区域噪声的问题，出现伪影和损失原有的细节和纹理，从而影响了后续的视觉应用。因此，在拍摄微光图像时，通过技术手段对微光图像进行增强是极其必要的。
现有的微光图像增强深度学习技术主要有以下几种：(1)Retinex-Net通过先验知识和正则化将低照度图像分解为反射率和照度，再分别增强得到最后的增强结果，这种简单的模型往往导致不现实的增强结果而且忽略了微光图像的噪声问题。(2)KindD方法使用了U-Net网络对反射率分量进行了去噪处理，虽然有较好的增强效果，但是产生过度锐化和伪影问题。(3)URetinex-Net提出展开网络以数据驱动的方式自适应拟合隐式先验，实现对噪声的抑制和细节保留，然而其在真实的环境下泛化性较差，往往出现对图像亮部区域过曝的情况。
发明内容
本发明的目的是针对现有技术的不足，提供一种考虑真实噪声和伪影的微光图像增强方法，旨在解决微光图像在增强过程中出现的过曝和噪声问题。而为解决这一问题，本发明提出的方法受Retinex理论的启发，将图像分解为两个分量，遵循分而治之的原则，一个部分负责改善光照条件，另一个部分负责消除图像退化问题。其中提出的神经网络模型能有效改善过曝和伪影问题，通过合成的真实微光图像噪声来训练去噪器，从而提高了微光图像增强的质量。
本发明方法的技术方案分为图像分解、照度优化、反射率恢复和暗帧数据库四个部分进行，具体内容如下：
步骤一、数据获取：
1.1获取多张长短时间曝光的原始图像，且每张长时间曝光图像对应多张短曝光图像，然后将所有图像统一调整为固定尺寸的RGB图像；
1.2构建暗帧数据库，对于每个感光度拍摄n个暗帧，使用相同的光圈和快门时间，平均n个暗帧保存噪声值，n≥10。
步骤二、构建分解网络：
所述分解网络包括第一卷积块、两路并行的分支；其输入为短曝光图像，输出为输入图像的照度；
所述两路并行的分支包括上行分支和下行分支；
所述上行分支用于分解出低照度图像的反射率，其包括依次级联的第一最大池化层、第二卷积块、第二最大池化层、第三卷积块、第一反卷积层、第一连接层、第四卷积块、第二反卷积层、第二连接层、第五卷积块、第一卷积层、第一Sigmoid层；其中所述第一连接层将第一反卷积层的输出和第二卷积块的输出拼接；所述第二连接层将第二反卷积层的输出和第一卷积块的输出拼接；
所述下行分支用于分解出低照度图像的照度，其包括依次级联的第六卷积块、第三连接层、第二卷积层、第二Sigmoid层；其中所述第三连接层将第六卷积块的输出和第五卷积块的输出拼接；
所述上行分支和下行分支间添加跳跃连接；
步骤三、构建照度优化网络：
所述照度优化网络包括第四连接层、第七卷积块、第八卷积块、第九卷积块、第四卷积层、第三Sigmoid层；其输入为分解网络输出的照度；
步骤四、构建噪声模型∶
原始图像的噪声源D建模为信号相关噪声和信号无关噪声，如下所示：
D＝KdKa(I+Np)+KdKaN1+KdN2+KdNq
其中KdKa(I+Np)表示信号相关噪声，由于入射光子遵循泊松分布，所以把信号相关噪声建模为泊松分布，如下所示：
其中Y表示干净图像，Ka表示相机***的模拟增益，Kd表示相机***的数字增益，I表示入射光子数，Np表示依赖于信号的光子散粒噪声，表示采样的信号相关噪声；KdKaN1+KdN2+KdNq表示信号无关噪声，包括暗电流噪声、固定模式噪声、热噪声和量化噪声；对于信号无关噪声，直接从暗帧数据库中对合成噪声进行采样，如：
KdKaN1+KdN2+KdNq＝Nindependent
Nindependent←RandomSampling(B)
其中B表示暗帧数据库，RandomSampling表示随机采样；N1表示模拟增益之前产生的噪声总和(包括暗电流噪声、固定模式噪声、复位噪声等)；N2表示数字增益之前和模拟增益之后的所有噪声总和(包括热噪声、列固定模式噪声)；Nq表示量化噪声；Nindependent表示信号无关噪声。
步骤五、根据噪声模型得到短曝光图像的噪声源D，将其添加到原始长曝光图像，得到真实噪声的短曝光图像。
步骤六、构建反射率恢复网络，并利用真实噪声的短曝光图像进行训练；
所述反射率恢复网络以常规U-Net网络为框架，将框架网络的所有最大池化层替换为平均池化层，并且去除最上层U-Net的跳跃连接，只保留最下层的跳跃连接；
步骤七、融合照度优化网络输出的优化照度和反射率恢复网络输出的恢复反射率，得到增强的微光图像
其中⊙表示元素相乘，Rt表示反射率恢复网络的输出，It表示照度优化网络的输出。
本发明的有益效果：
1)本发明提出的照度优化网络从层次视角调整照明，同时考虑全局照明的一致性，从而在增强图像的同时减少过曝现象。
2)本发明提出的反射率恢复网络采用将最大池化层替换为平均池化层并去除跳跃连接的U-Net网络，有效减少出现的高频伪影问题。
3)本发明构建的暗帧数据库拍摄的无光图像包含了不同感光度(ISO)状况下的噪声，通过随机采样能有效合成暗噪声与固定模式噪声，减少了合成数据和噪声建模的繁琐步骤。
4)本发明引入噪声模型，构建真实噪声的低照度图像，然后将其作为反射率恢复网络的输入，从而提高了对真实低光照图像的去噪效果。
综上所述，本发明方法针对增强微光图像过程中出现的不和谐及退化问题，结合改进的深度Retinex网络框架和使用合成的真实微光噪声数据来训练网络，解决了在特定场景下微光图像增强中出现的局部过曝和伪影噪声问题。该方法易于实现，增强的图像有较高的观看体验与质量。
附图说明
图1为本发明的方法总体流程图；
图2为本发明的分解网络构建图；
图3为本发明的照度优化构建图；
图4为本发明的反射率恢复构建图；
图5为各种低照度图像增强方法的测试效果图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的分析说明。
如图1所示，基于Retinex理论和噪声合成的微光图像增强方法包括图像分解、照度优化、反射率恢复和暗帧数据库四个部分组成。
步骤一、数据收集阶段：
1.1Retinex网络选择SID数据集，包括了长短时间曝光的原始图像，一张长时间曝光图像对应多张短曝光图像(即低照度图像)，统一调整为1200×800px的RGB图像；长曝光图像的曝光时间控制在20-30秒之间，通过三脚架固定拍摄，短曝光图像的曝光时间小于1秒；
1.2构建暗帧数据库，在暗室中捕捉暗帧来构建暗帧数据库，在暗帧的每次拍摄中，阻挡所有入射光；对于每个感光度(ISO)设置拍摄10个暗帧，使用相同的光圈和快门时间，平均10个暗帧保存噪声值。
步骤二、构建分解网络：
2.1如图2所示，分解网络包括第一卷积块、两路并行的分支；所述两路并行的分支包括上行分支和下行分支；
所述上行分支用于分解出低照度图像的反射率，其包括依次级联的第二卷积块、第一最大池化层、第三卷积块、第二最大池化层、第一反卷积层、第一连接层、第四卷积块、第二反卷积层、第二连接层、第五卷积块、第一卷积层、第一Sigmoid层；其中所述第一连接层将第一反卷积层的输出和第二卷积块的输出拼接；所述第二连接层将第二反卷积层的输出和第一卷积块的输出拼接；
所述下行分支用于分解出低照度图像的照度，其包括依次级联的第六卷积块、第三连接层、第二卷积层、第二Sigmoid层；其中所述第三连接层将第六卷积块的输出和第五卷积块的输出拼接；其中第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块、第六卷积块的结构相同，均包括第三卷积层、LReLU激活层；
所述两路并行的分支中添加跳跃连接来保持图像的整体特征，缓解在训练过程中出现的梯度***和梯度消失问题，通过Sigmoid二分类器来得到分解出的反射率和照度。
2.2构建分解网络训练的损失函数，如公式(1)所示，由三部分组成。
Loss＝Lrec+μLic+Lsp (1)
第一项Lrec为重建损失函数，如公式(2)所示。
Lrec＝||S-R0·L0||1 (2)
其中S表示输入低照度的图像，R0表示模型输出的反射率，L0表示模型输出的照度。
第二项Lic为照度一致性损失损失函数，旨在保持S的照度整体结构，如公式(3)所示，μ为超参数。
其中c表示RGB颜色通道，S(c)表示c颜色通道的低照度图像。
第三项Lsp为结构感知损失函数对照明进行空间平滑，如公式(4)所示。
其中表示正常光照图像(即长曝光图像)，/>表示正常光照图像的照度，/>表示梯度运算，∈表示超参数。
步骤三、构建照度优化网络：
3.1如图3所示，照度优化网络是轻量级的，包括第四连接层、第七卷积块、第八卷积块、第九卷积块、第四卷积层、第三Sigmoid层；其输入为分解网络输出的照度；
所述第七卷积块、第八卷积块、第九卷积块的结构相同，均包括第五卷积层、LReLu激活层；
3.2构建照度优化网络损失函数，如公式(5)所示。
其中用二范数来保持照度的整体一致性，/>通过计算梯度损失来保证照度足够平滑，/>表示正常光照图像的照度，L0表示分解网络输出的低照度图像的照度，Lt表示照度优化网络输出的优化的照度。
步骤四、预训练噪声模型：
4.1构建噪声模型，原始图像的噪声源D可以建模为信号相关噪声和信号无关噪声，如公式(6)所示。
D＝KdKa(I+Np)+KdKaN1+KdN2+KdNq (6)
4.2噪声模型的第一项KdKa(I+Np)为信号相关噪声，由于入射光子遵循泊松分布，所以可以把信号相关噪声建模为泊松分布，如公式(7)所示。
其中Y表示干净图像，Ka表示相机***的模拟增益，Kd表示相机***的数字增益，I表示入射光子数，Np表示依赖于信号的光子散粒噪声，表示采样的信号相关噪声；
4.3噪声模型的剩余项KdKaN1+KdN2+KdNq为信号无关噪声，包括暗电流噪声、固定模式噪声、热噪声和量化噪声等等；对于信号无关噪声，直接从暗帧数据库中对合成噪声进行采样，可以公式化如公式(9)。
KdKaN1+KdN2+KdNq＝Nindependent (8)
Nindependent←RandomSampling(B) (9)
其中B表示拍摄的暗帧数据库，RandomSampling表示随机采样；
通过步骤4.2和4.3由此得到低照度图像的噪声源D，将其添加到原始常曝光图像，得到真实噪声的低照度图像。
步骤五、构建反射率恢复网络，并利用真实噪声的低照度图像进行训练：
5.1如图四所示，反射率恢复网络以常规U-Net网络为框架，将框架网络的所有最大池化层替换为平均池化层，并且去除最上层U-Net的跳跃连接(即卷积块与最后一个上采样层间的跳跃连接)，只保留最下层的跳跃连接(即卷积块与第一个上采样层间的跳跃连接)，从而到达去噪并消除高频伪影的作用；
5.2构建反射率恢复网络损失函数，如公式(10)所示。
其中表示正常光照条件下的反射率，Rt表示反射率恢复网络输出的恢复的反射率，可以是R0或/>SSIM为计算两者的结构相似性，如公式(11)所示。
其中μ表示均值，σ表示方差，c为常数防止分母为零。
步骤六、融合照度优化网络输出的优化照度和反射率恢复网络输出的恢复反射率，得到增强的微光图像：
实施例对比验证
为说明本发明的效果，本实施例在实验条件相同情况下对多种方法进行了对比分析。
微光场景下图像增强结果如图5所示，从图中可以看出本发明能较好的恢复退化的图像，相比于其他方法避免了局部过曝和放大噪声的现象，保留了更多的细节纹理，有较好的视觉观感。
表1对比其他低照度图像增强方法
从表1的结果可以看出，本发明能够在峰值信噪比(PSNR)和结构相似性(SSIM)两项指标上达到更好的效果。PSNR可以衡量原图像与测试结果图像之间的均方误差，SSIM指标可以衡量两幅图像的相似度程度，这两项指标均为图像增强任务中广泛使用的评价指标，PSNR和SSIM的值越高代表测试图像越接近原图像。表1中的结果证明了本发明在定量评价上优于其他方法。
以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种考虑真实噪声和伪影的微光图像增强方法，其特征在于所述方法包括以下步骤：
步骤一、数据获取：
1.1获取多张长短时间曝光的原始图像，且每张长时间曝光图像对应多张短曝光图像，然后将所有图像统一调整为固定尺寸的RGB图像；
1.2构建暗帧数据库，对于每个感光度拍摄n个暗帧，使用相同的光圈和快门时间，平均n个暗帧保存噪声值，n≥10；
步骤二、构建分解网络：
所述分解网络包括第一卷积块、两路并行的分支；其输入为短曝光图像，输出为输入图像的照度；
所述两路并行的分支包括上行分支和下行分支；上行分支和下行分支间添加跳跃连接；
所述上行分支用于分解出低照度图像的反射率，其包括依次级联的第一最大池化层、第二卷积块、第二最大池化层、第三卷积块、第一反卷积层、第一连接层、第四卷积块、第二反卷积层、第二连接层、第五卷积块、第一卷积层、第一Sigmoid层；其中所述第一连接层将第一反卷积层的输出和第二卷积块的输出拼接；所述第二连接层将第二反卷积层的输出和第一卷积块的输出拼接；
所述下行分支用于分解出低照度图像的照度，其包括依次级联的第六卷积块、第三连接层、第二卷积层、第二Sigmoid层；其中所述第三连接层将第六卷积块的输出和第五卷积块的输出拼接；
步骤三、构建照度优化网络：
所述照度优化网络包括第四连接层、第七卷积块、第八卷积块、第九卷积块、第四卷积层、第三Sigmoid层；其输入为分解网络输出的照度，输出为优化照度；
步骤四、构建噪声模型：
原始图像的噪声源D建模为信号相关噪声和信号无关噪声，如公式(1)所示：
D＝KdKa(I+Np)+KdKaN1+KdN2+KdNq (1)
其中KdKa(I+Np)表示信号相关噪声，由于入射光子遵循泊松分布，所以把信号相关噪声建模为泊松分布，如公式(2)所示：
其中Y表示干净图像，Ka表示相机***的模拟增益，Kd表示相机***的数字增益，I表示入射光子数，Np表示依赖于信号的光子散粒噪声，表示采样的信号相关噪声；
KdKaN1+KdN2+KdNq表示信号无关噪声，包括暗电流噪声、固定模式噪声、热噪声和量化噪声；对于信号无关噪声，直接从暗帧数据库中对合成噪声进行采样，如公式(4)：
KdKaN1+KdN2+KdNq＝Nindependent (3)
Nindependent←RandomSampling(B) (4)
其中B表示暗帧数据库，RandomSampling表示随机采样；N1表示模拟增益之前产生的噪声总和；N2表示数字增益之前和模拟增益之后的所有噪声总和；Nq表示量化噪声；Nindependent表示信号无关噪声；
步骤五、根据公式(1)噪声模型得到短曝光图像的噪声源D，将其添加到原始长曝光图像，得到真实噪声的短曝光图像：
步骤六、构建反射率恢复网络，并利用真实噪声的短曝光图像进行训练；
所述反射率恢复网络以常规U-Net网络为框架，将框架网络的所有最大池化层替换为平均池化层，并且去除最上层U-Net的跳跃连接，只保留最下层的跳跃连接；
步骤七、融合照度优化网络输出的优化照度It和反射率恢复网络输出的恢复反射率Rt，得到增强的微光图像
其中⊙表示元素相乘。
2.根据权利要求1所述方法，其特征在于步骤1.1中长曝光图像的曝光时间控制在20-30秒之间，短曝光图像的曝光时间小于1秒。
3.根据权利要求1所述方法，其特征在于步骤二所述分解网络中第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块、第六卷积块的结构相同，均包括第三卷积层、LReLU激活层。
4.根据权利要求1所述方法，其特征在于步骤二所述分解网络训练的损失函数，如公式(6)所示：
Loss＝Lrec+μLic+Lsp (6)
其中μ为超参数；
重建损失函数Lrec如公式(7)所示：
Lrec＝||S-R0·L0||1 (7)
其中S表示输入的短曝光图像，R0表示分解网络输出的反射率，L0表示分解网络输出的照度；
照度一致性损失损失函数Lic，旨在保持S的照度整体结构，如公式(8)所示：
其中c表示RGB颜色通道，S(c)表示c颜色通道的短曝光图像：
结构感知损失函数Lsp对照明进行空间平滑，如公式(9)所示：
其中表示长曝光图像，/>表示正常光照图像的照度，/>表示梯度运算，∈表示超参数。
5.根据权利要求1所述方法，其特征在于步骤三所述照度优化网络中所述第七卷积块、第八卷积块、第九卷积块的结构相同，均包括第五卷积层、LReLu激活层。
6.根据权利要求1所述方法，其特征在于步骤三所述照度优化网络损失函数，如公式(10)所示：
其中用二范数来保持照度的整体一致性，/>通过计算梯度损失来保证照度足够平滑，/>表示长曝光图像的照度，L0表示分解网络输出的短曝光图像的照度，Lt表示照度优化网络输出的优化的照度。
7.根据权利要求1所述方法，其特征在于步骤六所述反射率恢复网络的损失函数如公式(11)所示：
其中表示正常光照条件下的反射率，Rt表示反射率恢复网络输出的恢复的反射率：SSIM为/>和Rt的结构相似性，如公式(12)所示：
其中表示/>的均值，/>表示Rt的均值，/>表示/>的方差，/>表示Rt的方差，/>表示和Rt之间的协方差，c1、c2为常数。
8.一种考虑真实噪声和伪影的微光图像增强***，其特征在于包括：
数据获取模块，获取短曝光图像以及对应的长曝光图像；
照度提取模块，利用分解网络提取图像的照度；
照度优化模块，利用照度优化网络优化分解网络输出的照度，得到优化照度；
噪声提取模块，利用噪声模型得到短曝光图像的噪声源D；
真实数据获取模块，利用短曝光图像的噪声源D添加到原始长曝光图像，得到真实噪声的短曝光图像：
恢复反射率提取模块，利用构建反射率恢复网络对真实噪声的短曝光图像提取恢复反射率；
增强模块，融合照度优化网络输出的优化照度和反射率恢复网络输出的恢复反射率，得到增强的微光图像。
9.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项所述的方法。
10.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311005200.1A CN117115018A (zh) | 2023-08-10 | 2023-08-10 | 一种考虑真实噪声和伪影的微光图像增强方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311005200.1A CN117115018A (zh) | 2023-08-10 | 2023-08-10 | 一种考虑真实噪声和伪影的微光图像增强方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117115018A true CN117115018A (zh) | 2023-11-24 |
Family
ID=88806778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311005200.1A Pending CN117115018A (zh) | 2023-08-10 | 2023-08-10 | 一种考虑真实噪声和伪影的微光图像增强方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115018A (zh) |
-
2023
- 2023-08-10 CN CN202311005200.1A patent/CN117115018A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111968044B (zh) | 基于Retinex和深度学习的低照度图像增强方法 | |
| CN115442515B (zh) | 图像处理方法和设备 | |
| US11037278B2 (en) | Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures | |
| Faraji et al. | CCD noise removal in digital images | |
| CN110619593B (zh) | 一种基于动态场景的双曝光视频成像*** | |
| JP4846259B2 (ja) | 輝度補正 | |
| US9344638B2 (en) | Constant bracket high dynamic range (cHDR) operations | |
| CN111669514B (zh) | 高动态范围成像方法和装置 | |
| CN110378845A (zh) | 一种基于卷积神经网络的极端条件下的图像修复方法 | |
| KR20060045424A (ko) | 휘도 정정을 갖는 디지털 카메라 | |
| CN111064904A (zh) | 一种暗光图像增强方法 | |
| JP2013508811A (ja) | 空間画像事前確率を用いたぼけ画像修正 | |
| CN111986084A (zh) | 一种基于多任务融合的多相机低光照图像质量增强方法 | |
| CN115393227B (zh) | 基于深度学习的微光全彩视频图像自适应增强方法及*** | |
| Akyüz | Deep joint deinterlacing and denoising for single shot dual-ISO HDR reconstruction | |
| Pan et al. | Multi-exposure high dynamic range imaging with informative content enhanced network | |
| CN116456183B (zh) | 一种事件相机引导下的高动态范围视频生成方法及*** | |
| CN113632134A (zh) | 使用预组合去噪的高动态范围图像生成 | |
| CN112927162A (zh) | 一种面向低照度图像的增强方法及*** | |
| EP3913572A1 (en) | Loss function for image reconstruction | |
| Zhao et al. | End-to-end denoising of dark burst images using recurrent fully convolutional networks | |
| CN115035011A (zh) | 一种融合策略下自适应RetinexNet的低照度图像增强方法 | |
| CN116389912B (zh) | 脉冲相机融合普通相机重构高帧率高动态范围视频的方法 | |
| EP4222688A1 (en) | Permutation invariant high dynamic range imaging | |
| CN107392870A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |