CN115082335A - 一种基于噪声建模的图像去噪方法 - Google Patents

一种基于噪声建模的图像去噪方法 Download PDF

Info

Publication number
CN115082335A
CN115082335A CN202210627661.1A CN202210627661A CN115082335A CN 115082335 A CN115082335 A CN 115082335A CN 202210627661 A CN202210627661 A CN 202210627661A CN 115082335 A CN115082335 A CN 115082335A
Authority
CN
China
Prior art keywords
dark
iso
image
noise
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210627661.1A
Other languages
English (en)
Other versions
CN115082335B (zh
Inventor
王立志
冯汉森
汪彧之
许勤
黄华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202210627661.1A priority Critical patent/CN115082335B/zh
Publication of CN115082335A publication Critical patent/CN115082335A/zh
Application granted granted Critical
Publication of CN115082335B publication Critical patent/CN115082335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像去噪领域。一种基于噪声建模与配对真实数据的图像去噪方法，通过将暗阴影建模为ISO相关的线性模型，提高对暗阴影标定的效率和准确性；通过暗阴影矫正降低真实噪声分布的复杂性，提高去噪后的图像颜色准确性；通过散粒信号增广处理增加配对真实数据的数据量，使得去噪方法能够更精确地拟合配对真实数据之间的映射关系，提高去噪后的图像纹理清晰度。一种基于噪声建模与合成数据的图像去噪方法，通过将暗阴影建模为ISO相关的线性模型，提高对暗阴影标定的效率和准确性；通过在推理过程中引入暗阴影矫正降低合成数据与真实配对数据的差距，使基于未考虑暗阴影的噪声建模方法合成数据训练的去噪方法能够更准确地泛化到真实场景。

Description

一种基于噪声建模的图像去噪方法
技术领域
本发明涉及一种基于噪声建模的图像去噪方法，尤其涉及低光照条件下的高质量原始图像去噪方法，属于图像去噪领域。
背景技术
低光照图像去噪是计算摄影中的一个基本问题，在手机摄影、遥感成像、天文成像以及先问成像中被广泛地需要。学习类去噪方法近年来取得了长足的发展，并成为图像去噪问题的主流解决方案。学习类去噪方法的标准范式是学习配对真实数据之间的数据映射，即带噪图像到其对应的干净图像的映射。然而，配对真实数据间的数据映射并不容易学习。这主要是由于两个原因导致的：(1)真实噪声服从复杂的噪声分布，这导致数据映射因复杂度很高而难以被拟合。(2)真实配对数据的数据量有限，这导致数据映射因数据量不足而难以被准确拟合。复杂的数据映射和有限的数据量限制了学习类去噪方法的发展。
一些方法致力于直接使用噪声建模的方式来合成逼真的数据以取代配对真实数据。在噪声建模确定的情况下合成数据不存在数据量的限制，因此只要噪声建模足够逼近真实噪声分布，使用合成数据训练学习类去噪方法就能取得良好的效果。然而，对相机中的各种噪声源进行准确的提取和建模是极其困难的，因此噪声建模难以准确逼近真实噪声分布。
阻碍噪声建模逼近真实噪声分布的最大阻碍是暗阴影。受加工工艺限制，成像传感器中广泛存在像元间的不均匀，这会导致在最终的成像中存在暗阴影。暗阴影表征的是传感器读出噪声中时域稳定的成分，在空间上往往存在低频的、不规则的变化，这导致暗阴影通常是非平稳的。暗阴影的存在让像元的噪声模型不符合独立同分布的假设，将数据映射变得极其复杂，因此即使噪声能够高度逼近真实噪声分布，学习类去噪方法在处理带有明显暗阴影的图像时也很难有好的表现。
发明内容
针对现有图像去噪方法在拟合数据映射时的困难，本发明主要目的之一是提供一种基于噪声建模与配对真实数据的图像去噪方法，通过将暗阴影建模为ISO相关的线性模型，提高对暗阴影标定的效率和准确性；通过暗阴影矫正降低真实噪声分布的复杂性，使得去噪方法能够更容易地拟合配对真实数据之间的映射关系，从而提高去噪后的图像颜色准确性；通过散粒信号增广处理增加配对真实数据的数据量，使得去噪方法能够更精确地拟合配对真实数据之间的映射关系，从而提高去噪后的图像纹理清晰度。本发明还具有收敛效果好、泛化性能高的优点。
本发明另一个主要目的是提供一种基于噪声建模与合成数据的图像去噪方法，通过将暗阴影建模为ISO相关的线性模型，提高对暗阴影标定的效率和准确性；通过在推理过程中引入暗阴影矫正降低合成数据与真实配对数据的差距，使基于未考虑暗阴影的噪声建模方法合成数据训练的去噪方法能够更准确地泛化到真实场景。本发明还具有收敛效果好、易用性强的优点。
本发明的目的通过如下技术方案实现。
本发明公开的一种基于噪声建模与真实配对数据的图像去噪方法，包含以下步骤：
步骤101(a)：通过暗场标定得到各ISO处的暗阴影Dds(ISO)。
所述Dds(ISO)为m×n矩阵，其中m为图像高度，n为图像宽度，ISO为相机拍摄时的感光度。在暗室中，将相机镜头盖盖上，然后采集图像，采集到的图像即为暗帧，通过暗场标定在预定曝光时间下采集大量暗帧，对所述大量暗帧取平均，得到对应ISO处的暗阴影Dds(ISO)。
为了进一步提高暗阴影的标定质量与并减少标定过程中的人工操作量，步骤101(a)中，通过快速暗阴影标定方法进行暗场标定得到暗阴影参数，所述暗阴影参数用于重构出任意ISO处暗阴影Dds(ISO)。所述暗阴影参数包括DFPNk，DFPNb和DBLE(ISO)。快速暗阴影标定方法具体实现方法为：通过暗场标定得到部分ISO暗阴影
Figure BDA0003678306400000021
并基干部分ISO暗阴影
Figure BDA0003678306400000022
建立ISO相关的线性模型，通过所述ISO相关的线性模型，提高对暗阴影标定的效率和准确性。
所述
Figure BDA0003678306400000023
DFPNk，DFPNb，DBLE(ISO)均为m×n矩阵，其中m为图像高度，n为图像宽度，ISO为相机拍摄时的感光度。
在快速暗阴影标定中，暗阴影
Figure BDA0003678306400000024
作为标定素材仅在部分ISO处采集，即通过暗场标定得到部分ISO处的暗阴影
Figure BDA0003678306400000025
不仅能够减少ISO采集位点数量，且能够大幅降低标定暗阴影时所需采集的暗帧数量。
由于黑电平误差和ISO间并不存在稳定的规律，所以需要在每个ISO处收集1张暗帧，并计算整个图像的平均值作为该ISO处的黑电平误差DBLE(ISO)中每个元素的值。
基于部分ISO暗阴影Dds(ISO)建立如公式(1)所示ISO相关的线性模型，即以暗阴影样本
Figure BDA0003678306400000026
为样本点通过线性回归公式(1)计算下述线性模型的暗阴影参数DFPNk，DFPNb
Dds(ISO)＝DFPNk·ISO+DFPNb+DBLE(ISO) (1)
线性回归得到的暗阴影参数DFPNk，DFPNb与标定得到的黑电平误差DBLE(ISO)将用于重构任意ISO下的Dds(ISO)(后简记为Dds)。
通过所述ISO相关的线性模型，在几乎不改变暗阴影图像准确性的情况下极大地减少暗帧的需求量，提高对暗阴影标定的效率和准确性。
步骤102(a)：通过噪声建模将噪声解耦为时域不变的暗阴影Dds与时域变化的噪声，对带噪图像Dn实施暗阴影矫正，得到暗阴影矫正后的带噪图像
Figure BDA0003678306400000031
通过暗阴影矫正降低真实噪声分布的复杂性，使得去噪方法能够更容易地拟合配对真实数据之间的映射关系，从而提高去噪后的图像颜色准确性。
传感器的成像模型被表示为
Dn＝K(I+Np)+Nread (2)
其中Dn代表传感器输出的带噪图像，K是传感器***增益，I表示单次成像过程中传感器所接收到的光电子，Np是信号相关的光子散粒噪声，Nread是信号无关的读出噪声。
读噪声Nread的噪声模型
Figure BDA0003678306400000032
是复杂且未知的，但是可以将其解耦为时域不变的暗阴影Dds与时域变化的噪声。所述带噪图像Dn为m×n矩阵。暗阴影矫正即在实施其他图像处理操作前剔除带噪图像Dn所对应的ISO的暗阴影Dds。暗阴影矫正后的带噪图像记为
Figure BDA0003678306400000033
Figure BDA0003678306400000034
因为暗阴影矫正后的带噪图像
Figure BDA0003678306400000035
上的所有像元的噪声模型
Figure BDA0003678306400000036
都比矫正前更接近独立同分布，因此数据映射的复杂度被大幅降低。
根据公式(2)对带噪图像Dn实施暗阴影矫正，降低真实噪声分布的复杂性，使得去噪方法能够更容易地拟合配对真实数据之间的映射关系，从而提高去噪后的图像颜色准确性。
步骤103(a)：对步骤102(a)矫正后的带噪图像
Figure BDA0003678306400000037
与其对应的干净图像Dc实施散粒信号增广，得到增广后的带噪图像
Figure BDA0003678306400000038
与其对应的增广后的干净图像
Figure BDA0003678306400000039
通过散粒信号增广处理增加配对真实数据的数据量，使得去噪方法能够更精确地拟合配对真实数据之间的映射关系，从而提高去噪后的图像纹理清晰度。
散粒信号增广为基于光子散粒噪声建模的数据增广方法。由于光的量子特性，收集到的光子数具有不确定性，因此所有像元实际接受到的光电子数(I+Np)都遵循泊松分布
Figure BDA00036783064000000310
Figure BDA00036783064000000311
遵循泊松分布的变量满足可加性。即对于随机变量X1，X2，若变量
Figure BDA00036783064000000312
与变量
Figure BDA00036783064000000313
Figure BDA00036783064000000314
是独立的，则
Figure BDA00036783064000000315
带噪图像
Figure BDA00036783064000000316
可以表示为以其对应的干净图像Dc为参数的噪声模型
Figure BDA00036783064000000317
的采样，即
Figure BDA00036783064000000318
如存在信号增量ΔD，散粒信号增强的目标是合成一个对应的带噪信号增量ΔN，满足
Figure BDA00036783064000000319
对于配对真实数据而言，干净图像Dc是已知的。根据泊松的可加性推导得
Figure BDA00036783064000000320
记
Figure BDA00036783064000000321
增广后的带噪图像
Figure BDA00036783064000000322
与其对应的增广后的干净图像
Figure BDA00036783064000000323
即是在不改变噪声模型真实性的前提下合成的新数据对。由于带噪信号增量ΔN只需要服从特定的泊松分布，所以即使信号增量ΔD不变，每次随机采样也都可以获得新的带噪增量，进而合成新的数据对。
根据公式(7)对带噪图像
Figure BDA0003678306400000041
与其对应的干净图像Dc实施散粒信号增广，通过散粒信号增广处理增加配对真实数据的数据量，使得去噪方法能够更精确地拟合配对真实数据之间的映射关系，从而提高去噪后的图像纹理清晰度。
步骤104(a)：使用增广后的带噪图像
Figure BDA0003678306400000042
与其对应的增广后的干净图像
Figure BDA0003678306400000043
训练去噪器。
“去噪器”为学习类去噪方法所使用的去噪器。为了提高去噪效率和去噪效果，所述去噪器优选基于神经网络实现的去噪器。
步骤105(a)：使用步骤104(a)训练好的去噪器对步骤102(a)矫正后的带噪图像
Figure BDA0003678306400000044
去噪，有效去除图像中噪声成分，显著改善低光照条件下成像的质量。
由于去噪器学习的是噪声解耦后的数据映射，所以为了保证去噪器能够正常工作，去噪前需要先对输入的带噪数据应用暗阴影矫正，再使用训练好的去噪器进行去噪，有效去除图像中噪声成分，显著改善低光照条件下成像的质量。
有益效果：
1、本发明公开的一种基于噪声建模与真实配对数据的图像去噪方法，将暗阴影建模为ISO相关的线性模型，并提供了快速暗阴影标定方法，可以有效且迅速地标定得到暗阴影；
2、现有的去噪方法没有解耦暗阴影和时域变化噪声，这导致去噪方法所需拟合的数据映射十分复杂，去噪效果不好。本发明公开的一种基于噪声建模与真实配对数据的图像去噪方法，通过噪声模型解耦来改造配对真实数据，降低真实噪声分布的复杂性，使得去噪方法可以更容易地拟合配对真实数据之间的映射关系，从而促使去噪后的图像颜色更加准确。
3、现有的配对真实数据的数据量有限，这导致去噪方法难以准确地拟合到数据映射关系，去噪效果不好。本发明公开的一种基于噪声建模与真实配对数据的图像去噪方法，提出散粒信号增广以增加配对真实数据的数据量，使得去噪方法能够更精确地拟合配对真实数据之间的映射关系，从而促使去噪后的图像纹理更加清晰。
4、本发明公开的一种基于噪声建模与真实配对数据的图像去噪方法，在实现有益效果1、2、3的基础上，可以有效去除图像中噪声成分，极大改善低光照条件下成像的质量。
本发明公开的一种基于噪声建模与合成数据的图像去噪方法，包含以下步骤：
步骤101(b)：基于未考虑暗阴影的噪声模型
Figure BDA0003678306400000045
使用干净图像Dc合成数据，生成对应的带噪图像Dn。
带噪图像Dn表示为以干净图像Dc为参数的噪声模型
Figure BDA0003678306400000046
的采样，即
Figure BDA0003678306400000047
现有的噪声模型
Figure BDA0003678306400000048
一般均未考虑暗阴影，例如经典的异方差高斯噪声模型(hetero-G)、泊松高斯噪声模型(P-G)和极端低光噪声模型(ELD)。对于考虑了暗阴影的噪声模型，例如基于真实噪声采样的噪声模型(SFRN)，去除其中暗阴影相关的部分即可使用本发明方法。由于本发明方法是基于对真实噪声模型的合理解耦，所以总是能带来更好的去噪效果。
步骤102(b)：使用带噪图像Dn与其对应的干净图像Dc，训练去噪器。
“去噪器”为学习类去噪方法所使用的去噪器。为了提高去噪效率和去噪效果，所述去噪器优选基于神经网络实现的去噪器。
步骤103(b)：通过暗场标定得到各ISO处的暗阴影Dds(ISO)。
所述Dds(ISO)为m×n矩阵，其中m为图像高度，n为图像宽度，ISO为相机拍摄时的感光度。在暗室中，将相机镜头盖盖上，然后采集图像，采集到的图像即为暗帧，通过暗场标定在预定曝光时间下采集大量暗帧，对所述大量暗帧取平均，得到对应ISO处的暗阴影Dds(ISO)。
为了进一步提高暗阴影的标定质量与并减少标定过程中的人工操作量，步骤101(b)中，通过快速暗阴影标定方法进行暗场标定得到暗阴影参数，所述暗阴影参数用于重构出任意ISO处暗阴影Das(ISO)。所述暗阴影参数包括DFPNk，DFPNb和DBLE(ISO)。快速暗阴影标定方法具体实现方法为：通过暗场标定得到部分ISO暗阴影
Figure BDA0003678306400000051
并基于部分ISO暗阴影
Figure BDA0003678306400000052
建立ISO相关的线性模型，通过所述ISO相关的线性模型，提高对暗阴影标定的效率和准确性。
所述
Figure BDA0003678306400000053
DFPNk，DFPNb，DBLE(ISO)均为m×n矩阵，其中m为图像高度，n为图像宽度，ISO为相机拍摄时的感光度。
在快速暗阴影标定中，暗阴影
Figure BDA0003678306400000054
作为标定素材仅在部分ISO处采集，即通过暗场标定得到部分ISO处的暗阴影
Figure BDA0003678306400000055
不仅能够减少ISO采集位点数量，且能够大幅降低标定暗阴影时所需采集的暗帧数量。
由于黑电平误差和ISO间并不存在稳定的规律，所以需要在每个ISO处收集1张暗帧，并计算整个图像的平均值作为该ISO处的黑电平误差DBLE(ISO)中每个元素的值。
基于部分ISO暗阴影Dds(ISO)建立如公式(1)所示ISO相关的线性模型，即以暗阴影样本
Figure BDA0003678306400000056
为样本点通过线性回归公式(1)计算下述线性模型的暗阴影参数DFPNk，DFPNb
Dds(ISO)＝DFPNk·ISO+DFPNb+DBLE(ISO) (2b)
线性回归得到的暗阴影参数DFPNk，DFPNb与标定得到的黑电平误差DBLE(ISO)将用于重构任意ISO下的Dds(ISO)(后简记为Dds)。
通过所述ISO相关的线性模型，在几乎不改变暗阴影图像准确性的情况下极大地减少暗帧的需求量，提高对暗阴影标定的效率和准确性。
步骤104(b)：通过噪声建模将噪声解耦为时域不变的暗阴影Dds与时域变化的噪声，对带噪图像Dn实施暗阴影矫正，得到暗阴影矫正后的带噪图像
Figure BDA0003678306400000057
暗阴影矫正后的带噪图像
Figure BDA0003678306400000058
更接近合成数据，通过减小合成数据与真实数据差距，暗阴影矫正提高了现有的去噪方法的泛化性能。
读噪声的噪声模型可以被解耦为时域不变的暗阴影Dds与时域变化的噪声。所述带噪图像Dn为m×n矩阵。暗阴影矫正即在实施其他图像处理操作前剔除带噪图像Dn所对应的ISO的暗阴影Dds。暗阴影矫正后的带噪图像记为
Figure BDA0003678306400000061
Figure BDA0003678306400000062
暗阴影矫正后的带噪图像
Figure BDA0003678306400000063
上的所有像元的噪声模型都比矫正前更接近独立同分布，因此暗阴影矫正后的带噪图像
Figure BDA0003678306400000064
与其对应的干净图像Dc的关系更接近公式(1b)，减小了合成数据与真实数据的差距，提高现有的去噪方法的泛化性能。
步骤105(b)：使用步骤102(b)训练好的去噪器对步骤104(b)矫正后的带噪图像
Figure BDA0003678306400000065
去噪，有效去除图像中噪声成分，显著改善低光照条件下成像的质量。
现有的合成数据与真实配对模型的存在差距，本发明通过弥补所述差距提升基于噪声建模与合成数据的图像去噪方法的性能，使基于未考虑暗阴影的噪声建模方法合成数据训练的去噪方法能够更准确地泛化到真实场景，能够有效去除图像中噪声成分，显著改善低光照条件下成像的质量。
有益效果：
1、本发明公开的一种基于噪声建模与合成数据的图像去噪方法，将暗阴影建模为ISO相关的线性模型，并提供了快速暗阴影标定方法，可以有效且迅速地标定得到暗阴影；
2、现有的去噪方法没有解耦暗阴影和噪声，这导致去噪方法所需拟合的数据映射十分复杂，去噪效果不好。本发明公开的一种基于噪声建模与合成数据的图像去噪方法，基于噪声模型解耦提出暗阴影矫正来拓展现有的噪声模型，使现有的噪声模型更接近真实噪声模型，使基于未考虑暗阴影的噪声建模方法合成数据训练的去噪方法能够更准确地泛化到真实场景。
3、本发明公开的一种基于噪声建模与合成数据的图像去噪方法，在实现有益效果1、2的基础上，可以有效去除图像中噪声成分，极大改善低光照条件下成像的质量。
附图说明
图1是本发明公开的一种基于噪声建模与真实配对数据的图像去噪方法的流程图。
图2是本发明公开的一种基于噪声建模与合成数据的图像去噪方法的流程图。
图3是本发明公开的一种基于噪声建模与真实配对数据的图像去噪方法的快速暗阴影标定方法的结果示意图。
图4是使用本发明的基于噪声建模与真实配对数据的图像去噪方法对比图。其中从左到右分别为：输入的带噪图像，使用配对真实数据训练的去噪器的降噪结果，使用散粒信号增广的配对真实数据训练的去噪器的降噪结果，使用暗阴影矫正的配对真实数据训练的去噪器的降噪结果，使用本发明重构的配对数据训练的去噪器的降噪结果，干净的参考图像。
图5是使用本发明的基于噪声建模与合成数据的图像去噪方法对比图。第一行是未使用暗阴影矫正的去噪方法在真实低光数据集上的去噪效果，第二行是使用暗阴影矫正后的去噪方法在真实低光数据集上的去噪效果。
具体实施方式
为了更好地说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
实施例1：
本实施例公开的一种基于噪声建模与真实配对数据的图像去噪方法。图1展示了本发明实施例提供的图像去噪框架。在训练阶段，首先通过暗阴影矫正去除带噪图像中提前标定好的暗阴影，然后通过散粒信号增广扩充干净图像和噪声图像以获得新的数据对，最后使用增强的噪声图像和增强的干净图像来训练去噪器。在推理阶段，先对输入的带噪数据应用暗阴影矫正，再使用训练好的去噪器进行去噪。去噪器输出的图像即为所需的去噪图像。
如图1所示，本实施例公开的一种基于噪声建模与真实配对数据的图像去噪方法，包含以下步骤：
步骤101(a)：通过暗场标定得到各ISO处的暗阴影Dds(ISO)。
所述Dds(ISO)，DFPNk，DFPNb，DBLE(ISO)均为2848×4256矩阵，其中2848为图像高度，4256为图像宽度，ISO为相机拍摄时的感光度。具体的标定方式为：在暗室中，将相机镜头盖盖上，然后采集图像，采集到的图像即为暗帧。
由于黑电平误差和ISO间并不存在稳定的规律，所以需要在每个ISO处收集1张暗帧，并计算整个图像的平均值作为该ISO处的DBLE(ISO)中每个元素的值。
在快速暗阴影标定中，暗阴影样本
Figure BDA0003678306400000071
作为标定素材仅在
Figure BDA0003678306400000072
Figure BDA0003678306400000073
中选取，在1/30秒的曝光时间下采集100张暗帧，然后平均，即可得到对应ISO处的暗阴影样本
Figure BDA0003678306400000074
基于部分ISO暗阴影样本
Figure BDA0003678306400000075
建立如公式(1)所示ISO相关的线性模型，即以暗阴影样本
Figure BDA0003678306400000076
为样本点通过线性回归公式(1)计算下述线性模型的暗阴影参数DFPNk，DFPNb
Dds(ISO)＝DFPNk·ISO+DFPNb+DBLE(ISO) (1a)
线性回归得到的暗阴影参数DFPNk，DFPNb与标定得到的DBLE(ISO)将用于重构任意ISO下的Dds(ISO)(后简记为Dds)。
图3展示了本发明实施例标定得到的暗阴影参数。通过所述ISO相关的线性模型，在几乎不改变暗阴影图像准确性的情况下极大地减少暗帧的需求量，提高对暗阴影标定的效率和准确性。
步骤102(a)：通过噪声建模将噪声解耦为时域不变的暗阴影Dds与时域变化的噪声，对带噪图像Dn实施暗阴影矫正，得到暗阴影矫正后的带噪图像
Figure BDA0003678306400000081
通过暗阴影矫正降低真实噪声分布的复杂性，使得去噪方法能够更容易地拟合配对真实数据之间的映射关系，从而提高去噪后的图像颜色准确性。
传感器的成像模型被表示为
Dn＝K(I+Np)+Nread (2a)
其中Dn代表传感器输出的带噪图像，K是传感器***增益，I表示单次成像过程中传感器所接收到的光电子，Np是信号相关的光子散粒噪声，Nread是信号无关的读出噪声。
读噪声Nread的噪声模型
Figure BDA0003678306400000082
是复杂且未知的，但是可以将其解耦为时域不变的暗阴影Dds与时域变化的噪声。所述带噪图像Dn为2848×4256矩阵，其中2848为图像高度，4256为图像宽度。暗阴影矫正即在实施其他图像处理操作前剔除带噪图像Dn所对应的ISO的暗阴影Dds。暗阴影矫正后的带噪图像记为
Figure BDA0003678306400000083
Figure BDA0003678306400000084
因为暗阴影矫正后的带噪图像
Figure BDA0003678306400000085
上的所有像元的噪声模型
Figure BDA0003678306400000086
部比矫正前更接近独立同分布，因此数据映射的复杂度被大幅降低。根据公式(3)对带噪图像Dn实施暗阴影矫正，降低真实噪声分布的复杂性，使得去噪方法能够更容易地拟合配对真实数据之间的映射关系，从而提高去噪后的图像颜色准确性。
本发明实施例所使用的SID数据集的参考图像由于采集方法存在缺陷，其中的参考图像Dref并不能直接视为干净图像Dc。为了让训练过程不被数据缺陷影响，需要提前对SID中用于训练的参考图像Dref进行暗阴影矫正并去噪，处理后的图像可以视为无噪的干净图像Dc。对于更一般的情况而言，如果训练使用的去噪数据集是通过改变ISO采集的配对数据，那么通常参考图像Dref上的暗阴影是可以忽略不计的，否则都需要对参考图像Dref进行暗阴影矫正。如果数据集的采集方式不当导致参考图像Dref上存在显著的噪声，那么需要对参考图像Dref实施去噪以保证后续散粒信号增广的准确性。
步骤103(a)：对步骤102(a)矫正后的带噪图像
Figure BDA0003678306400000087
与其对应的干净图像Dc实施散粒信号增广，得到增广后的带噪图像
Figure BDA0003678306400000088
与其对应的增广后的干净图像
Figure BDA0003678306400000089
通过散粒信号增广处理增加配对真实数据的数据量，使得去噪方法能够更精确地拟合配对真实数据之间的映射关系，从而提高去噪后的图像纹理清晰度。
散粒信号增广为基于光子散粒噪声建模的数据增广方法。由于光的量子特性，收集到的光子数具有不确定性，因此所有像元实际接受到的光电子数(I+Np)都遵循泊松分布
Figure BDA00036783064000000810
Figure BDA00036783064000000811
遵循泊松分布的变量满足可加性。即对于随机变量X1，X2，若变量
Figure BDA00036783064000000812
与变量
Figure BDA00036783064000000813
Figure BDA00036783064000000814
是独立的，则
Figure BDA00036783064000000815
带噪图像
Figure BDA0003678306400000091
可以表示为以其对应的干净图像Dc为参数的噪声模型
Figure BDA0003678306400000092
的采样，即
Figure BDA0003678306400000093
如存在信号增量ΔD，散粒信号增强的目标是合成一个对应的带噪信号增量ΔN，满足
Figure BDA0003678306400000094
对于配对真实数据而言，干净图像Dc是已知的。根据泊松的可加性推导得
Figure BDA0003678306400000095
记
Figure BDA0003678306400000096
增广后的带噪图像
Figure BDA0003678306400000097
与其对应的增广后的干净图像
Figure BDA0003678306400000098
即是在不改变噪声模型真实性的前提下合成的新数据对。由于带噪信号增量ΔN只需要服从特定的泊松分布，所以即使信号增量ΔD不变，每次随机采样也都可以获得新的带噪信号增量ΔN，进而合成新的数据对。
信号增量ΔD的具体的参数采样策略可以自由设计，但仍需遵循一些基本原则：(1)信号增量ΔD应该是非负的，以确保可以应用泊松采样。(2)要保证散粒信号增广不会引入明显的色偏和大范围的过曝。
本发明实施例基于上述基本原则采用了一种简单的信号增量参数采样策略，先随机采样绿色通道增益，再基于绿色通道的增益选择红色通道和蓝色通道的增益，在干净图像Dc的基础上合成干净的信号增量ΔD。首先随机初始化服从高斯分布的因子∈r，∈g，∈b，其中μ和σ是高斯分布的参数。然后根据裁剪后的∈g随机采样绿色通道∈g的增益Gaing。接下来根据随机因素∈r，∈b和绿色通道的增益选择红色通道Gainr和蓝色通道Gainb的增益。最后用增益参数Gainr，Gaing，Gainb来分别增益不同的颜色通道，并且将输出裁剪到(0，μ)之间以满足信号增量设计的基本原则。该过程可以表示为公式组
Figure BDA0003678306400000099
其中μ和σ在集合{0.25，0.5}中随机选择，训练时存在25％的概率不对训练数据进行增广。
根据公式(7a)对带噪图像
Figure BDA00036783064000000910
与其对应的干净图像Dc实施散粒信号增广，通过散粒信号增广处理增加配对真实数据的数据量，使得去噪方法能够更精确地拟合配对真实数据之间的映射关系，从而提高去噪后的图像纹理清晰度。
步骤104(a)：使用增广后的带噪图像
Figure BDA00036783064000000911
与其对应的增广后的干净图像
Figure BDA00036783064000000912
训练去噪器。
本发明实施例中使用的去噪器为UNet神经网络，输入为带噪图像Dn，其对应的干净图像Dc被用于监督学***与饱和像素值归一化；低于黑电平的信号值不会被裁剪；每对图像训练时都被随机裁剪为8个不重叠的512×512的图像块，通过旋转和翻转进行数据增强；验证时不进行任何裁剪。训练需要使用SGDR优化器和L1正则化损失迭代1800轮，每次遍历全部训练数据记为一轮，基本学习率设置为2×10-4，最小学习率设置为10-5。优化器每600轮迭代重新启动一次，并且学习率在重新启动时减半。
步骤105(a)：使用步骤104(a)训练好的去噪器对步骤102(a)矫正后的带噪图像
Figure BDA0003678306400000101
去噪，有效去除图像中噪声成分，显著改善低光照条件下成像的质量。
由于去噪器学习的是噪声解耦后的数据映射，所以为了保证去噪器能够正常工作，去噪前需要先对输入的带噪数据应用暗阴影矫正，再使用训练好的去噪器进行去噪，使用训练好的去噪器推理干净图像时不需要在进行散粒信号增广，超参数设置与训练时保持一致，即可有效去除图像中噪声成分，显著改善低光照条件下成像的质量。
本实施例将通过校正效果来说明本发明的有效性。
1.实验条件
本实验的硬件测试条件为：Intel i512400，内存16G。GPU为GeForce GTX 1080Ti，显存11G，CUDA版本为11.0；所用的相机为SonyA7S2微单相机。为了保证对比实验的公平，所有采用不同配对训练数据的模型的网络结构均与本实例介绍的网络结构一致。
2.实验结果
为了定量的衡量重建结果的质量，使用峰值信噪比(Peak Signal to NoiseRatio，PSNR)和结构相似性(Structural Similarity，SSIM)衡量重建结果的空间质量和视觉效果。
表1展示了基于不同配对训练数据的去噪方法在训练后，在ELD数据集和SID数据集上的去噪指标结果。图4展示了本发明方法的去噪效果对比图。从图中可以看出，本发明的图像去噪方法可以有效去除图像中的噪声，同时恢复出更准确的色彩与更清晰的细节，极大地改善了图像质量，具有较高的应用价值。
表1不同去噪方法的对比实验去噪指标结果
Figure BDA0003678306400000102
综上所述，本实施例提出的基于噪声建模与配对真实数据的图像去噪方法，通过噪声模型解耦来改造配对真实数据从而解决了数据映射拟合困难问题，在保证数据映射等效的基础上，通过暗阴影矫正降低了数据映射的复杂度，同时通过散粒信号增广提高了配对数据的数据量，显著地提高了学习类去噪方法的去噪能力。本实例所提的基于噪声建模与配对真实数据的图像去噪方法在手机摄影、遥感、生物医学、天文观测等低光领域有着重要的应用价值。
实施例2：
本实施例公开的一种基于噪声建模与合成数据的图像去噪方法。图2展示了本发明实施例提供的图像去噪框架。在训练阶段，使用现有的学习类去噪方法，基于未考虑暗阴影的噪声模型合成训练数据并训练去噪器。在推理阶段，先对输入的带噪数据应用暗阴影矫正，再使用训练好的去噪器进行去噪。去噪器输出的图像即为所需的去噪图像。
如图2所示，本实施例公开的一种基于噪声建模与合成数据的图像去噪方法，包含以下步骤：
步骤101(b)：基于未考虑暗阴影的噪声模型
Figure BDA0003678306400000111
使用干净图像Dc合成数据，生成对应的带噪图像Dn。
带噪图像Dn可以表示为以干净图像Dc为参数的噪声模型
Figure BDA0003678306400000112
的采样，即
Figure BDA0003678306400000113
本实施例分别采用了泊松高斯噪声模型(P-G)，极端低光噪声模型(ELD)和基于真实噪声采样的噪声模型(SFRN)进行实验。其中SFRN被去除了暗阴影相关的部分以适配本发明方法，用于证明本发明所提出的基于噪声建模解耦方案更具有合理性。
步骤102(b)：使用带噪图像Dn与其对应的干净图像Dc，训练去噪器。
本发明实施例中使用的去噪器为UNet神经网络，输入为带噪图像Dn，其对应的干净图像Dc被用于监督学***与饱和像素值归一化；低于黑电平的信号值不会被裁剪；每对图像训练时都被随机裁剪为8个不重叠的512×512的图像块，通过旋转和翻转进行数据增强；验证时不进行任何裁剪。训练需要使用SGDR优化器和L1正则化损失迭代1800轮，每次遍历全部训练数据记为一轮，基本学习率设置为2×10-4，最小学习率设置为10-5。优化器每600轮迭代重新启动一次，并且学习率在重新启动时减半。
步骤103(b)：通过暗场标定得到各ISO处的暗阴影Dds(ISO)。
所述Dds(ISO)，DFPNk，DFPNb，DBLE(ISO)均为2848×4256矩阵，其中2848为图像高度，4256为图像宽度，ISO为相机拍摄时的感光度。具体的标定方式为：在暗室中，将相机镜头盖盖上，然后采集图像，采集到的图像即为暗帧。
由于黑电平误差和ISO间并不存在稳定的规律，所以需要在每个ISO处收集1张暗帧，并计算整个图像的平均值作为该ISO处的DBLE(ISO)中每个元素的值。
在快速暗阴影标定中，暗阴影样本
Figure BDA0003678306400000121
作为标定素材仅在
Figure BDA0003678306400000122
Figure BDA0003678306400000123
中选取，在1/30秒的曝光时间下采集100张暗帧，然后平均，即可得到对应ISO处的暗阴影样本
Figure BDA0003678306400000124
基于部分ISO暗阴影样本
Figure BDA0003678306400000125
建立如公式(1)所示ISO相关的线性模型，即以暗阴影样本
Figure BDA0003678306400000126
为样本点通过线性回归公式(1)计算下述线性模型的暗阴影参数DFPNk，DFPNb
Dds(ISO)＝DFPNk·ISO+DFPNb+DBLE(ISO) (2b)
线性回归得到的暗阴影参数DFPNk，DFPNb与标定得到的DBLE(ISO)将用于重构任意ISO下的Dds(ISO)(后简记为Dds)。
图3展示了本发明实施例标定得到的暗阴影参数。通过所述ISO相关的线性模型，在几乎不改变暗阴影图像准确性的情况下极大地减少暗帧的需求量，提高对暗阴影标定的效率和准确性。
步骤104(b)：通过噪声建模将噪声解耦为时域不变的暗阴影Dds与时域变化的噪声，对带噪图像Dn实施暗阴影矫正，得到暗阴影矫正后的带噪图像
Figure BDA00036783064000001212
暗阴影矫正后的带噪图像
Figure BDA00036783064000001213
更接近合成数据，通过减小合成数据与真实数据差距，暗阴影矫正提高了现有的去噪方法的泛化性能。
读噪声的噪声模型可以被解耦为时域不变的暗阴影Dds与时域变化的噪声。所述带噪图像Dn为2848×4256矩阵，其中2848为图像高度，4256为图像宽度。暗阴影矫正即在实施其他图像处理操作前剔除带噪图像Dn所对应的ISO的暗阴影Dds。暗阴影矫正后的带噪图像记为
Figure BDA0003678306400000127
Figure BDA0003678306400000128
暗阴影矫正后的带噪图像
Figure BDA0003678306400000129
上的所有像元的噪声模型都比矫正前更接近独立同分布，因此暗阴影矫正后的带噪图像
Figure BDA00036783064000001210
与其对应的干净图像Dc的关系更接近公式(1b)，减小了合成数据与真实数据的差距，提高了现有的去噪方法的泛化性能。
步骤105(b)：使用步骤102(b)训练好的去噪器对步骤104(b)矫正后的带噪图像
Figure BDA00036783064000001211
去噪，有效去除图像中噪声成分，显著改善低光照条件下成像的质量。
现有的合成数据与真实配对模型的存在差距，本发明通过弥补这一差距提升了基于噪声建模与合成数据的图像去噪方法的性能，使基于未考虑暗阴影的噪声建模方法合成数据训练的去噪方法能够更准确地泛化到真实场景，可以有效去除图像中噪声成分，显著改善低光照条件下成像的质量。
本实施例将通过校正效果来说明本发明的有效性。
1.实验条件
本实验的硬件测试条件为：Intel i5 12400，内存16G。GPU为GeForce GTX1080Ti，显存11G，CUDA版本为11.0；所用的相机为SonyA7S2微单相机。为了保证对比实验的公平，所有采用不同配对训练数据的模型的网络结构均与本实例介绍的网络结构一致。
2.实验结果
为了定量的衡量重建结果的质量，使用峰值信噪比(Peak Signal to NoiseRatio,PSNR)和结构相似性(Structural Similarity,SSIM)衡量重建结果的空间质量和视觉效果。
表2展示了基于不同的噪声模型的去噪方法在训练后，在ELD数据集和SID数据集上的去噪指标结果，在应用暗阴影矫正后，未考虑暗阴影的噪声建模方法(P-G、ELD)在真实去噪任务中的应用效果获得了显著的提升，而已考虑暗阴影的噪声建模(SFRN)在去除暗阴影相关的部分后，使用本发明方法通常也能获得更进一步的提升。图5展示了本发明方法对现有去噪方法的改进效果。从图中可以看出，本发明的图像去噪方法可以有效提高现有去噪方法的去噪性能，提高现有去噪方法的泛化能力，极大地改善了图像质量，具有较高的应用价值。
表2不同去噪方法应用暗阴影矫正(DSC)的对比实验去噪指标结果
Figure BDA0003678306400000131
综上所述，本实施例提出的基于噪声建模与合成数据的图像去噪方法，本发明弥补了现有的合成数据与真实配对模型的差距，提升了基于噪声建模与合成数据的图像去噪方法的性能，使基于未考虑暗阴影的噪声建模方法合成数据训练的去噪方法能够更准确地泛化到真实场景，显著地提高了学习类去噪方法的去噪能力。本实例所提的基于噪声建模与配对真实数据的图像去噪方法在手机摄影、遥感、生物医学、天文观测等低光领域有着重要的应用价值。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于噪声建模与真实配对数据的图像去噪方法，其特征在于：包含以下步骤，
步骤101(a)：通过暗场标定得到各ISO处的暗阴影Dds(ISO)；
步骤102(a)：通过噪声建模将噪声解耦为时域不变的暗阴影Dds与时域变化的噪声，对带噪图像Dn实施暗阴影矫正，得到暗阴影矫正后的带噪图像
Figure FDA0003678306390000011
通过暗阴影矫正降低真实噪声分布的复杂性，使得去噪方法能够更容易地拟合配对真实数据之间的映射关系，从而提高去噪后的图像颜色准确性；
步骤103(a)：对步骤102(a)矫正后的带噪图像
Figure FDA0003678306390000012
与其对应的干净图像Dc实施散粒信号增广，得到增广后的带噪图像
Figure FDA0003678306390000013
与其对应的增广后的干净图像
Figure FDA0003678306390000014
通过散粒信号增广处理增加配对真实数据的数据量，使得去噪方法能够更精确地拟合配对真实数据之间的映射关系，从而提高去噪后的图像纹理清晰度；
步骤104(a)：使用增广后的带噪图像
Figure FDA0003678306390000015
与其对应的增广后的干净图像
Figure FDA0003678306390000016
训练去噪器；
步骤105(a)：使用步骤104(a)训练好的去噪器对步骤102(a)矫正后的带噪图像
Figure FDA0003678306390000017
去噪，有效去除图像中噪声成分，显著改善低光照条件下成像的质量。
2.如权利要求1所述的一种基于噪声建模与真实配对数据的图像去噪方法，其特征在于：步骤101(a)中，所述Dds(ISO)为m×n矩阵，其中m为图像高度，n为图像宽度，ISO为相机拍摄时的感光度；在暗室中，将相机镜头盖盖上，然后采集图像，采集到的图像即为暗帧，通过暗场标定在预定曝光时间下采集大量暗帧，对所述大量暗帧取平均，得到对应ISO处的暗阴影Dds(ISO)。
3.如权利要求2所述的一种基于噪声建模与真实配对数据的图像去噪方法，其特征在于：为了进一步提高暗阴影的标定质量与并减少标定过程中的人工操作量，步骤101(a)中，通过快速暗阴影标定方法进行暗场标定得到暗阴影参数，所述暗阴影参数用于重构出任意ISO处暗阴影Dds(ISO)；所述暗阴影参数包括DFPNk，DFPNb和DBLE(ISO)；快速暗阴影标定方法具体实现方法为：通过暗场标定得到部分ISO暗阴影
Figure FDA0003678306390000018
并基于部分ISO暗阴影
Figure FDA0003678306390000019
建2ISO相关的线性模型，通过所述ISO相关的线性模型，提高对暗阴影标定的效率和准确性；
所述
Figure FDA00036783063900000110
DFPNk，DFPNb，DBLE(ISO)均为m×n矩阵，其中m为图像高度，n为图像宽度，ISO为相机拍摄时的感光度；
在快速暗阴影标定中，暗阴影
Figure FDA00036783063900000111
作为标定素材仅在部分ISO处采集，即通过暗场标定得到部分ISO处的暗阴影
Figure FDA00036783063900000112
不仅能够减少ISO采集位点数量，且能够大幅降低标定暗阴影时所需采集的暗帧数量；
由于黑电平误差和ISO间并不存在稳定的规律，所以需要在每个ISO处收集1张暗帧，并计算整个图像的平均值作为该ISO处的黑电平误差DBLE(ISO)中每个元素的值；
基于部分ISO暗阴影Dds(ISO)建立如公式(1)所示ISO相关的线性模型，即以暗阴影样本
Figure FDA0003678306390000021
为样本点通过线性回归公式(1)计算下述线性模型的暗阴影参数DFPNk，DFPNb
Dds(ISO)＝DFPNk·ISO+DFPNb+DBLE(ISO) (1)
线性回归得到的暗阴影参数DFPNk，DFPNb与标定得到的黑电平误差DBLE(ISO)将用于重构任意ISO下的Dds(ISO)(后简记为Dds)；
通过所述ISO相关的线性模型，在几乎不改变暗阴影图像准确性的情况下极大地减少暗帧的需求量，提高对暗阴影标定的效率和准确性。
4.如权利要求2或3所述的一种基于噪声建模与真实配对数据的图像去噪方法，其特征在于：步骤102(a)中，
传感器的成像模型被表示为
Dn＝K(I+Np)+Nread (2)
其中Dn代表传感器输出的带噪图像，K是传感器***增益，I表示单次成像过程中传感器所接收到的光电子，Np是信号相关的光子散粒噪声，Nread是信号无关的读出噪声；
读噪声Nread的噪声模型
Figure FDA0003678306390000022
是复杂且未知的，但是能够将其解耦为时域不变的暗阴影Dds与时域变化的噪声；所述带噪图像Dn为m×n矩阵；暗阴影矫正即在实施其他图像处理操作前剔除带噪图像Dn所对应的ISO的暗阴影Dds；暗阴影矫正后的带噪图像记为
Figure FDA0003678306390000023
Figure FDA0003678306390000024
暗阴影矫正后的带噪图像
Figure FDA0003678306390000025
上的所有像元的噪声模型
Figure FDA0003678306390000026
都比矫正前更接近独立同分布，因此数据映射的复杂度被大幅降低；
根据公式(2)对带噪图像Dn实施暗阴影矫正，降低真实噪声分布的复杂性，使得去噪方法能够更容易地拟合配对真实数据之间的映射关系，从而提高去噪后的图像颜色准确性。
5.如权利要求4所述的一种基于噪声建模与真实配对数据的图像去噪方法，其特征在于：步骤103(a)中，
散粒信号增广为基于光子散粒噪声建模的数据增广方法；由于光的量子特性，收集到的光子数具有不确定性，因此所有像元实际接受到的光电子数(I+Np)都遵循泊松分布
Figure FDA0003678306390000027
Figure FDA0003678306390000028
遵循泊松分布的变量满足可加性；即对于随机变量X1，X2，若变量
Figure FDA0003678306390000029
与变量
Figure FDA00036783063900000210
Figure FDA00036783063900000211
是独立的，则
Figure FDA00036783063900000212
带噪图像
Figure FDA00036783063900000213
可以表示为以其对应的干净图像Dc为参数的噪声模型
Figure FDA00036783063900000214
的采样，即
Figure FDA00036783063900000215
如存在信号增量ΔD，散粒信号增强的目标是合成一个对应的带噪信号增量ΔN，满足
Figure FDA00036783063900000216
对于配对真实数据而言，干净图像Dc是已知的；根据泊松的可加性推导得
Figure FDA0003678306390000031
记
Figure FDA0003678306390000032
增广后的带噪图像
Figure FDA0003678306390000033
与其对应的增广后的干净图像
Figure FDA0003678306390000034
即是在不改变噪声模型真实性的前提下合成的新数据对；由于带噪信号增量△N只需要服从特定的泊松分布，所以即使信号增量△D不变，每次随机采样也都能够获得新的带噪增量，进而合成新的数据对；
根据公式(7)对暗阴影矫正后的带噪图像
Figure FDA0003678306390000035
与其对应的干净图像Dc实施散粒信号增广，通过散粒信号增广处理增加配对真实数据的数据量，使得去噪方法能够更精确地拟合配对真实数据之间的映射关系，从而提高去噪后的图像纹理清晰度。
6.如权利要求5所述的一种基于噪声建模与真实配对数据的图像去噪方法，其特征在于：步骤104(a)中，“去噪器”为学习类去噪方法所使用的去噪器；为了提高去噪效率和去噪效果，所述去噪器优选基于神经网络实现的去噪器；
步骤105(a)中，
由于去噪器学习的是噪声解耦后的数据映射，所以为了保证去噪器能够正常工作，去噪前需要先对输入的带噪数据应用暗阴影矫正，再使用训练好的去噪器进行去噪，有效去除图像中噪声成分，显著改善低光照条件下成像的质量。
7.一种基于噪声建模与合成数据的图像去噪方法，其特征在于：包含以下步骤，
步骤101(b)：基于未考虑暗阴影的噪声模型
Figure FDA0003678306390000039
使用干净图像Dc合成数据，生成对应的带噪图像Dn；
步骤102(b)：使用带噪图像Dn与其对应的干净图像Dc，训练去噪器；
步骤103(b)：通过暗场标定得到各ISO处的暗阴影Dds(ISO)；
步骤104(b)：通过噪声建模将噪声解耦为时域不变的暗阴影Dds与时域变化的噪声，对带噪图像Dn实施暗阴影矫正，得到暗阴影矫正后的带噪图像
Figure FDA0003678306390000036
暗阴影矫正后的带噪图像
Figure FDA0003678306390000037
更接近合成数据，通过减小合成数据与真实数据差距，暗阴影矫正提高了现有的去噪方法的泛化性能；
步骤105(b)：使用步骤102(b)训练好的去噪器对步骤104(b)矫正后的带噪图像
Figure FDA0003678306390000038
去噪，有效去除图像中噪声成分，显著改善低光照条件下成像的质量。
8.如权利要求7所述的一种基于噪声建模与合成数据的图像去噪方法，其特征在于：步骤103(b)中，
所述Dds(ISO)为m×n矩阵，其中m为图像高度，n为图像宽度，ISO为相机拍摄时的感光度；在暗室中，将相机镜头盖盖上，然后采集图像，采集到的图像即为暗帧，通过暗场标定在预定曝光时间下采集大量暗帧，对所述大量暗帧取平均，得到对应ISO处的暗阴影Dds(ISO)。
9.如权利要求7所述的一种基于噪声建模与合成数据的图像去噪方法，其特征在于：
为了进一步提高暗阴影的标定质量与并减少标定过程中的人工操作量，步骤101(b)中，通过快速暗阴影标定方法进行暗场标定得到暗阴影参数，所述暗阴影参数用于重构出任意ISO处暗阴影Dds(ISO)；所述暗阴影参数包括DFPNk，DFPNb和DBLE(ISO)；快速暗阴影标定方法具体实现方法为：通过暗场标定得到部分ISO暗阴影
Figure FDA0003678306390000041
并基于部分ISO暗阴影
Figure FDA0003678306390000042
建立ISO相关的线性模型，通过所述ISO相关的线性模型，提高对暗阴影标定的效率和准确性；
所述
Figure FDA0003678306390000043
DFPNk，DFPNb，DBLE(ISO)均为m×n矩阵，其中m为图像高度，n为图像宽度，ISO为相机拍摄时的感光度；
在快速暗阴影标定中，暗阴影
Figure FDA0003678306390000044
作为标定素材仅在部分ISO处采集，即通过暗场标定得到部分ISO处的暗阴影
Figure FDA0003678306390000045
不仅能够减少ISO采集位点数量，且能够大幅降低标定暗阴影时所需采集的暗帧数量；
由于黑电平误差和ISO间并不存在稳定的规律，所以需要在每个ISO处收集1张暗帧，并计算整个图像的平均值作为该ISO处的黑电平误差DBLE(ISO)中每个元素的值；
基于部分ISO暗阴影Dds(ISO)建立如公式(1)所示ISO相关的线性模型，即以暗阴影样本
Figure FDA0003678306390000046
为样本点通过线性回归公式(1)计算下述线性模型的暗阴影参数DFPNk，DFPNb
Dds(ISO)＝DFPNk·ISO+DFPNb+DBLE(ISO) (2b)
线性回归得到的暗阴影参数DFPNk，DFPNb与标定得到的黑电平误差DBLE(ISO)将用于重构任意ISO下的Dds(ISO)(后简记为Dds)；
通过所述ISO相关的线性模型，在几乎不改变暗阴影图像准确性的情况下极大地减少暗帧的需求量，提高对暗阴影标定的效率和准确性。
10.如权利要求8或9所述的一种基于噪声建模与合成数据的图像去噪方法，其特征在于：步骤101(b)中，
带噪图像Dn表示为以干净图像Dc为参数的噪声模型
Figure FDA0003678306390000047
的采样，即
Figure FDA0003678306390000048
步骤102(b)中，
“去噪器”为学习类去噪方法所使用的去噪器；为了提高去噪效率和去噪效果，所述去噪器优选基于神经网络实现的去噪器；
步骤104(b)中，
读噪声的噪声模型被解耦为时域不变的暗阴影Dds与时域变化的噪声；所述带噪图像Dn为m×n矩阵；暗阴影矫正即在实施其他图像处理操作前剔除带噪图像Dn所对应的ISO的暗阴影Dds；暗阴影矫正后的带噪图像记为
Figure FDA0003678306390000051
Figure FDA0003678306390000052
暗阴影矫正后的带噪图像
Figure FDA0003678306390000053
上的所有像元的噪声模型都比矫正前更接近独立同分布，因此暗阴影矫正后的带噪图像
Figure FDA0003678306390000054
与其对应的干净图像Dc的关系更接近公式(1b)，减小了合成数据与真实数据的差距，提高现有的去噪方法的泛化性能。
CN202210627661.1A 2022-06-06 2022-06-06 一种基于噪声建模的图像去噪方法 Active CN115082335B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210627661.1A CN115082335B (zh) 2022-06-06 2022-06-06 一种基于噪声建模的图像去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210627661.1A CN115082335B (zh) 2022-06-06 2022-06-06 一种基于噪声建模的图像去噪方法

Publications (2)

Publication Number Publication Date
CN115082335A true CN115082335A (zh) 2022-09-20
CN115082335B CN115082335B (zh) 2024-07-19

Family

ID=83248449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210627661.1A Active CN115082335B (zh) 2022-06-06 2022-06-06 一种基于噪声建模的图像去噪方法

Country Status (1)

Country Link
CN (1) CN115082335B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080239094A1 (en) * 2007-03-29 2008-10-02 Sony Corporation And Sony Electronics Inc. Method of and apparatus for image denoising
CN109859147A (zh) * 2019-03-01 2019-06-07 武汉大学 一种基于生成对抗网络噪声建模的真实图像去噪方法
CN111260579A (zh) * 2020-01-17 2020-06-09 北京理工大学 一种基于物理噪声生成模型的微光图像去噪增强方法
CN113763271A (zh) * 2021-09-03 2021-12-07 北京理工大学 一种基于物理噪声模型的高质量光谱去噪方法
EP3923235A1 (en) * 2020-06-12 2021-12-15 Beijing Xiaomi Pinecone Electronics Co., Ltd. Image denoising model training method, imaging denoising method, devices and storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080239094A1 (en) * 2007-03-29 2008-10-02 Sony Corporation And Sony Electronics Inc. Method of and apparatus for image denoising
CN109859147A (zh) * 2019-03-01 2019-06-07 武汉大学 一种基于生成对抗网络噪声建模的真实图像去噪方法
CN111260579A (zh) * 2020-01-17 2020-06-09 北京理工大学 一种基于物理噪声生成模型的微光图像去噪增强方法
EP3923235A1 (en) * 2020-06-12 2021-12-15 Beijing Xiaomi Pinecone Electronics Co., Ltd. Image denoising model training method, imaging denoising method, devices and storage medium
CN113763271A (zh) * 2021-09-03 2021-12-07 北京理工大学 一种基于物理噪声模型的高质量光谱去噪方法

Also Published As

Publication number Publication date
CN115082335B (zh) 2024-07-19

Similar Documents

Publication Publication Date Title
Brooks et al. Unprocessing images for learned raw denoising
Mildenhall et al. Burst denoising with kernel prediction networks
CN111968044B (zh) 基于Retinex和深度学习的低照度图像增强方法
CN108280811B (zh) 一种基于神经网络的图像去噪方法和***
Wang et al. Enhancing low light videos by exploring high sensitivity camera noise
CN111260579B (zh) 一种基于物理噪声生成模型的微光图像去噪增强方法
Liang et al. Cameranet: A two-stage framework for effective camera isp learning
Almeida et al. Blind and semi-blind deblurring of natural images
US20220301114A1 (en) Noise Reconstruction For Image Denoising
CN107507135B (zh) 基于编码光圈和靶标的图像重构方法
CN113763271B (zh) 一种基于物理噪声模型的高质量光谱去噪方法
EP4187484A1 (en) Cbd-net-based medical endoscopic image denoising method
CN114022732B (zh) 一种基于raw图像的极暗光物体检测方法
Karadeniz et al. Burst photography for learning to enhance extremely dark images
CN112435306A (zh) G显带染色体hdr图像重建方法
US11074674B2 (en) Imaging noise reduction system and method
CN107220945B (zh) 多重退化的极模糊图像的复原方法
Feng et al. Turbugan: An adversarial learning approach to spatially-varying multiframe blind deconvolution with applications to imaging through turbulence
CN114155161B (zh) 图像去噪方法、装置、电子设备与存储介质
US20240020796A1 (en) Noise reconstruction for image denoising
CN115082335A (zh) 一种基于噪声建模的图像去噪方法
CN115578553B (zh) 一种基于时序图像序列的甲醛的快速检测方法
CN115760630A (zh) 一种低照度图像增强方法
Marras et al. Reconstructing the noise manifold for image denoising
CN114638764B (zh) 基于人工智能的多曝光图像融合方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant