CN113763271B - 一种基于物理噪声模型的高质量光谱去噪方法 - Google Patents
一种基于物理噪声模型的高质量光谱去噪方法 Download PDFInfo
- Publication number
- CN113763271B CN113763271B CN202111029792.1A CN202111029792A CN113763271B CN 113763271 B CN113763271 B CN 113763271B CN 202111029792 A CN202111029792 A CN 202111029792A CN 113763271 B CN113763271 B CN 113763271B
- Authority
- CN
- China
- Prior art keywords
- noise
- hyperspectral
- hyperspectral image
- image
- denoising
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000001228 spectrum Methods 0.000 title claims abstract description 22
- 238000003384 imaging method Methods 0.000 claims abstract description 19
- 238000004088 simulation Methods 0.000 claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 238000009826 distribution Methods 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 20
- 230000001419 dependent effect Effects 0.000 claims description 17
- 238000013139 quantization Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 238000013461 design Methods 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 8
- 238000000701 chemical imaging Methods 0.000 claims description 7
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000004907 flux Effects 0.000 claims description 3
- 239000003574 free electron Substances 0.000 claims description 3
- 229910052710 silicon Inorganic materials 0.000 claims description 3
- 239000010703 silicon Substances 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000012271 agricultural production Methods 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开的一种基于物理噪声模型的高质量光谱去噪方法，属于计算摄像学领域。本发明实现方法为：分析高光谱相机的物理成像过程，根据噪声源分析建立高光谱相机的物理噪声模型，使用统计建模的方式标定物理噪声模型参数，构建高质量仿真噪声数据集，训练高光谱去噪神经网络，能够在显著节省构建高光谱去噪数据集所用的采集图像资源，实现高效率和高精度高光谱图像去噪。本发明能够高质量地完成基于扫描的高光谱相机的高光谱图像去噪，在显著节省构建高光谱去噪数据集所用的采集图像资源，实现高效率和高精度高光谱图像去噪，提高成像质量，扩展高光谱图像的应用范围。本发明能够用于地质勘探、农业生产和生物医学等多个领域。
Description
技术领域
本发明涉及一种用于光谱成像的高光谱图像去噪数据生成方法，尤其涉及能够获取高质量高光谱图像的方法，属于计算摄像学领域。
背景技术
高光谱成像技术是一种将空间成像技术与光谱成像技术相结合的技术，能够密集的采集场景中每一个点的光谱信号。该技术采集得到的数据立方体即为高光谱图像，包含目标场景的二维空间信息和一维光谱信息，丰富的光谱细节能够反映场景的光照和材料信息。该技术已经被应用于地质勘探、农业生产和生物医学等多个领域。高光谱成像是利用海量波段获取场景中每个空间位置的光谱信息，商用高光谱相机通常采用扫描设计。这使得每个波段的光子计数比RGB图像少得多，而且各种噪声很容易引入到采集过程中。这种退化不仅对高光谱图像的视觉质量产生负面影响，而且对所有下游高光谱图像应用的性能也产生负面影响。因此，高光谱图像去噪是高光谱图像分析过程中必不可少的一步。
为了去除高光谱成像噪声，常用的基于模型的高光谱图像去噪方法通常迭代地解决具有各种手工先验的优化问题，如平滑性先验、自相似性先验。然而，迭代优化过程是耗时的，而且手工设计的先验不能充分反映现实世界中数据的多样性。近几年，基于学习的方法代替了耗时的优化算法和手工设计的先验，使用卷积神经网络自动学习从带噪高光谱图像到干净高光谱图像的映射。然而，现有的基于学习的方法一般依赖于简单的高斯噪声模型或复杂噪声模型合成的训练数据集。尽管这些方法在合成数据上取得了很好的结果，但由于缺乏真实的高光谱图像数据，这些方法仍然不能很好地在真实数据上使用和评价。
有两种方法可以解决这个问题。一是采集成对的真实数据进行高光谱图像去噪网络的学习和评价，就像RGB图像去噪那样。但是采集大量高质量的真实数据来学习高光谱去噪网络显然是昂贵的，需要大量的人力物力。另一个是生成真实的仿真数据。这既方便又便宜，但关键在于真实高光谱图像的噪声建模有多精确。异方差高斯噪声模型比常用的同方差高斯噪声模型更接近高光谱图像噪声。然而，它不能描绘出传感器噪声在高光谱图像中的全貌。实际上，由于高光谱相机的物理特性，例如在空间或光谱域扫描场景，所采集的高光谱图像包含比异方差高斯噪声更复杂的噪声。
发明内容
针对现有基于模型的算法运行速度慢、基于学习的算法依赖真实成对数据集等问题。本发明公开的一种基于物理噪声模型的高质量光谱去噪方法要解决的技术问题是：分析高光谱相机的物理成像过程，根据噪声源分析建立高光谱相机的物理噪声模型，使用统计建模的方式标定物理噪声模型参数，构建高质量仿真噪声数据集，训练高光谱去噪神经网络，能够在显著节省构建高光谱去噪数据集所用的采集图像资源，实现高效率和高精度高光谱图像去噪，提高成像质量。所述物理噪声模型将物理噪声分为信号相关噪声和信号无关噪声，所述信号无关噪声分为像素噪声和条带噪声。
为达到以上目的，本发明采用以下技术方案。
本发明公开的一种基于物理噪声模型的高质量光谱去噪方法，用于基于扫描的光谱成像***，根据物理成像过程建立噪声模型，基于统计方法标定噪声模型参数，构建高质量的高光谱去噪仿真数据集，训练精确的高光谱去噪网络。本发明能够高质量地完成基于扫描的高光谱相机的高光谱图像去噪，在显著节省构建高光谱去噪数据集所用的采集图像资源，实现高效率和高精度高光谱图像去噪，提高成像质量，扩展高光谱图像的应用范围。本发明能够用于地质勘探、农业生产和生物医学等多个领域。
本发明公开的一种基于物理噪声模型的高质量光谱去噪方法，包括以下步骤：
步骤101：根据扫描式高光谱相机的物理成像过程，将物理噪声分为信号相关噪声和信号无关噪声，并将所述信号无关噪声分为像素噪声和条带噪声，根据上述物理噪声分析构建高光谱相机的物理噪声模型。
步骤101中所述扫描式高光谱相机为基于CCD(Charge-Coupled Device)传感器的高光谱相机。干净的高光谱图像大小为M×N×Λ，高光谱图像上任意一点的像素值为X(m，n，λ)，1≤m≤M，1≤n≤N，1≤λ≤Λ。描述传感器的原始数字输出，即带噪高光谱图像，与曝光过程中集成的光电子之间关系的线性模型表示为
Y(m，n，λ)＝X(m，n，λ)+N(m，n，λ)＝kＬ(m，n，λ)+N(m，n，λ) (1)
公式中Y表示带噪高光谱图像，N表示由光和相机引起的所有物理噪声的总和，L表示与场景辐照成正比的光电子的数量，k表示***增益。由于高光谱相机中的CCD传感器相同，因此，采集的高光谱图像中所有元素的***增益是相同的。
为了***地分析高光谱图像中的噪声，根据扫描式高光谱相机的物理成像过程，将物理噪声分为与入射光相关的信号相关噪声和与入射光无关的信号无关的噪声。
定义信号相关噪声。在曝光时间内，入射光中的光子击中传感器的传感区域。利用光电转换，传感器将光子转换为电子。由于光的量子性质，传感器收集到的电子数量存在不可避免的不确定性，电子数量L用泊松分布表示
[L(m，n，λ)+Nsd(m，n，λ)]～p(L(m，n，λ)) (2)
公式(2)中Nsd表示信号相关噪声，p表示泊松分布。
定义信号无关噪声。对于高光谱成像中的CCD传感器，在曝光时间内，硅中的热能会产生自由电子，称为暗电流噪声，所述电子能够储存在采集地点，随后与光电子难以区分。读出噪声是在电子到电压阶段由放大器、复位和其他电子噪声源引起的。在电压到数字阶段，由于数字存储介质的动态范围，连续的模拟电压信号被量化为离散数字，从而产生量化噪声。像素噪声表示为如公式(3)所示的暗电流噪声、读出噪声和量化噪声
Np(m，n，λ)＝Nd(m，n，λ)+Nr(m，n，λ)+Nq(m，n，λ) (3)
公式(3)中Nd表示暗电流噪声，Nr表示读出噪声，Nq表示量化噪声。由于所述噪声是由相机电路引起的，与入射光无关，所以暗电流噪声、读出噪声和量化噪声是信号无关的噪声。所述信号无关的噪声服从高斯分布
Np(m，n，λ)～g(0，σp(λ)) (4)
公式(4)中.g表示高斯分布，σp(λ)表示第λ通道的参数。
除了所述信号无关的噪声外，由于空间扫描设计，高光谱相机还经常受到条带噪声的影响。当分析用于采集的高光谱图像数据集的高光谱相机时，高光谱相机采集的高光谱图像包含水平条带噪声和垂直条带噪声。原因是在水平扫描时，每一行都被同一CCD单元捕获，造成水平条带噪声。同时，每一列在不同的时间被捕获，导致垂直条带噪声。因此，条带噪声Nsp表示为
公式(5)中和/>分别表示水平和垂直条带噪声。条带噪声是扫描相机设计引起的，与入射光无关，是一种信号无关的噪声。根据每行或每列均为零均值高斯分布，分别将水平条带噪声/>和垂直条带噪声/>表示为
公式(6)中σh(λ)和σv(λ)分别表示水平条带噪声和垂直条带噪声第λ通道的参数。因此，完全信号无关的噪声描述为
Nsi＝Np+Nsp (7)
扫描式高光谱相机的噪声模型表示为
N＝kNsd+Nsi＝kNsd+Np+Nsp (8)
公式(8)中k、Nsd、Nsi分别表示***增益、信号相关噪声和信号无关噪声。
根据公式(8)得到高光谱相机的物理噪声模型。
步骤102：分别针对信号相关噪声和信号无关噪声采集平场帧和偏置帧，使用统计建模的方式标定步骤101中噪声模型的参数。
步骤102所述噪声模型参数分别为公式(2)(4)(6)中的针对信号相关噪声Nsd的***增益k、针对像素噪声的参数σp和针对条带噪声的参数σh和σv。为了估计***增益k，在均匀光下采集一个色板。色板中的每个色块被裁剪成不同强度的图像序列。因此，只需要采集一张图像，而不需要采集不同光通量的多个图像。根据光子传输方法，利用在明亮环境下采集的色块序列确定***增益k。利用估计的***增益k，在高光谱图像中加入信号相关的噪声。
为了估计针对像素噪声的参数σp和针对条带噪声的参数σh和σv，需要在无光条件下，即在暗室中并盖上相机镜头，用最短曝光时间采集偏置帧。偏置帧是由上述多个噪声源混合而成的与光线无关的噪声图像。像素噪声Np服从零均值高斯分布，首先提取偏置帧中第λ通道的每一列或每一行的均值估计垂直或水平条带噪声的潜在强度。然后使用近似高斯分布估计垂直和水平条带噪声的参数σh(λ)和σv(λ)。从偏置帧中减去估计的条带噪声，并使用最大化高斯分布的最大似然估计像素噪声的参数σp(λ)。
为了提高校准噪声模型的鲁棒性，估计一组偏置帧序列的噪声参数，并将其拟合为对数域的高斯分布。当使用校准的噪声模型时，根据公式(9)对噪声参数进行采样
公式(9)中a(λ)和b(λ)分别表示第λ通道的高斯分布的估计均值和标准差。
至此，完成噪声模型中信号相关噪声和信号无关噪声的参数标定。
步骤103：输入干净高光谱图像数据集，使用步骤101建立的噪声模型和步骤102标定的噪声模型参数，仿真生成带噪和干净的高光谱图像对，构建真实合成数据集。所述构建真实合成数据集过程无需采集带噪的高光谱图像，显著节省构建高光谱去噪数据集所用的采集图像资源。
步骤103所述的仿真生成单张带噪高光谱图像方法为：首先将干净的高光谱图像除以一个因子来匹配短曝光噪声图像的强度，遵循采集的真实高光谱图像数据集的设置。然后，将该图像X转换为光电子的数目L，对L使用泊松分布，再使用***增益k将其转换到图像信号X，完成图像加上信号相关噪声Nsd。除此之外，根据公式(9)采样针对像素噪声的参数σp和针对条带噪声的参数σh和σv，再生成像素噪声Np和条带噪声Nsd并将其添加到图像X。最后，将带噪高光谱图像乘以相同的因子，以匹配干净高光谱图像的强度。
按照所述的仿真生成单张带噪高光谱图像方法，生成具有丰富的带噪和干净的高光谱图像对的真实合成数据集，将真实合成数据集用于训练高光谱图像去噪网络，无需采集带噪的高光谱图像，显著节省构建高光谱去噪数据集所用的采集图像资源。
步骤104：输入学习率、优化方法、迭代次数和步骤103生成的真实合成数据集，建立高光谱图像去噪网络的训练目标函数，对网络参数θ进行训练，得到带噪高光谱图像和干净高光谱图像之间的映射关系f。
步骤104所述高光谱图像去噪网络的训练目标函数为
公式(10)中θ表示网络参数，T表示训练数据集样本数量，f表示网络映射关系，Yi和Xi分别表示第i个带噪和干净高光谱图像。
通过优化训练的目标函数公式(10)得到优化后的网络参数θ，至此完成高光谱去噪网络的训练，得到优化后的带噪高光谱图像与干净高光谱图像间的映射关系。
步骤105：输入需要测试的带噪高光谱图像，并输入步骤104得到的带噪高光谱图像与干净高光谱图像间的映射关系f，通过带噪高光谱图像与干净高光谱图像间的映射关系f将带噪高光谱图像映射成干净高光谱图像，实现高效率和高精度高光谱图像去噪，提高成像质量。
步骤105所述的去噪后的高光谱图像为其中Y和/>分别为带噪高光谱图像和去噪后高光谱图像。
作为优选，使用GPU完成步骤104网络的训练过程和步骤105高光谱图像的去噪过程，并利用cuDNN库加快卷积神经网络的运行速度。
有益效果：
1、本发明公开的基于物理噪声模型的高质量光谱去噪方法，针对扫描式高光谱相机，分析高光谱相机的物理成像过程，根据噪声源分析将物理噪声分为信号相关噪声和信号无关噪声，所述信号无关噪声分为像素噪声和条带噪声，并基于上述噪声分析建立高光谱相机的物理噪声模型，通过统计方法标定所述的物理噪声模型参数，能够提升高光谱噪声建模的精度，进提高真实合成高光谱去噪数据集的精度。
2、本发明公开的基于物理噪声模型的高质量光谱去噪方法，输入干净高光谱图像数据集，使用建立的物理噪声模型和标定的噪声模型参数，仿真生成带噪和干净的高光谱图像对，构建真实合成数据集。所述构建真实合成数据集过程无需采集带噪的高光谱图像，显著节省构建高光谱去噪数据集所用的采集图像资源。
3、本发明公开的基于物理噪声模型的高质量光谱去噪方法，利用卷积神经网络学习带噪和干净高光谱图像之间的映射关系，结合有益效果2能够提升卷积神经网络的泛化性，且能够提升高光谱去噪的质量，保证去噪高光谱图像的保真度。
4、本发明公开的基于物理噪声模型的高质量光谱去噪方法，去噪质量高，适用于地质勘探、农业生产和生物医学等多个领域。
附图说明
图1是本发明公开的基于物理噪声模型的高质量光谱去噪方法的总流程图；
图2是本发明中噪声来源分析图。
具体实施方式
为了更好地说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
实施例1：
如图1所示，本实施例公开的一种基于物理噪声模型的高质量光谱去噪方法，具体实现步骤如下：
步骤101：根据扫描式高光谱相机的物理成像过程，将物理噪声分为信号相关噪声和信号无关噪声，并将所述信号无关噪声分为像素噪声和条带噪声，根据上述物理噪声分析构建高光谱相机的物理噪声模型。
步骤101中所述扫描式高光谱相机为基于CCD(Charge-Coupled Device)传感器的高光谱相机。干净的高光谱图像大小为M×N×Λ，高光谱图像上任意一点的像素值为X(m，n，λ)，1≤m≤M，1≤n≤N，1≤λ≤Λ。描述传感器的原始数字输出，即带噪高光谱图像，与曝光过程中集成的光电子之间关系的线性模型表示为
Y(m，n，λ)＝X(m，n，λ)+N(m，n，λ)＝kL(m，n，λ)+N(m，n，λ) (1)
公式中Y表示带噪高光谱图像，N表示由光和相机引起的所有物理噪声的总和，L表示与场景辐照成正比的光电子的数量，k表示***增益。由于高光谱相机中的CCD传感器相同，因此，采集的高光谱图像中所有元素的***增益是相同的。
为了***地分析高光谱图像中的噪声，根据扫描式高光谱相机的物理成像过程，将物理噪声分为与入射光相关的信号相关噪声和与入射光无关的信号无关的噪声。
定义信号相关噪声。在曝光时间内，入射光中的光子击中传感器的传感区域。利用光电转换，传感器将光子转换为电子。然而，由于光的量子性质，传感器收集到的电子数量存在不可避免的不确定性，电子数量L用泊松分布表示
[L(m，n，λ)+Nsd(m，n，λ)]～p(L(m，n，λ)) (2)
公式(2)中Nsd表示信号相关噪声，p表示泊松分布。
定义信号无关噪声。对于高光谱成像中的CCD传感器，在曝光时间内，硅中的热能会产生自由电子，称为暗电流噪声，所述电子能够储存在采集地点，随后与光电子难以区分。读出噪声是在电子到电压阶段由放大器、复位和其他电子噪声源引起的。在电压到数字阶段，由于数字存储介质的动态范围，连续的模拟电压信号被量化为离散数字，从而产生量化噪声。像素噪声表示为如公式(3)所示的暗电流噪声、读出噪声和量化噪声
Np(m，n，λ)＝Nd(m，n，λ)+Nr(m，n，λ)+Nq(m，n，λ) (3)
公式(3)中Nd表示暗电流噪声，Nr表示读出噪声，Nq表示量化噪声。由于所述噪声是由相机电路引起的，与入射光无关，所以暗电流噪声、读出噪声和量化噪声是信号无关的噪声。所述信号无关的噪声服从高斯分布
Np(m，n，λ)～g(0，σp(λ)) (4)
公式(4)中g表示高斯分布，σp(λ)表示第λ通道的参数。
除了所述信号无关的噪声外，由于空间扫描设计，高光谱相机还经常受到条带噪声的影响。当分析用于采集的高光谱图像数据集的高光谱相机时，高光谱相机采集的高光谱图像包含水平条带噪声和垂直条带噪声。原因是在水平扫描时，每一行都被同一CCD单元捕获，造成水平条带噪声。同时，每一列在不同的时间被捕获，导致垂直条带噪声。因此，条带噪声Nsp表示为
公式(5)中和/>分别表示水平和垂直条带噪声。条带噪声是扫描相机设计引起的，与入射光无关，是一种信号无关的噪声。根据每行或每列均为零均值高斯分布，分别将水平条带噪声/>和垂直条带噪声/>表示为
公式(6)中σh(λ)和σv(λ)分别表示水平条带噪声和垂直条带噪声第λ通道的参数。因此，完全信号无关的噪声描述为
Nsi＝Np+Nsp (7)
扫描式高光谱相机的噪声模型表示为
N＝kNsd+Nsi＝kNsd+Np+Nsp (8)
公式(8)中k、Nsd、Nsi分别表示***增益、信号相关噪声和信号无关噪声。
根据公式(8)得到高光谱相机的物理噪声模型。
步骤102：分别针对信号相关噪声和信号无关噪声采集平场帧和偏置帧，使用统计建模的方式标定步骤101中噪声模型的参数。
步骤102所述噪声模型参数分别为公式(2)(4)(6)中的针对信号相关噪声Nsd的***增益k、针对像素噪声的参数σp和针对条带噪声的参数σh和σv。为了估计***增益k，在均匀光下采集一个色板。色板中的每个色块被裁剪成不同强度的图像序列。因此，只需要采集一张图像，而不需要采集不同光通量的多个图像。根据光子传输方法，利用在明亮环境下采集的色块序列确定***增益k。利用估计的***增益k，在高光谱图像中加入信号相关的噪声。
为了估计针对像素噪声的参数σp和针对条带噪声的参数σh和σv，需要在无光条件下，即在暗室中并盖上相机镜头，用最短曝光时间采集偏置帧。偏置帧是由上述多个噪声源混合而成的与光线无关的噪声图像。像素噪声Np服从零均值高斯分布，首先提取偏置帧中第λ通道的每一列或每一行的均值估计垂直或水平条带噪声的潜在强度。然后使用近似高斯分布估计垂直和水平条带噪声的参数σh(λ)和σv(λ)。从偏置帧中减去估计的条带噪声，并使用最大化高斯分布的最大似然估计像素噪声的参数σp(λ)。
为了提高校准噪声模型的鲁棒性，估计一组偏置帧序列的噪声参数，并将其拟合为对数域的高斯分布。当使用校准的噪声模型时，根据公式(9)对噪声参数进行采样
公式(9)中a(λ)和b(λ)分别表示第λ通道的高斯分布的估计均值和标准差。
至此，完成噪声模型中信号相关噪声和信号无关噪声的参数标定。
步骤103：输入干净高光谱图像数据集，使用步骤101建立的噪声模型和步骤102标定的噪声模型参数，仿真生成带噪和干净的高光谱图像对，构建真实合成数据集。所述构建真实合成数据集过程无需采集带噪的高光谱图像，显著节省构建高光谱去噪数据集所用的采集图像资源。
步骤103所述的仿真生成单张带噪高光谱图像方法为：首先将干净的高光谱图像除以一个因子来匹配短曝光噪声图像的强度，遵循采集的真实高光谱图像数据集的设置。然后，将该图像X转换为光电子的数目L，对L使用泊松分布，再使用***增益k将其转换到图像信号X，完成图像加上信号相关噪声Nsd。除此之外，根据公式(9)采样针对像素噪声的参数σp和针对条带噪声的参数σh和σv，再生成像素噪声Np和条带噪声Nsd并将其添加到图像X。最后，将带噪高光谱图像乘以相同的因子，以匹配干净高光谱图像的强度。
按照所述的仿真生成单张带噪高光谱图像方法，生成具有丰富的带噪和干净的高光谱图像对的真实合成数据集，将真实合成数据集用于训练高光谱图像去噪网络，无需采集带噪的高光谱图像，显著节省构建高光谱去噪数据集所用的采集图像资源。
步骤104：输入学习率1e-4、优化方法Adam、迭代次数100和步骤103生成的真实合成数据集，建立高光谱图像去噪网络的训练目标函数，对网络参数θ进行训练，得到带噪高光谱图像和干净高光谱图像之间的映射关系f。
步骤104所述高光谱图像去噪网络的训练目标函数为
公式(10)中θ表示网络参数，T表示训练数据集样本数量，f表示网络映射关系，Yi和Xi分别表示第i个带噪和干净高光谱图像。
通过优化训练的目标函数公式(10)得到优化后的网络参数θ，至此完成高光谱去噪网络的训练，得到优化后的带噪高光谱图像与干净高光谱图像间的映射关系。
步骤105：输入需要测试的带噪高光谱图像，并输入步骤104得到的带噪高光谱图像与干净高光谱图像间的映射关系f，通过带噪高光谱图像与干净高光谱图像间的映射关系f将带噪高光谱图像映射成干净高光谱图像，实现高效率和高精度高光谱图像去噪，提高成像质量。
步骤105所述的去噪后的高光谱图像为其中Y和/>分别为带噪高光谱图像和去噪后高光谱图像。
为说明本发明的效果，本实施例将在实验条件相同的情况下对多种方法进行对比。
1.实验条件
本实验的硬件测试条件为：Inter i7 6800K，内存64G。GPU为Titan X，显存12G，CUDA 8.0。测试所用高光谱图片为真实成对高光谱数据集。
2.实验结果
首先，对比不同的高光谱去噪方法，验证本发明公开的去噪方法的有效性。
表1对比不同去噪方法
| PSNR | SSIM | SAM | ERGAS | |
| BM4D | 25.318 | 0.8156 | 6.3024 | 35.078 |
| ITSReg | 25.459 | 0.8400 | 5.1425 | 34.618 |
| LRTDTV | 25.564 | 0.7859 | 6.4881 | 34.429 |
| QRNN3D | 23.832 | 0.7917 | 10.0188 | 43.271 |
| 本发明 | 30.451 | 0.9004 | 4.1364 | 21.324 |
从表1的结果可以看出，本发明公开的方法能够达到非常好的去噪效果，PSNR、SSIM、SAM和ERGAS指标均高于对比方法。PSNR和SSIM主要测量去噪后高光谱图像的空间质量，而SAM和ERGAS主要测量去噪后高光谱图像的光谱质量。因此，本发明公开的方法恢复的高光谱图像空间误差和光谱误差均更加小，在空间质量和光谱保真度上均优于其他方法。
其次，对比不同的噪声模型，验证本发明公开的噪声模型的有效性。
表2对比不同噪声模型
从表2的结果能够看出，本发明公开的噪声模型能够非常精确地建模噪声，其合成的数据集训练的方法明显优于其他噪声模型，并且能够达到跟真实噪声相当的结果。因此，本发明公开的噪声模型合成的数据集比对比方法更加精确，所训练神经网络方法恢复的高光谱图像空间误差和光谱误差均更加小，在空间质量和光谱保真度上均优于其他方法。此外，本发明所需采集的图像数仅为真实噪声数据集的一半，显著节省构建高光谱去噪数据集所用的采集图像资源。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于物理噪声模型的高质量光谱去噪方法，其特征在于：包括以下步骤，
步骤101：根据扫描式高光谱相机的物理成像过程，将物理噪声分为信号相关噪声和信号无关噪声，并将所述信号无关噪声分为像素噪声和条带噪声，根据上述物理噪声分析构建高光谱相机的物理噪声模型；
所述扫描式高光谱相机为基于CCD(Charge-Coupled Device)传感器的高光谱相机；干净的高光谱图像大小为M×N×Λ，高光谱图像上任意一点的像素值为X(m,n,λ)，1≤m≤M，1≤n≤N，1≤λ≤Λ；描述传感器的原始数字输出，即带噪高光谱图像，与曝光过程中集成的光电子之间关系的线性模型表示为
Y(m,n,λ)＝X(m,n,λ)+N(m,n,λ)＝kL(m,n,λ)+N(m,n,λ) (1)
公式中Y表示带噪高光谱图像，N表示由光和相机引起的所有物理噪声的总和，L表示与场景辐照成正比的光电子的数量，k表示***增益；由于高光谱相机中的CCD传感器相同，因此，采集的高光谱图像中所有元素的***增益是相同的；
为了***地分析高光谱图像中的噪声，根据扫描式高光谱相机的物理成像过程，将物理噪声分为与入射光相关的信号相关噪声和与入射光无关的信号无关的噪声；
定义信号相关噪声；在曝光时间内，入射光中的光子击中传感器的传感区域；利用光电转换，传感器将光子转换为电子；由于光的量子性质，传感器收集到的电子数量存在不可避免的不确定性，电子数量L用泊松分布表示
[L(m,n,λ)+Nsd(m,n,λ)]～p(L(m,n,λ)) (2)
公式(2)中Nsd表示信号相关噪声，p表示泊松分布；
定义信号无关噪声；对于高光谱成像中的CCD传感器，在曝光时间内，硅中的热能会产生自由电子，称为暗电流噪声，所述电子能够储存在采集地点，随后与光电子难以区分；读出噪声是在电子到电压阶段由放大器、复位和其他电子噪声源引起的；在电压到数字阶段，由于数字存储介质的动态范围，连续的模拟电压信号被量化为离散数字，从而产生量化噪声；像素噪声表示为如公式(3)所示的暗电流噪声、读出噪声和量化噪声
Np(m,n,λ)＝Nd(m,n,λ)+Nr(m,n,λ)+Nq(m,n,λ) (3)
公式(3)中Nd表示暗电流噪声，Nr表示读出噪声，Nq表示量化噪声；由于所述噪声是由相机电路引起的，与入射光无关，所以暗电流噪声、读出噪声和量化噪声是信号无关的噪声；所述信号无关的噪声服从高斯分布
Np(m,n,λ)～g(0,σp(λ)) (4)
公式(4)中g表示高斯分布，σp(λ)表示第λ通道的参数；
除了所述信号无关的噪声外，由于空间扫描设计，高光谱相机还经常受到条带噪声的影响；当分析用于采集的高光谱图像数据集的高光谱相机时，高光谱相机采集的高光谱图像包含水平条带噪声和垂直条带噪声；原因是在水平扫描时，每一行都被同一CCD单元捕获，造成水平条带噪声；同时，每一列在不同的时间被捕获，导致垂直条带噪声；因此，条带噪声Nsp表示为
公式(5)中和/>分别表示水平和垂直条带噪声；条带噪声是扫描相机设计引起的，与入射光无关，是一种信号无关的噪声；根据每行或每列均为零均值高斯分布，分别将水平条带噪声/>和垂直条带噪声/>表示为
公式(6)中σh(λ)和σv(λ)分别表示水平条带噪声和垂直条带噪声第λ通道的参数；因此，完全信号无关的噪声描述为
Nsi＝Np+Nsp (7)
扫描式高光谱相机的噪声模型表示为
N＝kNsd+Nsi＝kNsd+Np+Nsp (8)
公式(8)中k、Nsd、Nsi分别表示***增益、信号相关噪声和信号无关噪声；
根据公式(8)得到高光谱相机的物理噪声模型；
步骤102：分别针对信号相关噪声和信号无关噪声采集平场帧和偏置帧，使用统计建模的方式标定步骤101中噪声模型的参数；
步骤103：输入干净高光谱图像数据集，使用步骤101建立的噪声模型和步骤102标定的噪声模型参数，仿真生成带噪和干净的高光谱图像对，构建真实合成数据集；所述构建真实合成数据集过程无需采集带噪的高光谱图像，显著节省构建高光谱去噪数据集所用的采集图像资源；
步骤104：输入学习率、优化方法、迭代次数和步骤103生成的真实合成数据集，建立高光谱图像去噪网络的训练目标函数，对网络参数θ进行训练，得到带噪高光谱图像和干净高光谱图像之间的映射关系f；
步骤105：输入需要测试的带噪高光谱图像，并输入步骤104得到的带噪高光谱图像与干净高光谱图像间的映射关系f，通过带噪高光谱图像与干净高光谱图像间的映射关系f将带噪高光谱图像映射成干净高光谱图像，实现高效率和高精度高光谱图像去噪，提高成像质量。
2.如权利要求1所述的一种基于物理噪声模型的高质量光谱去噪方法，其特征在于：步骤102所述噪声模型参数分别为公式(2)(4)(6)中的针对信号相关噪声Nsd的***增益k、针对像素噪声的参数σp和针对条带噪声的参数σh和σv；为了估计***增益k，在均匀光下采集一个色板；色板中的每个色块被裁剪成不同强度的图像序列；因此，只需要采集一张图像，而不需要采集不同光通量的多个图像；根据光子传输方法，利用在明亮环境下采集的色块序列确定***增益k；利用估计的***增益k，在高光谱图像中加入信号相关的噪声；
为了估计针对像素噪声的参数σp和针对条带噪声的参数σh和σv，需要在无光条件下，即在暗室中并盖上相机镜头，用最短曝光时间采集偏置帧；偏置帧是由上述多个噪声源混合而成的与光线无关的噪声图像；像素噪声Np服从零均值高斯分布，首先提取偏置帧中第λ通道的每一列或每一行的均值估计垂直或水平条带噪声的潜在强度；然后使用近似高斯分布估计垂直和水平条带噪声的参数σh(λ)和σv(λ)；从偏置帧中减去估计的条带噪声，并使用最大化高斯分布的最大似然估计像素噪声的参数σp(λ)；
为了提高校准噪声模型的鲁棒性，估计一组偏置帧序列的噪声参数，并将其拟合为对数域的高斯分布；当使用校准的噪声模型时，根据公式(9)对噪声参数进行采样
公式(9)中a(λ)和b(λ)分别表示第λ通道的高斯分布的估计均值和标准差；
至此，完成噪声模型中信号相关噪声和信号无关噪声的参数标定。
3.如权利要求2所述的一种基于物理噪声模型的高质量光谱去噪方法，其特征在于：步骤103仿真生成单张带噪高光谱图像方法为：首先将干净的高光谱图像除以一个因子来匹配短曝光噪声图像的强度，遵循采集的真实高光谱图像数据集的设置；然后，将该图像X转换为光电子的数目L，对L使用泊松分布，再使用***增益k将其转换到图像信号X，完成图像加上信号相关噪声Nsd；除此之外，根据公式(9)采样针对像素噪声的参数σp和针对条带噪声的参数σh和σv，再生成像素噪声Np和条带噪声Nsd并将其添加到图像X；最后，将带噪高光谱图像乘以相同的因子，以匹配干净高光谱图像的强度；
按照仿真生成单张带噪高光谱图像方法，生成具有丰富的带噪和干净的高光谱图像对的真实合成数据集，将真实合成数据集用于训练高光谱图像去噪网络，无需采集带噪的高光谱图像，显著节省构建高光谱去噪数据集所用的采集图像资源。
4.如权利要求3所述的一种基于物理噪声模型的高质量光谱去噪方法，其特征在于：步骤104所述高光谱图像去噪网络的训练目标函数为
公式(10)中θ表示网络参数，T表示训练数据集样本数量，f表示网络映射关系，Yi和Xi分别表示第i个带噪和干净高光谱图像；
通过优化训练的目标函数公式(10)得到优化后的网络参数θ，至此完成高光谱去噪网络的训练，得到优化后的带噪高光谱图像与干净高光谱图像间的映射关系。
5.如权利要求4所述的一种基于物理噪声模型的高质量光谱去噪方法，其特征在于：步骤105所述的去噪后的高光谱图像为其中Y和/>分别为带噪高光谱图像和去噪后高光谱图像。
6.如权利要求5所述的一种基于物理噪声模型的高质量光谱去噪方法，其特征在于：
使用GPU完成步骤104网络的训练过程和步骤105高光谱图像的去噪过程，并利用cuDNN库加快卷积神经网络的运行速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111029792.1A CN113763271B (zh) | 2021-09-03 | 2021-09-03 | 一种基于物理噪声模型的高质量光谱去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111029792.1A CN113763271B (zh) | 2021-09-03 | 2021-09-03 | 一种基于物理噪声模型的高质量光谱去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113763271A CN113763271A (zh) | 2021-12-07 |
| CN113763271B true CN113763271B (zh) | 2024-06-07 |
Family
ID=78792826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111029792.1A Active CN113763271B (zh) | 2021-09-03 | 2021-09-03 | 一种基于物理噪声模型的高质量光谱去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763271B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114384030A (zh) * | 2022-01-11 | 2022-04-22 | 山东大学 | 一种基于卷积神经网络的气体激光吸收光谱滤波方法 |
| CN114897729B (zh) * | 2022-05-11 | 2024-06-04 | 北京理工大学 | 基于物理建模的滤波阵列式光谱图像去噪增强方法及*** |
| CN114972085B (zh) * | 2022-05-16 | 2024-06-04 | 北京理工大学 | 一种基于对比学习的细粒度噪声估计方法和*** |
| CN115082335B (zh) * | 2022-06-06 | 2024-07-19 | 北京理工大学 | 一种基于噪声建模的图像去噪方法 |
| CN116912139B (zh) * | 2023-07-04 | 2024-04-26 | 华中科技大学 | 一种基于生成对抗网络的噪声合成及其模型训练方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190119548A (ko) * | 2019-10-02 | 2019-10-22 | 엘지전자 주식회사 | 이미지 노이즈 처리방법 및 처리장치 |
| CN111080555A (zh) * | 2019-12-22 | 2020-04-28 | 北京理工大学 | 一种基于三维拟递归神经网络的高光谱图像降噪方法 |
| CN111260579A (zh) * | 2020-01-17 | 2020-06-09 | 北京理工大学 | 一种基于物理噪声生成模型的微光图像去噪增强方法 |
| CN112598599A (zh) * | 2020-12-29 | 2021-04-02 | 南京大学 | 一种高光谱图像的去噪模型训练方法及去噪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8711249B2 (en) * | 2007-03-29 | 2014-04-29 | Sony Corporation | Method of and apparatus for image denoising |
-
2021
- 2021-09-03 CN CN202111029792.1A patent/CN113763271B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190119548A (ko) * | 2019-10-02 | 2019-10-22 | 엘지전자 주식회사 | 이미지 노이즈 처리방법 및 처리장치 |
| CN111080555A (zh) * | 2019-12-22 | 2020-04-28 | 北京理工大学 | 一种基于三维拟递归神经网络的高光谱图像降噪方法 |
| CN111260579A (zh) * | 2020-01-17 | 2020-06-09 | 北京理工大学 | 一种基于物理噪声生成模型的微光图像去噪增强方法 |
| CN112598599A (zh) * | 2020-12-29 | 2021-04-02 | 南京大学 | 一种高光谱图像的去噪模型训练方法及去噪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113763271A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113763271B (zh) | 一种基于物理噪声模型的高质量光谱去噪方法 | |
| Brooks et al. | Unprocessing images for learned raw denoising | |
| Abdelhamed et al. | A high-quality denoising dataset for smartphone cameras | |
| Xu et al. | Real-world noisy image denoising: A new benchmark | |
| CN110046673B (zh) | 基于多特征融合的无参考色调映射图像质量评价方法 | |
| Liu et al. | Noise estimation from a single image | |
| US7986830B2 (en) | Radiometric calibration from a single image | |
| CN114972085B (zh) | 一种基于对比学习的细粒度噪声估计方法和*** | |
| Zhang et al. | Hyperspectral image denoising with realistic data | |
| CN114022732B (zh) | 一种基于raw图像的极暗光物体检测方法 | |
| CN111724317A (zh) | Raw域视频去噪监督数据集构造方法 | |
| CN109785242B (zh) | 一种基于逐波段广义双线性模型的高光谱图像的解混方法 | |
| CN111985381A (zh) | 一种基于伸缩卷积神经网络的引导区域密集人群计数方法 | |
| JP2017511674A (ja) | Ｊｐｅｇ圧縮画像に関連付けられる写真カメラモデルを特定するためのシステム、ならびに関連付けられる方法、使用およびアプリケーション | |
| CN111292266B (zh) | 基于双低秩矩阵分解的gf-5遥感影像混合噪声去除方法 | |
| Han et al. | Convolutional neural network training for rgbn camera color restoration using generated image pairs | |
| KR20190113889A (ko) | 이미징 잡음 감소 시스템 및 방법 | |
| Babu et al. | An efficient image dahazing using Googlenet based convolution neural networks | |
| CN114519676A (zh) | 基于Bayer格式的raw图像的去噪装置及方法 | |
| Sooknanan et al. | Improving underwater visibility using vignetting correction | |
| CN113781375B (zh) | 一种基于多曝光融合的车载视觉增强方法 | |
| Huang et al. | High-Fidelity Hyperspectral Snapshot of Physical World: System Architecture, Dataset and Model | |
| Abdelhamed | Noise Modelling for Smartphone Cameras | |
| CN115082335B (zh) | 一种基于噪声建模的图像去噪方法 | |
| CN114897729B (zh) | 基于物理建模的滤波阵列式光谱图像去噪增强方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |