CN114972085B - 一种基于对比学习的细粒度噪声估计方法和*** - Google Patents

一种基于对比学习的细粒度噪声估计方法和*** Download PDF

Info

Publication number
CN114972085B
CN114972085B CN202210525932.2A CN202210525932A CN114972085B CN 114972085 B CN114972085 B CN 114972085B CN 202210525932 A CN202210525932 A CN 202210525932A CN 114972085 B CN114972085 B CN 114972085B
Authority
CN
China
Prior art keywords
noise
image
learning
network
fine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210525932.2A
Other languages
English (en)
Other versions
CN114972085A (zh
Inventor
付莹
邹云昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202210525932.2A priority Critical patent/CN114972085B/zh
Publication of CN114972085A publication Critical patent/CN114972085A/zh
Application granted granted Critical
Publication of CN114972085B publication Critical patent/CN114972085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于对比学习的细粒度噪声估计方法和***，属于计算摄像科学技术领域。本发明利用待测试的带噪图像中发掘相机本身的噪声属性和参数，对其建模并生成大量拟真的仿真成对数据集，再利用深度神经网络学习仿真带噪图像到干净图像之间的映射关系，并用训练好的网络对真实数码相机拍摄的带噪图像进行去噪处理，实现对真实图像质量的提升和增强。本发明能够仅从待测试的带噪图像估计适用于特定相机的噪声参数，避免了噪声建模对于成对数据和标定数据的依赖性，显著提升真实图像去噪的精度。本发明可以用于对消费级数码相机或移动设备拍摄出来的真实图像噪声去除，以提供更加真实的训练数据的方式促进深度网络对真实噪声的去除。

Description

一种基于对比学习的细粒度噪声估计方法和***
技术领域
本发明涉及一种基于对比学习的细粒度噪声估计方法和***，属于计算摄像科学技术领域。
背景技术
图像去噪(Image Denoising)是低层视觉领域中一项基础且十分重要的任务。近年来，随着深度学习工具的兴起，现有工作已经可以在可加性高斯白噪声(Additive WhiteGaussian Noise,AWGN)去除上，达到近乎完美的效果。然而，这些方法对于数码相机、移动设备等成像设备拍摄的真实图像的噪声去除，达不到令人满意的效果。造成该现象的主要原因，是传感器的真实噪声分布不服从常用的噪声假设，导致深度学习的训练集和真实测试数据之间存在领域差。
目前，解决上述问题的方法通常有以下两种方式。
一是直接对真实的传感器噪声进行更加精确的建模，并用于拟真噪声图像的生成。以可加性高斯白噪声为基础，近20年内涌现出了许多对真实噪声分布的建模，包括泊松高斯模型(通常用异方差高斯模型近似)、泊松混合模型等。目前，对真实噪声最完善的建模是Wei等人于2021年提出的基于图像生成流程的物理噪声模型。此外，也有一些基于深度学习的生成模型被用到噪声图像的生成，包括标准化流以及生成对抗网络。然而，此类方法需要特定相机拍摄的成对数据或特殊的标定数据来做建模或生成，只能用于相机或符合要求的数据可及的情景。
二是噪声估计，这也是解决真实噪声去除的一个有效手段。噪声水平常常在深度去噪网络中作为输入引导，以告诉网络输入图片的大致噪声大小。近年来，陆续出现了不少基于计算和基于深度学***函数估计方法。然而，此类方法只能对不够准确的高斯白噪声以及异方差高斯噪声进行估计，无法对成分更加复杂的真实噪声模型进行估计。另外，噪声估计往往仅用在了模型的输入上，并未利用估计的噪声来探索相机本身的噪声属性。
发明内容
本发明的目的是为了克服现有技术存在的不足和缺陷，创造性地提出一种基于对比学习的细粒度噪声估计方法，能够在复杂的噪声模型假设下，仅使用待测试的带噪图像估计适用于特定相机的噪声参数，建立噪声参数和感光度之间的联合概率分布，从而生成更加真实的仿真成对数据以促进深度网络的学习，达到精准的真实图像去噪效果。同时，本方法进一步提出了一种基于对比学习的细粒度噪声估计***。
本发明采用以下技术方案实现。
一种基于对比学习的细粒度噪声估计方法，包括以下步骤：
首先，构建细粒度噪声模型，设计输入为带噪图像，输出为噪声模型参数的深度神经网络。具体地，细粒度噪声模型的构建，是从传感器的物理成像流程出发，通过分析光的量子效应、暗电流、源极跟随器噪声、扫描模式等流程，对组成传感器噪声分量N1,N2,…,NL进行统计建模，L为目标相机噪声分量的数量。
其中，所述基于对比学习的噪声估计神经网络，包括基于对比学习的特征提取器、带噪图像的数据增强和基于单张图像的细粒度噪声参数估计网络。
然后，使用已标定相机的噪声参数，生成仿真数据集并训练网络；
之后，对未标定噪声参数的相机待测图像进行参数估计，构建该相机的各噪声分量与ISO之间的联合概率分布。
其中，所述构建各噪声分量和ISO之间的联合概率分布，包括使用细粒度噪声参数估计网络对待测试带噪图像进行参数估计，将估计的参数与对应的ISO做函数拟合并构建联合概率分布。
最后，利用联合概率分布，完成仿真图像生成和训练去噪网络。
其中，所述仿真图像生成和去噪网络的训练，包括使用构建好的联合概率分布对噪声参数进行采样，生成图像并训练去噪网络。将真实图像输入训练好的去噪网络，进行真实噪声的去除。
另一方面，为实现上述目的，本发明进一步提出了一种基于对比学习的细粒度噪声估计和去除***，包括建立模块、估计模块、生成模块、训练模块和成像模块。
其中，建立模块，针对不同传感器构建特异的细粒度真实噪声分布模型；
进一步地，建立模块从传感器的物理成像流程出发，通过分析光的量子效应、暗电流、源极跟随器噪声、扫描模式等流程，分析并建模噪声成分中重要的分量N1,N2,…,NL。特别的，对一般的数码相机来说，构建的噪声模型包括与信号相关的散粒噪声Ns、与信号无关的读出噪声Nread、偏色噪声μc和随机行噪声Nrow。
估计模块，用于学习能够估计细粒度噪声模型参数的神经网络模型，对单张带噪图像进行噪声估计。
进一步地，估计模块包括基于对比学习的特征提取器，带噪图像的数据增强和基于单张图像的细粒度噪声参数估计网络。
生成模块，用于生成大量符合特定相机噪声分布的拟真带噪-干净成对训练数据集；
进一步地，生成模块包括使用细粒度噪声参数估计网络对待测试带噪图像进行参数估计，将估计的参数与对应的ISO做函数拟合并构建联合概率分布，使用构建好的联合概率分布对噪声参数进行采样并生成拟真带噪图像。
训练模块，用于搭建深度去噪神经网络，将拟真带噪图片作为输入，将对应干净图片作为真值，对深度去噪网络进行训练，得到训练完成的网络模型参数；
成像模块，用于使用训练好的网络对真实的带噪图像进行去噪与成像。
进一步地，训练模块和成像模块包括使用构建好的联合概率分布对噪声参数进行采样，生成图像并训练去噪网络，将真实图像输入训练好的去噪网络进行真实噪声的去除。
上述模块的连接关系如下：
建立模块的输出端与估计模块的输入端相连。估计模块的输出端与生成模块的输入端相连。生成模块的输出端与训练模块的输入端相连。训练模块的输出端与成像模块的输入端相连。
有益效果
本发明，对比现有技术，具有以下优点：
1.本发明，先利用待测试的带噪图像中发掘传感器本身的噪声属性和参数，对其建模并生成大量拟真的仿真成对数据集，再利用深度神经网络学习仿真带噪图像到干净图像之间的映射关系，并用训练好的网络对真实传感器拍摄的带噪图像进行去噪处理，实现对真实图像质量的提升和增强。
2.本发明能够仅从待测试的带噪图像估计适用于特定相机传感器的噪声参数，避免了噪声建模对于成对数据和标定数据的依赖性，显著提升真实图像去噪的精度。
3.本发明是一种精确的、不依赖于硬件本身的、细粒度的真实带噪图像生成和去噪方法，可以用于对包含数码相机、移动设备在内的成像设备拍摄出来的真实图像噪声去除，通过对传感器噪声模型进行细粒度建模，基于对比学习的噪声估计网络，拟真图像生成以及去噪网络的训练，能够在没有特定相机拍摄的成对数据集或标定数据的情况下，仅从测试的带噪数据集中完成噪声参数估计和建模，以提供更加真实的训练数据的方式促进深度网络对真实噪声的去除，对科学研究和工业探测等领域的发展具有重要意义。
附图说明
图1是本发明方法的总流程图；
图2是本发明方法的深度神经网络结构图；
图3是本发明方法拟真图像生成的总流程图；
图4是本发明公开的基于对比学习的细粒度噪声估计***的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
实施例
如图1所示，一种基于对比学习的细粒度噪声估计方法，包括以下步骤：
步骤101：根据传感器(如常见的CMOS传感器等)的物理成像流程，细粒度地对物理噪声分量进行建模。通过分析物理成像过程中包含光的量子效应、暗电流、源极跟随器噪声、扫描模式，建模总噪声N的各个组成分量Ni：
其中，L为噪声分量的个数。
对每个噪声分量Ni，构建其符合的统计概率分布模型：
Ni～Fi(θi) (2)其中，Fi、θi分别表示分量Ni服从的分布表示及对应的参数。
至此，所有噪声分量的分布参数组成多元组θ＝(θ1,θ2,…,θL)。
进一步地，为构建针对传感器而非单张图像的噪声模型，本发明使用各噪声分量随ISO的联合概率分布和采样策略，实现了连续ISO段上的噪声采样和生成。根据ISO的定义，其与***增益K之间存在线性关系，则各噪声分量随ISO的联合概率分布和采样策略，使用各噪声分量随***增益K的联合概率分布来代替，其在对数线性关系下用高斯分布来表示：
其中，U表示均匀分布，ai、bi分别表示第i个噪声分量在对数线性域下读出噪声标准差的均值和***增益之间的斜率和均值，表示与之对应的标准差，Kmin、Kmax分别表示相机所能取到的最小和最大ISO所对应的***增益K。/>表示高斯分布。
至此，完成了对传感器细粒度噪声模型的建模。
进一步地，当目标传感器为数码相机时，噪声分量包括与信号相关的散粒噪声Ns、与信号无关的读出噪声Nread、偏色噪声μc和随机行噪声Nrow。
受光子接收的不稳定性影响，散粒噪声Ns用泊松分布表示：
式4中，I表示光子的理论数值，表示泊松分布。
读出噪声Nread和偏色噪声μc受暗电流、源极跟随器噪声等因素影响，用非零均值的高斯分布来近似建模：
式5中，σ表示读出噪声的标准差差，表示高斯分布。
随机行噪声Nrow用零均值的高斯分布来建模：
式6中，σr表示随机行噪声的标准差。
用K表示***总增益，则数码相机的噪声总量N表示为：
N＝KNs+Nread+Nrow (7)
根据式4至式7，数码相机噪声分布参数构成多元组θ＝(K,σ,μc,σr)。
步骤102：训练基于对比学习的深度神经网络学习细粒度噪声参数估计模型，用于估计单张带噪图像在细粒度噪声模型假设下的噪声参数。
具体地，根据Wei等人于2021年提出的物理噪声模型标定方法(详见Wei K,Fu Y,Zheng Y,et al.Physics-based Noise Modeling for Extreme Low-light Photography[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2021.)，通过拍摄拍与光有关的一系列平场帧和黑暗环境下的一系列偏置帧，对所述噪声参数多元组θ进行标定。
具体包括：对相同类型的其他型号相机进行参数标定，根据式3所示的采样方式对噪声参数进行采样。在干净的数据集上生成带噪图像，作为基于对比学习的噪声估计网络的训练数据。
进一步地，在本实施例中，构建基于对比学习的细粒度噪声模型估计网络模型。如图2所示，基于对比学习的细粒度噪声估计网络模型，包括数据集增强、对比特征学习和噪声估计。其中：
数据集增强。根据式3生成某一参考图像，通过数据集增强来生成一个正样本和若干个负样本。其中，对每张参考图像，正样本由与参考图像相同的噪声参数和不同的干净图片生成，负样本由与参考图像相同的噪声参数和不同的干净图片生成。
对比特征学习。目的是通过对比学习的方法，得到一个能够针对不同噪声提取出特异性特征的提取器f。具体地，将参考图像和正负样本输入特征提取器f并得到特征z、z+以及z-，通过最小化InfoNCE损失来使网络增大参考图与正样本之间的相似度并减小参考图和负样本之间的相似度。该对比学习损失函数用表示：
式8中，s表示余弦相似性，τ为比例因子。
噪声估计。在对比特征学***均池化层和全连接层预测噪声参数多元组用于训练网络的损失函数/>包括：预测噪声参数/>和真实噪声参数θ之间的L2损失，以及对特征选择器的对比学习损失/>表示为：
式9中，M为总的训练样本数量。θj和分别表示第j个场景下的真实和预测噪声参数。τ为损失函数的权重，设置为0.1。
至此，通过最小化损失函数得到训练好的基于对比学习的细粒度噪声估计网络模型。
步骤103：利用步骤102中训练好的基于对比学习的细粒度噪声估计网络模型，对待测带噪图像进行噪声估计和联合概率分布构建，并用于生成连续ISO段的成对数据集。
图3为生成拟真成对数据集的流程图。
利用步骤2中训练好的特征提取器和噪声参数估计模型，对测试集中的每张带噪图像进行噪声估计，利用噪声估计构建针对特定相机的噪声参数联合概率分布，即式3，根据式3进行带噪图像的生成。
通过将生成的带噪图和干净的图像组成成对数据集，能够为深度去噪网络提供更加真实的仿真数据集，缩小训练仿真数据集和真实测试集之间的领域差。
至此，在无需任何真实成对数据集和特殊标定帧的条件下，仅使用少量带噪测试图片，即完成了对特定相机的噪声建模和带噪图像生成。
步骤104：以步骤103中生成的成对拟真数据集为输入，训练深度去噪网络，用于对真实带噪测试图像的去噪。
通过搭建基于深度学习的去噪网络，将生成的带噪图像作为输入，将用于加噪的干净图像作为真值，对深度去噪网络进行训练，并得到优化后的网络模型参数。
具体地，输入带噪图像x并得到预测的干净图像
其中，UNet表示去噪网络。
将预测的干净图像与真值图像y计算损失函数/>
其中，N为训练样本的数量。优化式11时，采用Adam优化器并将学习率设置为初始10-4，逐渐衰减至10-5。yi、分别表示第i个场景的真值和网络预测值。
至此，通过最小化损失函数得到优化好的去噪网络模型参数，得到带噪图像到干净图像之间的映射关系。
使用训练好的去噪网络对真实带噪的数据集进行降噪，得到去噪后的预测干净图像。
进一步地，如图4所示，为本发明实施例的一种基于对比学习的细粒度噪声估计***的结构示意图，***包括：建立模块100、估计模块200、生成模块300、训练模块400和成像模块500。
其中，建立模块100用于构建符合真实传感器噪声分布的细粒度噪声模型，噪声源包括散粒噪声、读出噪声、随机行噪声以及偏色噪声；估计模块200用于学习能够估计细粒度噪声模型参数的神经网络模型，可对单张带噪图像进行噪声估计；生成模块300用于生成大量符合特定相机噪声分布的拟真带噪-干净成对训练数据集；训练模块400用于搭建深度去噪神经网络，将所述拟真带噪图片作为输入，将所述对应干净图片作为真值，对深度去噪网络进行训练，得到训练完成的网络模型参数；成像模块500用于使用训练好的网络对真实的带噪图像进行去噪与成像。
进一步地，建立模块100从传感器的物理成像流程出发，通过分析光的量子效应、暗电流、源极跟随器噪声、扫描模式等流程，构建了与信号相关的散粒噪声Ns和与信号无关的读出噪声Nread、偏色噪声μc和随机行噪声Nrow。
进一步地，估计模块200包括基于对比学习的特征提取器，带噪图像的数据增强和基于单张图像的细粒度噪声参数估计网络。
进一步地，生成模块300包括使用细粒度噪声参数估计网络对待测试带噪图像进行参数估计，将估计的参数与对应的ISO做函数拟合并构建联合概率分布，使用构建好的联合概率分布对噪声参数进行采样并生成拟真带噪图像。
进一步地，训练模块400和成像模块500包括使用构建好的联合概率分布对噪声参数进行采样，生成图像并训练去噪网络，将所述真实图像输入训练好的去噪网络进行真实噪声的去除。
上述模块的连接关系如下：
建立模块100的输出端与估计模块200的输入端相连。估计模块200的输出端与生成模块300的输入端相连。生成模块300的输出端与训练模块400的输入端相连。训练模块400的输出端与成像模块500的输入端相连。
需要说明的是，前述对基于对比学习的细粒度噪声估计方法实施例的解释说明，也适用于该实施例的基于对比学习的细粒度噪声估计***，此处不再赘述。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种基于对比学习的细粒度噪声估计方法，其特征在于，包括以下步骤：
步骤101：根据传感器的物理成像流程，细粒度地对物理噪声分量进行建模，通过分析物理成像过程中包含光的量子效应、暗电流、源极跟随器噪声、扫描模式在内的各流程，建模总噪声N的各个组成分量Ni：
其中，L为主要噪声分量的个数；
对每个噪声分量Ni，构建其符合的统计概率分布模型：
Ni～Fi(θi) (2)
其中，Fi和θi分别表示分量Ni服从的分布表示以及对应的参数；
所有噪声分量的分布参数组成多元组θ＝(θ1,θ2,…,θL)；
使用各噪声分量随ISO的联合概率分布和采样策略，实现连续ISO段上的噪声采样和生成；
根据ISO的定义，其与***增益K之间存在线性关系，则各噪声分量随ISO的联合概率分布和采样策略，使用各噪声分量随***增益K的联合概率分布来代替，其在对数线性关系下用高斯分布来表示：
log(K)～U(log(Kmin),log(Kmax))
其中，U表示均匀分布，ai、bi分别表示第i个噪声分量在对数线性域下读出噪声标准差的均值和***增益之间的斜率和均值，表示与之对应的标准差，Kmin、Kmax分别表示相机所能取到的最小和最大ISO所对应的***增益K；/>表示高斯分布；
步骤102：训练基于对比学习的深度神经网络学习细粒度噪声参数估计模型，用于估计单张带噪图像在细粒度噪声模型假设下的噪声参数；
通过拍摄拍与光有关的一系列平场帧和黑暗环境下的一系列偏置帧，对所述噪声参数多元组θ进行标定，包括：对相机进行参数标定，根据式3所示的采样方式对噪声参数进行采样；在干净的数据集上生成带噪图像，作为基于对比学习的噪声估计网络的训练数据；
基于对比学习的细粒度噪声估计网络模型，包括数据集增强、对比特征学习和噪声估计，其中：
数据集增强，根据式3生成某一参考图像，通过数据集增强来生成一个正样本和若干个负样本；其中，对每张参考图像，正样本由与参考图像相同的噪声参数和不同的干净图片生成，负样本由与参考图像相同的噪声参数和不同的干净图片生成；
对比特征学习，得到一个能够针对不同噪声提取出特异性特征的提取器f；将参考图像和正负样本输入特征提取器f并得到特征z、z+以及z-，通过最小化InfoNCE损失来使网络增大参考图与正样本之间的相似度并减小参考图和负样本之间的相似度；该对比学习损失函数用表示：
其中，s表示余弦相似性，τ为比例因子；
噪声估计，在对比特征学***均池化层和全连接层预测噪声参数四元组用于训练网络的损失函数/>包括：预测噪声参数/>和真实噪声参数P之间的L2损失，以及对特征选择器的对比学习损失/>表示为：
其中，M为总的训练样本数量；θj和分别表示第j个场景下的真实和预测噪声参数；τ为损失函数的权重；
步骤103：利用步骤102中训练好的基于对比学习的细粒度噪声估计网络模型，对待测带噪图像进行噪声估计和联合概率分布构建，并用于生成连续ISO段的成对数据集；
步骤104：以步骤103中生成的成对拟真数据集为输入，训练深度去噪网络，用于对真实带噪测试图像的去噪；
通过搭建基于深度学习的去噪网络，将生成的带噪图像作为输入，将用于加噪的干净图像作为真值，对深度去噪网络进行训练，并得到优化后的网络模型参数；
使用训练好的去噪网络对真实带噪的数据集进行降噪，得到去噪后的预测干净图像。
2.如权利要求1所述的一种基于对比学习的细粒度噪声估计方法，其特征在于，步骤101中，当目标传感器为数码相机时，噪声分量包括与信号相关的散粒噪声Ns、与信号无关的读出噪声Nread、偏色噪声μc和随机行噪声Nrow；
受光子接收的不稳定性影响，散粒噪声Ns用泊松分布表示：
式4中，I表示光子的理论数值，表示泊松分布；
读出噪声Nread和偏色噪声μc用非零均值的高斯分布来近似建模：
其中，σ表示读出噪声的标准差差，表示高斯分布；
随机行噪声Nrow用零均值的高斯分布来建模：
其中，σr表示随机行噪声的标准差；
用K表示***总增益，则数码相机的噪声总量N表示为：
N＝KNs+Nread+Nrow (7)
数码相机噪声分布参数构成多元组θ＝(K,σ,μc,σr)。
3.如权利要求1所述的一种基于对比学习的细粒度噪声估计方法，其特征在于，损失函数的权重τ设置为0.1。
4.如权利要求1所述的一种基于对比学习的细粒度噪声估计方法，其特征在于，步骤104中，输入带噪图像x并得到预测的干净图像
其中，UNet表示去噪网络；
将预测的干净图像与真值图像y计算损失函数/>
其中，N为训练样本的数量；优化式11时，采用Adam优化器并将学习率设置为初始10-4，逐渐衰减至10-5；yi、分别表示第i个场景的真值和网络预测值。
CN202210525932.2A 2022-05-16 2022-05-16 一种基于对比学习的细粒度噪声估计方法和*** Active CN114972085B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210525932.2A CN114972085B (zh) 2022-05-16 2022-05-16 一种基于对比学习的细粒度噪声估计方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210525932.2A CN114972085B (zh) 2022-05-16 2022-05-16 一种基于对比学习的细粒度噪声估计方法和***

Publications (2)

Publication Number Publication Date
CN114972085A CN114972085A (zh) 2022-08-30
CN114972085B true CN114972085B (zh) 2024-06-04

Family

ID=82984155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210525932.2A Active CN114972085B (zh) 2022-05-16 2022-05-16 一种基于对比学习的细粒度噪声估计方法和***

Country Status (1)

Country Link
CN (1) CN114972085B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115186720B (zh) * 2022-09-07 2023-01-06 中国科学技术大学 预训练模型、无线感知模型的训练方法及电子设备
CN116912139B (zh) * 2023-07-04 2024-04-26 华中科技大学 一种基于生成对抗网络的噪声合成及其模型训练方法
CN116563673B (zh) * 2023-07-10 2023-12-12 浙江华诺康科技有限公司 烟雾训练数据生成方法、装置和计算机设备
CN117726542B (zh) * 2024-02-18 2024-06-21 北京理工大学 基于扩散模型的可控噪声去除方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859147A (zh) * 2019-03-01 2019-06-07 武汉大学 一种基于生成对抗网络噪声建模的真实图像去噪方法
CN111260579A (zh) * 2020-01-17 2020-06-09 北京理工大学 一种基于物理噪声生成模型的微光图像去噪增强方法
CN113763271A (zh) * 2021-09-03 2021-12-07 北京理工大学 一种基于物理噪声模型的高质量光谱去噪方法
WO2022022494A1 (zh) * 2020-07-27 2022-02-03 南京图格医疗科技有限公司 一种基于CBD-Net的医学内窥图像去噪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859147A (zh) * 2019-03-01 2019-06-07 武汉大学 一种基于生成对抗网络噪声建模的真实图像去噪方法
CN111260579A (zh) * 2020-01-17 2020-06-09 北京理工大学 一种基于物理噪声生成模型的微光图像去噪增强方法
WO2022022494A1 (zh) * 2020-07-27 2022-02-03 南京图格医疗科技有限公司 一种基于CBD-Net的医学内窥图像去噪方法
CN113763271A (zh) * 2021-09-03 2021-12-07 北京理工大学 一种基于物理噪声模型的高质量光谱去噪方法

Also Published As

Publication number Publication date
CN114972085A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN114972085B (zh) 一种基于对比学习的细粒度噪声估计方法和***
CN111260579B (zh) 一种基于物理噪声生成模型的微光图像去噪增强方法
CN108280811B (zh) 一种基于神经网络的图像去噪方法和***
CN110570364B (zh) 基于深度神经网络的分焦平面偏振图像去噪方法
CN109087255B (zh) 一种基于混合损失的轻量级深度图像去噪方法
CN112818969B (zh) 一种基于知识蒸馏的人脸姿态估计方法及***
CN108416753B (zh) 一种基于非参数化交替方向乘子法的图像去噪算法
CN113763271B (zh) 一种基于物理噪声模型的高质量光谱去噪方法
CN114022732B (zh) 一种基于raw图像的极暗光物体检测方法
CN112384946A (zh) 一种图像坏点检测方法及装置
CN111161224A (zh) 基于深度学习的铸件内部缺陷分级评估***及方法
CN109671031B (zh) 一种基于残差学习卷积神经网络的多光谱图像反演方法
JP2021179833A (ja) 情報処理装置、情報処理方法及びプログラム
CN116167932A (zh) 一种图像质量优化方法、装置、设备及存储介质
Saleem et al. A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset
CN117911252A (zh) 基于深度学习去除图像中光照的方法及***
CN117058079A (zh) 基于改进ResNet模型的甲状腺显像图像自动诊断方法
JPWO2021255819A5 (zh)
CN113781375B (zh) 一种基于多曝光融合的车载视觉增强方法
CN115456908A (zh) 一种鲁棒的自监督图像去噪方法
CN114998185A (zh) 一种基于YOLOv5模型的泥浆泌水率实时检测方法
Zhao et al. Nonuniform illumination correction for underwater images through a pseudo-siamese network
CN113222953B (zh) 基于深度伽马变换的自然图像增强方法
TWI590192B (zh) 適應性高動態範圍影像合成演算法
Abdelhamed Noise Modelling for Smartphone Cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant