CN115619652A - 图像盲去噪方法、装置、电子设备和存储介质 - Google Patents

图像盲去噪方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115619652A
CN115619652A CN202110799034.1A CN202110799034A CN115619652A CN 115619652 A CN115619652 A CN 115619652A CN 202110799034 A CN202110799034 A CN 202110799034A CN 115619652 A CN115619652 A CN 115619652A
Authority
CN
China
Prior art keywords
image
noise
denoised
determining
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110799034.1A
Other languages
English (en)
Inventor
孙岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN202110799034.1A priority Critical patent/CN115619652A/zh
Priority to PCT/CN2021/136268 priority patent/WO2023284236A1/zh
Priority to EP21950008.9A priority patent/EP4372671A1/en
Publication of CN115619652A publication Critical patent/CN115619652A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种图像盲去噪方法、装置、电子设备和存储介质。该图像盲去噪方法包括：根据预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果，确定待去噪图像的目标噪声参数；对待去噪图像进行初步滤波处理，得到待去噪图像的初步滤波图像；根据目标噪声参数和初步滤波图像确定待去噪图像的噪声水平估计结果；根据噪声水平估计结果对待去噪图像进行最终去噪处理，得到待去噪图像的最终盲去噪结果。本发明实施例通过将图像噪声标定和滤波相结合的方法实现噪声水平估计，降低盲去噪方法的整体复杂度，从而降低盲去噪方法在前端图像采集设备等算力受限平台上的部署难度。

Description

图像盲去噪方法、装置、电子设备和存储介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种图像盲去噪方法、装置、电子设备和存储介质。
背景技术
在通过图像采集设备获取图像的过程中，由于图像采集设备的自身物理约束以及外界光环境的限制，使得采集到的图像中不可避免地存在噪声，进而影响成像质量。为此，现有的图像采集设备均采用图像去噪技术来提高自身的成像质量。然而，由于图像真实噪声具有成分复杂性和来源多样性的特点，以及每个图像采集设备的真实噪声模型都有所差异，使得图像真实噪声去除的难度较大。目前对图像去噪的要求是在处理不同噪声水平的输入图像时均可实现很好的去噪效果，即实现盲去噪。
现有的盲去噪方法一般采用基于卷积神经网络(Convolutional NeuralNetworks，CNN)的方案，具体方案分为两步：第一步，采用一个CNN子网络对输入的待去噪图像进行噪声水平估计，得到其噪声水平图；第二步，将噪声水平图与待去噪图像合并，输入到另一个CNN子网络进行处理，得到待去噪图像的盲去噪结果。这种将噪声水平估计与CNN去噪相结合的方式，使得整个模型具备很好的盲去噪能力。但是该方法中模型的整体复杂度过高，需要同时部署两个CNN网络，对硬件平台的算力要求很高，从而增加了模型在前端图像采集设备等算力受限平台上的部署难度。
发明内容
本发明实施例提供一种图像盲去噪方法、装置、电子设备和存储介质，通过将图像噪声标定和滤波相结合的方法实现噪声水平估计，降低盲去噪方法的整体复杂度。
第一方面，本发明实施例提供了一种图像盲去噪方法，包括：
根据预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果，确定所述待去噪图像的目标噪声参数；
对所述待去噪图像进行初步滤波处理，得到所述待去噪图像的初步滤波图像；
根据所述目标噪声参数和所述初步滤波图像确定所述待去噪图像的噪声水平估计结果；
根据所述噪声水平估计结果对所述待去噪图像进行最终去噪处理，得到所述待去噪图像的最终盲去噪结果。
第二方面，本发明实施例还提供了一种图像盲去噪装置，包括：
图像噪声参数确定模块，用于根据预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果，确定所述待去噪图像的目标噪声参数；
图像初步滤波模块，用于对所述待去噪图像进行初步滤波处理，得到所述待去噪图像的初步滤波图像；
噪声水平估计模块，用于根据所述目标噪声参数和所述初步滤波图像确定所述待去噪图像的噪声水平估计结果；
盲去噪模块，用于根据所述噪声水平估计结果对所述待去噪图像进行最终去噪处理，得到所述待去噪图像的最终盲去噪结果。
第三方面，本发明实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的图像盲去噪方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的图像盲去噪方法。
本发明实施例根据预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果，确定待去噪图像的目标噪声参数；对待去噪图像进行初步滤波处理，得到待去噪图像的初步滤波图像；根据目标噪声参数和初步滤波图像确定待去噪图像的噪声水平估计结果；根据噪声水平估计结果对待去噪图像进行最终去噪处理，得到待去噪图像的最终盲去噪结果。本发明实施例通过将图像噪声标定和传统滤波相结合实现对图像的噪声水平估计，提高对图像噪声水平估计的效率，在保持盲去噪效果的同时降低盲去噪方法的整体复杂度，从而降低盲去噪方法在前端图像采集设备等算力受限平台上的部署难度。
附图说明
图1是本发明实施例一中的图像盲去噪方法的流程图；
图2是本发明实施例二中的图像盲去噪装置的结构示意图；
图3是本发明实施例三中的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一中的图像盲去噪方法的流程图，本实施例可适用于对待去噪图像进行盲去噪的情况。该方法可以由图像盲去噪装置来执行，该装置可以采用软件和/或硬件的方式实现，并可配置在电子设备中，例如电子设备可以是后台服务器等具有通信和计算能力的设备。如图1所示，该方法具体包括：
步骤101、根据预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果，确定待去噪图像的目标噪声参数。
盲去噪是指对不同噪声水平的输入图像均可以较好去噪的去噪算法。在本发明实施例中，仍采用噪声水平估计与去噪算法相结合的方式来保证盲去噪能力。在确定待去噪图像的噪声水平估计结果时采用图像噪声标定和传统滤波相结合的方式，在图像噪声标定中确定待去噪图像的目标噪声参数，其中，目标噪声参数用于表征图像采集设备给采集图像带来的噪声模型。由于不同型号的图像采集设备中的传感器不同，则噪声模型也存在一定的差异，因此在本发明实施例中预先对不同型号的图像采集设备进行图像噪声标定，得到其对应的噪声模型对采集图像的噪声进行表征。在本发明实施例中，只需要对每一类型的图像采集设备进行预先标定一次，在标定完成后，该类型的图像采集设备的噪声模型确定，无需进行重复标定。
具体的，预先确定进行采集图像的至少一种类型的图像采集设备，对其进行一次图像噪声标定，得到对应的图像噪声标定结果。图像噪声标定结果中表达了图像采集设备在采集图像时对图像中噪声水平的影响程度。示例性的，由于图像采集设备在采集图像时会存在可调的设备参数，在不同的设备参数下所采集到的图像噪声水平也不同，因此，图像采集设备进行图像噪声标定得到的图像噪声标定结果中反映了不同的设备参数对采集图像噪声的影响。在此基础上，确定此次待去噪图像采集时图像采集设备的设备参数，根据该设备参数和图像噪声标定结果确定待去噪图像的目标噪声参数。
例如，预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果中包括不同设备参数与噪声参数的映射关系，同时确定待去噪图像的目标设备参数，根据该映射关系确定目标设备参数所映射的目标噪声参数。
在一个可行的实施例中，图像噪声标定结果包括至少一个候选曝光增益值和关联的候选噪声参数；
相应的，步骤101，包括：
确定图像采集设备在采集待去噪图像时的目标曝光增益值；
基于目标曝光增益值与候选曝光增益值的关系，根据关联的候选噪声参数确定与目标噪声参数关联的目标噪声参数。
其中，候选曝光增益值是指预先确定的图像采集设备的采集参数值，候选曝光增益值的具体数量和具体数值可以根据图像采集设备的设备属性进行预先确定，在此不作限制。示例性的，候选曝光增益值预先确定为一组曝光增益值{ISOj；j＝1～s}，即设置s个候选曝光增益值，在每个曝光增益值下进行一次图像噪声标定，得到每个候选曝光增益值下的候选噪声参数，即图像噪声标定结果中包括候选曝光增益值和候选噪声参数的映射关系。
在确定待去噪图像的目标噪声参数时，首先确定图像采集设备在采集待去噪图像时的曝光增益值，为目标曝光增益值，由于候选曝光增益值的数量有限，不可能穷尽图像采集设备的所有曝光增益值，因此若目标噪声参数不在候选曝光增益值中时，采用插值计算的方式基于目标曝光增益值与候选曝光增益值的关系，根据关联的候选噪声参数确定与目标噪声参数关联的目标噪声参数。
示例性的，图像噪声标定结果包括一组候选曝光增益值{ISOj；j＝1～s}以及每个候选曝光增益值关联的候选噪声参数{aj,i；j＝1～s，i＝0～n}，即每个候选曝光增益值关联的候选噪声参数中包括n+1个参数。设目标曝光增益值为ISOx；若ISOx为{ISOj；j＝1～s}中的任一个，则目标噪声参数可以直接从{aj,i；j＝1～s，i＝0～n}中进行确定。若ISOx不是{ISOj；j＝1～s}中的任一个，则采用线性插值的方式精确求解当前目标曝光增益值ISOx关联的目标噪声参数{ax,i；i＝0～n}。例如，根据如下公式确定目标噪声参数{ax,i；i＝0～n}：
Figure BDA0003163929600000061
在一个可行的实施例中，预先对待去噪图像的图像采集设备进行图像噪声标定，包括：
在每个候选曝光增益值下通过图像采集设备对同一拍照场景采集至少两张待标定图像数据；其中，候选曝光增益值包括至少一个；
分别根据每个候选曝光增益值关联的至少两张待标定图像数据确定候选曝光增益值的候选噪声参数，由至少一个候选曝光增益值和关联的候选噪声参数确定图像采集设备的图像噪声标定结果。
在预先进行图像噪声标定时，需要对每个候选曝光增益值进行标定，即获取每个候选曝光增益值下的候选噪声参数。
具体的，预先根据图像采集设备确定一组候选曝光增益值{ISOj；j＝1～s}，在每个候选曝光增益值下采集图像采集设备拍摄的多张图像作为待标定图像数据，由于多张图像是在同一曝光增益值且同一拍照场景下获取的，因此通过这多张图像之间的差异情况可以确定当前曝光增益值下的噪声水平，进而确定对应的候选噪声参数。其中，为了保证拍摄得到的标定图像数据中包括各个亮度的信息，拍照场景中需要包括不同亮度信息，示例性的，拍照场景可以为标准灰阶卡。
示例性的，在环境亮度可控的实验室场景下，相机画面对准标准灰阶卡，保证画面聚焦清晰，标定过程中保证画面静态；设候选曝光增益值分别为{100，400，1600，6400，25600，102400}；在每一个候选曝光增益值下，手动调节相机快门或者环境照度，使画面亮度适中，在保持画面亮度不变的情况下，连续采集m帧图像数据作为待标定图像数据。根据每个候选曝光增益值下的m帧图像数据确定图像的噪声水平，例如确定每个像素点之间的差异和像素点亮度之间的关系，确定候选曝光增益值的候选噪声参数。最后根据所有候选曝光增益值和其关联的候选噪声参数构成图像噪声标定结果。
示例性的，当候选曝光增益值只包括一个时，即图像噪声标定结果仅包括一个候选曝光增益值和候选噪声参数，在确定待去噪图像的目标噪声参数时，可以直接将候选噪声参数认定为目标噪声参数；或者根据候选曝光增益值和目标曝光增益值之间的关系，确定目标噪声参数，例如按照候选曝光增益值和目标曝光增益值之间的比例关系，对候选噪声参数进行等比例计算得到目标噪声参数。
在一个可行的实施例中，分别根据每个候选曝光增益值关联的至少两张待标定图像数据确定候选曝光增益值的候选噪声参数，包括：
确定图像采集设备的图像噪声水平表达式为：
Figure BDA0003163929600000081
其中，x表示目标像素点的目标像素亮度值，V(x)表示用于表征目标像素点噪声水平的噪声方差，n表示多项式的级数，ai为待标定噪声参数；
根据候选曝光增益值关联的至少两张待标定图像数据在每个像素点上的像素平均值，确定平均标定图像；
根据候选曝光增益值关联的至少两张待标定图像数据在每个像素点上的像素值方差，确定方差标定图像；
从平均标定图像和方差标定图像中确定至少n+1个像素值不同的像素对，基于图像噪声水平表达式根据像素对确定待标定噪声参数的值，为候选曝光增益值的候选噪声参数。
其中，图像噪声水平表达式用于表征图像噪声方差(噪声水平的量化值)与像素亮度之间的函数关系。现有研究表明，图像采集设备采集的图像噪声一般服从泊松-高斯分布，其噪声方差与像素亮度之间的函数关系可由下面的线性函数表示：
V(x)＝k·x+σ2；
其中，等式右边第一项为泊松噪声项，其噪声方差与像素亮度成正比；第二项为高斯噪声项；参数k、σ2决定了图像的噪声水平，与图像采集设备的曝光增益值相关。但是上述模型存在一定偏差，例如噪声方差与像素亮度之间存在高阶的非线性关系；为了更精准地反映实际噪声模型，本发明实施例采用多项式函数的形式来描述噪声方差与像素亮度之间的关系：
Figure BDA0003163929600000091
其中，多项式函数的级数n可根据图像采集设备的实际噪声特性、及用户的需求来设定，示例性的，n＝2是一个合理值；参数{ai；i＝0～n}即为待标定噪声参数，与图像采集设备的曝光增益值相关；V(x)表示噪声方差，用图像中每个像素点的噪声方差量化表征该点的噪声水平。
在上述示例的基础上，确定每个候选曝光增益下的m帧待标定图像数据，计算其连续m帧图像数据在每一个像素上的平均值，得到平均标定图像I；同时计算其连续m帧图像数据在每一个像素上的方差，得到方差标定图像V。根据上述图像噪声水平表达式可知，对于平均标定图像I中的任意一个像素值xp，其在方差标定图像V中对应位置的像素值V(xp)应当满足图像噪声水平表达式中的函数关系，即
Figure BDA0003163929600000092
由于在图像噪声水平表达式中所需确定的待标定噪声参数为n+1个，因此至少需要从平均标定图像和方差标定图像中确定至少n+1个像素值不同的xp-V(xp)像素对，具体选取的像素值可以根据实际情况进行确定，在此不作限制。最后将xp-V(xp)像素对的具体值代入到图像噪声水平表达式中，对n+1个未知量进行求解，得到待标定噪声参数的值。按照该方法依次计算其余候选曝光增益值的候选噪声参数。
在根据像素对确定待标定噪声参数的值时，可以采取最小二乘法进行求解。示例性的，设从图像I、V中取t个像素值不同的xp-V(xp)像素对，满足t≥n+1，则图像噪声水平表达式通过下式求解：
令：
Figure BDA0003163929600000101
则A＝(XTX)-1XTV。
得到的图像噪声标定结果中包括一组候选曝光增益值{ISOj；j＝1～s}，以及每个候选曝光增益值下的候选噪声参数{aj,i；j＝1～s，i＝0～n}，其中噪声参数aj,i代表第j个候选曝光增益值下的第i阶噪声参数。
步骤102、对待去噪图像进行初步滤波处理，得到待去噪图像的初步滤波图像。
对待去噪图像进行初步滤波处理是为了平滑图像，消除噪声对噪声水平估计计算的干扰。示例性的，在上述示例的基础上，图像采集设备的图像噪声水平表达式是像素亮度值与像素方差之间的函数关系，因此若要确定待去噪图像的像素方差，则需要确定像素亮度值，即消除噪声在像素值中的干扰因素。该步骤对图像去噪效果的要求不高，因此采用简单高效的常规图像滤波方法即可。此处的初步滤波方法可以是高斯滤波、均值滤波、中值滤波、双边滤波、导向滤波等，在此不作限定。
在一个可行的实施例中，初步滤波处理采用高斯滤波、均值滤波、中值滤波、双边滤波方法或导向滤波方法。
具体的，为了更好保持滤波后图像中的细节特征，初步滤波处理可以采用双边滤波或导向滤波等边缘保持滤波器可以提高后续去噪后的图像质量。
步骤103、根据目标噪声参数和初步滤波图像确定待去噪图像的噪声水平估计结果。
目标噪声参数表征了图像中噪声水平和图像像素值之间的关系，因此根据目标噪声参数和初步去除噪声影响的初步滤波图像可以确定待去噪图像的噪声水平估计结果。
在一个可行的实施例中，步骤103，包括：
确定图像采集设备的图像噪声水平表达式为：
Figure BDA0003163929600000111
其中，xp表示初步滤波图像中目标像素点的像素值，Vp表示待去噪图像中与初步滤波图像中目标像素点关联的像素点的噪声水平，n表示多项式的级数，ax,i为待去噪图像的目标噪声参数；其中，初步滤波图像与待去噪图像的图像大小相同；
基于图像噪声水平表达式，根据目标噪声参数和初步滤波图像中每个像素点的像素值确定每个像素点的噪声水平，得到噪声水平图，为待去噪图像的噪声水平估计结果。
其中，噪声水平图代表了输入的待去噪图像中每一个像素的噪声方差的估计值。根据上述可知，采用多项式函数的形式来描述噪声方差与像素亮度之间的关系，即确定图像采集设备的图像噪声水平表达式。由于目标噪声参数确定后，表示图像噪声水平表达式中的{ax,i；i＝0～n}确定，确定初步滤波图像后即确定图像噪声水平表达式中的xp，多项式的级数n在确定候选噪声参数时预先确定。
由于初步滤波图像与待去噪图像的图像大小相同，将初步滤波图像中任意一个像素点xp的像素值输入到确定的图像噪声水平表达式中，得到的噪声水平Vp为噪声水平图中与xp相同位置处的像素值。依次遍历初步滤波图像中的每个像素值，得到噪声水平图，表征待去噪图像的噪声水平估计结果。
步骤104、根据噪声水平估计结果对待去噪图像进行最终去噪处理，得到待去噪图像的最终盲去噪结果。
根据待去噪图像的噪声水平估计结果对图像进行盲去噪，实现根据图像中各个位置的噪声实际情况进行针对性去噪，提高去噪效果。
具体的，根据噪声水平估计结果确定待去噪图像的局部去噪强度，根据该局部去噪强度对待去噪图像进行最终去噪处理，得到待去噪图像的最终盲去噪结果。
在一个可行的实施例中，步骤104，包括：
将噪声水平图与待去噪图像在通道维度上进行拼接，得到合并图像；
基于预先训练的图像噪声去除网络对合并图像进行去噪处理，得到待去噪图像的最终盲去噪结果。
其中，预先训练的图像噪声去除网络为CNN网络，通过预先获取数据集进行训练得到。对图像噪声去除网络的具体网络结构不做限定，例如可采用U-Net、DnCNN等架构的CNN去噪网络模型，具体实现不再赘述。
具体的，将待去噪图像与噪声水平图进行合并后输入预设的图像噪声去除网络进行去噪处理。这样，图像噪声去除网络利用待去噪图像的噪声水平分布信息，在对待去噪图像进行去噪处理时，可以实现更好的盲去噪效果。其中，待去噪图像的最终盲去噪结果的图像尺寸与输入的待去噪图像的尺寸一致。
为了不损失图像信息，待去噪图像与噪声水平图的合并采用通道维度上的拼接实现。示例性的：设待去噪图像的宽度为w、高度为h、通道数为c，噪声水平图与待去噪图像的尺寸一致，因此其宽度、高度、通道数也分别为w、h、c；将两个图像在通道维度上进行拼接，也就是在通道维度上进行堆叠，这样得到合并图像的宽度、高度、通道数分别为w、h、2*c。
本发明实施例通过将图像噪声标定和传统滤波相结合实现对图像的噪声水平估计，提高对图像噪声水平估计的效率，在保持盲去噪效果的同时降低盲去噪方法的整体复杂度，从而降低盲去噪方法在前端图像采集设备等算力受限平台上的部署难度。
实施例二
图2是本发明实施例二中的图像盲去噪装置的结构示意图，本实施例可适用于对待去噪图像进行盲去噪的情况。如图2所示，该装置包括：
图像噪声参数确定模块210，用于根据预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果，确定所述待去噪图像的目标噪声参数；
图像初步滤波模块220，用于对所述待去噪图像进行初步滤波处理，得到所述待去噪图像的初步滤波图像；
噪声水平估计模块230，用于根据所述目标噪声参数和所述初步滤波图像确定所述待去噪图像的噪声水平估计结果；
盲去噪模块240，用于根据所述噪声水平估计结果对所述待去噪图像进行最终去噪处理，得到所述待去噪图像的最终盲去噪结果。
本发明实施例通过将图像噪声标定和传统滤波相结合实现对图像的噪声水平估计，提高对图像噪声水平估计的效率，在保持盲去噪效果的同时降低盲去噪方法的整体复杂度，从而降低盲去噪方法在前端图像采集设备等算力受限平台上的部署难度。
可选的，所述装置包括图像噪声标定模块，包括：
标定数据采集单元，用于在每个候选曝光增益值下通过所述图像采集设备对同一拍照场景采集至少两张待标定图像数据；其中，所述候选曝光增益值包括至少一个；
噪声参数确定单元，用于分别根据每个候选曝光增益值关联的所述至少两张待标定图像数据确定所述候选曝光增益值的候选噪声参数，由至少一个候选曝光增益值和关联的候选噪声参数确定所述图像采集设备的图像噪声标定结果。
可选的，噪声参数确定单元，具体用于：
确定所述图像采集设备的图像噪声水平表达式为：
Figure BDA0003163929600000141
其中，x表示目标像素点的目标像素亮度值，V(x)表示用于表征目标像素点噪声水平的噪声方差，n表示多项式的级数，ai为待标定噪声参数；
根据所述候选曝光增益值关联的所述至少两张待标定图像数据在每个像素点上的像素平均值，确定平均标定图像；
根据所述候选曝光增益值关联的所述至少两张待标定图像数据在每个像素点上的像素值方差，确定方差标定图像；
从所述平均标定图像和所述方差标定图像中确定至少n+1个像素值不同的像素对，基于所述图像噪声水平表达式根据所述像素对确定所述待标定噪声参数的值，为所述候选曝光增益值的候选噪声参数。
可选的，所述图像噪声标定结果包括至少一个候选曝光增益值和关联的候选噪声参数；
相应的，图像噪声参数确定模块，具体用于：
确定所述图像采集设备在采集所述待去噪图像时的目标曝光增益值；
基于所述目标曝光增益值与所述候选曝光增益值的关系，根据所述关联的候选噪声参数确定与所述目标噪声参数关联的目标噪声参数。
可选的，噪声水平估计模块，具体用于：
确定所述图像采集设备的图像噪声水平表达式为：
Figure BDA0003163929600000151
其中，xp表示所述初步滤波图像中目标像素点的像素值，Vp表示所述待去噪图像中与所述初步滤波图像中目标像素点关联的像素点的噪声水平，n表示多项式的级数，ax,i为所述待去噪图像的目标噪声参数；其中，所述初步滤波图像与所述待去噪图像的图像大小相同；
基于所述图像噪声水平表达式，根据所述目标噪声参数和所述初步滤波图像中每个像素点的像素值确定每个像素点的噪声水平，得到噪声水平图，为所述待去噪图像的噪声水平估计结果。
可选的，盲去噪模块，具体用于：
将所述噪声水平图与所述待去噪图像在通道维度上进行拼接，得到合并图像；
基于预先训练的图像噪声去除网络对所述合并图像进行去噪处理，得到所述待去噪图像的最终盲去噪结果。
可选的，所述初步滤波处理采用高斯滤波、均值滤波、中值滤波、双边滤波方法或导向滤波方法。
本发明实施例所提供的图像盲去噪装置可执行本发明任意实施例所提供的图像盲去噪方法，具备执行图像盲去噪方法相应的功能模块和有益效果。
实施例三
图3是本发明实施例三提供的一种电子设备的结构示意图。图3示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图3显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，***存储装置28，连接不同***组件(包括***存储装置28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
电子设备12典型地包括多种计算机***可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
***存储装置28可以包括易失性存储装置形式的计算机***可读介质，例如随机存取存储装置(RAM)30和/或高速缓存存储装置32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***34可以用于读写不可移动的、非易失性磁介质(图3未显示，通常称为“硬盘驱动器”)。尽管图3中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储装置28中，这样的程序模块42包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图3所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图3中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理单元16通过运行存储在***存储装置28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的图像盲去噪方法，包括：
根据预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果，确定所述待去噪图像的目标噪声参数；
对所述待去噪图像进行初步滤波处理，得到所述待去噪图像的初步滤波图像；
根据所述目标噪声参数和所述初步滤波图像确定所述待去噪图像的噪声水平估计结果；
根据所述噪声水平估计结果对所述待去噪图像进行最终去噪处理，得到所述待去噪图像的最终盲去噪结果。
实施例四
本发明实施例四还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的图像盲去噪方法，包括：
根据预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果，确定所述待去噪图像的目标噪声参数；
对所述待去噪图像进行初步滤波处理，得到所述待去噪图像的初步滤波图像；
根据所述目标噪声参数和所述初步滤波图像确定所述待去噪图像的噪声水平估计结果；
根据所述噪声水平估计结果对所述待去噪图像进行最终去噪处理，得到所述待去噪图像的最终盲去噪结果。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种图像盲去噪方法，其特征在于，包括：
根据预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果，确定所述待去噪图像的目标噪声参数；
对所述待去噪图像进行初步滤波处理，得到所述待去噪图像的初步滤波图像；
根据所述目标噪声参数和所述初步滤波图像确定所述待去噪图像的噪声水平估计结果；
根据所述噪声水平估计结果对所述待去噪图像进行最终去噪处理，得到所述待去噪图像的最终盲去噪结果。
2.根据权利要求1所述的方法，其特征在于，预先对待去噪图像的图像采集设备进行图像噪声标定，包括：
在每个候选曝光增益值下通过所述图像采集设备对同一拍照场景采集至少两张待标定图像数据；其中，所述候选曝光增益值包括至少一个；
分别根据每个候选曝光增益值关联的所述至少两张待标定图像数据确定所述候选曝光增益值的候选噪声参数，由至少一个候选曝光增益值和关联的候选噪声参数确定所述图像采集设备的图像噪声标定结果。
3.根据权利要求2所述的方法，其特征在于，分别根据每个候选曝光增益值关联的所述至少两张待标定图像数据确定所述候选曝光增益值的候选噪声参数，包括：
确定所述图像采集设备的图像噪声水平表达式为：
Figure FDA0003163929590000011
其中，x表示目标像素点的目标像素亮度值，V(x)表示用于表征目标像素点噪声水平的噪声方差，n表示多项式的级数，ai为待标定噪声参数；
根据所述候选曝光增益值关联的所述至少两张待标定图像数据在每个像素点上的像素平均值，确定平均标定图像；
根据所述候选曝光增益值关联的所述至少两张待标定图像数据在每个像素点上的像素值方差，确定方差标定图像；
从所述平均标定图像和所述方差标定图像中确定至少n+1个像素值不同的像素对，基于所述图像噪声水平表达式根据所述像素对确定所述待标定噪声参数的值，为所述候选曝光增益值的候选噪声参数。
4.根据权利要求1所述的方法，其特征在于，所述图像噪声标定结果包括至少一个候选曝光增益值和关联的候选噪声参数；
相应的，根据预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果，确定所述待去噪图像的目标噪声参数，包括：
确定所述图像采集设备在采集所述待去噪图像时的目标曝光增益值；
基于所述目标曝光增益值与所述候选曝光增益值的关系，根据所述关联的候选噪声参数确定与所述目标噪声参数关联的目标噪声参数。
5.根据权利要求1所述的方法，其特征在于，根据所述目标噪声参数和所述初步滤波图像确定所述待去噪图像的噪声水平估计结果，包括：
确定所述图像采集设备的图像噪声水平表达式为：
Figure FDA0003163929590000021
其中，xp表示所述初步滤波图像中目标像素点的像素值，Vp表示所述待去噪图像中与所述初步滤波图像中目标像素点关联的像素点的噪声水平，n表示多项式的级数，ax,i为所述待去噪图像的目标噪声参数；其中，所述初步滤波图像与所述待去噪图像的图像大小相同；
基于所述图像噪声水平表达式，根据所述目标噪声参数和所述初步滤波图像中每个像素点的像素值确定每个像素点的噪声水平，得到噪声水平图，为所述待去噪图像的噪声水平估计结果。
6.根据权利要求5所述的方法，其特征在于，根据所述噪声水平估计结果对所述待去噪图像进行最终去噪处理，得到所述待去噪图像的最终盲去噪结果，包括：
将所述噪声水平图与所述待去噪图像在通道维度上进行拼接，得到合并图像；
基于预先训练的图像噪声去除网络对所述合并图像进行去噪处理，得到所述待去噪图像的最终盲去噪结果。
7.根据权利要求1所述的方法，其特征在于，所述初步滤波处理采用高斯滤波、均值滤波、中值滤波、双边滤波方法或导向滤波方法。
8.一种图像盲去噪装置，其特征在于，包括：
图像噪声参数确定模块，用于根据预先对待去噪图像的图像采集设备进行图像噪声标定得到的图像噪声标定结果，确定所述待去噪图像的目标噪声参数；
图像初步滤波模块，用于对所述待去噪图像进行初步滤波处理，得到所述待去噪图像的初步滤波图像；
噪声水平估计模块，用于根据所述目标噪声参数和所述初步滤波图像确定所述待去噪图像的噪声水平估计结果；
盲去噪模块，用于根据所述噪声水平估计结果对所述待去噪图像进行最终去噪处理，得到所述待去噪图像的最终盲去噪结果。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的图像盲去噪方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的图像盲去噪方法。
CN202110799034.1A 2021-07-15 2021-07-15 图像盲去噪方法、装置、电子设备和存储介质 Pending CN115619652A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110799034.1A CN115619652A (zh) 2021-07-15 2021-07-15 图像盲去噪方法、装置、电子设备和存储介质
PCT/CN2021/136268 WO2023284236A1 (zh) 2021-07-15 2021-12-08 图像盲去噪方法、装置、电子设备和存储介质
EP21950008.9A EP4372671A1 (en) 2021-07-15 2021-12-08 Blind image denoising method and apparatus, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110799034.1A CN115619652A (zh) 2021-07-15 2021-07-15 图像盲去噪方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN115619652A true CN115619652A (zh) 2023-01-17

Family

ID=84855420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110799034.1A Pending CN115619652A (zh) 2021-07-15 2021-07-15 图像盲去噪方法、装置、电子设备和存储介质

Country Status (3)

Country Link
EP (1) EP4372671A1 (zh)
CN (1) CN115619652A (zh)
WO (1) WO2023284236A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109524A (zh) * 2023-04-11 2023-05-12 中国医学科学院北京协和医院 磁共振图像通道合并方法、装置、电子设备及存储介质
CN118071635A (zh) * 2024-04-19 2024-05-24 中国南方电网有限责任公司超高压输电公司电力科研院 紫外检测图像的噪声处理方法、装置、计算机设备和介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745593B (zh) * 2023-12-29 2024-07-05 湖北大学 一种基于扩散模型老照片划痕修复方法与***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021533B (zh) * 2014-06-24 2017-03-01 浙江宇视科技有限公司 一种实时图像降噪方法及装置
CN104504700B (zh) * 2014-12-19 2017-12-26 成都品果科技有限公司 一种获取图像传感器噪声水平曲线的方法及***
CN107645621A (zh) * 2016-07-20 2018-01-30 阿里巴巴集团控股有限公司 一种视频处理的方法和设备
CN109285129A (zh) * 2018-09-06 2019-01-29 哈尔滨工业大学 基于卷积神经网络的图像真实噪声去除***
CN112513936A (zh) * 2019-11-29 2021-03-16 深圳市大疆创新科技有限公司 图像处理方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109524A (zh) * 2023-04-11 2023-05-12 中国医学科学院北京协和医院 磁共振图像通道合并方法、装置、电子设备及存储介质
CN118071635A (zh) * 2024-04-19 2024-05-24 中国南方电网有限责任公司超高压输电公司电力科研院 紫外检测图像的噪声处理方法、装置、计算机设备和介质

Also Published As

Publication number Publication date
EP4372671A1 (en) 2024-05-22
WO2023284236A1 (zh) 2023-01-19

Similar Documents

Publication Publication Date Title
CN115619652A (zh) 图像盲去噪方法、装置、电子设备和存储介质
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
US8908989B2 (en) Recursive conditional means image denoising
CN108230292B (zh) 物体检测方法和神经网络的训练方法、装置及电子设备
WO2022134971A1 (zh) 一种降噪模型的训练方法及相关装置
US20230177641A1 (en) Neural network training method, image processing method, and apparatus
JP7362297B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN111445418A (zh) 图像去雾处理方法、装置及计算机设备
CN111695421B (zh) 图像识别方法、装置及电子设备
CN112446380A (zh) 图像处理方法和装置
CN111192226B (zh) 一种图像融合去噪方法及装置、***
US9558534B2 (en) Image processing apparatus, image processing method, and medium
WO2013184571A1 (en) Maximizing perceptual quality and naturalness of captured images
CN112703532B (zh) 图像处理方法、装置、设备及存储介质
CN114529946A (zh) 基于自监督学习的行人重识别方法、装置、设备及存储介质
CN117392615B (zh) 一种基于监控视频的异常识别方法及***
KR20180109658A (ko) 영상 처리 방법과 장치
WO2020087434A1 (zh) 一种人脸图像清晰度评价方法及装置
CN111445496B (zh) 一种水下图像识别跟踪***及方法
CN113888438A (zh) 图像处理方法、装置及存储介质
CN111932466B (zh) 一种图像去雾方法、电子设备及存储介质
CN113160082B (zh) 一种基于参考图像的晕影校正方法、***、装置及介质
CN113645419A (zh) 图像处理方法及装置、电子设备及计算机可读存储介质
CN115239569A (zh) 图像暗角移除方法、全景图像生成方法和相关设备
CN113486788A (zh) 视频相似度确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination