CN114331902B - 一种降噪方法、装置、电子设备及介质 - Google Patents

一种降噪方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN114331902B
CN114331902B CN202111663744.8A CN202111663744A CN114331902B CN 114331902 B CN114331902 B CN 114331902B CN 202111663744 A CN202111663744 A CN 202111663744A CN 114331902 B CN114331902 B CN 114331902B
Authority
CN
China
Prior art keywords
image
images
cutting
noiseless
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111663744.8A
Other languages
English (en)
Other versions
CN114331902A (zh
Inventor
王林
周晓
朱才志
汝佩哲
孙耀晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Intelingda Information Technology Co ltd
Intelingda Information Technology Shenzhen Co ltd
Original Assignee
Hefei Intelingda Information Technology Co ltd
Intelingda Information Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Intelingda Information Technology Co ltd, Intelingda Information Technology Shenzhen Co ltd filed Critical Hefei Intelingda Information Technology Co ltd
Priority to CN202111663744.8A priority Critical patent/CN114331902B/zh
Publication of CN114331902A publication Critical patent/CN114331902A/zh
Application granted granted Critical
Publication of CN114331902B publication Critical patent/CN114331902B/zh
Priority to PCT/CN2022/142016 priority patent/WO2023125440A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种降噪方法、装置、电子设备及介质，涉及图像处理技术领域，该方法包括：将待处理图像输入图像降噪模型，图像降噪模型为基于预设训练集对卷积神经网络模型训练得到的模型，预设训练集中包括多组标注数据以及每组标注数据对应的样本数据；其中，一组标注数据包括对一张基准无噪声图像进行模拟运动处理后得到的多张无噪声图像，该组标注数据对应的样本数据包括对多张无噪声图像分别叠加噪声后得到的图像；获取图像降噪模型输出的降噪后的图像数据；将图像数据转换为图像，得到待处理图像对应的降噪后的图像。可以有效避免降噪后的图像存在重影的问题。

Description

一种降噪方法、装置、电子设备及介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种降噪方法、装置、电子设备及介质。
背景技术
目前对于图像或者视频进行降噪主要采用多帧降噪的方式，即，获取要进行降噪的图像的前后几帧图像，对获取到的多帧图像采取叠加平均值的方法进行降噪。
而在拍摄图像或者视频时，拍摄设备可能会存在抖动，被拍摄的物体也可能是运动中的物体，所以这种对多帧图像叠加平均值的降噪方式会导致降噪后的图像或视频中存在重影。
发明内容
本申请实施例的目的在于提供一种降噪方法、装置、电子设备及介质，用以解决对视频或者图像降噪会产生重影的问题。具体技术方案如下：
第一方面，本申请实施例提供一种降噪方法，包括：
将待处理图像输入图像降噪模型，所述图像降噪模型为基于预设训练集对卷积神经网络模型训练得到的模型，所述预设训练集中包括多组标注数据以及每组标注数据对应的样本数据；其中，一组标注数据包括对一张基准无噪声图像进行模拟运动处理后得到的多张无噪声图像，该组标注数据对应的样本数据包括对所述多张无噪声图像分别叠加噪声后得到的图像；
获取所述图像降噪模型输出的降噪后的图像数据；
将所述图像数据转换为图像，得到所述待处理图像对应的降噪后的图像。
在一种可能的实现方式中，所述预设训练集通过以下步骤得到：
采集多张基准无噪声图像；
针对每张基准无噪声图像，从该基准无噪声图像截取多张形状相同、面积相同、具有重叠区域且不完全相同的图像，将截取出的图像作为一组标注数据；
对每组标注数据包括的多张图像分别叠加噪声，得到每组标注数据对应的样本数据；
将得到的多组标注数据以及每组标注数据对应的样本数据生成所述预设训练集。
在一种可能的实现方式中，所述预设训练集通过以下步骤得到：
采集多张基准无噪声图像；
每次从所述多张基准无噪声图像中选择两张图像分别作为前景图像和背景图像；
按照第一指定形状和第一指定尺寸裁剪所述背景图像；
按照所述第一指定形状和第二指定尺寸裁剪所述前景图像，对裁剪后的前景图像进行掩膜处理，得到第二指定形状的前景图像；
将所述第二指定形状的前景图像叠加在裁剪后的背景图像上的起始位置，将所述第二指定的前景图像在所述背景图像上按照预设速度朝预设方向平移，将平移过程中的多个时刻的图像作为一组标注数据；
对每组标注数据包括的多张图像分别叠加噪声，得到每组标注数据对应的样本数据；
将得到的多组标注数据以及每组标注数据对应的样本数据生成所述预设训练集。
在一种可能的实现方式中，在所述将得到的多组标注数据以及每组标注数据对应的样本数据生成所述预设训练集之前，所述方法还包括：
每次从所述多张基准无噪声图像中选择两张图像分别作为前景图像和背景图像；
按照第一指定形状和第一指定尺寸裁剪所述背景图像；
按照所述第一指定形状和第二指定尺寸裁剪所述前景图像，对裁剪后的前景图像进行掩膜处理，得到第二指定形状的前景图像，所述第二指定尺寸小于所述第一指定尺寸；
将所述第二指定形状的前景图像叠加在背景图像上的起始位置，将所述第二指定形状的前景图像在所述背景图像上按照预设速度朝预设方向平移，采集平移过程中多个时刻的图像作为一组标注数据。
在一种可能的实现方式中，所述针对每张基准无噪声图像，从该基准无噪声图像截取多张形状相同、面积相同、具有重叠区域且不完全相同的图像，将截取出的图像作为一组标注数据，包括：
针对每张基准无噪声图像，从该基准无噪声图像中随机选择一个位置作为起始裁剪坐标；
在所述基准无噪声图像的起始裁剪坐标处裁剪指定边长的正方形，作为一张裁剪图像；
将所述起始裁剪坐标进行随机偏移，得到下一个裁剪坐标，在所述基准无噪声图像的下一个裁剪坐标处裁剪所述指定边长的正方形，作为一张裁剪图像；
每对裁剪坐标进行一次随机偏移，从所述基准无噪声图像中裁剪出一张裁剪图像，直至得到预设数量的裁剪图像，将所述预设数量的裁剪图像作为一组标注数据。
在一种可能的实现方式中，所述采集多张基准无噪声图像，包括：
采集感光度被设置为最低值的拍摄设备拍摄到的多张静态RAW图像；
针对每张静态RAW图像，将该静态RAW图像分别处理为不同的亮度值，得到多张基准无噪声图像。
在一种可能的实现方式中，所述图像降噪模型通过以下步骤训练得到：
将所述预设训练集包括的一组样本数据中的第一帧图像与自身进行拼接后，将拼接后的图像输入所述卷积神经网络模型，依次由所述神经网络模型包括的第一卷积网络和第二卷积网络处理拼接后的图像；
获取所述第一卷积网络输出的中间降噪图像和所述第二卷积网络输出的最终降噪图像；
基于所述最终降噪图像与所述第一帧图像计算损失函数值；
根据所述损失函数值判断所述卷积神经网络模型是否收敛；
若未收敛，则基于所述损失函数值调整所述卷积神经网络模型的参数，并将所述一组样本数据中的下一帧图像与所述第一卷积网络最近一次输出的中间降噪图像进行拼接，返回所述将拼接后的图像输入所述卷积神经网络模型的步骤，直至所述卷积神经网络模型收敛时，则将训练得到的卷积神经网络模型作为所述图像降噪模型。
第二方面，本申请实施例提供一种降噪装置，包括：
第一输入模块，用于将待处理图像输入图像降噪模型，所述图像降噪模型为基于预设训练集对卷积神经网络模型训练得到的模型，所述预设训练集中包括多组标注数据以及每组标注数据对应的样本数据；其中，一组标注数据包括对一张基准无噪声图像进行模拟运动处理后得到的多张无噪声图像，该组标注数据对应的样本数据包括对所述多张无噪声图像分别叠加噪声后得到的图像；
第一获取模块，用于获取所述图像降噪模型输出的降噪后的图像数据；
转换模块，用于将所述图像数据转换为图像，得到所述待处理图像对应的降噪后的图像。
在一种可能的实现方式中，所述装置还包括：
采集模块，用于采集多张基准无噪声图像；
截取模块，用于针对每张基准无噪声图像，从该基准无噪声图像截取多张形状相同、面积相同、具有重叠区域且不完全相同的图像，将截取出的图像作为一组标注数据；
第一叠加模块，用于对每组标注数据包括的多张图像分别叠加噪声，得到每组标注数据对应的样本数据；
第一生成模块，用于将得到的多组标注数据以及每组标注数据对应的样本数据生成所述预设训练集。
在一种可能的实现方式中，所述装置还包括：
采集模块，用于采集多张基准无噪声图像；
第一选择模块，用于每次从所述多张基准无噪声图像中选择两张图像分别作为前景图像和背景图像；
第一裁剪模块，用于按照第一指定形状和第一指定尺寸裁剪所述背景图像；
第一处理模块，用于按照所述第一指定形状和第二指定尺寸裁剪所述前景图像，对裁剪后的前景图像进行掩膜处理，得到第二指定形状的前景图像；
第一平移模块，用于将所述第二指定形状的前景图像叠加在裁剪后的背景图像上的起始位置，将所述第二指定的前景图像在所述背景图像上按照预设速度朝预设方向平移，将平移过程中的多个时刻的图像作为一组标注数据；
第二叠加模块，用于对每组标注数据包括的多张图像分别叠加噪声，得到每组标注数据对应的样本数据；
第二生成模块，用于将得到的多组标注数据以及每组标注数据对应的样本数据生成所述预设训练集。
在一种可能的实现方式中，所述装置还包括：
第二选择模块，用于每次从所述多张基准无噪声图像中选择两张图像分别作为前景图像和背景图像；
第二裁剪模块，用于按照第一指定形状和第一指定尺寸裁剪所述背景图像；
第二处理模块，用于按照所述第一指定形状和第二指定尺寸裁剪所述前景图像，对裁剪后的前景图像进行掩膜处理，得到第二指定形状的前景图像，所述第二指定尺寸小于所述第一指定尺寸；
第二平移模块，用于将所述第二指定形状的前景图像叠加在背景图像上的起始位置，将所述第二指定形状的前景图像在所述背景图像上按照预设速度朝预设方向平移，采集平移过程中多个时刻的图像作为一组标注数据。
在一种可能的实现方式中，所述截取模块，具体用于：
针对每张基准无噪声图像，从该基准无噪声图像中随机选择一个位置作为起始裁剪坐标；
在所述基准无噪声图像的起始裁剪坐标处裁剪指定边长的正方形，作为一张裁剪图像；
将所述起始裁剪坐标进行随机偏移，得到下一个裁剪坐标，在所述基准无噪声图像的下一个裁剪坐标处裁剪所述指定边长的正方形，作为一张裁剪图像；
每对裁剪坐标进行一次随机偏移，从所述基准无噪声图像中裁剪出一张裁剪图像，直至得到预设数量的裁剪图像，将所述预设数量的裁剪图像作为一组标注数据。
在一种可能的实现方式中，所述采集模块，具体用于：
采集感光度被设置为最低值的拍摄设备拍摄到的多张静态RAW图像；
针对每张静态RAW图像，将该静态RAW图像分别处理为不同的亮度值，得到多张基准无噪声图像。
在一种可能的实现方式中，所述装置还包括：
第二输入模块，用于将所述预设训练集包括的一组样本数据中的第一帧图像与自身进行拼接后，将拼接后的图像输入所述卷积神经网络模型，依次由所述神经网络模型包括的第一卷积网络和第二卷积网络处理拼接后的图像；
第二获取模块，用于获取所述第一卷积网络输出的中间降噪图像和所述第二卷积网络输出的最终降噪图像；
计算模块，用于基于所述最终降噪图像与所述第一帧图像计算损失函数值；
判断模块，用于根据所述损失函数值判断所述卷积神经网络模型是否收敛；若未收敛，则触发调整模块基于所述损失函数值调整所述卷积神经网络模型的参数，并将所述一组样本数据中的下一帧图像与所述第一卷积网络最近一次输出的中间降噪图像进行拼接，触发所述第二输入模块执行所述将拼接后的图像输入所述卷积神经网络模型的步骤，直至所述判断模块所述卷积神经网络模型收敛时，则将训练得到的卷积神经网络模型作为所述图像降噪模型。
第三方面，本申请实施例提供了一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
第五方面，本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的降噪方法。
采用本申请实施例，可以通过图像降噪模型对待处理图像进行降噪，预设训练集中的标注数据为对基准无噪声图像进行模拟运动处理后得到的多张无噪声图像，标注数据对应的样本数据包括对多张无噪声图像分别叠加噪声后得到的图像，因样本数据和标注数据模拟了图像运动，所以采用该预设训练集训练出的图像降噪模型在降噪时具有去重影效果，使得降噪得到的图像无重影，更加清晰。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的一种降噪方法的流程图；
图2为本申请实施例提供的另一种降噪方法的流程图；
图3为本申请实施例提供的一种图像截取方法的示例性示意图；
图4为本申请实施例提供的另一种降噪方法的流程图；
图5为本申请实施例提供的一直图像掩膜处理的示例性示意图；
图6为本申请实施例提供的一种图像平移的示例性示意图；
图7为本申请实施例提供的另一种降噪方法的流程图；
图8为本申请实施例提供的另一种降噪方法的流程图；
图9为本申请实施例提供的一种卷积神经网络结构图；
图10为本申请实施例提供的一种图像降噪效果对比的示例性示意图；
图11为本申请实施例提供一种降噪装置的结构示意图；
图12为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
为了得到更清晰的降噪图像或降噪视频，本申请实施例提供了一种降噪方法，如图1所示，该方法包括：
S101、将待处理图像输入图像降噪模型。
其中，图像降噪模型为基于预设训练集对卷积神经网络模型训练得到的模型，预设训练集中包括多组标注数据以及每组标注数据对应的样本数据；其中，一组标注数据包括对一张基准无噪声图像进行模拟运动处理后得到的多张无噪声图像，该组标注数据对应的样本数据包括对多张无噪声图像分别叠加噪声后得到的图像。
也就是说，一组标注数据对应一组样本数据，一组标注数据中的无噪声图像与一组样本数据中的有噪声的图像有一一对应的关系。
待处理图像可以为需要被降噪的图像，具体可以为一张照片，或者是一段视频中的每一帧图像。
S102、获取图像降噪模型输出的降噪后的图像数据。
降噪模型输出的图像数据为降噪后的图像的原始图像格式(RAW Image Format，RAW)数据。
S103、将图像数据转换为图像，得到待处理图像对应的降噪后的图像。
在本申请实施例中，为了呈现给用户最佳视觉效果，需要将图像数据转换为标准红绿蓝(standard Red Green Blue，SRGB)图像，可以通过图像信号处理(Image SignalProcessor，ISP)算法将图像数据转换为SRGB图像，即，可以得到降噪后的SRGB图像。
可以理解的是，如果需要对视频进行降噪，则可分别对该视频帧的每个视频帧进行降噪，从而得到降噪后的视频。
采用本申请实施例，可以通过图像降噪模型对待处理图像进行降噪，预设训练集中的标注数据为对基准无噪声图像进行模拟运动处理后得到的多张无噪声图像，标注数据对应的样本数据包括对多张无噪声图像分别叠加噪声后得到的图像，因样本数据和标注数据模拟了图像运动，所以采用该预设训练集训练出的图像降噪模型在降噪时具有去重影效果，使得降噪得到的图像无重影，更加清晰。
为了实现图1所示的方法流程，需要先训练得到图像降噪模型，为了使得训练出的图像降噪模型能够处理拍摄设备在运动场景下拍摄得到图像，需要生成能够准确模拟相机运动的样本图像。以下对生成训练集的方法进行介绍。
在一种实施方式中，为了模拟在拍摄时，拍摄设备存整体运动的情形，比如相机存在抖动，如图2所示，预设训练集通过以下步骤得到：
S201、采集多张基准无噪声图像。
其中，该步骤具体可以实现为：采集感光度值被设置为最低值的拍摄设备拍摄到的多张静态RAW图像；针对每张静态RAW图像，将该静态RAW图像分别处理为不同的亮度值，得到多张基准无噪声图像。
本申请实施例中的感光度可以为国际标准化组织(International StandardsOrganization，ISO)规定的感光度。
在拍摄图像时，拍摄设备的ISO值设置的越低，拍摄得到的图像的噪声强度就越小。
所以在本申请实施例中，为了获取基准无噪声图像，可以使用ISO值被设置为最低值的拍摄设备拍摄到的多张静态RAW图像，将多张静态RAW图像作为基准无噪声图像。
拍摄设备可以为智能手机、数码相机等具有图像拍摄功能的设备，本申请实施例不做具体限定。
本申请实施例中，可以拍摄固定亮度下的张静态RAW图像，然后可以针对每张静态RAW图像，将该静态RAW图像分别处理为不同的亮度值，得到多张基准无噪声图像。
由于图像的RAW域数据和光照强度呈线性关系，所以为可通过以下公式得到多种亮度下的基准无噪声图像：
gti＝gt0/ratioi
其中gt0为图像在固定亮度下拍摄得到的静态RAW图像的数据，ratioi为亮度倍率，ratioi可以为1、2或3等整数值，可根据实际需求设置。
图像的RAW域数据与入射光强度程线性关系，并且RAW域噪声可以基于物理成像过程进行建模，所以基于图像的RAW域数据可以很好的使用监督学习对卷积神经网络模型进行训练，从而得到图像降噪模型。
S202、针对每张基准无噪声图像，从该基准无噪声图像截取多张形状相同、面积相同、具有重叠区域且不完全相同的图像，将截取出的图像作为一组标注数据。
其中，针对每张基准无噪声图像，可以从该基准无噪声图像中随机选择一个位置作为起始裁剪坐标。在基准无噪声图像的起始裁剪坐标处裁剪指定边长的正方形，作为一张裁剪图像。
其中，指定边长可以为PATCH_SIZE，PATCH_SIZE为上述图像降噪模型的卷积神经网络内核的输入大小。
然后，将起始裁剪坐标进行随机偏移，得到下一个裁剪坐标，在基准无噪声图像的下一个裁剪坐标处裁剪指定边长的正方形，作为一张裁剪图像。
假设起始裁剪坐标为(x0，y0)，后续图像的起始裁剪坐标为(xi，yi)，则后续坐标通过以下公式计算得到：
xi＝x0+random_x
yi＝y0+random_y
其中random_x表示横坐标x0的随机偏移量，random_y表示纵坐标y0的随机偏移量，随机偏移量可以由技术人员进行设置。
假设基准无噪声图像的高为H、宽为W，为了保证裁剪图像不会偏移出基准无噪声图像，起始裁剪坐标(x0，y0)的横坐标和纵坐标的取值范围为：
RANGE≤x0≤W-1-PATCH_SIZE-RANGE
RANGE≤y0≤H-1-PATCH_SIZE-RANGE
其中，RANGE为预先设置的随机偏移量的最大值，例如RANGE可以为100。
每对裁剪坐标进行一次随机偏移，从基准无噪声图像中裁剪出一张裁剪图像，直至得到预设数量的裁剪图像，将预设数量的裁剪图像作为一组标注数据。
如图3所示，图3为通过上述方式裁剪图像的示意图，图3中的每个正方形为一张裁剪图像，从图3中可以看出，图3中的多张裁剪图像具有重叠，但又不完全重合，相当于模拟了拍摄设备在抖动时，拍摄得到的多张图像或者连续的视频帧，采用该方法可以得到能够模拟拍摄设备真实运动场景的图像。
S203、对每组标注数据包括的多张图像分别叠加噪声，得到每组标注数据对应的样本数据。
本申请实施例中，采取以下公式对标注数据中的图像叠加噪声：
noisei＝possion(gti)+gaussian
其中，noisei表示叠加噪声后图像的RAW数据，gti表示未叠加噪声的图像RAW数据，函数possion()表示叠加泊松噪声，gaussian表示叠加高斯噪声。
S204、将得到的多组标注数据以及每组标注数据对应的样本数据生成预设训练集。
采用该方法，可以通过预先采集多张基准无噪声图像，通过从基准无噪声图像截取多张形状相同、面积相同、具有重叠区域且不完全相同的图像，将截取出的图像作为一组标注数据，模拟拍摄图像或者视频时，拍摄设备抖动的情形，再进一步对多张标注数据进行叠加噪声处理，相当得到了在拍摄设备存在抖动情况下拍摄得到的有噪声的视频帧序列，将有噪声的视频帧序列作为样本数据对卷积神经网络进行训练，相当于训练模型过程中考虑到了相机抖动的情况，即考虑了图像运动的情况，使得训练得到的降噪模型可以对视频或图像进行降噪处理，且降噪后的视频或图像中不会存在重影，相比于现有技术提高了降噪效果。
在另一实施方式中，为了模拟拍摄设备静止，但被拍摄物体为运动物体的情形，如图4所示，预设训练集通过以下步骤得到：
S401、采集多张基准无噪声图像。
基准无噪声图像的采集过程可以参考上述S201中的描述，此处不再重复描述。
S402、每次从多张基准无噪声图像中选择两张图像分别作为前景图像和背景图像。
可以从多张基准无噪声图像中随机选择两张图像，也可以按照一定的顺序选择两张图像，本申请实施例对此不作限定。可将选择的其中一张图像作为前景图像，将另一张图像作为背景图像。
S403、按照第一指定形状和第一指定尺寸裁剪背景图像。
其中，第一指定形状可以为矩形，具体可以为正方形，相应地第一指定尺寸为方形的边长，该边长可以为PATCH_SIZE，PATCH_SIZE为上述图像降噪模型的卷积神经网络内核的输入大小。
可以将背景图像裁剪为边长为PATCH_SIZE的正方形图像。
S404、按照第一指定形状和第二指定尺寸裁剪前景图像，对裁剪后的前景图像进行掩膜处理，得到第二指定形状的前景图像。
其中，第二尺寸远小于第一尺寸，假设裁剪前景图像的长和宽分别为w和h，则w和h要远远小于PATCH_SIZE。
第二指定形状可以为矩形、椭圆、菱形等，也可以为不规则形状，比如为矩形、椭圆和菱形等多种图形的组合变种。
由于实际拍摄过程中运动的物体形状通常是不规则的，而裁剪得到的前景图像为矩形，所以为了模拟运动物体的形状，需要对裁剪后的图像进行掩膜处理，以获得不规则的前景图像。
如图5所示，图5中有数字“1”的位置为掩膜处理后前景图像中保留的像素，有数字“0”的位置被设置为了透明，相当于掩膜处理后肉眼只能看到图5中有数字“1”的区域。
掩膜处理使得前景图像更接近真实物体的形状，使得预设训练集训练得到的降噪模型能够对图像中物体的边缘降噪处理效果更好。
S405、将第二指定形状的前景图像叠加在裁剪后的背景图像上的起始位置，将第二指定的前景图像在背景图像上按照预设速度朝预设方向平移，将平移过程中的多个时刻的图像作为一组标注数据。
假设前景图像的平移起始位置为(x0，y0)，则后续图像平移后的位置(xi，yi)可以由下列公式计算得到：
xi＝x0+v*i
yi＝y0+v*i
其中v表示预设速度，V为0到40之间的随机整数，i表示移动时刻。
为了防止前景图像移动出背景图像的范围，前景图像的位置(xi，yi)需要满足以下条件：
0≤xi≤PATCH_SIZE-1-w
0≤yi≤PATCH_SIZE-1-h
其中，PATCH_SIZE为背景图像边长，w和h分别表示前景图像的宽和高。
以此来保证前景图像始终在背景图像内部平移。
如图6所示，图6中背景图像为图像A。前景图像为图像B，图像B在图像B内部按上述方法进行平移。
S406、对每组标注数据包括的多张图像分别叠加噪声，得到每组标注数据对应的样本数据。
可以理解的是，每执行一次S402-S405可得到一组标注数据，每得到一组标注数据即可对该组标注数据包括的多张图像分别叠加噪声。
其中，叠加噪声方式与上述S203中描述方法一致，可参考S203中的相关描述，此处不再赘述。
S407、将得到的多组标注数据以及每组标注数据对应的样本数据生成预设训练集。
采用该方法，可以通过预先采集多张基准无噪声图像，从中选取两张图像，分别裁剪成前景图像和背景图像，将前景图像叠加在背景图像上的起始位置，再从起始位置开始平移，将平移过程中的多个时刻的图像作为一组标注数据，对标注数据叠加噪声，相当得到了在拍摄设备在静止情况下拍摄运动物体得到的有噪声的视频，也就得到了包括标注数据和每组标注数据对应的样本数据的预设训练集。通过该预设训练集训练得到的图像降噪模型，可以对相机拍摄到的包括运动物体的图像或视频进行很好的降噪，不会产生重影。
在另一实施方式中，如图7所示，预设训练集还可以通过以下步骤得到：
S701、采集多张基准无噪声图像。
S702、针对每张基准无噪声图像，从该基准无噪声图像截取多张形状相同、面积相同、具有重叠区域且不完全相同的图像，将截取出的图像作为一组标注数据。
S701-S702与S201-S202一致，可以参考上述S201-S202中的有关描述，此处不再赘述。
S703、每次从多张基准无噪声图像中选择两张图像分别作为前景图像和背景图像。
S704、按照第一指定形状和第一指定尺寸裁剪背景图像。
S705、按照第一指定形状和第二指定尺寸裁剪前景图像，对裁剪后的前景图像进行掩膜处理，得到第二指定形状的前景图像，第二指定尺寸小于第一指定尺寸。
S706、将第二指定形状的前景图像叠加在背景图像上的起始位置，将第二指定形状的前景图像在背景图像上按照预设速度朝预设方向平移，采集平移过程中多个时刻的图像作为一组标注数据。
S703至S706具体实施方式与上述S402至S405实施方式一致，可以参考上述S402至S405实施例中的有关描述，此处不再赘述。
S707、对每组标注数据包括的多张图像分别叠加噪声，得到每组标注数据对应的样本数据。
其中，该步骤中处理的标注数据包括S702中得到的标注数据，也包括S706中得到的标注数据。
S708、将得到的多组标注数据以及每组标注数据对应的样本数据生成预设训练集。
需要说明的是，本申请实施例提供了两种模拟运动场景，分别为拍摄设备抖动而被拍摄物体静止场景和拍摄设备静止而被拍摄物体运动场景，预设训练集可以为对其中一种运动场景进行模拟得到，也可以为对两种运动场景都进行模拟得到。
采用该方法，从采集到的基准无噪声图像截取多张形状相同、面积相同、具有重叠区域且不完全相同的图像，将截取出的图像作为一组标注数据，相当于模拟了拍摄设备抖动而被拍摄物体静止场景；从多张基准无噪声图像中选择两张图像分别作为前景图像和背景图像，让前景图像在背景图像上平移，相当于模拟了拍摄设备静止而被拍摄物体运动场景，也就是说，最终得到的预设训练集为对两种运动场景都进行模拟得到，进而，使用预设训练集训练的降噪模型可以更好地处理拍摄设备在各种运动情况下拍摄的图像或视频，提升了降噪能力和去除重影能力。
在本申请另一实施例中，如图8所示，图像降噪模型通过以下步骤训练得到：
S801、将预设训练集包括的一组样本数据中的第一帧图像与自身进行拼接后，将拼接后的图像输入卷积神经网络模型，依次由神经网络模型包括的第一卷积网络和第二卷积网络处理拼接后的图像。
其中，一组样本数据包括的多张图像是对相同的基准无噪声图像处理得到的，所以一组样本数据可以看作一个视频帧序列，该组样本数据中的第一张图像即为第一帧图像。
S802、获取第一卷积网络输出的中间降噪图像和第二卷积网络输出的最终降噪图像。
本申请实施例中，如图9所示，卷积神经网络模型包括第一卷积网络和第二卷积网络。其中，第一卷积网络至少包括卷积激活层和卷积层，第二卷积网络至少包括卷积激活层和卷积层。本申请实施例不对第一卷积网络和第二卷积网络的具体结构进行限制。其中第一卷积网络在处理当前帧图像时会输出一个中间降噪图像，即对当前帧图像进行部分降噪后得到的图像。最终降噪图像为当前帧经过第一和第二两个卷积网络降噪处理得到的图像。
如图9所示，frame[t]表示一组标注数据中的第t帧图像，fused_frame[t-1]表示第t-1帧图像的中间降噪图像，将frame[t]和fused_frame[t-1]拼接输入第一卷积网络，得到第t帧图像的中间降噪图像fused_frame[t]，然后将fused_frame[t]输入第二卷积网络最终得到输出结果output[t]，即对frame[t]降噪后的最终降噪图像。
在将该组标注数据中的第t+1帧图像frame[t+1]输入该卷积神经网络模型时，需将fused_frame[t]与frame[t+1]进行拼接，将拼接结果输入到第一卷积网络，得到第t+1帧图像的中间降噪图像used_frame[t+1]，再将fused_frame[t+1]输入第二卷积网络得到最终输出结果output[t+1]，即对frame[t+1]降噪后的最终降噪图像。
需要说明的是，当t＝0时，即第一帧输入时，由于没有上一帧的中间降噪图像，所以拼接时为第一帧与自身拼接。
为了方便理解，图9中示出了卷积神经网络模型对连续两帧图像的处理过程，实际应用中，本申请实施例中的卷积神经网络模型只包括图9中的一个第一卷积网络和一个第二卷积网络。
S803、基于最终降噪图像与第一帧图像计算损失函数值。
本申请实施例中，最终降噪图像为预设训练集中样本数据中的图像经过卷积神经网络的处理后得到降噪图像。
损失函数值计算公式为：
loss＝|output-gti|
其中，output表示模型输出的降噪图像的RAW数据，gti表示预设训练集中与输入的样本数据中的图像对应的标注数据中的图像的RAW数据。
S804、根据损失函数值判断卷积神经网络模型是否收敛。若未收敛，则基于损失函数值调整卷积神经网络模型的参数，并将一组样本数据中的下一帧图像与第一卷积网络最近一次输出的中间降噪图像进行拼接，返回将拼接后的图像输入卷积神经网络模型的步骤，直至卷积神经网络模型收敛时，则将训练得到的卷积神经网络模型作为图像降噪模型。
采用本申请实施例，由于训练卷积神经网络模型时，在采用卷积神经网络模型对每张图像进行降噪时，将该图像与上一张图像的中间降噪图像拼接后输入该卷积神经网络模型，且相邻两帧图像能够反映拍摄设备或所拍摄的物体的运动，将该图像与上一张图像的中间降噪图像拼接后会有重影。而该图像对应的标注图像是无重影无噪声的，所以基于该卷积神经网络对拼接图像的最终降噪图像与无重影无噪声的标注图像计算损失函数值，可以使得训练完成的图像降噪模型能够去除图像中的重影和噪声，得到更清晰的降噪图像。
可以理解的是，在应用图像降噪模型的过程中，如果待处理图像为视频帧序列中的一帧，则将该待处理图像和上一帧图像的中间降噪结果拼接后输入图像降噪模型，进而可获取图像降噪模型输出的对待处理图像降噪后的图像数据，按照该方法可以获取视频帧序列中的每一帧图像降噪后的图像数据，进而可以得到降噪后的视频。
如果待处理图像为静态图像，则将待处理图像与自身拼接后输入图像降噪模型，进而可获取图像降噪模型输出的对待处理图像降噪后的图像数据。
如图10所示，图10中图像A为用户拍摄的t时刻的原始噪声的图像。
图像B为采用现有对多帧图像叠加平均值的降噪方法对图像A进行降噪处理得到的图像，即对用户拍摄到的t-2、t-1、t、t+1、t+2时刻的5帧图像进行叠加平均值处理，可以看出图像B相比于图像A，在图像静止的背景部分有降噪效果，但对于图像前景部分，也就是图像中运动的人像，存在严重重影的问题。
图像C为使用本申请提供的降噪模型对图像A进行降噪后的图像，图像C中，不论是静止的背景部分还是运动的前景人像，都有很好的降噪效果，并且前景人像部分不存在重影问题，可以看出，与现有技术相比，本申请提供的降噪模型可很好的对图像进行降噪，并且不会产生重影问题。
对应于上述方法实施例，本申请实施例还提供了一种图像降噪装置，如图11所示，该装置包括：
第一输入模块1101，用于将待处理图像输入图像降噪模型，图像降噪模型为基于预设训练集对卷积神经网络模型训练得到的模型，预设训练集中包括多组标注数据以及每组标注数据对应的样本数据；其中，一组标注数据包括对一张基准无噪声图像进行模拟运动处理后得到的多张无噪声图像，该组标注数据对应的样本数据包括对多张无噪声图像分别叠加噪声后得到的图像；
第一获取模块1102，用于获取图像降噪模型输出的降噪后的图像数据；
转换模块1103，用于将图像数据转换为图像，得到待处理图像对应的降噪后的图像。
在本申请另一实施例中，该装置还包括：
采集模块，用于采集多张基准无噪声图像；
截取模块，用于针对每张基准无噪声图像，从该基准无噪声图像截取多张形状相同、面积相同、具有重叠区域且不完全相同的图像，将截取出的图像作为一组标注数据；
第一叠加模块，用于对每组标注数据包括的多张图像分别叠加噪声，得到每组标注数据对应的样本数据；
第一生成模块，用于将得到的多组标注数据以及每组标注数据对应的样本数据生成预设训练集。
在本申请另一实施例中，该装置还包括：
采集模块，用于采集多张基准无噪声图像；
第一选择模块，用于每次从多张基准无噪声图像中选择两张图像分别作为前景图像和背景图像；
第一裁剪模块，用于按照第一指定形状和第一指定尺寸裁剪背景图像；
第一处理模块，用于按照第一指定形状和第二指定尺寸裁剪前景图像，对裁剪后的前景图像进行掩膜处理，得到第二指定形状的前景图像；
第一平移模块，用于将第二指定形状的前景图像叠加在裁剪后的背景图像上的起始位置，将第二指定的前景图像在背景图像上按照预设速度朝预设方向平移，将平移过程中的多个时刻的图像作为一组标注数据；
第二叠加模块，用于对每组标注数据包括的多张图像分别叠加噪声，得到每组标注数据对应的样本数据；
第二生成模块，用于将得到的多组标注数据以及每组标注数据对应的样本数据生成预设训练集。
在本申请另一实施例中，该装置还包括：
第二选择模块，用于每次从多张基准无噪声图像中选择两张图像分别作为前景图像和背景图像；
第二裁剪模块，用于按照第一指定形状和第一指定尺寸裁剪背景图像；
第二处理模块，用于按照第一指定形状和第二指定尺寸裁剪前景图像，对裁剪后的前景图像进行掩膜处理，得到第二指定形状的前景图像，第二指定尺寸小于第一指定尺寸；
第二平移模块，用于将第二指定形状的前景图像叠加在背景图像上的起始位置，将第二指定形状的前景图像在背景图像上按照预设速度朝预设方向平移，采集平移过程中多个时刻的图像作为一组标注数据。
在本申请另一实施例中，截取模块具体用于：
针对每张基准无噪声图像，从该基准无噪声图像中随机选择一个位置作为起始裁剪坐标；
在基准无噪声图像的起始裁剪坐标处裁剪指定边长的正方形，作为一张裁剪图像；
将起始裁剪坐标进行随机偏移，得到下一个裁剪坐标，在基准无噪声图像的下一个裁剪坐标处裁剪指定边长的正方形，作为一张裁剪图像；
每对裁剪坐标进行一次随机偏移，从基准无噪声图像中裁剪出一张裁剪图像，直至得到预设数量的裁剪图像，将预设数量的裁剪图像作为一组标注数据。
在本申请另一实施例中，采集模块，具体用于：
采集感光度被设置为最低值的拍摄设备拍摄到的多张静态RAW图像；
针对每张静态RAW图像，将该静态RAW图像分别处理为不同的亮度值，得到多张基准无噪声图像。
在本申请另一实施例中，该装置还包括：
第二输入模块，用于将预设训练集包括的一组样本数据中的第一帧图像与自身进行拼接后，将拼接后的图像输入卷积神经网络模型，依次由神经网络模型包括的第一卷积网络和第二卷积网络处理拼接后的图像；
第二获取模块，用于获取第一卷积网络输出的中间降噪图像和第二卷积网络输出的最终降噪图像；
计算模块，用于基于最终降噪图像与第一帧图像计算损失函数值；
判断模块，用于根据所述损失函数值判断所述卷积神经网络模型是否收敛；若未收敛，则触发调整模块基于所述损失函数值调整所述卷积神经网络模型的参数，并将所述一组样本数据中的下一帧图像与所述第一卷积网络最近一次输出的中间降噪图像进行拼接，触发所述第二输入模块执行所述将拼接后的图像输入所述卷积神经网络模型的步骤，直至所述判断模块所述卷积神经网络模型收敛时，则将训练得到的卷积神经网络模型作为所述图像降噪模型。
本申请实施例还提供了一种电子设备，如图12所示，包括处理器1201、通信接口1202、存储器1203和通信总线1204，其中，处理器1201，通信接口1202，存储器1203通过通信总线1204完成相互间的通信，
存储器1203，用于存放计算机程序；
处理器1201，用于执行存储器1203上所存放的程序时，实现上述方法实施例中的方法步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一降噪方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一降噪方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (14)

1.一种降噪方法，其特征在于，包括：
将待处理图像输入图像降噪模型，所述图像降噪模型为基于预设训练集对卷积神经网络模型训练得到的模型，所述预设训练集中包括多组标注数据以及每组标注数据对应的样本数据；其中，一组标注数据包括对一张基准无噪声图像进行模拟运动处理后得到的多张无噪声图像，该组标注数据对应的样本数据包括对所述多张无噪声图像分别叠加噪声后得到的图像；
获取所述图像降噪模型输出的降噪后的图像数据；
将所述图像数据转换为图像，得到所述待处理图像对应的降噪后的图像；
所述图像降噪模型通过以下步骤训练得到：
将所述预设训练集包括的一组样本数据中的第一帧图像与自身进行拼接后，将拼接后的图像输入所述卷积神经网络模型，依次由所述神经网络模型包括的第一卷积网络和第二卷积网络处理拼接后的图像；
获取所述第一卷积网络输出的中间降噪图像和所述第二卷积网络输出的最终降噪图像；
基于所述最终降噪图像与所述第一帧图像计算损失函数值；
根据所述损失函数值判断所述卷积神经网络模型是否收敛；
若未收敛，则基于所述损失函数值调整所述卷积神经网络模型的参数，并将所述一组样本数据中的下一帧图像与所述第一卷积网络最近一次输出的中间降噪图像进行拼接，返回所述将拼接后的图像输入所述卷积神经网络模型的步骤，直至所述卷积神经网络模型收敛时，则将训练得到的卷积神经网络模型作为所述图像降噪模型。
2.根据权利要求1所述的方法，其特征在于，所述预设训练集通过以下步骤得到：
采集多张基准无噪声图像；
针对每张基准无噪声图像，从该基准无噪声图像截取多张形状相同、面积相同、具有重叠区域且不完全相同的图像，将截取出的图像作为一组标注数据；
对每组标注数据包括的多张图像分别叠加噪声，得到每组标注数据对应的样本数据；
将得到的多组标注数据以及每组标注数据对应的样本数据生成所述预设训练集。
3.根据权利要求1所述的方法，其特征在于，所述预设训练集通过以下步骤得到：
采集多张基准无噪声图像；
每次从所述多张基准无噪声图像中选择两张图像分别作为前景图像和背景图像；
按照第一指定形状和第一指定尺寸裁剪所述背景图像；
按照所述第一指定形状和第二指定尺寸裁剪所述前景图像，对裁剪后的前景图像进行掩膜处理，得到第二指定形状的前景图像；
将所述第二指定形状的前景图像叠加在裁剪后的背景图像上的起始位置，将所述第二指定的前景图像在所述背景图像上按照预设速度朝预设方向平移，将平移过程中的多个时刻的图像作为一组标注数据；
对每组标注数据包括的多张图像分别叠加噪声，得到每组标注数据对应的样本数据；
将得到的多组标注数据以及每组标注数据对应的样本数据生成所述预设训练集。
4.根据权利要求2所述的方法，其特征在于，在所述将得到的多组标注数据以及每组标注数据对应的样本数据生成所述预设训练集之前，所述方法还包括：
每次从所述多张基准无噪声图像中选择两张图像分别作为前景图像和背景图像；
按照第一指定形状和第一指定尺寸裁剪所述背景图像；
按照所述第一指定形状和第二指定尺寸裁剪所述前景图像，对裁剪后的前景图像进行掩膜处理，得到第二指定形状的前景图像，所述第二指定尺寸小于所述第一指定尺寸；
将所述第二指定形状的前景图像叠加在背景图像上的起始位置，将所述第二指定形状的前景图像在所述背景图像上按照预设速度朝预设方向平移，采集平移过程中多个时刻的图像作为一组标注数据。
5.根据权利要求2所述的方法，其特征在于，所述针对每张基准无噪声图像，从该基准无噪声图像截取多张形状相同、面积相同、具有重叠区域且不完全相同的图像，将截取出的图像作为一组标注数据，包括：
针对每张基准无噪声图像，从该基准无噪声图像中随机选择一个位置作为起始裁剪坐标；
在所述基准无噪声图像的起始裁剪坐标处裁剪指定边长的正方形，作为一张裁剪图像；
将所述起始裁剪坐标进行随机偏移，得到下一个裁剪坐标，在所述基准无噪声图像的下一个裁剪坐标处裁剪所述指定边长的正方形，作为一张裁剪图像；
每对裁剪坐标进行一次随机偏移，从所述基准无噪声图像中裁剪出一张裁剪图像，直至得到预设数量的裁剪图像，将所述预设数量的裁剪图像作为一组标注数据。
6.根据权利要求2或3所述的方法，其特征在于，所述采集多张基准无噪声图像，包括：
采集感光度被设置为最低值的拍摄设备拍摄到的多张静态RAW图像；
针对每张静态RAW图像，将该静态RAW图像分别处理为不同的亮度值，得到多张基准无噪声图像。
7.一种降噪装置，其特征在于，包括：
第一输入模块，用于将待处理图像输入图像降噪模型，所述图像降噪模型为基于预设训练集对卷积神经网络模型训练得到的模型，所述预设训练集中包括多组标注数据以及每组标注数据对应的样本数据；其中，一组标注数据包括对一张基准无噪声图像进行模拟运动处理后得到的多张无噪声图像，该组标注数据对应的样本数据包括对所述多张无噪声图像分别叠加噪声后得到的图像；
第一获取模块，用于获取所述图像降噪模型输出的降噪后的图像数据；
转换模块，用于将所述图像数据转换为图像，得到所述待处理图像对应的降噪后的图像；
所述装置还包括：
第二输入模块，用于将所述预设训练集包括的一组样本数据中的第一帧图像与自身进行拼接后，将拼接后的图像输入所述卷积神经网络模型，依次由所述神经网络模型包括的第一卷积网络和第二卷积网络处理拼接后的图像；
第二获取模块，用于获取所述第一卷积网络输出的中间降噪图像和所述第二卷积网络输出的最终降噪图像；
计算模块，用于基于所述最终降噪图像与所述第一帧图像计算损失函数值；
判断模块，用于根据所述损失函数值判断所述卷积神经网络模型是否收敛；若未收敛，则触发调整模块基于所述损失函数值调整所述卷积神经网络模型的参数，并将所述一组样本数据中的下一帧图像与所述第一卷积网络最近一次输出的中间降噪图像进行拼接，触发所述第二输入模块执行所述将拼接后的图像输入所述卷积神经网络模型的步骤，直至所述判断模块所述卷积神经网络模型收敛时，则将训练得到的卷积神经网络模型作为所述图像降噪模型。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
采集模块，用于采集多张基准无噪声图像；
截取模块，用于针对每张基准无噪声图像，从该基准无噪声图像截取多张形状相同、面积相同、具有重叠区域且不完全相同的图像，将截取出的图像作为一组标注数据；
第一叠加模块，用于对每组标注数据包括的多张图像分别叠加噪声，得到每组标注数据对应的样本数据；
第一生成模块，用于将得到的多组标注数据以及每组标注数据对应的样本数据生成所述预设训练集。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括：
采集模块，用于采集多张基准无噪声图像；
第一选择模块，用于每次从所述多张基准无噪声图像中选择两张图像分别作为前景图像和背景图像；
第一裁剪模块，用于按照第一指定形状和第一指定尺寸裁剪所述背景图像；
第一处理模块，用于按照所述第一指定形状和第二指定尺寸裁剪所述前景图像，对裁剪后的前景图像进行掩膜处理，得到第二指定形状的前景图像；
第一平移模块，用于将所述第二指定形状的前景图像叠加在裁剪后的背景图像上的起始位置，将所述第二指定的前景图像在所述背景图像上按照预设速度朝预设方向平移，将平移过程中的多个时刻的图像作为一组标注数据；
第二叠加模块，用于对每组标注数据包括的多张图像分别叠加噪声，得到每组标注数据对应的样本数据；
第二生成模块，用于将得到的多组标注数据以及每组标注数据对应的样本数据生成所述预设训练集。
10.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第二选择模块，用于每次从所述多张基准无噪声图像中选择两张图像分别作为前景图像和背景图像；
第二裁剪模块，用于按照第一指定形状和第一指定尺寸裁剪所述背景图像；
第二处理模块，用于按照所述第一指定形状和第二指定尺寸裁剪所述前景图像，对裁剪后的前景图像进行掩膜处理，得到第二指定形状的前景图像，所述第二指定尺寸小于所述第一指定尺寸；
第二平移模块，用于将所述第二指定形状的前景图像叠加在背景图像上的起始位置，将所述第二指定形状的前景图像在所述背景图像上按照预设速度朝预设方向平移，采集平移过程中多个时刻的图像作为一组标注数据。
11.根据权利要求8所述的装置，其特征在于，所述截取模块，具体用于：
针对每张基准无噪声图像，从该基准无噪声图像中随机选择一个位置作为起始裁剪坐标；
在所述基准无噪声图像的起始裁剪坐标处裁剪指定边长的正方形，作为一张裁剪图像；
将所述起始裁剪坐标进行随机偏移，得到下一个裁剪坐标，在所述基准无噪声图像的下一个裁剪坐标处裁剪所述指定边长的正方形，作为一张裁剪图像；
每对裁剪坐标进行一次随机偏移，从所述基准无噪声图像中裁剪出一张裁剪图像，直至得到预设数量的裁剪图像，将所述预设数量的裁剪图像作为一组标注数据。
12.根据权利要求8或9所述的装置，其特征在于，所述采集模块，具体用于：
采集感光度被设置为最低值的拍摄设备拍摄到的多张静态RAW图像；
针对每张静态RAW图像，将该静态RAW图像分别处理为不同的亮度值，得到多张基准无噪声图像。
13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
CN202111663744.8A 2021-12-31 2021-12-31 一种降噪方法、装置、电子设备及介质 Active CN114331902B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111663744.8A CN114331902B (zh) 2021-12-31 2021-12-31 一种降噪方法、装置、电子设备及介质
PCT/CN2022/142016 WO2023125440A1 (zh) 2021-12-31 2022-12-26 一种降噪方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111663744.8A CN114331902B (zh) 2021-12-31 2021-12-31 一种降噪方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN114331902A CN114331902A (zh) 2022-04-12
CN114331902B true CN114331902B (zh) 2022-09-16

Family

ID=81021832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111663744.8A Active CN114331902B (zh) 2021-12-31 2021-12-31 一种降噪方法、装置、电子设备及介质

Country Status (2)

Country Link
CN (1) CN114331902B (zh)
WO (1) WO2023125440A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114331902B (zh) * 2021-12-31 2022-09-16 英特灵达信息技术(深圳)有限公司 一种降噪方法、装置、电子设备及介质
CN116908212B (zh) * 2023-09-12 2023-12-08 厦门微亚智能科技股份有限公司 一种基于特征提取的电芯蓝膜外观缺陷检测方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910247A (zh) * 2017-03-20 2017-06-30 厦门幻世网络科技有限公司 用于生成三维头像模型的方法和装置
CN108986047A (zh) * 2018-07-13 2018-12-11 中国科学技术大学 图像降噪方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10691975B2 (en) * 2017-07-19 2020-06-23 XNOR.ai, Inc. Lookup-based convolutional neural network
CN109064428B (zh) * 2018-08-01 2021-04-13 Oppo广东移动通信有限公司 一种图像去噪处理方法、终端设备及计算机可读存储介质
CN109360192A (zh) * 2018-09-25 2019-02-19 郑州大学西亚斯国际学院 一种基于全卷积网络的物联网大田作物叶部病害检测方法
CN111353948B (zh) * 2018-12-24 2023-06-27 Tcl科技集团股份有限公司 一种图像降噪方法、装置及设备
CN110136147A (zh) * 2019-05-21 2019-08-16 湖北工业大学 一种基于U-Net模型的分割医学图像的方法、装置及存储介质
CN110163827B (zh) * 2019-05-28 2023-01-10 腾讯科技（深圳）有限公司 图像去噪模型的训练方法、图像去噪方法、装置及介质
CN113808025A (zh) * 2020-06-11 2021-12-17 通用电气精准医疗有限责任公司 图像降噪方法及装置
CN113850741B (zh) * 2021-10-10 2023-04-07 杭州知存智能科技有限公司 图像降噪方法、装置、电子设备以及存储介质
CN114331902B (zh) * 2021-12-31 2022-09-16 英特灵达信息技术(深圳)有限公司 一种降噪方法、装置、电子设备及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910247A (zh) * 2017-03-20 2017-06-30 厦门幻世网络科技有限公司 用于生成三维头像模型的方法和装置
CN108986047A (zh) * 2018-07-13 2018-12-11 中国科学技术大学 图像降噪方法

Also Published As

Publication number Publication date
CN114331902A (zh) 2022-04-12
WO2023125440A1 (zh) 2023-07-06

Similar Documents

Publication Publication Date Title
CN110428366B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2020171373A1 (en) Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames
KR102172234B1 (ko) 영상 처리 방법 및 장치, 및 전자 디바이스
US11055827B2 (en) Image processing apparatus and method
Su et al. Deep video deblurring for hand-held cameras
Ignatov et al. Dslr-quality photos on mobile devices with deep convolutional networks
CN114331902B (zh) 一种降噪方法、装置、电子设备及介质
Im et al. Single image-based ghost-free high dynamic range imaging using local histogram stretching and spatially-adaptive denoising
CN112602088B (zh) 提高弱光图像的质量的方法、***和计算机可读介质
Afifi et al. Cie xyz net: Unprocessing images for low-level computer vision tasks
CN112272832A (zh) 用于基于dnn的成像的方法和***
An et al. Single-shot high dynamic range imaging via deep convolutional neural network
CN110958469A (zh) 视频处理方法、装置、电子设备及存储介质
CN112651911B (zh) 一种基于偏振图像的高动态范围成像生成方法
Singh et al. A comprehensive review of convolutional neural network based image enhancement techniques
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
CN108717701B (zh) 一种制作影片残影特效的方法、装置、电子设备及介质
CN114298942A (zh) 图像去模糊方法及装置、计算机可读介质和电子设备
Malik et al. Llrnet: A multiscale subband learning approach for low light image restoration
CN116612015A (zh) 模型训练方法、图像去摩尔纹方法、装置及电子设备
CN111953893A (zh) 一种高动态范围图像生成方法、终端设备及存储介质
CN113658197B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110838088B (zh) 一种基于深度学习的多帧降噪方法、装置及终端设备
Xue Blind image deblurring: a review
Goel et al. The implementation of image enhancement techniques on color n gray scale IMAGEs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant