CN111353948B - 一种图像降噪方法、装置及设备 - Google Patents
一种图像降噪方法、装置及设备 Download PDFInfo
- Publication number
- CN111353948B CN111353948B CN201811583920.5A CN201811583920A CN111353948B CN 111353948 B CN111353948 B CN 111353948B CN 201811583920 A CN201811583920 A CN 201811583920A CN 111353948 B CN111353948 B CN 111353948B
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- motion vector
- aligned
- adjacent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000009467 reduction Effects 0.000 title claims abstract description 59
- 239000013598 vector Substances 0.000 claims abstract description 61
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 36
- 238000004590 computer program Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
一种图像降噪方法包括：获取多帧图像，确定所述多帧图像中包括的基础帧和临近帧；根据基础帧计算所述临近帧的运动向量，根据所述运动向量将所述临近帧变换为对齐所述基础帧的对齐图像；通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像。由于降噪图像是通过卷积神经网络自动对基础帧和对齐图像进行融合，因此可以更为准确的降低噪声，有效的保留真实场景内容，极大的提高降噪图像质量。
Description
技术领域
本申请属于图像处理领域，尤其涉及一种图像降噪方法、装置及设备。
背景技术
由于智能手机的普及、手机摄像头硬件质量的不断提升、以及手机摄影的便携性，越来越多的人使用手机拍摄、编辑和分享他们的图片、视频内容。因而，提高手机拍摄的画面的质量，也变得越来越重要。
手机拍摄图片的画面质量受到多种音素影响，如噪声、分辨率、清晰度、色彩真实度等等，其中噪声是一个非常关键的影响音素。手机图片中的噪声来源有多种，比如光子散粒噪声、暗电流噪声、坏点、固定模式噪声、读出噪声等。噪声中的光子散粒噪声是噪声的主要来源，并且受物理规律制约，不论硬件技术发展到何种地步都会始终存在。因此，目前一般是通过设计算法，对拍摄内容与噪声进行区分，从而降低手机图像中的噪声强度。
目前所使用的单帧图像降噪算法中，通过理论推导证明，增加光通量可以有效地提升图像信噪比(SNR)。增加光通量有多种方式，其中的一种是增加曝光时长。然而，在手持相机情况下，增加曝光时长会使得画面产生抖动模糊。因此，目前工业界的主流方法通过多帧融合的方式，变相增加曝光时长，达到提升图像信噪比的目的。但是，使用多帧融合的方式去噪时，不能准确的降低噪声，以及不能有效的保留真实场景内容。
发明内容
有鉴于此，本申请实施例提供了一种图像降噪方法、装置及设备，以解决现有技术中使用多帧融合的方式去噪时，不能准确的降低噪声，以及不能有效的保留真实场景内容的问题。
本申请实施例的第一方面提供了一种图像降噪方法，所述图像降噪方法包括：
获取多帧图像，确定所述多帧图像中包括的基础帧和临近帧；
根据基础帧计算所述临近帧的运动向量，根据所述运动向量将所述临近帧变换为对齐所述基础帧的对齐图像；
通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像。
结合第一方面，在第一方面的第一种可能实现方式中，确定所述多帧图像中包括的基础帧的步骤包括：
获取所述多帧图像中的主体；
计算多帧图像的主体的清晰度，选择清晰度最高的图像帧作为基础帧。
结合第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，所述计算多帧图像的主体的清晰度，选择清晰度最高的图像帧作为基础帧的步骤包括：
将多帧图像转换为亮度图；
在多帧图像的主体中心的周围的预定区域进行边缘滤波，获取边缘滤波的响应平均值，选择响应平均值最高的图像作为基础帧。
结合第一方面，在第一方面的第三种可能实现方式中，所述根据基础帧计算所述临近帧的运动向量，根据所述运动向量将所述临近帧变换为对齐所述基础帧的对齐图像的步骤包括：
将基础帧和临近帧分别分割为多个图像块；
基于块的运动估计，确定临近帧的每个图像块的运动向量；
根据所述运动向量对所述临近帧中的图像块重新排布，得到对齐图像。
结合第一方面的第三种可能实现方式，在第一方面的第四种可能实现方式中，所述将基础帧和临近帧分别分割为多个图像块的步骤包括：
将所述基础帧和临近帧进行多次高斯下采样，得到每帧图像在不同分辨率的图像；
所述基于块的运动估计，确定临近帧的每个图像块的运动向量的步骤包括：
对第一分辨率的基础帧和临近帧的图像块做运动估计，确定第一分辨率下的图像块所对应的第一运动向量；
将所述第一运动向量传递至第二分辨率的图像块进行运动估计，对所述第一运动向量进行修正得到第二运动向量，其中，第一分辨率低于第二分辨率。
结合第一方面，在第一方面的第五种可能实现方式中，所述通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像的步骤包括：
将对齐图像和基础帧转换为单颜色的多通道图像，将对齐图像和基础帧的相同颜色的通道图像拼接；
通过卷积神经网络对拼接后的图像进行融合，得到降噪图像。
结合第一方面，在第一方面的第六种可能实现方式中，在所述通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像的步骤之前，所述方法还包括：
使用相同曝光参数获取M张样本图片；
确定M张样本图片中的基础帧和临近帧，将所确定的临近帧与基础帧对齐；
选用白平衡、去除黑电平、镜头矫正、反马赛克、颜色空间变换、锐化、增强中的一种或者多种，对基础帧和对齐图像进行图像处理，得到样本图片对应的降噪图片。
本申请实施例的第二方面提供了一种图像降噪装置，所述图像降噪装置包括：
帧图像获取单元，用于获取多帧图像，确定所述多帧图像中包括的基础帧和临近帧；
对齐单元，用于根据基础帧计算所述临近帧的运动向量，根据所述运动向量将所述临近帧变换为对齐所述基础帧的对齐图像；
融合单元，用于通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像。
本申请实施例的第三方面提供了一种图像降噪设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：根据多帧图像确定基础帧和临近帧，根据基础帧计算所述临近帧的运动向量，由计算的运动向量对临近帧进行变换得到对齐图像，通过卷积神经网络将基础帧和对齐图像融合，得到降噪图像。由于降噪图像是通过卷积神经网络自动对基础帧和对齐图像进行融合，因此可以更为准确的降低噪声，有效的保留真实场景内容，极大的提高降噪图像质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像降噪方法的实现流程示意图；
图1a是本申请实施例提供的一种图像降噪框架示意图；
图2是本申请实施例提供的一种基础帧的确定方法的实现流程示意图；
图3是本申请实施例提供的一种获取对齐图像的方法的实现流程示意图；
图4是本申请实施例提供的一种获取训练样本方法的实现流程示意图；
图5是本申请实施例提供的一种图像降噪装置的示意图；
图6是本申请实施例提供的图像降噪设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
图1为本申请实施例提供的一种图像降噪方法的实现流程示意图，详述如下：
在步骤S101中，获取多帧图像，确定所述多帧图像中包括的基础帧和临近帧；
具体的，本申请所述多帧图像，可以为RAW(未经加工)域的图片，或者RGB(红绿蓝)三通道图片，或者也可以为Y通道图片。
其中，所获取的多帧图像，可以使用相机的Burst(连拍)模式在一个极短时间内获取，所述多帧图像可以具有相同的ISP(图像信号处理)处理参数，比如可以包括相同的曝光、白平衡参数、降噪或锐化强度等。根据场景的亮度，典型的输入帧个数N可以从3到8不等。图1a所示的多帧图像降噪框架图中展示的是输入帧数为3的情况，其他帧数与此类似。
在获取到多帧输入图像后，我们需要选择一个基础帧，然后将所有其他帧，即临近帧与该基础帧进行对齐。被选择的基础帧可以是所有输入帧中最清晰的一张，这样可以保证最终的输出结果是清晰的。另外，为了保证拍摄主体的清晰度，我们可以选择所拍摄主体部分最为清晰的图像为基础图像。
拍摄主体的位置可以通过诸如人脸位置检测来确定人脸所在的人像区域确定，或者也可以根据用户在屏幕上的触摸点确定主体所在的位置。对于无法判断拍摄主体的图片，我们假设图片中心即为拍摄的主体。假设，由上述方式我们获得了拍摄主体的中心位置，那么基础帧的确定流程如图2所示，包括：
在步骤S201中，将多帧图像转换为亮度图；
可以通过将包括多个颜色的多帧图像，比如可以为包括GBRG四个颜色值的贝尔图像，使用加权平均的方式，融合为亮度图。
在步骤S202中，在多帧图像的主体中心的周围的预定区域进行边缘滤波，获取边缘滤波的响应平均值；
在亮度图中，可以选择拍摄主体中心的周围预定区域进行边缘滤波，比如通过索贝尔算子进行边缘滤波，获得响应平均值。当然，如果主体确定，则可以直接对主体进行边缘滤波。如果主体不确定，则可以假定主体为图像中心，可以将中心位置周边的预定区域进行边缘滤波，获取响应平均值，所述预定区域的大小可以根据图像的大小设定，或者也可以根据拍摄主体的尺寸进行设定。
在步骤S203中，选择响应平均值最高的图像作为基础帧。
由于多帧图像只需要确定一张基础帧，因此，可以选择响应平均值最高的图像，即主体最为清晰的图像作为基础帧，从而有利于保证融合后的降噪图像的清晰度。
在步骤S102中，根据基础帧计算所述临近帧的运动向量，根据所述运动向量将所述临近帧变换为对齐所述基础帧的对齐图像；
将基础帧和临近帧进行图像块的划分，根据临近帧与基础帧中的图像块的相似度，可以对临近帧的图像块进行运动估计，确定临近帧中的图像块的运动向量。在确定了临近帧的图像块的运动向量后，可以根据所述运动向量对临近帧的图像块进行重排，从而使得临近帧与基础帧对齐，得到对齐图像。
具体的，所述对齐图像的生成流程，具体可以如图3所示，包括如下步骤：
在步骤S301中，将基础帧和临近帧分别分割为多个图像块；
优选的实施方式中，可以将所述基础帧和临近帧进行多次高斯下采样，得到每帧图像在不同分辨率的图像。即对于基础帧经过多次高斯下采样得到多个不同分辨率的基础帧图像，将临近帧经过多次高斯下采样得到多个不同分辨率的临近帧图像。然后将不同分辨率的下采样图像分别进行图像块的分割，以便于步骤S302完成基于块的运动估计。
在步骤S302中，基于块的运动估计，确定临近帧的每个图像块的运动向量；
在步骤S301中得到多个不同分辨率的模糊图像后，可以对第一分辨率的基础帧和临近帧的图像块做运动估计，确定第一分辨率下的图像块所对应的第一运动向量；将所述第一运动向量传递至第二分辨率的图像块进行运动估计，对所述第一运动向量进行修正得到第二运动向量，其中，第一分辨率低于第二分辨率。如此反复传递，直到传递至原始亮度图，并对原始亮度图进行修正。
通过使用基于金字塔式的块对齐方式，将每帧图像做高斯金字塔，得到一系列不同分辨的图片，然后在最低分辨率的图片上做基于块的运动估计，得到每一块的运动向量，这个运动向量指向临近帧中与该块最相似的块，接下来将运动向量传递到相邻的下一层较高分辨率的图片上，较高分辨率的图片再以此运动向量为中心，继续进行运动估计，对运动向量进行更精细化的修正，之后，重复下述过程，直到运动向量传递到最下层原始的亮度图并经过修正为止。
在步骤S303中，根据所述运动向量对所述临近帧中的图像块重新排布，得到对齐图像。
在确定运动向量后，对临近帧中的图像块进行重新排布，可以得到临近帧对应的对齐图像。
使用金字塔式的运动估计方法有两点好处：(1)在低分辨率图片中，图像的信噪比增加，因此运动估计过程受到噪声的影响减小，(2)降低了运动估计过程的复杂度，并增加了运动估计的搜索范围。需要指出的是，除了使用上述金字塔式的块对齐方法外，其他传统的图像对齐方法也同样适用，比如，基于特征点的图像对齐方法以及频域的图像对齐方法等，都可以用来代替我们目前使用的方法。另外，使用深度学习的方式进行图像对齐效果也是非常好的，但同时复杂度也会显著增加。
经过上述块对齐过程以后，对每一个临近帧可以得到一组运动向量，使用这组运动向量，我们可以将临近帧的像素位置进行重新排布，使得经过重新排布后得到的对齐图像与基础帧相似。需要注意的一点是，由于估算出的运动向量可能不准确或者帧与帧之间的运动方式不能用简单的平移进行描述，对齐后的图像与基础帧在某些位置上的相似度可能非常低。在下面一个步骤中，我们会将基础帧与对齐后的多帧图像进行融合，使用深度学习的方法，有助于帮助我们在那些对齐不准确的位置上得到好的融合效果。
在步骤S103中，通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像。
其中，所述卷积神经网络可以为预先经过样本数据训练完成的卷积神经网络，或者也可以在训练的过程中的卷积神经网络。
在进行图像融合时，需要先对图像的模式进行转换，将基础帧和对齐图像，从包括多颜色图像的贝尔模式转换成单颜色多通道模式，并将这些颜色通道拼接(Concatenate)在一起，使用卷积神经网络(CNN)进行融合处理，生成一张RGB三通道图像。所输出的RGB图像有较低的噪声和非常好的图像质量。
需要注意的是，针对不同的输入帧数，我们可以使用相同的图像对齐方法，但需要训练不同的CNN模型。
另外，所述卷积神经网络CNN过程可以使用去除了池化层和全连接层的经典卷积神经网络实现，如AlexNet(艾丽克斯卷积神经网络)、VGG(Visual Geometry Group计算机视觉组神经网络)等，并可以通过增加跳过链接(Skip Connection)来对残差进行学习，加快网络的训练过程。已有的用来降噪的CNN模型(如DnCNN(前馈降噪卷积神经网络)等)也可以被用来实现这一处理步骤。需要指出的是，本申请可以输入多帧信息，因此可以降低图像去噪的难度，使用相对较少的卷积层数即可达到降噪的目的，简化了CNN过程的计算量。
如图1a所示的降噪框架示意图中，获取多帧图像的数量为N＝3。当然，所述N也可以为大于3的其它自然数。如图1a所示，获取相同曝光的RAW域贝尔图像，分辨率可以为H*W。其中的一个帧设定为基础帧，其它帧设定为临近帧。将每张临近帧经过RAW域多帧对齐运算，使临近帧与基础帧对齐。对齐后，将基础帧以及对齐后的临近帧转换成单颜色多通道模式，每个通道的分辨率为
然后将这些数据拼接(Concatenate)在一起，使用卷积神经网络进行处理，生成一张降噪后的RGB三通道图像，每个颜色通道的分辨率与输入帧的分辨率相同，即三通道图像的分辨率为H*W。
当然，在使用卷积神经网络进行融合前，还包括获取样本图像对卷积神经网络进行训练的步骤，如图4所示，所述图像样本获取过程包括：
在步骤S401中，使用相同曝光参数获取M张样本图片；
可以通过手持设备，比如手机的方式，使用相同曝光参数拍摄M张图片，M越大越好，则越有利于提高对所述卷积神经网络训练的精度。
在步骤S402中，确定M张样本图片中的基础帧和临近帧，将所确定的临近帧与基础帧对齐；
可以根据图1中关于多帧图像中的基础帧和临近帧的确定方式，以及临近帧与基础帧的对齐方式，完成对样本图片的基础帧的选择以及临近帧的对齐。
在步骤S403中，选用白平衡、去除黑电平、镜头矫正、反马赛克、颜色空间变换、锐化、增强中的一种或者多种，对基础帧和对齐图像进行图像处理，得到样本图片对应的降噪图片。
可以使用传统的图像信号处理(ISP)流程，将降噪后的RAW域图片做白平衡、去除黑电平、镜头矫正、反马赛克、颜色空间变换、锐化、增强等处理，最终生成一张含有RGB三通道的高质量图片，作为卷积神经网络的输出结果，对卷积神经网络进行训练。
由于准备训练数据的过程不需要考虑处理时间，因此我们可以使用非常复杂的多帧融合算法、白平衡算法、反马赛克算法、图像增强算法等，并且使用非常多的输入帧(比如设置M＝30)得到理想的输出图像。多帧深度学习降噪算法由于需要考虑执行复杂度，一般只能使用相对较少的帧数作为输入。因此，我们的训练过程，实际上是通过使用M帧图像作为输入的传统图像处理算法去训练用N帧图像作为输入的深度学习算法(M>N)。与目前的含有真实噪声的图像数据的构建方式比较，我们使用的方法由于不需要使用三脚架、不需要对多帧图像做筛选，因此更加快速便捷。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图5为本申请实施例提供的一种图像降噪装置的结构示意图，详述如下：
所述图像降噪装置包括：
帧图像获取单元501，用于获取多帧图像，确定所述多帧图像中包括的基础帧和临近帧；
对齐单元502，用于根据基础帧计算所述临近帧的运动向量，根据所述运动向量将所述临近帧变换为对齐所述基础帧的对齐图像；
融合单元503，用于通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像。
图5所述图像降噪装置，与图1所述的图像降噪方法对应。
图6是本申请一实施例提供的图像降噪设备的示意图。如图6所示，该实施例的图像降噪设备6包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62，例如图像降噪程序。所述处理器60执行所述计算机程序62时实现上述各个图像降噪方法实施例中的步骤，例如图1所示的步骤101至103。或者，所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能，例如图5所示模块501至503的功能。
示例性的，所述计算机程序62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述图像降噪设备6中的执行过程。例如，所述计算机程序62可以被分割成帧图像获取单元、对齐单元和融合单元，各单元具体功能如下：
帧图像获取单元，用于获取多帧图像，确定所述多帧图像中包括的基础帧和临近帧；
对齐单元，用于根据基础帧计算所述临近帧的运动向量，根据所述运动向量将所述临近帧变换为对齐所述基础帧的对齐图像；
融合单元，用于通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像。
所述图像降噪设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述图像降噪设备可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是图像降噪设备6的示例，并不构成对图像降噪设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述图像降噪设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述图像降噪设备6的内部存储单元，例如图像降噪设备6的硬盘或内存。所述存储器61也可以是所述图像降噪设备6的外部存储设备，例如所述图像降噪设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括所述图像降噪设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述图像降噪设备所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (9)
1.一种图像降噪方法，其特征在于，所述图像降噪方法包括：
获取多帧图像，确定所述多帧图像中包括的基础帧和临近帧；
根据基础帧计算所述临近帧的运动向量，根据所述运动向量将所述临近帧变换为对齐所述基础帧的对齐图像；
通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像；
所述根据基础帧计算所述临近帧的运动向量，根据所述运动向量将所述临近帧变换为对齐所述基础帧的对齐图像的步骤包括：
将基础帧和临近帧分别分割为多个图像块；
基于块的运动估计，确定临近帧的每个图像块的运动向量；
根据所述运动向量对所述临近帧中的图像块重新排布，得到对齐图像；
所述基于块的运动估计，确定临近帧的每个图像块的运动向量的步骤包括：
对第一分辨率的基础帧和临近帧的图像块做运动估计，确定第一分辨率下的图像块所对应的第一运动向量；
将所述第一运动向量传递至第二分辨率的图像块进行运动估计，对所述第一运动向量进行修正得到第二运动向量，其中，第一分辨率低于第二分辨率。
2.根据权利要求1所述的图像降噪方法，其特征在于，确定所述多帧图像中包括的基础帧的步骤包括：
获取所述多帧图像中的主体；
计算多帧图像的主体的清晰度，选择清晰度最高的图像帧作为基础帧。
3.根据权利要求2所述的图像降噪方法，其特征在于，所述计算多帧图像的主体的清晰度，选择清晰度最高的图像帧作为基础帧的步骤包括：
将多帧图像转换为亮度图；
在多帧图像的主体中心的周围的预定区域进行边缘滤波，获取边缘滤波的响应平均值；
选择响应平均值最高的图像作为基础帧。
4.根据权利要求3所述的图像降噪方法，其特征在于，所述将基础帧和临近帧分别分割为多个图像块的步骤包括：
将所述基础帧和临近帧进行多次高斯下采样，得到每帧图像在不同分辨率的图像。
5.根据权利要求1所述的图像降噪方法，其特征在于，所述通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像的步骤包括：
将对齐图像和基础帧转换为单颜色的多通道图像，将对齐图像和基础帧的相同颜色的通道图像拼接；
通过卷积神经网络对拼接后的图像进行融合，得到降噪图像。
6.根据权利要求1所述的图像降噪方法，其特征在于，在所述通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像的步骤之前，所述方法还包括：
使用相同曝光参数获取M张样本图片；
确定M张样本图片中的基础帧和临近帧，将所确定的临近帧与基础帧对齐，M大于所述多帧图像的帧数；
选用白平衡、去除黑电平、镜头矫正、反马赛克、颜色空间变换、锐化、增强中的一种或者多种，对基础帧和对齐图像进行图像处理，得到样本图片对应的降噪图片。
7.一种图像降噪装置，其特征在于，所述图像降噪装置包括：
帧图像获取单元，用于获取多帧图像，确定所述多帧图像中包括的基础帧和临近帧；
对齐单元，用于根据基础帧计算所述临近帧的运动向量，根据所述运动向量将所述临近帧变换为对齐所述基础帧的对齐图像；
融合单元，用于通过卷积神经网络将所述对齐图像和所述基础帧融合，得到降噪图像；
所述对齐单元包括：
分割模块，用于将基础帧和临近帧分别分割为多个图像块；
运动量确定模块，用于基于块的运动估计，确定临近帧的每个图像块的运动向量；
排布模块，用于根据所述运动向量对所述临近帧中的图像块重新排布，得到对齐图像；
所述运动量确定模块包括：
运动估计子模块，用于对第一分辨率的基础帧和临近帧的图像块做运动估计，确定第一分辨率下的图像块所对应的第一运动向量；
运动量修正模块，用于将所述第一运动向量传递至第二分辨率的图像块进行运动估计，对所述第一运动向量进行修正得到第二运动向量，其中，第一分辨率低于第二分辨率。
8.一种图像降噪设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811583920.5A CN111353948B (zh) | 2018-12-24 | 2018-12-24 | 一种图像降噪方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811583920.5A CN111353948B (zh) | 2018-12-24 | 2018-12-24 | 一种图像降噪方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111353948A CN111353948A (zh) | 2020-06-30 |
| CN111353948B true CN111353948B (zh) | 2023-06-27 |
Family
ID=71195534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811583920.5A Active CN111353948B (zh) | 2018-12-24 | 2018-12-24 | 一种图像降噪方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111353948B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111784733B (zh) * | 2020-07-06 | 2024-04-16 | 深圳市安健科技股份有限公司 | 图像处理方法、装置、终端和计算机可读存储介质 |
| RU2764395C1 (ru) | 2020-11-23 | 2022-01-17 | Самсунг Электроникс Ко., Лтд. | Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети |
| CN112488027B (zh) * | 2020-12-10 | 2024-04-30 | Oppo（重庆）智能科技有限公司 | 一种降噪方法、电子设备及计算机存储介质 |
| CN114677287A (zh) * | 2020-12-25 | 2022-06-28 | 北京小米移动软件有限公司 | 图像融合方法、图像融合装置及存储介质 |
| CN112801908B (zh) * | 2021-02-05 | 2022-04-22 | 深圳技术大学 | 图像去噪方法、装置、计算机设备和存储介质 |
| CN113469908B (zh) * | 2021-06-29 | 2022-11-18 | 展讯通信（上海）有限公司 | 图像降噪方法、装置、终端、存储介质 |
| CN113628134B (zh) * | 2021-07-28 | 2024-06-14 | 商汤集团有限公司 | 图像降噪方法及装置、电子设备及存储介质 |
| US20230097592A1 (en) * | 2021-09-30 | 2023-03-30 | Waymo Llc | Systems, Methods, and Apparatus for Aligning Image Frames |
| CN114331902B (zh) * | 2021-12-31 | 2022-09-16 | 英特灵达信息技术(深圳)有限公司 | 一种降噪方法、装置、电子设备及介质 |
| WO2023245343A1 (zh) * | 2022-06-20 | 2023-12-28 | 北京小米移动软件有限公司 | 一种图像处理方法、图像处理装置及存储介质 |
| WO2023245383A1 (zh) * | 2022-06-20 | 2023-12-28 | 北京小米移动软件有限公司 | 多帧图像对齐方法、多帧图像对齐装置及存储介质 |
| CN115187491B (zh) * | 2022-09-08 | 2023-02-17 | 阿里巴巴（中国）有限公司 | 图像降噪处理方法、图像滤波处理方法及装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106600538A (zh) * | 2016-12-15 | 2017-04-26 | 武汉工程大学 | 一种基于区域深度卷积神经网络的人脸超分辨率算法 |
| CN107292850B (zh) * | 2017-07-03 | 2019-08-02 | 北京航空航天大学 | 一种基于最邻近搜索的光流并行加速方法 |
| CN107680043B (zh) * | 2017-09-29 | 2020-09-22 | 杭州电子科技大学 | 基于图模型的单幅图像超分辨率输出方法 |
| CN108898567B (zh) * | 2018-09-20 | 2021-05-28 | 北京旷视科技有限公司 | 图像降噪方法、装置及*** |
-
2018
- 2018-12-24 CN CN201811583920.5A patent/CN111353948B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111353948A (zh) | 2020-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111353948B (zh) | 一种图像降噪方法、装置及设备 | |
| US9591237B2 (en) | Automated generation of panning shots | |
| KR102306283B1 (ko) | 이미지 처리 방법 및 장치 | |
| US10708525B2 (en) | Systems and methods for processing low light images | |
| US9117134B1 (en) | Image merging with blending | |
| CN111194458A (zh) | 用于处理图像的图像信号处理器 | |
| WO2021047345A1 (zh) | 图像降噪方法、装置、存储介质及电子设备 | |
| US20090161982A1 (en) | Restoring images | |
| EP4150559A1 (en) | Machine learning based image adjustment | |
| CN107395991B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
| CN109493283A (zh) | 一种高动态范围图像鬼影消除的方法 | |
| CN107704798B (zh) | 图像虚化方法、装置、计算机可读存储介质和计算机设备 | |
| CN113850367B (zh) | 网络模型的训练方法、图像处理方法及其相关设备 | |
| US20220138964A1 (en) | Frame processing and/or capture instruction systems and techniques | |
| CN110930301A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN108024058A (zh) | 图像虚化处理方法、装置、移动终端和存储介质 | |
| WO2021179764A1 (zh) | 图像处理模型生成方法、处理方法、存储介质及终端 | |
| CN113379609B (zh) | 一种图像处理方法、存储介质及终端设备 | |
| CN113962859A (zh) | 一种全景图生成方法、装置、设备及介质 | |
| CN113628134B (zh) | 图像降噪方法及装置、电子设备及存储介质 | |
| CN110838088B (zh) | 一种基于深度学习的多帧降噪方法、装置及终端设备 | |
| CN107454328B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| US20230033956A1 (en) | Estimating depth based on iris size | |
| CN111091506A (zh) | 图像处理方法及装置、存储介质、电子设备 | |
| JP2017103756A (ja) | 画像データ処理装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 516006 TCL science and technology building, No. 17, Huifeng Third Road, Zhongkai high tech Zone, Huizhou City, Guangdong Province Applicant after: TCL Technology Group Co.,Ltd. Address before: 516006 Guangdong province Huizhou Zhongkai hi tech Development Zone No. nineteen District Applicant before: TCL Corp. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |