CN111275653B - 图像去噪方法及装置 - Google Patents
图像去噪方法及装置 Download PDFInfo
- Publication number
- CN111275653B CN111275653B CN202010130576.5A CN202010130576A CN111275653B CN 111275653 B CN111275653 B CN 111275653B CN 202010130576 A CN202010130576 A CN 202010130576A CN 111275653 B CN111275653 B CN 111275653B
- Authority
- CN
- China
- Prior art keywords
- image
- reference image
- sample
- noise
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 230000004927 fusion Effects 0.000 claims abstract description 121
- 238000012545 processing Methods 0.000 claims description 128
- 238000005070 sampling Methods 0.000 claims description 110
- 230000003287 optical effect Effects 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 17
- 238000005728 strengthening Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000007499 fusion processing Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 108010001267 Protein Subunits Proteins 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 description 24
- 230000009466 transformation Effects 0.000 description 19
- 239000004973 liquid crystal related substance Substances 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000002679 ablation Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 241001236093 Bulbophyllum maximum Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000011276 addition treatment Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003094 perturbing effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本公开提供一种图像去噪方法及装置。所述方法包括:获取针对一拍摄场景连续拍摄的多帧图像,将所述多帧图像中的一帧图像确定为参考图像,将剩余的图像确定为非参考图像,将所述非参考图像与所述参考图像对齐,获得对齐后的非参考图像,基于所述参考图像和所述对齐后的非参考图像,获得去噪后的融合图像,从而有效去除融合图像中的噪声信息。
Description
技术领域
本公开涉及计算机通信技术领域,尤其涉及一种图像去噪方法及装置。
背景技术
在数字图像处理和计算机视觉领域中,数字图像是最基本的信息来源,在成像设备获取和传输数字图像的过程中,因受到成像设备或外部环境的干扰而产生图像噪声,导致数字图像的图像质量降低。
为获得高质量的数字图像,需要对数字图像进行去噪处理。然而现有的图像去噪技术的去噪效果不佳。
发明内容
为克服相关技术中存在的问题,本公开提供了一种图像去噪方法及装置。
根据本公开实施例的第一方面,提供了一种图像去噪方法,所述方法包括:
获取针对一拍摄场景连续拍摄的多帧图像;
将所述多帧图像中的一帧图像确定为参考图像,将剩余的图像确定为非参考图像;
将所述非参考图像与所述参考图像对齐,获得对齐后的非参考图像;
基于所述参考图像和所述对齐后的非参考图像,获得去噪后的融合图像,所述融合图像是所述参考图像和所述对齐后的非参考图像融合后得到的图像。
可选地,所述将所述非参考图像与所述参考图像对齐,包括:
基于所述非参考图像和所述参考图像,确定所述非参考图像对应的光流图;
依据所述光流图,将所述非参考图像与所述参考图像对齐。
可选地,所述确定所述非参考图像对应的光流图,包括:
基于所述非参考图像中每个像素单元的平均像素值,获得目标非参考图像,以及基于所述参考图像中每个像素单元的平均像素值,获得目标参考图像,每个像素单元包括一个R像素、两个G像素和一个B像素;
确定所述目标非参考图像中每个像素点图像,相对于所述目标参考图像中相同图像的偏移矢量,基于所有像素点的偏移矢量生成光流图。
可选地,所述依据所述光流图,将所述非参考图像与所述参考图像对齐,包括:
将所述非参考图像拆分成R通道图像、G1通道图像、G2通道图像和B通道图像;
依据所述光流图移动每个通道图像中的像素点图像,并对图像移动后的四个通道图像进行合成。
可选地,所述基于所述参考图像和所述对齐后的非参考图像,获得去噪后的融合图像,包括:
使用图像去噪模型基于所述参考图像和所述对齐后的非参考图像,确定所述去噪后的融合图像。
可选地,所述图像去噪模型包括:第一模块和第二模块;所述图像去噪模型通过下面方式训练得到:
获取样本图像集,所述样本图像集包括:对齐后的样本非参考图像、添加噪声的样本参考图像和未添加噪声的样本参考图像,所述对齐后的样本非参考图像是将添加噪声的样本非参考图像与所述添加噪声的样本参考图像对齐后得到的图像,所述样本非参考图像和所述样本参考图像是连续拍摄的图像,所述未添加噪声的样本参考图像为标注了像素信息的样本参考图像;
使用所述第一模块基于所述对齐后的样本非参考图像和所述添加噪声的样本参考图像,确定样本融合图像的预测噪声信息,所述样本融合图像是融合所述添加噪声的样本参考图像和所述对齐后的样本非参考图像后得到的图像,所述样本融合图像与所述添加噪声的样本参考图像相对应;
使用所述第二模块基于所述样本融合图像的预测噪声信息对所述添加噪声的样本参考图像进行去噪处理,将去噪后的样本参考图像确定为去噪后的样本融合图像;
计算所述未添加噪声的样本参考图像与所述去噪后的样本融合图像之间的像素值差异;
基于所述像素值差异对所述第一模块进行调整。
可选地,所述样本图像集中的图像均为Bayer格式的RAW图像;所述第一模块包括:第一子模块和第二子模块;所述使用所述第一模块基于所述对齐后的样本非参考图像和所述添加噪声的样本参考图像,确定样本融合图像的预测噪声信息,包括:
使用所述第一子模块对所述添加噪声的样本参考图像和所述对齐后的样本非参考图像进行Space2depth处理,获得处理后的样本参考图像和样本非参考图像;
使用所述第二子模块基于所述处理后的样本参考图像和样本非参考图像,确定所述样本融合图像的预测噪声信息。
可选地,所述第二子模块包括输入单元、多个编码单元、融合单元、多个解码单元和输出单元,每个编码单元均包括编码子单元和第一采样子单元,每个解码单元均包括解码子单元和第二采样子单元,所述每个解码单元包括的解码子单元与至少两个第一采样子单元连接;
所述使用所述第二子模块基于所述处理后的样本参考图像和样本非参考图像,确定所述样本融合图像的预测噪声信息,包括:
使用所述输入单元对所述处理后的样本参考图像和样本非参考图像的通道数量进行调整,获得第一特征图像;
使用所述多个编码单元对所述第一特征图像进行编码处理和采样处理,获得第二特征图像和每个第一采样子单元所得的第一采样特征图像;
使用所述融合单元对所述第二特征图像进行特征融合处理,获得第三特征图像;
使用多个解码单元对所述第三特征图像进行采样处理和解码处理,获得第四特征图像,其中,每个解码单元包括的第二采样子单元对自身所得的第二采样特征图像和目标采样特征图像进行合并,所述目标采样特征图像为与所述第二采样子单元连接的第一采样子单元所得的第一采样特征图像;
使用所述输出单元确定所述第四特征图像的噪声信息,将所述第四特征图像的噪声信息确定为所述样本融合图像的预测噪声信息。
可选地,所述计算所述未添加噪声的样本参考图像与所述去噪后的样本融合图像之间的像素值差异,包括:
对所述未添加噪声的样本参考图像进行数字增益加强处理和去暗角处理,以及对所述去噪后的样本融合图像进行数字增益加强处理和去暗角处理;
计算数字增益加强处理和去暗角处理后的样本参考图像和样本融合图像之间的像素值差异。
根据本公开实施例的第二方面,提供了一种图像去噪装置,所述装置包括:
第一获取模块,被配置为获取针对一拍摄场景连续拍摄的多帧图像;
第一确定模块,被配置为将所述多帧图像中的一帧图像确定为参考图像,将剩余的图像确定为非参考图像;
对齐模块,被配置为将所述非参考图像与所述参考图像对齐,获得对齐后的非参考图像;
第二获取模块,被配置为基于所述参考图像和所述对齐后的非参考图像,获得去噪后的融合图像,所述融合图像是所述参考图像和所述对齐后的非参考图像融合后得到的图像。
可选地,所述对齐模块,包括:
第一确定子模块,被配置为基于所述非参考图像和所述参考图像,确定所述非参考图像对应的光流图;
对齐子模块,被配置为依据所述光流图,将所述非参考图像与所述参考图像对齐。
可选地,所述确定子模块,包括:
获得单元,被配置为基于所述非参考图像中每个像素单元的平均像素值,获得目标非参考图像,以及基于所述参考图像中每个像素单元的平均像素值,获得目标参考图像,每个像素单元包括一个R像素、两个G像素和一个B像素;
确定单元,被配置为确定所述目标非参考图像中每个像素点图像,相对于所述目标参考图像中相同图像的偏移矢量;
生成单元,被配置为基于所有像素点的偏移矢量生成光流图。
可选地,所述对齐子模块,包括:
拆分单元,被配置为将所述非参考图像拆分成R通道图像、G1通道图像、G2通道图像和B通道图像;
移动单元,被配置为依据所述光流图移动每个通道图像中的像素点图像;
合成单元,被配置为对图像移动后的四个通道图像进行合成。
可选地,所述第二获取模块,被配置为使用图像去噪模型基于所述参考图像和所述对齐后的非参考图像,确定所述去噪后的融合图像。
可选地,所述图像去噪模型包括:第一模块和第二模块;所述装置还包括:
第三获取模块,被配置为获取样本图像集,所述样本图像集包括:对齐后的样本非参考图像、添加噪声的样本参考图像和未添加噪声的样本参考图像,所述对齐后的样本非参考图像是将添加噪声的样本非参考图像与所述添加噪声的样本参考图像对齐后得到的图像,所述样本非参考图像和所述样本参考图像是连续拍摄的图像,所述未添加噪声的样本参考图像为标注了像素信息的样本参考图像;
第二确定模块,被配置为使用所述第一模块基于所述对齐后的样本非参考图像和所述添加噪声的样本参考图像,确定样本融合图像的预测噪声信息,所述样本融合图像是融合所述添加噪声的样本参考图像和所述对齐后的样本非参考图像后得到的图像,所述样本融合图像与所述添加噪声的样本参考图像相对应;
去噪模块,被配置为使用所述第二模块基于所述样本融合图像的预测噪声信息对所述添加噪声的样本参考图像进行去噪处理,将去噪后的样本参考图像确定为去噪后的样本融合图像;
计算模块,被配置为计算所述未添加噪声的样本参考图像与所述去噪后的样本融合图像之间的像素值差异;
调整模块,被配置为基于所述像素值差异对所述第一模块进行调整。
可选地,所述样本图像集中的图像均为Bayer格式的RAW图像;所述第一模块包括:第一子模块和第二子模块;所述第二确定模块,包括:
第一处理子模块,被配置为使用所述第一子模块对所述添加噪声的样本参考图像和所述对齐后的样本非参考图像进行Space2depth处理,获得处理后的样本参考图像和样本非参考图像;
第二确定子模块,被配置为使用所述第二子模块基于所述处理后的样本参考图像和样本非参考图像,确定所述样本融合图像的预测噪声信息。
可选地,所述第二子模块包括输入单元、多个编码单元、融合单元、多个解码单元和输出单元,每个编码单元均包括编码子单元和第一采样子单元,每个解码单元均包括解码子单元和第二采样子单元,所述每个解码单元包括的解码子单元与至少两个第一采样子单元连接;
所述第二确定子模块,包括:
第一处理单元,被配置为使用所述输入单元对所述处理后的样本参考图像和样本非参考图像的通道数量进行调整,获得第一特征图像;
第二处理单元,被配置为使用所述多个编码单元对所述第一特征图像进行编码处理和采样处理,获得第二特征图像和每个第一采样子单元所得的第一采样特征图像;
第三处理单元,被配置为使用所述融合单元对所述第二特征图像进行特征融合处理,获得第三特征图像;
第四处理单元,被配置为使用多个解码单元对所述第三特征图像进行采样处理和解码处理,获得第四特征图像,其中,每个解码单元包括的第二采样子单元对自身所得的第二采样特征图像和目标采样特征图像进行合并,所述目标采样特征图像为与所述第二采样子单元连接的第一采样子单元所得的第一采样特征图像;
第五处理单元,被配置为使用所述输出单元确定所述第四特征图像的噪声信息,将所述第四特征图像的噪声信息确定为所述样本融合图像的预测噪声信息。
可选地,所述计算模块,包括:
第二处理子模块,被配置为对所述未添加噪声的样本参考图像进行数字增益加强处理和去暗角处理,以及对所述去噪后的样本融合图像进行数字增益加强处理和去暗角处理;
计算子模块,被配置为计算数字增益加强处理和去暗角处理后的样本参考图像和样本融合图像之间的像素值差异。
根据本公开实施例的第三方面,提供了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一方面中任一项所述方法的步骤。
根据本公开实施例的第四方面,提供了一种获取样本图像集的设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取针对一拍摄场景连续拍摄的多帧图像;
将所述多帧图像中的一帧图像确定为参考图像,将剩余的图像确定为非参考图像;
将所述非参考图像与所述参考图像对齐,获得对齐后的非参考图像;
基于所述参考图像和所述对齐后的非参考图像,获得去噪后的融合图像,所述融合图像是所述参考图像和所述对齐后的非参考图像融合后得到的图像。
本公开实施例提供的技术方案可以包括以下有益效果:
本公开实施例中,通过获取针对一拍摄场景连续拍摄的多帧图像,将多帧图像中的一帧图像确定为参考图像,将剩余的图像确定为非参考图像,将非参考图像与参考图像对齐,获得对齐后的非参考图像,基于参考图像和对齐后的非参考图像,获得去噪后的融合图像,从而有效去除融合图像中的噪声信息。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
图1根据一示例性实施例示出的一种图像去噪方法流程图;
图2根据一示例性实施例示出的一种获取样本图像集的方法流程图;
图3根据一示例性实施例示出的一种马赛克变换过程的示意图;
图4是根据一示例性实施例示出的一种训练图像去噪模型的方法流程图;
图5是根据一示例性实施例示出的一种图像去噪模型的结构示意图;
图6是根据一示例性实施例示出的一种残差子模块的结构示意图;
图7根据一示例性实施例示出的一种Depth2space操作过程的示意图;
图8是根据一示例性实施例示出的一种图像去噪装置框图;
图9是根据一示例性实施例示出的一种用于图像去噪的装置的一结构示意图;
图10是根据一示例性实施例示出的另一种用于图像去噪的装置的一结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在......时”或“当......时”或“响应于确定”。
本公开实施例提供了一种图像去噪方法,应用于终端,终端安装有摄像头,具有拍摄功能和图像去噪功能。终端有多种,例如,手机、平板、笔记本、摄像机等。
图1根据一示例性实施例示出的一种图像去噪方法流程图,图1所示的图像去噪方法包括:
在步骤101中,获取针对一拍摄场景连续拍摄的多帧图像。
针对一拍摄场景连续拍摄的多帧图像,可以是相机快门被按下后连续拍摄的多帧图像。多帧图像可以均为RAW图像。
在步骤102中,将多帧图像中的一帧图像确定为参考图像,将剩余的图像确定为非参考图像。
当多帧图像均为RAW图像时,将多帧RAW图像中的一帧RAW图像确定为参考图像,将剩余的RAW图像确定为非参考图像。
在一个实施例中,可以将多帧图像中清晰度最高的图像确定为参考图像。
在步骤103中,将非参考图像与参考图像对齐。
在一个实施例中,可以基于非参考图像和参考图像,确定非参考图像对应的光流图,再依据光流图,将非参考图像与参考图像对齐。
可选的,非参考图像与参考图像均为Bayer格式的RAW图像,可以通过下面方式实现图像对齐:
首先,基于非参考图像中每个像素单元的平均像素值,获得目标非参考图像,以及基于参考图像中每个像素单元的平均像素值,获得目标参考图像,每个像素单元包括一个R像素、两个G像素和一个B像素。
其次,确定目标非参考图像中每个像素点图像,相对于目标参考图像中相同图像的偏移矢量,基于所有像素点的偏移矢量生成光流图。
再次,将非参考图像拆分成R通道图像、G1通道图像、G2通道图像和B通道图像。
最后,依据光流图移动每个通道图像中的像素点图像,并对图像移动后的四个通道图像进行合成。从而得到对齐后的非参考图像。
若非参考图像的数量为多个,则对每帧非参考图像均执行上述四个步骤,实现每帧非参考图像的对齐。
本公开实施例中提供的对齐方法可以称为光流对齐方法。
在步骤104中,基于参考图像和对齐后的非参考图像,获得去噪后的融合图像,融合图像是参考图像和对齐后的非参考图像融合后得到的图像。
融合图像是融合参考图像和对齐后的非参考图像后得到的图像,融合图像与参考图像相对应,融合图像更接近于参考图像。
在一个实施例中,终端预先获取一图像去噪模型,图像去噪模型用于对相机连续拍摄的多帧图像的融合图像进行去噪处理,图像去噪模型的输入是连续拍摄的多帧图像中的参考图像和对齐后的非参考图像,图像去噪模型的输出是去噪后的融合图像。应用中,终端可以使用图像去噪模型基于参考图像和对齐后的非参考图像,确定去噪后的融合图像。
在一个实施例中,若采用上述的光流对齐方法进行图像对齐,则终端可以基于参考图像、对齐后的非参考图像和光流图,获得高质量的去噪后的融合图像。在终端使用图像去噪模型进行图像去噪的情况下,终端可以将参考图像、对齐后的非参考图像和光流图输入图像去噪模型中,获取图像去噪模型输出的高质量的融合图像。
本公开实施例中,通过获取针对一拍摄场景连续拍摄的多帧图像,将多帧图像中的一帧图像确定为参考图像,将剩余的图像确定为非参考图像,将非参考图像与参考图像对齐,获得对齐后的非参考图像,基于参考图像和对齐后的非参考图像,获得去噪后的融合图像,从而有效去除融合图像中的噪声信息。
下面对训练图像去噪模型时使用的样本图像集和训练图像去噪模型的过程进行介绍。
图2根据一示例性实施例示出的一种获取样本图像集的方法流程图,图2所示的获取样本图像集的方法包括:
在步骤201中,获取针对一拍摄场景连续拍摄的多帧样本图像。
可以通过从一段视频中抽取连续帧的方式,获取针对一拍摄场景连续拍摄的多帧样本图像。多帧样本图像可以均为RGB图像。
示例性地,选取分辨率大于1080p且码率大于1000kbps的高清视频集合进行场景检测,针对每个视频Vi,生成一个列表其中,j是完整场景序号,n为大于或等于1的正整数,/>是一个完整场景j的起始时间戳,/>是一个完整场景j的结束时间戳。一个完整场景对应一次镜头拍摄,当发生镜头切换时,完整场景发生变化,例如,从室内拍摄切换到室外拍摄,发生了镜头切换,完整场景发生变化。
假设一个采样场景由C帧图像构建得到,对于视频Vi,设置完整场景序号j=1,采样场景序号帧计数ci=0。
遍历高清视频Vi,每遍历一帧fi,帧计数ci累计加1,若ci=C,则判断遍历的C帧图像是否均在同一完整场景中,若在,则将遍历的C帧图像确定为针对一个采样场景连续拍摄的多帧RGB图像,记为图像,将/>图像添加到采样场景图像集合中,并令ci=0,若ci<C,则继续遍历下一帧,帧计数ci累计加1,即ci=ci+1。可以通过下面方式判断C帧图像是否均在同一完整场景中:
设置采集相邻两帧图像的间隔时间为cfk,cfk的计算公式为:cfk=ceil(randu(0.02,0.05)×fpsi),其中,ceil()为向上取整函数,randu()为满足均匀分布的随机系数,fpsi是Vi的帧率。
确定连续遍历的C帧图像中第一帧图像的采集时间t1,计算连续遍历的C帧图像中第C帧图像的采集时间t2,t2=t1+[(C-1)×cfk]。
若且/>则确定连续遍历的C帧图像均在完整场景j中。若/>则确定已经开始遍历针对下一完整场景拍摄的图像,令j=j+1。
本实施例中,获取针对一个拍摄场景连续拍摄的多帧样本图像,可以理解为获取针对一个采样场景连续拍摄的多帧RGB图像。本实施例可以获取针对多个采样场景连续拍摄的多帧RGB图像,并且按照本实施例提供的获取样本图像集的方法,对针对每个采样场景连续拍摄的多帧RGB图像进行处理,得到每个采样场景对应的样本图像子集,通过集合多个采样场景对应的样本图像子集,得到样本图像集。
在步骤202中,将多帧样本图像中的一帧样本图像确定为样本参考图像,将剩余的样本图像确定为样本非参考图像。
可以从多帧样本图像中,将清晰度最高的样本图像确定为样本参考图像,将多帧样本图像中剩余的样本图像确定为样本非参考图像。当多帧样本图像均为RGB图像时,将清晰度最高的RGB图像确定为样本参考图像,将多帧RGB图像中剩余的RGB图像确定为样本非参考图像。
在一个实施例中,样本参考图像可以通过下面方式确定:其中,b为拍摄场景的标号,/>为针对拍摄场景b拍摄的多帧样本图像中的样本参考图像,B为针对拍摄场景b连续拍摄的多帧样本图像的标号集合,laplacian()为拉普拉斯算子,fb为针对拍摄场景b连续拍摄的多帧样本图像中的图像。将最大laplacian(fb)2对应的fb,确定为/>
在步骤203中,分别对格式转换后的样本参考图像和样本非参考图像进行噪声添加处理,将所得的添加噪声的样本非参考图像与添加噪声的样本参考图像对齐,获得对齐后的样本非参考图像。
当样本参考图像和样本非参考图像均为RGB图像时,可以将样本参考图像和样本非参考图像的图像格式转换成RAW格式,再对RAW格式的样本参考图像和样本非参考图像进行噪声添加处理等操作。
在一个实施例中,依次对样本参考图像进行逆全局色调映射变换、逆gamma变换和逆颜色空间矩阵变换,得到变换后的样本参考图像,以及依次对样本非参考图像进行逆全局色调映射变换、逆gamma变换和逆颜色空间矩阵变换,得到变换后的样本非参考图像。之后,对变换后的样本参考图像和变换后的样本非参考图像进行转换图像格式的操作。
示例性地,对于采样场景中的每帧样本图像fb,/>其中,wi×hi为视频Vi的分辨率,3为颜色通道的数量。假设全局色调映射是一个S型曲线,对每帧样本图像fb进行逆全局色调映射变换得到图像/> 每帧样本图像fb均为RGB图像。
对每帧进行gamma变换,得到从标准非线性RGB的空间到标准线性RGB空间的图像/>其中,/>
针对每帧将/>与随机选择的颜色空间矩阵的逆相乘,得到从标准线性RGB空间到传感器RGB空间的图像/>其中,/>为对矩阵求逆的函数,CC()为颜色空间矩阵,incc为颜色空间转换矩阵索引,incc=randi(0,7)。
对每帧进行马赛克变换,即进行图像格式转换,得到Bayer格式的RAW图像/> wi×hi为视频Vi的分辨率,1为颜色通道的数量。马赛克变换过程参见图3所示。马赛克变换又称Mosaic变换。Bayer格式的RAW图像为通过拜耳滤波器类型的传感器生成的原始图像文件。
针对具有拍摄功能的终端,如手机,根据手机的机型(可以理解为硬件性能)标定出一组颜色空间转换矩阵,在构造样本图像集时,可以从事先构造的一组颜色空间转换矩阵中,随机选出一颜色空间转换矩阵使用。可以使用构造的样本图像集训练图像去噪模型,使用训练后的图像去噪模型处理这款机型的手机拍摄的RAW图像。
在一个实施例中,分别对格式转换后的样本参考图像和样本非参考图像进行噪声添加处理的操作可以通过下面方式实现:第一步骤,分别对格式转换后的样本参考图像和样本非参考图像进行逆图像处理,逆图像处理包括:逆白平衡变换、逆暗角变换和逆数字增益变换;第二步骤,分别对逆图像处理后的样本参考图像和样本非参考图像进行噪声添加处理。
针对上述的第一步骤,首先,可以对格式转换后的样本参考图像进行逆白平衡变换,得到第一样本参考图像,以及对格式转换后的样本非参考图像进行逆白平衡变换,得到第一样本非参考图像;其次,针对第一样本参考图像中的每个像素位置,将该像素位置的像素值除以目标暗角增益图像中相同像素位置的像素值,得到第二样本参考图像,以及针对第一样本非参考图像中的每个像素位置,将该像素位置的像素值除以目标暗角增益图像中相同像素位置的像素值,得到第二样本非参考图像;最后,分别对第二样本参考图像和第二样本非参考图像进行逆数字增益变换。
由于进行了逆暗角变换,因此去除了暗角对图像的影响。
针对具有拍摄功能的终端,如手机,会根据手机的机型(可以理解为硬件性能)标定出一组暗角增益图像,在构造样本图像集时,可以从事先构造的一组暗角增益图像中,随机选出一暗角增益图像作为目标暗角增益图像使用。
一组暗角增益图将暗角增益图的分辨率从13×14×4放大到1500×2000×4,将li中每个像素的坐标乘以125,并用双线性差值方法对每张暗角增益图进行差值处理,再通过Depth2space操作将暗角增益图的分辨率变为3000×4000,从而标定出一组暗角增益图/>Depth2space又称Depth tospace,Depth2spacechu处理用于将深度数据块重新排列为空间数据块。
示例性地,对每帧进行逆白平衡变换,可以将/>中所有R像素的像素值除以gR,将/>中所有蓝色通道的像素值除以gB,获得逆白平衡变换后的RAW图像/>其中,/>为/>中G像素的像素值。
其中,gr=randi(1.5,2.5),gb=randi(1.5,2.0),randi()为随机均匀分布的浮点型数。
对每帧进行逆暗角变换,得到图像/> 其中,slice()为随机裁剪函数;wl为对暗角增益图进行随机裁剪的起始坐标,wl=randi(0,(3000-wi)/2),wi为视频Vi的宽;hl为对暗角增益图进行随机裁剪的起始坐标,hl=randi(0,(4000-hi)/2),hi为视频Vi的高;sl为对暗角增益图进行随机扰动的系数,sl=randn(μ=1,σ=0.075);randn()为满足高斯分布的随机变量的函数;/>为暗角增益图;inl为去暗角增益图索引,inl=randi(0,7)。lb是对暗角增益图/>中坐标(wl,hl)到(wl+wi,hl+hi)进行剪裁后得到的切片图像。
对每帧进行逆数字增益变换,得到/>并将样本参考图像/>作为ground-truth。gdigital为数字增益参数,gdigital=1.0/randn(μ=0.8,σ=0.1),randn()为满足高斯分布的随机变量函数。/>为样本参考图像经过逆数字增益变换后得到的图像,未进行噪声添加处理,将/>称为未添加噪声的样本参考图像。
对每帧添加随机的高斯噪声和泊松噪声,得到添加噪声的图像 为添加噪声的样本非参考图像,/>为添加噪声的样本参考图像。
其中,randn()为满足高斯分布的随机变量函数;σp为添加的泊松噪声强度,σp=exp(randu(log(0.0001),log(0.012))),σg为添加的高斯噪声强度,σg=exp(2.18×log(σp)+1.2+randn(μ=0,σ=0.26))。
在一个实施例中,可以将添加噪声的样本非参考图像中的具体图像,与添加噪声的样本参考图像中的具体图像对齐。
例如,可以基于添加噪声的样本非参考图像和添加噪声的样本参考图像,确定添加噪声的样本非参考图像对应的光流图,再依据光流图,将添加噪声的样本非参考图像与添加噪声的样本参考图像对齐。光流图用于运动图像分析。
添加噪声的样本非参考图像和添加噪声的样本参考图像均为Bayer格式的RAW图像,上述的图像对齐过程可以通过下面方式实现:首先,基于添加噪声的样本非参考图像中每个像素单元的平均像素值,获得第三样本非参考图像,以及基于添加噪声的样本参考图像中每个像素单元的平均像素值,获得第三样本参考图像,每个像素单元包括一个R像素、两个G像素和一个B像素;其次,确定第三样本非参考图像中每个像素点图像,相对于第三样本参考图像中相同图像的偏移矢量,基于所有像素点的偏移矢量生成光流图;再次,将添加噪声的样本非参考图像拆分成R通道图像、G1通道图像、G2通道图像和B通道图像;最后,基于光流图对每个通道图像中的像素点图像进行移动,并对图像移动后的四个通道图像进行合成。
当添加噪声的样本非参考图像的数量为多个时,针对每帧添加噪声的样本非参考图像均需要执行上述四步操作,从而将每帧添加噪声的样本非参考图像分别与添加噪声的样本参考图像对齐。
使用光流对齐方法,能够实现图像的准确对齐。
示例性地,为添加噪声的样本非参考图像,/>为添加噪声的样本参考图像,和/>均为Bayer格式的RAW图像。将/>与/>对齐,获得对齐后的/>即对齐帧/>以及获取对齐帧/>对应的光流图/> 具体对齐过程如下:
计算中每个像素单元的平均像素值,获得/> 以及计算/>中每个像素单元的平均像素值,获得/> 其中,pR为R像素的像素值,PG1为G1像素的像素值,pG2为G2像素的像素值,pB为B像素的像素值。
确定中每个像素点图像,相对于/>中相同图像的偏移矢量,该偏移矢量包括水平方向上的偏移矢量u和垂直方向上的偏移矢量v,基于所有像素点的偏移矢量生成光流图/>
将拆分成四个通道图像/>和/>针对每个通道图像,使用光流图/>将该通道图像中像素点(i,j)处的图像映射到(i+u,j+v)位置上,实现样本非参考图像向样本参考图像对齐,从而得到对齐后的样本非参考图像。
在一个实施例中,获得添加噪声的样本参考图像后,可以通过下面公式确定添加噪声的样本参考图像的噪声强度图其中,/>为添加噪声的样本参考图像,σp为添加的泊松噪声强度,σg为添加的高斯噪声强度。
在一个实施例中,除采用Disflow对齐方法外,还可以采用其他对齐方法进行图像对齐,例如,基于Harris特征的全局对齐方法。
在步骤204中,对格式转换后的样本参考图像标注像素信息,获得未添加噪声的样本参考图像。
当样本参考图像为RGB图像时,可以将样本参考图像的图像格式转换成RAW格式,再对RAW格式的样本参考图像标注像素信息。由于标注后的样本参考图像未进行噪声添加操作,因此将标注后的样本参考图像称为未添加噪声的样本参考图像。
像素信息可以为像素矩阵,包括不同像素点的像素值。
在步骤205中,获取样本图像集,样本图像集包括:对齐后的样本非参考图像、添加噪声的样本参考图像和未添加噪声的样本参考图像。
在一个实施例中,在基于第三样本非参考图像中每个像素点图像的偏移矢量,生成第三样本非参考图像的光流图后,获取的样本图像集还可以包括该光流图。
样本图像集还可以包括噪声强度图以及部分元数据信息Dk,Dk可以包括gr、gb、gdigital、CC[incc]和/>
例如,当采样场景为多个时,样本图像集包括:每个采样场景对应获取的样本图像子集,样本图像子集包括和Dk。/>
本公开实施例中,将针对一拍摄场景连续拍摄的多帧样本图像作为图像去噪模型的样本图像集的数据源,基于多帧样本图像,得到了新型的样本图像集,样本图像集包括对齐后的样本非参考图像、添加噪声的样本参考图像和未添加噪声的样本参考图像。
本公开实施例使用的图像去噪模型用于对相机连续拍摄的多帧图像的融合图像进行去噪处理,图像去噪模型包括:第一模块和第二模块。本公开实施例使用上述提供的样本图像集对图像去噪模型进行训练。
图4是根据一示例性实施例示出的一种训练图像去噪模型的方法流程图,所述方法包括:
在步骤301中,获取样本图像集,样本图像集包括:对齐后的样本非参考图像、添加噪声的样本参考图像和未添加噪声的样本参考图像。
对齐后的样本非参考图像是将添加噪声的样本非参考图像与添加噪声的样本参考图像对齐后得到的图像,样本非参考图像和样本参考图像是连续拍摄的图像,未添加噪声的样本参考图像为标注了像素信息的样本参考图像。
在步骤302中,使用第一模块基于对齐后的样本非参考图像和添加噪声的样本参考图像,确定样本融合图像的预测噪声信息。
样本融合图像是融合添加噪声的样本参考图像和对齐后的样本非参考图像后得到的图像,样本融合图像与添加噪声的样本参考图像相对应,样本融合图像更接近于添加噪声的样本参考图像。
在一个实施例中,样本图像集中的样本图像均为Bayer格式的RAW图像;图像去噪模型中第一模块可以包括:第一子模块和第二子模块,在此结构下,步骤302可以通过下面方式实现:首先,使用第一子模块对添加噪声的样本参考图像和对齐后的样本非参考图像进行Space2depth(Space to depth)处理,获得处理后的样本参考图像和样本非参考图像;其次,使用第二子模块基于处理后的样本参考图像和样本非参考图像,确定样本融合图像的预测噪声信息。Space2depth又称Space to depth,Space2depth处理用于将空间数据块重新排列为深度数据块。
在一个实施例中,第二子模块可以包括输入单元、多个编码单元、融合单元、多个解码单元和输出单元,每个编码单元均包括编码子单元和第一采样子单元,每个解码单元均包括解码子单元和第二采样子单元,每个解码单元包括的解码子单元与至少两个第一采样子单元连接。
在此结构下,第二子模块基于处理后的样本参考图像和样本非参考图像,确定样本融合图像的预测噪声信息的操作可以通过下面方式实现:
第一步骤,使用输入单元对处理后的样本参考图像和样本非参考图像的通道数量进行调整,获得第一特征图像;
第二步骤,使用多个编码单元对第一特征图像进行编码处理和采样处理,获得第二特征图像和每个第一采样子单元所得的第一采样特征图像;
第三步骤,使用融合单元对第二特征图像进行特征融合处理,获得第三特征图像;
第四步骤,使用多个解码单元对第三特征图像进行采样处理和解码处理,获得第四特征图像,其中,每个解码包括的第二采样子单元对自身所得的第二采样特征图像和目标采样单元特征图像进行合并,目标采样特征图像为与第二采样子单元连接的第一采样子单元所得的第一采样特征图像;
第五步骤,使用输出单元确定第四特征图像的噪声信息,将第四特征图像的噪声信息确定为样本融合图像的预测噪声信息。
本实施例提供的第二子模块是以Unet网络作为骨干网络并进行一定改进后得到的,将Unet网络中编码模块与解码模块之间的一一连接,扩展为稠密连接,提高了第二子模块确定融合图像的预测噪声信息的准确性。
在步骤303中,使用第二模块基于预测噪声信息对添加噪声的样本参考图像进行去噪处理,将去噪后的样本参考图像确定为去噪后的样本融合图像。
在步骤304中,计算未添加噪声的样本参考图像与去噪后的样本融合图像之间的像素值差异。
在一个实施例中,对未添加噪声的样本参考图像进行数字增益加强处理和去暗角处理,以及对去噪后的样本融合图像进行数字增益加强处理和去暗角处理,计算数字增益加强处理和去暗角处理后的样本参考图像和样本融合图像之间的像素值差异。
加入数字增益加强处理和去暗角处理操作,使得训练和测试的图像的噪声分布更加接近,从而提升图像去噪模型的去噪能力。
可选的,第一步骤,将未添加噪声的样本参考图像中每个像素点的像素值与目标数字增益相乘,并将相乘后的样本参考图像与目标暗角增益图像中相同像素位置的像素值相乘;第二步骤,将去噪后的样本融合图像中每个像素点的像素值与目标数字增益相乘,并将相乘后的样本融合图像与目标暗角增益图像中相同像素位置的像素值相乘,其中,目标数字增益为获取样本图像集过程中逆暗角变换中使用的数字增益,目标暗角增益图像为获取样本图像集过程中逆数字增益变换中使用的暗角增益图像。
在步骤305中,基于像素值差异对第一模块进行调整。
调整方式有多种,例如,可以基于像素值差异对第一模块进行调整,使得像素值差异小于预设值,预设值较小,优选为零,或者,可以基于像素值差异对第一模块进行调整,当调整次数达到预设次数时,结束调整。
本公开实施例使用新型的样本图像集对图像去噪模型进行训练,基于样本图像集中图像的种类,提高了图像去噪模型解析图像文理细节的能力和去除图像鬼影的能力,提高了图像去噪模型输出的图像的质量。
基于本公开实施例使用的光流图对齐方法,进一步提高了图像去噪模型解析图像文理细节的能力和去除图像鬼影的能力,使得图像去噪模型输出的图像具有较好的纹理细节且不会出现鬼影问题。
图5是根据一示例性实施例示出的一种图像去噪模型的结构示意图,下面结合图5所示的模型结构,对图像去噪模型以及训练图像去噪模型的方法进行介绍。
图5所示的图像去噪模型是以Unet网络作为骨干网络并进行一定改进后得到的,相比于传统的Unet网络,该图像去噪模型在每个编码模块和解码模块中新增了Resnet中的bottleneck残差模块,并将Unet网络中编码模块与解码模块之间的一一连接,扩展为稠密连接。
图5所示的图像去噪模型F(Ii,θ)包括输入模块、三个编码模块、融合模块、三个解码模块和输出模块,θ为图像去噪模型的模型参数,三个编码模块分别与三个解码模块连接。
其中,输入模块和输出模块均由卷积网络组成,输入模块和输出模块中通道数量、卷积核尺寸、步长、激活函数、是否有偏置等参数如表1所示。
表1卷积网络参数
所在模块 | 类型 | 通道数量 | 卷积核尺寸 | 步长 | 激活函数 | 偏置 |
输入模块 | 卷积 | 64 | 3 | 1 | relu | 0 |
输出模块 | 卷积 | 4 | 3 | 1 | - | 1 |
每个编码模块均包括一个残差子模块和一个采样子模块,每个解码模块均包括一个残差子模块、一个合并子模块和一个采样子模块。残差子模块的结构如图6所示,残差子模块中的通道数量、卷积核尺寸、步长、激活函数、是否有偏置等参数如表2所示。表2中c为残差子模块中第一个卷积层的通道数量,可以根据需要设置c的大小,本示例设c为64。采样子模块统一使用space2depth操作进行下采样以及统一使用depth2space操作进行上采样。
表2卷积网络参数
序号 | 类型 | 通道数量 | 卷积核尺寸 | 步长 | 激活函数 | 偏置 |
1 | 卷积 | c | 1 | 1 | - | 1 |
2 | 卷积 | c/4 | 1 | 1 | relu | 0 |
3 | 卷积 | c/4 | 3 | 1 | relu | 0 |
4 | 卷积 | c | 1 | 1 | - | 0 |
输入模块的输入为Ii,输出为f0,输入模块用于调整Ii中图像的通道数量。例如,Ii包括8帧图像,每帧图像均为Space2depth处理后所得的图像,每帧图像包括4个通道图像,Ii总共包括32个通道图像,Ii中图像的通道数量为32,经过输入模块处理后,f0中图像的通道数量为64。
第一编码模块的输入为f0,使用第一编码模块中的残差子模块对f0进行处理,获得f1,使用第一编码模块中的采样子模块对f1进行二倍的space2depth下采样处理,获得f11,以及对f1进行四倍的space2depth下采样处理,获得f12。
第二编码模块的输入为f11,使用第二编码模块中的残差子模块对f11进行处理,获得f2,使用第二编码模块中的采样子模块对f2进行二倍的space2depth下采样处理,获得f21,以及对f2进行二倍的depth2space上采样,获得f22。
第三编码模块的输入为f21,使用第三编码模块中的残差子模块对f21进行处理,获得f3,使用第三编码模块中的采样子模块对f3进行二倍的depth2space上采样处理,获得f31,以及对f3进行四倍的depth2space上采样处理,获得f32。
融合模块由残差子模块组成,融合模块的输入为f3,输出为f4。
第一解码模块的输入为f4,使用第一解码模块中的采样子模块对f4进行二倍的depth2space上采样处理,获得f5,使用第一解码模块中的合并子模块将f5、f3、f12和f21合并,获得f′1,使用第一解码模块中的残差子模块对f′1进行处理,获得f51。合并子模块对具有相同长和宽的图像进行合并,将通道数量相加。
第二解码模块的输入为f51,使用第二解码模块中的采样子模块对f51进行二倍的depth2space上采样处理,获得f6,使用第二解码模块中的合并子模块将f6、f31、f2和f11合并,获得f′2,使用第二解码模块中的残差子模块对f′2进行处理,获得f61。
第三解码模块的输入为f61,使用第三解码模块中的采样子模块对f61进行二倍的depth2space上采样处理,获得f7,使用第三解码模块中的合并子模块将f7、f32、f22和f1合并,获得f′3,使用第三解码模块中的残差子模块对f′3进行处理,获得f71。f71为融合图像。
输出模块的输入为f71,输出为 为融合图像的预测噪声信息。
实际中,可以减少图像去噪模型中卷积核的参数量,设置残差子模块中c为较小数值,从而减少模型的总体计算规模,提高模型的处理速度。
例如,可以预先设置第一编码模块中残差子模块输出的图像的通道数量为64,设置第二编码模块中残差子模块输出的图像的通道数量为128,设置第三编码模块中残差子模块输出的图像的通道数量为256,设置融合模块输出的图像的通道数量为256,设置第一解码模块中残差子模块输出的图像的通道数量为256,设置第二解码模块中残差子模块输出的图像的通道数量为128,设置第三解码模块中残差子模块输出的图像的通道数量为64。
由于在图像去噪模型中增设了残差模块和稠密连接,从而提高了图像去噪模型的去噪解析能力、网络深度,避免了梯度消失等问题,有效提高了图像去噪模型的泛化能力。
本示例对mid_channel为64的传统Unet模型、本示例提供的图像去噪模型(又称为DenseResUnet模型)、ResUnet模型和DenseUnet模型进行消融实验,其中,DenseResUnet模型包括残差子模块且进行稠密连接,ResUnet模型为将DenseResUnet模型中的稠密连接改为一一连接后得到的模型,DenseUnet模型为取消DenseResUnet模型中残差子模块后得到的模型。
选取样本图像集中的5帧图像作为测试集,对传统Unet模型、DenseResUnet模型、ResUnet模型和DenseUnet模型进行测试,测试结果如表3所示:
表3消融实验数据
噪声图 | Unet | DenseResUnet | ResUnet | DenseUnet | |
pSNR | 35.18 | 42.82 | 43.41 | 43.09 | 42.94 |
pSNR_gain | 0 | +7.64 | +8.23 | +7.91 | +7.76 |
pSNR全称为Peak Signal to Noise Ratio,又称峰值信噪比。
由表3可知,本示例提供的图像去噪模型对应的pSNR最高,表明本示例提供的图像去噪模型的去噪效果最好。
下面对图5所示的图像去噪模型的训练过程进行介绍:
样本图像集T包括多个样本图像子集Pi,不同样本图像子集Pi对应的拍摄场景不同,或者,不同样本图像子集Pi对应的采样场景不同。Pi包括
针对每个Pi,分别对/>和/>进行Space2depth操作,依次得到/>和/>得到图像去噪模型的输入Ii,/>并将Ii输入图像去噪模型中。Space2depth操作的过程如图7所示。
获得图像去噪模型输出的其中,θ为图像去噪模型的模型参数。对进行Depth2space操作,得到/>基于残差学习的理论,计算/>将/>作为去噪后的融合图像。融合图像为RAW图像。
利用Dk=(gr,gb,gdigital,CC[incc],lb),通过模拟的图像处理过程,分别将去噪后的融合图像和未添加噪声的参考图像/>的图像格式转换成RGB格式,计算RGB格式的/>与RGB格式的/>之间的像素值差异,可以将该像素值差异称为损失L1。
使用损失L1对图像去噪模型进行调整,减小与/>之间的像素值差异。
由于和/>进行的操作一致,因此以/>作为示例,对上述过程进行说明。
步骤1、对进行数字增益加强,得到/>
步骤2、对数字增益加强后的进行去暗角操作,得到/>
步骤3、对去暗角后的进行白平衡变换,将/>中所有R像素的像素值乘以gR,得到/>将/>中所有B像素的像素值乘以gB,得到获得白平衡变换后的RAW图像/>其中/>中G像素的像素值。
步骤4、对进行Space2depth卷积操作,生成四个两倍下采样的通道图像对四个通道图像进行基于双线性插值的去马赛克操作,获得传感器空间RGB格式的图像/>
具体地,对红色通道进行基于双线性插值的两倍上采样,得到
对蓝色通道进行上下翻转后进行基于双线性插值的两倍上采样,然后再上下翻转,得到
对第一个绿色通道进行左右翻转后进行基于双线性插值的两倍上采样,然后再左右翻转,得到
对第二个绿色通道进行上下翻转后进行基于双线性插值的两倍上采样,然后再上下翻转,得到
合并与/>得到/>对于任意像素/>若/>中与/>相同坐标的像素经过Space2depth被划分到/>中,则像素/>的像素值/>为/>中具有相同坐标的像素的像素值,即/>若/>中与/>相同坐标的像素经过Space2depth被划分到/>中,则像素/>的像素值/>为/>中具有相同坐标的像素的像素值,即否则像素/>的像素值/>
生成RGB格式的图像
步骤5、对进行颜色空间转换,得到从传感器RGB空间转换为标准线性RGB空间的图像/>
步骤6、对进行gamma变换,得到从标准线性RGB空间到标准非线性RGB空间的图像/>
对进行上述步骤1-步骤6的操作,得到/>
计算与/>之间的损失/>
可选的,用Adam优化器反向优化L1,设置Adam的参数为默认值σ=0.1,β1=0.9,β2=0.999。
可选的,设置训练的批尺寸为16,图像块尺寸为256,训练周期为200次循环训练集,前150次学习率为1e-4,后50次学习率为1e-5。
本公开实施例使用新型的样本图像集对图像去噪模型进行训练,基于样本图像集中图像的种类,使得训练后的图像去噪模型能够输出高质量的去噪后的融合图像,输出的融合图像不会出现鬼影问题并且具有较好的纹理细节。
下面结合图5所示的图像去噪模型,对本公开实施例提供的图像去噪方法进行介绍。
终端获取相机快门被按下时采集的一组RAW图像,对RAW图像进行坏点校正操作,从校正后的RAW图像中选取参考图像和非参考图像,将非参考图像与参考图像对齐,将参考图像和对齐后的非参考图像输入本公开实施例提供的图像去噪模型中,获得图像去噪模型输出的去噪后的融合图像,融合图像是融合参考图像和对齐后的非参考图像后得到的图像。图像去噪过程具体包括:
相机传感器输出N帧RAW图像,N帧RAW图像组成一图像集合Bt,
步骤一,对Bt中每帧进行坏点矫正。
对Bt中的每帧进行Space2depth卷积操作,生成四个两倍下采样的通道图像针对各通道图像中的每个像靠/>对比其空间临接的八个像素点集合更新像素值为/>从而生成/>将/>通过Depth2space操作生成/>
加入坏点检测操作,使得训练和测试的RAW图像的噪声分布更加接近,从而提升去噪效果。
步骤二,从所确中选择参考帧/>其中,laplacian()为拉普拉斯算子,I为图像集合Bt中各图像的标号的集合。
步骤三,为从所有/>中确定出的非参考图像,/>将每帧/>与参考图像/>进行对齐,获得对齐后的非参考图像/>以及/>对应的光流图
步骤四,获取相机传感器中的噪声强度参数noiseprofile=(σp,σg),从而获得噪声图
步骤五,分别对和/>进行Space2depth操作,得到/>和将其与/>并联,得到图像去噪模型的输入/> 将It图像去噪模型后,获得图像去噪模型输出的去噪后的融合图像。融合图像为RAW图像。
基于Disflow对齐的多帧RAW图像去噪方法相比于相关技术中的单帧RAW图像去噪方法,解析力有明显提升。
基于Disflow对齐的多帧RAW去噪方法相比于基于神经网络进行端到端对齐和去噪的方法,去噪能力和解析力都是最强的。
基于在逆图像处理过程中从高清视频中抽取连续帧制作的样本图像集即训练集,相比于开源的SIDD训练集,训练的相同图像去噪模型具有更强的纹理细节解析力。
从样本图像集中随机选取100组序列,每组序列是基于针对一个拍摄场景(可以理解为采样场景)连续拍摄的五帧RAW图像确定的样本图像子集,FastDVDnet方法是用网络端到端进行隐式对齐和去噪的方法,SIDD方法使用SIDD数据集训练与本公开实施例使用的图像去噪模型相同的模型。
使用本公开实施例提供的图像去噪方法与已有的图像去噪方法,对选取的100组序列进行去噪处理,计算100组序列对应的去噪数据的平均值,得到反映去噪效果的去噪数据。
本公开实施例提供的图像去噪方法与已有的图像去噪方法的去噪数据如表4所示:
表4去噪数据表
pSNR全称为Peak Signal to Noise Ratio,又称峰值信噪比。
由表4可知,本公开实施例提供的图像去噪方法对应的pSNR最高,表明本公开实施例提供的图像去噪方法的去噪效果最好。
本公开实施例使用光流图对齐方法对多帧RAW图像进行对齐,将参考图像、对齐后的非参考图像和光流图同时输入神经网络模型即图像去噪模型中,提供了充足的有效信息,从而保证图像去噪模型具有较好的去噪能力、较好的细节纹理解析力,并且对大幅度运动物体不产生鬼影。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本公开并不受所描述的动作顺序的限制,因为依据本公开,某些步骤可以采用其他顺序或者同时进行。
其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本公开所必须的。
与前述应用功能实现方法实施例相对应,本公开还提供了应用功能实现装置及相应的终端的实施例。
图8是根据一示例性实施例示出的一种图像去噪装置框图,所述装置包括:第一获取模块41、第一确定模块42、对齐模块43和第二获取模块44;其中,
所述第一获取模块41,被配置为获取针对一拍摄场景连续拍摄的多帧图像;
所述第一确定模块42,被配置为将所述多帧图像中的一帧图像确定为参考图像,将剩余的图像确定为非参考图像;
所述对齐模块43,被配置为将所述非参考图像与所述参考图像对齐,获得对齐后的非参考图像;
所述第二获取模块44,被配置为基于所述参考图像和所述对齐后的非参考图像,获得去噪后的融合图像,所述融合图像是所述参考图像和所述对齐后的非参考图像融合后得到的图像。
在一个可选的实施例中,在图8所示的图像去噪装置的基础上,所述对齐模块43,可以包括:第一确定子模块和对齐子模块;其中,
所述第一确定子模块,被配置为基于所述非参考图像和所述参考图像,确定所述非参考图像对应的光流图;
所述对齐子模块,被配置为依据所述光流图,将所述非参考图像与所述参考图像对齐。
在一个可选的实施例中,所述确定子模块,可以包括:获得单元、确定单元和生成单元;其中,
所述获得单元,被配置为基于所述非参考图像中每个像素单元的平均像素值,获得目标非参考图像,以及基于所述参考图像中每个像素单元的平均像素值,获得目标参考图像,每个像素单元包括一个R像素、两个G像素和一个B像素;
所述确定单元,被配置为确定所述目标非参考图像中每个像素点图像,相对于所述目标参考图像中相同图像的偏移矢量;
所述生成单元,被配置为基于所有像素点的偏移矢量生成光流图。
在一个可选的实施例中,所述对齐子模块,可以包括:拆分单元、移动单元和合成单元;其中,
所述拆分单元,被配置为将所述非参考图像拆分成R通道图像、G1通道图像、G2通道图像和B通道图像;
所述移动单元,被配置为依据所述光流图移动每个通道图像中的像素点图像;
所述合成单元,被配置为对图像移动后的四个通道图像进行合成。
在一个可选的实施例中,在图8所示的图像去噪装置的基础上,所述第二获取模块44,可以被配置为使用图像去噪模型基于所述参考图像和所述对齐后的非参考图像,确定所述去噪后的融合图像。
在一个可选的实施例中,所述图像去噪模型可以包括:第一模块和第二模块;所述装置还可以包括:第三获取模块、第二确定模块、去噪模块、计算模块和调整模块;其中,
所述第三获取模块,被配置为获取样本图像集,所述样本图像集包括:对齐后的样本非参考图像、添加噪声的样本参考图像和未添加噪声的样本参考图像,所述对齐后的样本非参考图像是将添加噪声的样本非参考图像与所述添加噪声的样本参考图像对齐后得到的图像,所述样本非参考图像和所述样本参考图像是连续拍摄的图像,所述未添加噪声的样本参考图像为标注了像素信息的样本参考图像;
所述第二确定模块,被配置为使用所述第一模块基于所述对齐后的样本非参考图像和所述添加噪声的样本参考图像,确定样本融合图像的预测噪声信息,所述样本融合图像是融合所述添加噪声的样本参考图像和所述对齐后的样本非参考图像后得到的图像,所述样本融合图像与所述添加噪声的样本参考图像相对应;
所述去噪模块,被配置为使用所述第二模块基于所述样本融合图像的预测噪声信息对所述添加噪声的样本参考图像进行去噪处理,将去噪后的样本参考图像确定为去噪后的样本融合图像;
所述计算模块,被配置为计算所述未添加噪声的样本参考图像与所述去噪后的样本融合图像之间的像素值差异;
所述调整模块,被配置为基于所述像素值差异对所述第一模块进行调整。
在一个可选的实施例中,所述样本图像集中的图像均为Bayer格式的RAW图像;所述第一模块包括:第一子模块和第二子模块;所述第二确定模块,可以包括:第一处理子模块和第二确定子模块;其中,
所述第一处理子模块,被配置为使用所述第一子模块对所述添加噪声的样本参考图像和所述对齐后的样本非参考图像进行Space2depth处理,获得处理后的样本参考图像和样本非参考图像;
所述第二确定子模块,被配置为使用所述第二子模块基于所述处理后的样本参考图像和样本非参考图像,确定所述样本融合图像的预测噪声信息。
在一个可选的实施例中,所述第二子模块包括输入单元、多个编码单元、融合单元、多个解码单元和输出单元,每个编码单元均包括编码子单元和第一采样子单元,每个解码单元均包括解码子单元和第二采样子单元,所述每个解码单元包括的解码子单元与至少两个第一采样子单元连接;
所述第二确定子模块,可以包括:第一处理单元、第二处理单元、第三处理单元、第四处理单元和第五处理单元;其中,
所述第一处理单元,被配置为使用所述输入单元对所述处理后的样本参考图像和样本非参考图像的通道数量进行调整,获得第一特征图像;
所述第二处理单元,被配置为使用所述多个编码单元对所述第一特征图像进行编码处理和采样处理,获得第二特征图像和每个第一采样子单元所得的第一采样特征图像;
所述第三处理单元,被配置为使用所述融合单元对所述第二特征图像进行特征融合处理,获得第三特征图像;
所述第四处理单元,被配置为使用多个解码单元对所述第三特征图像进行采样处理和解码处理,获得第四特征图像,其中,每个解码单元包括的第二采样子单元对自身所得的第二采样特征图像和目标采样特征图像进行合并,所述目标采样特征图像为与所述第二采样子单元连接的第一采样子单元所得的第一采样特征图像;
所述第五处理单元,被配置为使用所述输出单元确定所述第四特征图像的噪声信息,将所述第四特征图像的噪声信息确定为所述样本融合图像的预测噪声信息。
在一个可选的实施例中,所述计算模块,可以包括:第二处理子模块和计算子模块;其中,
所述第二处理子模块,被配置为对所述未添加噪声的样本参考图像进行数字增益加强处理和去暗角处理,以及对所述去噪后的样本融合图像进行数字增益加强处理和去暗角处理;
所述计算子模块,被配置为计算数字增益加强处理和去暗角处理后的样本参考图像和样本融合图像之间的像素值差异。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
相应的,一方面,本公开实施例提供了一种获取样本图像集的装置,包括:处理器;用于存储处理器可执行指令的存储器;其中,上述处理器被配置为:
获取针对一拍摄场景连续拍摄的多帧图像;
将所述多帧图像中的一帧图像确定为参考图像,将剩余的图像确定为非参考图像;
分别对格式转换后的参考图像和非参考图像进行噪声添加处理,将所得的添加噪声的非参考图像与添加噪声的参考图像对齐,获得对齐后的非参考图像;
对所述格式转换后的参考图像标注像素信息,获得未添加噪声的参考图像;
获取样本图像集,所述样本图像集包括:所述对齐后的非参考图像、所述添加噪声的参考图像和所述未添加噪声的参考图像。
图9是根据一示例性实施例示出的一种用于获取样本图像集的装置1600的一结构示意图。例如,装置1600具有无线上网功能,可以是用户设备,可以具体为移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理,可穿戴设备如智能手表、智能眼镜、智能手环、智能跑鞋等。
参照图9,装置1600可以包括以下一个或多个组件:处理组件1602,存储器1604,电源组件1606,多媒体组件1608,音频组件1610,输入/输出(I/O)的接口1612,传感器组件1614,以及通信组件1616。
处理组件1602通常控制装置1600的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1602可以包括一个或多个处理器1620来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1602可以包括一个或多个模块,便于处理组件1602和其他组件之间的交互。例如,处理组件1602可以包括多媒体模块,以方便多媒体组件1608和处理组件1602之间的交互。
存储器1604被配置为存储各种类型的数据以支持在设备1600的操作。这些数据的示例包括用于在装置1600上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件1606为装置1600的各种组件提供电力。电源组件1606可以包括电源管理***,一个或多个电源,及其他与为装置1600生成、管理和分配电力相关联的组件。
多媒体组件1608包括在上述装置1600和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。上述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还扫描与上述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1608包括一个前置摄像头和/或后置摄像头。当设备1600处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件1610被配置为输出和/或输入音频信号。例如,音频组件1610包括一个麦克风(MIC),当装置1600处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1604或经由通信组件1616发送。在一些实施例中,音频组件1610还包括一个扬声器,用于输出音频信号。
I/O接口1612为处理组件1602和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1614包括一个或多个传感器,用于为装置1600提供各个方面的状态评估。例如,传感器组件1614可以扫描到设备1600的打开/关闭状态,组件的相对定位,例如上述组件为装置1600的显示器和小键盘,传感器组件1614还可以扫描装置1600或装置1600一个组件的位置改变,用户与装置1600接触的存在或不存在,装置1600方位或加速/减速和装置1600的温度变化。传感器组件1614可以包括接近传感器,被配置用来在没有任何的物理接触时扫描附近物体的存在。传感器组件1614还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1614还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件1616被配置为便于装置1600和其他设备之间有线或无线方式的通信。装置1600可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件1616经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,上述通信组件1616还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置1600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种非临时性计算机可读存储介质,例如包括指令的存储器1604,当存储介质中的指令由装置1600的处理器1620执行时,使得装置1600能够执行获取样本图像集的方法,该方法包括:获取针对一拍摄场景连续拍摄的多帧图像;将所述多帧图像中的一帧图像确定为参考图像,将剩余的图像确定为非参考图像;分别对格式转换后的参考图像和非参考图像进行噪声添加处理,将所得的添加噪声的非参考图像与添加噪声的参考图像对齐,获得对齐后的非参考图像;对所述格式转换后的参考图像标注像素信息,获得未添加噪声的参考图像;获取样本图像集,所述样本图像集包括:所述对齐后的非参考图像、所述添加噪声的参考图像和所述未添加噪声的参考图像。
所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
如图10所示,图10是根据一示例性实施例示出的另一种用于获取样本图像集的装置1700的一结构示意图。例如,装置1700可以被提供为一应用服务器。参照图10,装置1700包括处理组件1722,其进一步包括一个或多个处理器,以及由存储器1716所代表的存储器资源,用于存储可由处理部件1722的执行的指令,例如应用程序。存储器1716中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1722被配置为执行指令,以执行上述获取样本图像集的方法。
装置1700还可以包括一个电源组件1726被配置为执行装置1700的电源管理,一个有线或无线网络接口1750被配置为将装置1700连接到网络,和一个输入输出(I/O)接口1758。装置1700可以操作基于存储在存储器1716的操作***,例如Android、iOS、WindowsServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1716,上述指令可由装置1700的处理组件1722执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
其中,当所述存储器1716中的指令由所述处理组件1722执行时,使得装置1700能够执行一种获取样本图像集的方法,包括:
获取针对一拍摄场景连续拍摄的多帧图像;
将所述多帧图像中的一帧图像确定为参考图像,将剩余的图像确定为非参考图像;
分别对格式转换后的参考图像和非参考图像进行噪声添加处理,将所得的添加噪声的非参考图像与添加噪声的参考图像对齐,获得对齐后的非参考图像;
对所述格式转换后的参考图像标注像素信息,获得未添加噪声的参考图像;
获取样本图像集,所述样本图像集包括:所述对齐后的非参考图像、所述添加噪声的参考图像和所述未添加噪声的参考图像。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (16)
1.一种图像去噪方法,其特征在于,所述方法包括:
获取针对一拍摄场景连续拍摄的多帧图像;
将所述多帧图像中的一帧图像确定为参考图像,将剩余的图像确定为非参考图像;
将所述非参考图像与所述参考图像对齐,获得对齐后的非参考图像;
基于所述参考图像和所述对齐后的非参考图像,获得去噪后的融合图像,所述融合图像是所述参考图像和所述对齐后的非参考图像融合后得到的图像;
所述基于所述参考图像和所述对齐后的非参考图像,获得去噪后的融合图像,包括:
使用图像去噪模型基于所述参考图像和所述对齐后的非参考图像,确定所述去噪后的融合图像;
所述图像去噪模型包括:第一模块和第二模块;所述图像去噪模型通过下面方式训练得到:
获取样本图像集,所述样本图像集包括:对齐后的样本非参考图像、添加噪声的样本参考图像和未添加噪声的样本参考图像,所述对齐后的样本非参考图像是将添加噪声的样本非参考图像与所述添加噪声的样本参考图像对齐后得到的图像,所述样本非参考图像和所述样本参考图像是连续拍摄的图像,所述未添加噪声的样本参考图像为标注了像素信息的样本参考图像;
使用所述第一模块基于所述对齐后的样本非参考图像和所述添加噪声的样本参考图像,确定样本融合图像的预测噪声信息,所述样本融合图像是融合所述添加噪声的样本参考图像和所述对齐后的样本非参考图像后得到的图像,所述样本融合图像与所述添加噪声的样本参考图像相对应;
使用所述第二模块基于所述样本融合图像的预测噪声信息对所述添加噪声的样本参考图像进行去噪处理,将去噪后的样本参考图像确定为去噪后的样本融合图像;
计算所述未添加噪声的样本参考图像与所述去噪后的样本融合图像之间的像素值差异;
基于所述像素值差异对所述第一模块进行调整。
2.根据权利要求1所述的方法,其特征在于,所述将所述非参考图像与所述参考图像对齐,包括:
基于所述非参考图像和所述参考图像,确定所述非参考图像对应的光流图;
依据所述光流图,将所述非参考图像与所述参考图像对齐。
3.根据权利要求2所述的方法,其特征在于,所述确定所述非参考图像对应的光流图,包括:
基于所述非参考图像中每个像素单元的平均像素值,获得目标非参考图像,以及基于所述参考图像中每个像素单元的平均像素值,获得目标参考图像,每个像素单元包括一个R像素、两个G像素和一个B像素;
确定所述目标非参考图像中每个像素点图像,相对于所述目标参考图像中相同图像的偏移矢量,基于所有像素点的偏移矢量生成光流图。
4.根据权利要求3所述的方法,其特征在于,所述依据所述光流图,将所述非参考图像与所述参考图像对齐,包括:
将所述非参考图像拆分成R通道图像、G1通道图像、G2通道图像和B通道图像;
依据所述光流图移动每个通道图像中的像素点图像,并对图像移动后的四个通道图像进行合成。
5.根据权利要求1所述的方法,其特征在于,所述样本图像集中的图像均为Bayer格式的RAW图像;所述第一模块包括:第一子模块和第二子模块;所述使用所述第一模块基于所述对齐后的样本非参考图像和所述添加噪声的样本参考图像,确定样本融合图像的预测噪声信息,包括:
使用所述第一子模块对所述添加噪声的样本参考图像和所述对齐后的样本非参考图像进行Space2depth处理,获得处理后的样本参考图像和样本非参考图像;
使用所述第二子模块基于所述处理后的样本参考图像和样本非参考图像,确定所述样本融合图像的预测噪声信息。
6.根据权利要求5所述的方法,其特征在于,所述第二子模块包括输入单元、多个编码单元、融合单元、多个解码单元和输出单元,每个编码单元均包括编码子单元和第一采样子单元,每个解码单元均包括解码子单元和第二采样子单元,所述每个解码单元包括的解码子单元与至少两个第一采样子单元连接;
所述使用所述第二子模块基于所述处理后的样本参考图像和样本非参考图像,确定所述样本融合图像的预测噪声信息,包括:
使用所述输入单元对所述处理后的样本参考图像和样本非参考图像的通道数量进行调整,获得第一特征图像;
使用所述多个编码单元对所述第一特征图像进行编码处理和采样处理,获得第二特征图像和每个第一采样子单元所得的第一采样特征图像;
使用所述融合单元对所述第二特征图像进行特征融合处理,获得第三特征图像;
使用多个解码单元对所述第三特征图像进行采样处理和解码处理,获得第四特征图像,其中,每个解码单元包括的第二采样子单元对自身所得的第二采样特征图像和目标采样特征图像进行合并,所述目标采样特征图像为与所述第二采样子单元连接的第一采样子单元所得的第一采样特征图像;
使用所述输出单元确定所述第四特征图像的噪声信息,将所述第四特征图像的噪声信息确定为所述样本融合图像的预测噪声信息。
7.根据权利要求1所述的方法,其特征在于,所述计算所述未添加噪声的样本参考图像与所述去噪后的样本融合图像之间的像素值差异,包括:
对所述未添加噪声的样本参考图像进行数字增益加强处理和去暗角处理,以及对所述去噪后的样本融合图像进行数字增益加强处理和去暗角处理;
计算数字增益加强处理和去暗角处理后的样本参考图像和样本融合图像之间的像素值差异。
8.一种图像去噪装置,其特征在于,所述装置包括:
第一获取模块,被配置为获取针对一拍摄场景连续拍摄的多帧图像;
第一确定模块,被配置为将所述多帧图像中的一帧图像确定为参考图像,将剩余的图像确定为非参考图像;
对齐模块,被配置为将所述非参考图像与所述参考图像对齐,获得对齐后的非参考图像;
第二获取模块,被配置为基于所述参考图像和所述对齐后的非参考图像,获得去噪后的融合图像,所述融合图像是所述参考图像和所述对齐后的非参考图像融合后得到的图像;
所述第二获取模块,被配置为使用图像去噪模型基于所述参考图像和所述对齐后的非参考图像,确定所述去噪后的融合图像;
所述图像去噪模型包括:第一模块和第二模块;所述装置还包括:
第三获取模块,被配置为获取样本图像集,所述样本图像集包括:对齐后的样本非参考图像、添加噪声的样本参考图像和未添加噪声的样本参考图像,所述对齐后的样本非参考图像是将添加噪声的样本非参考图像与所述添加噪声的样本参考图像对齐后得到的图像,所述样本非参考图像和所述样本参考图像是连续拍摄的图像,所述未添加噪声的样本参考图像为标注了像素信息的样本参考图像;
第二确定模块,被配置为使用所述第一模块基于所述对齐后的样本非参考图像和所述添加噪声的样本参考图像,确定样本融合图像的预测噪声信息,所述样本融合图像是融合所述添加噪声的样本参考图像和所述对齐后的样本非参考图像后得到的图像,所述样本融合图像与所述添加噪声的样本参考图像相对应;
去噪模块,被配置为使用所述第二模块基于所述样本融合图像的预测噪声信息对所述添加噪声的样本参考图像进行去噪处理,将去噪后的样本参考图像确定为去噪后的样本融合图像;
计算模块,被配置为计算所述未添加噪声的样本参考图像与所述去噪后的样本融合图像之间的像素值差异;
调整模块,被配置为基于所述像素值差异对所述第一模块进行调整。
9.根据权利要求8所述的装置,其特征在于,所述对齐模块,包括:
第一确定子模块,被配置为基于所述非参考图像和所述参考图像,确定所述非参考图像对应的光流图;
对齐子模块,被配置为依据所述光流图,将所述非参考图像与所述参考图像对齐。
10.根据权利要求9所述的装置,其特征在于,所述确定子模块,包括:
获得单元,被配置为基于所述非参考图像中每个像素单元的平均像素值,获得目标非参考图像,以及基于所述参考图像中每个像素单元的平均像素值,获得目标参考图像,每个像素单元包括一个R像素、两个G像素和一个B像素;
确定单元,被配置为确定所述目标非参考图像中每个像素点图像,相对于所述目标参考图像中相同图像的偏移矢量;
生成单元,被配置为基于所有像素点的偏移矢量生成光流图。
11.根据权利要求10所述的装置,其特征在于,所述对齐子模块,包括:
拆分单元,被配置为将所述非参考图像拆分成R通道图像、G1通道图像、G2通道图像和B通道图像;
移动单元,被配置为依据所述光流图移动每个通道图像中的像素点图像;
合成单元,被配置为对图像移动后的四个通道图像进行合成。
12.根据权利要求8所述的装置,其特征在于,所述样本图像集中的图像均为Bayer格式的RAW图像;所述第一模块包括:第一子模块和第二子模块;所述第二确定模块,包括:
第一处理子模块,被配置为使用所述第一子模块对所述添加噪声的样本参考图像和所述对齐后的样本非参考图像进行Space2depth处理,获得处理后的样本参考图像和样本非参考图像;
第二确定子模块,被配置为使用所述第二子模块基于所述处理后的样本参考图像和样本非参考图像,确定所述样本融合图像的预测噪声信息。
13.根据权利要求12所述的装置,其特征在于,所述第二子模块包括输入单元、多个编码单元、融合单元、多个解码单元和输出单元,每个编码单元均包括编码子单元和第一采样子单元,每个解码单元均包括解码子单元和第二采样子单元,所述每个解码单元包括的解码子单元与至少两个第一采样子单元连接;
所述第二确定子模块,包括:
第一处理单元,被配置为使用所述输入单元对所述处理后的样本参考图像和样本非参考图像的通道数量进行调整,获得第一特征图像;
第二处理单元,被配置为使用所述多个编码单元对所述第一特征图像进行编码处理和采样处理,获得第二特征图像和每个第一采样子单元所得的第一采样特征图像;
第三处理单元,被配置为使用所述融合单元对所述第二特征图像进行特征融合处理,获得第三特征图像;
第四处理单元,被配置为使用多个解码单元对所述第三特征图像进行采样处理和解码处理,获得第四特征图像,其中,每个解码单元包括的第二采样子单元对自身所得的第二采样特征图像和目标采样特征图像进行合并,所述目标采样特征图像为与所述第二采样子单元连接的第一采样子单元所得的第一采样特征图像;
第五处理单元,被配置为使用所述输出单元确定所述第四特征图像的噪声信息,将所述第四特征图像的噪声信息确定为所述样本融合图像的预测噪声信息。
14.根据权利要求8所述的装置,其特征在于,所述计算模块,包括:
第二处理子模块,被配置为对所述未添加噪声的样本参考图像进行数字增益加强处理和去暗角处理,以及对所述去噪后的样本融合图像进行数字增益加强处理和去暗角处理;
计算子模块,被配置为计算数字增益加强处理和去暗角处理后的样本参考图像和样本融合图像之间的像素值差异。
15.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1~7中任一项所述方法的步骤。
16.一种获取样本图像集的设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取针对一拍摄场景连续拍摄的多帧图像;
将所述多帧图像中的一帧图像确定为参考图像,将剩余的图像确定为非参考图像;
将所述非参考图像与所述参考图像对齐,获得对齐后的非参考图像;
基于所述参考图像和所述对齐后的非参考图像,获得去噪后的融合图像,所述融合图像是所述参考图像和所述对齐后的非参考图像融合后得到的图像;
所述基于所述参考图像和所述对齐后的非参考图像,获得去噪后的融合图像,包括:
使用图像去噪模型基于所述参考图像和所述对齐后的非参考图像,确定所述去噪后的融合图像;
所述图像去噪模型包括:第一模块和第二模块;所述图像去噪模型通过下面方式训练得到:
获取样本图像集,所述样本图像集包括:对齐后的样本非参考图像、添加噪声的样本参考图像和未添加噪声的样本参考图像,所述对齐后的样本非参考图像是将添加噪声的样本非参考图像与所述添加噪声的样本参考图像对齐后得到的图像,所述样本非参考图像和所述样本参考图像是连续拍摄的图像,所述未添加噪声的样本参考图像为标注了像素信息的样本参考图像;
使用所述第一模块基于所述对齐后的样本非参考图像和所述添加噪声的样本参考图像,确定样本融合图像的预测噪声信息,所述样本融合图像是融合所述添加噪声的样本参考图像和所述对齐后的样本非参考图像后得到的图像,所述样本融合图像与所述添加噪声的样本参考图像相对应;
使用所述第二模块基于所述样本融合图像的预测噪声信息对所述添加噪声的样本参考图像进行去噪处理,将去噪后的样本参考图像确定为去噪后的样本融合图像;
计算所述未添加噪声的样本参考图像与所述去噪后的样本融合图像之间的像素值差异;
基于所述像素值差异对所述第一模块进行调整。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010130576.5A CN111275653B (zh) | 2020-02-28 | 2020-02-28 | 图像去噪方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010130576.5A CN111275653B (zh) | 2020-02-28 | 2020-02-28 | 图像去噪方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111275653A CN111275653A (zh) | 2020-06-12 |
CN111275653B true CN111275653B (zh) | 2023-09-26 |
Family
ID=71000435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010130576.5A Active CN111275653B (zh) | 2020-02-28 | 2020-02-28 | 图像去噪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111275653B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111709891B (zh) * | 2020-06-12 | 2023-11-24 | 北京小米松果电子有限公司 | 图像去噪模型的训练方法、图像去噪方法、装置及介质 |
CN111612789A (zh) * | 2020-06-30 | 2020-09-01 | 征图新视(江苏)科技股份有限公司 | 一种基于改进的U-net网络的缺陷检测方法 |
CN112288657A (zh) * | 2020-11-16 | 2021-01-29 | 北京小米松果电子有限公司 | 图像处理方法、图像处理装置及存储介质 |
CN112950503A (zh) * | 2021-02-26 | 2021-06-11 | 北京小米松果电子有限公司 | 训练样本的生成方法及装置、真值图像的生成方法及装置 |
WO2022226702A1 (zh) * | 2021-04-25 | 2022-11-03 | Oppo广东移动通信有限公司 | 图像处理方法、处理装置、电子设备和存储介质 |
CN113852759B (zh) * | 2021-09-24 | 2023-04-18 | 豪威科技(武汉)有限公司 | 图像增强方法及拍摄装置 |
CN114092562A (zh) * | 2021-10-19 | 2022-02-25 | 上海闻泰信息技术有限公司 | 噪声模型标定方法、图像去噪方法、装置、设备和介质 |
CN116347248B (zh) * | 2022-11-18 | 2024-02-06 | 上海玄戒技术有限公司 | 图像获取方法和装置、电子设备、介质及芯片 |
CN116055844B (zh) * | 2023-01-28 | 2024-05-31 | 荣耀终端有限公司 | 一种跟踪对焦方法、电子设备和计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107230192A (zh) * | 2017-05-31 | 2017-10-03 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和移动终端 |
CN108898567A (zh) * | 2018-09-20 | 2018-11-27 | 北京旷视科技有限公司 | 图像降噪方法、装置及*** |
WO2019071613A1 (zh) * | 2017-10-13 | 2019-04-18 | 华为技术有限公司 | 一种图像处理方法及装置 |
CN110070511A (zh) * | 2019-04-30 | 2019-07-30 | 北京市商汤科技开发有限公司 | 图像处理方法和装置、电子设备及存储介质 |
-
2020
- 2020-02-28 CN CN202010130576.5A patent/CN111275653B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107230192A (zh) * | 2017-05-31 | 2017-10-03 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和移动终端 |
WO2019071613A1 (zh) * | 2017-10-13 | 2019-04-18 | 华为技术有限公司 | 一种图像处理方法及装置 |
CN108898567A (zh) * | 2018-09-20 | 2018-11-27 | 北京旷视科技有限公司 | 图像降噪方法、装置及*** |
CN110070511A (zh) * | 2019-04-30 | 2019-07-30 | 北京市商汤科技开发有限公司 | 图像处理方法和装置、电子设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
李展 ; 韩国强 ; 陈湘骥 ; 廖秀秀 ; .基于Keren配准和插值的快速超分辨率图像重建.华南理工大学学报(自然科学版).2011,(05),全文. * |
*** ; 徐少平 ; 崔燕 ; 刘婷云 ; 张贵珍 ; 林珍玉 ; .带参考图像通道的卷积神经网络随机脉冲噪声降噪算法.光电子・激光.2019,(11),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111275653A (zh) | 2020-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111275653B (zh) | 图像去噪方法及装置 | |
CN111401411B (zh) | 获取样本图像集的方法及装置 | |
CN109922372B (zh) | 视频数据处理方法及装置、电子设备和存储介质 | |
CN109345485B (zh) | 一种图像增强方法、装置、电子设备及存储介质 | |
US8866928B2 (en) | Determining exposure times using split paxels | |
CN109859144B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
JP7162683B2 (ja) | 画像ノイズ除去モデルの訓練方法、画像ノイズ除去方法、装置及び媒体 | |
US8995784B2 (en) | Structure descriptors for image processing | |
CN112634160A (zh) | 拍照方法及装置、终端、存储介质 | |
US11222235B2 (en) | Method and apparatus for training image processing model, and storage medium | |
CN113259594A (zh) | 图像处理方法及装置、计算机可读存储介质、终端 | |
CN111583142A (zh) | 图像降噪方法及装置、电子设备和存储介质 | |
CN111741187B (zh) | 图像处理方法、装置及存储介质 | |
CN115526774A (zh) | 图像插值方法、装置、存储介质及电子设备 | |
CN112288657A (zh) | 图像处理方法、图像处理装置及存储介质 | |
CN114723603A (zh) | 图像处理方法、图像处理装置及存储介质 | |
CN109068138B (zh) | 视频图像的处理方法及装置、电子设备和存储介质 | |
CN113592733A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN112950503A (zh) | 训练样本的生成方法及装置、真值图像的生成方法及装置 | |
CN111583144A (zh) | 图像降噪方法及装置、电子设备和存储介质 | |
CN116416505A (zh) | 图像处理模型的训练方法、图像处理方法、装置及存储介质 | |
CN111583145A (zh) | 图像降噪方法及装置、电子设备和存储介质 | |
CN116805976A (zh) | 视频处理方法、装置及存储介质 | |
CN117557484A (zh) | 颜色还原方法、装置及存储介质 | |
CN112435231A (zh) | 图像质量标尺生成方法、评测图像质量的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 100085 unit C, building C, lin66, Zhufang Road, Qinghe, Haidian District, Beijing Applicant after: Beijing Xiaomi pinecone Electronic Co.,Ltd. Address before: 100085 unit C, building C, lin66, Zhufang Road, Qinghe, Haidian District, Beijing Applicant before: BEIJING PINECONE ELECTRONICS Co.,Ltd. |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |