CN108694705B - 一种多帧图像配准与融合去噪的方法 - Google Patents
一种多帧图像配准与融合去噪的方法 Download PDFInfo
- Publication number
- CN108694705B CN108694705B CN201810732244.7A CN201810732244A CN108694705B CN 108694705 B CN108694705 B CN 108694705B CN 201810732244 A CN201810732244 A CN 201810732244A CN 108694705 B CN108694705 B CN 108694705B
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- registration
- map
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 71
- 239000013598 vector Substances 0.000 claims abstract description 38
- 238000010586 diagram Methods 0.000 claims abstract description 22
- 230000009466 transformation Effects 0.000 claims abstract description 22
- 230000003287 optical effect Effects 0.000 claims abstract description 8
- 230000000903 blocking effect Effects 0.000 claims description 9
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 30
- 238000007500 overflow downdraw method Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种多帧图像配准与融合去噪方法。本发明包括：(1)选取参考帧与待配准帧；(2)利用相机运动模型将待配准帧配准到参考帧，获得一次配准图；(3)利用特征图估计场景目标运动并获得运动矢量信息，对一次配准图进行配准获得二次配准图；(4)对于二次配准图计算一致性像素图；(5)对二次配准图进行像素域融合和变换域融合；(6)对融合后的结果进行自适应加权融合，获得最终的去噪结果。本发明利用特征图来估计场景目标的运动模型，不仅可以获得稠密的运动矢量信息并且改善了传统光流算法对噪声敏感的问题，同时本发明通过变换域融合和自适应融合的方法在去除图像噪声的同时保持了图像细节。
Description
技术领域
本发明涉及数字图像处理领域，尤其涉及一种多帧图像的配准和融合降噪的方法。
背景技术
无论是对于监控，还是手机拍照，作为不可避免且十分重要的拍摄场景，低照度条件下的拍摄，由于很难满足光照充足的条件，成为了高质量图像获取的一个难题。这是因为，目前图像传感器获取的图像分辨率普遍不断增加，例如目前的手机照片分辨率普遍在千万像素级，然而由于设备本身的尺寸限制以及设计成本的考虑，图像传感器的感光元器件的面积却无法同时线性地增长，导致单个像素感光面积的减少，从而使得在低照度下获取的图片对比度很低，同时夹杂着大量的噪声，图像细节大大丢失，视觉感受差。虽然闪光灯设备可以在一定程度上弥补这个缺点，但是对拍摄较远的目标则失效，同时其还会带来诸如阴影、高亮和色调变化等其他方面的缺陷；延长曝光时间在一定程度上可以提高图像的亮度并且降低图像噪声，但是由于相机抖动和画面中目标的运动，通常会造成图像的模糊，目前大部分相机设备的低照度下的拍照质量依然很难满足用户的要求与期望，依旧是一个亟待解决的难题。
目前图像去噪技术包括单帧图像去噪和多帧图像去噪。在单帧图像去噪技术中包括基于滤波的、基于稀疏表达的、基于矩阵低秩的和基于深度学***均和BM3D等方法以及基于稀疏表示和基于矩阵低秩的技术大都利用了图像的非局部自相似性，以局部图像块为处理对象，计算复杂度高；基于深度学习的方法主要采用神经网络来学习噪声图像和去噪图像之间的映射模型，但是学习出来的模型通常和采用的训练库有关，此外这类方法目前仍然需要专门的硬件设备支持。而多帧图像去噪技术主要利用了成像设备在短时间间隔内获得的多帧图像信息，利用时间域信息进行去噪；在低照度下，图像传感器在短时间间隔获得多的张图像，由于曝光时间较短因此较少出现模糊和过曝的情况，而获取短时间内获取多张照片在硬件上较容易实现，例如目前的智能手机大都配备连拍模式就具备这个功能，因此利用多帧图像进行融合降噪具有诸多优势。
在多帧图像去噪技术中，主要包括图像配准和图像融合。图像配准技术是其中的一项关键技术，现有的图像配准方法包括基于特征点、基于网格的、基于块匹配的和基于光流法的。基于特征点的和基于网格的的图像配准方法只能获得稀疏的运动场信息，无法配准局部运动目标；基于块匹配的方法，则容易引起块效应；现有的光流法对噪声敏感，不适用于噪声图像的配准。而在图像融合方面，图像去噪和细节保持通常是相互矛盾的，现有的融合方法或是为了保持图像细节过多了保留了噪声，或是融合方法不鲁棒造成了图像细节的模糊。
因此设计一种噪声鲁棒的图像配准技术来提高在噪声下的配准精度，同时设计一种细节保持的图像融合方法在降低噪声的同时有效地保持图像细节是很有意义的。
发明内容
针对现有的技术空白和缺点，本发明旨在提供一种多帧图像配准与融合去噪方法。本发明具体采用的技术方案如下：
一种多帧图像配准与融合去噪的方法包括以下步骤：
(1)输入多帧噪声图像，选取其中一帧为参考帧，其余的为待配准帧；
(2)估计相机的抖动并获得运动模型，利用运动模型将待配准帧配准到参考帧，得到一次配准图；
(3)提取图像特征图，利用特征图估计场景目标运动并获得运动矢量信息，利用获得的运算矢量信息对一次配准图进行进一步的配准，得到二次配准图；
(4)对于每一帧二次配准图，利用参考帧分别计算一致性像素图；
(5)对于每一帧二次配准图，分别进行像素域融合和变换域融合；
(6)对像素域融合和变换域融合后的结果，进行自适应加权融合，获得最终的去噪结果。
作为优选，所述步骤(1)具体为：计算图像的梯度值，选择梯度最大的一帧作为参考帧，其余为待配准帧；
作为优选，所述步骤(2)中的运动模型采用基于特征的运动估计、块匹配运动估计、基于网格划分的运动估计方法获得；
作为优选，所述步骤(3)包括以下子步骤：
(3.1)对于参考帧和每一帧一次配准图，分别获得描述特征图，所述描述特征图通过对图像每个像素提取特征向量获得，记从参考帧获得的描述特征图为S1，从一次配准图获得的描述特征图为S2；提取特征向量采用的特征描述子包括SIFT特征、BRIEF特征、HOG特征等等，但不限于此；
(3.2)对于参考帧和每一帧一次配准图，分别获得亮度特征图，记参考帧的亮度特征图为L1，一次配准图的亮度特征图L2，所述亮度特征图的获取方法包括对一次配准图进行滤波或者分解等；
(3.3)利用描述特征图和亮度特征图作为配准信息，在光流法框架下最小化能量函数获得稠密的运动矢量信息w，能量函数为E(w)union：
其中p是二维像素坐标，S1(p)为描述特征图S1在像素p处的值，S2(p+w(p))描述特征图S2在像素(p+w(p))处的值，L1(p)为亮度特征图L1在像素p处的值，L2(p+w(p))为亮度特征图L2在像素(p+w(p))处的值，‖·‖表示向量之间的距离，w(p)是像素p的运动矢量，
和φ分别表示‖S1(p)-S2(p+w(p))‖和‖L1(p)-L2(p+w(p))‖罚函数，β为平衡因子；R(p)是正则化项，用于约束运动场的特性；
(3.4)利用获得的运动矢量w，将一次配准图配准参考帧，获得二次配准图。
作为优选，所述步骤(4)具体为：对于第n帧二次配准图，判断其每个像素和参考帧对应位置的像素是否一致，如果一致则将该像素位置的值设为1，否则设为0，遍历所有像素后获得一致性像素图Cn；所述两个像素是否一致通过像素值之间的差值判断，若差值小于预设阈值，则为一致，否则为不一致；所述预设阈值根据噪声标准差灵活设置。
作为优选，所述步骤(5)包括以下子步骤：
(5.1)令参考帧的一致性像素图的每个像素值均为1，将其与步骤(4)中计算的二次配准图的所有一致性像素图相加，获得求和一致性像素图数据，记为Sc；对二次配准图的所有帧进行加权求和，获得像素域融合结果Ispatial，其中第n帧二次配准图每个像素位置的权重根据其对应的一致性像素图Cn与求和一致性像素图Sc确定；
(5.2)对于参考帧以及每一帧二次配准图进行分块，每个块大小为b×b，b的取值根据图像分辨率设定，一般取值为8、16或者32；记参考帧中的块为Bf，记第n帧二次配准图中的块为Bn，对每个像素块进行变换，并将变换后的结果进行逐块加权融合：
其中Ψ表示图像变换操作，Ψ-1表示相应的逆变换操作，A(u)表示控制系数，取值在0～1之间，通过两个块变换域系数的差值以及一致性像素图确定：
A(u)＝F{||Ψ(Bn)-Ψ(Bf)||，Cn}
其中F表示关于两个块变换域系数差值‖Ψ(Bn)-Ψ(Bf)‖和一致性像素图Cn的函数；
遍历所有的块，，得到变换域融合的结果Itransform；采用重叠块的方法去除块由于分块带来的块效应。
作为优选，所述步骤(6)具体为：
对像素域的融合结果Ispatial和变换域的融合结果Itransform进行进一步地加权融合，获得最终的去噪结果，记为Iout：
Iout(i，j)＝weight(i，j)*Ispatial(i，j)+(1-weight(i，j))*Itransform(i，j)
其中(i，j)表示像素坐标，weight表示权重，取值在0～1之间。
作为优选，所述的向量之间的距离，采用的距离度量包括欧式距离或者街区距离；所述的罚函数采用一次罚函数，或者二次罚函数，或者截断一次罚函数，或者截断二次罚函数等，但不限于此；所述的正则化项包括基于小位移假设的正则化项、基于运动平滑假设的正则化项，或是联合小位移和运动平滑假设的正则化项等。
作为优选，所述的图像变换操作包括快速傅里叶变换FFT、离散傅里叶变换DFT、离散余弦变换DCT；所述的F采用维纳滤波系数及其变形的形式，并且两个块变换域系数的差值‖Ψ(Bn)-Ψ(Bf)‖越大，表示两个块越不相似，即对应的一致性像素图中的一致性像素越少，则控制系数A(u)越大。
作为优选，所述的weight可预先设定，也可以根据图像内容自适应确定。
本发明的一种多帧图像配准与融合去噪的方法，相比于传统的图像配准和去噪技术，提供了一种噪声鲁棒的配准方法，采用特征图代替灰度图，在光流法的框架下估计运动矢量，不仅可以获得稠密的运动矢量信，同时对噪声更加鲁棒；本发明还采用了一种细节保持的融合方法，利用变换域的融合的方法充分地保持图像细节，利用像素域融合的方法降低噪声水平，通过变换域融合和像素域融合的自适应加权，在降低噪声的同时保持图像的细节。
附图说明
图1为本发明一种多帧图像配准与融合去噪方法的流程图；
图2为本发明一种多帧图像配准与融合去噪方法的详细流程图；
图3为本发明的多帧图像配准与融合去噪装置的结构框图；
图4为本发明的多帧图像配准与融合去噪装置的详细结构框图；
图5为低光照环境下采集的针对同一场景的10帧自然图像；
图6为使用现有的VBM4D算法对图5所示的10帧图像进行降噪的结果；
图7为使用现有的Meshflow视频去噪算法对图5所示的10帧图像进行降噪的结果；
图8为使用本发明方法对图5所示的10帧图像进行降噪的结果；
图9为对图6所示的图像的局部区域进行原始分辨率显示的结果(VBM4D算法)；
图10为对图7所示的图像的局部区域进行原始分辨率显示的结果(Meshflow视频去噪算法)；
图11为对图8所示的图像的局部区域进行原始分辨率显示的结果(本发明方法)。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。
本实施例中一种多帧图像配准与融合去噪的方法，如图1所示，包括以下步骤：
步骤S102，输入多帧噪声图像，并选取其中一帧为参考帧，其余的为待配准帧；
步骤S104，相机运动估计与配准；估计相机的抖动并获得运动模型，利用运动模型将待配准帧配准到参考帧，得到一次配准图；
步骤S106，场景目标运动估计与配准；提取图像特征图，利用特征图估计场景目标运动并获得运动矢量信息，利用获得的运算矢量信息对一次配准图进行进一步的配准，得到二次配准图；
步骤S108，获得一致性像素图；对于每一帧二次配准图，利用参考帧分别计算一致性像素图；
步骤S110，像素域融合和变换域融合；利用一致性像素图，对二次配准图分别进行像素域融合和变换域融合；
步骤S112，自适应加权融合；对像素域融合和变换域融合后的结果，进行自适应加权融合，获得最终的去噪结果。
图2是对上述实施例提供的多帧图像配准与融合去噪方法更加详细的说明。如图2所示，该流程图包括以下步骤(步骤S202-步骤S212)。
步骤S202，输入多帧噪声图像，并选取其中一帧为参考帧；对于单通道图像则直接进行下一步处理，对于多通道图像，则图像的格式一般采用RGB格式，对于其他格式的图像可事先转成RGB格式，再进行处理；参考帧的选取通常根据图像的梯度来选取，选择图像梯度最大的一帧作为参考帧。
步骤S204，估计相机的抖动并获得运动模型，利用运动模型将待配准帧配准到参考帧，得到一次配准图；估计运动模型的方法可采用基于特征点的运动估计、块匹配运动估计、基于网格划分的运动估计等；
本实施例中，利用基于网格划分的运动估计方法对骤S202中获得的多帧噪声图像进行相机运动估计和配准的具体步骤如下：
首先，将参考帧图像划分成g×g个均匀的网格，记录每个网格的四个顶点，g为正整数；g的大小可根据图像的分辨率和计算复杂度以及相应的估计精度来调整，图像分辨率越高，g越大，估计精度更高，相应的计算复杂度也越高。
其次，对于每一帧待配准帧和参考帧，分别提取图像的中的特征点，可选用的特征点包括FAST特征、SIFT特征和SURF特征等等；通过特征匹配方法获得每一帧待配准帧和参考帧中特征点的对应关系，获得匹配的特征点对；
最后，利用参考帧中网格四个顶点的位置坐标以及它们在待配准帧的位置坐标，估计出网格的运动模型；估计的方法为假设参考帧中特征点的位置由它们所在网格的四个顶点的位置通过插值得到，对应待配准帧中特征点的位置由它们所在待估计的四个网格顶点的位置通过插值得到，通过设定插值系数相同，并获得关于待估计的四个网格顶点的位置的方程组，求解方程组获得估计结果。
对于网格中的所有像素，通过运动模型计算运动之后的位置，得到一次配准图，对于非整像素位置的像素可采用插值的方法获得，可用插值方法包括双线性插值、双三次插值等；
步骤S206，对步骤S204得到的一次配准图提取图像特征图，利用特征图估计场景目标运动并获得运动矢量信息，并对一次配准图进行配准，获得二次配准图：
本实施例中，提取特征图的过程如下：
首先，对于参考帧图和每一帧一次配准图，分别获得密集的描述特征图；描述特征图通过对一次配准图每个像素提取特征向量来获得，从参考帧获得的描述特征图为S1，从待配准帧获得的描述特征图为S2；提取向量特征可采用的特征描述子包括SIFT特征、BRIEF特征、HOG特征等等，但不限于此；
以SIFT特征图提取为例，对于预处理后的参考帧图像和一次配准图像，以每个像素为中心产生一个16×16大小的图像区块，求出块中的每个像素梯度的幅值和方向，再将整个大块划分成4×4的小块，统计每4×4个小块在8个方向上梯度直方图，这样就得到了关于像素点的描述符，一共有4×4×8＝128维。
其次，对于参考帧图像和每一帧一次配准图，分别获得亮度特征图，记参考帧的亮度特征图为L1，一次配准图的亮度特征图L2，亮度特征图保留了图像直接亮度信息，但是噪声更弱，获取亮度特征图的方法包括对一次配准图进行滤波或者分解等；
本实施例中，利用特征图获得目标运动矢量信息的过程如下：
利用描述特征图和亮度特征图作为配准信息，在光流法框架下最小化能量函数获得稠密的运动矢量信息w，能量函数为E(w)union：
其中p是二维像素坐标，S1(p)为描述特征图S1在像素p处的值，S2(p+w(p))描述特征图S2在像素(p+w(p))处的值，L1(p)为亮度特征图L1在像素p处的值，L2(p+w(p))亮度特征图L2在像素(p+w(p))处的值，‖·‖表示向量之间的距离，可采用的距离度量包括欧式距离或者街区距离；w(p)是像素p的运动矢量，
和φ分别表示‖S1(p)-S2(p+w(p))‖和‖L1(p)-L2(p+w(p))‖罚函数，其中罚函数可以采用一次罚函数或者二次罚函数，或者截断一次罚函数，或者截断二次罚函数等，但不限于此；β是一个平衡因子；R(p)是正则化项，用于约束运动场的特性，可以采用的正则化项包括基于小位移假设的正则化项、基于运动平滑假设的正则化项，或是联合小位移和运动平滑假设的正则化项等。
步骤S208，利用骤S206获得的二次配准图和参考帧图像，获得一致性像素图。本实施例中获得一致性像素图步骤如下：
首先对于二次配准帧，令一致性像素图中的所像素值为0，对于参考帧中的像素p(i,j)，以p(i,j)为中心选择一个s×s块，并在第n帧二次配准帧中对应像素位置取一个s×s的块，通常取s为奇数，一般取5～13；计算两个块的距离，并设定阈值τ，如果距离小于阈值τ，τ的大小一般根据噪声标准差确定，则令一致性像素图中(i,j)位置的值为1，遍历所有像素，获得第n帧二次配准帧的一致性像素图，并记为Cn，其中两个块之间距离的度量可采用欧式距离、马氏距离或是街区距离等，但不限于此；
步骤S210，利用步骤S208获得的一致性像素图，对步骤S206中的二次配准图行像素域融合和变换域融合；
本实施例中，利用一致性像素图，对二次配准图进行像素域融合的的过程如下：
首先，令参考帧的一致性像素图的每个像素值均为1，利用所有的一致性像素图，获得求和一致性像素图数据，记为Sc，其中求和一致性像素图的每个像素值是所有一致性像素图对应位置像素值求和；对于所有的二次配准帧进行加权求和，获得像素域融合结果Ispatial，其中第n帧二次配准帧每个像素位置的权重可以根据相应一致性像素图Cn对应位置的像素值与求和一致性像素图Sc对应像素的比值确定；
本实施例中，利用一致性像素图，对二次配准图进行变换域融合的的过程如下：
对于参考帧以及二次配准帧进行分块，每个块大小为b×b，b的取值可根据图像分辨率具体设定，一般取取值为8，16或者32；记参考帧中的块为Bf，记第n帧二次配准帧中的块为Bn，对每个像素块进行变换，将变换后的结果进行逐块加权融合：
其中Ψ表示图像变换操作，可采用的变换操作包括快速傅里叶变换(FFT)、离散傅里叶变换(DFT)、离散余弦变换(DCT)等等，但不限于此，Ψ-1表示相应的逆变换操作，A(u)表示控制系数，取值在0～1之间，其中，控制系数A(u)可以通过两个块变换域系数的差值以及一致性像素图确定：
A(u)＝F{l|Ψ(Bn)-Ψ(Bf)||,Cn}
其中F表示关于系数差值‖Ψ(Bn)-Ψ(Bf)‖和一致性像素图Cn的函数，F可采用维纳滤波系数的形式，但是不限于此；两个块变换域系数的差值‖Ψ(Bn)-Ψ(Bf)‖越大，表示两个块不相似，相应的一致性像素图中一致性像素越少，则控制系数A(w)越大；遍历所有的块，获得到变换域融合的结果Itransform；去除块由于分块带来的块效应，采用重叠块的方法。
步骤S212，对步骤S210获得的变换域融合和像素域融合的结果进行自适应加权融合：
对像素域的融合结果Ispatial和变换域的融合结果Itransform进行进一步地加权融合，获得最终的去噪结果，记为Iout：
Iout(i，j)＝weight(i，j)*Ispatial(i，j)+(1-weight(i，j))*Itransform(i，j)
其中(i,j)表示像素坐标，权重weight取值在0～1之间；weight可预先设定，也可以根据图像内容自适应确定，其中根据图像内容自适应确定weight可通过求和一致性像素图Sc确定，对于(i,j)像素位置的权重weight(i,j)通过将Sc(i,j)的值投影到[0,1]区间获得，可采用的投影函数包括线性操作，或者非线性操作，如sigmoid函数等。
本发明还提供了一种多帧图像配准与融合去噪装置，用于实现上述多帧图像配准与融合去噪方法，图3是该装置的结构框图，该装置主要包括:图像获取与预处理模块10，图像配准一模块20，图像特征图提取模块30，图像配准二模块40一致性像素图获取模块50，图像融合模块60。
其中，图像获取与预处理模块10获取多帧噪声图像，并选择参考帧图像；图像配准一模块20，连接至图像获取与预处理模块10，用于对相机运动进行估计和配准；图像特征图提取模块30，连接至图像配准一模块，用于获取一次配准图的特征图；图像配准二模块40，连接至图像特征图提取模块30，利用特征图估计场景目标的运动矢量信息，对一次配准图像进行配准，获得二次配准图；一致性像素获取模块50，连接至图像配准二模块40，利用二次配准图计算一致性像素图；图像融合模块60，连接至一致性像素图获取模块50，对二次配准图进行融合，获得去噪输出结果。
图4是本发明还提供的一种多帧图像配准与融合去噪装置的具体结构框图，如图所示：
优选地，图像获取与预处理模块10，还可以分为图像获取单元12和图像预处理单元14；图像获取单元12用于从各图像源获得多帧噪图像，图像源可以是各种带摄像头的终端，如手机、平板电脑、照相机等；图像预处理单元14将其他格式的图像转换成RGB格式，并从多帧噪声图像中确定参考帧；
优选地，图像配准一模块20，还可以分为相机运动估计单元22，估计相机的运动模型；
变形插值单元24，对于网格中的所有像素，通过运动模型计算运动变形之后的位置，得到一次配准图，对于非整像素位置的像素可采用插值的方法获得，可用插值方法包括双线性插值、双三次插值等，但不限于此。
优选地，图像特征图提取模块30，可以进一步包括图像预处理单元32，应用高斯滤波核和参考图像以及一次配准图像进行卷积，减弱噪声影响；
描述特征图提取单元34，提取参考帧图像和一次配准图像的描述特征图：
描述特征图通过对一次配准图每个像素提取特征向量来获得，提取向量特征可采用的特征描述子包括SIFT特征、BRIEF特征、HOG特征等等，但不限于此；
以SIFT特征图提取为例，对于预处理后的参考帧图像和一次配准图像，以每个像素为中心产生一个16×16大小的图像区块，求出块中的每个像素梯度的幅值和方向，再将整个大块划分成4×4的小块，统计每4×4个小块在8个方向上梯度直方图，这样就得到了关于像素点的描述符，一共有4×4×8＝128维。
亮度特征图提取单元36，提取参考帧图像和一次配准图像的亮度特征图，获取亮度特征图的方法包括对一次配准图进行滤波或者对一次配准图提取结构图等；提取结构图的方法可采用基于总变分模型的方法，但不限于此。
优选地，图像配准二模块40，还可以运动估计单元42，利用描述特征图和亮度特征图作为配准信息，在光流法框架下最小化能量函数获得稠密的运动矢量信息w，能量函数为E(w)union：
其中p是二维像素坐标，S1(p)为描述特征图S1在像素p处的值，S2(p+w(p))描述特征图S2在像素(p+w(p))处的值，L1(p)为亮度特征图L1在像素p处的值，L2(p+w(p))亮度特征图L2在像素(p+w(p))处的值，‖·‖表示向量之间的距离，可采用的距离度量包括欧式距离或者街区距离；w(p)是像素p的运动矢量，
和φ分别表示‖S1(p)-S2(p+w(p))‖和‖L1(p)-L2(p+w(p))‖罚函数，其中罚函数可以采用一次罚函数或者二次罚函数，或者截断一次罚函数，或者截断二次罚函数等，但不限于此；β是一个平衡因子；R(p)是正则化项，用于约束运动场的特性，可以采用的正则化项包括基于小位移假设的正则化项、基于运动平滑假设的正则化项，或是联合小位移和运动平滑假设的正则化项等。
变形插值单元44，利用获得的稠密的运动矢量信息w，对一次配准图进行变形配准到参考帧，得到二次配准图；对于非整像素位置的像素可采用插值的方法获得，可用插值方法包括双线性插值、双三次插值等，但不限于此。
优选地，一致性像素图获取模块50，令一致性像素图中的所像素值为0，对于参考帧中的像素p(i,j)，以p(i,j)为中心选择一个s×s块，并在第n帧二次配准帧中对应像素位置取一个s×s的块，通常取s为奇数，一般取5～13；计算两个块的距离，并设定阈值τ，如果距离小于阈值τ，τ的大小一般根据噪声标准差确定，则令一致性像素图中(i,j)位置的值为1，遍历所有像素，获得第n帧二次配准帧的一致性像素图，并记为Cn，其中两个块之间距离的度量可采用欧式距离、马氏距离或是街区距离等，但不限于此；
优选地，图像融合模块60，还可以进一步包括，求和一直像素图获取单元62，利用所有的一致性像素图来获得求和一致性像素图；首先，令参考帧的一致性像素图的每个像素值均为1，再利用所有的一致性像素图，获得求和一致性像素图数据，记为Sc，其中求和一致性像素图的每个像素值是所有一致性像素图对应位置像素值求和；
像素域融合单元64，对二次配准图进行像素域融合；对于所有的二次配准帧进行加权求和，获得像素域融合结果Ispatial，其中第n帧二次配准帧每个像素位置的权重可以根据相应一致性像素图Cn对应位置的像素值与求和一致性像素图Sc对应像素的比值确定；
变换域融合单元66，对二次配准图进行变换域融合；对于参考帧以及二次配准帧进行分块，每个块大小为b×b，b的取值可根据图像分辨率具体设定，一般取取值为8，16或者32；记参考帧中的块为Bf，记第n帧二次配准帧中的块为Bn，对每个像素块进行变换，将变换后的结果进行融合加权融合：
其中Ψ表示图像变换操作，可采用离散傅里叶变换(DFT)、离散余弦变换(DCT)等，Ψ-1表示相应的逆变换操作，A(u)表示控制系数，取值在0～1之间，其中，控制系数A(u)可以通过两个块变换域系数的差值以及一致性像素图确定：
A(u)＝F{||Ψ(Bn)-Ψ(Bf)||,Cn}
其中F表示关于系数差值‖Ψ(Bn)-Ψ(Bf)‖和一致性像素图Cn的函数，F可采用维纳滤波系数的形式，但是不限于此；两个块变换域系数的差值‖Ψ(Bn)-Ψ(Bf)‖越大，表示两个块不相似，相应的一致性像素图中一致性像素越少，则控制系数A(w)越大；遍历所有的块，获得到变换域融合的结果Itransform，去除块由于分块带来的块效应，采用重叠块的方法。
自适应加权融合单元68，对像素域的融合结果Ispatial和变换域的融合结果Itransform进行进一步地自适应加权融合，获得最终的去噪结果，记为Iout：
Iout(i，j)＝weight(i，j)*Ispatial(i，j)+(1-weight(i，j))*Itransform(i，j)
其中(i,j)表示像素坐标，权重weight取值在0～1之间；weight可预先设定，也可以根据图像内容自适应确定，其中根据图像内容自适应确定weight可通过求和一致性像素图Sc确定，对于(i,j)像素位置的权重weight(i,j)通过将Sc(i,j)的值投影到[0,1]区间获得，可采用的投影函数包括线性操作，或者非线性操作，如sigmoid函数等。
为了验证本发明的效果，利用仿真进一步说明：
具体的实现方法如前所述，不再详细阐述具体的步骤，下面仅展示其具体仿真结果。
本发明采用图5所示的低光照环境下采集的针对同一场景的10帧自然图像作为测试图像，其中图5(a)-(j)图分别为输入的第1-10帧图像，软件平台为MATLAB2015。
仿真1，使用现有的VBM4D算法对图5所示的10帧图像进行降噪，所得的结果如图6所示。
仿真2，使用现有的Meshflow视频去噪算法对图5所示的10帧图像进行降噪，所得的结果如图7所示。
仿真3，使用本发明的方法对图5所示的10帧图像进行降噪，所得的结果如图8所示。
为了便于比较，对图6所示的图像的局部区域进行原始分辨率显示，如图9所示；对图7所示的图像的局部区域进行原始分辨率显示，如图10所示；对图8所示的图像的局部区域进行原始分辨率显示，如图11所示；
对比图9和图11可以发现，现有的VBM4D算法对噪声抑制能力有限，无法充分地去除噪声；对比图10和图11可以发现，现有的Meshflow视频去噪算法对图像细节保持不够；本发明方法可以有效的去除噪声，同时充分地保持图像细节。
通过以上技术方案，本发明实施提供的一种多帧图像配准与融合去噪的方法，该方法设计了一种噪声鲁棒的图像配准技术用于噪声图像配准和一种细节保持的图像融合方法对配准后的图像进行融合降噪，在降低噪声的同时有效地保持图像细节。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种多帧图像配准与融合去噪方法，其特征在于，具体包括如下步骤：
(1)输入多帧噪声图像，选取其中一帧为参考帧，其余的为待配准帧；
(2)估计相机的抖动并获得运动模型，利用运动模型将待配准帧配准到参考帧，得到一次配准图；
(3)提取图像特征图，利用特征图估计场景目标运动并获得运动矢量信息，利用获得的运算矢量信息对一次配准图进行进一步的配准，得到二次配准图；
(4)对于每一帧二次配准图，利用参考帧分别计算一致性像素图；
(5)对于每一帧二次配准图，分别进行像素域融合和变换域融合；
(6)对像素域融合和变换域融合后的结果，进行自适应加权融合，获得最终的去噪结果；
所述步骤(3)包括以下子步骤：
(3.1)对于参考帧和每一帧一次配准图，分别获得描述特征图，所述描述特征图通过对图像每个像素提取特征向量获得，记从参考帧获得的描述特征图为S1，从一次配准图获得的描述特征图为S2；
(3.2)对于参考帧和每一帧一次配准图，分别获得亮度特征图，记参考帧的亮度特征图为L1，一次配准图的亮度特征图L2；
(3.3)利用描述特征图和亮度特征图作为配准信息，在光流法框架下最小化能量函数获得运动矢量信息w，能量函数为E(w)union：
其中p是二维像素坐标，S1(p)为描述特征图S1在像素p处的值，S2(p+w(p))描述特征图S2在像素(p+w(p))处的值，L1(p)为亮度特征图L1在像素p处的值，L2(p+w(p))为亮度特征图L2在像素(p+w(p))处的值，‖·‖表示向量之间的距离，w(p)是像素p的运动矢量，
和φ分别表示‖S1(p)-S2(p+w(p))‖和‖L1(p)-L2(p+w(p))‖罚函数，β为平衡因子；R(p)是正则化项，用于约束运动场的特性；
(3.4)利用获得的运动矢量w，将一次配准图配准参考帧，获得二次配准图。
2.根据权利要求1所述的一种多帧图像配准与融合去噪方法，其特征在于，所述步骤(1)具体为：计算图像的梯度值，选择梯度最大的一帧作为参考帧，其余为待配准帧。
3.根据权利要求1所述的一种多帧图像配准与融合去噪方法，其特征在于，所述步骤(2)中的运动模型采用基于特征的运动估计、块匹配运动估计或基于网格划分的运动估计方法获得。
4.根据权利要求1所述的一种多帧图像配准与融合去噪方法，其特征在于，所述步骤(4)具体为：对于第n帧二次配准图，判断其每个像素和参考帧对应位置的像素是否一致，如果一致则将该像素位置的值设为1，否则设为0，遍历所有像素后获得一致性像素图Cn；所述两个像素是否一致通过像素值之间的差值判断，若差值小于预设阈值，则为一致，否则为不一致。
5.根据权利要求1所述的一种多帧图像配准与融合去噪方法，其特征在于，所述步骤(5)包括以下子步骤：
(5.1)令参考帧的一致性像素图的每个像素值均为1，将其与步骤(4)中计算的二次配准图的所有一致性像素图相加，获得求和一致性像素图数据，记为Sc；对二次配准图的所有帧进行加权求和，获得像素域融合结果Ispatial，其中第n帧二次配准图每个像素位置的权重根据其对应的一致性像素图Cn与求和一致性像素图Sc确定；
(5.2)对于参考帧以及每一帧二次配准图进行分块，每个块大小为b×b；记参考帧中的块为Bf，记第n帧二次配准图中的块为Bn，对每个像素块进行变换，并将变换后的结果进行逐块加权融合：
其中Ψ表示图像变换操作，Ψ-1表示相应的逆变换操作，A(u)表示控制系数，取值在0～1之间，通过两个块变换域系数的差值以及一致性像素图确定：
A(u)＝F{‖Ψ(Bn)-Ψ(Bf)‖,Cn}
其中F表示关于两个块变换域系数差值‖Ψ(Bn)-Ψ(Bf)‖和一致性像素图Cn的函数；
遍历所有的块，得到变换域融合的结果Itransform；采用重叠块的方法去除块由于分块带来的块效应。
6.根据权利要求1所述的一种多帧图像配准与融合去噪方法，其特征在于，所述步骤(6)具体为：
对像素域的融合结果Ispatial和变换域的融合结果Itransform进行进一步地加权融合，获得最终的去噪结果，记为Iout：
Iout(i,j)＝weight(i,j)*Ispatial(i,j)+(1-weight(i,j))*Itransform(i,j)
其中(i,j)表示像素坐标，weight表示权重，取值在0～1之间。
7.根据权利要求1所述的一种多帧图像配准与融合去噪方法，其特征在于所述的向量之间的距离，采用的距离度量包括欧式距离或者街区距离；所述的罚函数采用一次罚函数，或者二次罚函数，或者截断一次罚函数，或者截断二次罚函数；所述的正则化项包括基于小位移假设的正则化项、基于运动平滑假设的正则化项，或是联合小位移和运动平滑假设的正则化项。
8.根据权利要求1所述的一种多帧图像配准与融合去噪方法，其特征在于所述的提取特征向量采用的特征描述子包括SIFT特征、BRIEF特征、HOG特征。
9.根据权利要求5所述的一种多帧图像配准与融合去噪方法，其特征在于所述的图像变换操作包括快速傅里叶变换FFT、离散傅里叶变换DFT、离散余弦变换DCT；所述的F采用维纳滤波系数及其变形的形式，并且两个块变换域系数的差值‖Ψ(Bn)-Ψ(Bf)‖越大，表示两个块越不相似，即对应的一致性像素图中的一致性像素越少，则控制系数A(u)越大。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810732244.7A CN108694705B (zh) | 2018-07-05 | 2018-07-05 | 一种多帧图像配准与融合去噪的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810732244.7A CN108694705B (zh) | 2018-07-05 | 2018-07-05 | 一种多帧图像配准与融合去噪的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108694705A CN108694705A (zh) | 2018-10-23 |
| CN108694705B true CN108694705B (zh) | 2020-12-11 |
Family
ID=63850238
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810732244.7A Active CN108694705B (zh) | 2018-07-05 | 2018-07-05 | 一种多帧图像配准与融合去噪的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108694705B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111741211B (zh) * | 2019-03-25 | 2022-07-29 | 华为技术有限公司 | 图像显示方法和设备 |
| CN111754411B (zh) * | 2019-03-27 | 2024-01-05 | Tcl科技集团股份有限公司 | 图像降噪方法、图像降噪装置及终端设备 |
| CN110070569B (zh) * | 2019-04-29 | 2023-11-10 | 西藏兆讯科技工程有限公司 | 终端图像的配准方法、装置、移动终端及存储介质 |
| CN110782501B (zh) * | 2019-09-09 | 2024-02-23 | 西安万像电子科技有限公司 | 图像处理方法及装置 |
| CN111208521B (zh) * | 2020-01-14 | 2021-12-07 | 武汉理工大学 | 一种多波束前视声呐水下障碍物鲁棒检测方法 |
| CN111311532B (zh) * | 2020-03-26 | 2022-11-11 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| CN111681270A (zh) * | 2020-04-22 | 2020-09-18 | 清华大学 | 一种实现图像帧之间配准的方法、装置和存储介质 |
| CN111768393A (zh) * | 2020-07-01 | 2020-10-13 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN111784614A (zh) * | 2020-07-17 | 2020-10-16 | Oppo广东移动通信有限公司 | 图像去噪方法及装置、存储介质和电子设备 |
| CN112132769A (zh) * | 2020-08-04 | 2020-12-25 | 绍兴埃瓦科技有限公司 | 图像融合方法、装置以及计算机设备 |
| CN112307993B (zh) * | 2020-11-04 | 2022-02-08 | 华北电力大学 | 一种利用局部相似性的振声检测信号滤波方法和*** |
| US11741577B2 (en) | 2020-12-11 | 2023-08-29 | Samsung Electronics Co., Ltd | Method and apparatus for multi-frame based detail grade map estimation and adaptive multi-frame denoising |
| CN113344822B (zh) * | 2021-06-29 | 2022-11-18 | 展讯通信（上海）有限公司 | 图像降噪方法、装置、终端、存储介质 |
| CN113514812B (zh) * | 2021-09-14 | 2021-12-14 | 北京海兰信数据科技股份有限公司 | 一种岸基雷达杂波抑制处理方法及*** |
| CN116342434B (zh) * | 2023-05-29 | 2023-08-18 | 中科慧远视觉技术(北京)有限公司 | 一种图像处理方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463817A (zh) * | 2013-09-12 | 2015-03-25 | 华为终端有限公司 | 一种图像处理方法及装置 |
| CN104574329A (zh) * | 2013-10-09 | 2015-04-29 | 深圳迈瑞生物医疗电子股份有限公司 | 超声融合成像方法、超声融合成像导航*** |
| CN106204440A (zh) * | 2016-06-29 | 2016-12-07 | 北京互信互通信息技术有限公司 | 一种多帧超分辨图像重建方法及*** |
| CN107403413A (zh) * | 2017-04-14 | 2017-11-28 | 杭州当虹科技有限公司 | 一种视频多帧去噪及增强方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2130497A1 (en) * | 2008-06-05 | 2009-12-09 | Medison Co., Ltd. | Anatomical feature extraction from an ultrasound liver image |
| CN102903107B (zh) * | 2012-09-24 | 2015-07-08 | 宁波大学 | 一种基于特征融合的立体图像质量客观评价方法 |
| CN105427308B (zh) * | 2015-11-20 | 2017-03-15 | 中国地质大学（武汉） | 一种稀疏和稠密特征匹配结合的图像配准方法 |
| CN105844630B (zh) * | 2016-03-21 | 2018-11-16 | 西安电子科技大学 | 一种双目视觉的图像超分辨率融合去噪方法 |
-
2018
- 2018-07-05 CN CN201810732244.7A patent/CN108694705B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463817A (zh) * | 2013-09-12 | 2015-03-25 | 华为终端有限公司 | 一种图像处理方法及装置 |
| CN104574329A (zh) * | 2013-10-09 | 2015-04-29 | 深圳迈瑞生物医疗电子股份有限公司 | 超声融合成像方法、超声融合成像导航*** |
| CN106204440A (zh) * | 2016-06-29 | 2016-12-07 | 北京互信互通信息技术有限公司 | 一种多帧超分辨图像重建方法及*** |
| CN107403413A (zh) * | 2017-04-14 | 2017-11-28 | 杭州当虹科技有限公司 | 一种视频多帧去噪及增强方法 |
Non-Patent Citations (4)
| Title |
|---|
| Bundled camera paths for video stabilization;Shuaicheng Liu et al;《ACM Transactions on Graphics》;20130731;第1-10页 * |
| Burst photography for high dynamic range and low-light imaging on mobile cameras;Samuel W. Hasinoff et al;《Burst photography for high dynamic range and low-light imaging on mobile cameras》;20161130;正文第5节 * |
| Fast Burst Images Denoising;Ziwei Liu et al;《ACM Transactions on Graphics》;20141130;第33卷(第6期);正文第2-3节 * |
| SIFT Flow: Dense Correspondence across Different Scenes;Ce Liu et al;《ECCV 2008: Computer Vision》;20081231;正文第2节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108694705A (zh) | 2018-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108694705B (zh) | 一种多帧图像配准与融合去噪的方法 | |
| CN108898567B (zh) | 图像降噪方法、装置及*** | |
| US10339643B2 (en) | Algorithm and device for image processing | |
| WO2021088473A1 (en) | Image super-resolution reconstruction method, image super-resolution reconstruction apparatus, and computer-readable storage medium | |
| Rao et al. | A Survey of Video Enhancement Techniques. | |
| US9202263B2 (en) | System and method for spatio video image enhancement | |
| US10708525B2 (en) | Systems and methods for processing low light images | |
| US8908989B2 (en) | Recursive conditional means image denoising | |
| CN110136055B (zh) | 图像的超分辨率方法和装置、存储介质、电子装置 | |
| KR20180122548A (ko) | 이미지를 처리하는 방법 및 장치 | |
| US7903900B2 (en) | Low complexity color de-noising filter | |
| Buades et al. | Enhancement of noisy and compressed videos by optical flow and non-local denoising | |
| EP3913572A1 (en) | Loss function for image reconstruction | |
| Buades et al. | CFA video denoising and demosaicking chain via spatio-temporal patch-based filtering | |
| CN113628134B (zh) | 图像降噪方法及装置、电子设备及存储介质 | |
| US20210327026A1 (en) | Methods and apparatus for blending unknown pixels in overlapping images | |
| KR101921608B1 (ko) | 깊이 정보 생성 장치 및 방법 | |
| Hsia et al. | A cost-effective line-based light-balancing technique using adaptive processing | |
| Yu et al. | Continuous digital zooming of asymmetric dual camera images using registration and variational image restoration | |
| Mohan | Adaptive super-resolution image reconstruction with lorentzian error norm | |
| CN112132879B (zh) | 一种图像处理的方法、装置和存储介质 | |
| JP3959547B2 (ja) | 画像処理装置、画像処理方法、及び情報端末装置 | |
| CN114049288A (zh) | 图像生成方法、装置、电子设备和计算机可读存储介质 | |
| CN113935910A (zh) | 一种基于深度学习的图像模糊长度测量方法 | |
| CN113469908B (zh) | 图像降噪方法、装置、终端、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |