CN110533598A - 用于连续多帧图像去噪的装置及方法 - Google Patents

用于连续多帧图像去噪的装置及方法 Download PDF

Info

Publication number
CN110533598A
CN110533598A CN201910428895.1A CN201910428895A CN110533598A CN 110533598 A CN110533598 A CN 110533598A CN 201910428895 A CN201910428895 A CN 201910428895A CN 110533598 A CN110533598 A CN 110533598A
Authority
CN
China
Prior art keywords
output
input
piecemeal
frame
function block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910428895.1A
Other languages
English (en)
Inventor
莫塔巴·拉马迪
裵东运
李正元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110533598A publication Critical patent/CN110533598A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本文公开一种用于连续多帧图像去噪的装置及方法。根据一个实施例，一种装置包括：威纳滤波器，被配置成对图像的帧进行滤波；以及帧延迟器，被配置成将经滤波的帧反馈到威纳滤波器，其中威纳滤波器还被配置成基于经滤波的帧对图像的后续帧进行滤波。本公开的用于连续多帧图像去噪的装置具有良好的品质。

Description

用于连续多帧图像去噪的装置及方法
[优先权]
本申请主张在2018年5月23日在美国专利与商标局提出申请且指定了申请号62/675,377的美国临时专利申请以及在2019年4月10日在美国专利与商标局提出申请且指定了申请号16/380,473的美国非临时专利申请的优先权，所述美国临时专利申请及美国非临时专利申请的全部内容并入本申请供参考。
技术领域
本公开大体涉及图像处理，且更具体来说涉及一种用于连续多帧图像去噪(successive multi-frame denoising)的装置及方法。
背景技术
在低光条件下进行数字摄影可能是具有挑战性的任务，其中长曝光时间(以收集更多光)会导致运动模糊而短曝光时间(以避免运动模糊)会增大噪声水平(noise level)。为了克服这类挑战，典型方法是使用突发脉冲摄影并对多个帧进行融合以产生清晰的低噪声图像(low-noise image)。然而，多帧融合需要两个主要步骤：进行配准以将图像帧对准(虑及全局运动及局部运动两者)，以及进行多帧合并(融合)以增强品质。
发明内容
根据一个实施例，提供一种装置。所述装置包括：威纳滤波器(Wiener filter)，被配置成对图像的帧进行滤波；以及帧延迟器(frame delayer)，被配置成将经滤波的所述帧反馈到所述威纳滤波器，其中所述威纳滤波器还被配置成基于经滤波的所述帧对所述图像的后续帧(subsequent frame)进行滤波。
根据一个实施例，提供一种装置。所述装置包括：第一减法器(subtractor)，包括用于接收图像的帧的第一输入、用于接收参考帧(reference frame)的第二输入以及输出；绝对值函数块(absolute value function block)，包括连接到所述第一减法器的所述输出的输入以及输出；第二减法器，包括连接到所述绝对值函数块的所述输出的第一输入、用于接收第一预定值(predetermined value)的第二输入以及输出；以及最大值除法器函数块(maximumvalue divider function block)，包括连接到所述第二减法器的所述输出的输入以及用于输出滤波器权重(weights)的输出。
根据一个实施例，提供一种方法。所述方法包括：由威纳滤波器对图像的帧进行滤波；以及由帧延迟器将经滤波的所述帧反馈到所述威纳滤波器；以及由所述威纳滤波器基于经滤波的所述帧对所述图像的后续帧进行滤波。
根据一个实施例，提供一种方法。所述方法包括：由第一减法器从图像的帧减去参考值；由绝对值函数块来确定所述第一减法器的输出的绝对值；由第二减法器从所述绝对值函数块的输出减去第一预定值；以及由最大值除法器函数块来确定所述第二减法器的输出的最大值除法器。
附图说明
结合附图阅读以下详细说明，本公开的某些实施例的以上及其他方面、特征及优点将更显而易见，在附图中：
图1是根据一个实施例的用于提供多帧去噪(multi-frame denoising)的装置的方块图。
图2是根据一个实施例的图1所示用于连续稳健合并(successive robustmerging)的合并器的方块图。
图3是根据一个实施例的图1所示用于差分连续稳健合并(differencesuccessive robust merging)的合并器的方块图。
图4是根据一个实施例的图1所示用于最小均方误差(minimummean squareerror，MMSE)合并的合并器的方块图。
图5是根据一个实施例的图1所示用于无偏MMSE(unbiased MMSE，U-MMSE)合并的合并器的方块图。
图6是根据一个实施例的用于提供多帧去噪的装置的方块图。
图7是根据一个实施例的图6所示用于连续逐对三维(3D)合并的合并器的方块图。
图8是根据一个实施例的一种多帧去噪的方法的流程图。
图9是根据一个实施例的一种多帧去噪的方法的流程图。
图10是根据一个实施例的应用本公开的装置及方法的网络环境中的电子器件的方块图。
图11是根据一个实施例的应用本公开的装置及方法的程序的方块图。
具体实施方式
在下文中，参照附图详细阐述本公开的实施例。尽管相同的元件示出在不同的图式中，然而相同的元件将由相同的参考编号标示。在以下说明中，提供例如详细配置及组件等具体细节仅是为了帮助全面理解本公开的实施例。因此，对所属领域中的技术人员应显而易见，在不背离本公开的范围的条件下可对本文所述的实施例作出各种改变及修改。
另外，为清晰及简洁起见，省略对众所周知的功能及构造的说明。以下所述用语是考虑到本公开中的功能而定义的用语，且可根据用户、用户的意图或习惯而有所不同。因此，这些用语的定义应基于本说明书通篇的内容来来确定。
本公开可具有各种修改及各种实施例，以下参照附图详细阐述其中的一些实施例。然而，本公开并非仅限于所述实施例，而是包括处于本公开的范围内的所有修改、等效形式及非参考形式。
尽管可能使用包括例如“第一(first)”、“第二(second)”等序数词的用语来阐述各种元件，但结构元件不受这些用语限制。这些用语仅用于区分各个元件。举例来说，在不背离本公开的范围的条件下，“第一结构元件”可被称为“第二结构元件”。相似地，“第二结构元件”也可被称为“第一结构元件”。
本文中所用的用语“和/或(and/or)”包括一个或多个关联项的任意及所有组合。
本文中所用的用语仅用于阐述本公开的各种实施例，而并非旨在限制本公开。除非上下文清楚地另外指明，否则单数形式旨在包括复数形式。在本公开中，应理解，用语“包括(include)”或“具有(have)”指示特征、数目、步骤、操作、结构元件、部件或其组合的存在，而不排除一个或多个其他特征、数字、步骤、操作、结构元件、部件或其组合的存在或添加的可能性。
除非进行不同地定义，否则本文中所用的所有用语均具有与本公开所属领域中的技术人员所理解的含意相同的含意。例如在常用字典中所定义的用语等用语应被解释为具有与相关技术领域中的上下文含意相同的含意，且除非在本公开中进行清楚定义，否则不应将其解释为具有理想化或过于正式的含意。
根据一个实施例，一种装置及方法提供其中通过对有噪声图像的突发脉冲进行合并来产生噪声(noise)较少的图像的多帧去噪，所述多帧去噪也被称为连续逐对三维合并(successive pairwise 3D merging)。这会降低噪声且对残余对准误差(由于在对相机及场景运动二者进行补偿时的残余误差(residual error))是稳健的。
在帧之间可能已经存在某种水平的对准，且可在多帧合并步骤时进行聚焦。此外，图像帧可被对准成具有某种水平的残余对准误差，且可引入人工对准误差来评价在对准误差存在时的合并方案。
在一个实施例中，装置会选择一个帧作为参考帧(为预定的或动态选择的)，并将所有帧分成小的分块(patch)。所述装置基于整个突发脉冲上对准的非参考分块与对应的参考分块的相似性对对准的非参考分块进行排序，且在变换域(例如，离散傅立叶变换(discrete Fourier transform，DFT))中连续地合并有序分块。所述装置连续地(一次一个分块地)实行合并，其中首先合并与参考分块更相似的非参考分块。所述装置通过对三维变换域分量应用威纳滤波(Wiener filtering)而在三维域中将每一非参考分块与利用参考分块被初始化的最近合并结果合并，这会改善综合产生的有噪声突发脉冲上的峰值信噪比(peaksignal to noise ratio，PSNR)及结构相似性(structural similarity，SSIM)。所述装置及方法表现为比包括稳健合并及视频匹配块4维滤波(Video Block-Matching 4Dfiltering，V-BM4D)的其他典型方法更好。
在实施例中，稳健合并(robust merging)方法规定曝光在突发脉冲中的所有帧上是恒定的，这使得对准更具稳健性(突发脉冲的不同帧之间不存在噪声水平差异)。第二，对原拜耳图像(Bayer image)而非去马赛克的红绿蓝(red green blue，RGB)(或亮度(Y)及色度(U及V)(YUV))帧进行合并，这会提供动态范围增加且噪声模型简单两方面的有益效果。第三，使用基于快速傅立叶变换(fast fourier transform，FFT)的对准算法及混合二维(two dimensional，2D)/三维威纳滤波器来对突发脉冲中的帧进行去噪及合并。
在实施例中，对准及合并两种操作是按照图块(tile)来实行。合并方法是基于对输入的图块进行操作的逐对频域时间滤波器。参考帧中的每一图块与从非参考帧中的每一者得到的一个图块合并。通常使用来自拜耳原始输入的彩色平面中的16×16个图块，但对于低频噪声可能令人讨厌的非常暗的场景，使用32×32个图块。
在稳健合并中，拜耳图像的每一平面被独立地合并。以下，根据单通道图像(single-channel image)来公开合并方法，所述单通道图像可简单地延伸到其中每一平面被独立合并的拜耳图像的情形。
稳健合并方法对空间频域中的图像图块进行操作。对于给定参考图块，在整个突发脉冲上会每帧一个地组装一组对应的图块，且其相应的二维离散傅立叶变换(two-dimensional-discrete Fourier transform，2D-DFT)被计算为Tz(w)，其中w＝(wx,wy)表示空间频率，z是帧索引(frame index)，且不失一般性，帧0被视为参考。
稳健合并应用如下方程式(1)中的频域合并：
Az是收缩算子(shrinkage operator)，所述收缩算子被定义为如下方程式(2)中的威纳滤波器的变量：
其中Dz(w)＝T0(w)-Tz(w)，σ2表示噪声方差，且c是以牺牲一定的稳健性为代价来增加噪声降低的设计参数。
以上逐对时间滤波器不会实行任何空间滤波，因而空间滤波在2D DFT域中用作单独的后处理步骤。通过假设所有N个帧被完全平均，且所估计的噪声方差被更新为σ2/N，对空间频率系数应用与以上方程式(2)相同形式的逐点收缩算子(pointwise shrinkageoperator)来实行空间滤波。还应用形式的附加噪声整形滤波器(noiseshaping filter)。总之，稳健合并的空间滤波呈如下方程式(3)的形式：
稳健合并是对每一空间维度上交叠一半的图块进行操作。通过在交叠的图块之间平稳地掺合，可在图块边界处避免视觉上令人讨厌的不连续。另外，对图块应用窗函数(window function)以避免在DFT域中操作时出现边缘伪像(edge artifact)。使用修改的上升余弦窗，即在x<n时为否则为0。
根据一个实施例，本发明装置及方法提供连续稳健合并作为上述稳健合并方法的修改型式。在稳健合并中，目标是每当对应的非参考帧与参考帧之间的差(Dz(w)＝T0(w)-Tz(w))与噪声无关时，拒绝合并非参考帧。
在稳健合并中，非参考帧独立地与参考帧合并。可被定义为在对第(M-1)非参考帧进行合并之后的合并结果。因此，(如在以上方程式(1)及如下方程式(4)中所定义)表示以上方程式(1)的中间合并结果：
合并的目标是降低噪声水平，因此期望观察到与T0相比更低的噪声水平，即在M>1时的假设到第M个帧时实现完全对准，所有帧均完全平均，且在对M个帧合并之后，噪声水平降低了如果能够获得场景R的真实无噪声图像，则更好的合并策略是获得Dz(w)＝R(w)-Tz(w)而非Dz(w)＝T0(w)-Tz(w)，且每当其与真实图像R的差与噪声无关时，拒绝合并第z非参考帧。通常，无法获得真实图像R；然而，在对M个帧进行合并之后，会获得作为对R的估计。
因此，根据一个实施例的装置可在确定TM(第(M+1)帧)的合并水平(merginglevel)时使用假设经历的噪声水平，则对帧进行编索引是从0开始。这种方案可被称为连续稳健合并(successive robust merging)，其可用公式表示成如下方程式(5)：
其中方程式(5)可等价地写成如下方程式(6)：
根据一个实施例，一种装置及方法提供差分连续稳健合并，其中在如下方程式(7)下得到的仅用于更新Az(w)：
其中且Dz(w)＝T0(w)-Tz(w)，并且接着可被等价地写成如下方程式(8)：
根据一个实施例，N个有噪声图像(noisy image)的突发脉冲，其中Ik(x,y)表示第k图像帧k∈{0,…,N-1}，且(x,y)表示二维空间像素位置。各分块在大小为16×16的每一空间维度上交叠一半，且使用修改的上升余弦窗(即在x<n时为否则为0)进行滤波。第k帧的所考虑的分块(通过上述上升余弦窗(cosine window)进行加权)的二维离散傅立叶变换(2D-DFT)被表示成Fk(w)，其中w＝(wx,wy)，表示二维空间频率，且为简单起见省略了分块索引。
根据一个实施例，一种装置及方法提供多帧合并，具体来说为连续逐对三维合并。在各帧之间可能存在残余对准误差。在连续逐对三维合并中，本发明装置连续地合并非参考帧，其中每一参考帧与最近合并的结果(利用参考分块初始化)合并。基于整个突发脉冲上对准的非参考分块与对应的参考分块的相似性对对准的非参考分块进行排序，接着在变换域中连续地合并非参考分块。所述装置连续地(一次一个分块地)实行合并，其中首先合并与参考分块更相似的非参考分块。所述装置使用两步变换在变换域中实行合并。
在第一步变换中，本发明装置获得参考帧及非参考帧的二维变换(例如，离散傅立叶变换2D-DFT)。在第二步变换中，本发明装置在时间方向上对最近合并的结果与可用非参考帧的一对对准的频率分量实行简单2点一维DFT(one-dimensional-DFT，1D-DFT)。
所述装置对三维变换结果应用威纳滤波，接着将经滤波的三维变换结果转换回到二维域(简单2点逆DFT)以更新最近合并的结果。所述装置在二维变换域中利用对参考帧的威纳滤波将合并初始化。举例来说，连续逐对合并方案可用公式表示成如下方程式(9)及(10)：
其中表示在对M个帧进行合并(将M-1个非参考帧合并到参考帧)之后的最近合并结果，且方程式(11)及(12)如下：
其中且
在连续合并中，合并的顺序可能影响最终合并结果的品质。在对帧进行排序时可使用不同的度量，例如清晰度(选择最清晰的帧作为参考且首先合并更清晰的帧)或者非参考帧与参考帧的匹配得分，其中首先合并具有更高匹配得分的帧。
根据一个实施例，所述装置提供基于频域中的MMSE估计原理进行合并。考虑频域(而不是空间域)中的MMSE估计的动机是频域中的自然图像的稀疏性质使我们能够根据频率分量独立地获得MMSE估计。所述装置在独立地考虑每一频率分量的变换域(频域)中应用MMSE估计。
如以上参照稳健合并方法所阐述，交叠的分块是在频域中进行合并，其中Tz(w)被定义为第z帧图块的频域表示形式，且w＝(wx,wy)表示空间频率。
R被定义为真实信号(例如，场景的原始无噪声图像)，T0(w)被视为有噪声参考帧，且Iz(w)被定义为第z帧处相对于参考帧即I0(w)＝0的对准误差。对于第z非参考帧Tz(w)的有噪声且可能未对准的块，方程式(13)如下：
Tz(w)＝R(w)+Iz(w)+Nz(w)…(13)
其中R是真实图像，且Nz(w)是方差为的独立同分布的(independent andidentically distributed，i.i.d.)零均值高斯噪声；T0(w)＝R(w)+N0(w)。
根据一个实施例，所述装置实行合并作为其中目标是对N次观察Tz(w)中的图像R进行估计的估计问题。在I0(w)＝0时，帧T0充当参考帧。通过考虑N个帧的突发脉冲且对于给定空间频率w，形成可用公式表示成如下方程式(14)的T(w)＝[T0(w),T1(w),…,TN-1(w)]T：
如果μ(w)＝E{R(w)}且P(w)作为空间频率w处的真实图像功率(image power)即P(w)＝E{|R(w)-μ(w)|2}并且Iz(w)是其中E{Iz(w)}＝0的高斯变量，则对于R(w)的MMSE估计而言，方程式(15)如下：
根据方程式(15)，可获得如下方程式(16)：
为了获得MMSE结果，需要未知的及P(w)。对于而言，可使用瞬时功率(instantaneous power)，即如以下方程式(17)所示：
对于P(w)而言，由于能获得多个帧，因此P(w)可被确定为如下方程式(18)：
由于因此以上估计量(estimator)是有偏差的。因此R(w)的无偏MMSE估计可获得为如下方程式(19)：
其中仅需要对的估计来获得在以上计算中还需要μ(w)＝E{R(w)}。μ(w)可根据空间域中的分块的均值来计算。通过将J(x,y)定义为在(x,y)空间位置处的图像强度且假设E{J(x,y)}＝u，获得如下方程式(20)：
其中G表示加窗矩阵，且".*"表示逐单元矩阵乘法(element wise matrixmultiplication)。
在本公开中，对五组多帧去噪装置及方法(即，连续稳健合并(其与稳健合并相结合)、差分连续稳健合并、连续逐对三维合并(其在三维变换域中应用逐对威纳滤波)、MMSE合并及无偏MMSE合并)进行阐述。
考虑N个有噪声图像的突发脉冲，其中Ik(x,y)表示第k图像帧，k∈{0,…,N-1}且(x,y)表示二维空间像素位置。为了便于标记，颜色通道索引被省略。然而，本公开可包括颜色通道(color channel)。
提取M×M个图像分块，且对分块应用二维变换(例如，2D-DFT或2D小波分析(wavelet))，并且将变换域中的图像分块表示成Fk(wx,wy)，其中w＝(wx,wy)表示二维空间频率。举例来说，图像分块可选择成在大小为M×M的每一空间维度上交叠一半，且使用修改的上升余弦窗(即在x<n时为否则为0)来滤波。
在实施例中，在各帧之间存在某种水平的对准，其中聚焦是在残余对准误差存在下进行多帧合并时进行。
图1是根据一个实施例的用于提供多帧图像去噪的示例性装置100的方块图。
参照图1，装置100包括图像配准器(image registrator)101、分块提取器(patchextractor)103、二维变换器(2D transformer)105、合并器(merger)107、空间去噪器(spatial denoiser)109以及二维逆变换器及分块组合器(2D inverse transformer andpatch combiner)111。
图像配准器101包括用于接收信号Iz的输入113以及输出115。分块提取器103包括连接到图像配准器101的输出115的输入以及输出117。分块提取器103的输出117可输出M×M大小的分块，其中M是有理数。二维变换器105包括连接到分块提取器103的输出117的输入。二维变换器105的输出119可为输入信号的帧w(例如，Fz(w))。合并器107包括连接到二维变换器105的输出119的输入以及输出121。合并器107的输出121可提供对对大小M×M的中间估计空间去噪器109包括连接到合并器107的输出121的输入以及输出123。空间去噪器109的输出123可提供对大小M×M的后处理估计二维逆变换器及分块组合器111包括连接到空间去噪器109的输出123的输入以及输出多帧图像去噪的信号的输出125。
图像分块可选择成在大小为M×M的每一空间维度上交叠一半，且使用修改的上升余弦窗(即在x<n时为否则为0)来滤波。使用2D-DFT作为二维变换。选择帧0作为参考帧。获得为如下方程式(21)：
对于给定频率，Az(w)控制第z非参考帧被合并到最终结果中相对于回落到参考帧的程度。方程式(21)可被改写成如下方程式(22)：
以上逐对时间滤波器不会实行任何空间滤波。因此，空间滤波在2D DFT域中用作单独的后处理步骤。空间滤波是通过应用逐点收缩算子(pointwise shrinkage operator)来实行。还应用形式的附加噪声整形滤波器(additional noise shapingfilter)。稳健合并的空间滤波如以下方程式(23)：
图2是根据一个实施例的用于提供连续稳健合并的示例性装置的方块图。
参照图2，本发明装置包括合并器(merger)200，合并器200具有减法器(subtractor)201、威纳滤波器(Wiener filter)203、求和函数块(summation functionblock)205、乘法器(multiplier)207及帧延迟器(frame delayer)209。
减法器201包括用于接收Fz(w)的第一输入211、连接到帧延迟器209的输出223以用于接收的第二输入以及用于输出的输出213。威纳滤波器203包括连接到减法器201的输出213的第一输入、连接到减法器201的输出213的第二输入以及输出215。求和函数块205包括连接到威纳滤波器203的输出215的第一输入、用于接收Fz(w)的第二输入211以及用于输出的输出217。乘法器207包括连接到求和函数块205的输出217的第一输入、用于接收1/z的第二输入219以及输出221。帧延迟器209包括连接到乘法器207的输出221的输入以及用于输出的输出223。
合并的目标是每当对应的非参考帧与参考帧之间的差与噪声无关时拒绝合并非参考帧。
然而，在合并z个帧之后，我们能获得作为对R的估计。因此，假设经历的噪声水平，则可在确定Fz的合并水平(merging level)时使用这种方案被称为连续稳健合并，其可用公式表示成如下方程式(24)：
其中其可等价地用公式表示成如下方程式(25)：
图3是根据一个实施例的用于提供差分连续稳健合并的示例性装置的方块图。
参照图3，本发明装置包括合并器300，合并器300具有第一减法器301、第二减法器303、威纳滤波器305、求和函数块307、乘法器309及帧延迟器311。
第一减法器301包括用于接收Fz(w)的第一输入313、用于接收F0(w)的第二输入315及用于输出F0(w)-Fz(w)的输出317。第二减法器303包括用于接收Fz(w)的第一输入313、连接到帧延迟器311的输出327以用于接收的第二输入以及用于输出的输出329。威纳滤波器305包括连接到第一减法器301的输出317的第一输入、连接到第二减法器303的输出329的第二输入以及输出319。求和函数块307包括连接到威纳滤波器305的输出319的第一输入、用于接收Fz(w)的第二输入313以及用于输出的输出321。乘法器309包括连接到求和函数块307的输出321的第一输入、用于接收1/z的第二输入323以及输出325。帧延迟器311包括连接到乘法器309的输出325的输入以及用于输出的输出327。
可用于更新滤波权重，且可用公式表示成如下方程式(26)：
其中且Dm(w)＝F0(w)-Fm(w)，并且其中以上方程式(26)可等价地用公式表示成如下方程式(27)：
图4是根据一个实施例的用于最小均方误差(MMSE)合并的合并器400的方块图。
参照图4，合并器400包括第一减法器401、第一乘法器403、第一求和函数块405、第二乘法器407、除法器409、第一加法器411、第二减法器413、绝对值函数块415、第三减法器417、最大值除法器(maximum value divider)419、第二求和函数块421、第三乘法器423及第二加法器425。
第一减法器401包括用于接收Fz(w)的第一输入427、用于接收μ(w)的第二输入429及用于输出μ(w)-Fz(w)的输出431。第一乘法器403包括连接到第一减法器401的输出431的第一输入、连接到最大值除法器419的输出457以用于接收滤波器权重的第二输入以及输出433。第一求和函数块405包括连接到第一乘法器403的输出433的输入以及输出435。第二乘法器407包括连接到第一求和函数块405的输出435的第一输入、用于接收P(w)的第二输入437以及输出439。除法器409包括连接到第二乘法器407的输出439的第一输入、连接到第二加法器425的输出467的第二输入以及输出441。第一加法器411包括连接到除法器409的输出441的第一输入、用于接收μ(w)的第二输入443以及输出445。第二减法器413包括用于接收Fz(w)的第一输入427、用于接收F0(w)的第二输入447以及用于输出Fk(w)-F0(w)的输出449。绝对值函数块415包括连接到第二减法器413的输出449的输入以及输出451。第三减法器417包括连接到绝对值函数块415的输出451的第一输入、用于接收的第二输入453以及输出455。最大值除法器函数块419包括连接到第三减法器417的输出455的输入以及用于输出滤波器权重的输出457。第二求和函数块421包括连接到最大值除法器419的输出457的输入以及输出459。第三乘法器423包括连接到第二求和函数块421的输出459的第一输入、用于接收P(w)的第二输入461以及输出463。第二加法器425包括连接到第三乘法器423的输出463的第一输入、用于接收值1的第二输入465以及输出467。
R可为真实信号(例如，场景的原始无噪声图像)，其中F0(w)是有噪声参考帧，且ez(w)是第z帧相对于参考帧即e0(w)＝0的对准误差。对于第z非参考帧Fz(w)的有噪声且可能未对准的块而言，方程式(28)如下：
Fz(w)＝R(w)+ez(w)+Nz(w)…(28)
其中R是真实图像，且Nz(w)是方差为的i.i.d.零均值高斯噪声。因此，F0(w)＝R(w)+N0(w)。
合并解决方案可被视为目标是对N次观察Fz(w)中的图像R进行估计的估计问题。通过假设e0(w)＝0，帧F0充当参考帧。考虑N个帧的突发脉冲且对于给定空间频率w，向量F(w)＝[F0(w),F1(w),…,FN-1(w)]T可用公式表示成如下方程式(29)：
如果μ(w)＝E{R(w)}且P(w)是在空间频率w下的真实图像功率，即P(w)＝E{|R(w)-μ(w)|2}，并且ez(w)是其中E{ez(w)}＝0的i.i.d高斯变量，则对于对R(w)的MMSE估计而言，方程式(30)如下：
以上方程式(30)可用公式表示成如下方程式(31)：
为了获得MMSE结果，需要未知的及P(w)。对于而言，瞬时功率如以下方程式(32)所示：
由于可获得多个帧，因此P(w)根据如下方程式(33)来计算：
由于因此对R(w)的MMSE合并估计是有偏的。
图5是根据一个实施例的用于U-MMSE合并的合并器500的方块图。
参照图5，合并器500包括乘法器501、第一求和函数块503、除法器505、第一减法器507、绝对值函数块509、第二减法器511、最大值除法器513及第二求和函数块515。
乘法器501包括用于接收Fz(w)的第一输入517、连接到最大值除法器513的输出535以用于接收滤波器权重的第二输入以及输出519。第一求和函数块503包括连接到乘法器501的输出519的输入以及输出521。除法器505包括连接到第一求和函数块503的输出521的第一输入、连接到第二求和函数块515的输出537的第二输入以及输出523。第一减法器507包括用于接收Fz(w)的第一输入517、用于接收F0(w)的第二输入525及用于输出Fz(w)-F0(w)的输出527。绝对值函数块509包括连接到第一减法器507的输出527的输入以及输出529。第二减法器511包括连接到绝对值函数块509的输出529的第一输入、用于接收的第二输入531以及输出533。最大值除法器函数块513包括连接到第二减法器511的输出533的输入以及用于输出滤波器权重的输出535。第二求和函数块515包括连接到最大值除法器513的输出535的输入以及输出537。
对R(w)的无偏MMSE估计用公式表示成如下方程式(34)：
其中仅需要对的估计来获得
图6是根据一个实施例的用于提供多帧图像去噪的另一示例性装置的方块图。
参照图6，装置600包括图像配准器601、分块提取器603、二维变换器605、合并器607以及二维逆变换器及分块组合器609。
图像配准器601包括用于接收信号Iz的输入611以及输出613。分块提取器603包括连接到图像配准器601的输出613的输入以及输出615。二维变换器605包括连接到分块提取器603的输出615的输入。合并器607包括连接到二维变换器605的输出617的输入以及输出619。二维逆变换器及分块组合器609包括连接到合并器607的输出619的输入以及输出多帧图像去噪的信号的输出621。
图7是根据一个实施例的图6所示用于连续逐对三维合并的合并器607的方块图。
参照图7，合并器607包括减法器701、第一加法器703、第一威纳滤波器705、第二威纳滤波器707、第二加法器709、乘法器711及帧延迟器713。
减法器701包括连接到合并器607的输入617以用于接收Fz(w)的第一输入、连接到帧延迟器713的输出727以用于接收的第二输入以及用于输出的输出715。第一加法器703包括连接到合并器607的输入617以用于接收Fz(w)的第一输入、连接到帧延迟器713的输出727以用于接收的第二输入以及用于输出的输出719。第二威纳滤波器707包括连接到第一加法器703的输出719的第一输入、连接到第一加法器703的输出719的第二输入以及输出721。第二加法器709包括连接到第二威纳滤波器707的输出721的第一输入、连接到第一威纳滤波器705的输出717的第二输入以及连接到合并器607的输出619的输出。乘法器711包括连接到第二加法器709的输出619的第一输入、用于接收值0.5的第二输入723以及输出725。帧延迟器713包括连接到乘法器711的输出725的输入以及输出727。
连续地合并非参考帧，其中每一非参考帧与最近合并结果合并，且所述合并是在变换域中使用两步变换来实行。在第一步中，获得参考帧及非参考帧的二维变换。第二步变换是在时间方向上对最近合并结果与可用非参考帧的一对对准的频率分量进行的2点1D-DFT。对三维变换结果应用威纳滤波，接着将其转换回到二维域(简单2点逆DFT)以更新最近合并结果。利用参考帧对合并进行初始化。连续逐对合并方案可用公式表示成如下方程式(35)、(36)及(37)：
其中且
不存在对的进一步后空间去噪，这与分别应用后空间去噪的连续稳健合并及差分连续稳健合并不同。
图8是根据一个实施例的一种多帧成像去噪的方法的流程图。
参照图8，在801处，本发明***确定信号中的图像的配准。
在803处，本发明***从图像提取分块。
在805处，本发明***对上述所提取的分块进行二维变换。
在807处，本发明***对上述经二维变换的分块进行合并。合并的方法可为上述连续稳健合并、差分连续稳健合并、MMSE合并及U-MMSE合并中的一者。
在809处，本发明***对合并的分块进行空间去噪。
在811处，本发明***对空间去噪的分块进行二维逆变换及组合。
图9是根据一个实施例的一种多帧成像去噪的方法的流程图。
参照图9，在901处，本发明***确定信号中的图像的配准。
在903处，本发明***从图像提取分块。
在905处，本发明***对所提取的分块进行二维变换。
在907处，本发明***对经二维变换的分块进行合并。合并的方法可为连续逐对三维合并(successive pairwise 3D merging)。
在909处，本发明***对合并的分块进行二维逆变换及组合。
图10是根据一个实施例的应用本公开的装置及方法的网络环境中的电子器件的方块图。
参照图10，网络环境1000中的电子器件1001可通过第一网络1098(例如，短距离无线通信网络(short-range wireless communication network))来与电子器件1002进行通信，或者通过第二网络1099(例如，长距离无线通信网络)来与电子器件1004或服务器1008进行通信。根据实施例，电子器件1001可经由服务器1008来与电子器件1004进行通信。根据实施例，电子器件1001可包括处理器1020、存储器1030、输入器件1050、声音输出器件1055、显示器件1060、音频模块(Audio module)1070、传感器模块1076、接口(interface)1077、触感模块(haptic module)1079、相机模块1080、电源管理模块1088、电池1089、通信模块1090、用户识别模块(subscriber identification module，SIM)1096或天线模块1097。在一些实施例中，可从电子器件1001省略所述组件中的至少一者(例如，显示器件1060或相机模块1080)，或者可在电子器件1001中添加一个或多个其他组件。在一些实施例中，所述组件中的一些组件可被实施为单个集成电路。举例来说，传感器模块1076(例如，指纹传感器(fingerprint sensor)、虹膜传感器(iris sensor)或亮度传感器(illuminance sensor))可被实施为嵌入在显示器件1060(例如，显示器)中。
处理器1020可执行例如软件(例如，程序1040)以控制与处理器1020耦合的电子器件1001的至少一个其他组件(例如，硬件组件或软件组件)，且可实行各种数据处理或计算。
根据一个实施例，作为数据处理或计算的至少一部分，处理器1020可在易失性存储器1032中加载从另一组件(例如，传感器模块1076或通信模块1090)接收的命令或数据，处理存储在易失性存储器1032中的命令或数据，以及将所得数据存储在非易失性存储器1034中。根据实施例，处理器1020可包括主处理器1021(例如，中央处理器(centralprocessing unit，CPU)或应用处理器(application processor，AP))以及能够独立于主处理器1021运行或与主处理器1021结合运行的辅助处理器1023(例如，图形处理单元(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、传感器集线器处理器(sensor hub processor)或通信处理器(communication processor，CP))。
另外地或非参考地，辅助处理器1023可适以消耗比主处理器1021少的功率，或者专用于专用功能。辅助处理器1023可与主处理器1021分开实施或者作为主处理器1021的一部分实施。
当主处理器1021处于非现用(inactive)(例如，睡眠)状态时，辅助处理器1023可替代主处理器1021来控制与电子器件1001的组件中的至少一个组件(例如，显示器件1060、传感器模块1076或通信模块1090)相关的功能或状态中的至少一些功能或状态；或者当主处理器1021处于现用状态(例如，正在执行应用时)，辅助处理器1023可与主处理器1021一起控制上述功能或状态中的至少一些功能或状态。根据实施例，辅助处理器1023(例如，图像信号处理器或通信处理器)可被实施为在功能上与辅助处理器1023相关的另一组件(例如，相机模块1080或通信模块1090)的一部分。
存储器1030可存储由电子器件1001的至少一个组件(例如，处理器1020或传感器模块1076)使用的各种数据。所述各种数据可包括例如软件(例如，程序1040)以及用于与软件相关的命令的输入数据或输出数据。存储器1030可包括易失性存储器1032或非易失性存储器1034。
程序1040可作为软件存储在存储器1030中，且可包括例如操作***(operatingsystem，OS)1042、中介软体(middleware)1044或应用(application)1046。
输入器件1050可从电子器件1001的外部(例如，用户)接收将由电子器件1001的另一组件(例如，处理器1020)使用的命令或数据。输入器件1050可包括例如麦克风、鼠标、键盘或数字笔(例如，触控笔(stylus pen))。
声音输出器件1055可将声音信号输出到电子器件1001的外部。声音输出器件1055可包括例如扬声器或接收器。扬声器可用于一般用途(例如，播放多媒体或播放录音)，且接收器可用于传入呼叫。根据实施例，接收器可与扬声器分开实施或作为扬声器的一部分实施。
显示器件1060可向电子器件1001的外部(例如，用户)以视觉方式提供信息。显示器件1060可包括例如显示器、全息图器件(hologram device)或投影仪以及用于控制显示器、全息图器件及投影仪中的对应一者的控制电路。根据实施例，显示器件1060可包括适以检测触摸的触摸电路，或适以测量由触摸引发的力的强度的传感器电路(例如，压力传感器)。
音频模块1070可将声音转换成电信号以及将电信号转换成声音。根据实施例，音频模块1070可通过输入器件1050获得声音，或者通过声音输出器件1055或通过与电子器件1001直接地(例如，以有线方式)耦合或无线耦合的外部电子器件(例如，电子器件1002)的头戴耳机来输出声音。
传感器模块1076可检测电子器件1001的运行状态(例如，功率或温度)或者电子器件1001外部的环境状态(例如，用户状态)，且接着产生与所检测的状态对应的电信号或数据值。根据实施例，传感器模块1076可包括例如手势传感器(gesture sensor)、陀螺仪传感器(gyro sensor)、大气压传感器(atmospheric pressure sensor)、磁性传感器(magneticsensor)、加速度传感器(acceleration sensor)、握持传感器(grip sensor)、接近传感器(proximity sensor)、颜色传感器(color sensor)、红外(infrared，IR)传感器、生物特征传感器(biometric sensor)、温度传感器(temperature sensor)、湿度传感器(humiditysensor)或亮度传感器。
接口1077可支持为将电子器件1001直接地(例如，以有线方式)或无线地与外部电子器件(例如，电子器件1002)耦合而将使用的一种或多种规定协议。根据实施例，接口1077可包括例如高清晰度多媒体接口(high definition multimedia interface，HDMI)、通用串行总线(universal serial bus，USB)接口、安全数字(secure digital，SD)卡接口或音频接口。
连接端子1078可包括连接件，电子器件1001可通过连接件与外部电子器件(例如，电子器件1002)实体连接。根据实施例，连接端子1078可包括例如HDMI连接件、USB连接件、SD卡连接件或音频连接件(例如，头戴耳机连接件)。
触感模块1079可将电信号转换成机械刺激(例如，震动或移动)或者可由用户通过用户的触觉(tactile sensation)或动觉(kinesthetic sensation)辨识的电刺激。根据实施例，触感模块1079可包括例如电动机、压电元件(piezoelectric element)或电刺激器(electric stimulator)。
相机模块1080可拍摄静止图像或移动图像。根据实施例，相机模块1080可包括一个或多个镜头、图像传感器、图像信号处理器或闪光灯。
电源管理模块1088可管理向电子器件1001供应的电力。根据一个实施例，电源管理模块1088可被实施为例如电源管理集成电路(power management integrated circuit，PMIC)的至少一部分。
电池1089可向电子器件1001的至少一个组件供电。根据实施例，电池1089可包括例如不可再充电的一次电池(primary cell)、可再充电的二次电池(secondary cell)或燃料电池(fuel cell)。
通信模块1090可支持在电子器件1001与外部电子器件(例如，电子器件1002、电子器件1004或服务器1008)之间建立直接的(例如，有线的)通信信道或无线通信信道以及通过所建立的通信信道实行通信。通信模块1090可包括可独立于处理器1020(例如，应用处理器(AP))运行的一个或多个通信处理器并支持直接的(例如，有线的)通信或无线通信。根据实施例，通信模块1090可包括无线通信模块1092(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星***(global navigation satellite system，GNSS)通信模块)或有线通信模块1094(例如，局域网(local area network，LAN)通信模块或电力线通信(powerline communication，PLC)模块)。这些通信模块中对应的一个通信模块可通过第一网络1098(例如，短距离通信网络，例如蓝牙TM、无线保真(wireless-fidelity，Wi-Fi)直接或红外数据协会(infrared data association，IrDA))或第二网络1099(例如，长距离通信网络，例如蜂窝网络、互联网或计算机网络(例如，LAN或广域网(wide area network，WAN)))与外部电子器件进行通信。这些各种类型的通信模块可被实施为单个组件(例如，单个芯片)或者可被实施为彼此分开的多个组件(例如，多个芯片)。无线通信模块1092可使用存储在用户识别模块1096中的用户信息(例如，国际移动用户识别码(international mobilesubscriber identity，IMSI))来识别及认证通信网络(例如，第一网络1098或第二网络1099)中的电子器件1001。
天线模块1097可将信号或电力发送到电子器件1001外部(例如，外部电子器件)或者从电子器件1001外部接收信号或电力。根据实施例，天线模块1097可包括天线，所述天线包括形成在衬底(例如，印刷电路板(printed-circuit board，PCB))中或形成在衬底上的由导电材料或导电图案构成的辐射元件。根据实施例，天线模块1097可包括多个天线。在这种情形中，通信模块1090(例如，无线通信模块1092)例如可从所述多个天线选择适用于在通信网络(例如，第一网络1098或第二网络1099)中使用的通信方案的至少一个天线。然后可通过所选择的至少一个天线在通信模块1090与外部电子器件之间发送或接收信号或电力。根据实施例，可另外形成除了辐射元件之外的另一组件(例如，射频集成电路(radiofrequency integrated circuit，RFIC))作为天线模块1097的一部分。
上述组件中的至少一些组件可相互耦合且所述至少一些组件之间通过***间通信方案(inter-peripheral communication scheme)(例如，总线、通用输入及输出(general purpose input and output，GPIO)、串行***接口(serial peripheralinterface，SPI)或移动产业处理器接口(mobile industry processor interface，MIPI))传递信号(例如，命令或数据)。
根据实施例，可通过与第二网络1099进行耦合的服务器1008在电子器件1001与外部电子器件1004之间发送或接收命令或数据。电子器件1002及电子器件1004中的每一者可为与电子器件1001为相同类型或不同类型的器件。根据实施例，将在电子器件1001处执行的所有操作或一些操作可在外部电子器件1002、外部电子器件1004或外部电子器件1008中的一者或多者处执行。举例来说，如果电子器件1001应自动地或响应于来自用户或另一器件的请求而实行功能或服务，则替代执行所述功能或服务或者除了执行所述功能或服务之外，电子器件1001还可请求所述一个或多个外部电子器件实行所述功能或服务的至少一部分。接收到所述请求的所述一个或多个外部电子器件可实行所请求的功能或服务的所述至少一部分，或者实行与所述请求相关的其他功能或其他服务，并将所述实行的结果传输到电子器件1001。电子器件1001可在对结果进行进一步处理或不进行进一步处理的情况下提供所述结果作为对请求的回复的至少一部分。为此，举例来说，可使用云计算、分布式计算或客户机-服务器计算技术。
根据各种实施例的电子器件可为各种类型的电子器件中的一种。电子器件可包括例如便携式通信器件(例如，智能电话)、计算机器件、便携式多媒体器件、便携式医疗器件、相机、可穿戴式器件或家用电器。根据本公开的实施例，电子器件并非仅限于上述电子器件。
本公开的各种实施例以及本文中所用的用语并非旨在将本公开的技术特征限制到特定实施例，而是包括对对应实施例的各种改变、等效形式或替代形式。
关于对图式的说明，可使用相似的参考编号指代相似的或相关的元件。
除非相关上下文清楚地另外指明，否则与物项对应的名词的单数形式可包括一个或多个事物。
本文中所用的例如“A或B”、“A及B中的至少一者”、“A或B中的至少一者”、“A、B或C”、“A、B、及C中的至少一者”及“A、B或C中的至少一者”等这些短语中的每一者可包括与短语中的对应一个短语一同枚举的物项的任意一者或者所有可能组合。
本文中所用的例如“第一(1st)”及第二(2nd)等用语可用于将对应的组件与另一组件进行区分，而不在其他方面(例如，重要性或次序)对组件进行限制。如果在带有或不带有用语“可操作地”或“可通信地”的条件下将元件(例如，第一元件)称为与另一元件(例如，第二元件)“耦合”、“耦合到”另一元件、与另一元件“连接”或“连接到”另一元件，则第一元件可直接地(例如，以有线方式)、无线地或通过第三元件与第二元件耦合。
本文中所用用语“模块”可包括以硬件、软件或固件形式实施的单元，且可与例如“逻辑”、“逻辑块”、“部件”及“电路”等其他用语互换使用。模块可为适以实行一种或多种功能的单个整体组件或所述单个整体组件的最小单元或部件。举例来说，根据实施例，模块可被实施为应用专用集成电路(application-specific integrated circuit，ASIC)的形式。
本文中所述的各种实施例可被实施为包括存储在可由机器(例如，电子器件1001)读取的存储介质(例如，内部存储器1036或外部存储器1038)中的一个或多个指令的软件(例如，程序1040)。举例来说，机器(例如，电子器件1001)的处理器(例如，处理器1020)可在使用或不使用受处理器控制的一个或多个其他组件的条件下调用存储在存储介质中的所述一个或多个指令中的至少一个指令，并执行所述至少一个指令。此允许操作机器来根据所调用的所述至少一个指令实行至少一种功能。所述一个或多个指令可包括由编译器产生的代码或者可由解释器执行的代码。机器可读存储介质可设置成非暂时性存储介质形式。其中，用语“非暂时性”仅意指存储介质是有形器件，且不包括信号(例如，电磁波)，但此用语并不区分数据以半永久方式存储在存储介质中的情形与数据临时存储在存储介质中的情形。
根据实施例，根据本公开的各种实施例的方法可包括在计算机程序产品中及在计算机程序产品中提供。计算机程序产品可在卖方与买方之间作为产品进行交易。计算机程序产品可以机器可读存储介质(例如，压缩盘只读存储器(compact disc read onlymemory，CD-ROM))形式分发，或者通过应用商店(例如，播放商店TM(Play StoreTM)在线分发(例如，下载或上传)，或者直接在两个用户器件(例如，智能电话)之间分发。如果在线分发，则计算机程序产品的至少一部分可在机器可读存储介质(例如，制造商服务器的存储器、应用商店的服务器或中继服务器)中临时产生或至少临时存储在所述机器可读存储介质中。
根据各种实施例，上述组件中的每一组件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述组件中的一者或多者，或者可添加一个或多个其他组件。非参考地或另外地，可将多个组件(例如，模块或程序)集成成单个组件。在这种情形中，根据各种实施例，集成组件仍可以与在集成之前所述多个组件中的对应一者实行一种或多种功能的方式相同或相似的方式来实行所述多个组件中的每一者的所述一种或多种功能。根据各种实施例，由模块、程序或另一组件实行的操作可依序地、并行地、重复地或启发式地施行，或者所述操作中的一个或多个操作可以不同的次序执行或者被省略，或者可添加一个或多个其他操作。
图11是根据一个实施例的程序1040的方块图。
参照图11，程序1040可包括用于控制电子器件1001的一种或多种资源的操作***1042、中介软体1044或可在操作***1042中执行的应用1046。操作***1042可包括例如苹果操作*** 或八达TM(BadaTM)。举例来说，程序1040的至少一部分可在制造期间预加载在电子器件1001上，或者可在用户使用期间从外部电子器件(例如，电子器件1002或1004或者服务器1008)下载或由外部电子器件更新。
操作***1042可控制对电子器件1001的一种或多种***资源(例如，进程、存储器或电源)的管理(例如，分配或解除分配)。另外地或非参考地，操作***1042可包括一个或多个驱动器程序以驱动电子器件1001的其他硬件器件(例如，输入器件1050、声音输出器件1055、显示器件1060、音频模块1070、传感器模块1076、接口1077、触感模块1079、相机模块1080、电源管理模块1088、电池1089、通信模块1090、用户识别模块1096或天线模块1097)。
中介软体1044可向应用1046提供各种功能以使应用1046可使用从电子器件1001的一种或多种资源提供的功能或信息。中介软体1044可包括例如应用管理器1101、视窗管理器1103、多媒体管理器1105、资源管理器1107、电源管理器1109、数据库管理器1111、数据包(package)管理器1113、连接性管理器1115、通知管理器1117、位置管理器1119、图形管理器1121、安全管理器1123、电话管理器1125或语音识别管理器1127。
应用管理器1101举例来说可管理应用1046的寿命循环。视窗管理器1103举例来说可管理在屏幕上使用的一种或多种图形用户接口(graphical user interface，GUI)资源。多媒体管理器1105举例来说可识别将用于播放媒体文件的一种或多种格式，且可使用适用于从所述一种或多种格式选出的对应格式的编解码器来对媒体文件中的对应一者进行编码或解码。资源管理器1107举例来说可管理应用1046的源代码(source code)或存储器1030的存储器空间。电源管理器1109举例来说可管理电池1089的容量、温度或电力，且至少部分地基于电池1089的容量、温度或电力的对应信息来确定或提供将用于电子器件1001的操作的相关信息。根据一个实施例，电源管理器1109可与电子器件1001的基本输入/输出***(basic input/output system，BIOS)交互操作。
数据库管理器1111举例来说可产生、搜索或改变将由应用1046使用的数据库。数据包管理器1113举例来说可管理以数据包文件形式分发的应用的安装或更新。连接性管理器1115举例来说可管理电子器件1001与外部电子器件之间的无线连接或直接连接。通知管理器1117举例来说可提供将规定事件(例如，传入呼叫、消息或警告)的出现通知给用户的功能。位置管理器1119举例来说可管理电子器件1001的位置信息。图形管理器1121举例来说可管理将向用户提供的一种或多种图形效果或者与所述一种或多种图形效果相关的用户接口。
安全管理器1123举例来说可提供***安全或用户认证。电话管理器1125举例来说可管理由电子器件1001提供的语音呼叫功能或视频呼叫功能。语音识别管理器1127举例来说可将用户的语音数据发送到服务器1008、并从服务器1008接收与将至少部分地基于所述语音数据在电子器件1001上执行的功能对应的命令，或者接收至少部分地基于语音数据转换而来的文本数据。根据一个实施例，中介软体1044可动态地删除一些现有组件或添加新组件。根据一个实施例，中介软体1044的至少一部分可被包括为操作***1042的一部分或者可在与操作***1042分开的其他软件中实施。
应用1046可包括例如主页应用(home application)1151、拨号器应用(dialerapplication)1153、短消息服务(short message service，SMS)/多媒体消息发送服务(multimedia messaging service，MMS)应用1155、即时消息(instant message，IM)应用1157、浏览器应用1159、相机应用1161、警报应用1163、联系人应用(contact application)1165、语音识别应用1167、电子邮件应用1169、日历应用1171、媒体播放器应用1173、相册应用1175、手表应用1177、健康应用1179(例如，用于测量锻炼程度或生物特征信息(例如，血糖))或环境信息应用1181(例如，用于测量气压、湿度或温度信息)。根据一个实施例，应用1046还可包括能够支持电子器件1001与外部电子器件之间的信息交换的信息交换应用。信息交换应用举例来说可包括适以向外部电子器件传输指定信息(例如，呼叫、消息或警告)的通知中继应用，或者包括适以管理外部电子器件的器件管理应用。通知中继应用可向外部电子器件传输与在电子器件1001的另一应用(例如，电子邮件应用1169)处出现规定事件(例如，电子邮件接收)对应的通知信息。另外地或非参考地，通知中继应用可从外部电子器件接收通知信息并将通知信息提供到电子器件1001的用户。
器件管理应用可控制外部电子器件或外部电子器件的一些组件(例如，外部电子器件的显示器件或相机模块)的电源(例如，接通或关断)或功能(例如，对明度、分辨率或焦距的调整)。另外地或非参考地，器件管理应用可支持在外部电子器件上运行的应用的安装、删除或更新。
尽管已在本公开的详细说明中阐述了本公开的特定实施例，然而在不背离本公开的范围的条件下可以各种形式来对本公开进行修改。因此，本公开的范围不应仅基于所阐述的实施例来确定，而是应基于随附权利要求书及其等效形式来确定。

Claims (24)

1.一种用于连续多帧图像去噪的装置，包括：
威纳滤波器，被配置成对图像的帧进行滤波；以及
帧延迟器，被配置成将经滤波的所述帧反馈到所述威纳滤波器，
其中所述威纳滤波器还被配置成基于经滤波的所述帧对所述图像的后续帧进行滤波。
2.根据权利要求1所述的用于连续多帧图像去噪的装置，还包括：
减法器，包括用于接收所述图像的所述帧的第一输入、连接到所述帧延迟器的输出的第二输入以及连接到所述威纳滤波器的第二输入及第一输入的输出；
求和函数块，包括连接到所述威纳滤波器的输出的第一输入、连接到所述减法器的所述第一输入的第二输入以及输出；以及
乘法器，包括连接到所述求和函数块的所述输出的第一输入、用于接收预定值的第二输入以及连接到所述帧延迟器的输入的输出。
3.根据权利要求2所述的用于连续多帧图像去噪的装置，还包括：
图像配准器，包括输入及输出；
分块提取器，包括连接到所述图像配准器的所述输出的输入以及输出；
二维变换器，包括连接到所述分块提取器的所述输出的输入以及连接到所述减法器的所述第一输入的输出；
空间去噪器，包括连接到所述求和函数块的所述输出的输入以及输出；以及
二维逆变换器及分块组合器，包括连接到所述空间去噪器的所述输出的输入以及输出。
4.根据权利要求1所述的用于连续多帧图像去噪的装置，还包括：
第一减法器，包括用于接收所述图像的所述帧的第一输入、用于接收参考帧的第二输入以及连接到所述威纳滤波器的第一输入的输出；
求和函数块，包括连接到所述威纳滤波器的输出的第一输入、连接到所述第一减法器的所述第一输入的第二输入以及输出；
乘法器，包括连接到所述求和函数块的所述输出的第一输入、用于接收预定值的第二输入以及连接到所述帧延迟器的输入的输出；以及
第二减法器，包括连接到所述帧延迟器的输出的第一输入、连接到所述第一减法器的所述第一输入的第二输入以及连接到所述威纳滤波器的第二输入的输出。
5.根据权利要求4所述的用于连续多帧图像去噪的装置，还包括：
图像配准器，包括输入及输出；
分块提取器，包括连接到所述图像配准器的所述输出的输入以及输出；
二维变换器，包括连接到所述分块提取器的所述输出的输入以及连接到所述第一减法器的所述第一输入的输出；
空间去噪器，包括连接到所述求和函数块的所述输出的输入以及输出；以及
二维逆变换器及分块组合器，包括连接到所述空间去噪器的所述输出的输入以及输出。
6.根据权利要求1所述的用于连续多帧图像去噪的装置，还包括：
减法器，包括用于接收所述图像的所述帧的第一输入、连接到所述帧延迟器的输出的第二输入以及连接到所述威纳滤波器的第一输入及第二输入的输出；
第一加法器，包括连接到所述减法器的所述第一输入的第一输入、连接到所述帧延迟器的所述输出的第二输入以及输出；
第二威纳滤波器，包括连接到所述第一加法器的所述输出的第一输入及第二输入以及输出；
第二加法器，包括连接到所述第二威纳滤波器的所述输出的第一输入、连接到所述威纳滤波器的输出的第二输入以及输出；以及
乘法器，包括连接到所述第二加法器的所述输出的第一输入、用于接收预定值的第二输入以及连接到所述帧延迟器的输入的输出。
7.根据权利要求6所述的用于连续多帧图像去噪的装置，还包括：
图像配准器，包括输入及输出；
分块提取器，包括连接到所述图像配准器的所述输出的输入以及输出；
二维变换器，包括连接到所述分块提取器的所述输出的输入以及连接到所述减法器的所述第一输入的输出；
空间去噪器，包括连接到所述第二加法器的所述输出的输入以及输出；以及
二维逆变换器及分块组合器，包括连接到所述空间去噪器的所述输出的输入以及输出。
8.一种用于连续多帧图像去噪的装置，包括：
第一减法器，包括用于接收图像的帧的第一输入、用于接收参考帧的第二输入以及输出；
绝对值函数块，包括连接到所述第一减法器的所述输出的输入以及输出；
第二减法器，包括连接到所述绝对值函数块的所述输出的第一输入、用于接收第一预定值的第二输入以及输出；以及
最大值除法器函数块，包括连接到所述第二减法器的所述输出的输入以及用于输出滤波器权重的输出。
9.根据权利要求8所述的用于连续多帧图像去噪的装置，还包括：
第三减法器，包括用于接收所述图像的所述帧的第一输入、用于接收第二预定值的第二输入以及输出；
第一乘法器，包括连接到所述第三减法器的所述输出的第一输入、第二输入以及连接到所述最大值除法器函数块的所述输出的输出；
第一求和函数块，包括连接到所述第一乘法器的所述输出的第一输入、连接到所述第三减法器的所述第一输入的第二输入以及输出；
第二乘法器，包括连接到所述第一求和函数块的所述输出的第一输入、用于接收第三预定值的第二输入以及输出；
除法器，包括连接到所述第二乘法器的所述输出的第一输入、第二输入及输出；
第一加法器，包括连接到所述除法器的所述输出的第一输入、用于接收所述第二预定值的第二输入以及输出；
第二求和函数块，包括连接到所述最大值除法器函数块的所述输出的第一输入、连接到所述第三减法器的所述第一输入的第二输入以及输出；
第三乘法器，包括连接到所述第二求和函数块的所述输出的第一输入、用于接收所述第三预定值的第二输入以及输出；以及
第二加法器，包括连接到所述第三乘法器的所述输出的第一输入、用于接收第四预定值的第二输入以及连接到所述除法器的所述第二输入的输出。
10.根据权利要求9所述的用于连续多帧图像去噪的装置，还包括：
图像配准器，包括输入及输出；
分块提取器，包括连接到所述图像配准器的所述输出的输入以及输出；
二维变换器，包括连接到所述分块提取器的所述输出的输入以及连接到所述第一减法器的所述第一输入的输出；以及
二维逆变换器及分块组合器，包括连接到所述第二加法器的所述输出的输入以及输出。
11.根据权利要求8所述的用于连续多帧图像去噪的装置，还包括：
乘法器，包括连接到所述第一减法器的所述第一输入的第一输入、连接到所述最大值除法器函数块的所述输出的第二输入以及输出；
第一求和函数块，包括连接到所述乘法器的所述输出的第一输入、连接到所述第一减法器的所述第一输入的第二输入以及输出；
除法器，包括连接到所述第一求和函数块的所述输出的第一输入、第二输入及输出；以及
第二求和函数块，包括连接到所述最大值除法器函数块的所述输出的第一输入、连接到所述第一减法器的所述第一输入的第二输入以及输出。
12.根据权利要求11所述的用于连续多帧图像去噪的装置，还包括：
图像配准器，包括输入及输出；
分块提取器，包括连接到所述图像配准器的所述输出的输入以及输出；
二维变换器，包括连接到所述分块提取器的所述输出的输入以及连接到所述第一减法器的所述第一输入的输出；以及
二维逆变换器及分块组合器，包括连接到所述除法器的所述输出的输入以及输出。
13.一种用于连续多帧图像去噪的方法，包括：
由威纳滤波器对图像的帧进行滤波；
由帧延迟器将经滤波的所述帧反馈到所述威纳滤波器；以及
由所述威纳滤波器基于经滤波的所述帧对所述图像的后续帧进行滤波。
14.根据权利要求13所述的用于连续多帧图像去噪的方法，还包括：
由减法器从所述帧延迟器的输出减去所述图像的所述帧；
由求和函数块对所述威纳滤波器的输出与所述减法器的第一输入进行求和；以及
由乘法器将所述求和函数块的输出与预定值相乘；以及
将乘法的结果输入到所述帧延迟器。
15.根据权利要求14所述的用于连续多帧图像去噪的方法，还包括：
由图像配准器来确定信号中的图像的配准；
由分块提取器从所述图像提取分块；
由二维变换器对所述分块提取器的输出进行变换；
由空间去噪器对所述求和函数块的所述输出进行空间去噪；以及
由二维逆变换器及分块组合器对所述空间去噪器的输出进行变换；以及
由所述二维逆变换器及分块组合器对从所述二维逆变换器及分块组合器的输出组合分块。
16.根据权利要求13所述的用于连续多帧图像去噪的方法，还包括：
由第一减法器从所述图像的所述帧减去参考帧；
由求和函数块对所述威纳滤波器的输出与由所述第一减法器接收的所述图像的所述帧进行求和；
由乘法器将所述求和函数块的输出与预定值相乘；
将乘法的结果提供到所述帧延迟器；
由第二减法器从所述帧延迟器的输出减去所述图像的所述帧；以及
将所述第二减法器的输出提供到所述威纳滤波器。
17.根据权利要求16所述的用于连续多帧图像去噪的方法，还包括：
由图像配准器来确定信号中的图像的配准；
由分块提取器从所述图像提取分块；
由二维变换器对所述分块提取器的输出进行变换；
将所述二维变换器的输出提供到所述第一减法器；
由空间去噪器对所述求和函数块的所述输出进行空间去噪；
由二维逆变换器及分块组合器对所述空间去噪器的输出进行变换；以及
由所述二维逆变换器及分块组合器对从所述二维逆变换器及分块组合器的输出组合分块。
18.根据权利要求13所述的用于连续多帧图像去噪的方法，还包括：
由减法器从所述帧延迟器的输出减去所述图像的所述帧；
将减法的结果提供到所述威纳滤波器；
由第一加法器将所述图像的所述帧与所述帧延迟器的所述输出相加；
由第二威纳滤波器对所述第一加法器的输出进行滤波；
由第二加法器将所述威纳滤波器的输出与所述第二威纳滤波器的输出相加；
由乘法器将所述第二加法器的输出与预定值相乘；以及
将所述乘法器的输出提供到所述帧延迟器。
19.根据权利要求18所述的用于连续多帧图像去噪的方法，还包括：
由图像配准器来确定信号中的图像的配准；
由分块提取器从所述图像提取分块；
由二维变换器对所述分块提取器的输出进行变换；
将所述二维变换器的输出提供到所述减法器；
由空间去噪器对所述第二加法器的所述输出进行空间去噪；
由二维逆变换器及分块组合器对所述空间去噪器的输出进行变换；以及
由所述二维逆变换器及分块组合器对从所述二维逆变换器及分块组合器的输出组合分块。
20.一种用于连续多帧图像去噪的方法，包括：
由第一减法器从图像的帧减去参考值；
由绝对值函数块来确定所述第一减法器的输出的绝对值；
由第二减法器从所述绝对值函数块的输出减去第一预定值；以及
由最大值除法器函数块来确定所述第二减法器的输出的最大值除法器。
21.根据权利要求20所述的用于连续多帧图像去噪的方法，还包括：
由第二减法器从所述图像的所述帧减去第二预定值；
由第一乘法器将所述第二减法器的输出乘以所述最大值除法器函数块的输出；
由第一求和函数块对所述第一乘法器的输出与所述图像的所述帧进行求和；
由第二乘法器将所述第一求和函数块的输出乘以第三预定值；
由除法器将所述第二乘法器的输出与第二输入相除；
由第一加法器对所述除法器的输出与第二预定值相加；
由第二求和函数块对所述最大值除法器函数块的输出与所述图像的所述帧进行求和；
由第三乘法器将所述第二求和函数块的输出与所述第三预定值相乘；以及
由第二加法器将所述第三乘法器的输出与第四预定值相加，其中所述第二加法器的结果是所述第二输入。
22.根据权利要求21所述的用于连续多帧图像去噪的方法，还包括：
由图像配准器来确定信号中的图像的配准；
由分块提取器从所述图像配准器的输出提取分块；
由二维变换器对所述分块提取器的输出进行变换；以及
由二维逆变换器及分块组合器对所述第二加法器的输出进行变换。
23.根据权利要求20所述的用于连续多帧图像去噪的方法，还包括：
由乘法器将所述图像的所述帧乘以所述最大值除法器函数块的输出；
由第一求和函数块对所述乘法器的输出与所述图像的所述帧进行求和；
由除法器将所述第一求和函数块的输出除以第二输入；以及
由第二求和函数块对所述最大值除法器函数块的所述输出与所述图像的所述帧进行求和，其中所述第二求和函数块的输出是所述第二输入。
24.根据权利要求23所述的用于连续多帧图像去噪的方法，还包括：
由图像配准器来确定信号中的图像的配准；
由分块提取器从所述图像配准器的输出提取分块；
由二维变换器对所述分块提取器的输出进行变换；以及
由二维逆变换器及分块组合器对所述除法器的输出进行变换。
CN201910428895.1A 2018-05-23 2019-05-22 用于连续多帧图像去噪的装置及方法 Pending CN110533598A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862675377P 2018-05-23 2018-05-23
US62/675,377 2018-05-23
US16/380,473 US11216923B2 (en) 2018-05-23 2019-04-10 Apparatus and method for successive multi-frame image denoising
US16/380,473 2019-04-10

Publications (1)

Publication Number Publication Date
CN110533598A true CN110533598A (zh) 2019-12-03

Family

ID=68614780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910428895.1A Pending CN110533598A (zh) 2018-05-23 2019-05-22 用于连续多帧图像去噪的装置及方法

Country Status (4)

Country Link
US (2) US11216923B2 (zh)
KR (1) KR102556644B1 (zh)
CN (1) CN110533598A (zh)
TW (1) TWI808177B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107205116B (zh) * 2017-06-13 2019-12-31 Oppo广东移动通信有限公司 图像选择方法、移动终端、图像选择装置及计算机可读存储介质
EP3633534A1 (en) * 2018-10-04 2020-04-08 Thales Dis France SA A connected device adapted to measure at least a physical quantity
US11941784B1 (en) * 2020-04-27 2024-03-26 Canon U.S.A., Inc. Image processing apparatus, method, and storage medium for spectrally encoded endoscopy ghost noise reducton
US20220188984A1 (en) * 2020-12-11 2022-06-16 Samsung Electronics Co., Ltd. Method and apparatus for adaptive multi-frame image fusion
US11889197B1 (en) 2022-09-09 2024-01-30 Samsung Electronics Co., Ltd. Reference frame selection for multi-frame image processing pipelines and other applications

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4783461B2 (ja) 2007-09-25 2011-09-28 富士通株式会社 画像合成装置及び方法
JP4893758B2 (ja) 2009-01-23 2012-03-07 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
JP2011166327A (ja) * 2010-02-05 2011-08-25 Sony Corp 画像処理装置および方法
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP5932485B2 (ja) 2012-05-25 2016-06-08 キヤノン株式会社 ノイズリダクション装置及びノイズリダクション方法
CN108282655B (zh) * 2012-09-26 2021-09-10 威勒斯媒体国际有限公司 图像编码和/或解码装置及方法
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US9449374B2 (en) 2014-03-17 2016-09-20 Qualcomm Incoporated System and method for multi-frame temporal de-noising using image alignment
US9998666B2 (en) 2015-08-26 2018-06-12 Duke University Systems and methods for burst image deblurring
US9762893B2 (en) 2015-12-07 2017-09-12 Google Inc. Systems and methods for multiscopic noise reduction and high-dynamic range
WO2017200395A1 (en) * 2016-05-18 2017-11-23 Auckland Uniservices Limited Image registration method

Also Published As

Publication number Publication date
KR20190133602A (ko) 2019-12-03
TW202005355A (zh) 2020-01-16
US20190362477A1 (en) 2019-11-28
KR102556644B1 (ko) 2023-07-17
TWI808177B (zh) 2023-07-11
US11216923B2 (en) 2022-01-04
US11710221B2 (en) 2023-07-25
US20220114709A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
CN110533598A (zh) 用于连续多帧图像去噪的装置及方法
CN111050269B (zh) 音频处理方法和电子设备
US9692959B2 (en) Image processing apparatus and method
US20220319077A1 (en) Image-text fusion method and apparatus, and electronic device
CN109146814A (zh) 图像处理方法、装置、存储介质及电子设备
WO2018072267A1 (zh) 用于终端拍照的方法及终端
CN110933334B (zh) 视频降噪方法、装置、终端及存储介质
CN109829864B (zh) 图像处理方法、装置、设备及存储介质
CN111179282A (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN106303156B (zh) 对视频去噪的方法、装置及移动终端
CN111866483B (zh) 颜色还原方法及装置、计算机可读介质和电子设备
CN112967730B (zh) 语音信号的处理方法、装置、电子设备及存储介质
US10853921B2 (en) Method and apparatus for image sharpening using edge-preserving filters
CN112581358A (zh) 图像处理模型的训练方法、图像处理方法及装置
CN113455013B (zh) 用于处理图像的电子设备及其图像处理方法
CN111325220B (zh) 图像生成方法、装置、设备及存储介质
CN114429495A (zh) 一种三维场景的重建方法和电子设备
CN114283195B (zh) 生成动态图像的方法、电子设备及可读存储介质
CN113379624B (zh) 图像生成方法、图像生成模型的训练方法、装置及设备
CN115330610A (zh) 图像处理方法、装置、电子设备以及存储介质
CN114465852A (zh) 信号处理方法及相关装置
CN113012064A (zh) 图像处理方法、装置、设备及存储介质
CN108881739B (zh) 图像生成方法、装置、终端及存储介质
CN112750449A (zh) 回声消除方法、装置、终端、服务器及存储介质
CN115516494A (zh) 用于生成图像的方法及其电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination