CN102077572B

CN102077572B - 用于在成像***中防止运动模糊和重影的方法及装置

Info

Publication number: CN102077572B
Application number: CN200880129944.1A
Authority: CN
Inventors: 庞萨克·拉桑; 王振珀; 申省梅; 田村健二; 物部佑亮
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2008-06-19
Filing date: 2008-06-19
Publication date: 2014-06-11
Anticipated expiration: 2028-06-19
Also published as: JP5102374B2; EP2297939B1; CN102077572A; US8547442B2; US20110058050A1; WO2009153836A1; JP2011525058A; EP2297939A1

Abstract

本发明公开了用于在成像***中防止运动模糊和重影的方法及装置。通过对来自输入图像的图像对的绝对图像差分集执行空间-时间滤波，计算残余图像。基于图像传感器的噪声统计，对各个像素计算噪声自适应像素阈值。残余图像和噪声自适应像素阈值用于创建运动掩蔽图。运动掩蔽图用于在像素融合时表示运动像素与非运动像素。执行像素融合步骤，以便通过考虑运动像素来生成输出图像，其中分别执行运动像素。即使是在各个图像之间运动模糊的程度不同的输入图像，也能够获得作为结果的、没有或者有较少运动模糊和重影的伪影的输出图像，并且复杂性较低。本发明优选地在Bayer原域中应用。优点是减少的计算量和存储量，这是因为对每个像素仅处理一个色分量。其他优点是更高的信号保真度，这是因为Bayer原域中的处理特别在沿着边缘处不受去马赛克处理伪影的影响。但是，本发明在RGB域中也能应用。

Description

用于在成像***中防止运动模糊和重影的方法及装置

技术领域

本发明涉及数字图像数据的处理，更详细而言，涉及用于成像***中的防止运动模糊(motion blur)和重影(ghost)的方法及装置。

背景技术

图像传感器中存在动态范围和灵敏度的限制。图像传感器的灵敏度取决于能够检测的光的等级(level)。在昏暗的场景，由图像传感器捕获的图像显得较暗且像噪声。这被已知作为灵敏度限制。图像传感器的动态范围受其噪声本底和饱和容量(full-well capacity)限制。多数情况下，图像传感器的动态范围低于存在于要捕获的场景中的动态范围。结果，所捕获的图像中光强度低的区域显得较暗且像噪声，另一方面，光强度高的区域显得已饱和。为了克服这些问题而使用的一个技术是：在同一场景捕获多个图像，随后将所捕获的多个图像融合为一个图像。为了降低噪声，能够以相同的曝光量(exposure)捕获多个图像，并进行融合。这等同于增加图像传感器的灵敏度。为了增加动态范围，也能够以不同的曝光量捕获多个图像，并进行融合。这被已知作为高动态范围(HDR，high dynamic range)成像。

该技术需要多个输入图像，因此，运动问题有可能由于在该场景中移动的要素而发生。其在输出图像中有可能引发模糊和重影的伪影(artifact)。这是众所周知的问题。

在HDR成像中，提出了用于解决HDR图像中的运动问题的一些技术。

参照图1A和图1B，说明根据美国专利第7142723号(专利参考文献1)的、用于生成HDR图像的***和处理的一个例子。提出了这样的方法，通过其，用于生成HDR图像的***和处理包括：最初指定参照图像；接下来，针对参照图像注册各个非参照图像；该注册过程生成各个非参照图像的流场，包含计算每像素光流场(optical flow field)；接下来，所生成的流场被用于使各个非参照图像扭曲；接下来，被扭曲的图像通过与参照图像组合而创建表示HDR图像的辐射图。通过该方法，为了解决运动问题，所输入的非参照图像在组合/融合前被扭曲。

专利参考文献1：US Patent，“System and process for generating highdynamic range images from multiple exposures of a moving scene”，US7142723，28Nov2006.(在先专利技术)

发明内容

发明所要解决的问题

根据上述“专利参考文献1”所记载的发明，通过计算光流场以估计正在该场景中移动的要素并在融合前使非参照图像扭曲，而生成输出图像。因此，出现如下的问题，即：在闭塞的区域和在图像之间的运动模糊程度差异很大的区域无法正确地生成流场，运动造成的运动模糊和重影的伪影仍然留在输出图像中。其他问题在于：一般情况下流场的计算非常复杂。

解决问题的方案

本发明是考虑到上述问题而完成的，其目的在于：即使输入图像在各个图像之间具有不同的运动模糊程度，也有效地防止场景运动造成的输出图像中的运动模糊和重影的伪影，同时复杂性较低。

为了实现上述目的，用于成像***中的防止运动模糊和重影的方法及装置包括以下步骤：从图像差分(difference)集计算残余图像，其中，所述图像差分计算来自输入图像集的图像对的绝对差；计算噪声自适应像素阈值集；使用所述残余图像和所述噪声自适应像素阈值集创建运动掩蔽图(motionmasking map)；以及融合像素，以生成输出图像。

本发明的用于在成像***中防止运动模糊和重影的方法包括以下步骤：输入包含多个拜耳原图像的输入图像集，所述输入图像集具有不同的曝光量；计算辐射区域中的图像对的绝对差，以生成图像差分集；对所述图像差分集使用空间-时间滤波，计算初始残余图像；对所述初始残余图像应用最大值滤波，计算残余图像；计算噪声自适应像素阈值集；使用所述残余图像和所述噪声自适应像素阈值集，创建用于是否将各个像素分配为“运动”的运动掩蔽图；如果所述运动掩蔽图在像素位置未分配“运动”，则融合来自所述输入图像集的像素；如果所述运动掩蔽图在所述像素位置分配了“运动”，则根据从所述多个输入图像中基于曝光量选择出的输入图像，计算辐射值；以及基于所述运动掩蔽图在所述像素位置是否分配了“运动”，选择所述用于融合所述像素的步骤或所述用于计算所述辐射值的步骤，以生成没有或者有较少运动模糊和重影的伪影的输出图像。

本发明的用于在成像***中防止运动模糊和重影的方法包括以下步骤：输入包含多个RGB(经过了去马赛克的红、绿、蓝)图像的输入图像集，所述输入图像集具有不同的曝光量；计算辐射区域中的图像对的绝对差，以生成图像差分集；对所述图像差分集使用空间-时间滤波，计算初始残余图像；对所述初始残余图像应用最大值滤波，计算残余图像；计算噪声自适应像素阈值集；使用所述残余图像和所述噪声自适应像素阈值集，创建用于是否将各个像素分配为“运动”的运动掩蔽图；如果所述运动掩蔽图在像素位置未分配“运动”，则融合来自所述输入图像集的像素；如果所述运动掩蔽图在所述像素位置分配了“运动”，则根据从所述多个输入图像中基于曝光量选择出的输入图像，计算辐射值；以及基于所述运动掩蔽图在所述像素位置是否分配了“运动”，选择所述用于融合所述像素的步骤或所述用于计算所述辐射值的步骤，以生成没有或者有较少运动模糊和重影的伪影的输出图像。

本发明的用于在成像***中防止运动模糊和重影的装置包括：用于输入包含多个拜耳原图像的输入图像集的单元，所述输入图像集具有不同的曝光量；用于计算辐射区域中的图像对的绝对差，以生成图像差分集的单元；用于对所述图像差分集使用空间-时间滤波，计算初始残余图像的单元；用于对所述初始残余图像应用最大值滤波，计算残余图像的单元；用于计算噪声自适应像素阈值集的单元；用于使用所述残余图像和所述噪声自适应像素阈值集，创建用于是否将各个像素分配为“运动”的运动掩蔽图的单元；用于如果所述运动掩蔽图在像素位置未分配“运动”，则融合来自所述输入图像集的像素的单元；用于如果所述运动掩蔽图在像素位置分配了“运动”，则根据从所述多个输入图像中基于曝光量选择出的输入图像，计算辐射值；以及用于基于所述运动掩蔽图在所述像素位置是否分配了“运动”，选择所述用于融合所述像素的单元或所述用于计算所述辐射值的单元，以生成没有或者有较少运动模糊和重影的伪影的输出图像的单元。

本发明的用于在成像***中防止运动模糊和重影的装置包括：用于输入包含多个RGB图像的输入图像集的单元，所述输入图像集具有不同的曝光量；用于计算辐射区域中的图像对的绝对差，以生成图像差分集的单元；用于对所述图像差分集使用空间-时间滤波，计算初始残余图像的单元；用于对所述初始残余图像应用最大值滤波，计算残余图像的单元；用于计算噪声自适应像素阈值集的单元；用于使用所述残余图像和所述噪声自适应像素阈值集，创建用于是否将各个像素分配为“运动”的运动掩蔽图的单元；用于如果所述运动掩蔽图在像素位置未分配“运动”，则融合来自所述输入图像集的像素的单元；用于如果所述运动掩蔽图在像素位置分配了“运动”，则根据从所述多个输入图像中基于曝光量选择出的输入图像，计算辐射值；以及用于基于所述运动掩蔽图在所述像素位置是否分配了“运动”，选择所述用于融合所述像素的单元或所述用于计算所述辐射值的单元，以生成没有或者有较少运动模糊和重影的伪影的输出图像的单元。

发明的有益效果

本发明通过考虑多个输入图像中的运动像素而融合多个输入图像，以生成输出图像。

本发明的新颖之处在于从残余图像和噪声自适应像素阈值集创建运动掩蔽图。通过对图像差分集应用空间-时间滤波，计算残余图像。使用空间-时间滤波的优点在于残余图像对于噪声具有健壮性。基于传感器噪声统计，以像素等级自适应地计算噪声自适应像素阈值。噪声自适应像素阈值的一个优点在于带来不依赖于图像内容的、对静止区域与运动区域的更好的区分。其他优点在于本发明在宽广的照度范围也有效。

运动掩蔽图用于表示多个输入图像中的运动像素与非运动像素。在融合像素时使用该图。因此，所得到的输出图像中不受到运动(模糊)像素的影响。本发明的优点是在输出图像中不具有或者具有更少的运动模糊和重影的伪影。本发明的复杂性低，而且对噪声也具有健壮性。本发明对多个图像在各个图像间具有不同的模糊程度的情况也有效。

另外，本发明优选地应用在Bayer(拜耳)原(raw)域中。在应用白平衡后并且在应用去马赛克处理前，也优选地在Bayer原域中执行色调映射。优点是：对每个像素仅处理一个色分量，因此，减少计算量和存储量。其他优点是：Bayer原域中的处理特别在沿着边缘处不受到去马赛克处理伪影的影响，因此，信号保真度更高。

附图说明

图1A是说明现有技术中用于生成HDR图像的整体处理的流程图。

图1B是说明现有技术中用于生成HDR图像的整体处理的流程图。

图2A是表示成像装置的图。

图2B是表示成像装置的图。

图3A和图3B是根据本发明的能够防止运动模糊和重影的HDR处理器的详细框图。

图4是说明根据本发明的能够防止运动模糊和重影的HDR处理器的操作的流程图。

图5是说明残余图像计算模块的操作的流程图。

图6是说明噪声自适应像素计算模块的操作的流程图。

图7是说明运动掩蔽图创建模块的操作的流程图。

图8A是说明像素融合模块的操作的流程图。

图8B是说明像素融合模块的操作的流程图。

图9是用于以多个曝光量捕获多个图像的装置的一个例子。

图10是用于以多个曝光量捕获多个图像的装置的另一个例子。

图11A是来自脉冲发生器的脉冲输出信号的一个例子。

图11B是来自脉冲发生器的脉冲输出信号的另一个例子。

图12A是表示成像装置的另一个图。

图12B是表示成像装置的另一个图。

图13A和图13B是根据本发明的能够防止运动模糊和重影的图像融合处理器的详细框图。

图14是说明根据本发明的能够防止运动模糊和重影的图像融合处理器的操作的流程图。

图15是说明图像融合处理器内的残余图像计算模块的操作的流程图。

图16是说明图像融合处理器内的噪声自适应像素计算模块的操作的流程图。

图17是说明图像融合处理器内的运动掩蔽图创建模块的操作的流程图。

图18是说明图像融合处理器内的像素融合模块的操作的流程图。

具体实施方式

参照附图详细地说明本发明的优选实施方式。

(实施方式1)

参照图2A，表示本发明的第一实施方式的成像装置(200)的框图。成像装置(200)包括：光学***(202)、图像传感器(204)、模拟-数字转换器(206)、图像处理器(220)、存储/发送装置(208)以及显示器(210)。图像处理器(220)包括：存储器装置(212)、能够防止运动模糊和重影的HDR处理器(230)、白平衡模块(214)、色调映射模块(216)以及去马赛克模块(218)。虽然未表示用户接口、麦克风、扬声器等其他组件，但这并不限定本发明的范围和精神。

光学***(202)可包括：用于控制到达图像传感器(204)的光信号的透镜、快门、光圈、变焦/聚焦机构以及棱镜等组件。图像传感器(204)将光信号转换成电信号，电信号通过模拟-数字转换器(206)转换成数字数据，并且被存储到存储器装置(212)中。能够防止运动模糊和重影的HDR处理器(230)从存储器装置(212)获取具有多个曝光量的多个原图像，并生成作为原HDR图像的输出图像。原HDR图像可通过存储/发送装置(208)被存储或发送。原HDR图像还可通过白平衡模块(214)、色调映射模块(216)以及去马赛克模块(218)被进一步处理；由此，获得适合于在低动态范围的显示器(210)上的显示或者由存储/发送装置(208)存储/发送的范围压缩的图像。存储装置的例子包括但不限于：基于闪存的存储卡、硬盘驱动器以及光驱动器。发送装置的例子包括但不限于：HDMI接口、USB接口、无线接口以及打印机直接连接接口。存储或者发送装置能选择性地具有无损压缩或有损压缩。多个原图像还可通过使用存储/发送装置(208)直接存储或者发送。然后，HDR图像可通过本发明的单独的HDR图像生成装置来生成，或者通过具有实现本发明的HDR图像生成方法的模块的、执行计算机可执行的指令的计算机来生成。

图像处理器(220)、能够防止运动模糊和重影的HDR处理器(230)以及内部的模块通常通过IC(集成电路)、ASIC(专用集成电路)或LSI(大规模集成)电路来实现。这些模块中的各个模块既可以在多个具有单一功能的LSI中，或者，也可以在一个集成的LSI中。虽然这里使用的名称是LSI，但根据集成的程度，其也可以称为IC、***LSI、超LSI、或超级LSI。另外，实现集成的方法不仅是LSI，特殊的电路或通用处理器等也能够实现集成。可以为相同的目的，使用将在制造LSI后能够编程的FPGA(Field Programmable GateArray，现场可编程门阵列)、或能够对LSI的连接或结构进行重构的可重构处理器。将来，随着制造技术的进步，最新的技术可取代LSI。通过这种技术能够进行集成。生物技术的应用是一种这样的可能性。

参照图3A，表示本发明的第一实施方式的成像装置(200)的能够防止运动模糊和重影的HDR处理器(230)的详细框图。能够防止运动模糊和重影的HDR处理器(230)包括：残余图像计算模块(300)、噪声自适应像素阈值计算模块(302)、运动掩蔽图创建模块(304)以及像素融合模块(308)。能够防止运动模糊和重影的HDR处理器(230)获取具有不同的曝光量的多个原图像。残余图像计算模块(300)从图像差分集计算残余图像。噪声自适应像素阈值计算模块(302)使用依据各个像素强度的噪声模型，基于图像传感器噪声统计，计算噪声自适应像素阈值集。运动掩蔽图创建模块(304)使用上述残余图像和上述噪声自适应像素阈值集，创建运动掩蔽图。像素融合模块(308)基于上述运动掩蔽图，融合多个原图像的像素，从而生成输出图像，即，原HDR图像。

参照图4，表示说明根据本发明的、用于生成能够防止运动模糊和重影的HDR处理器(230)的输出图像的操作的流程图。在步骤400中，通过输入包含具有不同的曝光量的多个原图像的输入图像集，开始本方法。接下来，本方法在步骤402中计算残余图像。从图像差分集计算残余图像。该图像差分集包括计算各个图像对的绝对差的图像的差。为了获得残余图像，对图像的差应用空间-时间滤波。接下来，本方法在步骤404中，基于传感器噪声统计和输入图像的强度，计算噪声自适应像素阈值集。基于输入图像的各个像素强度的噪声方差而获得该噪声自适应像素阈值集。然后，本方法在步骤406中，使用上述残余图像和上述噪声自适应像素阈值集，创建运动掩蔽图。该运动掩蔽图用于表示多个输入图像中的运动像素与非运动像素。在步骤408中，本方法基于运动掩蔽图和像素饱和等级，考虑多个输入图像的运动像素，融合来自多个输入图像的像素以生成HDR图像。在融合像素时考虑运动像素的优点在于，在最终的HDR图像中将不出现由这些运动像素引起的伪影(例如，运动模糊和重影的伪影)。最后，本方法在步骤410中输出最终的原HDR图像。在最终的原HDR图像中，没有或者有较少的运动模糊和重影的伪影。

残余图像计算模块(300)

图5是说明本成像装置(图3A所示的能够防止运动模糊和重影的HDR处理器(230))的残余图像计算模块(300)的操作和图4所示的方法的流程图。残余图像为了创建运动掩蔽图而发挥重要作用，该运动掩蔽图在融合像素时被使用，用于生成没有或者具有较少的运动模糊和重影的伪影的输出图像。通过噪声自适应像素阈值，残余图像被用以识别多个输入图像的图像中的运动像素与非运动像素。多个输入图像可以在不同的时间依序被捕获。随着场景运动，该场景中的相同对象在图像间有可能出现在不同的位置。这在输出图像中引起模糊和重影的伪影。并且，以不同的曝光量捕获多个输入图像。这使得运动对象在边缘周围具有不同的模糊程度。例如，在较短的曝光(快门速度)中模糊较少，而在较长的曝光(快门速度)中运动对象的模糊伪影较多。这难以通过采用传统方法(诸如使用图像的均值和方差、或仅使用图像之间的差)来正确地识别(或检测)运动像素。

具体地，参照图5，通过输入包含多个原图像的图像集(步骤500)，开始残余图像计算方法。接下来，在步骤502中，为了生成图像差分集，计算图像对的绝对差。在本发明的上下文中，在辐射域中计算图像的绝对差。首先，使输入图像成对。图像对的数量能够计算为

这里，n为多个输入图像的图像数量。接下来，计算各个图像对的绝对差。例如，如果输入图像包括帧0、帧1以及帧2的三个图像，则分别存在(0，1)、(1，2)以及(0，2)的三个图像对。假设I0、I1、I2为输入图像，e0、e1、e2为分别与输入图像的帧0、帧1以及帧2对应的相对曝光量。对于各个像素位置(i，j)以及对于各个图像对，能够计算绝对差如下。

[Math.1]

[Math.2]

[Math.3]

这里，D₀、D₁以及D₂分别为图像对(0，1)、图像对(1，2)以及图像对(0，2)的图像差分，将它们称为“图像差分集”。||为绝对值运算符。

理想地，捕获了相同场景的图像之间的差应该为零。实际上，由于来自图像传感器的噪声、所捕获的图像之间的照度变化、场景运动等几个因素，图像的差可能不为零。如果没有噪声和照度变化，则图像差分不为零的像素起因于该场景中的运动对象。此时，仅使用图像差分方法，就能够容易地识别或者检测运动像素。遗憾的是，所捕获的图像有可能包含噪声和照度变化中的任一者或者两者。图像差分不为零的像素有可能不完全是运动像素。

在本发明的方法中，在步骤504中，使用对图像差分集应用的空间-时间滤波，生成初始残余图像。对各个图像差分应用空间滤波。接下来，应用时间滤波。空间滤波例如可以是高斯滤波(Gaussian filter)、汉宁滤波(Hanningfilter)等任何种类的空间滤波内核，并且可以是圆形或者矩形滤波。以下表示使用空间-时间平均滤波、从三个图像差分生成初始残余图像的例子。假设Res(i，j)为在各个像素位置(i，j)的初始残余图像。Res(i，j)例如能够如下这样计算。

[Math.4]

\begin{matrix} Res (i, j) = \frac{1}{3} Σ_{m = - 1}^{1} Σ_{n = - 1}^{1} D_{0} (i + m, j + n) + \frac{1}{3} Σ_{m = - 1}^{1} Σ_{n = - 1}^{1} D_{1} (i + m, j + n) \\ + \frac{1}{3} Σ_{m = - 1}^{1} Σ_{n = - 1}^{1} D_{2} (i + m, j + n) \end{matrix} - - - (2)

式(1)和(2)能够对于输入图像集中的更多数量的图像而进行修改和扩展。输入图像集中并不只限于三个图像。空间滤波使本方法对来自图像传感器的空间噪声具有健壮性。时间滤波使本方法对暂时和不一致的噪声具有健壮性。并且，本方法即使在图像具有不同的模糊程度时也具有健壮性。为了执行空间-时间滤波，能够利用更进步的复杂技术。这也同属于本发明的范围内。

在多个输入图像包含两个图像时，能够从一个图像对计算绝对差。为了生成初始残余图像，能够应用空间滤波。可以省去时间滤波。

在步骤506中，对初始残余图像应用最大值滤波。接下来，获得最终的残余图像。该步骤的目的是防止运动区域的边缘周围的噪声和不连接性。这提高本方法的健壮性。最大值滤波可以是任何形状和任何大小。例如，如果最大值滤波为7x7像素的矩形窗口大小，则位于该窗口内的像素的输出为窗口内的像素值的最大值。对于初始残余图像中的所有像素，窗口将一个像素接一个像素地滑动到下一像素。最后，步骤508输出最终的残余图像。接下来，在运动掩蔽图的创建中，该最终的残余图像被用于使用噪声自适应像素阈值集来识别运动像素。

噪声自适应像素阈值计算模块(302)

图6是说明本成像装置(图3A所示的能够防止运动模糊和重影的HDR处理器(230))的噪声自适应像素阈值计算模块(302)的操作和图4所示的方法的流程图。在步骤600中，通过输入包含多个原图像的图像集，开始本方法。在步骤602中，对于各个强度等级，计算输入原图像的噪声方差。能够通过各种方法计算噪声方差。优选地，基于使用了噪声模型的传感器噪声统计来计算噪声方差。因此，输入原图像的噪声方差不依赖于图像内容。传感器噪声统计能被建模为

[Math.5]

σ_{s}^{2} = αI + β - - - (3)

这里，α和β分别是表示光子噪声和暗噪声的参数，并且能够从传感器校准获得。I是像素强度。一旦知道了各个强度等级的输入原图像的噪声方差，就可以在步骤604中计算噪声自适应像素阈值。这对于各个像素位置进行计算。以下表示对包含n+1个图像的多个输入图像、计算在像素位置(i，j)的噪声自适应像素阈值(NAThr)的例子。

NAThr (i, j) = k [w_{0} \frac{σ_{0}^{(i, j)}}{e_{0}} + w_{1} \frac{σ_{1}^{(i, j)}}{e_{1}} + w_{2} \frac{σ_{2}^{(i, j)}}{e_{2}} + . . . + w_{n} \frac{σ_{n}^{(i, j)}}{e_{n}}], - - - (4)

这里，是位于第n个输入图像帧的位置(i，j)处的像素的噪声标准偏差。e_n是第n个图像帧的相对曝光量。w_n是为了控制第n个图像帧的噪声的贡献而使用的权重，w_n在0～1之间可变。k是为了控制基于噪声分布的累积区域的阈值等级而使用的参数。例如，对于68％的累积区域，能够将k设定为1.0，而对于正态分布的95％的累积区域，能将k设定为2.0。

一旦计算了各个像素的噪声自适应像素阈值，方法就在步骤606中输出噪声自适应像素阈值集。在运动掩蔽图的创建中使用噪声自适应像素阈值集。以像素等级计算噪声自适应像素阈值的优点在于：对于噪声具有健壮性，以及实现更好地区分静止区域和运动区域。这不依赖于图像内容。

运动掩蔽图创建模块(304)

图7是说明本成像装置(图3A所示的能够防止运动模糊和重影的HDR处理器(230))的运动掩蔽图创建模块(304)的操作和图4所示的方法的流程图。在步骤700中，通过输入噪声自适应像素阈值集和残余图像，开始本方法。接下来，本方法在步骤702中创建参照运动掩蔽图。在步骤704中，对于各个像素位置而比较残余图像与自适应像素阈值集。在各个像素位置，如果在残余图像中的像素值大于相同位置处的噪声自适应像素阈值，则本方法在步骤706中，将参照运动掩蔽图中的相同位置的像素指定为“运动”像素。如果在残余图像中的像素值不大于相同位置处的噪声自适应像素阈值，则本方法在步骤708中，将参照运动掩蔽图中的相同位置的像素指定为“非运动”像素。在比较了残余图像中的所有像素位置并且指定了参照运动掩蔽图中的所有像素位置后，方法在步骤710中输出最终的运动掩蔽图。

在像素融合中使用该运动掩蔽图。该图表示输入图像中的运动像素与非运动像素。准确的运动掩蔽图从像素融合得到输出图像，其中没有或者有较少的运动模糊和重影的伪影。

像素融合模块(308)

图8是说明本成像装置(图3A所示的能够防止运动模糊和重影的HDR处理器(230))的像素融合模块(308)的操作和图4所示的方法的流程图。为了获得输出HDR图像，多个输入原图像被融合在一起。在运动发生时，分别执行运动像素。通过运动掩蔽图表示运动像素。因此，能获得作为结果的、没有或者有较少运动模糊和重影的伪影的输出HDR图像。

为了减少图像噪声，可以通过低通滤波来对多个输入原图像滤波。可以对所有图像滤波，或者可以对几个图像滤波。短曝光的图像可能图像噪声较高。长曝光的图像可能图像噪声较低。可以利用不同的参数而对每个图像应用低通滤波。

参照图8，在步骤800中，本方法输入具有不同曝光量的多个原图像和从运动掩蔽图创建模块(304)创建的运动掩蔽图。在步骤802中，确定多个原图像的像素饱和等级。像素饱和等级可以是图像的最大像素值，例如，对于8比特的图像为255，对于10比特的图像为1023，或者对于12比特的图像为4095。也可以根据最大像素值的百分比来计算像素饱和等级。在步骤804中，对于各个像素位置，将来自多个输入图像的位于相同像素位置的所有像素值与像素饱和等级进行比较。如果来自输入图像的位于相同像素位置的所有像素值都低于像素饱和等级，则在步骤806中，对运动掩蔽图中的相同位置处的像素检查该位置是否已经被指定为“运动”像素。如果来自输入图像的位于相同像素位置的像素值都不低于像素饱和等级，则在步骤808中，从具有最短曝光的输入图像，计算输出HDR图像中的位于相同位置的像素的辐射值。如果来自输入图像的位于相同像素位置的一个或多个像素值低于像素饱和等级，则在步骤814中，对运动掩蔽图中的相同位置处的像素检查该位置是否已经被指定为“运动”像素。

在步骤806中，如果运动掩蔽图中的相同位置处的像素被指定为“运动”像素，则在步骤812中，能够从基于其曝光量的最佳输入图像，计算输出HDR图像中的位于相同位置的像素的辐射值。最佳图像被定义为没有运动模糊且低于像素饱和等级的输入图像。例如，如果I1为最佳输入图像，则输入HDR图像中的位置(i，j)处的像素的辐射值可以如下这样计算。

Radiance (i, j) = \frac{I_{1} (i, j)}{e_{1}}, - - - (5)

这里，e₁是输入图像I₁的相对曝光量。

如果运动掩蔽图中的相同位置处的像素未被指定为“运动”像素，则在步骤810中，能够通过使用加权平均而融合来自输入图像的所有像素，计算输出HDR图像中的位于相同位置的像素的辐射值如下。

Radiance (i, j) = g_{0} \frac{I_{0} (i, j)}{e_{0}} + g_{1} \frac{I_{1} (i, j)}{e_{1}} + g_{2} \frac{I_{2} (i, j)}{e_{2}} + . . . + g_{n} \frac{I_{n} (i, j)}{e_{n}}, - - - (6)

这里，g_n是图像I_n的权重。能够通过各种方法计算权重。以下表示基于相对曝光量计算权重的例子。

g_{n} = \frac{e_{n}}{e_{0} + e_{1} + e_{2} + . . . + e_{n}} - - - (7)

可是，为了计算权重，能够使用其他技术。这仍属于本发明的范围内。

在步骤814中，如果运动掩蔽图中的相同位置处的像素被指定为“运动”像素，则在步骤818中，能够从基于其曝光量的最佳输入图像，计算输出HDR图像中的位于相同位置的像素的辐射值，例如如式(5)中那样。如果运动掩蔽图中的相同位置处的像素未被指定为“运动”像素，则在步骤816中，能够通过使用加权平均而融合来自输入图像的一个或多个像素，计算输出HDR图像中的位于相同位置的像素的辐射值，例如如式(6)那样。在对各个像素位置计算输出HDR图像的辐射值时，在步骤820中，输出该输出HDR图像。输出HDR为Bayer原格式。

在Bayer原域中执行上述的方法及装置。每个像素仅处理一个色分量。因此，这与在每像素需要三个色分量用于处理的RGB(已经经过去马赛克的红、绿、蓝)域中的处理相比，具有低复杂性和低存储量需求。并且，Bayer原域中的处理不受去马赛克处理算法的影响，因此，信号保真度较高。

但是，在RGB域中也能应用上述的方法及装置。参照图2B，表示本发明的第一实施方式的成像装置(250)的框图。成像装置(250)包括：光学***(252)、图像传感器(254)、模拟-数字转换器(256)、图像处理器(270)、存储/发送装置(258)以及显示器(260)。图像处理器(270)包括：存储器装置(262)、能够防止运动模糊和重影的HDR处理器(280)、白平衡模块(264)、色调映射模块(266)以及去马赛克模块(268)。光学***(252)可包括：用于控制到达图像传感器(254)的光信号的透镜、快门、光圈、变焦/聚焦机构以及棱镜等组件。图像传感器(254)将光信号转换成电信号，电信号通过模拟-数字转换器(256)而被转换成数字数据，并被存储到存储器装置(262)中。来自存储器装置(262)的原图像通过白平衡模块(264)和去马赛克模块(268)而被处理，得到每像素具有三个色分量(红、绿、蓝)的RGB图像。为了生成输出HDR图像，RGB图像被传递到能够防止运动模糊和重影的HDR处理器(280)。R、G以及B的色分量可分别被处理。输出HDR图像可通过存储/发送装置(258)被存储或被发送。输出HDR图像也可通过色调映射模块(266)被处理，由此，获得适合于在显示器(260)上显示、或者被存储/发送装置(258)存储/发送的范围压缩的图像。

参照图3B，表示本发明的第一实施方式的成像装置(250)的能够防止运动模糊和重影的HDR处理器(280)的详细框图。能够防止运动模糊和重影的HDR处理器(280)包括：残余图像计算模块(350)、噪声自适应像素阈值计算模块(352)、运动掩蔽图创建模块(354)以及像素融合模块(358)。能够防止运动模糊和重影的HDR处理器(280)获取具有不同曝光量的多个RGB图像。残余图像计算模块(350)从图像差分集计算残余图像。因为RGB图像的每个像素包含三个色分量，因此，能使用上述的方法及装置，对各个色分量分别计算图像差分集。为了减少复杂性，优选地仅对G(绿)色分量计算图像差分集。使用上述的用于计算残余图像的方法及装置，能够从G色分量的图像差分集计算残余图像。噪声自适应像素阈值计算模块(352)基于使用了依据各个像素强度的噪声模型的图像传感器噪声统计，计算噪声自适应像素阈值集。将仅使用G色分量的强度。运动掩蔽图创建模块(354)使用上述的方法及装置，使用残余图像和噪声自适应像素阈值集创建运动掩蔽图。像素融合模块(358)基于运动掩蔽图，融合多个RGB图像的像素，来生成输出HDR图像。分别执行R、G以及B。能够使用上述的用于像素融合的方法及装置。

以上已经详细说明了成像***中的方法及装置，将讨论以多个曝光量捕获多个图像的手段的例子。

具有多个曝光量的多个输入图像能够通过各种手段来实现。参照图9，表示一个例子。其包括：透镜***(902)、棱镜(904)、以及三个Bayer传感器(906、908以及910)。进入透镜***(902)的白色光通过棱镜(904)分光为三个光路。接下来，各个光路被对应的Bayer传感器(906、908以及910)捕获。通过改变棱镜的分光特性以使光强度对于各个光路而不同，从而获得多个曝光量。或者，可以通过改变快门速度、灵敏度等传感器的设定，获得多个曝光量。也可以使用棱镜分光和传感器设定的组合。使用3光路的分光棱镜只是举例。也可以使用2光路、4光路、5光路等的分光棱镜和传感器。

参照图10，表示以多个曝光量捕获多个图像的另一个例子。该例子包括透镜***(1022)和高速捕获模块(1004)，其中，高速捕获模块(1004)可包括高速图像传感器(1006)、快门控制器(1008)以及这里未图示的其他模块。进入透镜***的白色光被高速图像传感器(1006)以与来自快门控制器(1008)的快门信号(1007)对应的、每秒180帧的帧速率依序捕获，以获得多个Bayer原图像(1012)。通过使用脉冲发生器(1010)控制快门信号(1007)，获得多个曝光量。参照图11A和图11B，表示来自脉冲发生器的脉冲输出信号的两个例子。由脉冲的宽度控制曝光时间的持续时间。较短宽度导致较短的曝光(S)，中等宽度导致中等的曝光量(M)，而较长宽度导致较长的曝光(L)。在该例子中，重复该图案、或者S、M以及L的脉冲宽度。多个图像的各个集将从而包含三个曝光量。用于生成快门信号的脉冲发生器的使用只是举例。但是，快门信号也可以通过能够生成例如触发信号等其他信号的其他手段来生成。这里所述的高速捕获模块可以是能够以较高帧速率捕获图像的任何部件，而并不只限于每秒180帧的帧速率。其也可以是更低或者更高的帧速率。

(实施方式2)

根据第一实施方式，已经详细地说明了需要具有不同的曝光量的多个输入图像的成像***中的方法及装置。在本实施方式中，将说明需要具有相同的曝光量的多个输入图像的成像***中的方法及装置。

参照图12A，表示本发明的第二实施方式的成像装置(1200)的框图。成像装置(1200)包括：光学***(1202)、图像传感器(1204)、模拟-数字转换器(1206)、图像处理器(1220)、存储/发送装置(1208)以及显示器(1210)。图像处理器(1220)包括：存储器装置(1212)、能够防止运动模糊和重影的图像融合处理器(1230)、白平衡模块(1214)、色调映射模块(1216)以及去马赛克模块(1218)。虽然未表示用户接口、麦克风、扬声器等其他组件，但这并不限定本发明的范围和精神。

光学***(1202)可包括：用于控制到达图像传感器(1204)的光信号的透镜、快门、光圈、变焦/聚焦机构以及棱镜等组件。图像传感器(1204)将光信号转换成电信号，电信号通过模拟-数字转换器(1206)被转换成数字数据，并且被存储到存储器装置(1212)中。能够防止运动模糊和重影的图像融合处理器(1230)从存储器装置(1212)获取具有相同的曝光量的多个原图像，并生成输出图像。输出图像可通过存储/发送装置(1208)被存储或发送。输出图像还可通过白平衡模块(1214)、色调映射模块(1216)以及去马赛克模块(1218)被进一步处理。由此，获得适合于在显示器(1210)上显示或者由存储/发送装置(1208)存储/发送的范围。多个原图像还可通过使用存储/发送装置(1208)直接被存储或者发送。

参照图13A，表示本发明的第二实施方式的成像装置(1200)的能够防止运动模糊和重影的图像融合处理器(1230)的详细框图。图像融合处理器(1230)包括：残余图像计算模块(1300)、噪声自适应像素阈值计算模块(1302)、运动掩蔽图创建模块(1304)以及像素融合模块(1308)。能够防止运动模糊和重影的图像融合处理器(1230)获取具有相同的曝光量的多个原图像。残余图像计算模块(1300)从图像差分集计算残余图像。噪声自适应像素阈值计算模块(1302)基于使用了依据各个像素强度的噪声模型的图像传感器噪声统计，计算噪声自适应像素阈值集。运动掩蔽图创建模块(1304)使用残余图像和噪声自适应像素阈值集创建运动掩蔽图。像素融合模块(1308)基于运动掩蔽图，融合多个原图像的像素，从而生成输出图像。

参照图14，表示说明根据本发明的能够防止运动模糊和重影的图像融合处理器(1230)生成输出图像的操作的流程图。在步骤1400中，通过输入包含具有相同的曝光量的多个原图像的输入图像集，开始本方法。接下来，本方法在步骤1402中计算残余图像。从图像差分集计算残余图像。该图像差分集包括计算各个图像对的绝对差的图像的差分。对图像的差分应用空间-时间滤波，以获得残余图像。接下来，本方法在步骤1404中，基于传感器噪声统计和输入图像的强度，计算噪声自适应像素阈值集。基于输入图像的各个像素强度的噪声方差而获得该噪声自适应像素阈值集。然后，本方法在步骤1406中，使用残余图像和噪声自适应像素阈值集，创建运动掩蔽图。该运动掩蔽图用于表示多个输入图像中的运动像素与非运动像素。在步骤1408中，本方法基于运动掩蔽图和像素饱和等级，考虑多个输入图像的运动像素，融合来自多个输入图像的像素，以生成输出图像。在融合像素时考虑运动像素的优点在于，在输出图像中将不出现由这些运动像素引起的伪影(例如，运动模糊和重影的伪影)。最后，本方法在步骤1410中输出该输出图像。输出图像没有或者有较少的运动模糊和重影的伪影。

残余图像计算模块(1300)

图15是说明本成像装置(图13A所示的能够防止运动模糊和重影的图像融合处理器(1230))的残余图像计算模块(1300)和图14所示的方法的操作的流程图。为了生成没有或者有较少运动模糊和重影的伪影的输出图像，残余图像为了生成在融合像素时使用的运动掩蔽图而发挥重要作用。残余图像被用于利用噪声自适应像素阈值识别多个输入图像的图像中的运动像素与非运动像素。多个输入图像可以在不同的时间依序被捕获。随着场景的运动，即使以相同的曝光量捕获图像，该场景中的相同对象也可能在图像之间出现在不同的位置。这在输出图像中引起模糊和重影的伪影。

具体地，参照图15，通过输入包含多个原图像的图像集(步骤1500)，开始残余图像计算方法。接下来，在步骤502中，为了生成图像差分集，计算图像对的绝对差。首先，使输入图像成对。图像对的数量能够被计算为

这里，n为多个输入图像中的图像数量。接下来，计算各个图像对的绝对差。例如，如果输入图像包括帧0、帧1以及帧2的三个图像，则分别存在(0，1)、(1，2)以及(0，2)的三个图像对。假设I0、I1、I2为输入图像。对于各个像素位置(i，j)以及各个图像对的绝对差能够被计算如下。

D₀(i，j)＝|I₀(i，j)-I₁(i，j)|，

D₁(i，j)＝|I₁(i，j)-I₂(i，j)|，

D₂(i，j)＝|I₀(i，j)-I₂(i，j)|，

(8)

在本发明的方法中，在步骤1504中，使用对图像差分集应用的空间-时间滤波，生成初始残余图像。对各个图像差分应用空间滤波。接下来，应用时间滤波。空间滤波可以是例如高斯滤波、汉宁滤波等任何种类的空间滤波内核，并且可以是圆形或者矩形滤波。以下表示使用空间-时间平均滤波从三个图像差分生成初始残余图像的例子。假设Res(i，j)为在各个像素位置(i，j)的初始残余图像。Res(i，j)例如能够被计算为

\begin{matrix} Res (i, j) = \frac{1}{3} Σ_{m = - 1}^{1} Σ_{n = - 1}^{1} D_{0} (i + m, j + n) + \frac{1}{3} Σ_{m = - 1}^{1} Σ_{n = - 1}^{1} D_{1} (i + m, j + n) \\ + \frac{1}{3} Σ_{m = - 1}^{1} Σ_{n = - 1}^{1} D_{2} (i + m, j + n) \end{matrix} - - - (9)

式(8)和(9)能够对于输入图像集中的更多数量的图像而被修改和扩展。输入图像集中并不只限于三个图像。

一般而言，为了避免运动模糊，多以较短的曝光和较高的照相机增益来捕获输入图像。输入图像可能是多噪声的。本发明对图像差分集应用空间-时间滤波。空间滤波使本方法对来自图像传感器的空间噪声具有健壮性。时间滤波使本方法对暂时和不一致的噪声具有健壮性。

在步骤1506中，对初始残余图像应用最大值滤波。接下来，获得最终的残余图像。该步骤的目的是防止运动区域的边缘周围的噪声和不连接性。这提高本发明的健壮性。最大值滤波可以是任何形状和任何大小。例如，如果最大值滤波为7x7像素的矩形窗口大小，则位于该窗口内的像素的输出为该窗口内的像素值的最大值。对于初始残余图像中的所有像素，窗口将一个像素接一个像素地滑动到下一像素。最后，步骤1508输出最终的残余图像。接下来，在运动掩蔽图的创建中，该最终的残余图像被用于使用噪声自适应像素阈值集来识别运动像素。

噪声自适应像素阈值计算模块(1302)

图16是说明本成像装置(图13A所示的能够防止运动模糊和重影的图像融合处理器(1230))的噪声自适应像素阈值计算模块(1302)和图14所示的方法的操作的流程图。在步骤1600中，通过输入包含多个原图像的图像集，开始本方法。在步骤1602中，对于各个强度等级而计算输入原图像的噪声方差。能够通过各种方法计算噪声方差。优选地，基于使用了噪声模型的传感器噪声统计来计算噪声方差。因此，输入原图像的噪声方差不依赖于图像内容。传感器噪声统计能被建模为

σ_{s}^{2} = αI + β - - - (10)

这里，α和β分别是表示光子噪声和暗噪声的参数，并且能够从传感器校准获得。I是像素强度。一旦知道了各个强度等级的输入原图像的噪声方差，在步骤1604中，就能够计算噪声自适应像素阈值。这对于各个像素位置而进行计算。以下表示对包含n+1个图像的多个输入图像、计算在像素位置(i，j)的噪声自适应像素阈值(NAThr)的例子。

NAThr (i, j) = k [w_{0} σ_{0}^{(i, j)} + w_{1} σ_{1}^{(i, j)} + w_{2} σ_{2}^{(i, j)} + . . . + w_{n} σ_{n}^{(i, j)}], - - - (11)

这里，

是位于第n个输入图像帧的位置(i，j)处的像素的噪声标准偏差。w_n是为了控制第n个图像帧的噪声的贡献而使用的权重，w_n在0～1之间可变。k是为了控制基于噪声分布的累积区域的阈值等级而使用的参数。

一旦计算各个像素的噪声自适应像素阈值，方法就在步骤1606中输出噪声自适应像素阈值集。在运动掩蔽图的创建中使用噪声自适应像素阈值集。

运动掩蔽图创建模块(1304)

图17是说明本成像装置(图13A所示的能够防止运动模糊和重影的图像融合处理器(1230))的运动掩蔽图创建模块(1304)和图14所示的方法的操作的流程图。通过输入噪声自适应像素阈值集和残余图像(步骤1700)，开始本方法。接下来，本方法在步骤1702中创建参照运动掩蔽图。在步骤1704中，对于各个像素位置而比较残余图像与自适应像素阈值集。在各个像素位置，如果残余图像中的该像素值大于相同位置处的噪声自适应像素阈值，则本方法在步骤1706中，将参照运动掩蔽图中的相同位置处的像素指定为“运动”像素。如果残余图像中的该像素值不大于相同位置处的噪声自适应像素阈值，则本方法在步骤1708中，将参照运动掩蔽图中的相同位置处的像素指定为“非运动”像素。在比较了残余图像中的所有像素位置并且指定了参照运动掩蔽图中的所有像素位置后，方法在步骤1710中输出最终的运动掩蔽图。

在像素融合中使用该运动掩蔽图。该图表示在输入图像之中的运动像素与非运动像素。

像素融合模块(1308)

图18是说明本成像装置(图13A所示的能够防止运动模糊和重影的图像融合处理器(1230))的像素融合模块(1308)和图14所示的方法的操作的流程图。为了获得输出图像，多个输入原图像被融合在一起。在运动发生时，分别执行运动像素。通过运动掩蔽图表示运动像素。因此，能获得作为结果的、没有或者有较少运动模糊和重影的伪影的输出图像。

为了减少图像噪声，可以通过低通滤波来对多个输入原图像进行滤波。

参照图18，在步骤1800中，本方法输入具有相同的曝光量的多个原图像和从运动掩蔽图创建模块(1304)创建的运动掩蔽图。在步骤1802中，对于各个像素位置，对运动掩蔽图中的位于相同位置的像素检查该位置是否已经被指定为“运动”像素。如果运动掩蔽图中的相同位置处的像素被指定为“运动”像素，则在步骤1806中，将输出图像中的位于相同位置的像素值指定为来自具有较少噪声和较少闭塞区域的输入图像的像素值。

如果运动掩蔽图中的相同位置处的像素未被指定为“运动”像素，则在步骤1804中，可以通过使用加权平均而对来自输入图像的所有像素进行融合，计算输出图像中的位于相同位置的像素值如下。

Output(i，j)＝g₀I₀(i，j)+g₁I₁(i，j)+g₂I₂(i，j)+...g_nI_n(i，j)， (12)

这里，g_n是图像I_n的权重。能够通过各种方法计算权重。以下表示基于取平均的技术计算权重的例子。

g_{n} = \frac{1}{n} - - - (13)

可是，为了计算权重，能够使用其他技术。这也同属于本发明的范围内。

在对各个像素位置计算输出图像的像素值时，在步骤1808中将输出图像输出。输出图像为Bayer原格式。

在Bayer原域中执行上述的方法及装置。其也能在RGB域中应用。参照图12B，表示本发明的第二实施方式的成像装置(1250)的框图。成像装置(1250)包括：光学***(1252)、图像传感器(1254)、模拟-数字转换器(1256)、图像处理器(1270)、存储/发送装置(1258)以及显示器(1260)。图像处理器(1270)包括：存储器装置(1262)、能够防止运动模糊和重影的图像融合处理器(1280)、白平衡模块(1264)、色调映射模块(1266)以及去马赛克模块(1268)。光学***(1252)可包括：用于控制到达图像传感器(1254)的光信号的透镜、快门、光圈、变焦/聚焦机构以及棱镜等组件。图像传感器(1254)将光信号转换成电信号，电信号通过模拟-数字转换器(1256)被转换成数字数据，并且被存储到存储器装置(1262)中。来自存储器装置(1262)的原图像通过白平衡模块(1264)和去马赛克模块(1268)被处理，得到每像素具有三个色分量的RGB图像。为了生成输出图像，RGB图像被传递到能够防止运动模糊和重影的图像融合处理器(1280)。R、G以及B的色分量可分别被处理。输出图像可被存储/发送装置(1258)存储或发送。输出图像还可通过色调映射模块(1266)被处理，由此，获得适合于在显示器(1260)上显示、或者被存储/发送装置(1258)存储/发送的范围。

参照图13B，表示本发明的第二实施方式的成像装置(1250)的能够防止运动模糊和重影的图像融合处理器(1280)的详细框图。能够防止运动模糊和重影的图像融合处理器(1280)包括：残余图像计算模块(1350)、噪声自适应像素阈值计算模块(1352)、运动掩蔽图创建模块(1354)以及像素融合模块(1358)。能够防止运动模糊和重影的图像融合处理器(1280)获取具有相同的曝光量的多个RGB图像。残余图像计算模块(1350)从图像差分集计算残余图像。因为RGB图像的每个像素包含三个色分量，因此，能使用本发明的第二实施方式的上述方法及装置，对各个色分量分别计算图像差分集。为了减少复杂性，优选地仅对G(绿)色分量计算图像差分集。能够从G色分量的图像差分集计算残余图像。噪声自适应像素阈值计算模块(1352)基于使用了依据各个像素强度的噪声模型的图像传感器噪声统计，计算噪声自适应像素阈值集。将仅使用G色分量的强度。运动掩蔽图创建模块(1354)使用上述的方法及装置，使用残余图像和噪声自适应像素阈值集，创建运动掩蔽图。像素融合模块(1358)基于运动掩蔽图，融合多个RGB图像的像素，从而生成输出图像。分别执行R、G以及B。能够使用本发明的第二实施方式的上述用于像素融合的方法及装置。

Claims

1.用于在成像***中防止运动模糊和重影的方法，包括以下步骤：

输入包含多个拜耳原图像的输入图像集，所述输入图像集具有不同的曝光量；

计算辐射区域中的图像对的绝对差，以生成图像差分集；

对所述图像差分集使用空间-时间滤波，计算初始残余图像；

对所述初始残余图像应用最大值滤波，计算残余图像；

计算噪声自适应像素阈值集；

使用所述残余图像和所述噪声自适应像素阈值集，创建用于是否将各个像素分配为“运动”的运动掩蔽图；

如果所述运动掩蔽图在像素位置未分配“运动”，则融合来自所述输入图像集的像素；

如果所述运动掩蔽图在所述像素位置分配了“运动”，则根据从所述多个输入图像中基于曝光量选择出的输入图像，计算辐射值；以及

基于所述运动掩蔽图在所述像素位置是否分配了“运动”，选择所述用于融合所述像素的步骤或所述用于计算所述辐射值的步骤，以生成没有或者有较少运动模糊和重影的伪影的输出图像。

2.如权利要求1所述的用于在成像***中防止运动模糊和重影的方法，

所述计算噪声自适应像素阈值集的步骤包括以下步骤：

计算所述输入图像集的针对各个强度等级的噪声方差；以及

基于所述输入图像集的各个强度等级的所述噪声方差，计算针对各个强度等级的噪声自适应像素阈值。

3.如权利要求1所述的用于在成像***中防止运动模糊和重影的方法，

所述创建运动掩蔽图的步骤包括以下步骤：

创建参照运动掩蔽图；

将所述残余图像中的像素与对应的噪声自适应像素阈值进行比较；

如果所述残余图像中的像素大于所述对应的噪声自适应像素阈值，则将所述参照运动掩蔽图中的相同像素位置指定为“运动”像素；以及

如果所述残余图像中的像素不大于所述对应的噪声自适应像素阈值，则将所述参照运动掩蔽图中的相同像素位置指定为“非运动”像素。

4.如权利要求1所述的用于在成像***中防止运动模糊和重影的方法，

所述融合像素的步骤包括以下步骤：

确定所述输入图像集的像素饱和等级；

对所有像素位置，将来自所述输入图像集的像素值与所述像素饱和等级进行比较；

如果来自所述输入图像集的各个像素位置的像素值都不低于所述像素饱和等级，则从所述输入图像集中的具有最短曝光等级的图像计算所述输出图像的相同像素位置的辐射值；

如果来自所述输入图像集的各个像素位置的像素值都低于所述像素饱和等级，则检查所述运动掩蔽图中的位于相同位置的像素；

如果所述运动掩蔽图中的位于相同位置的所述像素不是“运动”像素，则通过对来自所述输入图像集的像素使用基于它们的曝光量的加权平均而进行融合，计算所述输出图像的相同像素位置的辐射值；

如果所述运动掩蔽图中的位于相同位置的所述像素是“运动”像素，则从所述输入图像集中的没有运动模糊的图像计算所述输出图像的相同像素位置的辐射值；

如果来自所述输入图像集的各个像素位置的像素值中的一个或多个低于所述像素饱和等级，则检查所述运动掩蔽图中的位于相同位置的所述像素；

如果所述运动掩蔽图中的位于相同位置的所述像素不是“运动”像素，则通过对来自所述输入图像集中的一个或多个图像的像素使用基于它们的曝光量的加权平均而进行融合，计算所述输出图像的相同像素位置的辐射值；以及

如果所述运动掩蔽图中的位于相同位置的所述像素是“运动”像素，则从所述输入图像集中的没有运动模糊、且低于所述像素饱和等级的图像计算所述输出图像的相同像素位置的辐射值。

5.用于在成像***中防止运动模糊和重影的方法，包括以下步骤：

输入包含多个RGB图像的输入图像集，所述输入图像集具有不同的曝光量；

计算辐射区域中的图像对的绝对差，以生成图像差分集；

对所述图像差分集使用空间-时间滤波，计算初始残余图像；

对所述初始残余图像应用最大值滤波，计算残余图像；

计算噪声自适应像素阈值集；

基于所述运动掩蔽图在所述像素位置是否分配了“运动”，选择所述用于融合所述像素的步骤或所述用于计算所述融合值的步骤，以生成没有或者有较少运动模糊和重影的伪影的输出图像。

6.如权利要求5所述的用于在成像***中防止运动模糊和重影的方法，

所述计算噪声自适应像素阈值集的步骤包括以下步骤：

计算所述输入图像集的针对各个强度等级的噪声方差；以及

7.如权利要求5所述的用于在成像***中防止运动模糊和重影的方法，

所述创建运动掩蔽图的步骤包括以下步骤：

创建参照运动掩蔽图；

8.如权利要求5所述的用于在成像***中防止运动模糊和重影的方法，

所述融合像素的步骤包括以下步骤：

确定所述输入图像集的像素饱和等级；

9.如权利要求1、2、3、4中的任一项所述的用于在成像***中防止运动模糊和重影的方法，所述多个输入拜耳原图像可以具有相同的曝光量。

10.如权利要求5、6、7、8中的任一项所述的用于在成像***中防止运动模糊和重影的方法，所述多个输入RGB图像可以具有相同的曝光量。

11.用于在成像***中防止运动模糊和重影的装置，包括：

用于输入包含多个拜耳原图像的输入图像集的单元，所述输入图像集具有不同的曝光量；

用于计算辐射区域中的图像对的绝对差，以生成图像差分集的单元；

用于对所述图像差分集使用空间-时间滤波，计算初始残余图像的单元；

用于对所述初始残余图像应用最大值滤波，计算残余图像的单元；

用于计算噪声自适应像素阈值集的单元；

用于使用所述残余图像和所述噪声自适应像素阈值集，创建用于是否将各个像素分配为“运动”的运动掩蔽图的单元；

用于如果所述运动掩蔽图在像素位置未分配“运动”，则融合来自所述输入图像集的像素的单元；

用于如果所述运动掩蔽图在像素位置分配了“运动”，则根据从所述多个输入图像中基于曝光量选择出的输入图像，计算辐射值；以及

用于基于所述运动掩蔽图在所述像素位置是否分配了“运动”，选择所述用于融合所述像素的单元或所述用于计算所述辐射值的单元，以生成没有或者有较少运动模糊和重影的伪影的输出图像的单元。

12.如权利要求11所述的用于在成像***中防止运动模糊和重影的装置，

所述用于计算噪声自适应像素阈值集的单元包括：

用于计算所述输入图像集的针对各个强度等级的噪声方差的单元；以及

用于基于所述输入图像集的针对各个强度等级的所述噪声方差，计算针对各个强度等级的噪声自适应像素阈值的单元。

13.如权利要求11所述的用于在成像***中防止运动模糊和重影的装置，

所述用于创建运动掩蔽图的单元包括：

用于创建参照运动掩蔽图的单元；

用于将所述残余图像中的像素与对应的噪声自适应像素阈值进行比较的单元；

用于如果所述残余图像中的像素大于所述对应的噪声自适应像素阈值，则将所述参照运动掩蔽图中的相同像素位置指定为“运动”像素的单元；以及

用于如果所述残余图像中的像素不大于所述对应的噪声自适应像素阈值，则将所述参照运动掩蔽图中的相同像素位置指定为“非运动”像素的单元。

14.如权利要求11所述的用于在成像***中防止运动模糊和重影的装置，

所述用于融合像素的单元包括：

用于确定所述输入图像集的像素饱和等级的单元；

用于对所有像素位置，将来自所述输入图像集的像素值与所述像素饱和等级进行比较的单元；

用于如果来自所述输入图像集的各个像素位置的像素值都不低于所述像素饱和等级，则从所述输入图像集中的具有最短曝光等级的图像计算所述输出图像的相同像素位置的辐射值的单元；

用于如果来自所述输入图像集的各个像素位置的像素值都低于所述像素饱和等级，则检查所述运动掩蔽图中的位于相同位置的像素的单元；

用于如果所述运动掩蔽图中的位于相同位置的所述像素不是“运动”像素，则通过对来自所述输入图像集的像素使用基于它们的曝光量的加权平均而进行融合，计算所述输出图像的相同像素位置的辐射值的单元；

用于如果所述运动掩蔽图中的位于相同位置的所述像素是“运动”像素，则从所述输入图像集中的没有运动模糊的图像计算所述输出图像的相同像素位置的辐射值的单元；

用于如果来自所述输入图像集的各个像素位置的像素值中的一个或多个低于所述像素饱和等级，则检查所述运动掩蔽图中的位于相同位置的所述像素的单元；

用于如果所述运动掩蔽图中的位于相同位置的所述像素不是“运动”像素，则通过对来自所述输入图像集中的一个或多个图像的像素使用基于它们的曝光量的加权平均而进行融合，计算所述输出图像的相同像素位置的辐射值的单元；以及

用于如果所述运动掩蔽图中的位于相同位置的所述像素是“运动”像素，则从所述输入图像集中的没有运动模糊、且低于所述像素饱和等级的图像计算所述输出图像的相同像素位置的辐射值的单元。

15.用于在成像***中防止运动模糊和重影的装置，包括：

用于输入包含多个RGB图像的输入图像集的单元，所述输入图像集具有不同的曝光量；

用于计算噪声自适应像素阈值集的单元；

16.如权利要求15所述的用于在成像***中防止运动模糊和重影的装置，

所述用于计算噪声自适应像素阈值集的单元包括：

用于基于所述输入图像集的各个强度等级的所述噪声方差，计算针对各个强度等级的噪声自适应像素阈值的单元。

17.如权利要求15所述的用于在成像***中防止运动模糊和重影的装置，

所述用于创建运动掩蔽图的单元包括：

用于生成参照运动掩蔽图的单元；

18.如权利要求15所述的用于在成像***中防止运动模糊和重影的装置，

所述用于融合像素的单元包括：

用于确定所述输入图像集的像素饱和等级的单元；

19.如权利要求11、12、13、14中的任一项所述的用于在成像***中防止运动模糊和重影的装置，所述多个输入拜耳原图像可以具有相同的曝光量。

20.如权利要求15、16、17、18中的任一项所述的用于在成像***中防止运动模糊和重影的装置，所述多个输入RGB图像可以具有相同的曝光量。