CN117635462A - 一种图像处理方法、装置和图像传感器 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置和图像传感器，其中方法包括：基于输入图像的未加工图，对未加工图进行低通滤波，获取输入图像的亮度图；根据亮度图中长帧的权重，获取融合时长帧和短帧的比重；以短帧为基准，逐像素计算，在长帧中搜索与短帧的相似块；若搜索到相似块，则直接替换相应短帧；若搜索不到相似块，则对相应短帧做滤波处理；最后将长帧、短帧与新短帧进行融合。本申请通过在长帧中寻找短帧相似块或者对短帧做空域去噪的方法，使得长短帧融合时的信噪比优于现有技术，获得更好的图像质量。

Description

一种图像处理方法、装置和图像传感器

技术领域

本发明涉及图像融合领域，尤指一种图像处理方法、装置和图像传感器。

背景技术

如图2所示，简单的摄像头结构包括：镜头，感光传感器(CMOS/CCD)，模数转换器，图像处理器和存储器。其中，镜头负责吸收外部光源并过滤红外光，处理之后的光线照射到感光传感器的感光层，经过芯片处理，光信号会转为模拟电信号，模拟电信号通过模数转换器后，输出数字电信号再经过图像处理器的压缩处理后，将最终结果传输到存储器中。

现有技术中，普通CMOS/CCD图像传感器不能完整呈现亮度层次差异较大的真实场景。场景中较亮的区域，由于过曝光会出现一片白亮，而场景中较暗的区域，由于欠曝光会出现一片黑暗。这类传感器，往往采用多次曝光策略，先给出一个长曝光时间的图像，称之为长帧，再给出一个短曝光时间的图像，称之为短帧。然后长短帧图像进行融合(又称合成)得到一幅高动态范围的图像。

而在融合过程中，因为算法粗糙简单，往往会出现信噪比跳变或是图像整体信噪比下降的问题，导致图像质量下降。

发明内容

本发明的目的是提供一种图像处理方法、装置和图像传感器，实现提高多帧图像融合部分信噪比的功能，进而提高图像融合后的整体质量，解决现有图像融合过程中存在信噪比跳变或是融合后图像信噪比降低太多的问题，提高图像质量。

本发明提供的技术方案如下：

一种图像处理方法，其特征在于，包括：

获取目标图像数据，目标图像包括第一图像帧和第二图像帧，其中，第一图像帧的曝光时间大于第二图像帧的曝光时间；

在第一图像帧中确定第一像素块，第一像素块与第二图像帧的第二像素块满足匹配，其中，第一像素块和第二像素块具有相同的大小；

利用第一像素块中的第一像素的数据替换第二像素块的第二像素的数据得到第三图像帧，其中，第一像素在第一像素块中的位置与第二像素在第二像素块中的像素位置相同；

将第一图像帧、第二图像帧与第三图像帧进行融合。

与现有技术相比较，融合部分的第三图像帧，具有更高的信噪比，能够呈现出更好的图像质量，同时其噪声更均匀，图像的细节纹理更好，避免了可能产生的伪纹理；同时，根据亮度的不同，将三个图像帧分别设置在最合适的位置，使图像整体的信噪比更高，图像质量更优。

在一些实施方式中，获取目标图像数据，包括：

对第一图像帧进行低通滤波，获取第一图像帧的亮度图；

利用第一图像帧的亮度图，计算获得第一图像帧与第二图像帧的权重；权重是范围为0到1之间的有理数。

进一步地，匹配的过程，包括：

以第二像素块为基准，在第一像素帧中逐行检索与所述第二像素块大小相等的新像素块，如果新像素块的匹配值大于图像处理方法的预设匹配值，则视为匹配成功，第一像素块即为新像素块，反之则匹配失败，不存在第一像素块。如果匹配失败，则对第三图像帧做滤波处理；滤波处理包括双边滤波或者非局部均值滤波。

进一步地，融合过程包括：

在权重为0的区域，使用第一图像帧；在权重为1的区域，使用第二图像帧；在其他区域，使用第三图像帧。

本发明还公开了一种图像处理装置，包括：

滤波模块，用于对未处理图像做低通滤波，获得图像的亮度图；

数据获取模块，用于获取图像的第一图像帧和第二图像帧，其中，第一图像帧的曝光时间大于第二图像帧的曝光时间；

匹配模块，用于在第一图像帧中确定第一像素块，第一像素块与第二图像帧的第二像素块满足匹配，其中，第一像素块和第二像素块具有相同的大小；将第二图像帧中的第二像素块，替换为满足匹配的第一图像帧中的第一像素块，替换后的新图像帧为第三图像帧，其中，第一像素块在第一图像帧中的位置与第二像素块在第二图像帧中的位置一致。

融合模块，用于将第一图像帧、第二图像帧与第三图像帧进行融合，获得新的多帧融合图。

在一些实施方式中，滤波模块还用于当匹配失败时，对第三图像帧做滤波处理；滤波处理包括双边滤波或者非局部均值滤波。

进一步地，数据获取模块还用于利用第一图像帧的亮度图，计算获得第一图像帧与第二图像帧的权重；权重是范围为0到1之间的有理数。

进一步地，融合模块接收来自数据获取模块计算得出的权重，并在权重为0的区域，使用第一图像帧；在权重为1的区域，使用第二图像帧；在其他区域，使用第三图像帧。

本发明还公开了一种图像传感器，该图像传感器包含上述公开的一种图像处理装置。

与现有技术相比，本发明至少具有以下有益效果：

(1)本发明的图像处理方法，选取两个不同的亮度作为阈值，在长短帧融合时在两个阈值之间产生一个新的图像帧，使融合部分的信噪比图像能够平滑过渡，不至于出现信噪比跳变的现象。

(2)融合部分新图像帧的产生办法，并不是简单地根据比重对长短帧图像进行融合，而是采用了以短帧的块为基本单元，在长帧里搜索相似的块，搜索到相似块则用来替换短帧，搜索不到则对短帧做空域去噪，得到新的短帧；这个产生办法有效解决了现有技术中图像融合时融合部分的信噪比下降严重的问题，提高了融合部分的信噪比，使图像整体质量提高。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对本方案的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明实施例的一种图像处理方法的流程图；

图2是本发明现有技术中简单摄像头的基本结构；

图3是现有技术中存在的信噪比跳变示意图；

图4是现有技术中图像融合时整体信噪比下降示意图；

图5是本发明实施例对现有技术优化图像示意图；

图6是本发明实施例的一种图像处理方法的优选流程图；

图7是本发明实施例的一种图像处理装置的结构框图。

图中：500-图像处理装置、501-滤波模块、502-数据获取模块、503-匹配模块、504-融合模块。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

需要说明的是，本文所有“未加工图”的含义，实际上是指图像在raw域的表达方式。

根据传感器成像的基本原理，主要的噪声是泊松噪声，其特性是噪声的方差等于信号的强度，而噪声的标准差是方差开根号后的结果，故对于一幅图像来说，亮度越高，其信噪比(signal noise ratio，SNR，信号的均值除以噪声的标准差)越高。

长帧图像，由于其曝光时间比较长，其信噪比高于短帧图像，而短帧图像，由于其曝光时间比较短，其信噪比低于长帧图像。

为了均衡调整短帧的亮度，现定义一个曝光比，它的值为长帧的曝光时间除以短帧的曝光时间；然后将短帧与曝光比相乘。下文所述的短帧即是与曝光比相乘之后得到的短帧。

现有技术中，如图3所示，在处理图像融合问题时，最简单粗暴的方法是直接根据一个亮度阈值做融合：当图像亮度大于某个亮度(Th)时，选择短帧，当图像亮度小于所述亮度时，选择长帧。但由于长短帧的信噪比差异较大，必然会在这个亮度的附近发生信噪比跳变(SNR drop)，即在融合部分的信噪比会突然从高值下降到低值，导致图像的局部区域出现不自然的伪纹理出现，使得后续去噪模块不能有效的工作，即在去噪的同时抹去很多纹理细节。

现有技术中一种解决信噪比跳变的方法是，如图4所示，选取两个不同的亮度阈值，图像融合后，小于低阈值的部分选取长帧，大于高阈值的部分选取短帧，而两个阈值之间的部分，则是根据长短帧所占比重的不同，做一个线性的融合。这种方法虽然解决了信噪比跳变的问题，但是简单地根据比重来做融合，会导致融合部分的信噪比大幅度降低，进而导致整个图像的质量降低，且融合部分会出现不正常的纹理。

本发明的构思在于，既要防止信噪比跳变的发生，又要解决图像融合过程中产生的信噪比下降问题。考虑到所谓的长帧与短帧都是来源于同一幅未加工图，那么两帧中就可能存在相似的部分，如果能够找到这些相似的部分并运用到融合部分，那么就能够使融合部分的图像更为平滑，且该部分信噪比能够明显高于线性融合的信噪比。即使找不到所需的相似部分，也可以对短帧部分做空域降噪，如双边滤波或是非局部均值滤波。这样做的实际效果虽不如直接替换相似块，但也能在一定程度上优化融合部分的信噪比，在融合效果上优于现有技术。

在一个实施例中，如图1所示，本申请提供的一种图像处理方法，包括：

S100，获取传入图像的第一图像帧与第二图像帧；

普通CMOS/CCD图像传感器不能完整呈现亮度层次差异较大的真实场景，它们往往采用多次曝光策略，第一图像帧是一个长曝光时间的图像，称为长帧，第二图像帧是一个短曝光时间的图像，称为短帧。所谓的长帧与短帧都来自于同一幅未加工图，只是二者的曝光时间不同而已。

S200，在第一图像帧中确定第一像素块；

本方法充分考虑长帧、短帧的共有特性以及信噪比的特性，在本步骤中根据一定匹配条件，寻找长帧与短帧图像中的相似块。匹配条件具体是指两帧图像根据算法所得的匹配度，是否满足用户所设定的阈值。两帧图像相似度越高，算法得到的匹配值也就越大；阈值的选取由用户根据实际需求确定。这种方法的好处在于，能够不仅局限于某种单一情况，而是能够具体情况具体分析，选取合适的阈值做匹配。在一些实施方式中，用户可以适当降低阈值，使图像处理方法能够找到更多的相似块，进而使融合部分的信噪比变化图像更为平滑。

S300，用第一像素块中的第一像素的数据替换第二像素块的第二像素的数据，得到第三图像帧；

用长帧里的短帧相似块替换原有的根据长短帧亮度加权所得到的融合部分，得到第三图像帧，也就是新短帧。因为长帧图像的曝光时间比较长，其信噪比高于短帧图像，所以使用长帧中的短帧相似块来替换短帧，能够有效的提升这部分的信噪比，提高图像整体的质量。

S400，融合第一图像帧、第二图像帧和第三图像帧。

由图5可知，融合过程是选取长帧作为亮度小于低阈值(Th3)的部分，选取短帧作为亮度大于高阈值(Th4)的部分，两者之间的融合部分，则是由S300得到的新短帧。由图4和图5比较，可发现使用本申请的图像处理方法之后，能够在融合部分得到优于现有技术的图像，融合部分新短帧的信噪比要高于现有技术中按照长短帧亮度加权得到的信噪比，同时新短帧也不存在原本的信噪比跳变问题。

通过本实施例得出，本发明的图像处理方法，选取两个不同的亮度作为阈值，在长短帧融合时在两个阈值之间产生一个新的图像帧，使融合部分的信噪比图像能够平滑过渡，不至于出现信噪比跳变的现象。融合部分新图像帧不是简单地根据亮度加权对长短帧图像进行融合，而是采用了以短帧的块为基本单元，在长帧里搜索相似的块，用搜索到的相似块替换短帧，得到新的短帧；这个产生办法有效解决了现有技术中图像融合时融合部分的信噪比下降严重的问题，提高了融合部分的信噪比，使图像整体质量提高。融合后的图像是一个高动态范围的图像，与现有技术相比，信噪比更优，噪声更均匀，图像的细节纹理更好，避免合成导致的伪纹理。

在另一个实施例中，如图6所示，首先对第一图像帧的未加工图(即长帧未加工图)做3*3低通滤波处理，一般选取为[1,2,1；2,4,2；1,2,1]/16这样的简单的滤波器。因为本发明创造的核心点在于融合之前对新短帧的操作，所以前置操作无需太过复杂，按通常情况处理即可。经过低通滤波器后，可以得到一幅第一图像帧亮度图(即长帧亮度图)。根据第一图像帧的亮度图，计算第一图像帧与第二图像帧的亮度权重，权重越大，短帧的比重越大，相应的，长帧的比重越小。为便于理解，接下来用伪代码举例说明本实施方式。if(luma<Th3),Weight＝0；else if(luma>Th4),Weight＝1.0；else,Weight＝(luma-Th3)/(Th4-Th3)。上式中，luma代表亮度值，Th3与Th4分别为用户设定的低阈值与高阈值，Weight代表权重。由上式可知，权重的范围是0到1之间的有理数。这里提前计算亮度权重，是为了在融合过程中确定长帧、短帧和新短帧各自的比重。

在计算权重的同时，匹配同时进行，匹配过程是以第二图像帧中的第二像素块为基准，在第一像素帧中逐行检索与所述第二像素块大小相等的新像素块，如果新像素块的匹配值大于所述图像处理方法的预设匹配值，则视为匹配成功，第一像素块即为所述新像素块，反之则匹配失败，不存在第一像素块。

具体的，以短帧为基准，逐像素计算，以该像素M x N(M，N的取值范围为大于等于3的奇数)的块为基本单元，在长帧里搜索与该块的SAD(sum of absolute differences，差的绝对值之和)最小的块，记录最小的SAD值，所述SAD值与匹配值成反比，若所述匹配值大于设定阈值，则认为搜索到了相似块，否则认为没有搜索到。阈值的设定可由用户根据实际需求自行决定，本方法对此不做限制。如果匹配成功，用长帧里该块的像素值替换掉短帧的像素值；如果匹配失败，就对短帧做双边滤波或者非局部均值滤波。优选方式为，在计算像素块的SAD时，会选取N x N的正方形块，考虑到算法复杂度，可以限定搜索窗宽度在21以内，并将N的取值定为5，这都是为了减少实际运算时的算法复杂度，增加方案的可行性。

无论是替换或是滤波之后的结果，都将作为新短帧参与到后续的融合过程中。最后融合过程中，需要用到的是数据有，第一图像帧未加工图、第二图像帧未加工图、新短帧未加工图和亮度权重。在亮度权重为0的区域，使用第一图像帧未加工图(即长帧未加工图)；在亮度权重为1的区域，使用第二图像帧未加工图(即短帧未加工图)；在其他区域，使用新短帧未加工图。融合得到的结果就是多帧融合图。

通过本实施例得出，本发明的图像处理方法，与现有技术相比，最大的不同在于增加了对新短帧的优化操作。像素块匹配过程中所用到的SAD算法，是图像立体匹配中常用的初级块匹配算法，能够达到本实施例中匹配过程的需求。为了获得高质量的图像，就需要在高动态范围内的亮度上的信噪比尽可能的高，而由于长帧曝光时间大于短帧曝光时间，所以一般来说，在亮度相同时，长帧的信噪比要高于短帧的信噪比。因此，在融合过程中，应当让长帧部分尽可能多的参与进来；但同时又要控制长帧的参与度，避免因为参与的过多而导致出现信噪比跳变，反而降低图像的质量。所以，本实施例的好处就在于，能够较现有技术让更多的长帧参与融合，但同时又是以短帧为基准做匹配，一定程度上控制了长帧的参与比例，避免了信噪比跳变的发生。此外，即使在极端情况下，匹配过程失败，并不能在长帧中找到以短帧为基准的相似块，本实施例中也有应对方案，即对新短帧部分优先单独做空域去噪，再与长帧和短帧做融合。这样做的好处在于，能够有区别性的做去噪处理，使噪声更均匀，图像细节纹理更好；而不是如现有技术一样，在整体融合完成后再做去噪处理，使得去噪之后会有不自然的伪纹理出现。综上所述，本发明在现有技术的基础上，对长帧与短帧的融合部分做优化，达到提高融合部分新短帧信噪比的效果，进而提高整个高动态范围多帧合成图的信噪比，也即提高合成后的图像质量。

基于相同的技术构思，如图7所示，本申请还公开了一种图像处理装置500，包括：滤波模块501、数据获取模块502、匹配模块503和融合模块504。

滤波模块501用于对未处理图像做低通滤波，获得图像的亮度图；

数据获取模块502用于获取图像的第一图像帧和第二图像帧，其中，第一图像帧的曝光时间大于第二图像帧的曝光时间；

匹配模块503用于在第一图像帧中确定第一像素块，第一像素块与第二图像帧的第二像素块满足匹配，第一像素块和第二像素块具有相同的大小；将第二图像帧中的第二像素块，替换为满足匹配的第一图像帧中的第一像素块，替换后的新图像帧为第三图像帧，其中，第一像素块在第一图像帧中的位置与第二像素块在第二图像帧中的位置一致。

融合模块504用于将第一图像帧、第二图像帧与第三图像帧进行融合，获得新的多帧融合图。

本发明的图像处理装置，选取两个不同的亮度作为阈值，在长短帧融合时在两个阈值之间产生一个新的图像帧，使融合部分的信噪比图像能够平滑过渡，不至于出现信噪比跳变的现象。融合部分新图像帧不是简单地根据亮度加权对长短帧图像进行融合，而是采用了以短帧的块为基本单元，在长帧里搜索相似的块，用搜索到的相似块替换短帧，得到新的短帧；这个产生办法有效解决了现有技术中图像融合时融合部分的信噪比下降严重的问题，提高了融合部分的信噪比，使图像整体质量提高。融合后的图像是一个高动态范围的图像，与现有技术相比，信噪比更优，噪声更均匀，图像的细节纹理更好，避免合成导致的伪纹理。

具体的，本申请的一种图像处理装置实施例，包括：

滤波模块501使用3*3低通滤波器，一般选取为[1,2,1；2,4,2；1,2,1]/16这样的简单的滤波器。因为本发明创造的核心点在于融合之前对新短帧的操作，所以前置操作无需太过复杂，按通常情况处理即可。

数据获取模块502获取由滤波模块501输出的第一图像帧和第二图像帧，根据其曝光时间的长短，分为长帧和短帧。数据获取模块502根据长帧的亮度图，计算亮度权重，权重越大，短帧的比重越大，相应的，长帧的比重越小。为便于理解，接下来用伪代码举例说明本实施方式。如图5所示，if(luma<Th3),Weight＝0；else if(luma>Th4),Weight＝1.0；else,Weight＝(luma-Th3)/(Th4-th3)。上式中，luma代表亮度值，Th3与Th4分别为用户设定的低阈值与高阈值，Weight代表权重。由上式可知，权重的范围是0到1之间的有理数。这里提前计算亮度权重，是为了在融合过程中确定长帧、短帧和新短帧各自的比重。

匹配模块503以短帧为基准，逐像素计算，以该像素M x N(M，N的取值范围为大于等于3的奇数)的块为基本单元，在长帧里搜索与该块的SAD最小的块，记录最小的SAD值，所述SAD值与匹配值成反比，若所述匹配值大于设定阈值，则认为搜索到了相似块，否则认为没有搜索到。阈值的设定可由用户根据实际需求自行决定，本方法对此不做限制。如果匹配成功，用长帧里该块的像素值替换掉短帧的像素值；如果匹配失败，就用滤波模块501对短帧做双边滤波或者非局部均值滤波。优选方式为，在计算像素块的SAD时，会选取N xN的正方形块，考虑到算法复杂度，可以限定搜索窗宽度在21以内，并将N的取值定为5，这都是为了减少实际运算时的算法复杂度，增加方案的可行性。无论是替换或是滤波之后的结果，都将作为新短帧传输给融合模块504。

融合模块504接收来自数据获取模块502的第一图像帧未加工图(即长帧未加工图)、第二图像帧未加工图(即短帧未加工图)和亮度权重以及来自匹配模块503的新短帧或是来自滤波模块501的新短帧。在亮度权重为0的区域，使用第一图像帧未加工图；在亮度权重为1的区域，使用第二图像帧未加工图；在其他区域，使用新短帧未加工图。融合得到的结果就是多帧融合图。

通过本实施例得出，如图7所示，本发明的图像处理装置500，与现有技术相比，最大的不同在于增加了匹配模块503对新短帧的优化操作。像素块匹配使用图像立体匹配中常用的SAD算法，满足本实施例中匹配过程的需求。为了获得高质量的图像，就需要在高动态范围内的亮度上的信噪比尽可能的高，而由于长帧曝光时间大于短帧曝光时间，所以一般来说，在亮度相同时，长帧的信噪比要高于短帧的信噪比。因此，在融合模块504中，应当让长帧部分尽可能多的参与进来；但同时又要控制长帧的参与度，避免因为参与的过多而导致出现信噪比跳变，反而降低图像的质量。所以，本实施例的好处就在于，能够较现有技术让更多的长帧参与融合，但同时又是以短帧为基准做匹配，一定程度上控制了长帧的参与比例，避免了信噪比跳变的发生。此外，即使在极端情况下，匹配模块503匹配失败，并不能在长帧中找到以短帧为基准的相似块，本实施例中也有应对方案，将新短帧部分送入滤波模块501，单独做空域去噪，再通过融合模块504与长帧和短帧做融合。这样做的好处在于，能够有区别性的做去噪处理，使噪声更均匀，图像细节纹理更好；而不是如现有技术一样，在整体融合完成后再做去噪处理，使得去噪之后会有不自然的伪纹理出现。综上所述，本装置在现有技术的基础上，对长帧与短帧的融合部分做优化，提高融合部分新短帧信噪比的效果，进而提高整个高动态范围多帧合成图的信噪比，也就是提高合成后的图像质量。

基于相同的技术构思，本申请还公开了一种图像传感器，本传感器中包含上述实施例的图像处理装置。与摄像头中普通的CMOS/CCD图像传感器相比，本发明的图像传感器，因为额外装有本发明的图像处理装置，所以能够完整呈现亮度层次差异较大的真实场景，也就是高动态范围的图像。

同时，得益于本发明的图像处理装置，本发明的图像传感器能够输出高质量的图像。与现有技术相比，输出图像不仅避免出现信噪比跳变的现象，而且图像整体信噪比也因为新的图像处理方法而提高很多，优于现有技术中仅仅根据亮度加权的方式融合图像。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取图像数据，所述图像包括第一图像帧和第二图像帧，其中，所述第一图像帧的曝光时间大于所述第二图像帧的曝光时间；

在所述第一图像帧中确定第一像素块(patch)，所述第一像素块与所述第二图像帧的第二像素块满足匹配，其中，所述第一像素块和所述第二像素块具有相同的大小；

利用所述第一像素块中的第一像素的数据替换所述第二像素块的第二像素的数据得到第三图像帧，其中，所述第一像素在第一像素块中的位置与第二像素在第二像素块中的像素位置相同；

将所述第一图像帧、所述第二图像帧与所述第三图像帧进行融合。

2.如权利要求1所述的图像处理方法，其特征在于，所述获取图像数据，包括：

对所述第一图像帧进行低通滤波，获取所述第一图像帧的亮度图；

利用所述第一图像帧的亮度图，计算获得所述第一图像帧与所述第二图像帧的权重；所述权重，其范围为0到1之间的有理数。

3.如权利要求1所述的图像处理方法，其特征在于，所述匹配，包括：

以所述第二像素块为基准，在所述第一像素帧中逐行检索与所述第二像素块大小相等的新像素块，如果所述新像素块的匹配值大于所述图像处理方法的预设匹配值，则视为匹配成功，所述第一像素块即为所述新像素块，反之则匹配失败，不存在所述第一像素块。

4.如权利要求3所述的图像处理方法，其特征在于：如果匹配失败，对所述第三图像帧做滤波处理；所述滤波处理，包括双边滤波或者非局部均值滤波。

5.如权利要求2所述的图像处理方法，其特征在于，所述融合，包括：

在所述权重为0的区域，使用所述第一图像帧；在所述权重为1的区域，使用所述第二图像帧；在其他区域，使用所述第三图像帧。

6.一种图像处理装置，其特征在于，包括：

滤波模块，用于对未处理图像做低通滤波，获得所述图像的亮度图；

数据获取模块，用于获取所述图像的第一图像帧和第二图像帧，其中，所述第一图像帧的曝光时间大于所述第二图像帧的曝光时间；

匹配模块，用于在所述第一图像帧中确定第一像素块，所述第一像素块与所述第二图像帧的第二像素块满足匹配，其中，所述第一像素块和所述第二像素块具有相同的大小；将所述第二图像帧中的第二像素块，替换为满足所述匹配的第一图像帧中的第一像素块，替换后的新图像帧为第三图像帧，其中，所述第一像素块在第一图像帧中的位置与所述第二像素块在第二图像帧中的位置一致；

融合模块，用于将所述第一图像帧、所述第二图像帧与所述第三图像帧进行融合，获得新的多帧融合图。

7.如权利要求6所述的图像处理装置，其特征在于：所述滤波模块，还用于当所述匹配失败时，对所述第三图像帧做滤波处理；所述滤波处理，包括双边滤波或者非局部均值滤波。

8.如权利要求6所述的图像处理装置，其特征在于：所述数据获取模块，还用于利用所述第一图像帧的亮度图，计算获得所述第一图像帧与所述第二图像帧的权重；所述权重，其范围为0到1之间的有理数。

9.如权利要求8所述的图像处理装置，其特征在于：所述融合模块接收来自所述数据获取模块计算得出的权重，并在所述权重为0的区域，使用所述第一图像帧；在所述权重为1的区域，使用所述第二图像帧；在其他区域，使用所述第三图像帧。

10.一种图像传感器，其特征在于，所述图像传感器包含权利要求6-9任一项所述的图像处理装置。