CN1879401A - 图像处理装置、图像处理方法、其程序以及记录媒体 - Google Patents

Abstract

本发明提供一种图像处理装置，根据多个图像生成像素密度高的静止图像，具备：抽出用于生成所述静止图像的多个图像的图像抽出装置；检测出所述抽出的多个图像间的偏移量的偏移量检测装置；将所述检测出的偏移量超过规定阈值的图像从所述抽出的多个图像中排除的排除装置；以及，将上述排除的图像以外的多个图像合成来生成1个静止图像的图像合成装置。能够在根据多个图像生成一个静止图像的时候，高效地实施图像处理。

Description

图像处理装置、图像处理方法、其程序以及记录媒体

技术领域

本发明，涉及利用多个图像来生成一个静止图像的图像处理装置、图像处理方法及计算机程序、记录媒体。

背景技术

以往，公知有将多个图像合成，来生成一幅高分辨率的图像的图像处理装置和图像处理方法。例如，公知有以下技术：从用数码摄像机拍摄的动态图像中决定一个场景，并生成分辨率比决定出的一帧图像高(高像素密度)的静止图像。该技术中，从连续的(n+1)幅帧图像中选择一幅帧图像作为基准图像，并分别计算出其他n幅帧图像(对象图像)相对于该基准图像的运动矢量，并根据各运动矢量，将(n+1)幅帧图像合成，来生成静止图像(例如，参照特开2000-244851号公报)。一般认为，这样的图像合成处理方法，与单纯对一帧图像进行分辨率转换的方法相比，能令图像画质更好且更鲜亮。

然而，这种图像处理技术中存在的问题是：图像的合成处理即使花费时间，也不一定就能够生成高分辨率的静止图像。例如，如果在生成静止图像时所使用的一帧图像本身就抖动的话，那么用它来实行图像合成处理，即使花费再多的时间也无法得到满意的静止图像。

发明内容

本发明就是要解决这样的问题，其目的在于：在从多个图像生成一个高分辨率的图像时，可以执行高效的图像处理。

为了解决上述课题的至少一部分，本发明的第1图像处理装置，采用以下的手法。即，一种根据多个图像生成像素密度高的静止图像的图像处理装置，其主旨为具备：图像抽出装置，抽出用于生成所述静止图像的多个图像；偏移量检测装置，检测出所述抽出的多个图像间的偏移量；确定装置，根据所述检测出的偏移量，从所述抽出的多个图像之中确定2个以上的图像；以及，图像合成装置，将所述确定的2个以上的图像合成，来生成1个静止图像。

此外，本发明的第1图像处理方法，是根据多个图像生成像素密度高的静止图像的图像处理方法，包括：抽出用于生成所述静止图像的多个图像；检测出所述抽出的多个图像间的偏移量；根据所述检测出的偏移量，从所述抽出的多个图像之中确定2个以上的图像；以及，将所述确定的2个以上的图像合成，来生成1个静止图像。

根据第1图像处理装置和图像处理方法(称为第1图像处理)，可以对多个图像间的偏移量进行检测，并根据其偏移量，在图像的合成处理之前，确定2个以上的图像。也就是说，根据图像间的偏移量，来确定供图像合成的2个以上的图像，能够高效地进行图像合成的处理。

上述图像处理中，可以具有对成为上述1个静止图像的合成基准的图像进行指定的结构，并相对于该指定的图像，按照事先关联的顺序，抽出多个图像。

通过该图像处理，要在合成像素密度高的静止图像中使用的多个图像，被以指定的图像为基准，按事先关联的顺序抽出。通过指定一个图像，要在合成中使用的多个图像被自动抽出。因此，无需指定所有要在合成中使用的多个图像，能够使图像的合成处理操作变得比较容易。

上述图像处理中，多个图像可为时序上连续的多个图像，上述关联的顺序，可为从上述指定的图像起连续的时序顺序。多个图像的抽出，可以考虑以下各种方式，即，以指定的图像为中心、按时序在前后方向上交替的顺序，或按时序、隔一选一的顺序等，通过从指定的图像起按照时序上连续的顺序抽出图像，可以使图像的抽出处理简化。

上述图像处理中，也可以在生成1个静止图像之前，显示用于合成上述图像的图像个数。根据该图像处理，用户可以较容易地认识到用于图像合成处理的图像个数。另外，可与该图像个数一起，或者代替该图像个数，显示合成中不使用的图像的个数。

在上述图像处理中，可以在确定的2个以上的图像没有达到规定个数的情况下，显示警告。此外，可以在确定的2个以上的图像个数没有达到规定个数的情况下，选择是否执行上述图像的合成。

通过该图像处理，可以事先向用户发出警告，告知图像合成处理中使用的图像个数未达到规定个数，不能期望所生成的一个静止图像会被有效地鲜亮化。此外，在没有达到规定个数的状态下，可以让用户选择是否执行合成处理。

上述图像处理中，可以在确定的2个以上的图像个数没有达到规定个数的情况下，中止上述图像的合成。

通过该图像处理，如果某个图像由于超过阈值而被排除在外，结果用于合成的图像在没有达到2个以上、3个以上这种任意设定的规定个数，则中止合成处理本身。因此，在不能期待获得像素密度高的静止图像的情况下，不进行花费处理时间的合成处理，能在早期阶段就中止合成处理。例如，通过规定个数的设定，即使有一个检测出的图像间的偏移量超过事先制定的阈值的图像，也可以立即中止合成处理。

此外，在确定2个以上的图像时，可将检测出的偏移量超过规定阈值的图像从上述抽出的多个图像中排除，并将被这样排除的图像以外的图像，确定作为上述2个以上的图像。这是因为，如果对检测出的偏移量与规定阈值的大小进行判断，就可以较为容易地找出难以用于图像合成的图像。

在上述图像处理中，检测出的偏移量，可为图像间的平移方向的平移偏移量和/或旋转方向的旋转偏移量，可将该平移偏移量和/或旋转偏移量超过规定的阈值的图像排除。

上述图像处理中，规定的阈值，既可以设定为特定的值，也可以对要合成的图像的像素数作为规定比例制定。例如，可以定为纵横的像素数的几％到10％。当然，也可以设为固定值。例如，在平移偏移量的情况下，进行判断的规定阈值，可设为约±16个像素，在旋转偏移量的情况下，进行判断的规定阈值可设为约±1°。根据该图像处理，图像间的平移偏移量超过±16个像素和/或旋转偏移量超过±1°的像素，被从图像的合成对象中排除，或中止合成处理。例如，在时序上连续的图像间的平移偏移量超过该阈值的情况下，合成对象的图像本身可能含有抖动。因此，通过用该阈值进行判断，可以事先排除不太可能有助于合成的的图像后进行合成处理，或者可以中止合成处理。

用于上述图像处理的多个图像，可以是包含在动态图像中的多幅帧图像。通常，适用于合成低分辨率的多幅帧图像，来生成一个高分辨率的静止图像的情况。

用于上述图像处理的多个图像，可为具有随摄影时的摄影对象的亮度变化的曝光时间的信息的多个静止图像，可以根据曝光时间，对每个上述静止图像设定上述规定的阈值。

通过该图像处理，根据各静止图像所具有的摄影时的曝光时间的信息，对每一个静止图像设定图像间的偏移量的阈值。也就是说，根据检测出偏移量的成为对象的2个图像的摄影时间间隔与曝光时间的时间比率，来制定一个静止图像的曝光时间内的允许偏移量，并设定阈值。由此，阈值就不是一成不变的，可以适应地设定为与各静止图像相对应的阈值。

本发明，还可以作为计算机程序产品以及存储计算机程序的媒体来实现。

附图说明

图1是表示作为本发明的第1实施例的图像处理***的说明图。

图2是第1实施例的图像处理的流程图。

图3是表示2个图像的位置偏移的说明图。

图4是表示利用斜率法的平移偏移量的计算方法的说明图。

图5是示意表示像素的旋转偏移量的说明图。

图6是图像的偏移量与有助于鲜亮化的范围的关系的说明图。

图7是第2实施例的图像处理的流程图。

图8是第2实施例中的偏移量检测顺序的说明图。

图9是第3实施例的图像处理的流程图。

图10是静止图像的拍摄周期与曝光时间的关系的说明图。

具体实施方式

以下，根据实施例，按照一下大顺序对本发明的实施方式进行说明。

A.第1实施例：

  A1.图像处理装置的结构

  A2.图像处理

  A3.偏移量的检测

  A4.阈值的设定

B.第2实施例

  B1.图像处理

C.第3实施例：

  C1.图像处理装置的结构

  C2.图像处理

  C3.阈值的设定

A.第1实施例：

  A1.图像处理装置的结构：

图1是表示本发明第1实施例的图像处理***100的说明图。如图所示，该图像处理***100由以下各部分等构成：图像数据库20，提供动态图像和静止图像等的图像数据；作为图像处理装置的个人计算机30，对从图像数据库20输入的多个图像进行图像处理；用户界面40，用于让用户对图像处理的执行发出指示；以及，彩色打印机50，输出实施了图像处理的图像。

图像数据库20，具有处理数码摄像机21、数码静态相机22、DVD23、硬盘24等的图像的机器，向个人计算机30供给图像数据。另外，第1实施例的图像数据库20中保有的图像数据，是由数码摄像机21取得的动态图像数据。以下，将本实施例的图像处理中所处理的图像数据称为帧图像。该帧图像，是时序上连续配置的多幅图像，是构成动态图像的一部分。

个人计算机30，具有I/F电路35等，用于与执行图像处理的CPU31、ROM32、RAM33、装有图像处理的软件的硬盘34、图像数据库20、用户界面40和彩色打印机50等外部机器进行交换信息。安装在硬盘34上的软件的图像处理，是将输入的多幅帧图像合成，来生成一幅高分辨率的静止图像的处理。安装有该软件的个人计算机30，具有作为图像处理装置的“图像抽出装置”、“偏移量检测装置”、“排除装置”、“图像合成装置”的各个机能。另外，对该图像处理的流程，在后面详细说明。

用户界面40，包括：键盘41和鼠标器42，用户使用它们进行图像处理的执行操作；以及，显示器43，显示执行图像处理之前的帧图像和合成处理后的静止图像，等。

A2.图像处理：

图2是合成多个图像数据来生成一个静止图像的第1实施例的图像处理的流程图。在具有上述硬件结构的图像处理***100中，用户通过操作键盘41，开始个人计算机30中装入的图像处理。

图像处理开始后，个人计算机30，从图像数据库20输入作为帧图像数据的集合的动态图像数据，并在显示器43上将其再生。用户在希望作为静止图像输出的一个场景，实施再生图像的暂停操作，并对该场景(帧图像)进行指定(步骤S200)。

个人计算机30，从指定的帧图像中，按时序顺序抽出图像处理中使用的帧图像(步骤S210)。本实施例中，设从指定帧图像的操作时刻起，输入时序上连续的4幅帧图像。以下，将这4幅帧图像中用户指定的那一个(即，时序上最初的那个)称作参照帧图像F1，将其他的称作对象帧图像(F2～F4)。另外，所抽出的帧图像的数量，可以由用户任意设定。

个人计算机30，对这样指定·抽出的4幅帧图像彼此的帧图像间的偏移量进行检测(步骤S220)。这里，所谓检测的偏移量，如图3所示，是指2个图像的“位置偏移”，由表示平移方向的偏移的平移偏移量u、v、以及表示旋转方向的偏移的旋转偏移量δ这3个要素表现。个人计算机30，检测出参照帧图像F1、与3幅对象帧图像(F2～F4)的每一个之间的偏移量(u、v、δ)。另外，偏移量的检测方法将在后面叙述。

个人计算机30，判断时序上相邻的帧图像间的偏移量是否在规定的范围(阈值)内。例如，在对象帧图像F2与对象帧图像F3间的偏移量大到超过阈值的情况下，可以推定出是有意识地移动数码摄像机21的快速摇摄，对象帧图像F3本身产生抖动的可能性很高。个人计算机30实施处理，从合成的对象中，将判断的结果为可能产生抖动的对象帧图像F3排除(步骤S230)。

另外，本实施例中，对平移偏移量u、v设置下限值的阈值，对所有帧图像间的平移偏移量u、v进行判断。例如，即便是相邻的对象帧图像F2与对象帧图像F3的偏移量、对象帧图像F3与对象帧图像F4的偏移量，分别都在规定的范围内，对象帧图像F2与对象帧图像F4是同一图像，有时也无需对图像的合成使用相同的对象帧图像。也就是说，由于是几乎没有偏移的帧图像(同一图像)，所以图像的合成处理中使用其中任意一方足矣。本实施例中，对帧图像间的平移偏移量u、v设置0.1像素的阈值，当检测出的偏移量u、v为0.1像素以下时，会被从合成的对象中排除。

个人计算机30，使用未被排除而留下的对象帧图像和参照帧图像F1，来进行图像的合成处理(步骤S240)。具体讲就是，将实施过位置偏移校正的对象帧图像(例如对象帧图像F2)重叠在参照帧图像F1上，根据两者的各像素的灰度值，来决定合成图像的各像素的灰度值。合成图像的各像素的灰度值，使用的是公知的双线性法。另外，也可以使用其他公知的方法来代替双线性法，例如最相邻法或双三次法等。顺序执行使用该双线性法的合成处理，来生成一幅静止图像。

另外，本实施例中，即使根据规定的阈值将对象帧图像排除后的结果，为合成处理中使用的对象帧图像的数量减少，也要照常执行合成处理。这种情况下，虽然个人计算机30，将图像的合成中使用的数量显示在显示器43上，但也可以在执行合成处理之前，显示合成中使用的图像个数。此外，也可以再从图像数据库20中抽出时序上连续的帧图像(第5幅)作为对象帧图像，重复步骤S220起的处理，并将合成处理中使用的对象帧图像的数量总保持一定。另外，也可以抽出时序上位于参照帧图像F1前面的帧图像。

个人计算机30，将如此合成的静止图像显示在显示器43上的规定位置上，同时，结束该处理。用户根据意愿进行操作，将该静止图像输出到彩色打印机20或硬盘34等上。

在这一系列的图像处理中，事先将对象帧图像本身包含抖动的图像、几乎与参照帧图像F1相同的对象帧图像等这种，无助于合成图像的高分辨率化和鲜亮化的对象帧图像予以排除。从而，能够进行高效的图像处理。

A3.偏移量的检测

如上述的图3所示，参照帧图像F1和对象帧图像F2的位置偏移，由3个参数(u，v，δ)表示。这里，设参照帧图像F1，具有以图像中心为原点、以横向为x1轴、以纵向为y1轴的直角坐标系(x1，y1)；设对象帧图像F2，具有以图像中心为原点、以横向为x2轴、以纵向为y2轴的直角坐标系(x2，y2)。图3表示对象帧图像F2相对于参照帧图像F1，在横向上产生u的偏移、在纵向上产生v的偏移、在相对对象帧图像的中心的旋转方向上产生δ的偏移的情况。

本实施例中，使用斜率法来求取帧图像间的偏移量，该斜率法，利用帧图像间的各像素的亮度，以比一个像素还细小的单位来推定像素的位置。图4是表示利用该斜率法的平移偏移量的计算方法的说明图。图4的(a)(c)中，表示各个图像上的像素的亮度，图4的(b)(d)中，表示斜率法的原理。这里，(x1i，y1i)，表示参照帧图像F1上的一个像素的坐标，B1(x1i，y1i)，表示该像素的亮度。另外这里，设对象帧图像F2上，坐标为(x2i，y2i)的像素位于参照帧图像F1上的坐标(x1i～x1i+1，y1i～y1i+1)之间，并设其坐标为(x1i+Δx，y1i+Δy)。

如图4(b)(d)所示，设对象帧图像F2中的坐标为(x2i，y2i)的像素，位于参照帧图像F1上的坐标(x1i+Δx，y1i)，若设

Px＝B1(x1i+1，y1i)-B1(x1i，y1i)…(1)

则

Px·Δx＝B2(x2i，y2i)-B1(x1i，y1i)…(2)

成立。这时，若将B1(x1i，y1i)和B2(x2i，y2i)简写为B1、B2，来求出满足式(3)的Δx，就可以求出对象帧图像F2在x轴方向上的平移偏移量。

{Px·Δx-(B2-B1)}²＝0…(3)

实际上，对各像素计算出Δx，然后再取平均。

同样，设对象帧图像F2中的坐标为(x2i，y2i)的像素，位于参照帧图像F1上的坐标(x1i，y1i+Δy)，若设

Py＝B1(x1i，y1i+1)-B1(x1i，y1i)…(4)

则

Py·Δy＝B2(x2i，y2i)-B1(x1i，y1i)…(5)

成立。这时，若将B1(x1i，y1i)和B2(x2i，y2i)简写为B1、B2，来求出满足式(6)的Δy，就可以求出对象帧图像F2在y轴方向上的平移偏移量。

{Py·Δy-(B2-B1)}²＝0…(6)

实际上，对各像素计算出Δy，然后再取平均。

由于上述的式(3)是仅考虑x轴方向的情况，上述的式(6)是仅考虑y轴方向的情况，因此，将它们对x轴方向、y轴方向这两个方向进行扩展后，只要利用最小自乘法求出令式(7)最小的Δx、Δy即可。这样求出的Δx、Δy，就相当于平移偏移量u、v。

S2＝∑{Px·Δx+Py·Δy-(B2-B1)}²…(7)

以上，是在帧图像间只存在平移偏移量的情况下的计算，而除此之外，还要对考虑了旋转偏移量δ的偏移量计算方法进行说明。图5是示意表示像素的旋转偏移量的说明图。如图所示，若设参照帧图像F1的坐标(x1，y1)距原点0的距离为r，从x1轴起的旋转角度为θ，则通过下式求出r、θ。另外，图5中为了简化说明，说明的是以帧图像中心为原点O旋转图像的示例。

r＝(x²+y²)^1/2…(8)

θ＝tan^-1(x/y)…(9)

这里，设当以原点O为中心，将将象帧图像的坐标(x1，y1)旋转角度δ时，即与对象帧图像的坐标(x2，y2)一致。该旋转所带来的x轴方向的移动量Δx和y轴方向的移动量Δy，可以通过下式求出。另外，设旋转偏移量δ为微小量，使用近似式cosδ1、sinδδ。

Δx＝x2-x1-r·δ·sinδ＝-δ·y1…(10)

Δy＝y2-y1r·δ·cosδ＝δ·x1…(11)

因此，若将上述式(7)中的Δx、Δy，在平移偏移量u、v中加入旋转偏移量δ来表示，则如下式所示。

Δx＝u-δ·y1…(12)

Δy＝v+δ·x1…(13)

将它们代入上述式(7)中，就会得到以下的一般式。

S²＝∑{Px·(u-δ·y)+Py·(v+δ·x)-(B2-B1)}²…(14)

也就是说，通过利用最小自乘法求出使上述式(14)的S²最小的u、v、δ，就能够高精度地检测帧图像间的不到1个像素的偏移量。另外，虽然本实施例中，通过斜率法来计算偏移量，但也可以使用块匹配法(blockmatching)或反复斜率法，以及将它们组合起来的方法等进行计算。

A4.阈值的设定：

下面，说明如何对如上所述检测出的偏移量(u，v，δ)，设定有助于图像的高分辨率化、鲜亮化的范围(阈值)。图6是图像偏移量与有助于鲜亮化的范围的关系的说明图。如图所示，用平移偏移量u、v表示横轴，用旋转偏移量δ表示纵轴，用区域(a)、(b)、(c)表示有助于高分辨率化·鲜亮化的基准。这里，区域(a)表示由通常的手抖或摇摄产生的相邻帧图像间的偏移的范围，区域(b)表示快速摇摄或故意实施旋转操作时的相邻帧图像间的偏移的范围，区域(c)表示能够取得平移偏移量、旋转偏移量的范围。

在本实施例中，设区域(a)的范围满足以下条件，即：-16像素≤平移偏移量u、v≤16像素，-1°≤旋转偏移量δ≤1°。如果帧图像间的偏移量包含在区域(a)中，则判断为是有助于图像鲜亮化的对象帧图像。换言之，设定±16像素、±1°为有助于图像鲜亮化的阈值。当然，该阈值虽然可以如上所述设为固定的值，但也可以根据图像条件和合成条件等来进行设定。例如，可以作为将要合成的图像整体的纵横的像素数所对应的比例(例如，几％至十几％)来进行设定。或者也可以根据抽出图像的原始动态图像的光学倍率等进行设定。这是由于，如果倍率低一般就不易产生抖动等。另外，上述阈值可以是学习到的。可以让使用者对合成后的图像的良好与否进行判定，当判定为已满足鲜亮化的要求时提高阈值，当判定为不满足鲜亮化的要求时降低阈值，由此逐步学习到针对该使用者所使用的图像的阈值。

一般来说，在用通常的数码摄像机拍摄到的动态图像中，手抖或摇摄所造成的相邻帧图像间的偏移量，其平移偏移量为几像素，旋转偏移量为1°以下左右。因此，通过选择帧图像间的偏移量进入区域(a)中的帧图像，就可以从对象帧图像中，排除例如因快速摇摄导致帧图像本身包含抖动的这种帧图像。此外，可以从对象帧图像中，排除跨场景变化的这种帧图像。

另外，由于包含在区域(a)中的帧图像的旋转偏移量δ为±1°以下，所以，因此为由上述“偏移量的检测”过程导入的近似式cosδ1、sinδδ充分成立的范围(保证偏移量检测精度的范围)。因此，通过将包含在区域(a)中的帧图像作为对象帧图像来使用，可以排除会使偏移量检测精度降低的帧图像。

B.第2实施例

B1.图像处理

图7是将多个图像数据合成来生成一个静止图像的第2实施例的图像处理的流程图。如图所示，与图2所示的第1实施例的不同之处在于，设置了图像合成处理的中止判断步骤。所以，对与第1实施例共通的处理只作简要说明。另外，由于第2实施例的图像处理***的硬件结构与第1实施例的相同，所以在此设其符号相同，并省略说明。

如图7所示，用户通过键盘41的操作开始图像处理后，个人计算机30，从图像数据库20输入帧图像数据(步骤S400)。本实施例中，与第1实施例相同，设用户指定的帧图像为参照帧图像F1，抽出从参照帧图像F1起时序上连续的3幅帧图像来作为对象帧图像(F2～F4)(步骤S410)。

个人计算机30，检测出各帧图像间的偏移量(u，v，δ)(步骤S420)。该偏移量检测处理与第1实施例同样，检测出参照帧图像F1、与3幅对象帧图像(F2～F4)的每一幅帧图像间的偏移量(u，v，δ)。以下，如图8所示，在该帧图像间的偏移量检测处理内，将参照帧图像F1与对象帧图像F2之间的处理称作处理S1-2，将对象帧图像F2与对象帧图像F3之间的处理称作处理S2-3，将对象帧图像F3与对象帧图像F4之间的处理称作处理S3-4。

个人计算机30，判断检测出的帧图像间的偏移量内，相邻的一个帧图像间偏移量(u，v，δ)是否是在第1实施例的阈值内(步骤S430)。具体讲就是，将由处理S1-2检测出的偏移量(u，v，δ)与阈值进行比较。如果在步骤S430中，偏移量不在阈值内，就在显示器43上显示警告画面，告知即使执行图像的合成处理也无法得到鲜亮的图像等(步骤S460)。然后显示选择画面，让用户选择是否执行合成处理(步骤S465)。如果在步骤S465中，用户选择了不执行合成处理，就中止合成处理(步骤S470)，并结束这一系列的图像处理。

另一方面，如果在步骤S430中，偏移量在阈值内，或在步骤S465中，偏移量虽然不在阈值内但用户仍选择了执行合成处理的情况下，判断是否对所有其他相邻帧图像间实施过偏移量(u，v，δ)的确认(步骤S440)。如果并未对所有相邻帧图像间的偏移量实施过是否在阈值内的确认，则返回步骤S430，对下个相邻帧图像间的偏移量的检测进行判断。具体讲就是，如果由处理S1-2检测出的偏移量满足阈值的条件，就对处理S2-3的偏移量判断条件。如果由处理S2-3检测出的偏移量满足阈值的条件，就对处理S3-4的偏移量判断条件。在这个过程中，只要有一个不满足阈值的偏移量，就与上述同样，实施警告显示(步骤S460)，然后让用户选择是否执行合成处理(步骤S465)。

如果个人计算机30，在步骤S440中判断为所有的相邻帧图像间的偏移量均满足阈值的条件，则执行图像的合成处理(步骤S450)。另外，与第1实施例同样，在执行合成处理前，为了排除相同或视为相同的帧图像，对平移偏移量u、v进行判断。个人计算机30，在显示器43上显示合成后的静止图像，同时，结束这一系列的图像处理。该处理与第1实施例相同。

在第2实施例的图像处理中，在包含无助于图像合成的高分辨率化鲜亮化的图像的情况下显示警告，让用户选择是否执行图像的合成处理。可以容易地判断出用户是否希望让图像鲜亮化，并仅在希望让图像鲜亮化的情况下，选择执行花费处理时间的图像合成处理。这样，可以高效进行图像处理。此外，一般来说，在数码摄像机拍摄到的动态图像中，有助于合成图像的鲜亮化的帧图像的相邻帧图像间的偏移量不会急剧变化。在本实施例中，在检测出的相邻帧图像间的偏移量内，至少有一个不满足条件的情况下，显示警告。也就是说，可以在图像处理的早期阶段，判断是否中止图像合成。因此，能够构筑更高效的图像处理***。

另外，虽然本实施例中，在检测出所有的相邻帧图像间的偏移量之后，再对偏移量进行判断，但也可以检测出一个相邻帧图像间的偏移量后就进行判断，并只在一个相邻帧图像间满足条件的时候，检测下个相邻帧图像间的偏移量。此外，虽然本实施例中，哪怕存在一个偏移量超过阈值的图像，也会发出警告来提请中止合成处理，但也可以设定用于执行合成处理的图像个数的允许值，在不满足允许值的情况下，中止合成处理。例如，如果在抽出的4幅帧图像中，有1幅图像超过阈值，就将超过阈值的图像排除在外，用3幅图像进行合成处理；如果有2幅以上的图像超过阈值，则中止合成处理。

C.第3实施例：

C1.图像处理装置的结构：

虽然第3实施例的图像处理***的硬件结构与第1实施例相同，但图像数据库20中保有的图像数据(即，实施图像合成处理的素材)不相同。所以，设各装置的符号相同并省略说明，仅对处理的图像数据进行说明。

第3实施例中处理的图像数据，是用数码静态相机的连拍模式拍摄的多个静止图像数据。该静止图像数据是Exif形式的图像文件，是在JPEG形式的图像数据上，附加拍摄日期、曝光时间、有无闪光灯等的摄影信息的结构所组成的图像文件。该数码静态相机的连拍模式中，通过连续按动快门，可以拍摄到1/30间隔的静止图像。图像数据库20中，保有至少4个以1/30秒间隔拍摄的Exif文件。该图像文件，是具有根据摄影对象的亮度自动改变曝光时间摄影得到的图像数据的文件。另外，本实施例中，虽然处理的是1/30秒间隔的静止图像，但也可以使用例如1秒钟4张、9张这种用通常的连拍模式拍摄到的静止图像。

C2.图像处理：

图9是将多个图像数据合成来生成一个静止图像的第3实施例的图像处理的流程图。上述的硬件结构中，安装在个人计算机30中的图像处理，通过用户操作键盘41来开始。

个人计算机30，从图像数据库20中读入用连拍模式拍摄的多个静止图像文件，并显示在显示器43上。用户从所显示的静止图像中，指定所希望的一个静止图像(步骤S500)。该指定操作，通过用鼠标器42点击显示器43上的一个静止图像来进行。

个人计算机30接受到一个静止图像的指定指令后，从读入的静止图像文件中，抽出对所指定的静止图像时序上连续的3个静止图像(步骤S510)，并与第1实施例同样，实施处理来对这4幅静止图像的各图像间的偏移量进行检测(步骤S520)。另外，为了加以区别，称指定的静止图像为参照图像，称被抽出的静止图像为对象图像。

接着，个人计算机30，为了判断各图像是否能够用于图像的合成，设定偏移量的阈值(步骤S530)。第3实施例中，不像第1实施例那样具有固定的阈值，使用包含在各图像文件的摄影信息中的曝光时间，来对每个成为对象的静止图像设定阈值。另外，关于该阈值的设定，将在后面叙述。

个人计算机30，判断各图像间的偏移量是否处于根据曝光时间设定的阈值内。本实施例中，由于是用数码静态相机连续拍摄的静止图像，因此旋转偏移量δ很小，对平移偏移量u、v实施是否在阈值以内的判断。个人计算机30实施处理，将判断的结果为不满足阈值条件的对象图像，从合成的对象中排除(步骤S540)。

个人计算机30，使用未被排除而留下的对象图像和参照图像，进行图像的合成处理(步骤S550)。该处理与第1实施例相同。个人计算机30，将如此合成的静止图像显示在显示器43上，同时结束该处理。

C3.阈值的设定：

图10是用连拍模式拍摄的静止图像的拍摄周期与曝光时间的关系的说明图。图10表示在每个拍摄周期Tf中时序上连续拍摄的静止图像(F1、F2、F3…)的曝光时间Tp。本实施例中，如上所述，拍摄周期Tf是1/30秒，为固定的间隔，各静止图像中的曝光时间Tp对每个静止图像而言是变化的。

这里，求出时序上连续的静止图像F1与静止图像F2的偏移量(u、v、δ)。若用连拍模式拍摄，设旋转偏移量δ很小，则图像间的被摄物体的移动量mf，由式(15)表示。

mf＝(u²+v²)^1/2…(15)

该移动量mf，表示拍摄周期Tf的时间内的移动量。

另一方面，如果一个静止图像内的被摄物体的移动量mp，与图像间的移动量mf呈比例关系，那么在一个静止图像内的被摄物体的移动量mp，由式(16)表示。

mp＝mf×Tp/Tf…(16)

该移动量mp，表示曝光时间Tp内的移动量。

在该移动量mp超过1个像素的情况下，可以判断出可能在一个静止图像内产生了抖动。如果设该抖动的允许量为1个像素以下的规定值mpt，则图像间的移动量mf，可以由式(17)表现。

mf＝mpt×Tf/Tp…(17)

也就是说，将满足该条件式的范围，设为图像间的偏移量(u、v)的阈值。

上述式(17)中，对于曝光时间Tp较长的静止图像，图像间的偏移量的允许范围较窄；对于曝光时间Tp较短的静止图像，图像间的偏移量的允许范围较宽。因此，能对拍摄条件不同的每个静止图像，设定适当的偏移量的阈值。另外，虽然在本实施例中，拍摄周期Tf为1/30秒是固定的，但即使摄影周期变化，通过设定满足上述式(17)的阈值，也可以检测出有抖动的图像。

在本实施例中，通过使用每个静止图像的曝光时间Tp来逐个设定阈值，能够将静止图像内有可能产生抖动的静止图像适当地排除在外。因此，可以高效地进行图像处理。另外，虽然第3实施例中，与第1实施例同样，将不适当的图像排除后进行合成处理，但也可以像第2实施例那样，中止图像的合成。

此外，从本发明的第1实施例到第3实施例中，都说明的是将时序上连续的图像作为素材，但本发明并不是仅限于此。例如，也可以选择不同日、从相同角度拍摄的图像，来作为图像合成处理用的素材。另外，也可以将邻近的2台数码摄像机、数码静态相机等同时拍摄的图像，作为图像合成处理用的素材。在这种情况下，即使2台相机各自的分辨率都较低，但通过合成处理，也能输出高分辨率的静止图像。

以上，虽然说明了本发明的实施方式，但本发明并不限定于这些实施方式，当然可以在不脱离本发明主旨的范围内，以各种方式来实施。

产业上的利用可能性

本实施例中，虽然将个人计算机作为本发明的图像处理装置来进行说明，但也可以在例如打印机、数码摄像机、数码静态相机等各种机器中实施。本发明的图像处理装置和图像处理方法，既可以在计算机上单独实现，也可以通过内置于这些机器中的方式来实施。

Claims (17)

1.一种图像处理装置，根据多个图像生成像素密度高的静止图像，具备：

图像抽出装置，抽出用于生成所述静止图像的多个图像；

偏移量检测装置，检测出所述抽出的多个图像间的偏移量；

确定装置，根据所述检测出的偏移量，从所述抽出的多个图像之中确定2个以上的图像；以及，

图像合成装置，将所述确定的2个以上的图像合成，来生成1个静止图像。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述图像抽出装置，具备指定成为合成所述1个静止图像的基准的图像的指定装置，并相对于该指定的图像，按照事先关联的顺序，抽出多个图像。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述多个图像，是时序上连续的多个图像，

所述关联的顺序，是从所述指定的图像起连续的时序顺序。

4.根据权利要求1～3的任一项所述的图像处理装置，其特征在于，

具备合成个数显示装置，在生成所述1个静止图像之前，显示用于合成所述图像的图像个数。

5.根据权利要求1～4的任一项所述的图像处理装置，其特征在于，

具备警告装置，在所述确定的2个以上的图像的个数没有达到规定的个数的情况下，显示警告。

6.根据权利要求1～5的任一项所述的图像处理装置，其特征在于，

具备选择装置，在所述确定的2个以上的图像的个数没有达到规定的个数的情况下，选择是否执行所述图像的合成。

7.根据权利要求1～6的任一项所述的图像处理装置，其特征在于，

具备中止装置，在所述确定的2个以上的图像的个数没有达到规定的个数的情况下，中止所述图像的合成。

8.根据权利要求1～7的任一项所述的图像处理装置，其特征在于，

所述确定装置，具备将所述检测出的偏移量超出规定阈值的图像从所述抽出的多个图像中排除的排除装置，并将被该排除装置排除的图像以外的图像，确定为所述2个以上的图像。

9.根据权利要求8所述的图像处理装置，其特征在于，

所述检测出的偏移量，是图像间的平移方向的平移偏移量和/或旋转方向的旋转偏移量，

所述排除装置，将所述平移偏移量和/或所述旋转偏移量超过所述规定的阈值的图像排除。

10.根据权利要求9所述的图像处理装置，其特征在于，

所述规定的阈值，是相对构成所述图像的像素数定出规定的比例的像素数。

11.根据权利要求9所述的图像处理装置，其特征在于，

所述平移偏移量的规定阈值是±16个像素，所述旋转偏移量的规定阈值是±1。。

12.根据权利要求1～11的任一项所述的图像处理装置，其特征在于，

所述多个图像，是包含在动态图像中的多个帧图像。

13.根据权利要求8～11的任一项所述的图像处理装置，其特征在于，

所述多个图像，是具有曝光时间的信息的多个静止图像，该曝光时间随摄影时的摄影对象的亮度变化，

具备阈值设定装置，根据所述曝光时间，对每个所述静止图像设定所述规定的阈值。

14.一种图像处理方法，根据多个图像生成像素密度高的静止图像，包括：

抽出用于生成所述静止图像的多个图像；

检测出所述抽出的多个图像间的偏移量；

根据所述检测出的偏移量，从所述抽出的多个图像之中确定2个以上的图像；以及，

将所述确定的2个以上的图像合成，来生成1个静止图像。

15.根据权利要求14所述的图像处理方法，其特征在于，

在所述确定的2个以上的图像没有达到规定的个数的情况下，中止所述图像的合成。

16.一种图像处理装置，根据多个图像生成像素密度高的静止图像，，具备：

输出器，抽出用于生成所述静止图像的多个图像；

运算器，对所述抽出的多个图像间的偏移量，根据该图像的数据进行运算；

选择器，根据所述运算出的偏移量，从所述抽出的多个图像之中确定2个以上的图像；以及，

图像合成器，将所述确定的多个图像合成，来生成1个静止图像。

17.一种计算机程序产品，读入到计算机中，来实现根据多个图像生成像素密度高的静止图像的处理，其中，

该计算机程序产品，由程序代码、和存储该程序代码的存储媒体构成，

所述程序代码，具备：

抽出用于生成所述静止图像的多个图像的第1程序代码；

检测出所述抽出的多个图像间的偏移量的功能；

根据所述检测出的偏移量，从所述抽出的多个图像之中确定2个以上的图像的第2程序代码；以及，

将所述确定的2个以上的图像合成，来生成1个静止图像的第3程序代码。

Images