CN102047290B - 图像处理装置、图像处理方法及电子设备 - Google Patents

Abstract

一种图像处理装置，其通过计算运动矢量来在多个图像之间进行图像的对位处理，该图像处理装置在图像上设定用于求出运动矢量的多个运动矢量测定区域，针对多个运动矢量测定区域的每一个计算运动矢量。另外，在图像上确定作为用户关注的区域的关注区域，以如下方式计算各运动矢量的贡献度，所述方式是：使得包含在关注区域中的运动矢量测定区域的运动矢量的贡献度大于不包含在关注区域中的运动矢量测定区域的运动矢量的贡献度。然后，根据计算出的贡献度，将针对多个运动矢量测定区域中的每个区域计算出的运动矢量合并，由此求出图像之间的运动矢量。

Description

图像处理装置、图像处理方法及电子设备

技术领域

本发明涉及在多幅图像之间通过运动矢量计算来进行图像的对位处理的技术。 

背景技术

以往，作为检测多幅图像之间的运动矢量的方法，公知有基于相关运算的相关法和块匹配(block matching)法。块匹配法是如下这样的方法：将所输入的图像信号分割为多个适当大小的块(例如，8像素×8行)，以该块为单位来计算与上一帧的一定范围的像素之间的差，搜索该差的绝对值之和为最小的块。图像间的相对偏差表示该块的运动矢量。为了最终进行图像的对位，要合并各个块的运动矢量，计算出帧之间的代表性的运动矢量，加以利用。 

作为块匹配中的相关性高的块的搜索方法，存在这样的方法：在该方法中，求出像素值差分的平方和即误差平方和SSD(Sum of Squared intensity Difference)、像素值差分的绝对值和即误差绝对值和SAD(Sum of Absolute intensity Difference)。在该方法中，SSD、SAD越小，则判断为相关性(一致度)越高。在匹配的基准块区域I和作为对象的块区域I’中，如果将像素位置p∈I以及q∈I’(p、q是具有二维的值的量，I、I’是二维区域，p∈I表示坐标p包含在区域I中)的像素值分别设为Lp、Lq，则SSD、SAD可分别用下面的式子(1)、(2)来表示。 

$\mathrm{SSD}(I,I^{\′})=\underset{p\∈I,q\∈I^{\′}}{\mathrm{\Σ}}{(\mathrm{Lp}-\mathrm{Lq})}^2---\left(1\right)$

$\mathrm{SAD}(I,I^{\′})=\underset{p\∈I,q\∈I^{\′}}{\mathrm{\Σ}}\left|\right|\mathrm{Lp}-\mathrm{Lq}\left|\right|---\left(2\right)$

此外，还有采用归一化互相关NCC(Normalized Cross-Correlation) 的方法。关于零平均相关，计算分别包含在匹配的基准块区域I和作为对象的块区域I’中的像素p∈I以及q∈I’的平均值Ave(Lp)、Ave(Lq)，使用下面的式子(3)、(4)来计算与包含在各块中的像素值之间的差分。 

${\mathrm{Lp}}^{\′}={\frac{\mathrm{Lp}-\mathrm{Ave}\left(\mathrm{Lp}\right)}{\sqrt{\frac{1}{n}\underset{p\∈I}{\mathrm{\Σ}}{(\mathrm{Lp}-\mathrm{Ave}\left(\mathrm{Lp}\right))}^2}}|}_{p\∈I}---\left(3\right)$

${\mathrm{Lq}}^{\′}={\frac{\mathrm{Lq}-\mathrm{Ave}\left(\mathrm{Lq}\right)}{\sqrt{\frac{1}{n}\underset{q\∈I^{\′}}{\mathrm{\Σ}}{(\mathrm{Lq}-\mathrm{Ave}\left(\mathrm{Lq}\right))}^2}}|}_{q\∈I^{\′}}---\left(4\right)$

接着，使用下面的式子(5)来计算归一化互相关NCC。 

NCC＝∑Lp′Lq′                (5) 

将归一化互相关NCC大的块判断为一致度高(相关性高)的块，求出一致度最高的块I’与I之间的相对偏差量，作为运动矢量。 

在针对静止的平面或可视为无限远的被摄体计算运动矢量时，如果几乎没有光学***的畸变像差的影响，则各个区域中的运动矢量与图像整体的运动矢量一致。然而，在使用视场角大且畸变像差大的光学***获取图像的情况下，畸变量随像高而大幅地变动，因此，即使在平面或可视为无限远的被摄体平行移动的情况下，图像的运动矢量也将随像高而大幅地变化。例如，在使用具有图9所示的负的畸变像差(桶形畸变像差)的光学***来获取图像的情况下，如图10所示，在图像周边成像的像小于在图像中心成像的像。另外，所谓像高，是指距像面上的光轴的距离。 

其结果是，例如在进行多幅图像的对位的情况下，难以同时对图像的中心部与周边部进行对位。为了解决这样的问题，公知有使用校正了光学***的畸变像差后的图像来检测运动矢量的技术(JP2007-129587A)。 

这里，考虑这样的情况：对使用通常光学***的畸变像差大的内窥镜而获得的图像进行对位。对于以观察生物体内部为目的的内窥镜而言， 被摄体存在于接近光学***的位置，并且具有立体而非平面的构造。对于这样的被摄体，即使使用校正了畸变像差后的图像，也会如图11所示，随着因从光学***到被摄体的距离差异而引起的局部光学倍率的变动，运动矢量也将发生局部的变化。另外，由于被摄体的形状不是固定的，因此，同时对图像整体进行高精度的对位是非常困难的。所以，在JP2007-129587A所记载的技术中，不能可靠地对用户所关注的区域进行对位。 

发明内容

本发明的某个方式的图像处理装置通过计算运动矢量来在多个图像之间进行图像的对位处理，其为了解决上述问题而具有：运动矢量测定区域设定部，其在图像上设定用于求出运动矢量的多个运动矢量测定区域；运动矢量计算部，其针对所述多个运动矢量测定区域中的每个区域，计算运动矢量；关注区域确定部，其在图像上确定作为用户关注的区域的关注区域；位置关系判定部，其针对所述多个运动矢量测定区域中的各个区域，判定运动矢量测定区域是否包含在所述关注区域中；贡献度计算部，其以如下方式计算各运动矢量的贡献度，所述方式是：使得包含在所述关注区域中的运动矢量测定区域的运动矢量的贡献度大于不包含在所述关注区域中的运动矢量测定区域的运动矢量的贡献度；以及运动矢量合并部，其根据所述计算出的贡献度，将针对所述多个运动矢量测定区域中的每个区域计算出的运动矢量合并，由此求出图像之间的运动矢量。 

本发明的另一方式的图像处理方法通过计算运动矢量来在多个图像之间进行图像的对位处理，其为了解决上述问题而包括如下步骤：在图像上设定用于求出运动矢量的多个运动矢量测定区域；针对所述多个运动矢量测定区域中的每个区域计算运动矢量；在图像上确定作为用户关注的区域的关注区域；针对所述多个运动矢量测定区域中的各个区域，判定运动矢量测定区域是否包含在所述关注区域中；以如下方式计算各运动矢量的贡献度，所述方式是：使得包含在所述关注区域中的运动矢 量测定区域的运动矢量的贡献度大于不包含在所述关注区域中的运动矢量测定区域的运动矢量的贡献度；以及根据所述计算出的贡献度，将针对所述多个运动矢量测定区域中的每个区域计算出的运动矢量合并，由此求出图像间的运动矢量。 

附图说明

图1是示出一个实施方式的图像处理装置的结构的框图。 

图2是示出对基准帧设定的块的一个例子的图。 

图3是示出运动矢量合并处理部的详细结构的图。 

图4是示出特征量评价区域的一个例子的图。 

图5A和图5B是示出用户使用内窥镜来观察生物体时的有代表性的两个观察状况的图。 

图6A和图6B是分别示出与图5A和图5B所示的观察状况对应的图像上的亮度的图。 

图7是示出由一个实施方式中的图像处理装置进行的处理的处理顺序的流程图。 

图8是示出设定了5个特征量评价区域的例子的图。 

图9是示出具有负的畸变像差的光学***的一个例子的图。 

图10是用于说明现有技术的课题的图。 

图11是用于说明现有技术的课题的图。 

具体实施方式

图1是示出一个实施方式的图像处理装置的结构的框图。在图中，虚线表示控制信号，细线表示运动矢量和可靠度等数据的流向，粗线表示图像数据的流向。另外，本实施方式的图像处理装置安装在数码相机、数码摄像机、内窥镜等、依赖于电流或电磁场来进行正确动作的设备即电子设备中。 

主控制器102是进行装置整体的动作控制的处理器，例如采用DSP(数字信号处理器)等CPU。 

例如从未图示的摄像装置或外部装置，将不同时刻拍摄的多幅图像输入到图像输入部101。输入到图像输入部101中的多帧图像被暂时存储到帧存储器107中。在存储到帧存储器107中的多帧数据中，包括作为对位基准的基准帧数据、以及相对于基准帧进行对位的对象帧数据。 

运动矢量测定块设定部103(以下称为块设定部103)针对存储于帧存储器107中的基准帧设定规定的多个运动矢量测定块。在进行基准帧与对象帧的对位时使用该运动矢量测定块。以下将该运动矢量测定块简称为“块”。 

图2是示出针对基准帧设定的多个块20的一个例子的图。在图2所示的例子中，块20在基准帧上被设定为格子状。块20的中心坐标为运动矢量的起点。 

运动矢量计算部104使用存储于帧存储器107中的基准帧和对象帧的图像数据以及由块设定部103设定的块数据，通过对上述SSD、SAD、NCC等的一致指标值进行运算的块匹配，计算对象帧中与基准帧的块的相关性高的块的位置。该处理针是对全部的块进行的。 

对象帧中的相关性高的块的中心坐标是运动矢量的终点。因此，从基准帧中的块的中心坐标朝向对象帧中的相关性高的块的中心坐标的矢量是运动矢量。另外，例如，以将基准帧和对象帧的左下端的位置设定 为原点的方式，使作为基准的位置坐标一致。 

运动矢量可靠度计算部105计算表示由运动矢量计算部104求出的运动矢量的可信度的可靠度。可靠度可以是表示所计算的运动矢量的可信度(可靠性)的任意参数。例如，可采用以下等已知的方法来求出可靠度，即：根据块内的水平方向和垂直方向上的边缘数量来进行设定的方法；或使用SSD、SAD、NCC等的一致指标值的值自身的方法。 

特征量评价区域设定部108通过将帧存储器107中的基准帧分割为多个区域来设定多个特征量评价区域。后面将对特征量评价区域进行详细叙述。 

特征量计算部109针对由特征量评价区域设定部108设定的特征量评价区域，计算一个或多个特征量。特征量是用于确定关注区域的参数，所述关注区域是图像上受用户关注的区域，后面将对特征量进行详细叙述。 

运动矢量合并处理部106使用由特征量计算部109计算出的特征量的信息来进行多个运动矢量的数据的合并，计算基准帧与对象帧之间的运动矢量的代表值。后面将对计算运动矢量的代表值的方法进行叙述。 

帧相加部110根据存储于帧存储器107中的基准帧和对象帧的图像数据、以及由运动矢量合并处理部106计算出的校正矢量数据(图像间的运动矢量的代表值)，进行帧相加处理。 

另外，在图1所示的结构中，示出了帧相加的例子，但也可以设为进行动态图像抖动校正的结构，所述运动图像抖动校正是下述的操作：使用校正矢量来进行对象帧相对于基准帧的对位。在运动图像抖动校正中，使用校正矢量进行减小对象帧相对于基准帧的抖动的校正。 

图3是示出运动矢量合并处理部106的详细结构的图。运动矢量合并处理部106具有关注区域判断部1061、位置关系判定部1062、贡献度计算部1063以及合并运算处理部1064。另外，这里为了便于说明，以使用一种特征量的例子来进行说明。 

在基准帧中设定了m个特征量评价区域的情况下，关注区域判断部1061使用根据各个特征量评价区域计算的总共m个特征量Cj(j＝1，...，m) 来确定用户关注的区域即关注区域。 

位置关系判定部1062使用特征量评价区域的位置信息和块设定部103设定的块的位置信息，来判断各运动矢量包含在哪个特征量评价区域中。贡献度计算部1063使用由位置关系判定部1062判定的位置关系的信息来计算各运动矢量的贡献度。贡献度是表示为了计算图像间的运动矢量的代表值而将多个运动矢量合并时各运动矢量的权重的值。 

合并运算处理部1064根据由运动矢量可靠度计算部105计算出的各运动矢量的可靠度、由贡献度计算部1063计算出的各运动矢量的贡献度、以及由运动矢量计算部104计算出的各运动矢量，计算基准帧与对象帧之间的运动矢量的代表值。 

这里，对使用特征量评价区域的平均亮度作为特征量的情况进行说明。这里，为了便于说明，如图4所示，设定了两个区域作为特征量评价区域。如图4所示，将图像上距图像中心(x0，y0)的距离r为0≤r≤r0的中心区域设为特征量评价区域A1(或者简称为区域A1)、将r0＜r的周边区域设为特征量评价区域A2(或者简称为区域A2)。另外，将区域A1、A2的平均亮度分别设为L1、L2。 

图5A和图5B是示出用户使用内窥镜来观察生物体时有代表性的两个观察状况的图。图5A示出了通过内窥镜的摄像部51来观察空管状(内部为空腔的管状)的被摄体52的状况，图5B示出了观察近似于球面的一部分的被摄体53的状况。图中的虚线表示摄像部的视场角。另外，使用设置在摄像部51附近的照明部(未图示)，对与视场角大致重叠的范围进行照明。 

如图5A所示，在观察空管状的被摄体52的情况下，与位于图像的周边部的被摄体相比，位于图像的中心附近的被摄***于离摄像部51非常远的位置。离摄像部51越远，则照明部(未图示)的照明越难到达，因此，当观察图像整体时，如图6A所示，图像的周边部的区域A2的图像比中心部的区域A1更亮。 

在该情况下，用户关注的区域是空管状的被摄体52的内部的壁面，如图6A所示，该壁面在画面上位于特征量评价区域A2中。关注区域判 断部1061对区域A1的平均亮度L1与区域A2的平均亮度L2进行比较，判断为亮度大的区域A2是关注区域。然后，如后所述，增大各个块的运动矢量中包含在区域A2中的运动矢量的贡献度，计算帧之间的运动矢量的代表值，由此能够可靠地进行关注区域的对位。 

接着，如图5B所示，考虑观察近似于球面的一部分的被摄体53的情况。在该情况下，对于图像的中心部与周边部彼此而言，从摄像部51到被摄体的距离没有很大变化。在这样的状态下，因照明的光分布或光学***的渐晕的影响等，一般而言，如图6B所示，图像的中心部的区域A1的图像比周边部的区域A2更亮。 

在该情况下，用户为了用明亮且失真小的图像来观察所关注的区域，从而操作内窥镜，使得关注区域进入到位于图像中心的区域A1中。关注区域判断部1061对区域A1的平均亮度L1与区域A2的平均亮度L2进行比较，判断为亮度大的区域A1是关注区域。然后，如后所述，增大各个块的运动矢量中包含在区域A1中的运动矢量的贡献度，计算帧之间的运动矢量的代表值，由此能够可靠地进行关注区域的对位。 

位置关系判定部1062判定第i个块的中心坐标(bxi，byi)是包含在区域A1和区域A2中的哪一个区域中。这里，如果将图像的中心坐标设为(x0，y0)，则在下式(6)的关系成立的情况下，判定为包含在区域A2中，而在式(6)的关系不成立的情况下，判定为包含在区域A1中。 

$\sqrt{{(\mathrm{bxi}-x0)}^2+{(\mathrm{byi}-y0)}^2}>r0---\left(6\right)$

贡献度计算部1063将各个运动矢量的贡献度设定为：包含在关注区域中的块的运动矢量的贡献度比不包含在关注区域中的块的运动矢量的贡献度大。这里，如果判定为第i个块包含在关注区域中，则将贡献度ki设为1，如果判定为不包含在关注区域中，则将贡献度ki设为0。例如，在关注区域判断部1061中，在区域A1被判定为关注区域、且判定为第i个块包含在区域A1中的情况下，将该第i个块的贡献度ki设为1，在判定为第i个块包含在区域A2中的情况下，将贡献度ki设为0。 

合并运算处理部1064首先将由运动矢量可靠度计算部105计算出的各运动矢量的可靠度si与规定的阈值S_Thr进行比较，根据比较结果， 计算阈值处理后的可靠度STi。具体而言，在可靠度si小于等于规定的阈值S_Thr的情况下，设STi＝0，在可靠度si大于规定的阈值S_Thr的情况下，设STi＝si。 

接着，合并运算处理部1064使用阈值处理后的可靠度STi、各运动矢量的贡献度Ki和各运动矢量Vi，根据下式(7)，计算基准帧与对象帧之间的运动矢量的代表值V_Frame。另外，右边的分母是归一化系数。 

$V_{\mathrm{Frame}}=\frac{1}{\mathrm{\ΣSTi\ΣSKi}}\mathrm{\Σ}(\mathrm{STi}\·\mathrm{Ki}\·\mathrm{Vi})---\left(7\right)$

根据式(7)，在将各个块的运动矢量合并而计算基准帧与对象帧之间的运动矢量的代表值V_Frame时，可靠度STi小的运动矢量和贡献度ki小的运动矢量的影响变小。尤其是，将包含在关注区域中的运动矢量的贡献度ki设为1，并且将不包含在关注区域中的运动矢量的贡献度ki设为0，因此，能够仅使用包含在用户关注的区域中的运动矢量来计算图像间的运动矢量的代表值V_Frame。 

此外，在可靠度Si小于等于规定的阈值S_Thr的情况下，将阈值处理后的可靠度STi设为0，所以，能够排除可靠度Si低的运动矢量的影响，从而能够计算精度高的运动矢量的代表值V_Frame。 

图7是示出由一个实施方式中的图像处理装置进行的处理的处理顺序的流程图。在步骤S10中，块设定部103针对存储在帧存储器107中的基准帧设定多个块。 

在步骤S20中，运动矢量计算部104计算各个块的运动矢量。在步骤S30中，运动矢量可靠度计算部105计算在步骤S20中求出的各运动矢量的可靠度Si。 

在步骤S40中，特征量评价区域设定部108针对基准帧设定特征量评价区域。这里，采用图4所示的设定两个区域A1、A2的例子来继续说明。 

在步骤50中，特征量计算部109计算在步骤S40中设定的特征量评价区域A1、A2的特征量。如上所述，这里，采用计算区域A1、A2的平均亮度L1、L2作为特征量的例子继续进行说明。 

从步骤S60到步骤S170为止的处理是由运动矢量合并处理部106进行的。在步骤S60中，关注区域判断部1061判定区域A2的平均亮度L2是否大于区域A1的平均亮度L1。如果判定为平均亮度L2大于平均亮度L1，则判断为区域A2是关注区域，前进到步骤870。 

在步骤S70中，位置关系判定部1062判定第i个块的中心坐标(bxi，byi)是否包含在区域A2中。如上所述，该判定是根据式(6)的关系是否成立来进行的。如果判定为第i个块的中心坐标(bxi，byi)包含在区域A2中，则前进到步骤S80，如果判定为不包含在区域A2中，则前进到步骤S90。 

在步骤S80中，因为第i个块的中心坐标(bxi，byi)包含在作为关注区域的区域A2中，所以贡献度计算部1063将第i个块的运动矢量的贡献度Ki设为1。另一方面，在步骤S90中，因为第i个块的中心坐标(bxi，byi)不包含在作为关注区域的区域A2中，所以贡献度计算部1063将第i个块的运动矢量的贡献度Ki设为0。 

如果步骤S60的判定为否定，则判断为区域A1是关注区域，前进到步骤S100。在步骤S100中，位置关系判定部1062判定第i个块的中心坐标(bxi，byi)是否包含在区域A2中。该判定也是根据式(6)的关系是否成立来进行的。如果判定为第i个块的中心坐标(bxi，byi)包含在区域A2中，则前进到步骤S110，如果判定为不包含在区域A2中，则前进到步骤S120。 

在步骤S110中，因为第i个块的中心坐标(bxi，byi)包含在不是关注区域的区域A2中，所以贡献度计算部1063将第i个块的运动矢量的贡献度Ki设为0。另一方面，在步骤S120中，因为第i个块的中心坐标(bxi，byi)包含在作为关注区域的区域A1中，所以贡献度计算部1063将第i个块的运动矢量的贡献度Ki设为1。 

从步骤S130到步骤S170为止的处理是由合并运算处理部1064进行的。在步骤S130中，判定第i个块的运动矢量的可靠度Si是否大于规定的阈值S_Thr。如果判定为可靠度Si大于规定的阈值S_Thr，则前进到步骤S140，如果判定为小于等于规定的阈值S_Thr，则前进到步骤S150。 

在步骤S140中，将可靠度Si设为阈值处理后的可靠度STi。另一方面，在步骤S150中，将阈值处理后的可靠度STi设为0。 

在步骤S160中，判定是否已经以全部的块为对象进行了计算贡献度Ki和阈值处理后的可靠度STi的处理。如果判定为尚未以全部的块为对象进行完处理，则返回到步骤S60，以其他块为对象进行步骤S60以后的处理。另一方面，如果判定为已经以全部的块为对象进行了处理，则前进到步骤S170。 

在步骤S170中，根据上式(7)，计算基准帧与对象帧之间的运动矢量的代表值V_Frame。 

在步骤S180中，帧相加部110根据存储在帧存储器107中的基准帧和对象帧的图像数据、以及由运动矢量合并处理部106计算出的运动矢量的代表值V_Frame，进行帧相加处理。即，进行这样的处理：使基准帧移动运动矢量的代表值V_Frame而与对象帧相加。 

在上述的说明中，作为特征量，使用了特征量评价区域A1、A2的平均亮度L1、L2，但也可以使用构成特征量评价区域内的边缘的像素的数量。下面，对使用数量E1、E2作为特征量的例子进行说明，所述数量E1、E2是通过使用各区域A1、A2的像素数量(面积)对构成边缘的像素的数量进行归一化而得到的。 

在用户关注的区域中，亮度和光学***的焦距等观察条件良好，因此构成边缘的像素的数量多。所以，关注区域判断部1061对区域A1的边缘的数量E1与区域A2的边缘的数量E2进行比较，在E2＞E1的关系成立的情况下，判断为区域A2是关注区域，在E2＞E1的关系不成立的情况下，判断为区域A1是关注区域。判断关注区域后的处理与上述的处理是相同的。 

在到此为止的说明中，为了便于说明而将图4所示的两个区域A1、A2设为特征量评价区域。然而，实际的生物体不是轴对称的，而是呈复杂的形状，因此，例如也可以如图8所示那样设定更多的特征量评价区域，将关注区域限定得较小。在图8所示的例子中，设定了由一个中心区域A11和位于中心区域A11周围的四个周边区域A12～A15构成的五 个特征量评价区域A11～A15。如图8所示，即使在设定了三个以上的特征量评价区域的情况下，也能够将平均亮度最高的区域或构成边缘的像素的数量最多的区域判断为关注区域。这样，通过将一个特征量评价区域设定得较小，能够减小关注区域的范围，因此，能够实现关注区域的更高精度的对位。 

这里，例如在使用平均亮度作为特征量来判断关注区域的情况下，可设想到因太亮而饱和的区域被错误地判断为关注区域的情况。另一方面，在使用构成边缘的像素的数量作为特征量来判断关注区域的情况下，可设想到如下情况：在非常暗的区域中噪声增加，其结果是，错误地将噪声计为边缘，由此，构成边缘的像素的数量增加，将其误判断为关注区域。为了防止这样地将错误的区域判断为关注区域，例如只要组合多种特征量来确定关注区域即可。 

下面，举个使用各区域的平均亮度和构成边缘的像素的数量作为特征量的例子来进行说明。在使用各区域的平均亮度和构成边缘的像素的数量来从图8所示的多个特征量评价区域中确定关注区域的情况下，例如，首先进行各区域的平均亮度的阈值处理。在阈值处理中，例如，在各区域的平均亮度为任意的上限值Lmax以上以及为任意的下限值Lmin以下的情况下，判断为该区域不是关注区域。上限值Lmax是用于将过亮的区域从关注区域中排除的阈值，下限值Lmin是用于将过暗的区域从关注区域中排除的阈值。 

然后，将剩余的区域中、构成边缘的像素的数量最多的区域判断为关注区域。然后，在作为对象的块的中心坐标包含在关注区域中的情况下，设为ki＝1，在其不包含在关注区域中的情况下，设为ki＝0。 

另外，还可以导入上述的平均亮度和构成边缘的像素的数量以外的新的特征量。在该情况下，既可以单独地使用所导入的新特征量，也可以与区域的平均亮度或构成边缘的像素的数量相组合来判断关注区域。 

如上所述，根据一个实施方式的图像处理装置，首先，在图像上设定用于求出运动矢量的多个块，针对设定的每个块计算运动矢量，并且确定作为用户关注的区域的关注区域。然后，以使包含在关注区域中的 块的运动矢量的贡献度大于不包含在关注区域的块的运动矢量的贡献度的方式，计算各运动矢量的贡献度，按照计算出的贡献度将多个运动矢量合并，由此，求出图像间的运动矢量。由于是以如下方式来计算将多个运动矢量合并时各运动矢量的贡献度，即：使得包含在关注区域中的块的运动矢量的贡献度大于不包含在关注区域的块的运动矢量的贡献度，所以，能够可靠地进行用户关注的区域的对位。 

尤其是，在图像上设定多个特征量评价区域，并且计算表示各区域特征的特征量，根据计算出的特征量，从各区域中确定关注区域，因此，能够高精度地确定用户关注的区域。 

通过使用各区域的平均亮度作为特征量，能够利用用户关注的区域的亮度高这一特征，高精度地确定用户的关注区域。此外，在计算包含在各区域中的构成边缘的像素的数量作为特征量的情况下，利用在用户关注的区域中构成边缘的像素的数量多这一特征，能够高精度地确定用户的关注区域。并且，在使用各区域的平均亮度和构成边缘的像素的数量作为特征量的情况下，与单独地使用各区域的平均亮度或构成边缘的像素的数量的情况相比，能够更高精度地确定关注区域。 

此外，通过将不包含在关注区域中的块的运动矢量的贡献度设定为零，由此，可以仅使用包含在关注区域中的块的运动矢量来高精度地计算图像间的运动矢量。由此，能够可靠地进行用户关注的区域的对位。 

根据一个实施方式的图像处理装置，计算表示各运动矢量的可信度的可靠度，根据各运动矢量的贡献度和可靠度，将多个运动矢量合并，求出图像间的运动矢量，因此，能够更高精度地求出图像间的运动矢量。 

另外，在上述的实施方式的说明中，作为图像处理装置进行的处理，是以由硬件执行的处理为前提的，但不限于这样的结构。例如，也可以是另外使用软件进行处理的结构。在该情况下，图像处理装置具有CPU、RAM等主存储装置以及计算机可读记录介质，该存储介质存储有用于实现上述的全部或一部分处理的程序。这里，将该程序称为图像处理程序。而且，CPU读出存储在上述存储介质中的图像处理程序，执行信息的加工/运算处理，由此，实现与上述图像处理装置相同的处理。 

在这里，所谓计算机可读记录介质，是指磁盘、光磁盘、CD-ROM、DVD-ROM、半导体存储器等。另外，也可以是，通过通信线路向计算机发布该图像处理程序，接收到该发布的计算机执行该图像处理程序。 

本发明不限于上述实施方式，可在不脱离本发明主旨的范围内进行各种的变形和应用。例如，作为用于供块设定部103求出运动矢量而设定的区域，是将矩形的块举为一例，但不限于矩形。因此，由块设定部103设定的区域可称为运动矢量测定区域。 

本申请主张于2008年5月29日向日本国专利局申请的日本特愿2008-140905的优先权，并以引证的方式将日本特愿2008-140905的全部内容结合在本说明书中。 

Claims (14)

1.一种图像处理装置，其通过计算运动矢量来在多个图像之间进行图像的对位处理，该图像处理装置具有：

运动矢量测定区域设定部，其在图像上设定用于求出运动矢量的多个运动矢量测定区域；

运动矢量计算部，其针对所述多个运动矢量测定区域中的每个区域，计算运动矢量；

关注区域确定部，其在图像上确定作为用户关注的区域的关注区域；

位置关系判定部，其针对所述多个运动矢量测定区域中的各个区域，判定运动矢量测定区域是否包含在所述关注区域中；

贡献度计算部，其以如下方式计算各运动矢量的贡献度，所述方式是：使得包含在所述关注区域中的运动矢量测定区域的运动矢量的贡献度大于不包含在所述关注区域中的运动矢量测定区域的运动矢量的贡献度；以及

运动矢量合并部，其根据所述计算出的贡献度，将针对所述多个运动矢量测定区域中的每个区域计算出的运动矢量合并，由此求出图像之间的运动矢量。

2.根据权利要求1所述的图像处理装置，其中，

该图像处理装置还具有：

区域分割部，其将图像分割为多个区域；以及

特征量计算部，其针对所述分割出的多个区域计算表示各区域的特征的特征量，

所述关注区域确定部根据所述计算出的特征量，从所述分割出的多个区域中确定所述关注区域。

3.根据权利要求2所述的图像处理装置，其中，

所述特征量计算部计算所述分割出的多个区域各自的平均亮度作为所述特征量。

4.根据权利要求3所述的图像处理装置，其中，

所述关注区域确定部将以下区域确定为所述关注区域，该区域的平均亮度是针对所述分割出的多个区域中的每个区域计算出的平均亮度中最高的。

5.根据权利要求2所述的图像处理装置，其中，

所述特征量计算部计算包含在各区域中的构成边缘的像素的数量作为所述特征量。

6.根据权利要求5所述的图像处理装置，其中，

所述关注区域确定部将构成所述边缘的像素的数量最多的区域确定为所述关注区域。

7.根据权利要求2所述的图像处理装置，其中，

所述特征量计算部计算所述分割出的多个区域各自的平均亮度、以及包含在各区域中的构成边缘的像素的数量，作为所述特征量。

8.根据权利要求7所述的图像处理装置，其特征在于，

所述关注区域确定部将以下区域确定为所述关注区域，该区域是所述平均亮度大于规定的下限值且小于规定的上限值的区域中、构成所述边缘的像素的数量最多的区域。

9.根据权利要求5所述的图像处理装置，其中，

所述特征量计算部用各区域中的像素数量对构成所述边缘的像素的数量进行归一化后来进行使用。

10.根据权利要求2所述的图像处理装置，其中，

所述区域分割部将图像分割为位于图像中心的中心区域以及位于所述中心区域的周围的一个以上的周边区域。

11.根据权利要求1所述的图像处理装置，其中，

所述贡献度计算部将不包含在所述关注区域中的运动矢量测定区域的运动矢量的贡献度设为零。

12.根据权利要求1所述的图像处理装置，其中，

该图像处理装置还具有计算可靠度的运动矢量可靠度计算部，该可靠度表示针对所述多个运动矢量测定区域中的每个区域计算出的运动矢量的可信度，

所述运动矢量合并部根据所述计算出的贡献度和所述计算出的可靠度，将针对所述多个运动矢量测定区域中的每个区域计算出的运动矢量合并，由此求出图像之间的运动矢量。

13.一种电子设备，该电子设备具有权利要求1至12中的任一项所述的图像处理装置。

14.一种图像处理方法，其通过计算运动矢量来在多个图像之间进行图像的对位处理，该图像处理方法包括如下步骤：

在图像上设定用于求出运动矢量的多个运动矢量测定区域；

针对所述多个运动矢量测定区域中的每个区域计算运动矢量；

在图像上确定作为用户关注的区域的关注区域；

针对所述多个运动矢量测定区域中的各个区域，判定运动矢量测定区域是否包含在所述关注区域中；

以如下方式计算各运动矢量的贡献度，所述方式是：使得包含在所述关注区域中的运动矢量测定区域的运动矢量的贡献度大于不包含在所述关注区域中的运动矢量测定区域的运动矢量的贡献度；以及

根据所述计算出的贡献度，将针对所述多个运动矢量测定区域中的每个区域计算出的运动矢量合并，由此求出图像间的运动矢量。

Images