CN103765898A - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

本发明提供了计算具有高可靠度的全局运动向量(GMV)的方法和装置。计算对应于块的局部运动向量(LMV)、以及作为每个块的LMV的可靠度指标的块权重，并根据块权重计算全局运动向量(GMV)。针对关注块和与关注块邻近的邻近块计算对应于块的局部运动向量(LMV)的可靠度，还计算关注块和邻近块的局部运动向量(LMV)的相似度，并通过应用可靠度和相似度执行的计算处理来计算块权重。通过该特征，可以高效地计算具有高可靠度的全局运动向量(GMV)。

Description

图像处理设备、图像处理方法和程序

技术领域

本公开涉及一种图像处理设备、图像处理方法和程序。具体地，本公开涉及用于执行检测图像中的运动向量的处理的图像处理设备、图像处理方法和程序。

背景技术

在诸如运动图像的压缩的图像编码中，检测运动向量，并执行基于运动向量信息的数据压缩处理。在被称作图像编码***的MPEG***中，例如，执行将每个帧分割成块并针对当前帧和参考帧的对应块中的每个块检测运动向量的处理。然而，当块单位的运动向量信息包括在压缩数据中时，数据量增大。当通过例如平摇、倾斜和手抖等来移动摄像装置时，各个块的多数运动向量是共同的。在这种情况下，可以通过不设置块单位的运动向量而是设置对应于单个帧的单个运动向量并执行编码处理，来减少数据量。

块单位的单独的运动向量被称作局部运动向量(LMV)，并且对应于单个帧的单个运动向量被称作全局运动向量(GMV)。例如在MPEG-4中采用使用全局运动向量(GMV)的数据编码。

例如，如图1(a)所示，存在在时间t0和t1处拍摄的两个帧图像10和11。这两个帧是通过例如平摇、倾斜、手抖等移动摄像装置而拍摄的帧，并且如附图所示拍摄图像整体地移动。

当对这种图像进行编码时，每个帧被分割成例如n像素×n像素的多个块。常规地，通过检测各个块单位的运动向量(MV)，即，局部运动向量(LMV)，执行使用块单位的各个运动向量的数据压缩和恢复处理。然而，当通过平摇、倾斜、手抖等移动摄像装置时，如图1(b)所示，任何每个块的运动向量变为基本上相同的向量。

在这种情况下，如图1(c)所示，通过执行使用表示整个屏幕的运动的单个运动向量21的图像编码，可以极大提高编码效率。表示整个屏幕的运动的这样的向量被称作全局运动向量(GMV)。

全局运动向量(GMV)可以被表示为下述数据：所述数据使用不仅伴随有简单的平行移动而且伴随有使用多个参数的旋转、放大和缩小的仿射变换和投影阴影变换(projection shadow transformation)的数据，如附图所示。如上所述，作为应用全局运动向量(GMV)的编码方法，采用MPEG-4等。

在MPEG-4中，应用全局运动向量(GMV)，采用使用全局运动补偿(GMC)的图像编码方法作为标准，在编码装置(编码器)侧检测全局运动向量(GMV)，并通过使用从解码装置(解码器)侧传送的全局运动向量(GMV)执行基于全局运动补偿(GMC)的恢复。

全局运动向量(GMV)在图2所示的当前帧与参考帧之间的对应相似像素位置(x,y)和(x',y')的关系中被表示为使用平行移动、旋转、放大、缩小、仿射变换、投影阴影变换等的数据，并且通常单个全局运动向量(GMV)被应用于单个帧图像。应注意，屏幕可以被分割成均具有例如大于正常块大小的片(piece)，并且可以针对各个片设置全局运动向量(GMV)。也就是，对于帧图像，全局运动向量(GMV)的数目不限于一个，并且可以采用下述配置：其中针对帧图像中包括的多个块设置作为共同运动向量的单个全局运动向量(GMV)，或针对单个帧设置多个全局运动向量(GMV)。

在仅表示例如平行移动(平移)的向量的情况下，全局运动向量(GMV)通过使用两个参数[a₀,a₁]表示如下。

x'=x+a₀

y'=y+a₁

考虑到平行移动(平移)和旋转的全局运动向量(GMV)通过使用三个参数[a₀,a₁,a₂]表示如下。

x'=sina₀x-cosa₀y+a₂

y'=cosa₀x+sina₀y+a₃

顺应仿射变换的全局运动向量(GMV)通过使用六个参数[a₀,a₁,a₂,a₃,a₄,a₅]表示如下。

x'=a₀x-a₁y+a₂

y'=a₃x+a₄y+a₅

顺应投影变换的全局运动向量(GMV)通过使用八个参数[a₀,a₁,a₂,a₃,a₄,a₅,a₆,a₇]表示如下。

x'=((a₀x+a₁y+a₂)/(a₆x+a₇y+1))

y'=((a₃x+a₄y+a₅)/(a₆x+a₇y+1))

在从运动图像帧获得全局运动向量(GMV)的情况下，如图2所示，执行使用当前帧和参考帧的处理。例如在当前时间之前或之后的特定时间处拍摄参考帧。作为获得全局运动向量(GMV)的方法，存在若干方法。然而，作为方法之一，存在下述方法：首先获得作为帧图像的分割区域的块单位的局部运动向量(LMV)，并通过使用局部运动向量(LMV)获得全局运动向量(GMV)。

该方法是如下方法：首先获得块单位的局部运动向量(LMV)，从对应于块的数目的多个局部运动向量(LMV)选择具有高可靠度的局部运动向量(LMV)，并仅基于所选的具有高可靠度的局部运动向量(LMV)获得单个全局运动向量(GMV)。

例如，在获得对应于块的数目p的p个局部运动向量(LMV)的情况下，从p个局部运动向量选择具有高可靠度的q个局部运动向量(LMV)，并仅基于具有高可靠度的m个局部运动向量(LMV)获得单个全局运动向量(GMV)，而不使用具有低可靠度的(p-q)个局部运动向量(LMV)。

作为局部运动向量(LMV)的可靠度信息，使用关于是否可以通过例如当前帧与参考帧之间的块匹配获得清楚的特征点匹配信息的信息。此外，作为基于具有高可靠度的局部运动向量(LMV)获得单个全局运动向量(GMV)的方法，例如，应用最小二乘法。

使用局部运动向量(LMV)导出全局运动向量(GMV)的方法的优点在于，其可以作为常规局部运动向量(LMV)计算的扩展而被执行，并可以使用现有配置。然而，存在以下缺点：当具有高可靠度的局部运动向量(LMV)的数目小时，极大降低了全局运动向量(GMV)的可靠度。

作为解决该缺点的一个建议，存在PTL1(日本未审查专利申请公开第2009-65332号)中所公开的技术。

例如PTL1公开了如下方法：获得对应于作为构成运动图像的帧图像的分割区域的块的局部运动向量(LMV)的平均值，并与该平均值进行比较。

然而，当在特定图像区域中设置各种不同的局部运动向量(LMV)时，顺便提及，平均值可以变为近似于目标块的向量的向量。在这种情况下，存在不可以根据实际需求进行准确处理的问题。

引用列表

专利文献

PTL1：日本未审查专利申请公开第2009-065332号

发明内容

技术问题

例如鉴于上述问题作出了本公开，其目的是提供能够计算具有更高可靠度的全局运动向量(GMV)的图像处理设备、图像处理方法和程序。

问题的解决方案

根据本公开的第一方面，提供了一种图像处理设备，该设备包括：

局部运动向量计算部，其将作为帧图像的分割区域的块设置为在所述帧图像中在所述块之间夹有间隔，并计算对应于每个设置的块的运动向量作为局部运动向量(LMV)；

块权重计算部，其把块权重计算为对应于每个块的所述局部运动向量(LMV)的可靠性指标；以及

全局运动向量计算部，其输入所述局部运动向量(LMV)和所述块权重并计算全局运动向量(GMV)，所述全局运动向量(GMV)是所述帧图像中包括的所述多个块的共同运动向量，

其中，所述块权重计算部计算与目标块和与所述目标块邻近的近场块中的每个块对应的所述局部运动向量(LMV)的可靠度、以及所述目标块和每个近场块的所述局部运动向量(LMV)之间的相似度，并通过应用所述可靠度和所述相似度的算术处理来计算所述块权重。

此外，在根据本公开的第一方面的图像处理设备中，块权重计算部提取所述可靠度高的近场块作为可靠近场块，从所述可靠近场块之中提取所述相似度高的相似块，并执行将所述相似块与所述可靠近场块之比设置为所述目标块的权重的处理。

此外，在根据本公开的第一方面的图像处理设备中，所述块权重计算部通过应用基于对应于各个块的所述局部运动向量(LMV)而关联的块之间的绝对像素值差之和来计算所述可靠度。

此外，在根据本公开的第一方面的图像处理设备中，所述块权重计算部通过应用基于对应于各个块的所述局部运动向量(LMV)而关联的块的特征点数目或方差来计算所述可靠度。

此外，在根据本公开的第一方面的图像处理设备中，所述块权重计算部通过确定所述目标块和所述近场块的每个局部运动向量(LMV)是否近似于对应于一个全局运动的旋转的运动向量(GMV)，来执行所述相似度的计算。

此外，在根据本公开的第一方面的图像处理设备中，所述块权重计算部通过在考虑到所述图像处理设备中的图像校正部能够校正旋转的容许旋转角度的情况下确定所述目标块和所述近场块的每个局部运动向量(LMV)是否在所述容许旋转角度内近似于对应于所述全局运动的旋转的运动向量(GMV)，来执行所述相似度的计算。

此外，在根据本公开的第一方面的图像处理设备中，所述块权重计算部通过使所述目标块的可靠度与将下述值的相加的结果除以所述近场块的可靠度的相加值的结果相乘来计算所述块权重：所述值是通过将所述目标块与所述近场块之间的相似度与所述近场块的可靠度相乘而获得的。

此外，在根据本公开的第一方面的图像处理设备中，所述块权重计算部计算将下述值的相加的结果除以所述近场块的可靠度的相加值的结果以作为所述块权重：所述值是通过使所述目标块与所述近场块之间的相似度与近场块的可靠度相乘而获得的。

此外，在根据本公开的第一方面的图像处理设备中，所述块权重计算部计算将所述目标块与所述近场块之间的相似度的相加值除以所述近场块的可靠度的相加值的结果以作为所述块权重。

此外，在根据本公开的第一方面的图像处理设备中，所述全局运动向量计算部通过成本计算表达式来计算用于使成本最小化的所述全局运动向量(GMV)的参数，其中对应于各个块的所述局部运动向量(LMV)和各个块权重被应用于成本计算表达式。

此外，在根据本公开的第一方面的图像处理设备中，所述全局运动向量计算部计算考虑了平移和旋转的三轴顺应的全局运动向量的参数、或考虑了仿射变换的六轴顺应的全局运动向量的参数。

此外，根据本公开的第二方面，提供了一种由图像处理设备执行的图像处理方法，所述图像处理方法包括：

局部运动向量计算步骤，其中局部运动向量计算部将作为帧图像的分割区域的块设置为在所述帧图像中在所述块之间夹有间隔，并计算对应于每个设置的块的运动向量作为局部运动向量(LMV)；

块权重计算步骤，其中块权重计算部把块权重计算为对应于每个块的所述局部运动向量(LMV)的可靠性指标；以及

全局运动向量计算步骤，其中全局运动向量计算部输入所述局部运动向量(LMV)和所述块权重并计算全局运动向量(GMV)，所述全局运动向量(GMV)是所述帧图像中包括的所述多个块的共同运动向量，

其中，在所述块权重计算步骤中，所述块权重计算部计算与目标块和与所述目标块邻近的近场块中的每个块对应的所述局部运动向量(LMV)的可靠度、以及所述目标块和每个近场块的所述局部运动向量(LMV)之间的相似度，并通过应用所述可靠度和所述相似度的算术处理来计算所述块权重。

此外，根据本公开的第三方面，提供了一种程序，所述程序使图像处理设备执行图像处理：

局部运动向量计算步骤，使局部运动向量计算部将作为帧图像的分割区域的块设置为在所述帧图像中在所述块之间夹有间隔，并计算对应于每个设置的块的运动向量作为局部运动向量(LMV)；

块权重计算步骤，使块权重计算部把块权重计算为对应于每个块的所述局部运动向量(LMV)的可靠性指标；以及

全局运动向量计算步骤，使全局运动向量计算部输入所述局部运动向量(LMV)和所述块权重并计算全局运动向量(GMV)，所述全局运动向量(GMV)是所述帧图像中包括的所述多个块的共同运动向量，

其中，在所述块权重计算步骤中，通过计算与目标块和与所述目标块邻近的近场块中的每个块对应的所述局部运动向量(LMV)的可靠度、以及所述目标块和每个近场块的所述局部运动向量(LMV)之间的相似度，通过应用所述可靠度和所述相似度的算术处理来计算所述块权重。

此外，本公开的程序例如是可以通过存储介质和通信介质提供的程序。以计算机可读格式向能够执行各种程序代码的计算机***或信息处理设备提供介质。通过以计算机可读格式提供这种程序，在信息处理设备或计算机***上实现顺应程序的处理。

将参照附图以及稍后要描述的本公开的示例详细描述本公开的另外的其他目的、特征和优点。此外，描述中的***被定义为多个装置的逻辑集体结构，并且不限于同一壳体内的各个结构的装置。

本发明的有利效果

根据本公开的一个示例的配置，实现用于执行计算具有高可靠度的全局运动向量(GMV)的设备和方法。

具体地，计算对应于块的局部运动向量(LMV)和作为各个块的LMV的可靠性指标的块权重，并基于块权重计算全局运动向量(GMV)。通过计算与目标块和与目标块邻近的近场块中的每个块对应的局部运动向量(LMV)的可靠度以及目标块和每个近场块的局部运动向量(LMV)之间的相似度，通过应用可靠度和相似度的算术处理计算块权重。

利用本配置，可以高效地计算具有高可靠度的全局运动向量(GMV)。

附图说明

图1是示出了全局运动向量(GMV)的图。

图2是示出了全局运动向量(GMV)与当前帧和参考帧之间的对应点之间的关系的图。

图3是示出了设置块单位的权重的示例的图。

图4是图像处理设备的配置示例。

图5是示出了通过块匹配计算局部运动向量(LMV)的处理的示例的图。

图6是示出了在本公开的图像处理设备中执行的块权重计算处理的简要概述的图。

图7是示出了在本公开的图像处理设备中执行的块权重计算处理的具体示例的图。

图8是示出了应用于在本公开的图像处理设备中执行的块权重确定处理的可靠性计算处理的图。

图9是示出了在本公开的图像处理设备中执行的块权重确定处理的序列的流程图的图。

图10是示出了应用于在本公开的图像处理设备中执行的块权重确定处理的相似度确定处理的图。

图11是示出了应用于在本公开的图像处理设备中执行的块权重确定处理的相似度确定处理的图。

图12是示出了应用于在本公开的图像处理设备中执行的块权重确定处理的相似度确定处理的相似度确定处理的图。

图13是示出了应用于在本公开的图像处理设备中执行的权重设置处理的、设置可靠度和相似度的示例的图。

图14是示出了在本公开的图像处理设备中执行的全局运动向量(GMV)的定义的图。

图15是示出了在本公开的图像处理设备中执行的导出全局运动向量(GMV)的处理的图。

图16是示出了作为本公开的图像处理设备的示例的成像设备的处理和结构的图。

图17是示出了本公开的图像处理设备的配置示例的图。

具体实施方式

在下文中，将参照附图详细描述本公开的图像处理设备、图像处理方法和程序。应注意，将按下列项的顺序给出描述。

1.关于基于局部运动向量(LMV)计算块的权重的全局运动估计(GME)处理

2.块权重计算处理的简要概况

3.块权重计算处理的细节

4.对应于块的局部运动向量(LMV)的相似度确定处理的细节

5.基于邻近块的LMV的可靠度和相似度的确定的权重计算处理的示例

6.关于全局运动向量计算部(GME)的处理

7.关于图像处理设备的配置示例

8.本公开的配置的概述

[1.关于基于局部运动向量(LMV)计算块的权重的全局运动估计(GME)处理]

首先，将描述基于设置有局部运动向量(LMV)的LMV设置块的权重的全局运动估计(GME)处理。

本公开的图像处理设备输入连续拍摄图像，并执行获得对应于图像之间的运动的全局运动向量(GMV)的处理。本公开的图像处理设备首先获得作为构成图像的帧图像的分割区域的块单位的局部运动向量(LMV)，并通过使用局部运动向量(LMV)获得全局运动向量(GMV)。

在本公开的配置中，计算对应于局部运动向量(LMV)的各个块的可靠度和相似度，定义取决于可靠度或相似度的权重，并在考虑到各个局部运动向量(LMV)的权重的情况下获得全局运动向量(GMV)。

将参照图3描述在本公开的图像处理设备中导出全局运动向量(GMV)的方法的简要概述。在本公开的方法中，首先，如图3(a)所示，单个帧图像50被分割成作为多个分割图像区域的块51。此外，获得每个块的局部运动向量(LMV)，此后，如图3(b)所示在所有块中设置取决于可靠度或相似度的权重。图3(b)所示的数值0.3、0.5、1.0等是表示取决于块单位的局部运动向量(LMV)的相似度或可靠度的权重的数值。1.0是对应于可靠度或相似度最高的LMV的权重，对应于可靠度或相似度较低的LMV的权重的数值较小。

在本公开的图像处理设备中导出全局运动向量(GMV)中，如图3(b)中的设置块单位的权重的示例所示，在设置有相应的局部运动向量(LMV)的块中设置取决于局部运动向量(LMV)的相似度或可靠度的权重。

此后，考虑到各个局部运动向量(LMV)的权重，获得全局运动向量(GMV)。

将参照图4详细描述计算全局运动向量(GMV)的处理。图4示出了在本公开的图像处理设备中设置的全局运动向量(GMV)生成部的配置示例。输入是当前帧图像和参考帧图像，输出是全局运动向量(GMV)。

参照帧图像是在与当前帧图像的时间不同的时间处拍摄的图像。具体地，该图像是当前帧图像的先前帧或后续帧的图像。给出帧图像之间的拍摄间隔。

如图4所示，在图像处理设备中设置的全局运动向量(GMV)生成装置包括局部运动向量计算部(LME)101、块权重计算部102、以及全局运动向量(GMV)计算部103。

局部运动向量计算部(LME)101输入当前帧图像和参考帧图像，并计算与通过将单个帧分割成小区域块而获得的各个块对应的运动向量，即局部运动向量(LMV)。此外，局部运动向量计算部(LME)101中的处理可以例如作为块匹配处理被应用的常规已知处理被执行。

也就是，从参考帧图像中搜索具有最接近当前帧图像中设置的块的像素配置的像素配置的块。基于作为块搜索结果获得的关于两个块之间的移动的信息，计算对应于各个块的局部运动向量(LMV)。

参照图5，将描述应用块匹配处理的计算局部运动向量(LMV)的处理的示例。

图5(a)示出了当前帧图像(T)和紧接在当前帧图像之前拍摄的参考帧图像(R)。搜索到参考帧图像内的块br，块br具有最接近当前帧图像中设置的块bt的像素配置的像素配置。

从br指向bt的向量是局部运动向量(LMV)。

基于图5(b)所示的表达式执行计算局部运动向量(LMV)的处理。

生成绝对差的和(SAD)，并选择SAD值为最小的块作为对应块，从而计算局部运动向量(LMV)。SAD是当前帧图像与参考帧图像之间的对应块的像素值信息的绝对差值的和。

具体地，基于以下表达式(表达式1)，计算局部运动向量(LMV)。

[数值表达式1]

$\mathrm{SAD}(x,y,X,Y)=\underset{0\&le;i,j<\mathrm{BlockSize}}{\mathrm{\&Sigma;}}\left|R\right[x+i,y+j]-T[x+i+X,y+j+Y]$

$\mathrm{LMV}(x,y)=\arg \underset{X,Y}{\min }\mathrm{SAD}(x,y,X,Y)$

       ·····(表达式1)

应注意，

(x,y)对应于当前帧图像的块之一的顶点坐标，

(i,j)对应于块大小(Block Size)，并且

(X,Y)对应于当前帧与参考帧的对应块之间的运动量的x和y分量。

在局部运动向量计算部(LME)101中计算的局部运动向量(LMV)被输入到块权重计算部102和全局运动向量(GMV)计算部103。

此外，局部运动向量计算部(LME)101在局部运动向量(LMV)计算处理时生成运动补偿(MC)图像以及绝对差的和(SAD)，并将它们输入到块权重计算部102。SAD是当前帧图像与参考帧图像之间的对应块的像素信息的绝对差值的和。

运动补偿(MC)图像是基于例如参考帧生成的校正图像，并且是通过对参考帧图像进行校正以使得在当前帧图像的每个像素位置处的被摄对象设置在与参考帧相同的像素位置处而获得的图像。校正图像例如是通过将参考帧图像的像素位置移动了块单位的局部运动向量(LMV)的运动量而生成的。

块权重计算部102计算分别对应于作为当前帧图像的局部运动向量(LME)计算的单位的块的块对应权重(Weight)，并将权重输出到全局运动向量计算部(GME)103。

块对应权重(Weight)是上面参照图3所描述的权重，并且是根据对应于各个块的局部运动向量(LME)的可靠度或相似度而计算的。

稍后将详细描述计算块对应权重(Weight)的处理。

全局运动向量计算部(GME)103输入块权重计算部102计算的块权重(Weight)以及局部运动向量计算部(LME)101计算的对应于各个块的局部运动向量(LMV)，并基于这样的输入数据来计算对应于帧的全局运动向量(GMV)。

[2.块权重计算处理的简要概况]

接着，将描述块权重计算部102执行的块权重计算处理的简要概况。

块权重计算部102计算在当前帧图像中设置的各个块的权重，也就是，取决于对应于各个块的局部运动向量(LME)的可靠度或相似度的权重。将参照图6和后面的图描述块权重计算部102执行的处理。

图6示出了块权重计算部102执行的块权重计算处理的算法。

进行了块权重的计算的块被设置为目标块，并且围绕目标块的八个块被设置为近场块。

首先，计算目标块的局部运动向量(LMV)的可靠度和各个近场块的局部运动向量(LMV)的可靠度。

此外，计算目标块的局部运动向量(LMV)与各个近场块的局部运动向量(LMV)之间的相似度。

应用这样的可靠性和相似度信息，并计算目标块的权重。

在计算全局运动向量(GMV)时，目标块的权重对应于每个局部运动向量(LMV)的贡献度。

将参照图7和之后的图描述块权重计算部102执行的块权重计算处理的具体处理示例。

首先，如图7所示，在步骤(S1)，从围绕目标块的近场块中选择所计算的对应于各个块的局部运动向量(LMV)的可靠度高的块。

例如，当所计算的对应于每个块的局部运动向量(LMV)可靠时，可靠度被设置为[1]，并且当该向量不可靠时，可靠度被设置为[0]。

在图7所示的示例中，可靠度高的近场块的数目，即所设置的可靠度为1的近场块的数目等于5。

可以以各种方式计算对应于各个块的局部运动向量(LMV)的可靠度。

将参照图8描述多可靠性计算处理的示例。

图8示出了四个可靠性计算处理的以下示例(1)至(4)。

(1)基于每个局部运动向量(LMV)的SAD值的可靠度，

(2)基于块内的像素值的方差的可靠度，

(3)基于SAD的第一最小值与第二最小值之间的比值的可靠度，以及

(4)基于块内的特征点的数目的可靠度。

(1)基于每个局部运动向量(LMV)的SAD值的可靠度是这样的示例，其中，绝对差的和(SAD)的值，即在上面参照图5描述的计算局部运动向量(LMV)时获得的SAD(x,y,X,Y)被设置为可靠性指标。SAD是当前帧图像与参考帧图像之间的对应块的像素信息的绝对差值的和。

例如，如果在对应于块的LMV计算中所计算的SAD等于或小于给定阈值，则块的LMV的可靠度被设置为1(可靠)。如果SAD大于给定阈值，则块的LMV的可靠度被设置为0(不可靠)。

(2)基于块内的像素值的方差的可靠度是应用于局部运动向量(LMV)的计算的取决于当前帧图像与参考帧图像之间的对应块的方差的乘法值的设置处理的示例。

具体地，基于以下表达式(表达式2)，计算可靠度(可靠性)。

[数字表达式2]

$E\left(R(x,y)\right)=\frac{1}{{\mathrm{BlockSize}}^2}\underset{0\&le;i,j<\mathrm{BlockSize}}{\mathrm{\&Sigma;}}R[x+i,y+j]$

$V\left(R(x,y)\right)=\frac{1}{{\mathrm{BlockSize}}^2}\underset{0\&le;i,j<\mathrm{BlockSize}}{\mathrm{\&Sigma;}}{\left(R\right[x+i,y+j\left]\right)}^2-E^2\left(R(x,y)\right)$

Reliability＝V（R(x，y))·V(T(x，y))

         (表达式2)

应注意，在表达式中，

E(R(x,y))是应用于LMV计算的参考帧图像的块的平均像素值，

V(R(x,y))是应用于LMV计算的参考帧图像的块的像素值方差，并且

V(T(x,y))是应用于LMV计算的当前帧图像的块的像素值方差。

如果基于表达式(表达式2)计算的可靠性(Reliability)等于或大于给定阈值，则块的LMV的可靠度被设置为1(可靠)。如果可靠性小于给定阈值，则块的LMV的可靠度被设置为0(不可靠)。

(3)在基于SAD的第一最小值与第二最小值之间的比值的可靠度中，应用在上面参照图5描述的局部运动向量(LMV)的计算时获得的绝对差的和(SAD)。SAD是当前帧图像与参考帧图像之间的对应块的像素信息的绝对差值的和。

被应用于LMV计算的SAD被设置为SAD_min(最小SAD)。

此外，作为根据块搜索的搜索结果获得的第二最小值的SAD被设置为SAD_2nd。

根据以下计算表达式(表达式3)计算这两个最小值之比。

[数字表达式3]

$\mathrm{Reliability}=\frac{{\mathrm{SAD}}_{2\mathrm{nd}}}{{\mathrm{SAD}}_{\mathrm{MIN}}}$   ····(表达式3)

如果基于表达式(表达式3)计算的可靠性等于或大于给定阈值，则块的LMV的可靠度被设置为1(可靠)。如果可靠性小于给定阈值，则块的LMV的可靠度被设置为0(不可靠)。

(4)基于块内的特征点的数目的可靠度是设置在上面参照图5描述的局部运动向量(LMV)的计算时获得的、当前帧图像与参考帧图像之间的对应块的特征点的数目的乘法值作为可靠度指标的过程。

具体地，基于以下表达式(表达式4)，计算对应块的特征点的数目的乘法值。

Reliability=NF(R(x,y))·(NF(T(x,y))

      ·····(表达式4)

然而，在表达式(表达式4)中，

NF(R(x,y))是在局部运动向量(LMV)的计算时获得的参考帧图像的对应块的特征点的数目，并且

NF(T(x,y))是在在局部运动向量(LMV)的计算时获得的当前帧图像的对应块的特征点的数目。

如果基于表达式(表达式4)计算的可靠性等于或大于给定阈值，则块的LMV的可靠度被设置为1(可靠)。如果可靠性小于给定阈值，则块的LMV的可靠度被设置为0(不可靠)。

如上所述，可以以各种方式计算对应于各个块的局部运动向量(LMV)的可靠度。

图4所示的块权重计算部102通过应用参照图8所述的任何方法(1)至(4)来计算对应于各个块的可靠度。应注意，可以通过应用参照图8描述的方法(1)至(4)的组合来执行可靠性计算。

返回到图7，将继续块权重计算部102的处理序列的描述。

在步骤(S1)，根据上述处理，设置值1(可靠)和0(不可靠)作为各个块的可靠度。

接着，在步骤(S2)，在可靠度等于1的可靠块之中，获取目标块的局部运动向量(LMV)与各个近场块的局部运动向量(LMV)之间的差等于或小于阈值且相似度高的近场块的数目。

在附图所示的示例中，可靠近场块的数目为3。这里，可靠近场块具有等于或小于阈值的差、高相似度和为1的可靠度。

接着，在步骤(S3)，计算差等于或小于阈值的可靠近场块的数目的比例，即

(差等于或小于阈值的可靠近场块的数目)/(可靠近场块的数目)。

在本示例中，

(差等于或小于阈值的可靠近场块的数目)/(可靠近场块的数目)

=3/5

=0.6。

块权重计算部102将计算的值=0.6设置为目标块的权重，并将计算的值输出给全局运动计算部103。

[3.块权重计算处理的细节]

接着，参照图9和之后的图，将描述块权重计算部102执行的块权重计算处理的具体序列。

图9是示出了块权重计算部102执行的块权重计算处理的具体序列的流程图。

将描述流程的步骤的过程。

应注意，如图9(a)和9(b)所示，由b0表示的目标块以及由b1至b8表示的近场块，这样的九个块被设置为参考块。

此外，作为对应于各个块的可靠度，

1：可靠

0：不可靠

已经完全算出这样的可靠性信息。

通过上面参照图8描述的任何方法(1)至(4)计算对应于块的可靠性信息。此外，当使用对应于图8(1)的每个LMV的SAD值时，作为局部运动估计信息的输出的SAD值可以直接用作可靠性信息(可靠性图)。

在步骤S101，确定目标块b0是否可靠。

也就是，确定该块是否是所设置的可靠度为1的块。

如果目标块是所设置的可靠度为1的块并由此是可靠的，则流程进行到步骤S102。如果目标块是所设置的可靠度为0的块并由此是不可靠的，则流程进行到步骤S111，并且其权重被设置为0。

也就是，确定目标块的局部运动向量(LMV)是否可靠。如果确定该块是所设置的可靠度为0的块并由此是不可靠的，则权重=0并且流程结束。

在步骤S101，如果确定目标块b0是可靠的，则流程前进到步骤S102。然后，在步骤S102，执行初始化处理。具体地，执行以下处理。

Reliability_Cnt=0;

under_threshhold_Cnt=0;

i=1;

其中，

Reliability_Cnt：指示八个近场块当中的所设置的可靠度为1的可靠块的数目的计数，

under_threshhold_Cnt：指示可靠块当中的与目标块的差等于或小于阈值的相似块的数目的技术，并且

i：块位置的索引。

接着，在步骤S103，确定近场块bi是否可靠。

如果在目标块附近的近场块bi是所设置的可靠度为1的块并由此是可靠的，则在步骤S104，使可靠块的数目的计数[Reliability_Cnt]递增。

如果近场块bi是所设置的可靠度为0的块并由此是不可靠的，则流程前进到步骤S107。

在步骤S105，确定目标块b0与在该块附近的块bi的局部运动向量(LMV)之间的相似度。

具体地，对于

目标块b0的局部运动向量(LMV)，

近场块bi的局部运动向量(LMV)，

确定这两个局部运动向量是否是对应于单个共同全局运动向量(GMV)的运动向量。

例如，如果各个局部运动向量(LMV)的H方向分量和V方向分量的差分别处于阈值范围内，则这是“差处于阈值范围内”的确定条件，即，“是”的确定。

稍后将描述相似度确定处理的细节。

在步骤S105，如果确定目标块b0的局部运动向量(LMV)与近场块bi的局部运动向量(LMV)相似，则流程前进到步骤S106，并且使等于或小于可靠差阈值的块的数目的计数[under_threshhold_Cnt]递增。

相比之下，在步骤S105，如果确定目标块b0的局部运动向量(LMV)与近场块bi的局部运动向量(LMV)不相似，则流程前进到步骤S107。

步骤S107是更新块编号i的处理。

在近场块i=1至8上顺序地执行该处理。

在步骤S108，

确定i>8，

完成近场块B1至b8的所有处理，流程前进到步骤S109。

在步骤S109，确定近场块当中的所设置的可靠度为1的可靠块的数目的计数[Reliability_Cnt]是否大于0。

也就是，确定在近场块b1至b8的甚至一个块中是否存在可靠块。

如果不存在可靠块，则流程前进到步骤S111，目标块的权重被设置为0。

在步骤S109，如果确定在近场块b1至b8的甚至一个块中存在所设置的可靠度为1的可靠块，则流程前进到步骤S110。

在步骤S110，

计算目标块的权重。

例如，根据以下表达式，计算目标块的权重。

权重=(under_threshhold_Cnt)/(Reliability_Cnt)

也就是，

目标块的权重=(近场块中的等于或小于差阈值的可靠块(可靠度=1)的数目)/(近场块中的可靠块的数目)

由此，计算目标块的权重。

应注意，在表达式中表示的计算目标块的权重的处理是示例，并且应用另外的表达式的权重计算处理也是可以的。

在后面的部分将描述计算目标块的权重的处理的另外的具体示例。

[4.对应于块的局部运动向量(LMV)的相似度确定处理的细节]

接着，将描述对应于块的局部运动向量(LMV)的相似度确定处理的细节。

如上所述，在图9所示的流程的步骤S105，确定目标块b0与在该块附近的块bi的局部运动向量(LMV)之间的相似度。

也就是，对于

目标块b0的局部运动向量(LMV)，

近场块bi的局部运动向量(LMV)，

确定这两个局部运动向量是否是对应于单个共同全局运动向量(GMV)的运动向量。

如果这两个局部运动向量是对应于单个共同全局运动向量(GMV)的运动向量，则局部运动向量(LMV)相似。也就是，确定相似度=1。

相比之下，如果这两个局部运动向量不是对应于单个共同全局运动向量(GMV)的运动向量，则局部运动向量(LMV)不相似。也就是，确定相似度=0。

将参照图10和11描述确定目标块的局部运动向量(LMV)与各个近场块的局部运动向量(LMV)之间的相似度的处理的方法。

如图10(a)所示，分别获得目标块的局部运动向量(LMV)与各个近场块的局部运动向量(LMV)。

目标块的局部运动向量(LMV)是从原点(x1,y1)到端点(x1',y1')的向量，

水平分量=u1，并且

竖直分量=v1。

也就是，目标块的局部运动向量(LMV)是(u1,v1)。

另一方面，近场块的局部运动向量(LMV)是从原点(x0,y0)到端点(x0',y0')的向量，

水平分量=u0，并且

竖直分量=v0。

也就是，近场块的局部运动向量(LMV)是(u0,v0)。

如图10(b)所示，定义基于全局运动向量(GMV)的坐标变换。

全局运动向量(GMV)是对整个屏幕所共同的运动向量，并且通过以下表达式(表达式5)来定义基于全局运动向量(GMV)的坐标变换。

[数字表达式4]

$\left[\begin{array}{c}{x}_0^{\&prime;}\\ y_0^{\&prime;}\end{array}\right]=\left[\begin{array}{c}a\\ b\end{array}\right]+\left[\begin{array}{cc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right]\left[\begin{array}{c}{x}_0\\ y_0\end{array}\right]$

     ·····(表达式5)

表达式(表达式5)表示基于三轴顺应GMV的坐标变换，也就是，考虑到平行移动(平移)和旋转的全局运动向量(GMV)。

(x0,y0)表示变换前的坐标，

(x'0,y'0)表示基于全局运动向量(GMV)的坐标变换后的坐标，

a表示根据全局运动向量(GMV)的x方向上的运动量，

b表示根据全局运动向量(GMV)的y方向上的运动量，

θ表示根据全局运动向量(GMV)的旋转角度。

通过应用近场块的局部运动向量(LMV)(u0,v0)以及基于表达式(表达式5)所表示的三轴顺应的全局运动向量(GMV)的坐标变换表达式，目标块的局部运动向量(LMV)(u1,v1)可以被表示为以下表达式(表达式6)。

[数字表达式5]

$\left[\begin{array}{c}{x}_0^{\&prime;}\\ y_0^{\&prime;}\end{array}\right]=\left[\begin{array}{c}a\\ b\end{array}\right]+\left[\begin{array}{cc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right]\left[\begin{array}{c}{x}_0\\ y_0\end{array}\right]$

$\left[\begin{array}{c}{u}_0\\ v_0\end{array}\right]=\left[\begin{array}{c}{x}_0\\ y_0\end{array}\right]-\left[\begin{array}{c}{x}_0^{\&prime;}\\ y_0^{\&prime;}\end{array}\right]=\left[\begin{array}{c}{x}_0\\ y_0\end{array}\right]-\left[\begin{array}{c}a\\ b\end{array}\right]-\left[\begin{array}{cc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right]\left[\begin{array}{c}{x}_0\\ y_0\end{array}\right]$

$=-\left[\begin{array}{c}a\\ b\end{array}\right]+(I-\left[\begin{array}{cc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right])\left[\begin{array}{c}{x}_0\\ y_0\end{array}\right]$ ···①

$\left[\begin{array}{c}{u}_1\\ v_1\end{array}\right]=-\left[\begin{array}{c}a\\ b\end{array}\right]+(I-\left[\begin{array}{cc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right])\left[\begin{array}{c}{x}_1\\ y_1\end{array}\right]$ ···②

根据②-①

$\left[\begin{array}{c}{u}_1\\ v_1\end{array}\right]-\left[\begin{array}{c}{u}_0\\ v_0\end{array}\right]=(I-\left[\begin{array}{cc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right])(\left[\begin{array}{c}{x}_1\\ y_1\end{array}\right]-\left[\begin{array}{c}{x}_0\\ y_0\end{array}\right])$

$\left[\begin{array}{c}{u}_1\\ v_1\end{array}\right]=(I-\left[\begin{array}{cc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right])(\left[\begin{array}{c}{x}_1\\ y_1\end{array}\right]-\left[\begin{array}{c}{x}_0\\ y_0\end{array}\right])+\left[\begin{array}{c}{u}_0\\ v_0\end{array}\right]$

    ·····(表达式6)

此外，在表达式(表达式6)中，

I是单位矩阵，对应于θ=0时的旋转矩阵，并且是通过以下表达式(表达式7)表示的矩阵。

[数字表达式6]

$I\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$

·····(表达式7)

基于表达式(表达式6)，可以通过以下表达式(表达式8)表示目标块的局部运动向量(LMV)(u1,v1)与近场块的局部运动向量(LMV)(u0,v0)之间的差。

[数字表达式7]

$\left[\begin{array}{c}{u}_1-u_0\\ v_1-v_0\end{array}\right]=\left[\begin{array}{cc}1-\cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}\\ -\sin \mathrm{\&theta;}& 1-\cos \mathrm{\&theta;}\end{array}\right]\left[\begin{array}{c}{x}_1-x_0\\ y_1-y_0\end{array}\right]$

·····(表达式8)

在表达式(表达式8)中，

(x1,y1)是目标块的一个特征点的坐标，

(x0,y0)是近场块的一个特征点的坐标，并且

θ是应用于基于上述表达式(表达式6)所表示的三轴顺应的全局运动向量(GMV)的坐标变换的处理的旋转角度，并对应于整个屏幕的全局运动的旋转角度。

这里，全局运动所容许的旋转量是-θmax≤θ≤θmax(最大θ)。

容许旋转量例如是由通过成像设备(摄像装置)的手抖而旋转的图像的可校正角度来定义的。

具体地，例如，基于成像设备在水平方向上的像素线的数目等来进行确定。作为成像设备的输出图像而生成的图像的水平像素线的数目被设置为小于成像设备的成像装置的水平线的数目。因此，当校正对于通过手抖等产生的图像旋转是必要的时，可以生成通过基于成像装置的上像素信息和下像素信息旋转图像而获得的校正图像。

当在拍摄图像的上部和下部上存在多个水平像素线时，可以执行旋转了大角度的校正处理。然而，当在拍摄图像的上部和下部上存在小数目的水平像素线时，旋转大角度的校正处理是不可以的。

容许旋转角度θ通过成像装置的配置等来限定。

如上所述，例如，根据成像装置的配置，限定可校正角度范围-θmax至θmax，并且角度范围被设置为全局运动的容许旋转量。

关于容许旋转量，

-θmax≤θ≤θmax

将θ的范围代入表达式(表达式7)，从而可以计算目标块的局部运动向量(LMV)(u1,v1)与近场块的局部运动向量(LMV)(u0,v0)之间的差的容许范围。

也就是，确定目标块的局部运动向量(LMV)(u1,v1)与近场块的局部运动向量(LMV)(u0,v0)之间的差的值(也就是，u1-u0以及v1-v0)是否满足以下条件表达式(表达式A)、(表达式B)。

(x1-x0)(1-coxθmax)-|y1-y0|sinθmax≤u1-u0

≤(x1-x0)(1-coxθmax)+|y1-y0|sinθmax

    ·····(表达式A)

-|x1-x0|sinθmax+(y1-y0)(1-coxθmax)

≤v1-v0

≤|x1-x0|sinθmax+(y1-y0)(1-coxθmax)

    ·····(表达式B)

如果目标块的局部运动向量(LMV)(u1,v1)与近场块的局部运动向量(LMV)(u0,v0)的值之间的差(也就是，u1-u0以及v1-v0)满足上述条件表达式(表达式A)、(表达式B)，则确定通过这两个局部运动向量限定的全局运动向量(GMV)具有处于作为上述θ的范围的容许范围内(也就是，-θmax≤θ≤θmax)的旋转角度θ。

也就是，如果目标块的局部运动向量(LMV)(u1,v1)与近场块的局部运动向量(LMV)(u0,v0)之间的差满足上述确定表达式(表达式A)、(表达式B)，则能够确定这两个局部运动向量(LMV)是对应于具有可校正的容许旋转角度的单个GMV的相似的局部运动向量(LMV)。

在这种情况下，确定目标块的局部运动向量(LMV)(u1,v1)与近场块的局部运动向量(LMV)(u0,v0)相似。也就是，相似度被设置为1。

相比之下，如果目标块的局部运动向量(LMV)(u1,v1)与近场块的局部运动向量(LMV)(u0,v0)之间的差不满足上述确定表达式(表达式A)、(表达式B)中的至少之一，则能够确定这两个局部运动向量(LMV)不是对应于具有可校正的容许旋转角度的单个GMV的相似的局部运动向量(LMV)。

在这种情况下，确定目标块的局部运动向量(LMV)(u1,v1)与近场块的局部运动向量(LMV)(u0,v0)不相似。也就是，相似度被设置为0。

应注意，基于表达式(表达式A)、(表达式B)的相似度确定处理是示例。此外，例如，可以采用下述配置：其中，考虑到GMV或LMV等的计算误差，通过应用包括预设常数C的以下确定表达式(表达式A2)、(表达式B2)执行相似度确定。

(x1-x0)(1-coxθmax)-C-|y1-y0|sinθmax

≤u1-u0

≤(x1-x0)(1-coxθmax)+C+|y1-y0|sinθmax

   ·····(表达式A2)

-C-|x1-x0|sinθmax+(y1-y0)(1-coxθmax)

≤v1-v0

≤C+|x1-x0|sinθmax+(y1-y0)(1-coxθmax)

   ·····(表达式B2)

也就是，如果目标块的局部运动向量(LMV)(u1,v1)与近场块的局部运动向量(LMV)(u0,v0)之间的差满足上述确定表达式(表达式A2)、(表达式B2)，则可以确定这两个局部运动向量(LMV)是对应于具有可校正的容许旋转角度的单个GMV的相似的局部运动向量(LMV)。

在这种情况下，确定目标块的局部运动向量(LMV)(u1,v1)与近场块的局部运动向量(LMV)(u0,v0)相似。也就是，相似度被设置为1。

相比之下，如果目标块的局部运动向量(LMV)(u1,v1)与近场块的局部运动向量(LMV)(u0,v0)之间的差不满足上述确定表达式(表达式A2)、(表达式B2)中的至少之一，则可以确定这两个局部运动向量(LMV)不是对应于具有可校正的容许旋转角度的单个GMV的相似的局部运动向量(LMV)。

在这种情况下，确定目标块的局部运动向量(LMV)(u1,v1)与近场块的局部运动向量(LMV)(u0,v0)不相似。也就是，相似度被设置为0。

上述相似度确定处理是确定目标块的局部运动向量(LMV)与近场块的局部运动向量(LMV)是否对应于基于与单个局部运动向量(GMV)对应的旋转角度θ的旋转。

将参照图11描述相似度确定处理与图像帧的运动之间的对应关系。

如图11所示，假设作为连续拍摄图像的参考帧图像211和当前帧图像212由于例如手抖而围绕旋转中心220旋转了角度θ。

这里，指向参考帧图像211的两个邻近块231和232的向量被表示为p1和p2。

此外，指向旋转后的当前帧图像212的两个邻近块241和242的向量被表示为q1和q2。

用于将参考帧图像211的坐标位置(x,y)转换成当前帧图像212的对应坐标位置(x',y')的旋转矩阵被表示为R(θ)。

这些参数的关系被如下表示。

q1=R(θ)p1

q2=R(θ)p2

此时，块的局部运动向量(LMV)的期望值是

LMV1=q1-p1，以及

LMV2=q2-p2。

此外，邻近块的局部运动向量(LMV)之间的差值被如下表示。

LMV2-LMV1=(q2-p2)-(q1-p1)

   =(R(θ)-E)(p1-p2)。

应注意，E是单位矩阵。

如上所述，邻近块的局部运动向量(LMV)之间的差值(LMV2-LMV1)可以通过块之间的旋转矩阵R(θ)和位置向量(p1-p2)来表示。

当满足上述表达式(表达式A)、(表达式B)或表达式(表达式A2)、(表达式2B)时，这两个邻近块的局部运动向量(LMV)的差近似于期望值。在这种情况下，这两个邻近块的局部运动向量(LMV)相似。也就是，确定相似度=1。

如上所述，以与关于是否针对每个邻近块计算根据对应于单个全局运动向量(GMV)的旋转的局部运动向量(LMV)的确定相同的处理，来进行关于邻近块的局部运动向量(LMV)是否相似的确定。

目标块的局部运动向量(LMV)或参考近场块的局部运动向量(LMV)可以是根据对应于表示整个屏幕的运动的单个全局运动向量(GMV)的旋转的局部运动向量(LMV)。在这种情况下，这两个块的局部运动向量(LMV)相似，也就是，确定相似度=1。

相比之下，目标块的局部运动向量(LMV)和在其附近的参考块的局部运动向量(LMV)可以不是根据对应于表示整个屏幕的运动的单个全局运动向量(GMV)的旋转的局部运动向量(LMV)。在这种情况下，这两个块的局部运动向量(LMV)不相似，也就是，确定相似度=0。

图12是示出了相似度确定处理的构思的图。

图12示出了作为连续拍摄图像的参考帧图像310和当前帧图像320。

这两个图像是连续拍摄图像，但是通过手抖的作用而被旋转。

在当前帧图像320中设置用于计算局部运动向量(LMV)的块，通过应用上述块匹配处理等来计算对应于各个块的局部运动向量(LMV)。

应注意，块可以被设置为离散地分布在图像中，如附图所示。

首先，在上面参照图3描述的块设置的示例的描述中，无间隔地设置块。然而，如图12所示，通过在块之间设置间隔而将多个块设置为分隔开。

对应于图12所示的当前帧320的目标块321的参考帧310的块是该图中所示的目标块311。

对应于目标块321的局部运动向量(LMV)是(u1,v1)。

此外，对应于当前帧320的近场块322的参考帧310的块是该图所示的近场块312。

对应于近场块322的局部运动向量(LMV)是(u0,v0)。

当这两个向量是根据对应于表示整个屏幕的运动的单个全局运动向量(GMV)的旋转的局部运动向量(LMV)时，这两个块的局部运动向量(LMV)相似，也就是，确定相似度=1。

相比之下，当这两个向量不是根据对应于表示整个屏幕的运动的单个全局运动向量(GMV)的旋转的局部运动向量(LMV)时，这两个块的局部运动向量(LMV)不相似，也就是，确定相似度=0。

[5.基于邻近块的LMV的可靠度和相似度的确定的权重计算处理的示例]

接着，将描述基于邻近块的LMV的可靠度和相似度的确定的权重计算处理的示例。

在上述图9所示的流程的步骤S110，作为计算目标块的权重的处理的示例，描述了基于以下表达式计算目标块的权重的处理的示例。

权重=(under_threshhold_Cnt)/(Reliability_Cnt)

也就是，目标块的权重=(近场块中的等于或小于差阈值的可靠块(可靠度=1)的数目)/(近场块中的可靠块的数目)，

从而在处理的示例中计算目标块的权重。

在下文中，将描述计算目标块的权重的处理的多个示例。

当执行根据图9所示的流程的处理时，对于包括一个目标块和与目标块邻近的八个近场块的九个块，设置对应于这些块的局部运动向量(LMV)的可靠度和相似度。

具体地，如图13所示，对于包括一个目标块和与目标块邻近的八个近场块的九个块，计算相应九个块的局部运动向量(LMV)的可靠度、目标块与八个近场块之间的相似度、以及根据可靠度和相似度生成的确定数据。

在图9所示的流程的步骤S110，图4所示的块权重计算部102计算目标块的权重。

可以通过应用例如以下表达式(表达式C1)、(表达式C2)和(表达式C3)中的任何一个来执行权重计算。

[数字表达式8]

$W=\frac{\underset{i\&Element;\mathrm{mear\; field}}{\mathrm{\&Sigma;}}{S}_i{R}_i}{\underset{i\&Element;\mathrm{near\; field}}{\mathrm{\&Sigma;}}{R}_i}{R}_0$   (表达式C1)

[数字表达式9]

$W=\frac{\underset{i\&Element;\mathrm{mear\; field}}{\mathrm{\&Sigma;}}{S}_i{R}_i}{\underset{i\&Element;\mathrm{near\; field}}{\mathrm{\&Sigma;}}{R}_i}$   (表达式C2)

[数字表达式10]

$W=\frac{\underset{i\&Element;\mathrm{mear\; field}}{\mathrm{\&Sigma;}}{S}_i}{\underset{i\&Element;\mathrm{near\; field}}{\mathrm{\&Sigma;}}{R}_i}$   (表达式C3)

这里，在表达式(表达式C1)至(表达式C3)中，

R0是目标块的可靠度，

Ri是第i个近场(near field)块的可靠度，

Si是目标块与第i个近场块之间的相似度，以及

i是近场块的识别编号i=1至8。

表达式(表达式C1)是通过将目标块的可靠度R0与使下述值的相加结果除以近场块的可靠度Ri的相加值的结果相乘来计算权重W：所述值是通过将目标块与近场块之间的相似度Si与近场块的可靠度Ri相乘而获得的。

表达式(表达式C2)是计算使下述值的相加结果除以近场块的可靠度Ri的相加值的结果作为块权重W：所述值是通过将目标块与近场块之间的相似度Si与近场块的可靠度Ri相乘而获得的。

表达式(表达式C3)是计算将目标块与近场块之间的相似度Si的相加值除以近场块的可靠度Ri的相加值的结果作为块权重W。

在图9所示的流程的步骤S110，图4所示的块权重计算部102通过应用表达式(表达式C1)至(表达式C3)中的任何一个来计算目标块的权重。

此外，在处理示例的上述描述中，通过0和1这两个值来设置可靠度，并且通过0和1这两个值来设置相似度，但是，

例如，

可靠度可以在0≤R≤1内，并且

相似度可以在0≤S≤1内。

如上所述，可以采用下述配置：其中，可以通过将可靠度和相似度设置在0至1的范围内并应用表达式(表达式C1)至(表达式C3)中的任何一个来计算目标块的权重。

如上所述，图4所示的块权重计算部102设置考虑到对应于块的LMV的可靠度以及目标块与近场块的LMV之间的相似度的权重，并将权重输出到图4所示的全局运动向量计算部103。

[6.关于全局运动向量计算部(GME)的处理]

接着，将描述在图4所示的全局运动向量计算部(GME)103中执行的估计全局运动向量(GMV)的处理(GME)。

图4所示的全局运动向量计算部(GME)103输入块权重计算部102计算的块权重以及局部运动向量计算部(LME)101计算的对应于各个块的局部运动向量(LMV)，并基于输入数据计算对应于帧的全局运动向量(GMV)。

首先，如参照图2所描述的，在全局运动向量(GMV)中，当前帧与参考帧之间的对应的相似像素位置(x,y)和(x',y')之间的关系被表示为使用平行移动、旋转、放大、缩小、仿射变换、投影阴影变换等的数据，并且通常单个全局运动向量(GMV)被应用于单个帧图像。

全局运动向量(GMV)的类型包括例如考虑到平行移动(平移)和旋转的三轴(三个自由度)的全局运动向量(GMV)、以及对应于仿射变换的六轴(六个自由度)的全局运动向量(GMV)。

将描述执行估计这两种类型的GMV(GME)的处理的配置。

将参照图14描述全局运动向量(GMV)和GME的定义。

通过以下表达式来定义基于GMV的坐标变换。

[数字表达式11]

${\left[\begin{array}{c}x\\ y\end{array}\right]}_n\&RightArrow;{\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right]}_n$

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right]=\left[\begin{array}{c}{a}_0\\ b_0\end{array}\right]+\left[\begin{array}{cc}{a}_1& a_2\\ b_1& b_2\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$ ···仿射变换

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right]=\left[\begin{array}{c}{a}_0\\ b_0\end{array}\right]+\left[\begin{array}{cc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$ ···平移+旋转

在表达式中表示的仿射变换是在应用上述六轴顺应的全局运动向量(GMV)的情况下的坐标变换。

此外，平移+旋转是在应用三轴顺应的全局运动向量(GMV)的情况下的坐标变换。

例如，当需要顺应诸如编解码器(CODEC)的各种运动时，使用仿射变换(六个自由度)。运动包括平移、旋转、放大和缩小、变形等。

相比之下，平移和旋转(三个自由度)是校正摄像装置的手抖的主导因素。

此外，进行表达式中的参数定义以及对应于各个块n的局部运动向量(LMV)的权重Wn的设置，作为如下设置。

[数字表达式12]

${\left[\begin{array}{c}x\\ y\end{array}\right]}_n$ ：格点

${\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right]}_n$ ：目标面上的对应点

${\left[\begin{array}{c}u\\ v\end{array}\right]}_n$ ：LMV

W_n：基于可靠度的权重

0≤W_n≤1

W_n＝0：不使用对应的LMV

0＜W_n＜1：对应的LMV部分可靠

W_n＝1：对应的LMV可靠并使用

在表达式中，

格点是每个块n的特征点，

n是块的识别编号，

Wn是块n的权重。

最后通过以下表达式来计算具有三个自由度的三轴顺应的全局运动向量(GMV)和具有六个自由度的六轴顺应的全局运动向量(GMV)，如图15所示。

[数字表达式13]

$\mathrm{Cost}=\underset{n}{\mathrm{\&Sigma;}}{W}_n{|{\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right]}_n-({\left[\begin{array}{c}x\\ y\end{array}\right]}_n+{\left[\begin{array}{c}u\\ v\end{array}\right]}_n)|}^2$

0≤W_n≤1

$\mathrm{GMV}=\underset{a,b,\mathrm{\&theta;}}{\arg }\min \mathrm{Cost}({\left[\begin{array}{c}x\\ y\end{array}\right]}_n,{\left[\begin{array}{c}u\\ v\end{array}\right]}_n,\left[\begin{array}{c}a\\ b\end{array}\right],\mathrm{\&theta;})$   ..三轴顺应的GMV

$\mathrm{GMV}=\underset{a_0,a_1,a_2,b_0,b_1,b_2}{\arg }\min \mathrm{Cost}({\left[\begin{array}{c}x\\ y\end{array}\right]}_n,{\left[\begin{array}{c}u\\ v\end{array}\right]}_n,\left[\begin{array}{c}{a}_0\\ b_0\end{array}\right],\left[\begin{array}{cc}{a}_1& a_2\\ b_1& b_2\end{array}\right])$

                        ..六轴顺应的GMV

在表达式中表示的成本(Cost)是在对应于块n的权重Wn与应用于块n的特征点(x,y)和对应的点(x',y')的局部运动向量(LMV)(u,v)的位置之间的平方差的数据之间求和的值。

计算在表达式中表示的三轴顺应的GMV或六轴顺应的GMV的参数以使成本最小化。

三轴顺应的GMV的参数是用于平行移动(平移)和旋转的参数a、b和θ。

六轴顺应的GMV的参数是用于仿射变换的参数a0、a1、a2、b0、b1和b2。

应注意，例如，将最小二乘法应用于计算使成本最小化的参数的处理。

此外，在例如上述PTL1(日本未审查专利申请公开第2009-065332号)中描述了表达式1中表示的计算三轴顺应的全局运动向量(GMV)或六轴顺应的全局运动向量(GMV)的具体处理。

在本申请的配置中计算全局运动向量的处理时，例如，可以应用PTL1（日本未审查专利申请公开第2009-065332号)中公开的方法。

如上所述，在根据本申请计算全局运动向量(GMV)的处理中，按以下处理顺序执行处理。

首先，图4所示的局部运动向量计算部101在图像帧中设置块，从而获得对应于所设置的块的局部运动向量(LMV)。

此外，可以以图3所示的间隔设置块，并且可以将块设置为离散块，所述离散块被设置为分隔开以使得如图11和12所示在块中夹有间隔。

接着，图4所示的块权重计算部102设置考虑了对应于块的LMV的可靠度以及目标块与近场块的LMV之间的相似度的权重，并将权重输出到图4所示的全局运动向量计算部103。

最后，全局运动向量计算部103输入块权重计算部102计算的块权重(Weight)以及局部运动向量计算部(LME)101计算的对应于各个块的局部运动向量(LMV)，并基于这样的输入数据计算对应于帧的全局运动向量(GMV)。

在本申请的处理中，例如，当可靠局部运动向量(LMV)的数目小时，可以关注于相似的局部运动向量(LMV)估计全局运动(GME)。这导致使所计算的全局运动向量(GMV)稳定的效果。

例如，具体地，可靠局部运动向量(LMV)的数目可能过于小，由此可以减少放弃估计全局运动向量(GMV)的情况。

[7.关于图像处理设备的配置示例]

最后，参照图16和17，将描述执行上述处理的图像处理设备的配置示例。

图16是作为成像设备的设备配置的示例。

图16所示的成像设备500具有成像部501、帧存储器502、全局运动向量生成部503、图像校正部504、以及存储部505。

成像部501连续拍摄图像。连续拍摄图像中所包括的拍摄图像520被顺序地存储在帧存储器502中。

例如，在这样的连续拍摄图像中，由于手抖等的作用而导致在图像帧之间产生图像偏差。

全局运动向量生成部503通过应用顺序地存储在帧存储器502中的图像来计算表示整个图像的运动的全局运动向量(GMV)。

全局运动向量生成部503具有上述图4的配置。全局运动向量生成部503通过根据上述图7所示的流程执行处理来计算表示整个图像的运动的全局运动向量(GMV)。

所生成的全局运动向量(GMV)521被输入到图像校正部504。

图像校正部504通过应用全局运动向量生成部503所生成的全局运动向量(GMV)521来生成诸如图像的旋转的图像偏差被校正的校正图像522，并将该图像存储在存储部505中。

应注意，当在图像校正部504中校正旋转图像时，如上所述，从成像部的成像装置输入的像素信息是必要的，并且随着旋转量增大，必要的像素线的数目增加。

如上所述，根据线存储器的数目确定容许旋转量θ。

全局运动向量生成部502的块权重计算部(图4的块权重计算部102)执行关于考虑到根据线存储器的数目确定的容许旋转量θ的、邻近块之间的局部运动向量(LMV)的相似度的确定。

全局运动向量生成部502设置可靠度高且执行相似度确定的块的局部运动向量(LMV)的权重，以使得权重是高的，从而执行计算全局运动向量(GMV)的处理。

如上所述，在本公开的配置中，在与使用运动补偿的手抖校正(手抖稳定器)结合的情况下，根据在校正旋转手抖中可用的线存储器的容积(volume)限度容许旋转角θ，并评估出在θ的范围内相似度具有高值。因而，可以稳定地获得可校正的GMV。

图17示出了作为执行上述图像处理的设备的一个硬件配置示例的个人计算机的硬件配置示例。

中央处理单元(CPU)701根据存储在只读存储器(ROM)702或存储部708中的程序执行各种处理。例如，执行确定上述示例中描述的全局运动向量(GMV)的程序。在随机存取存储器(RAM)703中，适当地存储CPU701执行的程序、数据等。CPU701、ROM702和RAM703经由总线704相互连接。

CPU701经由总线704连接到输入/输出接口705。由键盘、鼠标、麦克风等形成的输入部706以及由显示器、扬声器等形成的输出部707连接到输入/输出接口705。CPU701响应于从输入部706输入的命令执行各种处理，并将处理结果输出到例如输出部707。

连接到输入/输出接口705的存储部708被形成为例如硬盘，并存储CPU701执行的程序和各种数据。通信部709经由网络(诸如因特网或局域网)与外部设备通信。

连接到输入/输出接口705的驱动器710通过驱动诸如磁盘、光盘、磁光盘或半导体存储器的可拆卸介质711来获取所记录的程序、数据等。所获取的程序和数据根据需要被传送给存储部708。

[8.本公开的配置的概述]

参考具体示例，至此已经详细描述了本公开的示例。然而，明显的是，本领域技术人员可以在不脱离本发明的范围的情况下对实施例进行各种修改和替代。也就是，本发明通过示例的方式被公开，而不应被限制性地理解。应参考所附权利要求确定本发明的范围。

应注意，本描述中所公开的技术可以具有以下配置。

(1)一种图像处理设备，包括：

局部运动向量计算部，其将作为帧图像的分割区域的块设置为在所述帧图像中在所述块之间夹有间隔，并计算对应于每个设置的块的运动向量作为局部运动向量(LMV)；

块权重计算部，其把块权重计算为对应于每个块的所述局部运动向量(LMV)的可靠性指标；以及

全局运动向量计算部，其输入所述局部运动向量(LMV)和所述块权重并计算全局运动向量(GMV)，所述全局运动向量(GMV)是所述帧图像中包括的所述多个块的共同运动向量，

其中，所述块权重计算部计算与目标块和与所述目标块邻近的近场块中的每个块对应的所述局部运动向量(LMV)的可靠度、以及所述目标块和每个近场块的所述局部运动向量(LMV)之间的相似度，并通过应用所述可靠度和所述相似度的算术处理来计算所述块权重。

(2)根据(1)所述的图像处理设备，其中，所述块权重计算部提取所述可靠度高的近场块作为可靠近场块，从所述可靠近场块之中提取所述相似度高的相似块，并执行将所述相似块与所述可靠近场块之比设置为所述目标块的权重的处理。

(3)根据(1)或(2)所述的图像处理设备，其中，所述块权重计算部通过应用基于对应于各个块的所述局部运动向量(LMV)而关联的块之间的绝对像素值差之和来计算所述可靠度。

(4)根据(1)至(3)中任一项所述的图像处理设备，其中，所述块权重计算部通过应用基于对应于各个块的所述局部运动向量(LMV)而关联的块的特征点数目或方差来计算所述可靠度。

(5)根据(1)至(4)中任一项所述的图像处理设备，其中，所述块权重计算部通过确定所述目标块和所述近场块的每个局部运动向量(LMV)是否近似于对应于一个全局运动的旋转的运动向量(GMV)，来执行所述相似度的计算。

(6)根据(5)所述的图像处理设备，其中，所述块权重计算部通过在考虑到所述图像处理设备中的图像校正部能够校正旋转的容许旋转角度的情况下确定所述目标块和所述近场块的每个局部运动向量(LMV)是否在所述容许旋转角度内近似于对应于所述全局运动的旋转的运动向量(GMV)，来执行所述相似度的计算。

(7)根据(1)至(6)中任一项所述的图像处理设备，其中，所述块权重计算部通过使所述目标块的可靠度与将下述值的相加的结果除以所述近场块的可靠度的相加值的结果相乘来计算所述块权重：所述值是通过将所述目标块与所述近场块之间的相似度与所述近场块的可靠度相乘而获得的。

(8)根据(1)至(7)中任一项所述的图像处理设备，其中，所述块权重计算部计算将下述值的相加的结果除以所述近场块的可靠度的相加值的结果以作为所述块权重：所述值是通过使所述目标块与所述近场块之间的相似度与近场块的可靠度相乘而获得的。

(9)根据(1)至(8)中任一项所述的图像处理设备，其中，所述块权重计算部计算将所述目标块与所述近场块之间的相似度的相加值除以所述近场块的可靠度的相加值的结果以作为所述块权重。

(10)根据(1)至(9)中任一项所述的图像处理设备，其中，所述全局运动向量计算部通过应用成本计算表达式来计算用于使成本最小化的所述全局运动向量(GMV)的参数，其中对应于各个块的所述局部运动向量(LMV)和各个块权重被应用于所述成本计算表达式。

(11)根据(10)所述的图像处理设备，其中，所述全局运动向量计算部计算考虑了平移和旋转的三轴顺应的全局运动向量的参数、或考虑了仿射变换的六轴顺应的全局运动向量的参数。

此外，本公开的配置还包括在设备和***中执行的处理的方法，执行处理的程序，以及其中记录有程序的记录介质。

本说明书中描述的系列处理可以通过硬件、软件、或硬件和软件的组合配置来执行。当处理通过软件执行时，可以通过将记录处理序列的程序安装到嵌入专用硬件中的计算机内的存储器中，或通过将程序安装到能够执行各种处理的通用计算机中来执行处理。例如，程序可以被预先记录在记录介质上。除了从记录介质被安装在计算机中之外，还可以经由诸如LAN(局域网)或因特网的网络来接收程序，并将程序安装在诸如硬盘的嵌入式记录介质中。

本说明书中描述的各种处理不仅可以按照在描述中出现的顺序时序地执行，还可以根据执行处理的装置的吞吐量并行或单独地或根据需要执行。此外，本说明书中使用的术语***是指多个装置的逻辑装配，并且不限于位于同一壳体内的构成装置的逻辑装配。

工业应用性

如上所述，根据本公开的一个示例的配置，实现用于以高可靠度执行全局运动向量(GMV)的计算的设备和方法。

具体地，计算对应于块的局部运动向量(LMV)以及作为各个块的LMV的可靠性指标的块权重，并且基于块权重计算全局运动向量(GMV)。通过计算对应于目标块和与目标块邻近的近场块中的每个块的局部运动向量(LMV)的可靠度以及目标块与每个近场块之间的局部运动向量(LMV)之间的相似度，借助应用可靠度和相似度的算术处理来计算块权重。

利用本配置，可以以高可靠度高效地计算全局运动向量(GMV)。

附图标记列表

10,11  帧图像

21     运动向量

101    局部运动向量计算部(LME)

102    块权重计算部

103    全局运动向量(GMV)计算部

500    成像设备

501    成像部

502    帧存储器

503    全局运动向量生成部

504    图像校正部

505    存储部

701    CPU

702    ROM

703    RAM

704    总线

705    输入/输出接口

706    输入部

707    输出部

708    存储部

709    通信部

710    驱动器

711    可拆卸介质

Claims (13)

1.一种图像处理设备，包括：

局部运动向量计算部，其将作为帧图像的分割区域的块设置为在所述帧图像中在所述块之间夹有间隔，并计算对应于每个设置的块的运动向量作为局部运动向量(LMV)；

块权重计算部，其把块权重计算为对应于每个块的所述局部运动向量(LMV)的可靠性指标；以及

全局运动向量计算部，其输入所述局部运动向量(LMV)和所述块权重并计算全局运动向量(GMV)，所述全局运动向量(GMV)是所述帧图像中包括的所述多个块的共同运动向量，

其中，所述块权重计算部计算与目标块和与所述目标块邻近的近场块中的每个块对应的所述局部运动向量(LMV)的可靠度、以及所述目标块和每个近场块的所述局部运动向量(LMV)之间的相似度，并通过应用所述可靠度和所述相似度的算术处理来计算所述块权重。

2.根据权利要求1所述的图像处理设备，其中，所述块权重计算部提取所述可靠度高的近场块作为可靠近场块，从所述可靠近场块之中提取所述相似度高的相似块，并执行将所述相似块与所述可靠近场块之比设置为所述目标块的权重的处理。

3.根据权利要求1所述的图像处理设备，其中，所述块权重计算部通过应用基于对应于各个块的所述局部运动向量(LMV)而关联的块之间的绝对像素值差之和来计算所述可靠度。

4.根据权利要求1所述的图像处理设备，其中，所述块权重计算部通过应用基于对应于各个块的所述局部运动向量(LMV)而关联的块的特征点数目或方差来计算所述可靠度。

5.根据权利要求1所述的图像处理设备，其中，所述块权重计算部通过确定所述目标块和所述近场块的每个局部运动向量(LMV)是否近似于对应于一个全局运动的旋转的运动向量(GMV)，来执行所述相似度的计算。

6.根据权利要求5所述的图像处理设备，其中，所述块权重计算部通过在考虑到所述图像处理设备中的图像校正部能够校正旋转的容许旋转角度的情况下确定所述目标块和所述近场块的每个局部运动向量(LMV)是否在所述容许旋转角度内近似于对应于所述全局运动的旋转的运动向量(GMV)，来执行所述相似度的计算。

7.根据权利要求1所述的图像处理设备，其中，所述块权重计算部通过使所述目标块的可靠度与将下述值的相加的结果除以所述近场块的可靠度的相加值的结果相乘来计算所述块权重：所述值是通过将所述目标块与所述近场块之间的相似度与所述近场块的可靠度相乘而获得的。

8.根据权利要求1所述的图像处理设备，其中，所述块权重计算部计算将下述值的相加的结果除以所述近场块的可靠度的相加值的结果以作为所述块权重：所述值是通过使所述目标块与所述近场块之间的相似度与近场块的可靠度相乘而获得的。

9.根据权利要求1所述的图像处理设备，其中，所述块权重计算部计算将所述目标块与所述近场块之间的相似度的相加值除以所述近场块的可靠度的相加值的结果以作为所述块权重。

10.根据权利要求1所述的图像处理设备，其中，所述全局运动向量计算部通过应用成本计算表达式来计算用于使成本最小化的所述全局运动向量(GMV)的参数，其中对应于各个块的所述局部运动向量(LMV)和各个块权重被应用于所述成本计算表达式。

11.根据权利要求10所述的图像处理设备，其中，所述全局运动向量计算部计算考虑了平移和旋转的三轴顺应的全局运动向量的参数、或考虑了仿射变换的六轴顺应的全局运动向量的参数。

12.一种由图像处理设备执行的图像处理方法，所述图像处理方法包括：

局部运动向量计算步骤，其中局部运动向量计算部将作为帧图像的分割区域的块设置为在所述帧图像中在所述块之间夹有间隔，并计算对应于每个设置的块的运动向量作为局部运动向量(LMV)；

块权重计算步骤，其中块权重计算部把块权重计算为对应于每个块的所述局部运动向量(LMV)的可靠性指标；以及

全局运动向量计算步骤，其中全局运动向量计算部输入所述局部运动向量(LMV)和所述块权重并计算全局运动向量(GMV)，所述全局运动向量(GMV)是所述帧图像中包括的所述多个块的共同运动向量，

其中，在所述块权重计算步骤中，所述块权重计算部计算与目标块和与所述目标块邻近的近场块中的每个块对应的所述局部运动向量(LMV)的可靠度、以及所述目标块和每个近场块的所述局部运动向量(LMV)之间的相似度，并通过应用所述可靠度和所述相似度的算术处理来计算所述块权重。

13.一种程序，所述程序使图像处理设备执行图像处理：

局部运动向量计算步骤，使局部运动向量计算部将作为帧图像的分割区域的块设置为在所述帧图像中在所述块之间夹有间隔，并计算对应于每个设置的块的运动向量作为局部运动向量(LMV)；

块权重计算步骤，使块权重计算部把块权重计算为对应于每个块的所述局部运动向量(LMV)的可靠性指标；以及

全局运动向量计算步骤，使全局运动向量计算部输入所述局部运动向量(LMV)和所述块权重并计算全局运动向量(GMV)，所述全局运动向量(GMV)是所述帧图像中包括的所述多个块的共同运动向量，

其中，在所述块权重计算步骤中，通过计算与目标块和与所述目标块邻近的近场块中的每个块对应的所述局部运动向量(LMV)的可靠度、以及所述目标块和每个近场块的所述局部运动向量(LMV)之间的相似度，通过应用所述可靠度和所述相似度的算术处理来计算所述块权重。

Images