CN103632362A - 图像匹配处理方法、装置及*** - Google Patents

Abstract

本发明公开了一种图像块匹配处理方法、装置及***。该方法包括：计算目标图像块的颜色特征矢量，作为第一颜色特征矢量；依次在被查询图像中，选取一个具有所述目标图像块大小的图像块作为被查询图像块，所述被查询图像块具有一个以上，分别计算一个以上被查询图像块的颜色特征矢量，作为第二颜色特征矢量；根据所述第一颜色特征矢量与一个以上被查询图像块的第二颜色特征矢量的相似性度量值，从一个以上被查询图像块中选择一个被查询图像块作为与所述目标图像块相匹配的图像块。本方面所提供的图像匹配方法能够提供图像匹配的鲁棒性，同时降低图像匹配过程的计算量，并且易于实现。

Description

图像匹配处理方法、装置及***

技术领域

本发明涉及多媒体信息处理领域，特别涉及一种图像匹配处理方法、装置及***。

背景技术

随着多媒体信息处理以及图像匹配技术的不断发展，图像匹配技术被广泛地应用到图像识别、图像分析等众多领域。图像匹配技术的目的是在图像块集合中查找与指定的图像块最为相似的图像块。

常用的图像匹配方法分为精确匹配和鲁棒匹配两类。精确匹配方法逐个比对两个图像块的像素点，以比较两个图像块之间的异同。然而，在数字图像或视频帧在进行编码、传输、打印、扫描过程中，常常会引入几何失真和干扰噪声，精确匹配方法的准确性会受到影响，导致匹配准确性下降。针对这一问题，鲁棒匹配方法通过从图像块中提取对上述失真、干扰具有不变性的鲁棒特征，根据鲁棒特征寻找匹配图像块。现有鲁棒匹配方法大致分为基于图像哈希与基于兴趣点检测（Interest Point Detection）两类。

基于图像哈希的鲁棒匹配方法将高维的图像信息以较低维数的特征矢量进行表征，常用特征包括：颜色直方图、PCA系数，DCT/小波系数、统计不变矩等。基于兴趣点检测的方法则通过比对图像中的兴趣点出现的相对位置，从而比较图像块间的相似性。然而，这两类鲁棒匹配方法所需要的特征矢量的维数较高，计算量大，计算复杂度高，不仅需要足够的计算资源，而且无法应用在实时性要求较高的场景中使用，例如，无法在视频处理中需要通过相似块匹配估计运动矢量中使用。

发明内容

根据本发明实施例的一个方面，所要解决的一个技术问题是：提供一种图像匹配处理方法、装置及***，在提供图像匹配方法的鲁棒性的同时，降低图像匹配过程的计算时间。

本发明实施例提供的一种图像匹配处理方法，包括：

计算目标图像块的颜色特征矢量，作为第一颜色特征矢量；

依次在被查询图像中，选取一个具有所述目标图像块大小的图像块作为被查询图像块，所述被查询图像块具有一个以上，分别计算一个以上被查询图像块的颜色特征矢量，作为第二颜色特征矢量；

计算所述第一颜色特征矢量与一个以上被查询图像块的第二颜色特征矢量的相似性度量值；

从一个以上被查询图像块中选择一个被查询图像块作为与所述目标图像块相匹配的图像块。

本发明实施例提供的一种图像匹配处理装置，包括：

第一颜色特征矢量计算单元，用于计算目标图像块的颜色特征矢量，作为第一颜色特征矢量；

第二颜色特征矢量计算单元，依次在被查询图像中，选取一个具有所述目标图像块大小的图像块作为被查询图像块，所述被查询图像块具有一个以上，分别计算一个以上被查询图像块的颜色特征矢量，作为第二颜色特征矢量；

相似性度量值计算单元，用于计算所述第一颜色特征矢量与一个以上被查询图像块的第二颜色特征矢量的相似性度量值；

匹配图像选择单元，用于根据所述相似性度量值，从一个以上被查询图像块中选择一个被查询图像块作为与所述目标图像块相匹配的图像块。

本发明实施例提供的一种图像块匹配处理***，包括：中央处理器CPU、图形处理器GPU；

所述CPU用于计算目标图像块的颜色特征矢量，作为第一颜色特征矢量；根据所述GPU输出的相似性度量值，从一个以上被查询图像块中选择一个被查询图像块作为与所述目标图像块相匹配的图像块。

所述GPU用于依次在被查询图像中，选取一个具有所述目标图像块大小的图像块作为被查询图像块，所述被查询图像块具有一个以上，分别计算一个以上被查询图像块的颜色特征矢量，作为第二颜色特征矢量；计算所述第一颜色特征矢量与一个以上被查询图像块的第二颜色特征矢量的相似性度量值。

基于本发明上述实施例提供的图像块匹配处理方法、装置及***，计算目标图像块的颜色特征矢量作为第一颜色特征矢量，并在目标图像块中选取具有目标图像块大小的图像块作为被查询图像块，计算被查询图像块的颜色特征矢量，作为第二颜色特征矢量，根据第一颜色特征矢量与第二颜色特征矢量的相似性度量值，选择与目标图像块相匹配的图像块。通过采用低维数的颜色特征矢量，不仅提供图像匹配方法的鲁棒性，而且使得图像匹配的计算过程计算量小，计算复杂度低，从而节约了计算资源。同时，由于颜色特征矢量具有较低的维数，便于以纹理形式进行输出，因此，能够利用GPU渲染管线段着色器的并行计算特性进行计算，实现对包括视频帧在内的图像数据进行快速、实时处理，从而可以应用于视频编码，视频去噪，图像配准，图像拷贝检测等需要快速比对图像块相似性的应用场景。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

构成说明书的一部分的附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1示出本发明所提供的图像匹配处理方法一种实施例的流程示意图；

图2示出本发明所提供的图像匹配处理方法一种实施例中，将图像块的每个颜色通道对应的颜色分量图像划分为两个子区域的示意图；

图3示出本发明所提供的图像匹配处理方法一种实施例中，颜色特征矢量对高斯加性噪声的鲁棒性测试的结果示意图；

图4示出本发明所提供的图像匹配处理方法一种实施例中，颜色特征矢量对模糊操作的鲁棒性测试的结果示意图；

图5示出本发明所提供的图像匹配处理方法另一种实施例的流程示意图；

图6示出本发明所提供的图像匹配处理方法一种实施例中，将目标图像块划分为目标图像块子块的示意图；

图7示出本发明所提供的图像匹配处理装置一种实施例的结构示意图；

图8示出本发明所提供的图像匹配处理***一种实施例的结构示意图；

图9示出本发明所提供的图像匹配处理***另一种实施例的结构示意图；

图10示出本发明所提供的图像匹配处理方法选取的目标图像块的位置示意图；

图11示出本发明所提供的图像匹配处理方法所查找到相似性度量值的最大值所对应的被查询图像块位置示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

图像块匹配处理方法

图1示出本发明所提供的图像匹配处理方法一种实施例的流程示意图。参见图1所示，该实施例的图像匹配处理方法包括以下操作：

步骤101，计算目标图像块的颜色特征矢量，作为第一颜色特征矢量。

步骤102，依次在被查询图像中，选取一个具有目标图像块大小的图像块作为被查询图像块，被查询图像块具有一个以上，分别计算一个以上被查询图像块的颜色特征矢量，作为第二颜色特征矢量。

步骤103，计算第一颜色特征矢量与一个以上被查询图像块的第二颜色特征矢量的相似性度量值。

步骤104，从一个以上被查询图像块中选择一个被查询图像块作为与目标图像块相匹配的图像块。

需要说明的是，上述步骤101的操作可先于或者后于步骤102的操作执行，也可以同时执行。另外，在步骤102中，计算不同被查询图像块的颜色特征矢量作为第二颜色特征矢量的操作，可以并行执行。在步骤102、步骤103中，在获得一个被查询图像块的第二颜色特征矢量后，即可开始执行步骤103中计算计算第一颜色特征矢量与该被查询图像块的第二颜色特征矢量的相似性度量值，而不需等待所有的被查询图像块的第二颜色特征矢量计算完成后，再执行步骤103的操作。

上述实施例提供的图像匹配处理方法中，通过采用低维数的颜色特征矢量，不仅提供图像匹配方法的鲁棒性，而且使得图像匹配的计算过程计算量小，计算复杂度低，从而节约了计算资源。

根据本发明图像匹配处理方法实施例的一个具体示例而非限制，图1所示实施例的操作101、102中，目标图像块与被查询图像块中，每个图像块包括三个颜色通道，计算颜色特征矢量可以通过如下方式实现：将图像块的每个颜色通道对应的颜色分量图像划分为两个子区域，分别计算每个颜色分量图像的每个子区域内的颜色分量值之和，分别表示为R₁、R₂、G₁、G₂、B₁、B₂：

$R_1=\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\underset{j=i}{\overset{n}{\mathrm{\Σ}}}{I}_r(i,j),$ $G_1=\underset{j=-n}{\overset{n}{\mathrm{\Σ}}}\underset{i=j}{\overset{n}{\mathrm{\Σ}}}{I}_g(i,j),$ $B_1=\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\underset{j=i}{\overset{n}{\mathrm{\Σ}}}{I}_b(i,j),$

$R_2=\underset{j=-n}{\overset{n}{\mathrm{\Σ}}}\underset{i=j}{\overset{n}{\mathrm{\Σ}}}{I}_r(i,j),$ $G_2=\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\underset{j=i}{\overset{n}{\mathrm{\Σ}}}{I}_g(i,j),$ $B_2=\underset{j=-n}{\overset{n}{\mathrm{\Σ}}}\underset{i=j}{\overset{n}{\mathrm{\Σ}}}{I}_b(i,j)$

以R₁为例，其中，i、j分别为像素点的位置，n为在红色颜色分量图像的第一个子区域内的i、j的取值范围，I_r（i,j）为坐标位置为（i,j）的像素点的红色颜色分量值。R₁为红色颜色分量图像的第一个子区域内的所有像素点的红色颜色分量值之和，R₂为红色颜色分量图像的第二个子区域内的所有像素点的红色颜色分量值之和。

以G₁为例，其中，i、j分别为像素点的位置，n为在绿色颜色分量图像的第一个子区域内的i、j的取值范围，I_g（i,j）为坐标位置为（i,j）的像素点的绿色颜色分量值。G₁为绿色颜色分量图像的第一个子区域内的所有像素点的绿色颜色分量值之和，G₂为绿色颜色分量图像的第二个子区域内的所有像素点的绿色颜色分量值之和。

以B₁为例，其中，i、j分别为像素点的位置，n为在蓝色颜色分量图像的第一个子区域内的i、j的取值范围，I_b（i,j）为坐标位置为（i,j）的像素点的蓝色颜色分量值。B₁为蓝色颜色分量图像的第一个子区域内的所有像素点的蓝色颜色分量值之和，B₂为蓝色颜色分量图像的第二个子区域内的所有像素点的蓝色颜色分量值之和。

颜色特征矢量为4维特征矢量t＝[t₁，t₂，t₃，t₄]^T，其中：

$t_1=\frac{R_1}{R_1+G_1},$ $t_2=\frac{B_1}{B_1+G_1},$ $t_3=\frac{R_2}{R_2+G_2},$ $t_4=\frac{B_2}{B_2+G_2}$

需要说明的是，上述公式为示例性地，本领域技术人员受益于本发明上述思想，可以对上述公式进行类似的变形，例如用G₁、G₂分别替代t₁、t₂中分子中的R₁、R₂，并不影响本发明目的的实现。

可以又不同的方法将图像块的每个颜色通道对应的颜色分量图像划分为两个子区域，例如，按颜色分量图像的对角线，或者按颜色分量图像的水平或垂直平分线将颜色分量图像划分为两个子区域。

图2示出本发明所提供的图像匹配处理方法一种实施例中将图像块的每个颜色通道对应的颜色分量图像划分为两个子区域的示意图。在图2中，从左至右依次为红色R颜色通道对应的红色分量图像、绿色G颜色通道对应的绿色分量图像、蓝色B颜色通道对应的蓝色分量图像的划分示意图。按颜色分量图像的对角线进行划分，可以在具体计算过程中，当图像块尺寸为奇数时避免取整的处理操作，从而在具体实现时提高函数调用的效率。对角线的方向可以为从左上到右下，也可以从左下到右上。如图2所示，将红色分量图像按照从左上到右下的对角线划分为两个子区域，分别计算两个子区域中的红色分量值之和R1、R2。绿色值G₁、G₂、与蓝色分量值B₁、B₂的计算与红色分量值类似。

上述颜色特征矢量同时利用了图像块的颜色信息和和位置信息，因此，对加噪、平滑具有较高的鲁棒性，可以提高在图像块匹配对失真情形下的鲁棒性。

图3、图4分别示出本发明所提供的上述实施例中颜色特征矢量对高斯加性噪声、模糊操作的鲁棒性测试的结果示意图。其中，图3中每一条ROC曲线对应一种峰值信噪比（Peak Signal to Noise Ratio，PSNR）情形下的检测效果，图4中每一条ROC曲线对应一种模糊程度（由高斯核函数参数sigma控制）情形下的检测效果。

下面以对颜色特征矢量高斯加性噪声的鲁棒性测试为例进行说明。

1）从一幅RGB图像中随机抽取一个大小24×24的图像块A，并利用上述颜色特征矢量的计算方法从图像块A中提取特征矢量t_A。

2）向图像块A添加高斯加性噪声得到含噪图像块B，利用上述颜色特征矢量的计算方法从图像块B中提取特征矢量t_B。

3）从该RGB图像中另一个区别于图像块A的位置随机抽取一个大小24×24的图像块，并添加高斯加性噪声得到含噪图像块C，利用上述颜色特征矢量的计算方法从图像块B中提取特征矢量t_C。

4）计算t_A与t_B的相似性度量值s，即两者间的归一化相关系数。计算t_A与t_C的相似性度量值

5）重复步骤1）至步骤4）共N次，分别得到s_i，i=1,2,...,N。

6）图像块B与图像块A位置重合为匹配的图像，因此以s_i为正例，图像块C与图像块A位置不同，不能匹配，因此为反例。画出ROC曲线。该ROC曲线示出了上述颜色特征矢量的检测性能。

图3、图4中ROC曲线表明上述实施例中，颜色特征矢量在相似图像块经过加入高斯加性噪声或模糊操作后，仍能够保持一定的识别率，可见该颜色特征矢量在加入高斯加性噪声或模糊操作后改变较小，具有较好的不变性，从而能够较好的图像匹配的鲁棒性。

图5示出本发明所提供的图像匹配处理方法另一种实施例的流程示意图。参见图5所示，该实施例的图像匹配处理方法包括以下操作：

步骤501，将目标图像块划分为目标图像子块，计算每一个目标图像子块的颜色特征矢量，分别将每个目标图像子块的颜色特征矢量分别作为向量的一个分量，获得第一颜色特征向量。

步骤502，采用将目标图像块划分为目标图像子块的方式，将一个以上被查询图像块划分为被查询图像子块，计算每一个被查询图像子块的颜色特征矢量，分别将每个被查询图像子块的颜色特征矢量分别作为向量的一个分量，获得第二颜色特征向量。

步骤503，计算第一颜色特征向量与一个以上被查询图像块的第二颜色特征向量的相似性度量值。

步骤504，根据相似性度量值，从一个以上被查询图像块中选择一个被查询图像块作为与目标图像块相匹配的图像块。

上述实施例提供的图像匹配处理方法中，将目标图像块与被查询图像块按照相同的方式划分为更小的子块，分别计算目标图像子块与被查询图像子块的颜色特征矢量，以获得两个颜色特征向量，在进行相似性度量值的计算，从而以更细微的图像块单位进行匹配，获得更准确的匹配结果。

示例性地，可以将目标图像块逐一划分为N×N个目标图像子块，N的取值为大于1的整数。对应地，将被查询图像块逐一划分为N×N个目标图像子块，N的取值为大于1的整数。

图6示出本发明所提供的图像匹配处理方法一种实施例中，将目标图像块划分为目标图像块子块的示意图。如图6所示，目标图像块划分为3×3个目标图像块子块。在步骤301中，计算每一个目标图像子块的颜色特征矢量，分别将每个目标图像子块的颜色特征矢量

i＝0,1,...,8分别作为向量的一个分量，获得第一颜色特征向量。第一颜色特征向量具有9个分量，每个分量为一个4维的颜色特征矢量。对应地，每一个被查询图像块按照与目标图像块相同的方式划分为9被查询图像块子块，计算每一个被查询图像子块的颜色特征矢量，分别将每个被查询图像子块的颜色特征矢量分别作为向量的一个分量，获得第二颜色特征向量。

根据本发明图像匹配处理方法实施例的一个具体示例而非限制，在被查询图像中，选取被查询图像块的操作中，一种具体实现方式是以被查询图像的部分或全部象素点为中心，依次在被查询图像中，分别选取一个具有目标图像块大小的图像块作为被查询图像块。从被查询图像中选择被查询图像块进行匹配计算时，可以根据实际的需要，以被查询图像的部分或全部象素点为中心，选取被查询图像块，从而对被查询图像进行部分或全部地遍历。以被查询图像边缘的象素点为中心进行选取时，可以根据边界延拓规则设置超出被查询图像边界的像素点的颜色值。

根据本发明图像匹配处理方法实施例的一个具体示例而非限制，具体根据归一化互相关系数法（Normalized Crosscorrelation Coefficient，NCC）或序贯相似性检测算法（Sequential Similarity DetectionAlgorithm，SSDA）计算相似性度量值。

以NCC为例，相似性度量值根据NCC计算的公式为：

$s_{x,y}=\mathrm{NCC}(t^{*},t_{x,y})=\frac{t_{x,y}^T\·t^{*}}{\left|t^{*}\right|\·\left|t_{x,y}\right|}$

其中，t^*表示第一颜色特征向量，表示被查询图像中中心坐标为(x,y)的被查询图像块第二颜色特征向量，s_x，y表示第一颜色特征向量与中心坐标为(x,y)的被查询图像块第二颜色特征向量的相似性度量值，|t^*|表示对向量t^*取模，

表示向量转置，·表示向量内积。

根据本发明图像匹配处理方法实施例的一个具体示例而非限制，在步骤304中，具体可以先对计算出的一个以上相似性度量值按照数值大小进行排序；选择相似性度量值最大的第二颜色特征向量所对应的被查询图像块作为与目标图像块相匹配的图像块。

根据本发明图像匹配处理方法实施例的一个具体示例而非限制，颜色分量为RGB图像模式的红R、绿G、蓝B颜色分量。虽然RGB图像模式是目前较为常用的图像模式，本领域技术人员受益于本发明上述思想，也可以选择其他具有三个颜色分量的图像模式，基于上述各实施例进行图像匹配处理操作。

另外，目标图像块的图像模式可以为非RGB图像模式，在计算目标图像块的颜色特征矢量之前，该方法还包括：将目标图像块由非RGB图像模式转换为RGB图像模式。类似地，被查询图像块的图像模式为非RGB图像模式，在计算被查询图像块的颜色特征矢量之前，该方法还包括：将被查询图像块由非RGB图像模式转换为RGB图像模式。

具有其他颜色分量的图像模式与RGB图像模式之间可以进行转换，具体的转换方法为本领域技术人员所熟知的，例如转换YCbCr图像模式到RGB图像模式。

图像块匹配处理装置

图7示出本发明所提供的图像匹配处理装置一种实施例的结构示意图。如图7所示，该图像块匹配处理装置实施例包括：第一颜色特征矢量计算单元701、第二颜色特征矢量计算单元702、相似性度量值计算单元703以及匹配图像选择单元704。

第一颜色特征矢量计算单元701用于计算目标图像块的颜色特征矢量，作为第一颜色特征矢量。

第二颜色特征矢量计算单元702用于依次在被查询图像中，选取一个具有目标图像块大小的图像块作为被查询图像块，被查询图像块具有一个以上，分别计算一个以上被查询图像块的颜色特征矢量，作为第二颜色特征矢量。

相似性度量值计算单元703用于计算第一颜色特征矢量与一个以上被查询图像块的第二颜色特征矢量的相似性度量值。

匹配图像选择单元704用于根据相似性度量值从一个以上被查询图像块中选择一个被查询图像块作为与目标图像块相匹配的图像块。

根据本发明图像匹配处理装置实施例的一个具体示例而非限制，第一颜色特征矢量计算单元701包括颜色特征矢量计算模块，用于计算第一颜色特征矢量计算；第二颜色特征矢量计算单元702包括颜色特征矢量计算模块，用于计算第二颜色特征矢量计算。

第一颜色特征矢量计算单元701、第二颜色特征矢量计算单元702各自包括颜色特征矢量计算模块，分别针对目标图像块计算第一颜色特征矢量、针对被查询图像块计算第二颜色特征矢量。

目标图像块与被查询图像块中，每个图像块包括三个颜色通道，颜色特征矢量计算模块将图像块的每个颜色通道对应的颜色分量图像划分为两个子区域，分别计算每个颜色分量图像的每个子区域内的颜色分量值之和，分别表示为R₁、R₂、G₁、G₂、B₁、B₂：

$R_1=\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\underset{j=i}{\overset{n}{\mathrm{\Σ}}}{I}_r(i,j),$ $G_1=\underset{j=-n}{\overset{n}{\mathrm{\Σ}}}\underset{i=j}{\overset{n}{\mathrm{\Σ}}}{I}_g(i,j),$ $B_1=\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\underset{j=i}{\overset{n}{\mathrm{\Σ}}}{I}_b(i,j),$

$R_2=\underset{j=-n}{\overset{n}{\mathrm{\Σ}}}\underset{i=j}{\overset{n}{\mathrm{\Σ}}}{I}_r(i,j),$ $G_2=\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\underset{j=i}{\overset{n}{\mathrm{\Σ}}}{I}_g(i,j),$ $B_2=\underset{j=-n}{\overset{n}{\mathrm{\Σ}}}\underset{i=j}{\overset{n}{\mathrm{\Σ}}}{I}_b(i,j)$

其中，i、j分别为像素点的位置。

颜色特征矢量为4维特征矢量t=[t₁，t₂，t₃，t₄]^T，其中：

$t_1=\frac{R_1}{R_1+G_1},$ $t_2=\frac{B_1}{B_1+G_1},$ $t_3=\frac{R_2}{R_2+G_2},$ $t_4=\frac{B_2}{B_2+G_2};$

颜色特征矢量计算模块可以按颜色分量图像的对角线，或者按颜色分量图像的水平或垂直平分线将颜色分量图像划分为两个子区域。

根据本发明图像匹配处理装置实施例的一个具体示例而非限制，第一颜色特征矢量计算单元701具体用于将目标图像块划分为目标图像子块，颜色特征矢量计算模块计算每一个目标图像子块的颜色特征矢量，分别将每个目标图像子块的颜色特征矢量分别作为向量的一个分量，获得第一颜色特征向量；第二颜色特征矢量计算单元702具体用于采用将目标图像块划分为目标图像子块的方式，将一个以上被查询图像块划分为被查询图像子块，颜色特征矢量计算模块计算每一个被查询图像子块的颜色特征矢量，分别将每个被查询图像子块的颜色特征矢量分别作为向量的一个分量，获得第二颜色特征向量；相似性度量值计算单元703，具体用于计算第一颜色特征向量与一个以上被查询图像块的第二颜色特征向量的相似性度量值。

第一颜色特征矢量计算单元701，可以将目标图像块逐一划分为N×N个目标图像子块，N的取值为大于1的整数；对应地，第二颜色特征矢量计算单元702，可以将一个以上被查询图像块逐一划分为N×N个目标图像子块，N的取值为大于1的整数。

第二颜色特征矢量计算单元702可以被查询图像的部分或全部象素点为中心，依次在被查询图像中，分别选取一个具有目标图像块大小的图像块作为被查询图像块。

相似性度量值计算单元703可以根据NCC或SSDA计算相似性度量值。一种NCC计算相似性度量值的公式为：

$s_{x,y}=\mathrm{NCC}(t^{*},t_{x,y})=\frac{t_{x,y}^T\·t^{*}}{\left|t^{*}\right|\·\left|t_{x,y}\right|}$

其中，t^*表示第一颜色特征向量，表示被查询图像中中心坐标为(x,y)的被查询图像块第二颜色特征向量，s_x，y表示第一颜色特征向量与中心坐标为(x,y)的被查询图像块第二颜色特征向量的相似性度量值，|t^*|表示对向量t^*取模，表示向量转置，·表示向量内积。

匹配图像选择单元704还可以对相似性度量值计算单元703计算出的一个以上相似性度量值按照数值大小进行排序，选择相似性度量值最大的第二颜色特征向量所对应的被查询图像块作为与目标图像块相匹配的图像块。

根据本发明图像匹配处理装置实施例的一个具体示例而非限制，颜色分量为RGB图像模式的红R、绿G、蓝B颜色分量。

根据本发明图像匹配处理装置实施例的一个具体示例而非限制，目标图像块与被查询图像块的图像模式为非RGB图像模式，该装置还包括：图像模式转换单元，用于在计算目标图像块的颜色特征矢量之前将目标图像块由非RGB图像模式转换为RGB图像模式；在计算被查询图像块的颜色特征矢量之前，将被查询图像块由非RGB图像模式转换为RGB图像模式。

图像块匹配处理***

图8示出本发明所提供的图像匹配处理***一种实施例的组成示意图。如图8所示，一种图像块匹配处理***包括：中央处理器（CPU）801、图形处理器（Graphic Processing Unit，GPU）802。

CPU801用于计算目标图像块的颜色特征矢量，作为第一颜色特征矢量；根据GPU802输出的相似性度量值，从一个以上被查询图像块中选择一个被查询图像块作为与目标图像块相匹配的图像块。

GPU802用于依次在被查询图像中，选取一个具有目标图像块大小的图像块作为被查询图像块，被查询图像块具有一个以上，分别计算一个以上被查询图像块的颜色特征矢量，作为第二颜色特征矢量；计算第一颜色特征矢量与一个以上被查询图像块的第二颜色特征矢量的相似性度量值。

图9示出本发明所提供的图像匹配处理***另一种实施例的组成示意图。如图9所示，该图像匹配处理***中：CPU801计算目标图像块的颜色特征矢量，作为第一颜色特征矢量。

GPU802接收CPU801输出的第一颜色特征矢量，将第一颜色特征矢量设置为片段着色器的统一uniform变量；将被查询图像设定为纹理数据；片段着色器对纹理数据的象素点进行渲染，具体地，计算被查询图像块的颜色特征矢量，作为第二颜色特征矢量，计算第一颜色特征矢量与一个以上被查询图像块的第二颜色特征矢量的相似性度量值，将相似度量值以被查询图像的纹理形式输出表示。

CPU801根据GPU802输出的相似性度量值，从一个以上被查询图像块中选择一个被查询图像块作为与目标图像块相匹配的图像块。更具体地，CPU801还可以对相似度量值进行排序；选择相似性度量值最大的第二颜色特征矢量所对应的被查询图像块作为与目标图像块相匹配的图像块。

与前述方法实施例相对应，CPU801、GPU802还可以分别对目标图像块与被查询图像块进行划分，对应地，分别计算第一颜色特征向量与被查询图像块的第二颜色特征向量，以及由CPU801计算两个向量的相似性度量值。

以具体的一个示例来说明本发明所提供的图像匹配方法，其中的某些步骤例如下面所介绍示例中的步骤1）并非必须的。图10示出本发明所提供的图像匹配处理方法选取的目标图像块的位置示意图。参见图10所示，被查询图像I_in为一幅512×768的彩色图像，以被查询图像块中的一块尺寸为24×24象素坐标位于（300，400）处的图像块I_blk为目标图像块。图10中用方框标出了所选取的目标图像块。图像匹配处理的目标是在被查询图像I_in中查询与目标图像块I_blk最为近似的图像块，根据本方面图像匹配方法的一种实施例，具体步骤为：

1)将I_blk，I_in转换为RGB图像模式，例如，对于JPEG图像需要从YCbCr颜色空间转换至RGB颜色空间；

2)利用CPU计算目标图像块I_blk的4维颜色特征矢量t^*，作为第一颜色特征矢量；

3)将t^*绑定为GPU的uniform变量；

4)将被查询图像I_in作为纹理数据输入GPU；

5)使用GPU片段着色器对被查询图像I_in进行处理，并将结果以纹理形式输出，得到输出图像I_out，I_out为512x768的灰度图像（取值范围0-255），其中，片段着色器进行处理的具体方法为：从被查询图像I_in的每一个像素位置(x,y)获取尺寸为24×24的图像块作为被查询图像块，计算每一个被查询图像块的4维颜色特征矢量t_x，y，作为第二颜色特征矢量。计算第一颜色特征矢量t^*分别与第二颜色特征矢量t_x，y间的归一化相关系数作为图像块的相似性度量值s_x，y，并赋值给对应I_out(x,y)的纹理数据，并且段着色器对被查询图像I_in中的每一点的处理可以是并行进行的。以下为使用GPU片段着色器对被查询图像I_in进行处理的图像库着色语言（Graphics Library Shader language，GSLS）伪代码描述：

6)通过CPU对输出的相似性度量值s_x，y进行排序，选择相似性度量值最大值所对应的被查询图像块，为与目标图像块相似度最高的图像块作为输出。

图11示出本发明所提供的图像匹配处理方法所查找到相似性度量值的最大值所对应的被查询图像块位置示意图。如图11中用圆圈框所示，相似性度量值的最大值所对应的被查询图像块位置坐标为（300，400），表明实现了准确的图像匹配。CPU具体可以通过本发明上述实施例中的第一颜色特征矢量计算单元、匹配图像选择单元来实现。GPU具体可以通过本发明上述实施例中的第二颜色特征矢量计算单元、相似性度量值计算单元来实现。

基于本发明上述实施例提供的图像块匹配处理***，较低维数的颜色特征矢量具有计算量小，便于利用GPU纹理形式输出的特点。现有技术中实现鲁棒匹配的方法需要进行整数计算以及分支判断，因此，不利于基于GPU软硬件架构进行并行计算。而本发明所提供的图像匹配处理方法、装置和***易于采用GPU处理器的软硬件架构进行实现，特别地，采用统一渲染管线的GPU进行编程实现，从而充分利用了GPU片段着色器的并行计算的特性，实现对包括视频帧在内的图像进行实时处理，能够被应用于视频编码，视频去噪，图像配准，图像拷贝检测等需要快速比对图像块相似性的应用场景。

至此，已经详细描述了根据本发明的一种图像匹配处理方法、装置及***。为了避免遮蔽本发明的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于装置、***实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本发明的图像匹配处理方法、装置及***。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和***。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (24)

1.一种图像块匹配处理方法，其特征在于，该方法包括：

计算目标图像块的颜色特征矢量，作为第一颜色特征矢量；

依次在被查询图像中，选取一个具有所述目标图像块大小的图像块作为被查询图像块，所述被查询图像块具有一个以上，分别计算一个以上被查询图像块的颜色特征矢量，作为第二颜色特征矢量；

计算所述第一颜色特征矢量与一个以上被查询图像块的第二颜色特征矢量的相似性度量值；

根据所述相似性度量值，从一个以上被查询图像块中选择一个被查询图像块作为与所述目标图像块相匹配的图像块。

2.根据权利要求1所述的方法，其特征在于，计算所述颜色特征矢量包括：

目标图像块与被查询图像块中，每个图像块包括三个颜色通道，将所述图像块的每个颜色通道对应的颜色分量图像划分为两个子区域，分别计算每个颜色分量图像的每个子区域内的颜色分量值之和，分别表示为R₁、R₂、G₁、G₂、B₁、B₂；

所述颜色特征矢量为4维特征矢量t＝[t₁，t₂，t₃，t₄]^T，其中：

$t_1=\frac{R_1}{R_1+G_1},$ $t_2=\frac{B_1}{B_1+G_1},$ $t_3=\frac{R_2}{R_2+G_2},$ $t_4=\frac{B_2}{B_2+G_2}.$

3.根据权利要求2所述的方法，其特征在于，所述将所述图像块的每个颜色通道对应的颜色分量图像划分为两个子区域，包括：

按所述颜色分量图像的对角线，或者按所述颜色分量图像的水平或垂直平分线将所述颜色分量图像划分为两个子区域。

4.根据权利要求3所述的方法，其特征在于，所述计算目标图像块的颜色特征矢量，包括：

将所述目标图像块划分为目标图像子块，计算每一个目标图像子块的颜色特征矢量，分别将每个目标图像子块的颜色特征矢量分别作为向量的一个分量，获得第一颜色特征向量；

所述分别计算一个以上被查询图像块的颜色特征矢量，作为第二颜色特征矢量，包括：

采用将所述目标图像块划分为目标图像子块的方式，将所述一个以上被查询图像块划分为被查询图像子块，计算每一个被查询图像子块的颜色特征矢量，分别将每个被查询图像子块的颜色特征矢量分别作为向量的一个分量，获得第二颜色特征向量；

所述计算所述第一颜色特征向量与一个以上被查询图像块的第二颜色特征向量的相似性度量值，包括：

计算所述第一颜色特征向量与一个以上被查询图像块的第二颜色特征向量的相似性度量值。

5.根据权利要求4所述的方法，其特征在于，所述将所述目标图像块划分为目标图像子块，包括：

将所述目标图像块划分为N×N个目标图像子块，N的取值为大于1的整数；

所述将所述一个以上被查询图像块划分为被查询图像子块，包括：

将所述一个以上被查询图像块逐一划分为N×N个目标图像子块，N的取值为大于1的整数。

6.根据权利要求5所述的方法，其特征在于，所述依次在被查询图像中，选取一个具有所述目标图像块大小的图像块作为被查询图像块，包括：

以所述被查询图像的部分或全部象素点为中心，依次在所述被查询图像中，分别选取一个具有所述目标图像块大小的图像块作为被查询图像块。

7.根据权利要求1所述的方法，其特征在于，具体根据归一化互相关系数法NCC或序贯相似性检测算法SSDA计算相似性度量值。

8.根据权利要求7所述的方法，其特征在于，所述相似性度量值根据NCC计算，计算公式为：

$s_{x,y}=\mathrm{NCC}(t^{*},t_{x,y})=\frac{t_{x,y}^T\·t^{*}}{\left|t^{*}\right|\·\left|t_{x,y}\right|}$

其中，t^*表示第一颜色特征向量，

表示被查询图像中中心坐标为(x,y)的被查询图像块第二颜色特征向量，s_x，y表示第一颜色特征向量与中心坐标为(x,y)的被查询图像块第二颜色特征向量的相似性度量值，|t^*|表示对向量t^*取模，

表示向量转置，·表示向量内积。

9.根据权利要求4所述的方法，其特征在于，所述从一个以上被查询图像块中选择一个所述被查询图像块作为与所述目标图像块相匹配的图像块，包括：

对计算出的一个以上相似性度量值按照数值大小进行排序；

选择相似性度量值最大的第二颜色特征向量所对应的被查询图像块作为与所述目标图像块相匹配的图像块。

10.根据权利要求1所述的方法，其特征在于，所述颜色分量为RGB图像模式的红R、绿G、蓝B颜色分量。

11.根据权利要求1所述的方法，其特征在于，所述目标图像块的图像模式为非RGB图像模式，在计算目标图像块的颜色特征矢量之前，还包括：将所述目标图像块由非RGB图像模式转换为RGB图像模式；

所述被查询图像块的图像模式为非RGB图像模式，在计算被查询图像块的颜色特征矢量之前，还包括：将所述被查询图像块由非RGB图像模式转换为RGB图像模式。

12.一种图像块匹配处理装置，其特征在于，所述装置包括：

第一颜色特征矢量计算单元，用于计算目标图像块的颜色特征矢量，作为第一颜色特征矢量；

第二颜色特征矢量计算单元，依次在被查询图像中，选取一个具有所述目标图像块大小的图像块作为被查询图像块，所述被查询图像块具有一个以上，分别计算一个以上被查询图像块的颜色特征矢量，作为第二颜色特征矢量；

相似性度量值计算单元，用于计算所述第一颜色特征矢量与一个以上被查询图像块的第二颜色特征矢量的相似性度量值；

匹配图像选择单元，用于根据所述相似性度量值，从一个以上被查询图像块中选择一个被查询图像块作为与所述目标图像块相匹配的图像块。

13.根据权利要求12所述的装置，其特征在于，所述第一颜色特征矢量计算单元包括颜色特征矢量计算模块，用于计算第一颜色特征矢量计算；

所述第二颜色特征矢量计算单元包括颜色特征矢量计算模块，用于计算第二颜色特征矢量计算；

目标图像块与被查询图像块中，每个图像块包括三个颜色通道，所述颜色特征矢量计算模块将所述图像块的每个颜色通道对应的颜色分量图像划分为两个子区域，分别计算每个颜色分量图像的每个子区域内的颜色分量值之和，分别表示为R₁、R₂、G₁、G₂、B₁、B₂；

所述颜色特征矢量为4维特征矢量t＝[t₁，t₂，t₃，t₄]^T，其中：

$t_1=\frac{R_1}{R_1+G_1},$ $t_2=\frac{B_1}{B_1+G_1},$ $t_3=\frac{R_2}{R_2+G_2},$ $t_4=\frac{B_2}{B_2+G_2}.$

14.根据权利要求13所述的装置，其特征在于，所述颜色特征矢量计算模块按所述颜色分量图像的对角线，或者按所述颜色分量图像的水平或垂直平分线将所述颜色分量图像划分为两个子区域。

15.根据权利要求14所述的装置，其特征在于，所述第一颜色特征矢量计算单元，具体用于将所述目标图像块划分为目标图像子块，所述颜色特征矢量计算模块计算每一个目标图像子块的颜色特征矢量，分别将每个目标图像子块的颜色特征矢量分别作为向量的一个分量，获得第一颜色特征向量；

第二颜色特征矢量计算单元，具体用于采用将所述目标图像块划分为目标图像子块的方式，将所述一个以上被查询图像块划分为被查询图像子块，所述颜色特征矢量计算模块计算每一个被查询图像子块的颜色特征矢量，分别将每个被查询图像子块的颜色特征矢量分别作为向量的一个分量，获得第二颜色特征向量；

所述相似性度量值计算单元，具体用于计算所述第一颜色特征向量与一个以上被查询图像块的第二颜色特征向量的相似性度量值。

16.根据权利要求15所述的装置，其特征在于，所述第一颜色特征矢量计算单元，具体用于将所述目标图像块划分为N×N个目标图像子块，N的取值为大于1的整数；

所述第二颜色特征矢量计算单元，具体用于将所述一个以上被查询图像块逐一划分为N×N个目标图像子块，N的取值为大于1的整数。

17.根据权利要求16所述的装置，其特征在于，所述第二颜色特征矢量计算单元，具体用于以所述被查询图像的部分或全部象素点为中心，依次在所述被查询图像中，分别选取一个具有所述目标图像块大小的图像块作为被查询图像块。

18.根据权利要求12所述的装置，其特征在于，所述相似性度量值计算单元具体根据NCC或SSDA计算相似性度量值。

19.根据权利要求18所述的装置，其特征在于，所述相似性度量值计算单元根据NCC计算相似性度量值，计算公式为：

$s_{x,y}=\mathrm{NCC}(t^{*},t_{x,y})=\frac{t_{x,y}^T\·t^{*}}{\left|t^{*}\right|\·\left|t_{x,y}\right|}$

其中，t^*表示第一颜色特征向量，

表示以被查询图像中中心坐标为(x,y)的被查询图像块第二颜色特征向量，s_x，y表示第一颜色特征向量与以中心坐标为(x,y)的被查询图像块第二颜色特征向量的相似性度量值，|t^*|表示对向量t^*取模，

表示向量转置，·表示向量内积。

20.根据权利要求15所述的装置，其特征在于，所述匹配图像选择单元，对计算出的一个以上相似性度量值按照数值大小进行排序；选择相似性度量值最大的第二颜色特征向量所对应的被查询图像块作为与所述目标图像块相匹配的图像块。

21.根据权利要求12所述的装置，其特征在于，所述颜色分量为RGB图像模式的红R、绿G、蓝B颜色分量。

22.根据权利要求12所述的装置，其特征在于，所述目标图像块与被查询图像块的图像模式为非RGB图像模式，所述装置还包括：图像模式转换单元，用于在计算目标图像块的颜色特征矢量之前将所述目标图像块由非RGB图像模式转换为RGB图像模式；在计算被查询图像块的颜色特征矢量之前，将所述被查询图像块由非RGB图像模式转换为RGB图像模式。

23.一种图像块匹配处理***，其特征在于，包括：中央处理器CPU、图形处理器GPU；

所述CPU用于计算目标图像块的颜色特征矢量，作为第一颜色特征矢量；根据所述GPU输出的相似性度量值，从一个以上被查询图像块中选择一个被查询图像块作为与所述目标图像块相匹配的图像块；

所述GPU用于依次在被查询图像中，选取一个具有所述目标图像块大小的图像块作为被查询图像块，所述被查询图像块具有一个以上，分别计算一个以上被查询图像块的颜色特征矢量，作为第二颜色特征矢量；计算所述第一颜色特征矢量与一个以上被查询图像块的第二颜色特征矢量的相似性度量值。

24.根据权利要求23所述的***，其特征在于，所述GPU具体用于接收所述CPU输出的所述第一颜色特征矢量，将所述第一颜色特征矢量设置为片段着色器的统一uniform变量；将所述被查询图像设定为纹理数据；片段着色器对所述纹理数据的象素点进行渲染计算，计算被查询图像块的颜色特征矢量，作为第二颜色特征矢量，计算所述第一颜色特征矢量与一个以上被查询图像块的第二颜色特征矢量的相似性度量值，将所述相似度以所述被查询图像的纹理形式输出表示。

Images