CN102722732B - 一种基于数据二阶统计量建模的图像集合匹配方法 - Google Patents

Abstract

本发明提出了一种基于数据二阶统计量建模的图像集合匹配方法，其包括如下步骤：首先，给定待匹配的两个图像集合S₁和S₂，在训练集数据上进行主成分分析得到特征提取投影矩阵，将待匹配的图像样本投影到目标特征子空间中；然后，在目标特征子空间中，建立待匹配的两个图像集合的二阶统计量模型；再后，去除二阶统计量模型中的噪声；最后，计算待匹配的两个图像集合的相似度，依据所述相似度大小完成图像集合的匹配。本发明的图像集合匹配方法对集合数据分布形式与集合样本规模无任何先验假设，对集合中可能存在的噪声数据具有很好的容忍性，算法模型直观高效，计算简便。

Description

一种基于数据二阶统计量建模的图像集合匹配方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于数据二阶统计量建模的图像集合匹配方法。

背景技术

计算机视觉是一门研究如何使机器“看”的科学，计算机视觉的一项重要任务是识别图像或者视频中的物体类别，在传统方法中，针对静态单幅图像中物体类别的识别已有较成熟的研究，近年来，针对视频中的物体识别则引起研究者越来越多的兴趣。随着摄像机和大容量存储设备等硬件技术的普及发展，在很多新的应用场景如视频监控、视频检索等任务中，可以获取到物体的大量图像数据，从而为后端分类问题的训练和测试阶段提供大量的样本，这些样本通常以图像集合的模式进行建模表示。在这类识别问题中，每个集合通常包含属于同一个物体类别的多个图像样本，这些图像涵盖了物体广泛的表观变化模式，比如姿态视角的变化、非刚性变形、光照变化等等。

基于图像集合的分类问题的难点在于，如何有效地刻画与建模集合中多幅图像的分布，并根据所建的模型综合利用多样本提供的信息。近年来，典型的做法主要有两类，分别从参数式与非参数式两个角度对图像集合建模，前者通常利用概率分布函数来表示图像集合的样本分布，进而采用诸如K-L散度(Kullback-Leibler Divergence,KLD)之类的度量来计算两个概率分布函数之间的相似度，后者则根据图像集合中样本的本质变化模式将其建模为线性子空间或者更为一般的非线性流形，基于这种建模方式，集合匹配分类的问题就可以转化为子空间或者流形匹配的问题，从而采用子空间或者流形上的各种可能的相似性度量函数与匹配策略进行分类。总体而言，当前采用的这两类集合建模方法都对图像集合中样本分布的形式有一定程度的假设，而在实际问题中集合样本的来源通常是多种多样的，当与模型所假设的样本分布形式差别较大时，分类效果就会有很大的偏差。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于数据二阶统计量建模的图像集合匹配方法。

为了实现本发明的上述目的，本发明提供了一种基于数据二阶统计量建模的图像集合匹配方法，其包括如下步骤：

S1：给定待匹配的两个图像集合S₁和S₂，在训练集数据上进行主成分分析得到特征提取投影矩阵，将待匹配的图像样本投影到目标特征子空间中；

S2：在所述目标特征子空间中，建立待匹配的两个图像集合的二阶统计量模型；

S3：去除所述二阶统计量模型中的噪声；

S4：计算所述待匹配的两个图像集合的相似度，依据所述相似度大小完成图像集合的匹配。

本发明的图像集合匹配方法对集合数据分布形式与集合样本规模无任何先验假设，对集合中可能存在的噪声数据具有很好的容忍性。本发明可以实现真实应用场景中高精度高稳定性的图像集合/视频序列分类，具有应用到如视频安全监控、视频检索、大规模网络数码相册管理等数字多媒体***中的潜力。

在本发明的一种优选实施例中，取样本集合的协方差矩阵或相关函数矩阵作为两个图像集合的二阶统计量模型。并且对待匹配的两个图像集合对应的滤波二阶统计量模型采用对角线扰动方式去除奇异问题，然后采用黎曼流形上的行列式对数散度计算矩阵的相似度。

本发明的图像集合匹配方法采用集合的样本协方差矩阵或相关函数矩阵作为描述子，自然地刻画数据的分布模式，进一步通过计算在黎曼流形上的矩阵散度来度量两个集合的相似度，完成集合的匹配分类。这种方法对集合样本的分布形式和集合样本的规模均无任何先验假设，算法模型直观高效，计算简便。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明基于数据二阶统计量建模的图像集合匹配方法的流程图；

图2是本发明一种优选实施方式中所采用的图像集合二阶统计量建模方法示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

图1是本发明基于数据二阶统计量建模的图像集合匹配方法的流程图，从图中可见，该图像集合匹配方法包括如下步骤：

首先，进行统计建模，具体是：

第一步：对样本特征进行预处理，给定待匹配的两个图像集合S₁和S₂，在训练集数据上进行主成分分析得到特征提取投影矩阵，将待匹配的图像样本投影到目标特征子空间中，在本实施方式中，进行主成分分析时采用图像样本的灰度值作为原始特征；

第二步：在目标特征子空间中，建立待匹配的两个图像集合的二阶统计量模型，在本实施方式中，取样本集合的协方差矩阵或相关函数矩阵作为两个图像集合的二阶统计量模型；

然后，进行图像集合匹配，具体是：

第三步：去除二阶统计量模型中的噪声，针对上一步得到的原始样本的二阶统计量模型，将其进行特征值分解，将所得的特征值与对应的特征向量按照大小顺序依次排列，设定阈值并对特征值进行滤波，利用高于阈值的特征值与相应的特征向量计算得到新的滤波二阶统计量模型，从而去除原始统计模型中的噪声影响，在本实施方式中，选择将二阶统计量模型的特征值及与其对应的特征向量按照从大到小的顺序排列并滤波；

第四步：计算待匹配的两个图像集合的相似度，依据相似度大小完成图像集合的匹配，对待匹配的两个图像集合对应的滤波二阶统计量模型，首先采用对角线扰动方式去除奇异问题，然后采用黎曼流形上的行列式对数散度计算矩阵的相似度，依据相似度大小取值完成集合匹配分类任务。

在本实施方式中，可以选择任何二级统计量进行建模，具体可以为但不限于样本集合的协方差矩阵或相关函数矩阵，由于选择不同二阶统计量模型时图像集合匹配方法相同，因此，在本发明的一种优选实施方式中，仅以协方差矩阵作为二阶统计量模型为例进行说明，这是为了更好地说明本发明而不能理解为对本发明的限制。

图2是本发明一种优选实施方式中所采用的图像集合二阶统计量建模方法示意图，结合公式说明具体的图像集合匹配方法为：

首先，样本特征预处理，给定两个待匹配的图像集合S₁={x_i:i＝1,2，...,m}和S₂＝{y_j:j=1,2，...,n}，采用图像样本的灰度值作为原始特征，在训练集数据上进行主成分分析得到特征提取投影矩阵，将待匹配的图像样本投影到目标特征子空间中，特征提取公式如下：

x_i′＝Wx_i

y_j′＝Wy_j                                    （1）

其中，W为训练集数据上学习得到的主成分投影矩阵，x_i′,y_j′为特征提取后的样本表示；

然后，建立二阶统计量模型，在上一步所得的特征子空间中，计算图像集合的样本均值向量，对样本进行归一化处理，之后计算样本集的协方差矩阵，作为集合的二阶统计量模型，具体地，针对图像集合S₁和S₂，分别计算其均值向量如下：

${\stackrel{\‾}{x}}^{\′}=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_i^{\′}$

           （2）

${\stackrel{\‾}{y}}^{\′}=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{y}_j^{\′}$

对应的协方差矩阵二阶统计量如下：

$C_1=\frac{1}{m-1}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}(x_i^{\′}-{\stackrel{\‾}{x}}^{\′}){(x_i^{\′}-{\stackrel{\‾}{x}}^{\′})}^T---\left(3\right)$

$C_2=\frac{1}{n-1}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}(y_{\mathrm{ij}}^{\′}-{\stackrel{\‾}{y}}^{\′}){(y_{\mathrm{ij}}^{\′}-{\stackrel{\‾}{y}}^{\′})}^T---\left(4\right)$

再后，针对上一步得到的原始样本协方差矩阵C₁,C₂，将其进行特征值分解，将所得的特征值与对应的特征向量按照从大到小的顺序排列，以矩阵C₁为例，特征分解为：

C₁=U₁∑₁U₁ ^T    （5）

其中，∑₁为取值由大到小排序后的特征值矩阵，U₁为对应的特征向量矩阵。选择一定的阈值δ对特征值矩阵进行滤波，挑选出高于阈值δ的特征值构成对角矩阵∑₁′，其相应的特征向量矩阵提取之后表示为U₁′，计算得到新的滤波协方差矩阵为：

C₁′=U₁′∑₁′U₁′^T    （6）

从而去除原始统计模型中的噪声影响，针对原始协方差矩阵C₂也做同样的去噪声处理得到滤波协方差矩阵为C′₂。

最后，针对待匹配的两个图像集合对应的滤波协方差矩阵C′₁，C′₂，首先采用对角线扰动方式去除奇异问题：

$C_1^{*}=C_1^{\′}+{\mathrm{\λ}}_{1}I---\left(7\right)$

$C_2^{*}=C_2^{\′}+{\mathrm{\λ}}_{2}I---\left(8\right)$

其中，Ｉ为单位矩阵，λ₁=10^-3×trace(C′₁)，λ₂=10^-3×trace(C′₂)。之后采用黎曼流形上的行列式对数散度计算矩阵的相似度，具体如下式：

$d_{\mathrm{ld}}(C_1^{*},C_2^{*})=\mathrm{trace}\left(C_1^{*}{\left(C_2^{*}\right)}^{-1}\right)-\log \left|C_1^{*}{\left(C_2^{*}\right)}^{-1}\right|-p---\left(9\right)$

其中，p为协方差矩阵或协方差矩阵的阶数，即矩阵的行数或列数，依据上述计算得到的相似度大小取值完成集合匹配分类任务。

本实施方式采用集合的样本协方差矩阵作为描述子，自然地刻画数据的分布模式，进一步通过计算在黎曼流形上的矩阵散度来度量两个集合的相似度，完成集合的匹配分类。这种算法模型直观高效，计算简便，并且对集合样本的分布形式和集合样本的规模均无任何先验假设，对集合中可能存在的噪声数据具有很好的容忍性。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (3)

1.一种基于数据二阶统计量建模的图像集合匹配方法，其特征在于，包括如下步骤：

S1：给定待匹配的两个图像集合S₁和S₂，在训练集数据上进行主成分分析得到特征提取投影矩阵，将待匹配的图像样本投影到目标特征子空间中，其中步骤S1具体为：

对样本特征进行预处理，给定两个待匹配的图像集合S₁＝{x_i:i＝1,2,...,m}和S₂＝{y_j:j＝1,2,...,n}，在训练集数据上进行主成分分析得到特征提取投影矩阵，将待匹配的图像样本投影到目标特征子空间中，特征提取公式如下：

x′_i＝Wx_i

y′_j＝Wy_j，

其中，W为训练集数据上学习得到的主成分投影矩阵，x′_i,y′_j为特征提取后的样本表示；

S2：建立二阶统计量模型，在上述所得的特征子空间中，计算图像集合的样本均值向量，对样本进行归一化处理，之后计算样本集的协方差矩阵，作为集合的二阶统计量模型，其具体包括，针对图像集合S₁和S₂，分别计算其均值向量如下：

${\stackrel{\‾}{x}}^{\′}=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_i^{\′}$

${\stackrel{\‾}{y}}^{\′}=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{y}_j^{\′},$

对应的协方差矩阵二阶统计量如下：

$C_1=\frac{1}{m-1}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}(x_i^{\′}-{\stackrel{\‾}{x}}^{\′}){(x_i^{\′}-{\stackrel{\‾}{x}}^{\′})}^T,$

$C_2=\frac{1}{n-1}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}(y_{\mathrm{ij}}^{\′}-{\stackrel{\‾}{y}}^{\′}){(y_{\mathrm{ij}}^{\′}-{\stackrel{\‾}{y}}^{\′})}^T;$

S3：去除所述二阶统计量模型中的噪声，具体包括：

针对得到的原始样本协方差矩阵C₁,C₂，将其进行特征值分解，将所得的特征值与对应的特征向量按照从大到小的顺序排列，以矩阵C₁为例，特征分解为：

C₁＝U₁Σ₁U₁ ^T，

其中，Σ₁为取值由大到小排序后的特征值矩阵，U₁为对应的特征向量矩阵，并选择一定的阈值δ对特征值矩阵进行滤波，挑选出高于阈值δ的特征值构成对角矩阵Σ₁′，其相应的特征向量矩阵提取之后表示为U₁′，计算得到新的滤波协方差矩阵为：

C₁′＝U₁′Σ₁′U₁ ^′T，

从而去除原始统计模型中的噪声影响，针对原始协方差矩阵C₂也做同样的去噪声处理得到滤波协方差矩阵为C′₂；

S4：计算所述待匹配的两个图像集合的相似度，依据所述相似度的大小完成图像集合的匹配，所述待匹配的两个图像集合的相似度的计算方法包括：

针对待匹配的两个图像集合对应的滤波协方差矩阵C′₁，C′₂，首先采用对角线扰动方式去除奇异问题：

$C_1^{*}=C_1^{\′}+{\mathrm{\λ}}_{1}I,$

$C_2^{*}=C_2^{\′}+{\mathrm{\λ}}_{2}I,$

其中，I为单位矩阵，λ₁＝10^-3×trace(C′₁)λ₂＝10^-3×trace(C′₂)，

并采用黎曼流形上的行列式对数散度计算矩阵的相似度，具体如下式：

$d_{\mathrm{ld}}(C_1^{*},C_2^{*})=\mathrm{trace}\left(C_1^{*}{\left(C_2^{*}\right)}^{-1}\right)-\log \left|C_1^{*}{\left(C_2^{*}\right)}^{-1}\right|-p,$

其中，p为协方差矩阵或协方差矩阵的阶数，即矩阵的行数或列数。

2.如权利要求1所述的基于数据二阶统计量建模的图像集合匹配方法，其特征在于，进行主成分分析时采用图像样本的灰度值作为原始特征。

3.如权利要求1所述的基于数据二阶统计量建模的图像集合匹配方法，其特征在于，将二阶统计量模型的特征值及与其对应的特征向量按照从大到小的顺序排列。