CN105205497A - 一种基于局部pca白化的图像表示方法和处理装置 - Google Patents

Abstract

一种基于局部PCA白化的图像表示方法和处理装置，其中，第一映射模块将单词和特征映射到一个高维度空间；主成分分析模块在对应的每个单词空间中进行主成分分析，得到投影矩阵；VLAD计算模块计算VLAD图像表示向量；第二映射模块将所述VLAD图像表示向量映射到所述高维度空间中；投影变换模块将投影得到的VLAD图像表示向量进行投影变换；归一化处理模块将投影变换得到的特征进行归一化，得到最后的图像表示向量。对于得到的图像表示向量，首先将其投影到一个高维度空间中，然后对提前计算好的投影矩阵，对每个单词对应向量进行投影变换，得到一个低维度的向量，这样使得每个单词对应的向量是一致的。该方法和处理装置具有更好的鲁棒性和更高的性能。

Description

一种基于局部PCA白化的图像表示方法和处理装置

技术领域

本申请涉及图像处理领域，具体涉及一种基于局部PCA(PrincipalComponentAnalysis，主成分分析)白化的图像表示方法和处理装置。

背景技术

在计算机视觉研究中，图像表示是一个非常基本的内容。无论是对于图像分类、图像检索或是物体识别，都需要对图像做一个抽象的表示。目前，VLAD(vectoroflocallyaggregateddescriptors，局部特征聚合描述符)图像表示方法在很多研究中得到了运用。

对于原始的VLAD方法，首先在一个数据集上用K-means算法构建词典：

C＝{c₁，c₂，...，c_k}

其中，c_k为词典中的单词。对于每张图片，首先采取局部特征，通常采用SIFT(Scale-invariantfeaturetransform，尺度不变特征变换)特征，得到该图片对应的一个特征集合：

I＝{x₁，x₂，...，x_m}

其中，x_m为特征集合中的特征。然后计算每个特征到词典中单词的距离，并将该特征赋给最近的单词。最后，对于每个单词对应的所有特征，做如下计算：

$v_i=\underset{x_j\∈I:q\left(x\right)=c_i}{\Σ}{x}_j-c_i$

其中q(x)＝c_i表示特征x最近的单词是c_i，v_i则是第i个单词对应的向量，将所有单词对应向量连接起来就得到了最后的VLAD表示。

然而，对于VLAD图像表示方法，对于每个单词对应的特征冗余以及噪声消除问题一直尚未解决，其性能有待提高。

发明内容

根据本申请的第一方面，本申请提供了一种基于局部PCA白化的图像表示方法，包括：

构造词典，将每个特征赋给相应的单词，将单词和特征映射到一个高维度空间，所述高维度空间的维度高于单词和特征的当前空间的维度；

在对应的每个单词空间中进行主成分分析，得到投影矩阵；

根据所述词典计算VLAD图像表示向量；

将所述VLAD图像表示向量映射到所述高维度空间中；

根据所述投影矩阵将投影得到的VLAD图像表示向量进行投影变换；

将投影变换得到的特征进行归一化，得到最后的图像表示向量。

根据本申请的第二方面，本申请提供了一种基于局部PCA白化的图像表示处理装置，包括：

第一映射模块，用于构造词典，将每个特征赋给相应的单词，将单词和特征映射到一个高维度空间，所述高维度空间的维度高于单词和特征的当前空间的维度；

主成分分析模块，用于在对应的每个单词空间中进行主成分分析，得到投影矩阵；

VLAD计算模块，用于根据所述词典计算VLAD图像表示向量；

第二映射模块，用于将所述VLAD图像表示向量映射到所述高维度空间中；

投影变换模块，用于根据所述投影矩阵将投影得到的VLAD图像表示向量进行投影变换；

归一化处理模块，用于将投影变换得到的特征进行归一化，得到最后的图像表示向量。

本申请提供的基于局部PCA白化的图像表示方法和处理装置，其中，第一映射模块构造词典，将每个特征赋给相应的单词，将单词和特征映射到一个高维度空间；主成分分析模块在对应的每个单词空间中进行主成分分析，得到投影矩阵；VLAD计算模块根据所述词典计算VLAD图像表示向量；第二映射模块将所述VLAD图像表示向量映射到所述高维度空间中；投影变换模块根据所述投影矩阵将投影得到的VLAD图像表示向量进行投影变换；归一化处理模块将投影变换得到的特征进行归一化，得到最后的图像表示向量。对于得到的图像表示向量，首先将其投影到一个高维度空间中，然后对提前计算好的投影矩阵，对每个单词对应向量进行投影变换，得到一个低维度的向量，这样使得每个单词对应的向量是一致的。该方法和处理装置具有更好的鲁棒性和更高的性能。

附图说明

图1为本申请一种实施例中基于局部PCA白化的图像表示处理装置的模块示意图；

图2为本申请一种实施例中基于局部PCA白化的图像表示方法的流程示意图；

图3为在K-means聚类产生的不同单词空间中，特征的分布示意图；

图4为在Holidays数据集上不同词典大小的不同方法的比较结果；

图5为在UKbench数据集上不同词典大小的不同方法的比较结果；

图6为在Holidays数据集上不同词典大小下使用局部PCA白化和未使用局部PCA白化的比较结果；

图7为在UKbench数据集上不同词典大小下使用局部PCA白化和未使用局部PCA白化的比较结果。

具体实施方式

下面通过具体实施方式结合附图对本申请作进一步详细说明。

本实施例提供了一种基于局部PCA白化的图像表示方法和处理装置。

请参考图1，基于局部PCA白化的图像表示处理装置包括第一映射模块101、主成分分析模块102、VLAD计算模块103、第二映射模块104、投影变换模块105和归一化处理模块106。

第一映射模块101用于构造词典，将每个特征赋给相应的单词，将单词和特征映射到一个高维度空间，高维度空间的维度高于单词和特征的当前空间的维度。

主成分分析模块102用于在对应的每个单词空间中进行主成分分析，得到投影矩阵。

VLAD计算模块103用于根据词典计算VLAD图像表示向量。

第二映射模块104用于将VLAD图像表示向量映射到高维度空间中。

投影变换模块105用于根据投影矩阵将投影得到的VLAD图像表示向量进行投影变换。

归一化处理模块106用于将投影变换得到的特征进行归一化，得到最后的图像表示向量。

为了更好地对本申请进行说明，下面将基于局部PCA白化的图像表示方法及其处理装置相结合，对本申请进行说明。

请参考图2，基于局部PCA白化的图像表示方法包括下面步骤：

步骤1.1：第一映射模块101构造词典，将每个特征赋给相应的单词，将单词和特征映射到一个高维度空间。高维度空间的维度高于单词和特征的当前空间的维度。

本实施例中，利用K-means算法构造词典，将每个训练所用特征赋给距离最近的单词，将单词以及特征都显式映射到一个高维度空间。具体的，该高维度空间可以是单词和特征的当前空间的维度的3倍维度。

步骤1.1中，主成分分析模块102还在对应的每个单词空间中进行主成分分析，得到投影矩阵。

本实施例中，投影矩阵通过下面方式计算得到：

首先根据下面式子计算过渡矩阵G_i，

$G_i\frac{1}{D}\underset{j=1,k=1}{\Σ}\left(x_j-c_i\right){\left(x_k-x_i\right)}^T$

其中c_i是第i个单词，x为赋给该单词的所有特征，D为特征维度。当选择SIFT算法进行特征描述时，D通常为128。

根据下面式子对矩阵G_i做特征分解，得到特征值eigval(G_i)和特征向量eigvect(G_i)，按照特征值从大到小的顺序排列。

$({\mathrm{\λ}}_1^i,{\mathrm{\λ}}_2^i,...,{\mathrm{\λ}}_D^i)=eigval\left(G_i\right)$

$(u_1^i,u_2^i,\mathrm{...},u_D^i)=eigvect\left(G_i\right)$

根据下面式子计算投影矩阵

$P_t^i=L_t^i{U}_t^i$

其中，

$L_t^i=diag(\frac{1}{{\mathrm{\λ}}_1^i+\∈},\frac{1}{{\mathrm{\λ}}_2^i+\∈},\mathrm{...},\frac{1}{{\mathrm{\λ}}_t^i+\∈})$

$U_t^i=\[u_1^i,u_2^i,\mathrm{...},u_t^i\]$

ε和t为预设参数，例如设置ε＝0.00001，t属于特征维度，可以根据实际应用进行调整。

步骤1.2：VLAD计算模块103根据步骤1.1构造的词典计算原始的VLAD图像表示向量x。步骤1.3中采用现有技术中的VLAD图像表示方法得到原始的VLAD图像表示向量x。

步骤1.4：第二映射模块104将VLAD图像表示向量映射到高维度空间中。本实施例中，根据下面式子进行映射：

${\mathrm{\ψ}}_k\left(x\right)=e^{i\mathrm{\τ}\log x}\sqrt{x\sec h\left(\mathrm{\π}\mathrm{\τ}\right)}$

其中，τ表示映射的索引。具体该映射方法可参见下面文献：A.VedaldiandA.Zisserman,“Efficientadditivekernelsviaexplicitfeaturemaps,”IEEETrans.PatternAnal.Mach.Intell.,2012。

步骤1.3中，τ采用隐式映射的索引。在步骤1.1中，将单词和特征映射到高维度空间时，也可以采用上述文献提及的方法，但可以采用显式映射。

步骤1.4：根据得到的投影矩阵将步骤1.4投影得到的VLAD图像表示向量进行投影变换。

本实施例中，根据下面公式进行投影变换，以得到特征y，

$y=\[P_t^1{x}^1,P_t^2{x}^2,...,P_t^k{x}^k\].$

步骤1.5：将投影变换得到的特征进行归一化，得到最后的图像表示向量。本实施例中，将投影得到的特征y进行第二范式归一化，以得到了最后的图像表示向量。

对于基于局部PCA白化的图像表示方法，可以用于图像检索这个任务，对每张图片得到其对应的图像表示方法，然后将待检索图片和数据库中的每张图片进行相似度比较，按照相似度的大小排列可得到检索结果。其中相似度的计算为两张图片的表示向量之间的余弦值。由图3可以看出，在K-means聚类产生的不同单词空间中，其特征分布是杂乱不一致的，因此将PCA白化作用于每个单词空间，即局部PCA白化，是有必要的。本申请实施例中，在对应的每个单词空间中进行主成分分析，以得到投影矩阵，使得该方法和处理装置具有更好的鲁棒性。

请参考图4和图5，图4为在Holidays数据集上不同词典大小的不同方法的比较结果，图5为在UKbench数据集上不同词典大小的不同方法的比较结果。在图4和图5中，比较了对于不同词典大小不同方法的性能(SVLAD表示标准VLAD方法，HVLAD表示映射为高维度后的VLAD方法，VLAD+RPCAW为本实施例提供的方法)，可以看到基于局部PCA白化的图像表示方法比其他方法性能更好。

请参考图6和图7，图6为在Holidays数据集上不同词典大小下使用局部PCA白化(RPCAW)和未使用局部PCA白化(SVLAD)的比较结果，图7为在UKbench数据集上不同词典大小下使用局部PCA白化(RPCAW)和未使用局部PCA白化(SVLAD)的比较结果。在图6和图7中，比较了对于不同词典大小下使用局部PCA白化和未使用局部PCA白化的性能。可以看到将基于局部PCA白化的图像表示方法能够进一步提高性能。

本申请实施例提供的基于局部PCA白化的图像表示方法和处理装置，对于得到的图像表示向量，首先将其投影到一个高维度空间中，然后对提前计算好的投影矩阵，对每个单词对应向量进行投影变换，得到一个低维度的向量，这样使得每个单词对应的向量是一致的。该方法和处理装置具有更好的鲁棒性和更高的性能。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来控制相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存取存储器、磁盘或光盘等。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请发明构思的前提下，还可以做出若干简单推演或替换。

Claims (10)

1.一种基于局部PCA白化的图像表示方法，其特征在于，包括：

构造词典，将每个特征赋给相应的单词，将单词和特征映射到一个高维度空间，所述高维度空间的维度高于单词和特征的当前空间的维度；

在对应的每个单词空间中进行主成分分析，得到投影矩阵；

根据所述词典计算VLAD图像表示向量；

将所述VLAD图像表示向量映射到所述高维度空间中；

根据所述投影矩阵将投影得到的VLAD图像表示向量进行投影变换；

将投影变换得到的特征进行归一化，得到最后的图像表示向量。

2.如权利要求1所述的方法，其特征在于，利用K-means算法构造所述词典，并将每个特征赋给距离最近的单词；

将投影变换得到的特征进行第二范式归一化，得到最后的图像表示向量。

3.如权利要求1或2所述的方法，其特征在于，在对应的每个单词空间中进行主成分分析，得到投影矩阵，具体为：

根据下面式子计算过渡矩阵G_i，

$G_i=\frac{1}{D}\underset{j=1,k=1}{\Σ}\left(x_j-c_i\right){\left(x_k-c_i\right)}^T$

其中c_i是第i个单词，x为赋给该单词的所有特征，D为特征维度；

根据下面式子对矩阵G_i做特征分解，得到特征值eigval(G_i)和特征向量eigvect(G_i)；

$({\mathrm{\λ}}_1^i,{\mathrm{\λ}}_2^i,...,{\mathrm{\λ}}_D^i)=eigval\left(G_i\right)$

$\left(u_1^i,u_2^i,...,u_D^i\right)=eigvect\left(G_i\right)$

根据下面式子计算投影矩阵

$P_t^i=L_t^i{U}_t^i$

其中，

$L_t^i=diag\left(\frac{1}{{\mathrm{\λ}}_1^i+\mathrm{\ϵ}},\frac{1}{{\mathrm{\λ}}_2^i+\mathrm{\ϵ}},...,\frac{1}{{\mathrm{\λ}}_t^i+\mathrm{\ϵ}}\right)$

$U_t^i=\[u_1^i,u_2^i,...,u_t^i\]$

ε和t为预设参数。

4.如权利要求3所述的方法，其特征在于，将所述VLAD图像表示向量映射到所述高维度空间中，具体为根据下面式子进行映射：

${\mathrm{\ψ}}_{\mathrm{\κ}}\left(x\right)=e^{i\mathrm{\τ}\log x}\sqrt{x\sec h\left(\mathrm{\π}\mathrm{\τ}\right)}$

其中，τ表示映射的索引。

5.如权利要求3所述的方法，其特征在于，根据所述投影矩阵将投影得到的VLAD图像表示向量进行投影变换，具体为：根据下面公式进行投影变换，以得到特征y，

$y=\[P_t^1{x}^1,P_t^2{x}^2,...,P_t^k{x}^k\].$

6.一种基于局部PCA白化的图像表示处理装置，其特征在于，包括：

第一映射模块，用于构造词典，将每个特征赋给相应的单词，将单词和特征映射到一个高维度空间，所述高维度空间的维度高于单词和特征的当前空间的维度；

主成分分析模块，用于在对应的每个单词空间中进行主成分分析，得到投影矩阵；

VLAD计算模块，用于根据所述词典计算VLAD图像表示向量；

第二映射模块，用于将所述VLAD图像表示向量映射到所述高维度空间中；

投影变换模块，用于根据所述投影矩阵将投影得到的VLAD图像表示向量进行投影变换；

归一化处理模块，用于将投影变换得到的特征进行归一化，得到最后的图像表示向量。

7.如权利要求6所述的处理装置，其特征在于，第一映射模块用于利用K-means算法构造所述词典，并将每个特征赋给距离最近的单词；

归一化处理模块用于将投影变换得到的特征进行第二范式归一化，得到最后的图像表示向量。

8.如权利要求6或7所述的处理装置，其特征在于，主成分分析模块用于在对应的每个单词空间中进行主成分分析，得到投影矩阵时：

主成分分析模块用于根据下面式子计算过渡矩阵G_i，

$G_i=\frac{1}{D}\underset{j=1,k=1}{\Σ}\left(x_j-c_i\right){\left(x_k-c_i\right)}^T$

其中c_i是第i个单词，x为赋给该单词的所有特征，D为特征维度；

主成分分析模块还用于根据下面式子对矩阵G_i做特征分解，得到特征值eigval(G_i)和特征向量eigvect(G_i)；

$({\mathrm{\λ}}_1^i,{\mathrm{\λ}}_2^i,...,{\mathrm{\λ}}_D^i)=eigval\left(G_i\right)$

$\left(u_1^i,u_2^i,...,u_D^i\right)=eigvect\left(G_i\right)$

主成分分析模块还用于根据下面式子计算投影矩阵

$P_t^i=L_t^i{U}_t^i$

其中，

$L_t^i=diag\left(\frac{1}{{\mathrm{\λ}}_1^i+\mathrm{\ϵ}},\frac{1}{{\mathrm{\λ}}_2^i+\mathrm{\ϵ}},...,\frac{1}{{\mathrm{\λ}}_t^i+\mathrm{\ϵ}}\right)$

$U_t^i=\[u_1^i,u_2^i,...,u_t^i\]$

ε和t为预设参数。

9.如权利要求8所述的处理装置，其特征在于，VLAD计算模块用于根据所述词典计算VLAD图像表示向量时，根据下面式子进行映射：

${\mathrm{\ψ}}_{\mathrm{\κ}}\left(x\right)=e^{i\mathrm{\τ}\log x}\sqrt{x\sec h\left(\mathrm{\π}\mathrm{\τ}\right)}$

其中，τ表示映射的索引。

10.如权利要求8所述的处理装置，其特征在于，投影变换模块用于根据所述投影矩阵将投影得到的VLAD图像表示向量进行投影变换时，根据下面公式进行投影变换，以得到特征y，

$y=\[P_t^1{x}^1,P_t^2{x}^2,...,P_t^k{x}^k\].$