CN102289430A - 多模态数据的融合概率潜在语义分析方法 - Google Patents

Abstract

本发明公开了概率潜在语义分析技术领域中的一种多模态数据的融合概率潜在语义分析方法。本发明从多模态数据本质出发，通过交叉结构的引入，将仅用于单模态的标准概率潜在语义分析模型扩展至多模态，主要对每个模态对潜在语义空间贡献的差异性和它们之间内容的关联性进行建模，从而为多模态数据提供更为准确的分析和描述。本发明通过全局的参数更新来实现更为精确的参数估计；为各模态选定合适的主题数取值范围提供了依据，减少了人工选取的工作量。

Description

多模态数据的融合概率潜在语义分析方法

技术领域

本发明属于概率潜在语义分析技术领域，尤其涉及一种多模态数据的融合概率潜在语义分析方法。

背景技术

概率潜在语义分析是一种观察值(词汇-文档的共现)的产生模型，通过潜在语义空间的引入，利用多项式分布和条件分布的混合来建模共现的概率。目前，它已被广泛的应用于信息检索、自然语言处理、音视频处理等研究领域。

通常，概率潜在语义分析模型只适用于单模态数据，对于更为复杂的多模态数据具有一定的局限性。多模态数据包含多个相互关联的模态，它们试图描述同一内容，但在对数据内容表达的贡献上却存在差异。在这种情况下，对于每个模态得到的共现矩阵，现有的概率潜在语义分析方法可采用如下两种处理方法：一是以相同的权重将不同模态的共现矩阵联立，再进行标准的语义分析；二是采用非对称的方式仅对一个模态的潜在语义空间进行估计，再由该空间产生所有模态的观察值。

以上两种方法或是忽略了不同模态的本质差异，或是只片面的描述了数据本身的内容关联，都不能给予多模态数据的本质，即每个模态对潜在语义空间贡献的差异性和它们之间内容的关联性，以充分的描述。因此，这就需要一种用于多模态数据的概率潜在语义分析模型。

发明内容

针对上述背景技术中提到的现有方法忽略了不同模态的本质差异等不足，本发明提出了一种多模态数据的融合概率潜在语义分析方法。

本发明的技术方案是，多模态数据的融合概率潜在语义分析方法，其特征是该方法包括以下步骤：

步骤1：建立各个模态的标准概率潜在语义分析模型，在此基础上建立融合模型；

步骤2：确定融合模型的工作空间，并选定主题数；

步骤3：将融合模型分解为非对称的概率潜在语义分析模型，根据融合模型的输入值和选定主题数，计算非对称的概率潜在语义分析模型的初始参数值；

步骤4：通过最大期望算法对初始参数值更新，得到最终参数；

步骤5：利用最终参数对待检测的模态进行分析。

所述最大期望算法的计算公式为：

$L=\underset{i=1}{\overset{M}{\mathrm{\Π}}}\left(\underset{p=1}{\overset{N_A}{\mathrm{\Π}}}p{(w_p^A,d_i)}^{n(w_p^A,d_i)}\underset{q=1}{\overset{N_V}{\mathrm{\Π}}}p{(w_q^V,d_i)}^{n(w_q^V,d_i)}\right)$

其中：

L为似然函数值；

为模态A的共现概率；

为模态V的共现概率；

为已知观察值；

为已知观察值；

为模态A的观察值共现矩阵；

为模态V的观察值共现矩阵；

N_A为模态A的词汇数；

N_V为模态V的词汇数；

为模态A的第p个词汇；

为模态V的第q个词汇；

d_i为第i个文档；

M为文档集内文档的数目。

与现有方法相比，本发明具有以下优点：

本发明通过对每个模态进行建模，体现了不同模态对潜在语义空间的贡献差异，同时交叉结构的引入又描述了模态间的内容关联，最终通过全局的参数更新来实现更为精确的参数估计。因此，该融合模型从多模态数据本质出发，为其提供了更为合理、准确的分析结果。另外，对于该模型工作空间的估计，也为各模态选定合适的主题数取值范围提供了依据，减少了人工选取的工作量。

附图说明

图1为本发明的融合概率潜在语义分析模型的结构示意图；

图2为本发明的融合概率潜在语义分析模型在两个模态下实施例的结构示意图；

图a为由两个标准的概率潜在语义分析模型构建融合模型建模的过程；图b为通过标准概率潜在语义分析模型的主题数和最大值来确定融合模型的工作空间的过程；图c为从融合模型拆开到得到模型最终参数的过程；图d为新模态的应用过程。

具体实施方式

下面结合附图，对优选实施例作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

本发明所要解决的技术问题是提供一种用于多模态数据的概率潜在语义分析方法，能够同时表示多模态数据中每个模态对语义空间贡献的差异性和它们之间内容的关联性，从而使概率潜在语义分析从单模态数据合理扩展到多模态，为其提供更为准确的描述。

本发明包括以下步骤：

步骤1：建立各个模态的标准概率潜在语义分析模型，在此基础上建立融合模型；

步骤2：确定融合模型的工作空间，并选定主题数；

步骤3：将融合模型分解为非对称的概率潜在语义分析模型，根据融合模型的输入值和选定主题数，计算非对称的概率潜在语义分析模型的初始参数值；

步骤4：通过最大期望算法对初始参数值更新，得到最终参数；

步骤5：利用最终参数对待检测的模态进行分析。

下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出本发明的结构示意图，其中：K为模态的总数；d为观察值中的文档集；M表示文档集内文档的数目；w^k为观察值中第k个模态的词汇集；N_k为第k个模态的词汇集中词汇的数目；z^k为观察值中第k个模态的主题空间；L_F-k为由工作空间估计得到的该空间内的主题数。

如图2所示，本说明书以K＝2时的两模态数据为例进行模块说明，对于K＞2时的多模态数据，可依据同样原理进行相应的建模和参数计算。

本发明的具体过程为：

融合模型的建模：

如图2a所示，分别为模态A和模态V构建标准的概率潜在语义分析模型，可表示为：d→z^A→w^A和d→z^V→w^V；在此基础上，再建立模态A和模态V之间主题和词汇的交叉生成关系，即z^A→w^V和z^V→w^A，实现融合模型的建模。

工作空间估计：

根据模态A和模态V的标准概率潜在语义分析模型中选定的主题数(L_A，L_V)和最大值来确定融合模型的工作空间，即多模态数据中各模态主题数(L_F-A，L_F-V)的取值范围，它们应同时满足

和

再选定该范围内的主题数进行之后的参数估计，如图2b所示。

模型参数估计：

如图2c所示，首先，将该融合模型拆开，看成是两个非对称的概率潜在语义分析模型，分别表示为：d→z^A→w^A+w^V和d→z^V→w^A+w^V，并基于已知的观察值共现矩阵

和选定的主题数(L_F-A和L_F-V)，估计融合模型的初始参数值，包括主题条件概率(P(z^A|d)，P(z^V|d))和词汇条件概率(P(w^A|z^A)，P(w^V|z^A)，P(w^V|z^V)，P(w^A|z^V))，然后，基于最大期望算法从全局角度对以上初始值进行更新，得到模型最终参数。其中，基于最大期望算法的全局参数更新主要包括期望值计算和参数重估两部分，具体如下：

最大期望算法(基于最大似然函数)如公式(1)所示，通过反复迭代来求得模型参数：

$L=\underset{i=1}{\overset{M}{\mathrm{\Π}}}\left(\underset{p=1}{\overset{N_A}{\mathrm{\Π}}}p{(w_p^A,d_i)}^{n(w_p^A,d_i)}\underset{q=1}{\overset{N_V}{\mathrm{\Π}}}p{(w_q^V,d_i)}^{n(w_q^V,d_i)}\right)---\left(1\right)$

其中：

L为似然函数值；

$p(w_p^A,d_i)=p\left(d_i\right)(\underset{m=1}{\overset{L_{F-A}}{\mathrm{\Σ}}}p\left(w_p^A\right|z_m^A)p\left(z_m^A\right|d_i)+\underset{n=1}{\overset{L_{F-V}}{\mathrm{\Σ}}}p\left(w_p^A\right|z_n^V)p\left(z_n^V\right|d_i)),$ 为模态A的共现概率，其中， $p\left(d_i\right)=\frac{\underset{p=1}{\overset{N^A}{\mathrm{\Σ}}}n(w_p^A,d_i)+\underset{q=1}{\overset{N^V}{\mathrm{\Σ}}}n(w_q^V,d_i)}{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}(\underset{p=1}{\overset{N^A}{\mathrm{\Σ}}}n(w_p^A,d_i)+\underset{q=1}{\overset{N^V}{\mathrm{\Σ}}}n(w_q^V,d_i))},$ 为文档d_i出现的概率，p(d_i)为固定值，不需迭代过程中更新；

$p(w_q^V,d_i)=p\left(d_i\right)(\underset{m=1}{\overset{L_{F-A}}{\mathrm{\Σ}}}p\left(w_q^V\right|z_m^A)p\left(z_m^A\right|d_i)+\underset{n=1}{\overset{L_{F-V}}{\mathrm{\Σ}}}p\left(w_q^V\right|z_n^V)p\left(z_n^V\right|d_i)),$ 为模态V的共现概率；

为已知观察值；

为已知观察值；

为模态A的观察值共现矩阵；

为模态V的观察值共现矩阵；

N_A为模态A的词汇数；

N_V为模态V的词汇数；

为模态A的第p个词汇；

为模态V的第q个词汇；

d_i为第i个文档；

M为文档集内文档的数目。

1.期望值计算：根据初始参数值，计算四个期望值

分别表示已知某模态观察值时得到该模态或另一模态主题的期望值的计算公式：

$E\left({\mathrm{\φ}}_{\mathrm{pm}}^A\right)=\frac{p\left(w_p^A\right|z_m^A)p\left(z_m^A\right|d_i)p\left(d_i\right)}{p(w_p^A,d_i)}---\left(2\right)$

$E\left({\mathrm{\φ}}_{\mathrm{pn}}^A\right)=\frac{p\left(w_p^A\right|z_n^A)p\left(z_n^A\right|d_i)p\left(d_i\right)}{p(w_p^A,d_i)}---\left(3\right)$

$E\left({\mathrm{\φ}}_{\mathrm{qm}}^V\right)=\frac{p\left(w_q^V\right|z_m^A)p\left(z_m^A\right|d_i)p\left(d_i\right)}{p(w_q^V,d_i)}---\left(4\right)$

$E\left({\mathrm{\φ}}_{\mathrm{qn}}^V\right)=\frac{p\left(w_q^V\right|z_n^V)p\left(z_n^V\right|d_i)p\left(d_i\right)}{p(w_q^V,d_i)}---\left(5\right)$

公式(2)中：

为已知观察值为

时，主题的期望；

为观察值为时，主题

的概率；

为由模态A的第m个主题得到的模态A的第p个词汇的条件概率；

为模态A的第m个主题；

为由第i个文档得到的模态A的第m个主题的条件概率；

p(d_i)为第i个文档出现的概率；

为模态A的共现概率。

公式(3)到公式(5)以此类推，即：

表示已知观察值为

时，主题

的期望；

表示已知观察值为

时，主题

的期望；

表示已知观察值为

时，主题的期望。

2.参数重估：根据(2)-(5)式，计算更新后的概率值主题和主题

的条件概率的计算公式分别为：

$p\left(z_m^A\right|d_i)=\frac{{\mathrm{\ξ}}_{\mathrm{mi}}^A+{\mathrm{\ξ}}_{\mathrm{mi}}^V}{\underset{m=1}{\overset{L_{F-A}}{\mathrm{\Σ}}}({\mathrm{\ξ}}_{\mathrm{mi}}^A+{\mathrm{\ξ}}_{\mathrm{mi}}^V)+\underset{n=1}{\overset{L_{F-V}}{\mathrm{\Σ}}}({\mathrm{\ξ}}_{\mathrm{ni}}^A+{\mathrm{\ξ}}_{\mathrm{ni}}^V)}---\left(6\right)$

$p\left(z_n^V\right|d_i)=\frac{{\mathrm{\ξ}}_{\mathrm{ni}}^A+{\mathrm{\ξ}}_{\mathrm{ni}}^V}{\underset{m=1}{\overset{L_{F-A}}{\mathrm{\Σ}}}({\mathrm{\ξ}}_{\mathrm{mi}}^A+{\mathrm{\ξ}}_{\mathrm{mi}}^V)+\underset{n=1}{\overset{L_{F-V}}{\mathrm{\Σ}}}({\mathrm{\ξ}}_{\mathrm{ni}}^A+{\mathrm{\ξ}}_{\mathrm{ni}}^V)}---\left(7\right)$

其中：

为中间变量， ${\mathrm{\ξ}}_{\mathrm{mi}}^A=\underset{p=1}{\overset{N_A}{\mathrm{\Σ}}}n(w_p^A,d_i)E\left({\mathrm{\φ}}_{\mathrm{pm}}^A\right);$

为中间变量， ${\mathrm{\ξ}}_{\mathrm{mi}}^V=\underset{q=1}{\overset{N_V}{\mathrm{\Σ}}}n(w_q^V,d_i)E\left({\mathrm{\φ}}_{\mathrm{qm}}^V\right);$

为中间变量， ${\mathrm{\ξ}}_{\mathrm{ni}}^A=\underset{p=1}{\overset{N_A}{\mathrm{\Σ}}}n(w_p^A,d_i)E\left({\mathrm{\φ}}_{\mathrm{pn}}^A\right);$

为中间变量， ${\mathrm{\ξ}}_{\mathrm{ni}}^V=\underset{q=1}{\overset{N_V}{\mathrm{\Σ}}}n(w_q^V,d_i)E\left({\mathrm{\φ}}_{\mathrm{qn}}^V\right);$

L_F-A为模态A的主题空间内的主题数；

L_F-V为模态V的主题空间内的主题数。

公式(7)以此类推。

已知某模态主题时得到该模态或另一模态词汇的条件概率的计算公式为：

$p\left(w_p^A\right|z_m^A)=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}n(w_p^A,d_i)E\left({\mathrm{\φ}}_{\mathrm{pm}}^A\right)}{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}({\mathrm{\ξ}}_{\mathrm{mi}}^A+{\mathrm{\ξ}}_{\mathrm{mi}}^V)}---\left(8\right)$

$p\left(w_q^V\right|z_m^A)=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}n(w_q^V,d_i)E\left({\mathrm{\φ}}_{\mathrm{qm}}^V\right)}{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}({\mathrm{\ξ}}_{\mathrm{mi}}^A+{\mathrm{\ξ}}_{\mathrm{mi}}^V)}---\left(9\right)$

$p\left(w_p^A\right|z_n^V)=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}n(w_p^A,d_i)E\left({\mathrm{\φ}}_{\mathrm{pn}}^A\right)}{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}({\mathrm{\ξ}}_{\mathrm{ni}}^A+{\mathrm{\ξ}}_{\mathrm{ni}}^V)}---\left(10\right)$

$p\left(w_q^V\right|z_n^V)=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}n(w_q^V,d_i)E\left({\mathrm{\φ}}_{\mathrm{qn}}^A\right)}{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}({\mathrm{\ξ}}_{\mathrm{ni}}^A+{\mathrm{\ξ}}_{\mathrm{ni}}^V)}---\left(11\right)$

公式(9)到公式(11)以此类推，即：

表示已知主题时，词汇的条件概率；

表示已知主题

时，词汇

的条件概率；

表示已知主题时，词汇

的条件概率。

交替重复期望值计算步骤和参数重估步骤，直至公式(1)达到收敛，就得到最终的模型参数。

模型测试参数计算：

如图2d所示，对于新的多模态数据d^New，此时的已知条件包括该数据各模态的共现矩阵

和由模块3得到的词汇条件概率(P(w^A|z^A)，P(w^V|z^A)，P(w^V|z^V)，P(w^A|z^V))。同样利用最大期望算法进行计算，只是在这过程中保持词汇条件概率不变，仅对公式(2)-(5)和(6)-(7)进行迭代，直至公式(1)达到收敛为止，这时就得到了新数据的主题条件概率(P(z^A|d^New)，P(z^V|d^New))。

本发明的用于多模态数据的融合概率潜在语义模型，通过对每个模态的主题空间(z^A，z^V)单独建模，来反映不同模态对语义空间的贡献差异；同时，其交叉结构引入的词汇条件概率(P(w^V|z^A)，P(w^A|z^V))，也分别描述了各个模态间的内容关联。因此，该融合模型是针对多模态数据的自身特点进行建模，从而为其提供更为合理、准确的数据分析结果。另外，工作空间的估计为每个模态的可取主题数目限定了范围，这样既避免了盲目取值的不准确性，又减少了通过反复枚举来选取最优值的计算量，从而提高了工作效率。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (2)

1.多模态数据的融合概率潜在语义分析方法，其特征是该方法包括以下步骤：

步骤1：建立各个模态的标准概率潜在语义分析模型，在此基础上建立融合模型；

步骤2：确定融合模型的工作空间，并选定主题数；

步骤3：将融合模型分解为非对称的概率潜在语义分析模型，根据融合模型的输入值和选定主题数，计算非对称的概率潜在语义分析模型的初始参数值；

步骤4：通过最大期望算法对初始参数值更新，得到最终参数；

步骤5：利用最终参数对待检测的模态进行分析。

2.根据权利要求1所述的多模态数据的融合概率潜在语义分析方法，其特征是所述最大期望算法的计算公式为：

$L=\underset{i=1}{\overset{M}{\mathrm{\Π}}}\left(\underset{p=1}{\overset{N_A}{\mathrm{\Π}}}p{(w_p^A,d_i)}^{n(w_p^A,d_i)}\underset{q=1}{\overset{N_V}{\mathrm{\Π}}}p{(w_q^V,d_i)}^{n(w_q^V,d_i)}\right)$

其中：

L为似然函数值；

为模态A的共现概率；

为模态V的共现概率；

为模态A的已知观察值；

为模态V的已知观察值；

模态A的观察值共现矩阵；

为模态V的观察值共现矩阵；

N_A为模态A的词汇数；

N_V为模态V的词汇数；

为模态A的第p个词汇；

为模态V的第q个词汇；

d_i为第i个文档；

M为文档集内文档的数目。

Images