CN102289430A - 多模态数据的融合概率潜在语义分析方法 - Google Patents
多模态数据的融合概率潜在语义分析方法 Download PDFInfo
- Publication number
- CN102289430A CN102289430A CN201110180025A CN201110180025A CN102289430A CN 102289430 A CN102289430 A CN 102289430A CN 201110180025 A CN201110180025 A CN 201110180025A CN 201110180025 A CN201110180025 A CN 201110180025A CN 102289430 A CN102289430 A CN 102289430A
- Authority
- CN
- China
- Prior art keywords
- mode
- latent semantic
- probability
- semantic analysis
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了概率潜在语义分析技术领域中的一种多模态数据的融合概率潜在语义分析方法。本发明从多模态数据本质出发,通过交叉结构的引入,将仅用于单模态的标准概率潜在语义分析模型扩展至多模态,主要对每个模态对潜在语义空间贡献的差异性和它们之间内容的关联性进行建模,从而为多模态数据提供更为准确的分析和描述。本发明通过全局的参数更新来实现更为精确的参数估计;为各模态选定合适的主题数取值范围提供了依据,减少了人工选取的工作量。
Description
技术领域
本发明属于概率潜在语义分析技术领域,尤其涉及一种多模态数据的融合概率潜在语义分析方法。
背景技术
概率潜在语义分析是一种观察值(词汇-文档的共现)的产生模型,通过潜在语义空间的引入,利用多项式分布和条件分布的混合来建模共现的概率。目前,它已被广泛的应用于信息检索、自然语言处理、音视频处理等研究领域。
通常,概率潜在语义分析模型只适用于单模态数据,对于更为复杂的多模态数据具有一定的局限性。多模态数据包含多个相互关联的模态,它们试图描述同一内容,但在对数据内容表达的贡献上却存在差异。在这种情况下,对于每个模态得到的共现矩阵,现有的概率潜在语义分析方法可采用如下两种处理方法:一是以相同的权重将不同模态的共现矩阵联立,再进行标准的语义分析;二是采用非对称的方式仅对一个模态的潜在语义空间进行估计,再由该空间产生所有模态的观察值。
以上两种方法或是忽略了不同模态的本质差异,或是只片面的描述了数据本身的内容关联,都不能给予多模态数据的本质,即每个模态对潜在语义空间贡献的差异性和它们之间内容的关联性,以充分的描述。因此,这就需要一种用于多模态数据的概率潜在语义分析模型。
发明内容
针对上述背景技术中提到的现有方法忽略了不同模态的本质差异等不足,本发明提出了一种多模态数据的融合概率潜在语义分析方法。
本发明的技术方案是,多模态数据的融合概率潜在语义分析方法,其特征是该方法包括以下步骤:
步骤1:建立各个模态的标准概率潜在语义分析模型,在此基础上建立融合模型;
步骤2:确定融合模型的工作空间,并选定主题数;
步骤3:将融合模型分解为非对称的概率潜在语义分析模型,根据融合模型的输入值和选定主题数,计算非对称的概率潜在语义分析模型的初始参数值;
步骤4:通过最大期望算法对初始参数值更新,得到最终参数;
步骤5:利用最终参数对待检测的模态进行分析。
所述最大期望算法的计算公式为:
其中:
L为似然函数值;
为模态A的观察值共现矩阵;
NA为模态A的词汇数;
NV为模态V的词汇数;
di为第i个文档;
M为文档集内文档的数目。
与现有方法相比,本发明具有以下优点:
本发明通过对每个模态进行建模,体现了不同模态对潜在语义空间的贡献差异,同时交叉结构的引入又描述了模态间的内容关联,最终通过全局的参数更新来实现更为精确的参数估计。因此,该融合模型从多模态数据本质出发,为其提供了更为合理、准确的分析结果。另外,对于该模型工作空间的估计,也为各模态选定合适的主题数取值范围提供了依据,减少了人工选取的工作量。
附图说明
图1为本发明的融合概率潜在语义分析模型的结构示意图;
图2为本发明的融合概率潜在语义分析模型在两个模态下实施例的结构示意图;
图a为由两个标准的概率潜在语义分析模型构建融合模型建模的过程;图b为通过标准概率潜在语义分析模型的主题数和最大值来确定融合模型的工作空间的过程;图c为从融合模型拆开到得到模型最终参数的过程;图d为新模态的应用过程。
具体实施方式
下面结合附图,对优选实施例作详细说明。应该强调的是,下述说明仅仅是示例性的,而不是为了限制本发明的范围及其应用。
本发明所要解决的技术问题是提供一种用于多模态数据的概率潜在语义分析方法,能够同时表示多模态数据中每个模态对语义空间贡献的差异性和它们之间内容的关联性,从而使概率潜在语义分析从单模态数据合理扩展到多模态,为其提供更为准确的描述。
本发明包括以下步骤:
步骤1:建立各个模态的标准概率潜在语义分析模型,在此基础上建立融合模型;
步骤2:确定融合模型的工作空间,并选定主题数;
步骤3:将融合模型分解为非对称的概率潜在语义分析模型,根据融合模型的输入值和选定主题数,计算非对称的概率潜在语义分析模型的初始参数值;
步骤4:通过最大期望算法对初始参数值更新,得到最终参数;
步骤5:利用最终参数对待检测的模态进行分析。
下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1,示出本发明的结构示意图,其中:K为模态的总数;d为观察值中的文档集;M表示文档集内文档的数目;wk为观察值中第k个模态的词汇集;Nk为第k个模态的词汇集中词汇的数目;zk为观察值中第k个模态的主题空间;LF-k为由工作空间估计得到的该空间内的主题数。
如图2所示,本说明书以K=2时的两模态数据为例进行模块说明,对于K>2时的多模态数据,可依据同样原理进行相应的建模和参数计算。
本发明的具体过程为:
融合模型的建模:
如图2a所示,分别为模态A和模态V构建标准的概率潜在语义分析模型,可表示为:d→zA→wA和d→zV→wV;在此基础上,再建立模态A和模态V之间主题和词汇的交叉生成关系,即zA→wV和zV→wA,实现融合模型的建模。
工作空间估计:
根据模态A和模态V的标准概率潜在语义分析模型中选定的主题数(LA,LV)和最大值来确定融合模型的工作空间,即多模态数据中各模态主题数(LF-A,LF-V)的取值范围,它们应同时满足和再选定该范围内的主题数进行之后的参数估计,如图2b所示。
模型参数估计:
如图2c所示,首先,将该融合模型拆开,看成是两个非对称的概率潜在语义分析模型,分别表示为:d→zA→wA+wV和d→zV→wA+wV,并基于已知的观察值共现矩阵和选定的主题数(LF-A和LF-V),估计融合模型的初始参数值,包括主题条件概率(P(zA|d),P(zV|d))和词汇条件概率(P(wA|zA),P(wV|zA),P(wV|zV),P(wA|zV)),然后,基于最大期望算法从全局角度对以上初始值进行更新,得到模型最终参数。其中,基于最大期望算法的全局参数更新主要包括期望值计算和参数重估两部分,具体如下:
最大期望算法(基于最大似然函数)如公式(1)所示,通过反复迭代来求得模型参数:
其中:
L为似然函数值;
NA为模态A的词汇数;
NV为模态V的词汇数;
为模态A的第p个词汇;
为模态V的第q个词汇;
di为第i个文档;
M为文档集内文档的数目。
1.期望值计算:根据初始参数值,计算四个期望值
分别表示已知某模态观察值时得到该模态或另一模态主题的期望值的计算公式:
公式(2)中:
p(di)为第i个文档出现的概率;
公式(3)到公式(5)以此类推,即:
其中:
为中间变量,
为中间变量,
为中间变量,
LF-A为模态A的主题空间内的主题数;
LF-V为模态V的主题空间内的主题数。
公式(7)以此类推。
已知某模态主题时得到该模态或另一模态词汇的条件概率的计算公式为:
公式(9)到公式(11)以此类推,即:
表示已知主题时,词汇的条件概率;
交替重复期望值计算步骤和参数重估步骤,直至公式(1)达到收敛,就得到最终的模型参数。
模型测试参数计算:
如图2d所示,对于新的多模态数据dNew,此时的已知条件包括该数据各模态的共现矩阵和由模块3得到的词汇条件概率(P(wA|zA),P(wV|zA),P(wV|zV),P(wA|zV))。同样利用最大期望算法进行计算,只是在这过程中保持词汇条件概率不变,仅对公式(2)-(5)和(6)-(7)进行迭代,直至公式(1)达到收敛为止,这时就得到了新数据的主题条件概率(P(zA|dNew),P(zV|dNew))。
本发明的用于多模态数据的融合概率潜在语义模型,通过对每个模态的主题空间(zA,zV)单独建模,来反映不同模态对语义空间的贡献差异;同时,其交叉结构引入的词汇条件概率(P(wV|zA),P(wA|zV)),也分别描述了各个模态间的内容关联。因此,该融合模型是针对多模态数据的自身特点进行建模,从而为其提供更为合理、准确的数据分析结果。另外,工作空间的估计为每个模态的可取主题数目限定了范围,这样既避免了盲目取值的不准确性,又减少了通过反复枚举来选取最优值的计算量,从而提高了工作效率。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (2)
1.多模态数据的融合概率潜在语义分析方法,其特征是该方法包括以下步骤:
步骤1:建立各个模态的标准概率潜在语义分析模型,在此基础上建立融合模型;
步骤2:确定融合模型的工作空间,并选定主题数;
步骤3:将融合模型分解为非对称的概率潜在语义分析模型,根据融合模型的输入值和选定主题数,计算非对称的概率潜在语义分析模型的初始参数值;
步骤4:通过最大期望算法对初始参数值更新,得到最终参数;
步骤5:利用最终参数对待检测的模态进行分析。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011101800250A CN102289430B (zh) | 2011-06-29 | 2011-06-29 | 多模态数据的融合概率潜在语义分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011101800250A CN102289430B (zh) | 2011-06-29 | 2011-06-29 | 多模态数据的融合概率潜在语义分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102289430A true CN102289430A (zh) | 2011-12-21 |
CN102289430B CN102289430B (zh) | 2013-11-13 |
Family
ID=45335870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011101800250A Expired - Fee Related CN102289430B (zh) | 2011-06-29 | 2011-06-29 | 多模态数据的融合概率潜在语义分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102289430B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103984756A (zh) * | 2014-05-29 | 2014-08-13 | 重庆大学 | 基于半监督概率潜在语义分析的软件变更日志分类方法 |
US9396433B2 (en) | 2013-05-29 | 2016-07-19 | International Business Machines Corporation | Determining related data points from multi-modal inputs |
CN112232082A (zh) * | 2020-10-14 | 2021-01-15 | 海南大学 | 面向本质计算的多模态dikw内容多语义分析方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1920818A (zh) * | 2006-09-14 | 2007-02-28 | 浙江大学 | 基于多模态信息融合分析的跨媒体检索方法 |
CN101334796A (zh) * | 2008-02-29 | 2008-12-31 | 浙江师范大学 | 一种个性化及协同化融合的网上多媒体检索与查询方法 |
CN101388022A (zh) * | 2008-08-12 | 2009-03-18 | 北京交通大学 | 一种融合文本语义和视觉内容的Web人像检索方法 |
US7844449B2 (en) * | 2006-03-30 | 2010-11-30 | Microsoft Corporation | Scalable probabilistic latent semantic analysis |
-
2011
- 2011-06-29 CN CN2011101800250A patent/CN102289430B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7844449B2 (en) * | 2006-03-30 | 2010-11-30 | Microsoft Corporation | Scalable probabilistic latent semantic analysis |
CN1920818A (zh) * | 2006-09-14 | 2007-02-28 | 浙江大学 | 基于多模态信息融合分析的跨媒体检索方法 |
CN101334796A (zh) * | 2008-02-29 | 2008-12-31 | 浙江师范大学 | 一种个性化及协同化融合的网上多媒体检索与查询方法 |
CN101388022A (zh) * | 2008-08-12 | 2009-03-18 | 北京交通大学 | 一种融合文本语义和视觉内容的Web人像检索方法 |
Non-Patent Citations (1)
Title |
---|
李志欣等: "融合语义主题的图像自动标注", 《软件学报》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9396433B2 (en) | 2013-05-29 | 2016-07-19 | International Business Machines Corporation | Determining related data points from multi-modal inputs |
CN103984756A (zh) * | 2014-05-29 | 2014-08-13 | 重庆大学 | 基于半监督概率潜在语义分析的软件变更日志分类方法 |
CN103984756B (zh) * | 2014-05-29 | 2017-04-12 | 重庆大学 | 基于半监督概率潜在语义分析的软件变更日志分类方法 |
CN112232082A (zh) * | 2020-10-14 | 2021-01-15 | 海南大学 | 面向本质计算的多模态dikw内容多语义分析方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102289430B (zh) | 2013-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Park et al. | Unstructured grid adaptation: status, potential impacts, and recommended investments towards CFD 2030 | |
Sudret | Meta-models for structural reliability and uncertainty quantification | |
Viana et al. | Special section on multidisciplinary design optimization: metamodeling in multidisciplinary design optimization: how far have we really come? | |
Liu et al. | Sequential optimization using multi-level cokriging and extended expected improvement criterion | |
CN103678316A (zh) | 实体关系分类装置和实体关系分类方法 | |
Iuliano et al. | Aerodynamic shape optimization via non-intrusive POD-based surrogate modelling | |
Sun et al. | Equivalent a posteriori error estimates for a constrained optimal control problem governed by parabolic equations | |
Alonso et al. | Scalable environment for quantification of uncertainty and optimization in industrial applications (SEQUOIA) | |
CN102289430B (zh) | 多模态数据的融合概率潜在语义分析方法 | |
CN103678499A (zh) | 一种基于多源异构专利数据语义集成的数据挖掘方法 | |
US20240152844A1 (en) | Upper confidence bound algorithm for oilfield logic | |
Toal | On the potential of a multi-fidelity G-POD based approach for optimization and uncertainty quantification | |
Runchal et al. | CFD of the Future: Year 2025 and Beyond | |
Bae et al. | Accelerated multifidelity emulator modeling for probabilistic rotor response study | |
Wu et al. | Aerodynamic data-driven surrogate-assisted teaching-learning-based optimization (TLBO) framework for constrained transonic airfoil and wing shape designs | |
CN106777616A (zh) | 一种高速水稻钵苗插秧机移箱机构多学科优化设计方法 | |
Modares et al. | Dynamic analysis of structures with interval uncertainty | |
Wang et al. | KT-EGO: a knowledge transfer assisted efficient global optimization algorithm for solving high-dimensional expensive black-box problems | |
Zheng et al. | The variable fidelity optimization for simulation-based design: A review | |
JP6973157B2 (ja) | 議論構造拡張装置、議論構造拡張方法、及びプログラム | |
CN107958025B (zh) | 弱监督实体关系抽取方法及其装置和电子设备 | |
Bak et al. | High-level Hybrid Systems Analysis with Hypy. | |
Selvan | On the effect of shape parameterization on aerofoil shape optimization | |
Streuber et al. | Dynamic Geometry Control for Robust Aerodynamic Shape Optimization | |
JP6210928B2 (ja) | 確率モデル生成装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20131113 Termination date: 20140629 |
|
EXPY | Termination of patent right or utility model |