CN104969216A - 分级潜在变量模型估计设备 - Google Patents

Abstract

一种分级潜在结构设置单元81设置分级潜在结构，该分级潜在结构是其中潜在变量由树结构代表并且代表概率模型的分量位于树结构的最低级的节点处的结构。变分概率计算单元82计算路径潜在变量的变分概率，该路径潜在变量是在分级路径结构中的将根节点链接到目标节点的路径中包括的潜在变量。分量优化单元83优化用于计算出的变分概率的分量中的每个分量。门控函数优化单元84优化门控函数模型，该门控函数模型是用于基于分级潜在结构中的节点中的潜在变量的分量概率、根据该节点中的多变元数据确定分支方向的模型。

Description

分级潜在变量模型估计设备

技术领域

本发明涉及一种用于估计用于多变元数据的分级潜在变量模型的分级潜在变量模型估计设备和分级潜在变量模型估计方法，以及一种具有其上记录的程序的计算机可读记录介质，该程序用于估计用于多变元数据的分级潜在变量模型。

背景技术

以从汽车、商店的销售表现、电力需求历史等获取的传感器数据为代表的数据是根据各种因素而被观测和累计的数据。例如，从汽车获取的传感器数据根据驾驶模式而变化。因此，数据被累计作为并非从一个因素、而是从各种因素产生的观测值。

对从其产生这样的数据的因素的分析可以被应用于工业上重要的情形。作为示例，分析汽车的故障原因支持对汽车的快速修理。作为另一示例，分析在销售与天气和/或当天时间之间的相关性支持减少脱销或者积压。作为又一示例，识别电力需求模式支持防止电力过量或者短缺。

另外，如果有可能分析如何进行在多个因素之间的切换，则可以通过组合为每个因素而获得的知识来执行预测。此外，它们的切换规则也可以被用作为用于营销的知识。这样的分析因此适用于更复杂的情形。

为了在逐个因素的基础上分离从多个因素产生的以上提到的数据，通常在建模中使用混合潜在变量模型。作为包括以上提到的切换规则的模型，提出了分级潜在变量模型(例如，参见非专利文献(NPL)1)。

为了使用这样的模型，有必要确定隐藏状态的数目、观测概率分布的类型和分布参数。在其中已知隐藏状态的数目和观测概率分布的类型的情况下，可以通过例如使用在NPL 2中描述的期望最大化算法来估计参数。因此，如何确定隐藏状态的数目和观测概率分布的类型是重要的。

确定隐藏状态的数目和观测概率的类型的问题通常被称为“模型选择问题”或者“***标识问题”，并且对于构造可靠模型而言是极为重要的问题。相应地提出了用于确定隐藏状态的数目和观测概率的类型的各种方法。

作为一种用于确定隐藏状态的数目的方法，例如，提出了一种通过变分(variational)贝叶斯(Bayesian)方法最大化变分自由能量的方法(例如，参见NPL 3)。作为另一种用于确定隐藏状态的数目的方法，提出了一种使用分级狄利克雷(Dirichlet)过程先验分布的非参数贝叶斯方法(例如，参见NPL 4)。

另外，在NPL 5中描述了一种用于通过为混合模型近似完整边际似然度函数并且最大化它的下界(下限)来确定观测概率的类型的方法，该混合模型是潜在变量模型的典型示例。

引用列表

非专利文献

[NPL 1]C.Bishop,M.Svensen,Bayesian Hierarchical Mixtures ofExperts,Proceedings of the Nineteenth Conference on Uncertainty inArtificial Intelligence,p.57-64,2002.

[NPL 2]C.Bishop,Pattern Recognition and Machine Learning,Springer,p.423-459,2007.

[NPL 3]Beal,M.J.,Variational Algorithms for ApproximateBayesian Inference,PhD thesis,University College London,May 2003.

[NPL 4]Van Gael,J.,Saatci,Y.,Teh,Y.W.,and Ghahramani,Z.,Beam Sampling for the Infinite Hidden Markov Model,In ICML,2008.

[NPL 5]Ryohei Fujimaki,Satoshi Morinaga,Factorized AsymptoticBayesian Inference for Mixture Modeling,Proceedings of the FifteenthInternational Conference on Artificial Intelligence and Statistics(AISTATS),March 2012.

发明内容

技术问题

在通过变分贝叶斯方法最大化变分自由能量的方法中，在最大化边际似然度函数的下界时假设隐藏状态和变分分布中的分布参数的独立性。这引起减少边际似然度近似准确度的问题。

作为使用分级狄利克雷过程先验分布的非参数贝叶斯方法，已知一种基于蒙特卡洛(Monte Carlo)的优化算法。然而，这一算法具有极高计算复杂性的问题。

由于其计算复杂性的问题而实际上不可能通过这两种方法确定观测概率的类型。以下使用如下示例来描述这一计算复杂性的问题，在该示例中，观测概率分布是混合多项式曲线。由于以下讨论并未依赖于隐藏状态，所以省略了其描述。

在其中用于隐藏状态的观测是多项式曲线的情况下，有必要恰当地选择曲线(比如线性曲线(直线)、二次曲线、三次曲线等)的度数以便确定观测概率的类型。在使用典型方法时，需要以这样的方式为所有模型候选计算信息判据，该方式例如是在隐藏状态的数目是3时采用一个直线和两个二次曲线，或者在隐藏状态的数目是5时采用三个三次曲线和两个二次曲线。

然而，模型候选的数目随着待搜寻的模型的复杂性呈指数地增加。例如，在隐藏状态的数目是10并且曲线的最大度数是10的情况下，候选的数目约为100,000。在隐藏状态的数目是20并且曲线的最大度数是20的情况下，候选的数目约为数百亿。因此，实际上难以通过典型方法执行计算。

在NPL 1中描述的分级潜在变量模型是使用通过变分贝叶斯方法最大化变分自由能量的方法而估计的模型，其中计算也实际上困难。

即使在使用在NPL 5中描述的方法时，仍然有不能解决对于包括分级潜在变量的模型的模型选择问题这样的问题。这是因为在NPL 5中描述的方法并未考虑分级潜在变量，并且因此不能明确地建立计算过程。此外，由于在NPL 5中描述的方法基于它不适用于其中存在分级潜在变量的情况这样的强假设，所以如果简单地应用这一方法则失去理论合理性。

有鉴于此，本发明的一个示例性目的是提供一种分级潜在变量模型估计设备、分级潜在变量模型估计方法和具有其上记录的分级潜在变量模型估计程序的计算机可读记录介质，该设备、方法和计算机可读记录介质可以解决对于包括分级潜在变量的分级潜在变量模型的模型选择问题，并且也用适当计算复杂性估计分级潜在变量模型而不失理论合理性。

对问题的解决方案

本发明的一个示例性方面是一种用于估计用于多变元数据的分级潜在变量模型的分级潜在变量模型估计设备，该分级潜在变量模型估计设备包括：分级潜在结构设置单元，用于设置分级潜在结构，分级潜在结构是其中潜在变量由树结构代表并且代表概率模型的分量位于树结构的最低级的节点处的结构；变分概率计算单元，用于计算路径潜在变量的变分概率，路径潜在变量是在分级潜在结构中的将根节点链接到目标节点的路径中包括的潜在变量；分量优化单元，用于针对计算出的变分概率优化分量中的每个分量；以及门控函数优化单元，用于基于分级潜在结构的节点中的潜在变量的变分概率优化门控函数模型，该门控函数模型是用于根据节点中的多变元数据确定分支方向的模型。

本发明的一个示例性方面是一种用于估计用于多变元数据的分级潜在变量模型的分级潜在变量模型估计方法，该分级潜在变量模型估计方法包括：设置分级潜在结构，分级潜在结构是其中潜在变量由树结构代表并且代表概率模型的分量位于树结构的最低级的节点处的结构；计算路径潜在变量的变分概率，路径潜在变量是在分级潜在结构中的将根节点链接到目标节点的路径中包括的潜在变量；针对计算出的变分概率优化分量中的每个分量；以及基于分级潜在结构的节点中的潜在变量的变分概率优化门控函数模型，门控函数模型是根据节点中的多变元数据确定分支方向的模型。

本发明的一个示例性方面是一种计算机可读记录介质，该计算机可读记录介质具有其上记录的用于估计用于多变元数据的分级潜在变量模型的分级潜在变量模型估计程序，分级潜在变量模型估计程序使得计算机执行：设置分级潜在结构的分级潜在结构设置处理，分级潜在结构是其中潜在变量由树结构代表并且代表概率模型的分量位于树结构的最低级的节点处的结构；计算路径潜在变量的变分概率的变分概率计算处理，路径潜在变量是在分级潜在结构中的将根节点链接到目标节点的路径中包括的潜在变量；针对计算出的变分概率优化分量中的每个分量的分量优化处理；以及基于分级潜在结构的节点中的潜在变量的变分概率优化门控函数模型的门控函数模型处理，门控函数模型是用于根据节点中的多变元数据确定分支方向的模型。

本发明的有利效果

根据本发明，有可能解决对于包括分级潜在变量的分级潜在变量模型的模型选择问题并且也用适当计算复杂性估计分级潜在变量模型而不失理论合理性。

附图说明

[图1]其描绘了根据本发明的分级潜在变量模型估计设备的示例性实施例的结构示例的框图。

[图2]其描绘了如下框图，该框图示出了示例性实施例1中的分级潜在变量变分概率计算单元的结构示例。

[图3]其描绘了如下框图，该框图示出了示例性实施例1中的门控函数优化单元的结构示例。

[图4]其描绘了如下流程图，该流程图示出了示例性实施例1中的分级潜在变量模型估计设备的操作示例。

[图5]其描绘了如下流程图，该流程图示出了示例性实施例1中的分级潜在变量变分概率计算单元的操作示例。

[图6]其描绘了如下流程图，该流程图示出了示例性实施例1中的门控函数优化单元的操作示例。

[图7]其描绘了如下框图，该框图示出了根据本发明的分级潜在变量模型估计设备的示例性实施例2的结构示例。

[图8]其描绘了如下框图，该框图示出了示例性实施例2中的分级潜在结构优化单元的结构示例。

[图9]其描绘了如下流程图，该流程图示出了示例性实施例2中的分级潜在变量模型估计设备的操作示例。

[图10]其描绘了如下流程图，该流程图示出了示例性实施例2中的分级潜在结构优化单元的操作示例。

[图11]其描绘了如下框图，该框图示出了示例性实施例3中的门控函数优化单元的结构示例。

[图12]其描绘了如下流程图，该流程图示出了示例性实施例3中的门控函数优化单元的操作示例。

[图13]其描绘了如下框图，该框图示意性地示出了根据本发明的分级潜在变量模型估计设备。

具体实施方式

在本发明中，分级潜在变量模型是如下模型，在该模型中，潜在变量(即，分级结构)具有树结构。作为概率模型的分量位于树结构的最低级节点处。每个分支节点具有用于根据输入对分支进行排序的门控函数。在以下描述中，具体描述了深度具体为2的分级潜在变量模型。

由于假设分级结构是树结构，所以从根节点到给定的节点的路线被唯一地确定。在下文中，在分级潜在结构中的将根节点链接到给定的节点的路线(链接)被称为路径。通过追踪用于每个路径的潜在变量，路径潜在变量被确定。例如，最低级路径潜在变量指示为从根节点到最低级节点的每个路径而确定的路径潜在变量。

在以下描述中，假设数据序列xⁿ(n＝1，…，N)被输入，其中xⁿ是M维多变分数据序列(xⁿ＝x₁ ⁿ，…，x_M ⁿ)。数据序列xⁿ也被称为观测的变量。用于观测的变量xⁿ的第一级分支潜在变量z_i ⁿ、最低级分支潜在变量z_jli ⁿ和最低级路径潜在变量z_ij ⁿ被定义。

z_i ⁿ＝1指示向根节点输入的xⁿ分支到第一级第i个节点，并且z_i ⁿ＝0指示向根节点输入的xⁿ未分支到第一级第i个节点。z_jli ⁿ＝1指示向第一级第i个节点输入的xⁿ分支到第二级第j个节点，并且z_jli ⁿ＝0指示向第一级第i个节点输入的xⁿ未分支到第二级第j个节点。z_ij ⁿ＝1指示xⁿ对应于通过穿过第一级第i个节点和第二级第j个节点而被追踪的分量，并且z_ij ⁿ＝0指示xⁿ未对应于通过穿过第一级第i个节点和第二级第j个节点而被追踪的分量。

[数学式1]

由于满足了∑_iz_i ⁿ＝1、∑_jz_j|i ⁿ＝1以及z_ij ⁿ＝z_i ⁿz_j|i ⁿ，所以z_i ⁿ＝∑_jz_ij ⁿ成立。

Z_i ⁿZ_j|i ⁿ代表Z_j|i ⁿ乘以Z_i ⁿ。x和z的组合(该组合是最低级路径潜在变量Z_ij ⁿ的代表值)被称为“完整变量”。对照而言，x被称为“不完整变量”。

用于完整变量的、深度为2的分级潜在变量模型联合分布由以下表达式1代表。

[数学式2]

$\begin{array}{c}p(x^N,z^N|M)=p(x^N,z_{1st}^N,z_{2nd}^N|M)\\ =\∫\underset{n=1}{\overset{N}{\mathrm{\Π}}}\left\{p\left(z_{1st}^n\right|b)\underset{i=1}{\overset{K_1}{\mathrm{\Π}}}p{\left(z_{2nd|i}^n\right|b_i)}^{z_i^n}\underset{i=1}{\overset{K_1}{\mathrm{\Π}}}\underset{j=1}{\overset{K_2}{\mathrm{\Π}}}p{\left(x^n\right|h_{ij})}^{z_i^n\·z_{j|i}^n}\right\}df\end{array}$

                                            (表达式1)

也就是说，用于完整变量的、深度为2的分级潜在变量模型联合分布由在以上所示的表达式1中包括的P(x，y)＝P(x，z_1st，z_2nd)定义。这里，Z_i ⁿ的代表值由Z_1st ⁿ表示，并且Z_j|i ⁿ的代表值由Z_2nd ⁿ表示。另外，用于第一级分支潜在变量Z_i ⁿ的变分分布由q(z_i ⁿ)表示，并且用于最低级路径潜在变量Z_ij ⁿ的变分分布由q(z_ij ⁿ)表示。

在以上所示的表达式1中，K₁表示第一级的节点数目，并且K₂表示从第一级的节点中的每个节点分支的节点数目。最低级的分量由K₁K₂代表。K₁K₂代表K₂乘以K₁。同时，f＝(b，b1，...，bK₁，h1，...，hK₁K₂)表示模型的参数。这里，b是根节点的分支参数，bk是第一级第k个节点的分支参数，并且hk是用于第k个分量的观测参数。

另外，S1，...，SK₁K₂代表与hk对应的观测概率的类型。作为示例，在多变元数据生成概率的情况下，可以是S1至SK₁K₂的候选是[正态分布，对数分布，指数分布]等。作为另一示例，在输出多项式曲线的情况下，可以是S1至SK₁K₂的候选是{零度曲线，线性曲线，二次曲线，三次曲线}等。

在以下描述中，深度为2的分级潜在变量模型被用作具体示例。然而，注意，根据本发明被估计的分级潜在变量模型不限于深度为2的分级潜在变量模型，而是可以是深度为1或者深度为3或者更多的分级潜在变量模型。也在这些情况下，可以如在深度为2的分级潜在变量模型的情况下那样推导以上所示的表达式1和以下所示的表达式2至4，并且因此估计设备可以由相同结构实现。

尽管以下描述了在其中目标变量是X的情况下的分布，但是本发明在观测分布如在回归或者鉴别中那样是条件模型P(Y|X)(Y是目标随机变量)的情况下同样地可适用。

在描述本发明的示例性实施例之前，以下描述在根据本发明的估计设备与在NPL 5中描述的用于混合潜在变量模型的估计方法之间的实质区别。

在NPL 5中描述的方法中，假设了典型混合模型，在该典型混合模型中，潜在变量是每个分量的指示符，并且如在NPL 5中的表达式10中那样推导优化判据。然而，由于以NPL 5中的表达式6的形式给定了费舍尔(Fisher)信息度量，所以在NPL 5中描述的方法中假设潜在变量(该潜在变量是每个分量的指示符)的概率分布仅依赖于混合模型的混合比。因此，不能实现根据输入的分量切换，并且因此这一优化判据不适合。

为了解决以上陈述的问题，有必要如在本发明的示例性实施例中描述的那样设置分级潜在变量并且使用适当优化判据来执行计算。在本发明中，用于根据输入对在每个分支节点处的分支进行排序的多级具体模型被假设为适当优化判据。

下文参照附图描述了本发明的示例性实施例。

示例性实施例1

图1是示出了根据本发明的分级潜在变量模型估计设备的示例性实施例1的结构示例的框图。在这一示例性实施例中的分级潜在变量模型估计设备100包括数据输入设备101、分级潜在结构设置单元102、初始化单元103、分级潜在变量变分概率计算单元104、分量优化单元105、门控函数优化单元106、最优性确定单元107，最优模型选择单元108和模型估计结果输出设备109。

分级潜在变量模型估计设备100在对输入数据111进行输入时优化用于输入数据111的分级潜在结构和观测概率的类型，并且输出优化的结果作为模型估计结果112。

图2是示出了示例性实施例1中的分级潜在变量变分概率计算单元104的结构示例的框图。分级潜在变量变分概率计算单元104包括最低级路径潜在变量变分概率计算单元104-1、分级设置单元104-2、更高级路径潜在变量变分概率计算单元104-3和分级计算结束确定单元104-4。

分级潜在变量变分概率计算单元104在对输入数据111和由以下提到的分量优化单元105估计的模型104-5进行输入时输出分级潜在变量变分概率104-6。稍后将具体描述分级潜在变量变分概率计算单元104。

图3是示出了示例性实施例1中的门控函数优化单元106的结构示例的框图。门控函数优化单元106包括分支节点信息获取单元106-1、分支节点选择单元106-2、分支参数优化单元106-3和总分支节点优化结束确定单元106-4。

门控函数优化单元106在对输入数据111、由以下提到的分级潜在变量变分概率计算单元104计算的分级潜在变量变分概率104-6和由分量优化单元105估计的模型104-5进行输入时输出门控函数模型106-6。稍后将具体描述门控函数优化单元106。

数据输入设备101是用于输入该输入数据111的设备。在输入该输入数据111时，数据输入设备101同时输入模型估计所必需的参数，比如用于观测概率的类型和分量的数目的候选。

分级潜在结构设置单元102从用于观测概率的类型和分量的数目的输入候选选择和设置分级潜在变量模型的结果作为优化候选。在本发明中使用的潜在结构是树结构。在下文中，设置的分量的数目由C表示，并且在说明书中使用的数学表达式涉及深度为2的分级潜在变量模型。注意，分级潜在结构设置单元102可以在内部存储器中存储选择的分级潜在变量模型结构。

例如，在深度为2的树结构的二元树模型(其中每个分支节点具有两个分支的模型)的情况下，分级潜在结构设置单元102选择具有两个第一级节点和四个第二级节点(在这一示例性实施例中的最低级节点)的分级潜在结构。

初始化单元103执行用于估计分级潜在变量模型的初始化处理。初始化单元103能够通过任意方法执行初始化处理。例如，初始化单元103可以随机地设置用于每个分量的观测概率的类型，并且根据设置的类型随机地设置每个观测概率的参数。另外，初始化单元103可以随机地设置分级潜在变量的最低级路径变分概率。

分级潜在变量变分概率计算单元104计算用于每个级的路径潜在变量的变分概率。这里，参数f已经由初始化单元103或者由分量优化单元105和门控函数优化单元106计算。因而，分级潜在变量变分概率计算单元104使用参数f来计算变分概率。

分级潜在变量变分概率计算单元104通过关于用于完整变量的估计(例如，最大似然度估计或者最大后验概率估计)进行拉普拉斯(Laplace)近似边际似然度函数并且最大化它的下界来计算变分概率。这样的计算出的值在下文中被称为优化判据A。

具体而言，最大化判据A是可以在给定最低级路径潜在变量和分量的参数时被计算的值。以下使用深度为2的分级潜在变量模型作为示例来描述计算优化判据的处理。边际对数似然度由以下表达式2给定。

[数学式3]

$logp\left(x^N\right|M)\≥\underset{z^N}{\Σ}q\left(z^N\right)log\left\{\frac{p(x^N,z^N|M)}{q\left(z^N\right)}\right\}$    (表达式2)

首先，考虑由以上所示的表达式2给定的边际对数似然度的下界。在表达式2中，该等式在最低级路径潜在变量变分概率q(z^N)被最大化时成立。使用用于完整变量的最大似然度估计来对分子中的完整变量的边际似然度进行拉普拉斯近似产生对由以下表达式3代表的边际对数似然度函数的近似。

[数学式4]

   (表达式3)

在表达式3中，上标栏指示用于完整变量的最大似然度估计，并且D_*指示下标参数*的维度。

接着，通过使用最大似然度估计的性质以最大化对数似然度函数和对数函数是凹函数的事实，根据以下表达式4来计算表达式3的下界。根据以下举例说明的表达式4计算出的值对应于优化判据A。

[数学式5]

                                         (表达式4)

第一级分支潜在变量的变分分布q′和最低级路径潜在变量的变分分布q″各自通过最大化用于变分分布的表达式4而被获得。这里，q″和f是固定的，从而使得q″＝q^(t-1)并且f＝f^(t-1)，并且q′被固定于由以下表达式A代表的值。

[数学式6]

$q^{\′}={\mathrm{\Σ}}_{j=1}^{K_2}{q}^{(t-1)}$    (表达式A)

这里，上标(t)指示分级潜在变量变分概率计算单元104、分量优化单元105、门控函数优化单元106和最优确定单元107的迭代计算中的第t次迭代。

下文参照图2描述分量潜在变量变分概率计算单元104的操作。最低级路径潜在变量变分概率计算单元104-1接收对输入数据111和估计的模型104-5的输入，并且计算最低级潜在变量变分概率q(z^N)。分级设置单元104-2将最低级设置为变分概率计算目标。

更高级路径潜在变量变分概率计算单元104-3计算紧接更高级的路径潜在变量变分概率。具体而言，更高级路径潜在变量变分概率计算单元104-3计算具有与母节点相同的分支节点的当前级的潜在变量变分概率之和，并且将该和设置为紧接更高级的路径潜在变量变分概率。

分级计算结束确定单元104-4确定是否存在将为其计算变分概率的任何更高级。在其中分级计算结束确定单元104-4确定存在更高级的情况下，分级设置单元104-2将紧接更高级设置为变分概率计算目标。随后，更高级路径潜在变量变分概率计算单元104-3和分级计算结束确定单元104-4重复以上提到的处理。在分级计算结束确定单元104-4确定没有更高级的情况下，分级计算结束确定单元104-4确定已经为所有级计算了路径潜在变量变分概率。

分量优化单元105优化用于以上所示的表达式4的每个分量的模型(参数f和类型S)，并且输出经优化的模型104-5。在深度为2的分级潜在变量模型的情况下，分量优化单元105将q和q″固定于由分级潜在变量变分概率计算单元104计算的最低级路径潜在变量变分概率q^(t)，并且将q′固定于由以上所示的表达式A代表的更高级路径潜在变量变分概率。分量优化单元105然后计算用于最大化表达式4中的G值的模型。

由表达式4定义的G可以分解用于每个分量的优化函数。因而，可以分离地优化S1至SK₁K₂和参数h1至hK₁K₂而未考虑分量类型组合(例如，指明了哪个类型的S1至SK₁K₂)。以这样的方式优化的能力在这一处理中是重要的。因此，可以在避免组合爆发之时优化分量的类型。

下文参照图3描述了门控函数优化单元106的操作。分支节点信息获取单元106-1使用由分量优化单元105估计的模型104-5来提取分支节点。分支节点选择单元106-2从提取的分支节点列表选择一个分支节点。下文也将选择的节点称为选择节点。

分支参数优化单元106-3使用输入数据111和从分级潜在变量变分概率104-6获得的用于选择节点的潜在变量变分概率来优化选择节点的分支参数。选择节点的分支参数对应于以上提到的门控函数。

总分支节点优化结束确定单元106-4确定是否已经优化了由分支节点信息获取单元106-1提取的所有分支节点。在其中已经优化了所有分支节点的情况下，门控函数优化单元106结束该处理。在其中尚未优化所有分支节点的情况下，分支节点选择单元106-2执行它的处理，并且然后分支参数优化单元106-3和总分支节点优化结束确定单元106-4执行它们的相应的处理。

以下使用基于用于二元树分级模型的伯努利分布的门控函数来描述门控函数的具体示例。下文也将基于伯努利分布的门控函数称为伯努利门控函数。令x_d是x的第d个维，g^-是在这一个值未超过阈值w时向二元树的左下分支的概率，而g⁺是在这一个值超过阈值w时向二元树的左下分支的概率。分支参数优化单元106-3基于伯努利分布优化以上提到的优化参数d、w、g^-和g⁺。在这一情况下，每个参数具有与有助于更快优化的在NPL 1中描述的基于罗吉特(logit)函数的分析求解不同的分析求解。

最优性确定单元107确定使用以上所示的表达式4而计算出的优化判据A是否已经收敛。在其中优化判据A尚未收敛的情况下，重复分级潜在变量变分概率计算单元104、分量优化单元105、门控函数优化单元106和最优性确定单元107的处理。例如，最优性确定单元107可以在其中优化判据A的增量小于预定阈值的情况下确定优化判据A已经收敛。

下文也将分级潜在变量变分概率计算单元104、分量优化单元105、门控函数优化单元106和最优性确定单元107的处理统称为分级潜在变量变分概率计算单元104至最优性确定单元107的处理。反复地执行分级潜在变量变分概率计算单元104至最优性确定单元107的处理以更新变分分布和模型，作为其结果是可以选择适当模型。注意，反复地执行这些处理保证优化判据A单调地增加。

最优模型选择单元108选择最优模型。具体而言，在其中作为分级潜在变量变分概率计算单元104至最优性确定单元107的处理的结果而计算出的优化判据A对于由分级潜在结构设置单元102设置的隐藏状态的数目C大于当前设置的优化判据A的情况下，最优模型选择单元108选择该模型作为最优模型。

模型估计结果输出设备109在其中已经为从用于观测概率的类型和分量的数目的输入候选而设置的分级潜在变量模型结构的候选计算了模型优化的情况下输出隐藏状态的最优数目、观测概率的类型、参数、变分分布等作为模型估计结果输出结果112。在另一方面，在其中存在尚未为其完成优化的任何候选的情况下，该过程继续分级潜在结构设置单元102的处理，并且执行与以上描述相同的处理。

分级潜在结构设置单元102、初始化单元103、分级潜在变量变分概率计算单元104(更具体地，为最低级路径潜在变量变分概率计算单元104-1、分级设置单元104-2、更高级路径潜在变量变分概率计算单元104-3和分级计算结束确定单元104-4)、分量优化单元105、门控函数优化单元106(更具体地，为分支节点信息获取单元106-1、分支节点选择单元106-2、分支参数优化单元106-3和总分支节点优化结束确定单元106-4)、最优性确定单元107和最优模型选择单元108由根据程序(分级潜在变量模型估计程序)操作的计算机的CPU实现。

例如，程序可以被存储在分级潜在变量模型估计设备100中的存储单元(未示出)中，其中CPU读取程序并且根据程序作为分级潜在结构设置单元102、初始化单元103、分级潜在变量变分概率计算单元104(更具体地，最低级路径潜在变量变分概率计算单元104-1、分级设置单元104-2、更高级路径潜在变量变分概率计算单元104-3和分级计算结束确定单元104-4)、分量优化单元105、门控函数优化单元106(更具体地，分支节点信息获取单元106-1、分支节点选择单元106-2、分支参数优化单元106-3和总分支节点优化结束确定单元106-4)、最优性确定单元107和最优模型选择单元108操作。

备选地，分级潜在结构设置单元102、初始化单元103、分级潜在变量变分概率计算单元104、分量优化单元105、门控函数优化单元106、最优性确定单元107和最优模型选择单元108可以各自由专用硬件实现。

下文描述了这一示例性实施例中的分级潜在变量模型估计设备的操作。图4是示出了这一示例性实施例中的分级潜在变量模型估计设备的操作示例的流程图。

首先，数据输入设备101输入该输入数据111(步骤S100)。接着，分级潜在结构设置单元102从输入分级潜在结构候选值选择和设置尚未被优化的分级潜在结构(步骤S101)。接着，初始化单元103为设置的分级潜在结构执行潜在变量变分概率和用于估计的参数的初始化处理(步骤S102)。

接着，分级潜在变量变分概率计算单元104计算每个路径潜在变量的变分概率(步骤S103)。接着，分量优化单元105通过估计观测概率的类型和参数来优化每个分量(步骤S104)。

接着，门控函数优化单元106优化每个分支节点中的分支参数(步骤S105)。接着，最优性确定单元107确定优化判据A是否已经收敛(步骤S106)。也就是说，最优性确定单元107确定模型的最优性。

在其中在步骤S106中未确定优化判据A已经收敛(即，确定了模型不是最优(步骤S106a：否))的情况下，重复步骤S103至S106的处理。

在另一方面，在其中在步骤S106中确定了优化判据A已经收敛(即，确定了模型最优(步骤S106a：是))的情况下，最优模型选择单元108比较根据当前设置的最优模型的优化判据A的值(例如，分量的数目、观测概率的类型、参数)与根据在这一处理中优化的模型的优化判据A的值，并且选择具有更大值的模型作为最优模型(步骤S107)。

接着，最优模型选择单元108确定是否剩余了尚未被估计的任何分级潜在结构候选(步骤S108)。在其中候选剩余(步骤S108：是)的情况下，重复步骤S101至S108的处理。在另一方面，在其中没有候选剩余(步骤S108：否)的情况下，模型估计结果输出设备109输出模型估计结果，并且结束该处理(步骤S109)。

下文描述了这一示例性实施例中的分级潜在变量变分概率计算单元104的操作。图5是示出了这一示例性实施例中的分级潜在变量变分概率计算单元104的操作示例的流程图。

首先，最低级路径潜在变量变分概率计算单元104-1计算最低级路径潜在变量变分概率(步骤S111)。接着，分级设置单元104-2设置路径潜在变量已经被计算至哪一级(步骤S112)。接着，更高级路径潜在变量变分概率计算单元104-3使用由分级设置单元104-2设置的级的路径潜在变量变分概率来计算紧接更高级的路径潜在变量变分概率(步骤S113)。

接着，分级计算结束确定单元104-4确定是否剩余了尚未为其计算路径潜在变量的任何级(步骤S114)。在尚未为其计算路径潜在变量的级剩余(步骤S114：否)的情况下，重复步骤S112至S113的处理。在另一方面，在尚未为其计算路径潜在变量的级未剩余的情况下，分级潜在变量变分概率计算单元104结束该处理。

下文描述了这一示例性实施例中的门控函数优化单元106的操作。图6是示出了这一示例性实施例中的门控函数优化单元106的操作示例的流程图。

首先，分支节点信息获取单元106-1识别所有分支节点(步骤S121)。接着，分支节点选择单元106-2选择一个分支节点作为优化目标(步骤S122)。接着，分支参数优化单元106-3优化选择的分支节点中的分支参数(步骤S123)。

接着，总分支节点优化结束确定单元106-4确定是否剩余尚未被优化的任何分支节点(步骤S124)。在其中尚未优化的分支节点剩余的情况下，重复步骤S122至S123的处理。在另一方面，在其中尚未优化的分支节点未剩余的情况下，门控函数优化单元106结束该处理。

如以上描述的那样，根据这一示例性实施例，分级潜在结构设置单元102设置分级潜在结构。这里，分级潜在结构是如下结构，在该结构中，潜在变量由树结构代表，其中分量代表位于树结构的最低级节点的概率模型。

分级潜在变量变分概率计算单元104计算路径潜在变量的变分概率。分级潜在变量变分概率计算单元104可以依次从最低级节点为树结构的每级计算潜在变量的变分概率。例如，分级潜在变量变分概率计算单元104可以基于给定的参数计算用于最大化优化判据A的最低级路径潜在变量变分概率，并且还依次在逐级基础上使用用于计算变分概率求和的表达式来计算更高级路径潜在变量变分概率。例如：

[数学式7]

q(z_i ⁿ)∑_jq(z_ij ⁿ)。

此后，分量优化单元105优化用于计算出的变分概率的分量，并且门控函数优化单元106基于分级潜在结构的节点中的潜在变量的变分概率优化门控函数模型。注意，门控函数模型是用于根据分级潜在结构的节点中的多变元数据确定分支方向的模型。

由于用于多变元数据的分级潜在变量模型由以上描述的结构估计，所以可以用适当计算复杂性估计包括分级潜在变量的分级潜在变量模型而不失理论合理性，并且也可以解决对于分级潜在变量模型的模型选择问题。

这里，分级潜在结构设置单元102可以基于节点中的潜在变量的变分概率设置其中潜在变量由二元树结构代表的分级潜在结构，其中门控函数优化单元106基于伯努利分布优化门控函数模型。在这一情况下，每个参数具有有助于更快优化的分析求解。

示例性实施例2

图7是示出了根据本发明的分级潜在变量模型估计设备的示例性实施例2的结构示例的框图。向与示例性实施例1中的结构相同的结构给予与图1中相同的标号，并且省略它们的描述。在这一示例性实施例中的分级潜在变量模型估计设备200与分级潜在变量模型估计设备100不同仅在于分级潜在结构优化单元201被连接而最优模型选择单元108未被连接。

在示例性实施例1中，分级潜在变量模型估计设备100优化用于分级潜在结构候选的门控函数和分量的模型，并且选择用于优化该优化判据A的分级潜在结构。在这一示例性实施例中的分级潜在变量模型估计设备200中，在另一方面，在分级潜在变量变分概率计算单元104的处理之后添加如下处理，其中分级潜在结构优化单元201从模型去除减少了潜在变量的路径。

图8是示出了示例性实施例2中的分级潜在结构优化单元201的结构示例的框图。分级潜在结构优化单元201包括路径潜在变量求和运算单元201-1、路径去除确定单元201-2和路径去除执行单元201-3。

路径潜在变量求和运算单元201-1接收分级潜在变量变分概率104-6的输入，并且计算每个分量中的最低级路径潜在变量变分概率之和(下文被称为“采样求和”)。

路径去除确定单元201-2确定采样求和是否等于或者小于预定阈值e。这里，e是与输入数据111一起输入的阈值。具体而言，由路径去除确定单元201-2确定的条件可以例如由以下表达式5代表。

[数学式8]

$\underset{n=1}{\overset{N}{\Σ}}q\left(z_{ij}^n\right)\≤e$

也就是说，路径去除确定单元201-2确定每个分量中的最低级路径潜在变量变分概率q(z_ij ⁿ)是否满足由以上所示的表达式5定义的判据。换而言之，路径去除确定单元201-2确定采样求和是否充分地小。

路径去除执行单元201-3将采样求和被确定为充分小的路径的变分概率设置为0。路径去除执行单元201-3然后使用为每个剩余路径(即，其变分概率未被设置成0的路径)而归一化的最低级路径潜在变量变分概率来重新计算用于每级的分级潜在变量变分概率104-6，并且输出重新计算结果。

以下描述这一处理的有效性。以下作为示例而示出的表达式6是迭代优化中的q(z_ij ⁿ)的更新表达式。

[数学式9]

$\begin{array}{c}{q}^t\left(z_{ij}^n\right)\∝g_i^n{g}_{j|i}^{n}p\left(x^n\right|h_{ij})\\ \exp \{\frac{-D_{b_i}}{2{\mathrm{\Σ}}_{n=1}^N{\mathrm{\Σ}}_{j=1}^{K_2}{q}^{t-1}\left(z_{ij}^n\right)}+\frac{-D_{h_{ij}}}{2{\mathrm{\Σ}}_{n=1}^N{q}^{t-1}\left(z_{ij}^n\right)}\}\end{array}$

                                         (表达式6)

在以上所示的表达式6中，在指数部分中包括负项，并且在先前处理中计算出的q(z_ij ⁿ)存在于在该项的分母中。因而，优化的q(z_ij ⁿ)的值在分母更小时更小。因此，通过迭代计算逐渐地减少小路径潜在变量变分概率。

注意，分级潜在结构优化单元201(更具体地，路径潜在变量求和运算单元201-1、路径去除确定单元201-2和路径去除执行单元201-3)由根据程序(分级潜在变量模型估计程序)操作的计算机的CPU实现。

下文描述了这一示例性实施例中的分级潜在变量模型估计设备200的操作。图9是示出了这一示例性实施例中的分级潜在变量模型估计设备200的操作示例的流程图。

首先，数据输入设备101输入该输入数据111(步骤S200)。接着，分级潜在结构设置单元102将隐藏状态的数目的初始状态设置为分级潜在结构(步骤S201)。

在示例性实施例1中，对于分量的数目执行所有多个候选以搜寻最优求解。在这一示例性实施例中，在另一方面，也可以优化分量数目，从而使得可以在一个操作中优化分级潜在结构。因此，在步骤S201中，仅需设置隐藏状态的数目的初始值一次，这不同于示例性实施例1中的步骤S102，其中从多个候选选择尚未被优化的候选。

接着，初始化单元103为设置的分级潜在结构执行潜在变量变分概率和用于估计的参数的初始化处理(步骤S202)。

接着，分级潜在变量变分概率计算单元104计算每个路径潜在变量的变分概率(步骤S203)。接着，分级潜在结构优化单元201通过估计分量的数目来优化分级潜在结构(步骤S204)。也就是说，由于分量位于最低级节点处，所以在优化分级潜在结构时，也优化分量的数目。

接着，分量优化单元105通过估计观测概率的类型和参数来优化每个分量(步骤S205)。接着，门控函数优化单元106优化每个分支节点中的分支参数(步骤S206)。接着，最优性确定单元107确定优化判据A是否已经收敛(步骤S207)。也就是说，最优性确定单元107确定模型的最优性。

在其中在步骤S207中未确定优化判据A已经收敛(即确定模型不是最优(步骤S207a：否))的情况下，重复步骤S203至S207的处理。

在另一方面，在其中在步骤S207中确定优化判据A已经收敛(即确定模型最优(步骤S207a：是))的情况下，模型估计结果输出设备109输出模型估计结果，并且结束该处理(步骤S208)。

下文描述了这一示例性实施例中的分级潜在结构优化单元201的操作。图10是示出了这一示例性实施例中的分级潜在结构优化单元201的操作示例的流程图。

首先，路径潜在分量求和运算单元201-1计算路径潜在变量的采样求和(步骤S211)。接着，路径去除确定单元201-2确定计算出的采样求和是否充分小(步骤S212)。接着，路径去除执行单元201-3输出在其中采样求和被确定为充分小的最低级路径潜在变量变分概率被设置成0的状态中重新计算出的分级潜在变量概率，并且结束该处理(步骤S213)。

如以上描述的那样，在这一示例性实施例中，分级潜在结构优化单元201通过从模型去除其计算出的分辨概率等于或者小于预定阈值的路径来优化分级潜在结构。

根据这样的结构，除了示例性实施例1的有利效果之外，还可以在一个操作中优化分量的数目而无需如在分级潜在变量模型估计设备100中那样优化多个分级潜在结构候选。这使分量的数目、观测概率的类型和参数以及变分概率能够被同时估计，从而使得可以减少计算成本。

示例性实施例3

下文描述了根据本发明的分级潜在变量模型估计设备的示例性实施例3。这一示例性实施例中的分级潜在变量模型估计设备与分级潜在变量模型估计设备200不同在于门控函数优化单元106被门控函数优化单元113取代。

图11是示出了示例性实施例3中的门控函数优化单元113的结构示例的框图。门控函数优化单元113包括有效分支节点选择单元113-1和分支参数优化并行处理单元113-2。

有效分支节点选择单元113-1仅从分级潜在结构选择有效分支节点。具体而言，通过使用由分量优化单元105估计的模型104-5，有效分支节点选择单元113-1通过考虑从模型去除的路径来仅选择有效分支节点。因此，有效分支节点意味着未从分级潜在结构去除的路径上的分支节点。

分支参数优化并行处理单元113-2并行地对于有效分支节点执行分支参数优化处理，并且输出门控函数模型106-6。具体而言，分支参数优化并行处理单元113-2使用输入数据111和由分级潜在变量变分概率计算单元104计算出的分级潜在变量变分概率104-6来并行地同时优化用于所有有效分支节点的分支参数。

例如，分支参数优化并行处理单元113-2可以如在图11中举例说明的那样包括并行布置的示例性实施例1中的分支参数优化单元106-3。这样的结构允许一次优化所有门控函数的分支参数。

也就是说，尽管分级潜在变量模型估计设备100和200一次一个地执行门控函数的优化处理，这一示例性实施例中的分级潜在变量模型估计设备可以并行地执行门控函数的优化处理，这有助于更快模型估计。

注意，门控函数优化单元113(更具体地，有效分支节点选择单元113-1和分支参数优化并行处理单元113-2)由根据程序(分级潜在变量模型估计程序)操作的计算机的CPU实现。

下文描述了这一示例性实施例中的门控函数优化单元113的操作。图12是示出了这一示例性实施例中的门控函数优化单元113的操作示例的流程图。首先，有效分支节点选择单元113-1选择所有有效分支节点(步骤S301)。接着，分支参数优化并行处理单元113-2并行地优化所有有效分支节点，并且结束该处理(步骤S302)。

如以上描述的那样，根据这一示例性实施例，有效分支节点选择单元113-1从分级潜在结构节点选择有效分支节点，并且分支参数优化并行处理单元113-2基于每个有效分支节点中的潜在变量的变分概率优化门控函数模型。这里，分支参数优化并行处理单元113-2并行地优化用于有效分支节点的分支参数。因此，可以并行地执行门控函数的优化处理，从而使得除了前述示例性实施例的有利效果之外还可以实现更快模型估计。

注意，以上描述的每个程序(分级潜在变量模型估计程序)被存储在计算机可读记录介质中，并且使德计算机通过以上提到的单元执行处理。

下文使用具体示例来描述本发明。然而，注意，本发明的范围不限于下文，并且根据本发明的变量模型估计设备适用于各种模型。

首先描述示例性实施例1中的分级潜在变量模型估计设备的具体示例。这里使用了将示例性实施例1中的分级潜在变量模型估计设备应用于分析建筑物的电力需求历史这一情形的示例。

通过应用示例性实施例1中的分级潜在变量模型估计设备，例如，有可能对于多个不同境况中的每个境况(比如“工作日和周末”)分解在从在建筑物中安装的多个传感器获取的功率消耗和多变元数据之间的关系。另外，通过应用示例性实施例1中的分级潜在变量模型估计设备，例如，有可能估计在获取的多个关系之间的切换规则，比如在“给定的温度或者更高温度”的情况下将它们的关系切换成具体关系。

对于用于化解电力供应过量或者短缺的功率消耗预测，极为重要的是不仅估计多个关系而且估计如何在多个关系之间切换。

例如，考虑如下分级潜在变量模型，在该分级潜在变量模型中，假设的多项式回归表达式被应用于每个分量，该多项式回归表达式以空气温度、当天时间和当周日子作为说明变量而以在一小时之后的功率消耗作为响应变量。这里待估计的模型是分级潜在结构、回归参数(hk)和最低级路径潜在变量变分分布(q)。

首先，数据输入设备101与说明变量和响应变量的数据一起向分级潜在变量模型估计设备输入多个不同树结构作为分级潜在结构候选。分级潜在结构设置单元102依次设置输入的树结构。接着，初始化单元103随机地设置用于设置的分级潜在结构的回归度数和其它参数作为初始化处理。然后通过分级潜在变量变分概率计算单元104至最优性确定单元107的处理估计模型。

通过这些处理，可以自动地获得代表不同境况及其切换规则的多个回归模型。代表不同境况的多个回归模型的示例包括具有如下说明变量的大回归系数的回归模型和具有如下参数的相对小回归系数的回归模型，该说明变量指示9点钟，这是到达办公室的时间，该参数指示当天时间。

另外，最优模型选择单元108自动地选择哪个分级潜在结构最优。这里，例如，有可能根据建筑物自动地检测不同功率消耗模式的数目并且对适当模式数目及其切换规则的关系进行建模。

接着描述示例性实施例2中的分级潜在变量模型估计设备的具体示例。这里使用将示例性实施例2中的分级潜在变量模型估计设备应用于分析规模零售商的购买信息这一情形的示例。

例如，通过利用比较来分析POS***信息和天气信息、邻域事件等，有可能确定脱销或者库存不足并且获得产品何时销售良好的营销知识。考虑如下二元树分级潜在变量模型，在该二元树分级潜在变量模型中，假设的多项式回归表达式被应用于每个分量，该多项式回归表达式以天气、当天时间和当周日子作为说明变量而以每个产品的销售作为响应变量。

首先，数据输入设备101与说明变量和响应变量的数据一起向分级潜在变量模型估计设备输入分级潜在结构的深度Dmax和用于路径选择的阈值e。分级潜在结构设置单元102设置分级潜在结构候选作为深度为Dmax的二元树。初始化单元103随机地初始化其它参数，然后通过分级潜在变量变分概率计算单元104至最优性确定单元107的处理估计模型。

通过这些处理，可以分离在温度低时或者在温度高时销售良好的模式、在上午或者在下午销售良好的模式和在一周开始或者在周末销售良好的模式。另外，减少了与任何非典型模式对应的路径模式变量，并且因此这一路径由分级潜在结构优化单元201去除。因此，有可能仅提取典型模式作为最终估计结果。

下文描述了本发明的概况。图13是示意性地示出了根据本发明的分级潜在变量模型估计设备的框图。根据本发明的分级潜在变量模型估计设备是用于估计用于多变元数据的分级潜在变量模型的分级潜在变量模型估计设备，并且包括：分级潜在结构设置单元81(例如，分级潜在结构设置单元102)，用于设置分级潜在结构，该分级潜在结构是如下结构，在该结构中，潜在变量由树结构代表并且代表概率模型的分量位于树结构的最低级的节点处；变分概率计算单元82(例如，分级潜在变量变分概率计算单元104)，用于计算路径潜在变量的变分概率，该路径潜在变量是在分级潜在结构中的将根节点链接到目标节点的路径中包括的潜在变量；分量优化单元83(例如，分量优化单元105)，用于优化用于计算出的变分概率的分量中的每个分量；以及门控函数优化单元84(例如，门控函数优化单元106)，用于优化门控函数模型，该门控函数模型是用于基于分级潜在结构的节点中的潜在变量的变分概率、根据该节点中的多变元数据确定分支方向的模型。

根据这样的结构，可以解决对于包括分级潜在变量的分级潜在变量模型的模型选择问题，并且也可以用适当计算复杂性估计分级潜在变量模型而不失理论合理性。

另外，分级潜在变量模型估计设备可以包括用于通过从模型去除其计算出的变分概率等于或者小于预定阈值的路径来优化分级潜在结构的分级潜在结构优化单元(例如，分级潜在结构优化单元201)。根据这样的结构，可以在一个操作中优化分量数目而无需优化多个分级潜在结构候选。

另外，门控函数优化单元84可以包括：有效分支节点选择单元(例如，有效分支节点选择单元113-1)，用于从分级潜在结构的节点选择有效分支节点，该有效分支节点是未从分级潜在结构去除的路径的分支节点；以及门控函数优化并行处理单元(例，如分支参数优化并行处理单元113-2)，用于基于有效分支节点中的潜在变量的变分概率优化门控函数模型。门控函数优化并行处理单元可以并行地执行对用于有效分支节点的每个分支参数的优化。根据这样的结构，可以实现更快模型估计。

另外，分级潜在结构设置单元81可以设置其中潜在变量由二元树结构代表的分级潜在结构。门控函数优化单元84然后可以基于节点中的潜在变量的变分概率、基于伯努利优化门控函数模型。在这一情况下，每个参数具有分析求解，这有助于更快优化。

具体而言，变分概率计算单元82可以计算最低级的路径潜在变量的变分概率以便最大化基于最低级的路径潜在变量和分量的参数计算出的优化判据(例如，优化判据A)，并且在逐级基础上计算该级的路径潜在变量的计算出的变分概率之和作为更高级的路径潜在变量的变分概率。以下示出了以上陈述的求和的示例。

[数学式10]

q(z_i ⁿ)＝∑_jq(z_ij ⁿ)。

尽管已经参照本发明的示例性实施例具体地示出和描述了本发明，但是本发明不限于这些实施例。本领域普通技术人员将理解，其中可以进行形式和细节上的各种改变而未脱离如权利要求限定的本发明的精神实质和范围。

本申请要求对通过引用而将全部内容结合于此、提交于2013年2月4日的第13/758,267号美国专利申请的优先权。

标号列表

100 分级潜在变量模型估计设备

101 数据输入设备

102 分级潜在结构设置单元

103 初始化单元

104 分级潜在变量变分概率计算单元

104-1 最低级路径潜在变量变分概率计算单元

104-2 分级设置单元

104-3 更高级路径潜在变量变分概率计算单元

104-4 分级计算结束确定单元

105 分量优化单元

106 门控函数优化单元

106-1 分支节点信息获取单元

106-2 分支节点选择单元

106-3 分支参数优化单元

106-4 全分支节点优化结束确定单元

107 最优性确定单元

108 最优模型选择单元

109 模型估计结果输出设备

113 门控函数优化单元

113-1 有效分支节点选择单元

113-2 分支参数优化并行处理单元

201 分级潜在结构优化单元

201-1 路径潜在变量求和运算单元

201-2 路径去除确定单元

201-3 路径去除执行单元

Claims (9)

1.一种分级潜在变量模型估计设备，用于估计用于多变元数据的分级潜在变量模型，所述分级潜在变量模型估计设备包括：

分级潜在结构设置单元，用于设置分级潜在结构，所述分级潜在结构是其中潜在变量由树结构代表并且代表概率模型的分量位于所述树结构的最低级的节点处的结构；

变分概率计算单元，用于计算路径潜在变量的变分概率，所述路径潜在变量是在所述分级潜在结构中的将根节点链接到目标节点的路径中包括的潜在变量；

分量优化单元，用于针对计算出的所述变分概率优化所述分量中的每个分量；以及

门控函数优化单元，用于基于所述分级潜在结构的节点中的所述潜在变量的所述变分概率优化门控函数模型，所述门控函数模型是用于根据所述节点中的所述多变元数据确定分支方向的模型。

2.根据权利要求1所述的分级潜在变量模型估计设备，包括：

分级潜在结构优化单元，用于通过从所述模型去除其计算出的变分概率等于或者小于预定阈值的路径来优化所述分级潜在结构。

3.根据权利要求2所述的分级潜在变量模型估计设备，其中所述门控函数优化单元包括：

有效分支节点选择单元，用于从所述分级潜在结构的节点选择有效分支节点，所述有效分支节点是未被从所述分级潜在结构去除的路径的分支节点；以及

门控函数优化并行处理单元，用于基于所述有效分支节点中的所述潜在变量的所述变分概率优化所述门控函数模型，以及

其中所述门控函数优化并行处理单元并行执行对用于所述有效分支节点的每个分支参数的优化。

4.根据权利要求1至3中的任一权利要求所述的分级潜在变量模型估计设备，其中所述分支潜在结构设置单元设置其中所述潜在变量由二元树结构代表的所述分级潜在结构，以及

其中所述门控函数优化单元基于所述节点中的所述潜在变量的所述变分概率、基于伯努利分布优化所述门控函数模型。

5.根据权利要求1至4中的任一权利要求所述的分级潜在变量模型估计设备，其中所述变分概率计算单元计算所述最低级的所述路径潜在变量的所述变分概率，以便最大化基于所述最低级的所述路径潜在变量和分量的参数计算的优化判据，并且在逐级基础上计算所述级的路径潜在变量的计算出的变分概率之和，作为更高级的所述路径潜在变量的所述变分概率。

6.一种分级潜在变量模型估计方法，用于估计用于多变元数据的分级潜在变量模型，所述分级潜在变量模型估计方法包括：

设置分级潜在结构，所述分级潜在结构是其中潜在变量由树结构代表并且代表概率模型的分量位于所述树结构的最低级的节点处的结构；

计算路径潜在变量的变分概率，所述路径潜在变量是在所述分级潜在结构中的将根节点链接到目标节点的路径中包括的潜在变量；

针对计算出的所述变分概率优化所述分量中的每个分量；以及

基于所述分级潜在结构的节点中的所述潜在变量的所述变分概率优化门控函数模型，所述门控函数模型是根据所述节点中的所述多变元数据确定分支方向的模型。

7.根据权利要求6所述的分级潜在变量模型估计方法，包括：

通过从所述模型去除其计算出的变分概率等于或者小于预定阈值的路径来优化所述分级潜在结构。

8.一种计算机可读记录介质，具有其上记录的用于估计用于多变元数据的分级潜在变量模型的分级潜在变量模型估计程序，所述分级潜在变量模型估计程序使得计算机执行：

设置分级潜在结构的分级潜在结构设置处理，所述分级潜在结构是其中潜在变量由树结构代表并且代表概率模型的分量位于所述树结构的最低级的节点处的结构；

计算路径潜在变量的变分概率的变分概率计算处理，所述路径潜在变量是在所述分级潜在结构中的将根节点链接到目标节点的路径中包括的潜在变量；

针对计算出的所述变分概率优化所述分量中的每个分量的分量优化处理；以及

基于所述分级潜在结构的节点中的所述潜在变量的所述变分概率优化门控函数模型的门控函数优化处理，所述门控函数模型是用于根据所述节点中的所述多变元数据确定分支方向的模型。

9.根据权利要求8所述的记录介质，其中所述分级潜在变量模型估计程序使得所述计算机执行：

通过从所述模型去除其计算出的变分概率等于或者小于预定阈值的路径来优化所述分级潜在结构的分级潜在结构优化处理。