JP2015162233A - Convergence test device, method and program - Google Patents
Convergence test device, method and program Download PDFInfo
- Publication number
- JP2015162233A JP2015162233A JP2014039036A JP2014039036A JP2015162233A JP 2015162233 A JP2015162233 A JP 2015162233A JP 2014039036 A JP2014039036 A JP 2014039036A JP 2014039036 A JP2014039036 A JP 2014039036A JP 2015162233 A JP2015162233 A JP 2015162233A
- Authority
- JP
- Japan
- Prior art keywords
- posterior distribution
- variational
- acvb
- cvb
- convergence determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000009826 distribution Methods 0.000 claims abstract description 217
- 238000004364 calculation method Methods 0.000 claims abstract description 79
- 238000013398 bayesian method Methods 0.000 claims description 7
- 230000007423 decrease Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000002948 stochastic simulation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Complex Calculations (AREA)
Abstract
Description
本発明は、収束判定装置、方法、及びプログラムに係り、特に、変分事後分布の推論が収束したか否かを判定する収束判定装置、方法、及びプログラムに関する。 The present invention relates to a convergence determination apparatus, method, and program, and more particularly, to a convergence determination apparatus, method, and program for determining whether or not an inference of variational posterior distribution has converged.
近年、デジタルデータのストレージ容量の拡大、通信速度の向上、計算能力の向上によって、10年前とは桁違いの量のデータ処理が可能となった。このような大量のデータは、統計的機械学習の利用によって客観的・統計的に健全に高精度のデータ予測、コンテンツ認識、知識発見などに役立てることができる。このような統計的機械学習技術の利用はビッグデータ、データサイエンティスト等の概念の流行に従って、研究者だけでなくビジネス上の実務でも必要な技術となっている。 In recent years, digital data storage capacity has been expanded, communication speed has been improved, and computing power has been improved, so that it has become possible to process data that is orders of magnitude larger than 10 years ago. Such a large amount of data can be used for objective and statistically sound high-precision data prediction, content recognition, knowledge discovery, etc. by using statistical machine learning. The use of such statistical machine learning technology has become a necessary technology not only for researchers but also for business practice according to the trend of concepts such as big data and data scientists.
統計的機械学習技術では、大量のデータに対して何らかの数学的・統計的なモデルを仮定する。これらのモデルは隠れ変数やパラメータと呼ばれる未知量によってその振る舞いがコントロールされる。統計的機械学習技術の目的は、図3に示すように、(i)目的に応じたより良い確率モデルの開発および選択、(ii)目的および所与のデータに最もフィットする未知量を探す推論(推定)手法に大きく大別することができる。 Statistical machine learning techniques assume some mathematical and statistical model for large amounts of data. The behavior of these models is controlled by unknown variables called hidden variables and parameters. The objectives of statistical machine learning techniques are: (i) development and selection of a better probabilistic model according to purpose, (ii) reasoning to find the best fit for the purpose and given data ( Estimation) can be roughly divided into methods.
実世界の事象を観測したデータは多くの揺らぎや不確定性を含んでいる。このようなデータのモデリングには確率に基づく非決定的な数理モデルが最もよく使われている。そして、これら確率モデルの未知量推定の手法として幾つもの推論手法が提案されてきた。その中でも理論上もっとも正確な推定解を与えることが保証されているのがGibbsサンプラーを含むマルコフチェインモンテカルロ(MCMC)法である。MCMC法の与える解は、無限回の確率的シミュレーション(サンプリングと呼ばれる)を行うことでモデルの真の解に収束することが示されている。しかし、現実的には無限回の演算は不可能であり、またその推論が収束したのかどうかの判定も困難である。 Data observed in real-world events contain many fluctuations and uncertainties. Non-deterministic mathematical models based on probability are most often used for modeling such data. A number of inference methods have been proposed as methods for estimating the unknown quantities of these probability models. Among them, the Markov chain Monte Carlo (MCMC) method including a Gibbs sampler is guaranteed to give the most accurate estimated solution in theory. It has been shown that the solution given by the MCMC method converges to the true solution of the model by performing an infinite number of stochastic simulations (called sampling). However, in practice, infinite operations are impossible, and it is difficult to determine whether the inference has converged.
一方、モデルを近似することで有限回の計算で必ず局所解に到達することを保証した推論手法も存在する。その一つが変分ベイズ法である。変分ベイズ法は有名なEMアルゴリズムをより高精度にした決定的繰り返し計算手法であり、繰り返しのうちに必ず局所最適解に到達する。また、アルゴリズムには初期値設定以外に確率的揺らぎを含む部分がない上に、必ず局所最適解に到達することが保証されているため、自動的に推論の収束を判定することが可能である。 On the other hand, there is an inference method that guarantees that a local solution is always reached by a finite number of calculations by approximating the model. One of them is the variational Bayes method. The variational Bayesian method is a deterministic iterative calculation method in which the famous EM algorithm is made more accurate, and always reaches a local optimal solution during the iteration. In addition, the algorithm has no part that includes stochastic fluctuations other than the initial value setting, and since it is guaranteed that the local optimal solution is always reached, it is possible to automatically determine the convergence of inference. .
近年、Gibbsサンプラーおよび変分ベイズ法をさらに改良する「周辺化」と呼ばれる技術が広く用いられるようになっている。通常、確率モデルでは多くのパラメータと隠れ変数は複雑に絡み合っており、その確率的変動の影響を陽に検算することが困難である。しかし、共役性と呼ばれる特性を満たすモデルの組み合わせでは、その確率的揺らぎの影響を全て事前に計算することが可能である。周辺化とは、パラメータの確率的影響を事前に解析的に計算して、そのパラメータを推論の計算対象から除外する技術である。この周辺化は推論手法の計算の高速化および高精度化への寄与が期待できる。 In recent years, a technique called “marginalization” that further improves the Gibbs sampler and the variational Bayes method has been widely used. Usually, in a stochastic model, many parameters and hidden variables are intertwined in a complicated manner, and it is difficult to explicitly check the effect of the stochastic fluctuation. However, in the combination of models satisfying a characteristic called conjugate property, it is possible to calculate all the effects of the stochastic fluctuation in advance. Peripheralization is a technique in which the probabilistic influence of a parameter is analytically calculated in advance and the parameter is excluded from the inference calculation target. This marginalization can be expected to contribute to speeding up and accuracy of inference methods.
特に周辺化を施した変分ベイズ法、「周辺化変分ベイズ(Collapsed Variational Bayes, CVB)」法(以下、単にCVB法と称する。)は、現実的な有限サンプル・有限時間の範囲内では、周辺化したGibbsサンプラーよりもしばしば高速により高精度の解を得ることが多数の研究で報告されている(非特許文献1)。以上推論手法の関係を図4に示す。 In particular, the variational Bayes method with a marginalization, the “Collapsed Variational Bayes (CVB)” method (hereinafter simply referred to as the CVB method) is within the limits of realistic finite samples and finite times. Many studies have reported that high-precision solutions are often obtained at higher speeds than the peripheral Gibbs sampler (Non-patent Document 1). The relationship of the inference method is shown in FIG.
これまでCVB法を使った確率モデルの推論は、トピックモデルと呼ばれる手法で多数研究されてきた(非特許文献1、2)。また、トピックモデルではない確率モデルへの応用も検討されている(非特許文献3)。これらの検証では、多くのデータセットにおいて周辺化Gibbs法よりも良い解が得られる事、またさらに計算を高速化するCVB0法(非特許文献2)などが提案されてきた。 Until now, many inferences of probabilistic models using the CVB method have been studied using a technique called a topic model (Non-Patent Documents 1 and 2). In addition, application to a probability model that is not a topic model is also being studied (Non-patent Document 3). In these verifications, it has been proposed that a better solution than the peripheral Gibbs method can be obtained in many data sets, and that the CVB0 method (Non-patent Document 2) that further speeds up the calculation has been proposed.
しかし、非特許文献1〜3に代表される文献では、CVB法の収束非保証性については議論されてこなかった。CVB法は決定的繰り返し手法であるが、元となった変分ベイズ法と異なり、理論的な収束保証が発見されていない。したがって、CVB法を使う場合には、適当な基準により自動収束判定を実施しているため、その信頼性は低くなってしまう、という問題があった。 However, in the documents represented by Non-Patent Documents 1 to 3, the convergence non-guarantee of the CVB method has not been discussed. Although the CVB method is a deterministic iterative method, unlike the original variational Bayes method, no theoretical convergence guarantee has been found. Therefore, when the CVB method is used, there is a problem that the reliability is lowered because the automatic convergence determination is performed based on an appropriate criterion.
本発明は、上記の事情を鑑みてなされたもので、周辺化変分ベイズ法による推論の収束を判定することができる収束判定装置、方法、及びプログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a convergence determination apparatus, method, and program capable of determining the convergence of inference by the marginal variational Bayes method.
上記の目的を達成するために本発明に係る収束判定装置は、パラメータの周辺化により前記パラメータを推論の計算対象から除外する変分ベイズ法である周辺化変分ベイズ法に従って、学習データについての周辺化不可であるパラメータに関する事後分布を表す変分事後分布を推論する学習装置であって、前記学習データに基づいて、前記変分事後分布を繰り返し更新することにより前記変分事後分布を推論する学習装置から、前記変分事後分布の更新を繰り返す毎に、前記更新された変分事後分布の入力を受け付ける入力部と、前記入力部によって前記変分事後分布を受け付ける毎に、前記変分事後分布に基づいて、前記変分事後分布の平均を表す平均化CVB事後分布を繰り返し計算するACVB事後分布計算部と、前記ACVB事後分布計算部によって計算された前記平均化CVB事後分布の変化量と、予め定められた閾値とに基づいて、前記学習装置による前記変分事後分布の推論が収束したか否かを判定する収束判定部と、を含んで構成されている。 In order to achieve the above object, the convergence determination apparatus according to the present invention provides a learning method for learning data according to a marginal variational Bayes method, which is a variational Bayes method that excludes the parameters from the inference calculation target by parameter marginalization. A learning device for inferring a variational posterior distribution representing a posterior distribution relating to a parameter that cannot be marginalized, and inferring the variational posterior distribution by repeatedly updating the variational posterior distribution based on the learning data Each time the update of the variational posterior distribution is repeated from the learning device, the input unit that receives the input of the updated variational posterior distribution and the variational posterior distribution each time the variational posterior distribution is received by the input unit An ACVB posterior distribution calculation unit that repeatedly calculates an averaged CVB posterior distribution representing an average of the variational posterior distribution based on the distribution, and the ACVB posterior distribution. A convergence determination unit that determines whether the inference of the variational posterior distribution by the learning device has converged based on a change amount of the averaged CVB posterior distribution calculated by the calculation unit and a predetermined threshold value And.
本発明に係る収束判定方法は、入力部、ACVB事後分布計算部、及び収束判定部を含む収束判定装置における収束判定方法であって、前記入力部が、パラメータの周辺化により前記パラメータを推論の計算対象から除外する変分ベイズ法である周辺化変分ベイズ法に従って、学習データについての周辺化不可であるパラメータに関する事後分布を表す変分事後分布を推論する学習装置であって、前記学習データに基づいて、前記変分事後分布を繰り返し更新することにより前記変分事後分布を推論する学習装置から、前記変分事後分布の更新を繰り返す毎に、前記更新された変分事後分布の入力を受け付けるステップと、前記ACVB事後分布計算部が、前記入力部によって前記変分事後分布を受け付ける毎に、前記変分事後分布に基づいて、前記変分事後分布の平均を表す平均化CVB事後分布を繰り返し計算するステップと、前記収束判定部が、前記ACVB事後分布計算部によって計算された前記平均化CVB事後分布の変化量と、予め定められた閾値とに基づいて、前記学習装置による前記変分事後分布の推論が収束したか否かを判定するステップと、を含む。 A convergence determination method according to the present invention is a convergence determination method in a convergence determination apparatus including an input unit, an ACVB posterior distribution calculation unit, and a convergence determination unit, wherein the input unit infers the parameter by parameter marginalization. A learning device for inferring a variational posterior distribution representing a posterior distribution related to a parameter that cannot be marginalized for learning data according to a marginal variational Bayesian method that is a variational Bayesian method excluded from a calculation target, wherein the learning data From the learning device that infers the variational posterior distribution by repeatedly updating the variational posterior distribution, the updated variational posterior distribution is input each time the variational posterior distribution is updated. A step of accepting, and whenever the ACVB posterior distribution calculation unit accepts the variational posterior distribution by the input unit, based on the variational posterior distribution A step of repeatedly calculating an averaged CVB posterior distribution that represents an average of the variational posterior distribution, and the convergence determining unit includes a change amount of the averaged CVB posterior distribution calculated by the ACVB posterior distribution calculating unit, Determining whether or not the inference of the variational posterior distribution by the learning device has converged based on a predetermined threshold value.
本発明の前記ACVB事後分布計算部は、前記入力部によって前記変分事後分布を受け付ける毎に、前記受け付けた前記変分事後分布と、前記計算された前記平均化CVB事後分布との重み付き平均を計算することにより、前記平均化CVB事後分布を繰り返し計算するようにすることができる。 The ACVB posterior distribution calculation unit of the present invention, each time the variation posterior distribution is received by the input unit, the weighted average of the received variation posterior distribution and the calculated averaged CVB posterior distribution. By calculating, the averaged CVB posterior distribution can be repeatedly calculated.
本発明の前記ACVB事後分布計算部は、前記ACVB事後分布計算部による計算の繰り返し回数が多いほど、前記変分事後分布に対する重みを小さくし、前記平均化CVB事後分布に対する重みを大きくして、前記重み付き平均を計算することにより、前記平均化CVB事後分布を計算するようにすることができる。 The ACVB posterior distribution calculation unit of the present invention decreases the weight for the variational posterior distribution and increases the weight for the averaged CVB posterior distribution as the number of repetitions of the calculation by the ACVB posterior distribution calculation unit increases. The averaged CVB posterior distribution can be calculated by calculating the weighted average.
本発明の前記ACVB事後分布計算部は、前記学習装置による前記変分事後分布の更新の繰り返し回数が予め定められた値よりも大きい場合に、前記入力部によって前記変分事後分布を受け付ける毎に、前記変分事後分布に基づいて、前記平均化CVB事後分布を繰り返し計算するようにすることができる。 The ACVB posterior distribution calculation unit according to the present invention receives the variational posterior distribution by the input unit when the number of repetitions of updating the variational posterior distribution by the learning device is larger than a predetermined value. The averaged CVB posterior distribution can be repeatedly calculated based on the variational posterior distribution.
本発明に係るプログラムは、コンピュータを、上記の収束判定装置の各部として機能させるためのプログラムである。 The program according to the present invention is a program for causing a computer to function as each part of the convergence determination device.
以上説明したように、本発明の収束判定装置、方法、及びプログラムによれば、周辺化変分ベイズ法に従って変分事後分布を推論する学習装置から、変分事後分布を受け付ける毎に、変分事後分布の平均を表す平均化CVB事後分布を繰り返し計算し、計算された平均化CVB事後分布の変化量と、予め定められた閾値とに基づいて、学習装置による変分事後分布の推論が収束したか否かを判定することにより、周辺化変分ベイズ法による推論の収束を判定することができる、という効果が得られる。 As described above, according to the convergence determination device, method, and program of the present invention, every time a variational posterior distribution is received from a learning device that infers a variational posterior distribution according to the marginal variational Bayes method, The averaged CVB posterior distribution representing the average of the posterior distribution is repeatedly calculated, and the inference of the variational posterior distribution by the learning device is converged based on the calculated change amount of the averaged CVB posterior distribution and a predetermined threshold. By determining whether or not, it is possible to determine the convergence of inference by the marginal variational Bayes method.
本発明の実施の形態は、様々なデータモデリングの未知量推定(推論)に使われる「周辺化変分ベイズ法」(CVB法)を利用するものである。周辺化変分ベイズ法とは、パラメータの周辺化により、当該パラメータを推論の計算対象から除外する変分ベイズ法のことである。本実施の形態は、一般のCVB法を利用する推論器に適用することで、推論の収束を保証して自動的な収束判定を可能にする。まず、本発明の実施の形態の概要について説明する。 The embodiment of the present invention uses a “marginal variational Bayes method” (CVB method) used for unknown amount estimation (inference) in various data modeling. The marginalized variational Bayesian method is a variational Bayesian method that excludes the parameter from the inference calculation target by the marginalization of the parameter. This embodiment is applied to an inference device that uses a general CVB method, thereby guaranteeing convergence of inference and enabling automatic convergence determination. First, an outline of an embodiment of the present invention will be described.
<概要>
本発明の実施の形態は、CVB法を利用した推論器の欠点の一つである、収束保証の問題を解決する。一般のCVB法を利用する推論器に、本発明の実施の形態を追加的に適用することで、推論の収束を保証して自動的な収束判定を可能にする。理論的には、本発明の実施の形態の保証する収束解は、「もしCVBが収束するのであれば」達成される解に一致する。
<Overview>
The embodiment of the present invention solves the problem of convergence guarantee, which is one of the disadvantages of an inference using the CVB method. By additionally applying the embodiment of the present invention to an inference device that uses a general CVB method, convergence of inference is guaranteed and automatic convergence determination is enabled. Theoretically, the convergence solution guaranteed by the embodiment of the present invention corresponds to the solution achieved if “if CVB converges”.
また、本発明の実施の形態の最小の構成では、1つの単純な閾値パラメータを設定するだけで良く、この閾値パラメータによって収束への速度をある程度コントロールすることが可能である。なお、以降では、本実施の形態で提案する収束保証アルゴリズムを、ACVB(Averaged CVB、平均化CVB)法と呼ぶこととする。 Further, in the minimum configuration of the embodiment of the present invention, only one simple threshold parameter needs to be set, and the convergence speed can be controlled to some extent by this threshold parameter. Hereinafter, the convergence guarantee algorithm proposed in the present embodiment is referred to as an ACVB (Averaged CVB) method.
本発明の実施の形態のポイントは、以下の(1)〜(3)である。 The points of the embodiment of the present invention are the following (1) to (3).
(1)モデルに関わらず、周辺化変分ベイズ法を利用した推論器すべてに適用できる点。
(2)推論の収束が理論的に保証されていない周辺化変分ベイズ法による推論に補助的に適用することで推論収束の保証を与える点。
(3)最小の構成では、一つの単純な閾値パラメータだけを与えれば良い点。
(1) It can be applied to all reasoners using the marginal variational Bayes method regardless of the model.
(2) The point where the convergence of inference is guaranteed by applying to the inference by the marginal variational Bayes method where the convergence of inference is not theoretically guaranteed.
(3) The minimum configuration requires only one simple threshold parameter.
本発明の実施の形態で利用するアルゴリズムであるACVB法は、任意のモデルに対するCVB推論器に付加的に適用される。従って、利用者は自身の目的・タスクにふさわしいモデルを事前に選定し、そのモデルのCVB学習器を準備する必要がある。このモデルおよびCVB学習器をまとめてCVB学習装置と呼称する。なお、このCVB学習装置自体は、本発明の実施の形態に係る収束判定装置には含まない。CVB学習装置の構成方法は、上記非特許文献2、3及び参考文献(Blei, Ng,and Jordan,“Latent Dirichlet Allocation”,Journal of Machine Learning Research,Vol. 3,p.993-1022,2003)などに記載の方法と同様の方法であるため、説明を省略する。 The ACVB method, which is an algorithm used in the embodiment of the present invention, is additionally applied to a CVB inference unit for an arbitrary model. Therefore, the user needs to select a model suitable for his purpose / task in advance and prepare a CVB learner for that model. This model and the CVB learning device are collectively referred to as a CVB learning device. This CVB learning device itself is not included in the convergence determination device according to the embodiment of the present invention. Non-Patent Documents 2 and 3 and References (Blei, Ng, and Jordan, “Latent Dirichlet Allocation”, Journal of Machine Learning Research, Vol. 3, p.993-1022, 2003) Since the method is the same as the method described in the above, the description is omitted.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
<システム構成>
図1は、本発明の実施の形態に係る収束判定装置100を示すブロック図の一例である。収束判定装置100は、CPUと、RAMと、後述する収束判定処理ルーチンを実行するためのプログラムを記憶したROMとを備えたコンピュータで構成され、機能的には、収束判定装置100は、入力部10と、ACVB計算部20と、出力部30と、を備えている。
<System configuration>
FIG. 1 is an example of a block diagram showing a convergence determination apparatus 100 according to an embodiment of the present invention. The convergence determination device 100 is configured by a computer including a CPU, a RAM, and a ROM that stores a program for executing a convergence determination processing routine to be described later. Functionally, the convergence determination device 100 includes an input unit. 10, an ACVB calculation unit 20, and an output unit 30.
図1に示すように、入力部10は、CVB学習装置200から、変分事後分布q(Z)の入力を受け付ける。変分事後分布q(Z)は、学習データについての周辺化不可であるパラメータZに関する事後分布を表す。 As illustrated in FIG. 1, the input unit 10 receives an input of the variational posterior distribution q (Z) from the CVB learning device 200. The variational posterior distribution q (Z) represents the posterior distribution relating to the parameter Z that cannot be marginalized for the learning data.
ここで、CVB学習装置200は、周辺化変分ベイズ法に従って、学習データに基づいて、変分事後分布q(Z)を繰り返し更新することにより変分事後分布q(Z)を推論する装置である。なお、入力部10は、CVB学習装置200が変分事後分布q(Z)の更新を繰り返す毎に、更新された変分事後分布q(Z)の入力を受け付ける。 Here, the CVB learning apparatus 200 is an apparatus that infers the variational posterior distribution q (Z) by repeatedly updating the variational posterior distribution q (Z) based on the learning data according to the marginal variational Bayes method. is there. The input unit 10 receives an input of the updated variational posterior distribution q (Z) every time the CVB learning apparatus 200 repeats the update of the variational posterior distribution q (Z).
また、入力部10は、CVB学習装置200による変分事後分布q(Z)の更新の繰り返し回数を受け付ける。 Further, the input unit 10 receives the number of repetitions of updating the variational posterior distribution q (Z) by the CVB learning device 200.
以下、CVB学習装置200について簡単に説明する。 Hereinafter, the CVB learning apparatus 200 will be briefly described.
CVB学習装置200の構成は、ユーザの目的やタスクに依存するものの、最低限以下を備えるものとする。 Although the configuration of the CVB learning apparatus 200 depends on the user's purpose and task, it is assumed that it includes at least the following.
CVB学習装置200に入力される学習データXは、目的に応じたものが適宜入力される。 The learning data X input to the CVB learning device 200 is appropriately input according to the purpose.
変分事後分布q(Z)は、上記図4でいうところの、「周辺化が不可能な未知量Z」の推定値を意味する。CVB法では、通常、Zに確率値が入力される。なお、未知量(パラメータ)Zはベクトルであり、Z=[z(1),…,z(K)]である。 The variational posterior distribution q (Z) means an estimated value of “an unknown quantity Z that cannot be marginalized” as described in FIG. In the CVB method, normally, a probability value is input to Z. The unknown quantity (parameter) Z is a vector, and Z = [z (1),..., Z (K)].
例えば、ある未知量z(i)の値がkとなる確率が0.1、lとなる確率が0.05、…といった具合である。 For example, the probability that the value of a certain unknown quantity z (i) is k is 0.1, the probability that it is 1 is 0.05, and so on.
なお、未知量の種類の数(すなわちiの取れる範囲)や取りうる値の形式(kやlが連続値か離散値かシンボルか)などは、本発明では特に限定されない。CVB学習装置200による変分事後分布q(Z)の更新の繰り返し回数は、CVB法で導出される決定的繰り返し計算を何回繰り返したかを表す。上記の変分事後分布は繰り返して再計算され、更新され続ける。 It should be noted that the number of types of unknown quantities (that is, the range in which i can be taken) and the form of possible values (whether k and l are continuous values, discrete values, or symbols) are not particularly limited in the present invention. The number of iterations of updating the variational posterior distribution q (Z) by the CVB learning device 200 represents how many times the deterministic iteration calculation derived by the CVB method is repeated. The above variational posterior distribution is repeatedly recalculated and updated.
ACVB計算部20は、入力部10によって受け付けた変分事後分布q(Z)に基づいて、CVB学習装置200の学習が収束したか否かを判定する。ACVB計算部20は、ACVB事後分布計算部22と、ACVB記憶部24と、定数記憶部26と、収束判定部28とを備えている。 The ACVB calculation unit 20 determines whether the learning of the CVB learning device 200 has converged based on the variational posterior distribution q (Z) received by the input unit 10. The ACVB calculation unit 20 includes an ACVB posterior distribution calculation unit 22, an ACVB storage unit 24, a constant storage unit 26, and a convergence determination unit 28.
ACVB事後分布計算部22は、CVB学習装置200による変分事後分布q(Z)の更新の繰り返し回数が予め定められた値より大きい場合に、入力部10によって変分事後分布q(Z)を受け付ける毎に、当該変分事後分布q(Z)に基づいて、変分事後分布q(Z)の平均を表す平均化CVB事後分布r(Z)(以下、ACVB事後分布r(Z)と称する。)を繰り返し計算する。 The ACVB posterior distribution calculation unit 22 determines the variation posterior distribution q (Z) by the input unit 10 when the number of repetitions of updating the variation posterior distribution q (Z) by the CVB learning device 200 is larger than a predetermined value. Each time it is accepted, based on the variational posterior distribution q (Z), an averaged CVB posterior distribution r (Z) representing the average of the variational posterior distribution q (Z) (hereinafter referred to as ACVB posterior distribution r (Z)). )) Repeatedly.
ACVB事後分布r(Z)は、CVB学習装置200が計算する変分事後分布q(Z)に基づいて計算される量で、q(Z)よりも収束判定に有利な性質を持つ。ACVB事後分布r(Z)の要素数はq(Z)と一致しており、q(Z)の中の1要素q(z(i))に対応してr(z(i))が存在する。 The ACVB posterior distribution r (Z) is an amount calculated based on the variational posterior distribution q (Z) calculated by the CVB learning device 200 and has a property that is more advantageous for convergence determination than q (Z). The number of elements of the ACVB posterior distribution r (Z) matches q (Z), and r (z (i)) exists corresponding to one element q (z (i)) in q (Z). To do.
ここで、CVB学習装置200の更新の繰り返し回数をt、ACVB事後分布計算部22による計算の繰り返し回数をs、予め定められた値をBとすると、ACVB事後分布計算部22による計算の繰り返し回数sは、以下の式(1)に示すように割り引いて計算される。なお、以下では、CVB学習装置200による変分事後分布q(Z)の更新の繰り返し回数をCVB繰り返し回数tと称し、ACVB事後分布計算部22による計算の繰り返し回数をACVB繰り返し回数sと称する。 Here, assuming that the number of update iterations of the CVB learning device 200 is t, the number of iterations of calculation by the ACVB posterior distribution calculation unit 22 is s, and the predetermined value is B, the number of iterations of calculation by the ACVB posterior distribution calculation unit 22 s is calculated by discounting as shown in the following formula (1). Hereinafter, the number of iterations of updating the variational posterior distribution q (Z) by the CVB learning device 200 is referred to as CVB iteration number t, and the number of iterations of calculation by the ACVB posterior distribution calculation unit 22 is referred to as ACVB iteration number s.
なお、CVB繰り返し回数tが予め定められた値Bよりも大きい場合に、ACVB事後分布r(Z)を繰り返し計算することを、以下、バーンインと称する。バーンインとは、MCMC法などで用いられるテクニックで、簡単に言うと繰り返し計算の最初の方の計算結果は棄却する方法である。これは、一般に推論の初期の結果はばらつきが大きく、あまり良い解ではないためである。本実施の形態の場合、例えば、予め定められた値B(以下、ACVBバーンイン回数Bと称する。)を自然数に設定する。そして、CVB繰り返し回数tがACVBバーンイン回数B以上になるまでは、ACVB事後分布の計算を行わない、ということである。CVB繰り返し回数tがACVBバーンイン回数B以上に到達したらそこからACVB事後分布の計算を開始する。その際、後述する式(2)、(3)、(4)のACVB繰り返し回数sは上記式(1)のように割り引いて計算する。 Note that, when the CVB repetition count t is larger than a predetermined value B, repeatedly calculating the ACVB posterior distribution r (Z) is hereinafter referred to as burn-in. Burn-in is a technique used in the MCMC method and the like. In short, the first calculation result is repeatedly rejected. This is because the initial results of inference generally vary widely and are not very good solutions. In the present embodiment, for example, a predetermined value B (hereinafter referred to as ACVB burn-in count B) is set to a natural number. The ACVB posterior distribution is not calculated until the CVB repetition count t becomes equal to or greater than the ACVB burn-in count B. When the CVB repetition count t reaches the ACVB burn-in count B or more, the calculation of the ACVB posterior distribution is started from there. At that time, the number of ACVB repetitions s in equations (2), (3), and (4) to be described later is calculated by discounting as in the above equation (1).
なお、ACVB事後分布r(Z)の初期値は、CVB繰り返し回数tがACVBバーンイン回数Bに到達したときに、ACVB繰り返し回数sをs=0から始めると、自然にその時点の変分事後分布q(Z)の値で初期化される。 Note that the initial value of the ACVB posterior distribution r (Z) is that the variational posterior distribution at that time is natural when the ACVB repetition count s starts from s = 0 when the CVB repetition count t reaches the ACVB burn-in count B. Initialized with the value of q (Z).
具体的には、ACVB事後分布計算部22は、以下の式(2)に示すように、ACVB繰り返し回数sが多いほど、変分事後分布q(Z)に対する重みを小さくし、ACVB事後分布r(Z)に対する重みを大きくして、重み付き平均を計算することにより、ACVB事後分布r(Z)を計算する。 Specifically, as shown in the following formula (2), the ACVB posterior distribution calculation unit 22 decreases the weight for the variational posterior distribution q (Z) as the number of ACVB iterations s increases, and the ACVB posterior distribution r The ACVB posterior distribution r (Z) is calculated by increasing the weight for (Z) and calculating the weighted average.
すなわち、ACVB事後分布計算部22は、入力部10によって変分事後分布q(Z)を受け付ける毎に、受け付けた変分事後分布q(Z)と、q(Z)を受け付けた時点でACVB記憶部24に記憶されているACVB事後分布r(Z)との重み付き平均を計算することにより、ACVB事後分布r(Z)を繰り返し計算する。なお、上記式(2)に示すように、ACVB繰り返し回数sを用いて重みは表現される。 That is, every time the ACVB posterior distribution calculation unit 22 receives the variational posterior distribution q (Z) by the input unit 10, the ACVB posterior distribution calculation unit 22 stores the ACVB storage at the time when the received variational posterior distribution q (Z) and q (Z) are received. The ACVB posterior distribution r (Z) is repeatedly calculated by calculating a weighted average with the ACVB posterior distribution r (Z) stored in the unit 24. As shown in the above equation (2), the weight is expressed using the ACVB repetition count s.
ACVB記憶部24には、ACVB事後分布計算部22によって計算されたACVB事後分布r(Z)と、ACVB繰り返し回数sとが記憶される。 The ACVB storage unit 24 stores the ACVB posterior distribution r (Z) calculated by the ACVB posterior distribution calculation unit 22 and the ACVB repetition count s.
定数記憶部26には、閾値パラメータAと、上述のバーンイン処理のためのACVBバーンイン回数Bとが格納されている。閾値パラメータAは、収束判定部28において収束を判定するための値である。1回のACVB事後分布計算部22による計算で、ACVB事後分布r(Z)の絶対的、あるいは相対的な変化の大きさが、閾値パラメータA(例えば相対的に5%)を下回った(あるいは上回った)時に収束と判定するための基準である。 The constant storage unit 26 stores a threshold parameter A and an ACVB burn-in count B for the above-described burn-in process. The threshold parameter A is a value for determining convergence in the convergence determination unit 28. In one calculation by the ACVB posterior distribution calculation unit 22, the magnitude of the absolute or relative change in the ACVB posterior distribution r (Z) is less than a threshold parameter A (for example, 5% relatively) (or This is a criterion for determining convergence.
ACVBバーンイン回数Bは、上述のとおり、CVB学習装置200による学習がB回繰り返しを完了するまでACVB事後分布計算部22による計算を実施しない、といった処理に利用できる。 As described above, the ACVB burn-in count B can be used for processing in which the calculation by the ACVB posterior distribution calculation unit 22 is not performed until the learning by the CVB learning apparatus 200 completes B repetitions.
収束判定部28は、ACVB事後分布計算部22によって計算されたACVB事後分布r(Z)の変化量に基づいて、CVB学習装置200による変分事後分布q(Z)の推論が収束したか否かを判定する。具体的には、収束判定部28は、入力部10によって変分事後分布q(Z)を受け付けた時点でACVB記憶部24に記憶されているACVB事後分布r(Z)、ACVB事後分布計算部22で再計算されたACVB事後分布r(Z)、及び閾値パラメータAに基づいて、以下の式(3)、(4)に示すように、ACVB事後分布の収束判定を行う。 The convergence determination unit 28 determines whether or not the inference of the variational posterior distribution q (Z) by the CVB learning device 200 has converged based on the change amount of the ACVB posterior distribution r (Z) calculated by the ACVB posterior distribution calculation unit 22. Determine whether. Specifically, the convergence determination unit 28 receives the ACVB posterior distribution r (Z) and the ACVB posterior distribution calculation unit stored in the ACVB storage unit 24 when the variational posterior distribution q (Z) is received by the input unit 10. Based on the ACVB posterior distribution r (Z) recalculated in 22 and the threshold parameter A, the convergence determination of the ACVB posterior distribution is performed as shown in the following equations (3) and (4).
以下の式(3)、(4)では、入力部10によって受け付けた変分事後分布q(Z)を用いて計算されたs回目のACVB事後分布の計算結果をr(Z;s)とし、ACVB記憶部24に記憶されているs−1回目のACVB事後分布の計算結果をr(Z;s−1)としている。 In the following formulas (3) and (4), the calculation result of the s-th ACVB posterior distribution calculated using the variational posterior distribution q (Z) received by the input unit 10 is r (Z; s), The calculation result of the s−1th ACVB posterior distribution stored in the ACVB storage unit 24 is r (Z; s−1).
収束判定部28は、上記式(3)が満たされた場合には、CVB学習装置200による変分事後分布q(Z)の推論が収束したと判定し、収束したこと示す情報を出力する。 When the above expression (3) is satisfied, the convergence determination unit 28 determines that the inference of the variational posterior distribution q (Z) by the CVB learning device 200 has converged, and outputs information indicating that it has converged.
また、収束判定部28は、上記式(4)が満たされた場合には、CVB学習装置200による変分事後分布q(Z)の学習が収束していないと判定し、ACVB事後分布計算部22で再計算されたACVB事後分布r(Z)をACVB記憶部24に記憶させると共に、ACVB繰り返し回数sなどをそれぞれ適宜更新して定数記憶部26に記憶させる。また収束判定部28は、収束していないこと示す情報を出力する。 Further, the convergence determination unit 28 determines that the learning of the variational posterior distribution q (Z) by the CVB learning device 200 has not converged when the above equation (4) is satisfied, and the ACVB posterior distribution calculation unit The ACVB posterior distribution r (Z) recalculated in 22 is stored in the ACVB storage unit 24, and the ACVB repetition count s and the like are appropriately updated and stored in the constant storage unit 26. Moreover, the convergence determination part 28 outputs the information which shows not having converged.
出力部30は、収束判定部28によって出力された、収束したこと示す情報又は収束していないこと示す情報をCVB学習装置200に向けて出力する。また、出力部30は、収束判定部28によって収束していないと判定された場合には、ACVB記憶部24に記憶されたACVB事後分布r(Z)をユーザに出力する。 The output unit 30 outputs the information indicating that it has converged or the information indicating that it has not converged output by the convergence determination unit 28 to the CVB learning apparatus 200. Further, when the convergence determination unit 28 determines that the output has not converged, the output unit 30 outputs the ACVB posterior distribution r (Z) stored in the ACVB storage unit 24 to the user.
CVB学習装置200は、収束したこと示す情報を受け付けた場合には、推論を終了する。また、CVB学習装置200は、収束していないこと示す情報を受け付けた場合には、推論を続ける。 The CVB learning device 200 ends the inference when receiving the information indicating that it has converged. In addition, when the CVB learning apparatus 200 receives information indicating that it has not converged, the CVB learning apparatus 200 continues the inference.
<典型的な動作の流れと計算式>
次に、CVB学習装置200による学習、ACVB事後分布計算部22による計算の説明と共に、上記で説明した各部がどのように処理を行うか、及び具体的な計算式を説明する。なお、以下の説明では、ACVB繰り返し回数sを単にsと称し、CVB繰り返し回数tを単にtと称する。
<Typical operation flow and formula>
Next, along with the description of learning by the CVB learning device 200 and calculation by the ACVB posterior distribution calculation unit 22, how each unit described above performs processing and a specific calculation formula will be described. In the following description, the ACVB repetition count s is simply referred to as s, and the CVB repetition count t is simply referred to as t.
CVB学習装置200において対象とする最も単純なモデルでは、例えばN個の学習データがあった場合に、それらをK個のクラスに識別したいとする。この場合、典型的なCVB法ではi=1,…,N個の隠れ変数(未知量)を推定する。i番目の隠れ変数z(i)は、i番目のデータがK個のクラスのうち、どれに所属しているかを表現する。たとえば、z(i)=1ならばi番目のデータは1番目のクラスに所属、z(i)=3ならば3番目のクラス、といった具合である。このz(i)は未知なので、CVBではz(i)はどのクラスの番号になりそうか、という確率を計算する。これが変分事後分布q(Z)である。 In the simplest model targeted by the CVB learning apparatus 200, for example, when there are N pieces of learning data, it is assumed that they are to be identified as K classes. In this case, in a typical CVB method, i = 1,..., N hidden variables (unknown quantities) are estimated. The i-th hidden variable z (i) expresses to which of the K classes the i-th data belongs. For example, if z (i) = 1, the i-th data belongs to the first class, and if z (i) = 3, the third class. Since z (i) is unknown, the probability of which class number z (i) is likely to be in CVB is calculated. This is the variational posterior distribution q (Z).
たとえば、q(z(i)=1)=0.1、q(z(i) = 3)=0.8、であれば、0.8の確率でi番目のデータはクラス3に所属すると考える。このように、変分事後分布q(Z)にはi個のデータそれぞれについてK種のクラスに入る確率が記録される。具体的な形はモデルや学習データによって異なる。 For example, if q (z (i) = 1) = 0.1 and q (z (i) = 3) = 0.8, the i-th data belongs to class 3 with a probability of 0.8. Think. In this way, the variational posterior distribution q (Z) records the probability of entering K classes for each of the i data. The specific shape depends on the model and learning data.
CVB学習装置200では、このq(Z)を、学習データXを使って繰り返し計算し、更新していく。更新式をf、t回目の繰り返し計算の結果をq(Z;t)と書くと、以下の式(5)として表現される。 In the CVB learning apparatus 200, q (Z) is repeatedly calculated using the learning data X and updated. When the update formula is written as f and the result of the t-th repeated calculation is written as q (Z; t), it is expressed as the following formula (5).
すなわち、t回目の繰り返し計算の際にはt−1回目の更新結果のq(Z)を元にする。t=1、つまり最初の更新時には、適当に設定した変分事後分布q(Z)の初期値から計算を始める。 That is, in the t-th repeated calculation, q (Z) of the update result of the t−1th time is used as a basis. At t = 1, that is, at the first update, the calculation is started from the initial value of the appropriately set variational posterior distribution q (Z).
上記式(5)内のfの具体的な式はモデルやデータによって異なり、本発明では限定されない。 The specific formula of f in the formula (5) varies depending on the model and data, and is not limited in the present invention.
本実施の形態で提案するACVB事後分布は、繰り返し計算された変分事後分布q(Z)の重み付き平均をとって、その値の変動を吟味して収束判定を下す。重み付き平均は、ACVB繰り返し回数sの増加とともに変動しにくくなるように設計されており、したがって重み付き平均は有限回のうちに収束に向かうことになる。 The ACVB posterior distribution proposed in this embodiment takes a weighted average of the variational posterior distribution q (Z) repeatedly calculated, examines the variation of the value, and determines convergence. The weighted average is designed to be less likely to fluctuate with an increase in the number of ACVB iterations s, and therefore the weighted average will converge toward a finite number of times.
最も単純な処理の例を、以下に示す。 An example of the simplest process is shown below.
いま、CVB学習装置200がt回目の繰り返しを終えて、q(Z;t)を変分事後分布として更新保存しているとする。すなわちq(Z)=q(Z;t)となっている。
この時、ACVB事後分布計算部22は、上記式(2)でs回目のACVB事後分布の再計算結果r(Z;s)を決定する。
Now, it is assumed that the CVB learning apparatus 200 finishes the t-th repetition and updates and stores q (Z; t) as a variational posterior distribution. That is, q (Z) = q (Z; t).
At this time, the ACVB posterior distribution calculation unit 22 determines the recalculation result r (Z; s) of the s-th ACVB posterior distribution by the above equation (2).
ここで、上記式(2)におけるr(Z)は、現在ACVB事後分布としてACVB記憶部24に保存されている値、すなわちr(Z;s−1)である。単純にはs=tとなるように設定しても良い。なお、s=1の場合には適当に初期化したr(Z)の値をr(Z;0)として使う。 Here, r (Z) in the above equation (2) is a value currently stored in the ACVB storage unit 24 as an ACVB posterior distribution, that is, r (Z; s−1). Simply, s = t may be set. When s = 1, the value of r (Z) initialized appropriately is used as r (Z; 0).
続いて、収束判定部28で、このs回目のACVB事後分布計算部22による計算で収束したかどうかを判定する。 Subsequently, the convergence determination unit 28 determines whether or not the s-th ACVB posterior distribution calculation unit 22 has converged.
これには、先ほど求めたr(Z;s)とr(Z;s−1)、すなわち、再計算されたr(Z;s)と現在ACVB記憶部24に保存されているr(Z)との相違を計算し、その変化分が閾値パラメータAを下回る(あるいは上回る)場合に収束したと判定する。 For this, r (Z; s) and r (Z; s-1) obtained earlier, that is, r (Z; s) recalculated and r (Z) currently stored in the ACVB storage unit 24. The difference is calculated, and if the change is less than (or exceeds) the threshold parameter A, it is determined that it has converged.
最も簡単な例では、相対変化量が利用できる。最初の例だと、q(Z)、r(Z)、r(Z;s)はいずれもN×K個の確率値(すなわち0以上1以下の連続値)からなるベクトルと考えられるので、上記式(3)、(4)にある通り、差分ベクトルの2乗ノルムとr(Z)の2乗ノルムの比率を計算し、比率が閾値(例えば1%)未満ならば収束と判定する。 In the simplest example, relative changes can be used. In the first example, q (Z), r (Z), and r (Z; s) are all considered to be vectors of N × K probability values (that is, continuous values from 0 to 1). As in the above formulas (3) and (4), the ratio between the square norm of the difference vector and the square norm of r (Z) is calculated.
収束判定部28によって収束したと判定された場合、出力部30によって収束したことをCVB学習装置200に通知する。CVB学習装置200は収束したことを示す情報の通知を受けて、これ以上の更新を止めて、ユーザに所望の出力を提示する。また、収束判定装置100も、ACVB記憶部24に保存されたACVB事後分布r(Z)に基づいて、同様にユーザに所望の出力を提示する。 When it is determined that the convergence has been converged by the convergence determination unit 28, the CVB learning device 200 is notified that the output unit 30 has converged. The CVB learning device 200 receives a notification of information indicating that it has converged, stops further updates, and presents a desired output to the user. Further, the convergence determination apparatus 100 similarly presents a desired output to the user based on the ACVB posterior distribution r (Z) stored in the ACVB storage unit 24.
収束判定部28によって収束しなかったと判定された場合、r(Z;s)をACVB事後分布r(Z)としてACVB記憶部24に保存すると共に、ACVB事後分布の計算の繰り返し回数sを1増やして更新し、定数記憶部26に記憶させる。そして、出力部30によって、収束しなかったこと示す情報をCVB学習装置200に通知する。CVB学習装置200は、収束しなかったこと示す情報の通知を受けてCVB学習装置200による学習の繰り返し回数tを1増やすとともに再度、変分事後分布q(Z)の繰り返し計算を行う。 When it is determined by the convergence determination unit 28 that the convergence has not occurred, r (Z; s) is stored in the ACVB storage unit 24 as an ACVB posterior distribution r (Z), and the ACVB posterior distribution calculation count s is increased by one. And updated and stored in the constant storage unit 26. Then, the output unit 30 notifies the CVB learning device 200 of information indicating that it has not converged. The CVB learning device 200 receives the notification of the information indicating that it has not converged, increases the learning repetition count t by the CVB learning device 200 by 1 and repeats the calculation of the variational posterior distribution q (Z) again.
以上の処理を収束判定が出るまで繰り返す。 The above processing is repeated until convergence judgment is obtained.
また、上記式(2)はこの式の通りでなくても良い。ただし、有限の繰り返し回数で収束に向かうことが保証できるようにr(Z)およびq(Z)の重みをsの増加に応じて逓減させることが重要である。なお、上記式(2)を使った場合、「真にCVBが収束する場合には」r(Z)は真のq(Z)に一致することが証明できる。ただし、CVBが収束するかどうかはまだ明らかになっていない。 Further, the above equation (2) may not be the same as this equation. However, it is important that the weights of r (Z) and q (Z) are gradually decreased as s increases so that the convergence can be guaranteed with a finite number of repetitions. In addition, when the above formula (2) is used, it can be proved that “when CVB truly converges”, r (Z) matches true q (Z). However, it is not yet clear whether CVB converges.
上記式(3)、(4)についてもこれに限らず、L1ノルムの比率、あるいは分子項のみ(つまり絶対変化量)などについて、閾値判定を行ってもよい。 The above formulas (3) and (4) are not limited to this, and threshold determination may be performed for the ratio of the L1 norm or only the molecular term (that is, the absolute change amount).
<収束判定装置の動作>
次に、本発明の実施の形態に係る収束判定装置100の作用について説明する。まず、CVB学習装置200が、学習データに基づいて、CVB法に従って、変分事後分布q(Z;t)を繰り返し更新し、更新する毎に、変分事後分布q(Z;t)を収束判定装置100へ出力する。CVB学習装置200から、変分事後分布q(Z;t)とCVB繰り返し回数tとの入力を受け付けると、収束判定装置100において、図2に示す収束判定処理ルーチンが実行される。
<Operation of convergence determination device>
Next, the operation of the convergence determination apparatus 100 according to the embodiment of the present invention will be described. First, the CVB learning device 200 repeatedly updates the variational posterior distribution q (Z; t) according to the CVB method based on the learning data, and converges the variational posterior distribution q (Z; t) each time it is updated. Output to determination device 100. When the input of the variational posterior distribution q (Z; t) and the number of CVB repetitions t is received from the CVB learning device 200, the convergence determination processing routine shown in FIG.
まず、ステップS100において、入力部10によって、変分事後分布q(Z;t)とCVB繰り返し回数tとの入力を受け付ける。 First, in step S100, the input unit 10 receives input of the variational posterior distribution q (Z; t) and the CVB repetition count t.
そして、ステップS102において、ACVB事後分布計算部22によって、上記ステップS100で受け付けたCVB繰り返し回数tがACVBバーンイン回数B以上か否かを判定する。CVB繰り返し回数tがACVBバーンイン回数B以上である場合には、ステップS104へ進む。一方、CVB繰り返し回数tがACVBバーンイン回数B未満である場合には、ステップS100へ戻る。 In step S102, the ACVB posterior distribution calculation unit 22 determines whether the CVB repetition count t received in step S100 is equal to or greater than the ACVB burn-in count B. If the CVB repetition count t is equal to or greater than the ACVB burn-in count B, the process proceeds to step S104. On the other hand, if the CVB repetition count t is less than the ACVB burn-in count B, the process returns to step S100.
次のステップS104において、ACVB事後分布計算部22によって、上記式(1)に従って、ACVB繰り返し回数sを算出する。 In the next step S104, the ACVB posterior distribution calculation unit 22 calculates the ACVB repetition count s according to the above equation (1).
ステップS106において、ACVB事後分布計算部22によって、上記ステップS100で受け付けた変分事後分布q(Z;t)と、上記ステップS104で算出されたACVB繰り返し回数sと、前回のステップS110でACVB記憶部24に記憶されたACVB事後分布r(Z;s−1)とに基づいて、上記式(2)に従って、ACVB事後分布r(Z;s)を計算する。 In step S106, the ACVB posterior distribution calculation unit 22 stores the variation posterior distribution q (Z; t) received in step S100, the ACVB repetition count s calculated in step S104, and the ACVB storage in the previous step S110. Based on the ACVB posterior distribution r (Z; s-1) stored in the unit 24, the ACVB posterior distribution r (Z; s) is calculated according to the above equation (2).
ステップS108において、上記ステップS106で計算されたACVB事後分布r(Z;s)と、前回のステップS110でACVB記憶部24に記憶されたACVB事後分布r(Z;s−1)と、閾値パラメータAとに基づいて、上記式(3)、(4)に従って、CVB学習装置200による変分事後分布q(Z;t)の推論が収束したか否かを判定する。上記式(3)を満たす場合には、CVB学習装置200による変分事後分布q(Z;t)の推論が収束したと判定し、ステップS114へ移行する。一方、上記式(4)を満たす場合には、CVB学習装置200による変分事後分布q(Z;t)の推論が収束していないと判定し、ステップS110へ進む。 In step S108, the ACVB posterior distribution r (Z; s) calculated in step S106, the ACVB posterior distribution r (Z; s-1) stored in the ACVB storage unit 24 in the previous step S110, and the threshold parameter Based on A, whether or not the inference of the variational posterior distribution q (Z; t) by the CVB learning apparatus 200 has converged is determined according to the above formulas (3) and (4). If the above equation (3) is satisfied, it is determined that the inference of the variational posterior distribution q (Z; t) by the CVB learning device 200 has converged, and the process proceeds to step S114. On the other hand, if the above equation (4) is satisfied, it is determined that the inference of the variational posterior distribution q (Z; t) by the CVB learning device 200 has not converged, and the process proceeds to step S110.
ステップS110において、上記ステップS106で計算されたACVB事後分布r(Z;s)をACVB事後分布r(Z)としてACVB記憶部24に記憶させると共に、ACVB事後分布の計算の繰り返し回数sを1増やして更新し、ACVB記憶部24に記憶させる。 In step S110, the ACVB posterior distribution r (Z; s) calculated in step S106 is stored as the ACVB posterior distribution r (Z) in the ACVB storage unit 24, and the ACVB posterior distribution calculation count s is increased by one. Updated and stored in the ACVB storage unit 24.
ステップS112において、出力部30によって、推論が収束していないことを示す情報を、CVB学習装置200へ出力する。 In step S <b> 112, the output unit 30 outputs information indicating that the inference has not converged to the CVB learning apparatus 200.
ステップS114において、出力部30によって、推論が収束したこと示す情報を、CVB学習装置200へ出力する。また、出力部30によって、ACVB記憶部24に記憶されたACVB事後分布r(Z)を出力し、収束判定処理ルーチンを終了する。 In step S <b> 114, the output unit 30 outputs information indicating that the inference has converged to the CVB learning apparatus 200. Further, the output unit 30 outputs the ACVB posterior distribution r (Z) stored in the ACVB storage unit 24, and the convergence determination processing routine is terminated.
CVB学習装置200は、出力部30から出力された情報に基づいて、変分事後分布q(Z)を繰り返し更新するか否かを決定する。出力部30から出力された情報が、収束したこと示す情報である場合には、変分事後分布q(Z)の更新を終了し、推論を終了する。一方、出力部30から出力された情報が、収束していないことを示す情報である場合には、変分事後分布q(Z)を更新し、推論を続ける。 The CVB learning apparatus 200 determines whether to update the variational posterior distribution q (Z) based on the information output from the output unit 30. When the information output from the output unit 30 is information indicating convergence, the update of the variational posterior distribution q (Z) is terminated, and the inference is terminated. On the other hand, when the information output from the output unit 30 is information indicating that the information has not converged, the variational posterior distribution q (Z) is updated and the inference is continued.
<実施例>
本発明の実施の形態のより具体的な適用例を示すために、データ解析を行うモデルをLatent Dirichlet Allocation (LDA、上記参考文献)と想定して、その場合の本実施の形態に係る収束判定装置の挙動を具体的に説明する。
<Example>
In order to show a more specific application example of the embodiment of the present invention, a model for performing data analysis is assumed to be a Latent Dirichlet Allocation (LDA, the above-mentioned reference), and the convergence determination according to the present embodiment in that case The behavior of the apparatus will be specifically described.
LDAはBag-of-Words形式のデータ解析に用いられる確率モデルである。この形式では、データセットは「文書」と呼ばれるデータ群の集合である。各文書内には「単語」と呼ばれる観測データが多数入っている。典型的には、新聞記事データセットを考える。このときデータセットはある1日の新聞のテキスト情報、「文書」はその日のある記事内のテキスト情報、「単語」はある記事内に利用された言葉である。 LDA is a probabilistic model used for data analysis in Bag-of-Words format. In this format, a data set is a collection of data groups called “documents”. Each document contains many observation data called “words”. Typically, consider a newspaper article dataset. At this time, the data set is the text information of a newspaper for a certain day, the “document” is the text information in an article for the day, and the “word” is the word used in the article.
LDAの目的は、このデータセットが与えられたときに、各「文書」内の「単語」をクラスタリングすることである。このクラスタはトピックと呼ばれており、新聞記事のような文書テキストデータの場合、「話題」や「文脈」に推定したことになる。たとえば、あるトピック(クラスタ)にアサインされた単語の多くが「ゴール」「ワールドカップ」「ホームラン」などといった単語の場合、そのトピックは「スポーツ」に関する話題であると判断できる。逆に、ある文書(記事)の中の単語(記事内に出てくる言葉)の多くがLDAによってスポーツトピックにアサインされた場合、その記事はスポーツに関する内容であろうことが推測できる。 The purpose of LDA is to cluster the “words” in each “document” given this data set. This cluster is called a topic, and in the case of document text data such as a newspaper article, it is estimated as “topic” or “context”. For example, if many of the words assigned to a certain topic (cluster) are words such as “goal”, “world cup”, “home run”, etc., it can be determined that the topic is related to “sports”. Conversely, when many words (words appearing in an article) in a document (article) are assigned to a sports topic by LDA, it can be inferred that the article will be related to sports.
LDAは典型的な確率モデルであり、未知のパラメータおよび隠れ変数の値によって観測されたBag-of-Words形式データが制御されると考える。与えられたデータセットに対し最適な未知パラメータおよび隠れ変数を推定することがLDA解析のタスクとなる。 LDA is a typical probabilistic model, and it is considered that observed Bag-of-Words format data is controlled by unknown parameters and hidden variable values. Estimating the optimal unknown parameters and hidden variables for a given data set is the task of LDA analysis.
LDAの未知数推定には様々な手法が利用できるが、上記非特許文献2,3及び参考文献などによってCVB法による推定が最も精度が良いことが知られている。ここではLDAをCVB法によって推定すると仮定して、その際に、本発明の実施の形態で説明した収束判定装置100がどのように動作するかを説明する。 Various methods can be used to estimate the unknown number of LDA, but it is known that the estimation by the CVB method has the highest accuracy according to Non-Patent Documents 2 and 3 and the reference literature. Here, assuming that the LDA is estimated by the CVB method, how the convergence determination apparatus 100 described in the embodiment of the present invention operates will be described.
まず、LDAの場合、入力されるBag-of-Words形式データが学習データXとなる。次に推定する変分事後分布q(Z)は、Bag-of-Words形式データ内の各「記事」内の各「単語」をどのトピック(クラスタ)にアサインするか、という情報である。 First, in the case of LDA, the input Bag-of-Words format data is the learning data X. The variational posterior distribution q (Z) to be estimated next is information indicating which topic (cluster) to which each “word” in each “article” in the Bag-of-Words format data is assigned.
具体的には、d番目の記事内に登場するi番目の単語が、k番目のトピックにアサインされた、ということをz(d,i)=kと表現する。このとき、LDAのCVB法による推定では、学習データXが与えられたときに、このデータの表現上最も適切な「z(d,i)=kとなる確率」を計算する。これをq(z(d,i)=k)と表現する。q(Z)は全てのd,i,kについてq(z(d,i,)=k)を計算した集合である。具体的にどのようにq(Z)を計算するかは上記非特許文献2,3及び参考文献に記載されている。 Specifically, the fact that the i-th word appearing in the d-th article is assigned to the k-th topic is expressed as z (d, i) = k. At this time, in the estimation by the LDA CVB method, when learning data X is given, the most appropriate “probability of z (d, i) = k” is calculated in terms of the expression of this data. This is expressed as q (z (d, i) = k). q (Z) is a set obtained by calculating q (z (d, i,) = k) for all d, i, and k. How to calculate q (Z) specifically is described in Non-Patent Documents 2 and 3 and References.
ここで、上記非特許文献2,3及び参考文献などに記載の方法でq(Z)を繰り返し更新計算する際に、本発明の実施の形態に係る収束判定装置を同時に利用する。 Here, the convergence determination apparatus according to the embodiment of the present invention is used at the same time when q (Z) is repeatedly updated and calculated by the methods described in Non-Patent Documents 2 and 3 and References.
たとえばACVBバーンイン回数BをB=10と設定、また閾値パラメータAをA=0.01と事前に入力する。 For example, the ACVB burn-in count B is set as B = 10, and the threshold parameter A is input as A = 0.01 in advance.
ACVB計算部20では、CVB繰り返し回数tを監視し、例えばt=Bとなった時点でACVBの計算を開始する。ACVB計算部20ではCVB法の繰り返し計算が1度完了するごとに、更新されたq(Z)の結果を受け取って上記式(2)に従ってACVB事後分布r(Z;s)を繰り返し計算する。繰り返しのたびにACVB繰り返し回数sを1ずつインクリメントする。r(Z)の初期値は、バーンイン終了後、ACVB繰り返し回数sをs=0から始めると、自然にその時点のq(Z)の値で初期化される。そして、計算のたびに、収束判定部で上記式(3)、(4)の成立を確認する。 The ACVB calculation unit 20 monitors the CVB repetition count t, and starts calculating ACVB when t = B, for example. The ACVB calculation unit 20 receives the updated q (Z) result and repeats the calculation of the ACVB posterior distribution r (Z; s) according to the above equation (2) every time the CVB method repeated calculation is completed once. The ACVB repetition count s is incremented by 1 for each repetition. The initial value of r (Z) is automatically initialized to the value of q (Z) at that time when the ACVB repetition count s is started from s = 0 after the burn-in is completed. For each calculation, the convergence determination unit confirms that the above equations (3) and (4) are established.
上記式(3)が成立した場合、ACVB事後分布を出力してCVB学習装置200に推定の収束を通知する。CVB学習装置200では、たとえばこの収束通知を受けて推定を終了して所望の出力をユーザに提供する。 When the above equation (3) is established, the ACVB posterior distribution is output to notify the CVB learning device 200 of the convergence of the estimation. In the CVB learning apparatus 200, for example, upon receiving this convergence notification, the estimation is terminated and a desired output is provided to the user.
上記式(4)が成立した場合は、ACVB事後分布の更新結果をACVB記憶部24に保存して、CVB学習装置200に推定が収束していないことを通知する。CVB学習装置200では、たとえばこの通知を受けて再びCVBの繰り返し計算を行ってq(Z)を更新する。 When the above equation (4) is satisfied, the ACVB posterior distribution update result is stored in the ACVB storage unit 24, and the CVB learning device 200 is notified that the estimation has not converged. In CVB learning apparatus 200, for example, upon receiving this notification, CVB is repeatedly calculated again to update q (Z).
先に述べたとおり、提案する本実施の形態の計算によって、理論的には繰り返し計算の収束の保証のないCVB法による推定を確実に収束させることが可能となる。 As described above, the proposed calculation of the present embodiment makes it possible to reliably converge the estimation based on the CVB method, which theoretically has no guarantee of the convergence of the repeated calculation.
以上説明したように、本発明の実施の形態に係る収束判定装置によれば、周辺化変分ベイズ法に従って変分事後分布を推論する学習装置から、変分事後分布を受け付ける毎に、変分事後分布の平均を表すACVB事後分布を繰り返し計算し、計算されたACVB事後分布の変化量と、閾値パラメータAとに基づいて、学習装置による変分事後分布の推論が収束したか否かを判定することにより、周辺化変分ベイズ法による推論の収束を判定することができる。 As described above, according to the convergence determination device according to the embodiment of the present invention, every time a variational posterior distribution is received from a learning device that infers a variational posterior distribution according to the marginal variational Bayes method, The ACVB posterior distribution representing the average of the posterior distribution is repeatedly calculated, and it is determined whether or not the inference of the variational posterior distribution by the learning device has converged based on the calculated change amount of the ACVB posterior distribution and the threshold parameter A. By doing so, the convergence of inference by the marginal variational Bayes method can be determined.
また、本発明の実施の形態に係る収束判定装置によれば、収束が保証されるため、推論の計算がいつまで経っても終了しない、という事態を回避することができる。 Moreover, according to the convergence determination apparatus which concerns on embodiment of this invention, since convergence is ensured, the situation where calculation of an inference does not complete | finish by how long can be avoided.
また、周辺化変分ベイズ法を利用する推論器全てで、人手による推論収束判定を不要として、自動的に収束を判定させることができる。 Further, all the inference devices using the marginal variational Bayes method can automatically determine convergence without requiring manual inference convergence determination.
また、単純な一つの閾値パラメータによって、収束の速度を変えることができる。 In addition, the convergence speed can be changed by a single simple threshold parameter.
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 Note that the present invention is not limited to the above-described embodiment, and various modifications and applications are possible without departing from the gist of the present invention.
例えば、本実施の形態では、収束判定装置100とCVB学習装置200とを別々の装置として構成する場合を例に説明したが、収束判定装置100とCVB学習装置200とを1つの装置として構成してもよい。 For example, in the present embodiment, the case where the convergence determination device 100 and the CVB learning device 200 are configured as separate devices has been described as an example. However, the convergence determination device 100 and the CVB learning device 200 are configured as one device. May be.
また、上述の収束判定装置100は、ACVB記憶部24、及び定数記憶部26を備えている場合について説明したが、例えばACVB記憶部24、及び定数記憶部26の少なくとも1つが収束判定装置100の外部装置に設けられ、収束判定装置100は、外部装置と通信手段を用いて通信することにより、ACVB記憶部24、及び定数記憶部26を参照するようにしてもよい。 Moreover, although the above-mentioned convergence determination apparatus 100 demonstrated the case where the ACVB memory | storage part 24 and the constant memory | storage part 26 were provided, for example, at least one of the ACVB memory | storage part 24 and the constant memory | storage part 26 is the convergence determination apparatus 100. The convergence determination apparatus 100 provided in the external device may refer to the ACVB storage unit 24 and the constant storage unit 26 by communicating with the external device using a communication unit.
また、上述の収束判定装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。 Moreover, although the above-mentioned convergence determination apparatus has a computer system inside, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。 In the present specification, the embodiment has been described in which the program is installed in advance. However, the program can be provided by being stored in a computer-readable recording medium.
10 入力部
20 ACVB計算部
22 ACVB事後分布計算部
24 ACVB記憶部
26 定数記憶部
28 収束判定部
30 出力部
100 収束判定装置
200 CVB学習装置
DESCRIPTION OF SYMBOLS 10 Input part 20 ACVB calculation part 22 ACVB posterior distribution calculation part 24 ACVB memory | storage part 26 Constant memory | storage part 28 Convergence determination part 30 Output part 100 Convergence determination apparatus 200 CVB learning apparatus
Claims (6)
前記入力部によって前記変分事後分布を受け付ける毎に、前記変分事後分布に基づいて、前記変分事後分布の平均を表す平均化CVB事後分布を繰り返し計算するACVB事後分布計算部と、
前記ACVB事後分布計算部によって計算された前記平均化CVB事後分布の変化量と、予め定められた閾値とに基づいて、前記学習装置による前記変分事後分布の推論が収束したか否かを判定する収束判定部と、
を含む収束判定装置。 Inferring variational posterior distributions representing posterior distributions for parameters that cannot be marginalized for training data according to the marginalized variational Bayesian method, which is a variational Bayesian method that excludes the parameters from inference calculations by parameter marginalization Each time the update of the variational posterior distribution is repeated from the learning device that infers the variational posterior distribution by repeatedly updating the variational posterior distribution based on the learning data, An input unit for receiving an input of the updated variational posterior distribution;
An ACVB posterior distribution calculating unit that repeatedly calculates an averaged CVB posterior distribution representing an average of the variational posterior distribution based on the variational posterior distribution each time the variational posterior distribution is received by the input unit;
Based on the amount of change in the averaged CVB posterior distribution calculated by the ACVB posterior distribution calculation unit and a predetermined threshold, it is determined whether or not the inference of the variational posterior distribution by the learning device has converged. A convergence determination unit to
Convergence determination apparatus including
前記入力部が、パラメータの周辺化により前記パラメータを推論の計算対象から除外する変分ベイズ法である周辺化変分ベイズ法に従って、学習データについての周辺化不可であるパラメータに関する事後分布を表す変分事後分布を推論する学習装置であって、前記学習データに基づいて、前記変分事後分布を繰り返し更新することにより前記変分事後分布を推論する学習装置から、前記変分事後分布の更新を繰り返す毎に、前記更新された変分事後分布の入力を受け付けるステップと、
前記ACVB事後分布計算部が、前記入力部によって前記変分事後分布を受け付ける毎に、前記変分事後分布に基づいて、前記変分事後分布の平均を表す平均化CVB事後分布を繰り返し計算するステップと、
前記収束判定部が、前記ACVB事後分布計算部によって計算された前記平均化CVB事後分布の変化量と、予め定められた閾値とに基づいて、前記学習装置による前記変分事後分布の推論が収束したか否かを判定するステップと、
を含む収束判定方法。 A convergence determination method in a convergence determination apparatus including an input unit, an ACVB posterior distribution calculation unit, and a convergence determination unit,
According to the marginal variational Bayes method, which is a variational Bayes method in which the parameter is excluded from the inference calculation target by parameter marginalization, the input unit represents a posterior distribution relating to parameters that cannot be marginalized for learning data. A learning device for inferring a variational posterior distribution from a learning device for inferring the variational posterior distribution by repeatedly updating the variational posterior distribution based on the learning data. Receiving an input of the updated variational posterior distribution each time it repeats;
The ACVB posterior distribution calculation unit repeatedly calculates an averaged CVB posterior distribution representing an average of the variational posterior distribution based on the variational posterior distribution every time the input unit receives the variational posterior distribution. When,
The convergence determination unit converges the inference of the variational posterior distribution by the learning device based on a change amount of the averaged CVB posterior distribution calculated by the ACVB posterior distribution calculation unit and a predetermined threshold value. Determining whether or not
Convergence determination method including
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014039036A JP6099099B2 (en) | 2014-02-28 | 2014-02-28 | Convergence determination apparatus, method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014039036A JP6099099B2 (en) | 2014-02-28 | 2014-02-28 | Convergence determination apparatus, method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015162233A true JP2015162233A (en) | 2015-09-07 |
JP6099099B2 JP6099099B2 (en) | 2017-03-22 |
Family
ID=54185245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014039036A Active JP6099099B2 (en) | 2014-02-28 | 2014-02-28 | Convergence determination apparatus, method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6099099B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019053349A (en) * | 2017-09-12 | 2019-04-04 | 日本電信電話株式会社 | Parameter estimation apparatus, parameter estimation method and parameter estimate program |
CN111433845A (en) * | 2017-11-28 | 2020-07-17 | 乐威指南公司 | Method and system for recommending content in the context of a conversation |
TWI813802B (en) * | 2018-10-26 | 2023-09-01 | 南韓商三星電子股份有限公司 | Method and system for stochastic inference between multiple random variables via common representation |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005276152A (en) * | 2004-02-23 | 2005-10-06 | National Institute Of Advanced Industrial & Technology | Information processing apparatus, and information processing method |
JP2012058972A (en) * | 2010-09-08 | 2012-03-22 | Sony Corp | Evaluation prediction device, evaluation prediction method, and program |
JP2013080395A (en) * | 2011-10-04 | 2013-05-02 | Nippon Telegr & Teleph Corp <Ntt> | Misclassification detecting device, method, and program |
-
2014
- 2014-02-28 JP JP2014039036A patent/JP6099099B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005276152A (en) * | 2004-02-23 | 2005-10-06 | National Institute Of Advanced Industrial & Technology | Information processing apparatus, and information processing method |
JP2012058972A (en) * | 2010-09-08 | 2012-03-22 | Sony Corp | Evaluation prediction device, evaluation prediction method, and program |
JP2013080395A (en) * | 2011-10-04 | 2013-05-02 | Nippon Telegr & Teleph Corp <Ntt> | Misclassification detecting device, method, and program |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019053349A (en) * | 2017-09-12 | 2019-04-04 | 日本電信電話株式会社 | Parameter estimation apparatus, parameter estimation method and parameter estimate program |
CN111433845A (en) * | 2017-11-28 | 2020-07-17 | 乐威指南公司 | Method and system for recommending content in the context of a conversation |
JP2021505046A (en) * | 2017-11-28 | 2021-02-15 | ロヴィ ガイズ, インコーポレイテッド | Methods and systems for recommending content in the context of conversations |
JP7295110B2 (en) | 2017-11-28 | 2023-06-20 | ロヴィ ガイズ, インコーポレイテッド | A method and system for recommending content in the context of a conversation |
US11716514B2 (en) | 2017-11-28 | 2023-08-01 | Rovi Guides, Inc. | Methods and systems for recommending content in context of a conversation |
CN111433845B (en) * | 2017-11-28 | 2024-04-12 | 乐威指南公司 | Method and system for recommending content in context of session |
TWI813802B (en) * | 2018-10-26 | 2023-09-01 | 南韓商三星電子股份有限公司 | Method and system for stochastic inference between multiple random variables via common representation |
Also Published As
Publication number | Publication date |
---|---|
JP6099099B2 (en) | 2017-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230252327A1 (en) | Neural architecture search for convolutional neural networks | |
JP6483667B2 (en) | System and method for performing Bayesian optimization | |
JP6824382B2 (en) | Training machine learning models for multiple machine learning tasks | |
WO2020140073A1 (en) | Neural architecture search through a graph search space | |
JP6172317B2 (en) | Method and apparatus for mixed model selection | |
CN113326852A (en) | Model training method, device, equipment, storage medium and program product | |
Semenkin et al. | Fuzzy rule bases automated design with self-configuring evolutionary algorithm | |
Sandhu et al. | Bayesian model selection using automatic relevance determination for nonlinear dynamical systems | |
Defourny et al. | Scenario trees and policy selection for multistage stochastic programming using machine learning | |
JP6099099B2 (en) | Convergence determination apparatus, method, and program | |
JP6468364B2 (en) | Information processing apparatus, information processing method, and program | |
Petelin et al. | Evolving Gaussian process models for predicting chaotic time-series | |
CN108921207B (en) | Hyper-parameter determination method, device and equipment | |
JP6190771B2 (en) | Parameter estimation method, apparatus, and program | |
KR102110316B1 (en) | Method and device for variational interference using neural network | |
CN115345303A (en) | Convolutional neural network weight tuning method, device, storage medium and electronic equipment | |
JP6233432B2 (en) | Method and apparatus for selecting mixed model | |
Nakashima et al. | Incremental learning of fuzzy rule-based classifiers for large data sets | |
de Angelis et al. | Line sampling for assessing structural reliability with imprecise failure probabilities | |
Gellert et al. | Parameter learning and change detection using a particle filter with accelerated adaptation | |
Asaad et al. | Stochastic Gradient Hamiltonian Monte Carlo on Bayesian Time Series Modeling | |
JP6558860B2 (en) | Estimation device, prediction device, method, and program | |
Bauwens et al. | Bayesian methods | |
Nikolaev et al. | Nonlinear filtering of asymmetric stochastic volatility models and value-at-risk estimation | |
JP5713877B2 (en) | I / O model estimation apparatus, method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20160108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6099099 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |