JPH10111862A - 再帰型ニューラルネットワークに基づく時系列解析装置および方法 - Google Patents

再帰型ニューラルネットワークに基づく時系列解析装置および方法

Info

Publication number
JPH10111862A
JPH10111862A JP17259397A JP17259397A JPH10111862A JP H10111862 A JPH10111862 A JP H10111862A JP 17259397 A JP17259397 A JP 17259397A JP 17259397 A JP17259397 A JP 17259397A JP H10111862 A JPH10111862 A JP H10111862A
Authority
JP
Japan
Prior art keywords
time
particles
vector
particle
transition probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP17259397A
Other languages
English (en)
Inventor
Masahiro Matsuoka
雅裕 松岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP17259397A priority Critical patent/JPH10111862A/ja
Publication of JPH10111862A publication Critical patent/JPH10111862A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Complex Calculations (AREA)

Abstract

(57)【要約】 【課題】 ニューラルネットワークの内部状態を利用し
て、大規模問題における時系列データの確率分布を高速
に推定することが課題である。 【解決手段】 モンテカルロ法を用いて、隠れマルコフ
モデルを表現する再帰型ニューラルネットワークの隠れ
状態ベクトルの実現値を、「粒子」として生成する。ま
ず、時刻nの前向き予測粒子{pn (j) }と、時刻n+
1の後向き濾過粒子{cn+1 (j) }と、時刻nの観測デ
ータxn と、時刻n+1の重み係数{βn+ 1 (j) }とか
ら、時刻nの{βn (j) }を再帰的に計算する(S
6)。次に、{βn (j) }に比例する重みに従って、
{pn (j) }の中から粒子を再抽出することで、時刻n
の平滑粒子{un (j) }を生成する(S5)。処理S5
とS6を繰り返すことで平滑粒子の集合列を計算し、確
率分布関数を合成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ニューラルネット
ワークの内部状態を利用して、与えられた時系列データ
からその確率分布を推定する時系列解析装置およびその
方法に関する。
【0002】
【従来の技術】隠れマルコフモデル(hidden Markov mo
del :HMM)法は、音声認識や遺伝子の2次構造解析
などで広く利用されている解析方法の1つである。マル
コフモデルとは、ある状態への遷移確率がその前の状態
に依存する状態遷移モデルを指す。隠れマルコフモデル
においては、このような状態遷移によって生じる観測量
の変化は観測されるが、状態そのものは観測されない。
【0003】現在まで、隠れマルコフモデルの表現力の
不足を補うために、様々な拡張が施されてきた。主な拡
張をまとめると次のようになる。 (1)通常の隠れマルコフモデルと同じ表現形式 a.観測モデルとして、ガウス密度関数などの連続確率
密度関数を想定するHMM−COD(continuous densi
ty function )モデルを用いた方法(B. H. Juang, Ste
phen E. Levinson and M. M. Sondhi. Maximum Likel
ihood Estimation for Multivariate Mixture Observat
ions of Markov Chains. IEEE Transactions on Infor
mation Theory, IT-32(2):307-309, 1986.)。
【0004】b.観測モデルとして、ガウス型ノイズを
伴う自己回帰(autoregressive)モデルを採用したHM
M−ARモデルを用いた方法(B. H. Juang and L. R.
Rabiner. Mixture autoregressive hidden Markov mod
el for speech signal. IEEE Transactions on Acoust
ic Speech Signal Processing, ASSP-33(6):1401-1413,
1985.)。
【0005】c.一つの状態に留まる時間が様々な分布
に従うモデル(nonexponential−HMM)を用いた方法
(Stephen E. Levinson. Continuously variable dura
tionhidden Markov models for automatic speech reco
gnition. Computer, Speech and langauge 1(1):29-4
5 1986. )。 (2)ニューラルネットワークによる表現形式 確率分布を計算するシンプルな再帰型ニューラルネット
ワーク(Simple Recurrent Neural Network :SRN
N)による、一般的な隠れマルコフモデルの計算方法
(Sakakibara Yasubumi and Mostefa Golea. Simple R
ecurrent Networksas Generalized Hidden markov Mode
ls with Distributed Representations. InProceeding
s of International Conference on Neural Networks(I
CNN'95), volume 2, pages 979-984. IEEE, 1995.)。
【0006】SRNNモデルは、観測モデルとしてガウ
ス密度関数を採用している点で、HMM−CODモデル
に類似している。HMM−CODモデルでは、状態遷移
確率が数値で与えられるので、モデルのパラメータ推定
においては、直接、この数値を推定する。また、隠れ状
態ベクトル(隠れ変数ベクトル)や、観測データの平均
値等の統計量に対しては、分散表現が明示的に与えられ
ていない。ここで、分散表現とは、複数の分布の重ね合
わせによる表現を意味する。
【0007】一方、SRNNでは、状態遷移確率を各ニ
ューロンのパラメータの非線形関数として獲得し、観測
データの統計量を、各ニューロンのパラメータとして分
散表現する。例えば、観測データの平均値は、隠れ状態
ベクトルが表す複数の内部状態に対応して、いくつかの
パラメータの重ね合わせにより与えられる。
【0008】したがって、SRNNモデルでは、観測デ
ータの平均値等を微妙に変化させることが可能で、その
表現力はHMM−CODモデルに比べて高い。また、こ
れをHMM−ARモデルやnonexponential−HMMモデ
ルのように拡張することも容易である。
【0009】図35は、SRNNの概略構成を示してい
る。図35において、ネットワークパラメータ部2に
は、時刻nにおけるc個の時系列データ
n 1 ,...,xn c が入力層1から入力され、時刻n
−1における隠れ素子層3の出力であるk個のデータh
n-1 1 ,...,hn-1 k が文脈層4から入力される。
【0010】これらの入力データは、ネットワークパラ
メータ部2により適当に重み付けされて、隠れ素子層3
に入力される。隠れ素子層3はk個の隠れ素子から成
り、k個の要素を持つ隠れ状態ベクトル
(hn 1 ,...,hn k )を出力する。この隠れ状態
ベクトルは文脈層4に一旦保持されて、次の時刻n+1
におけるネットワークパラメータ部2への入力となる。
【0011】このSRNNは、外部への出力を持たず、
各時刻における内部状態を隠れ状態ベクトルの値で表現
している。この内部状態は、時系列データ
n 1 ,...,xn c の確率分布を定義するエネルギ
ー関数を規定するために用いられる。このモデルは、S
RNNの隠れ状態ベクトルのすべての遷移経路について
考慮して、時系列データの確率分布を計算する構成に対
応している。
【0012】図35においては、文脈層4が1層のレジ
スタで構成されているため、シンプルな再帰型ニューラ
ルネットワークと呼ばれるが、一般の再帰型ニューラル
ネットワークでは、文脈層4が複数のレジスタ層により
構成される。
【0013】ところで、再帰的な計算を行うフィルタ粒
子については、ニューラルネットワークの動作から確率
密度関数を近似的に計算できる。しかし、一般には、ニ
ューラルネットワークの動作と確率密度関数とを対応付
けることは難しく、今後の課題となっている。
【0014】
【発明が解決しようとする課題】しかしながら、従来の
SRNNを利用した確率分布の計算方法には、次のよう
な問題がある。
【0015】SRNNは、表現力において通常の隠れマ
ルコフモデルよりも優れているが、計算の効率において
劣っている。特に、観測データのダイナミックレンジが
広い問題などの大規模な問題に対して、計算時間が素子
数の指数関数となることが大きな障害となる。この理由
は次の通りである。
【0016】従来の計算方法では、観測データ列に対し
て、k個の隠れ素子を持つSRNNによる予測密度関
数、濾過密度関数、および平滑密度関数の再帰計算を行
う必要がある。これらの再帰計算は、隠れマルコフモデ
ルの研究分野では、それぞれフォワード計算、バックワ
ード計算、および最適な隠れ状態の推定と呼ばれてい
る。
【0017】再帰計算においては、すべての隠れ状態間
の遷移確率分布を用いて、予測密度関数等の評価計算を
行わなければならない。しかし、k個の隠れ素子を持つ
SRNNの隠れ状態ベクトルは2k 個の異なる値を取り
得るため、対応する2k 個の隠れ状態を内部状態として
持っている。したがって、kが大きくなると、SRNN
の直接的な計算では、効率的な再帰計算ができなくな
る。実際、大規模な問題では、現実的な計算時間で評価
を行うことは、ほとんど不可能である。
【0018】そこで、kの値を小さくして計算量を削減
すると、隠れ素子の数が少なくなるので、表現可能な統
計量のバリエーションが限られてしまう。このため、S
RNNの利点である分散表現の能力を効果的に利用でき
なくなる。
【0019】本発明の課題は、再帰型ニューラルネット
ワークの内部状態を利用して、大規模問題における時系
列データの確率分布を、高速に推定することができる時
系列解析装置およびその方法を提供することである。
【0020】
【課題を解決するための手段】図1は、本発明の時系列
解析装置の原理図である。図1の時系列解析装置は、ニ
ューラルネットワークを用いて表現される隠れマルコフ
モデルの計算を行う情報処理装置において用いられ、記
憶手段11、生成手段12、および推定手段13を備え
る。
【0021】記憶手段11は、観測データの確率分布を
表現する再帰型ニューラルネットワークの内部状態の状
態遷移確率を記憶する。生成手段12は、上記状態遷移
確率を用いて、モンテカルロ法により、上記内部状態を
規定する隠れ変数の実現値を生成する。
【0022】推定手段13は、上記実現値を用いて、上
記観測データの確率分布を推定する。記憶手段11が記
憶する状態遷移確率とは、複数の内部状態が隠れ状態ベ
クトルの複数の実現値により表現されるとき、ある実現
値が表す状態から他の実現値が表す状態へ遷移する確率
を意味する。この状態遷移確率は、例えば図1に示すよ
うな状態遷移確率行列の要素として記憶される。
【0023】図1の状態遷移確率行列はk次元の隠れ状
態ベクトルに対応しており、その次元2k は、可能な隠
れ状態ベクトルの実現値の数に一致している。隠れ状態
ベクトルの実現値の各要素は、隠れ変数の実現値とな
る。この状態遷移確率行列において、i行j列の要素p
ij(i=1,...,2k 、j=1,...,2k
は、j番目の実現値が表す状態からi番目の実現値が表
す状態へ遷移する確率を表す。
【0024】また、ここで用いるモンテカルロ法とは、
観測データの確率分布を記述する確率分布関数を、隠れ
状態ベクトルの複数の実現値を用いて近似的に計算する
方法を意味する。モンテカルロ法を利用すれば、計算負
荷の高い確率分布関数の計算を簡単な近似計算に置き換
えることができ、ニューラルネットワークの再帰計算を
高速化することができる。したがって、SRNNを大規
模問題に適用することが可能になる。
【0025】生成手段12は、モンテカルロ法に従っ
て、ある状態に対応するある実現値が与えられたとき、
その実現値に対応する状態遷移確率行列の列を読み出
し、その列の要素pij(i=1,...,2k )に従っ
て、別の状態に対応する実現値を生成する。
【0026】そして、推定手段13は、例えば、各時刻
毎の実現値の集合を用いて各時刻毎の確率分布関数を合
成し、それらを確率分布関数の列として出力する。出力
された確率分布関数の列をグラフ化して表示すれば、確
率分布の推定結果を容易に認識できる。
【0027】例えば、図1の記憶手段11は、実施形態
の図14におけるメモリ32に対応し、生成手段12
は、図8における前向き予測粒子生成装置23、平滑粒
子生成装置24、および後向き予測粒子生成装置25に
対応し、推定手段13は表示装置29に対応する。
【0028】
【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態を詳細に説明する。本発明では、SRN
Nの高速な計算のために、利用可能な隠れ状態ベクトル
に制約を持たせ、計算量を削減する。また、予測密度関
数、濾過密度関数、平滑密度関数などの再帰計算や観測
データに対する尤度計算に、北川が提案した計算法を適
用して、SRNNに基づく計算の高速化を図る。
【0029】ここで、予測とは、現在までの情報から将
来の状態を推定することであり、濾過とは、現在までの
情報から現在の状態を推定することであり、平滑化と
は、現在までの情報から過去の状態を推定することであ
る。
【0030】北川は、非線形・非ガウス・多次元の状態
空間モデルに対する計算法(モンテカルロ法)を提案し
ている(Genshiro Kitagawa. Non-Gaussian State-Spa
ce Modeling of Nonstationary Time Series. Journal
of the American Statistical Association 82(400):
1032-1041, 1987. / Genshiro Kitagawa. A Monte
Carlo Filtering and Smoothing Method for Non-Gauss
ian Nonlinear StateSpace Models. Research Memoran
dom 462 The Institute of Statistical Mathematics
12 1993.)。このモンテカルロ法によるフィルタ計算
はスキーマのレベルで知られており、多くの現実問題に
応用することが可能である。
【0031】本発明では、SRNNを具体的に高速に計
算する方法として、この方法を採用する。モンテカルロ
法を利用すれば、上述の各確率密度関数を多数の実現値
で近似的に計算することによって、再帰計算を大幅に短
縮することができる。したがって、SRNNを大規模問
題に適用することが可能になる。
【0032】また、大規模問題のシミュレーション実験
を通じて、SRNNが実際に利用する隠れ状態が非常に
少ないことが分かった。このため、モンテカルロ法を利
用して、少数の隠れ状態を代表点とする近似を行って
も、予測等の結果が劣化しないことが分かった。したが
って、少数の隠れ状態に限定した近似を採用すること
で、SRNNの表現力を損なうことなく、大規模問題へ
の応用が可能になる。
【0033】ところで、本発明の計算方法は、SRNN
によるモデル解析を高速に実行するためのものである。
モデル解析とは、観測データ列を生成した情報源の確率
構造を近似的に記述することであり、観測データ列に対
する適切なパラメータモデルの選択とパラメータの同定
が課題になる。
【0034】ここで、時刻nのSRNNの入力データを
外1 (以後、ベクトルxn と記
【0035】
【外1】
【0036】す)とすると、時刻1からNまでの観測デ
ータの列は、{ベクトルx1 ,...,ベクトルxN
となる。また、モデル解析とは、適切なモデルを用い
て、観測データから確率構造のダイナミクスを推定する
ことでもある。SRNNによるモデル解析では、ガウス
密度関数を持つ隠れマルコフモデルであって、非線形な
関数のパラメータで記述されるモデルを、観測モデルと
して用いて、観測データに対してSRNNの適切なパラ
メータを同定する。適切なパラメータが決まれば、観測
データに対して最尤の隠れ状態ベクトル間の遷移確率お
よびガウス密度関数の平均値が計算できる。
【0037】さらに、観測データに対して最尤の隠れ状
態ベクトル列を同定する。パラメータ同定では、SRN
Nの内部状態から計算できる観測データに対する予測密
度関数列の計算が必要であり、最尤の隠れ状態ベクトル
列の同定には、観測データに対する平滑密度関数列の計
算が必要になる(北川源四郎.時系列解析プログラミン
グ.岩波コンピュータサイエンス.岩波書店,193
3.)。これらの密度関数を直接的な方法で計算すると
効率が悪い。
【0038】本計算方法では、隠れ状態ベクトルの数を
限定し、かつ、モンテカルロ法によって、各密度関数を
「粒子」の集合で置き換えて近似することで、効率的に
モデル解析を遂行する。
【0039】ここで、「粒子」とは、各密度関数に従っ
て生成される隠れ状態ベクトルの実現値を指し、隠れ状
態ベクトルと同じ次元のベクトルである。そして、その
各要素(隠れ変数)の値は、0または1となる。したが
って、k次元の隠れ状態ベクトルは、2k 通りの「粒
子」を実現値として持つことになる。
【0040】次に、図2から図4までを参照しながら、
SRNNの観測データ列に対する予測密度関数や平滑密
度関数を、モンテカルロ法の「粒子」を用いて計算する
処理の概要を説明する。
【0041】図2、3、4において、 外2 (以後、
g(ベクトルxn ;ベクトルω)と
【0042】
【外2】
【0043】記す)は、ベクトルωを平均値とし、分散
行列が単位行列であるような、ベクトルxn のガウス密
度関数である。図2は、前向き予測粒子および前向き濾
過粒子の再帰的生成処理を示している。前向きとは、時
間の流れに従って粒子を生成することを意味する。した
がって、前向き予測粒子とは、特定時刻までの観測デー
タから、その特定時刻より後の内部状態を推定した結果
を表す隠れ状態ベクトルの実現値であり、前向き濾過粒
子とは、特定時刻までの観測データから、その特定時刻
の内部状態を推定した結果を表す隠れ状態ベクトルの実
現値である。図2の処理の流れは次の通りである。
【0044】処理S1:時刻nにおけるm個の前向き予
測粒子{pn (j) }(j=1,...,m)を、時刻n
−1におけるm個の前向き濾過粒子{fn-1 (j) }と状
態遷移確率行列 外3 (以後、p(ベクトルh|ベク
トルh′)と記す)とから生
【0045】
【外3】
【0046】成する。ここで、前向き予測粒子pn (j)
および前向き濾過粒子fn-1 (j) は、例えば{0,1,
1,0,...,1}のような、隠れ状態ベクトルhと
同じ次元のベクトルである。また、p(ベクトルh|ベ
クトルh′)は、隠れ状態ベクトルh′に対応する状態
から、隠れ状態ベクトルhに対応する状態への遷移確率
を表す。
【0047】処理S2:重み係数αn (j) =g(ベクト
ルxn ;ベクトルω(pn (j) ))に比例する 外4
を重みとして、時刻nの前向き予測粒子{pn (j) }の
中から粒子を
【0048】
【外4】
【0049】再抽出することで、時刻nの前向き濾過粒
子{fn (j) }を生成する。ただし、ガウス密度関数の
平均値を表すベクトルω(pn (j) )は、次式により定
義される。
【0050】
【数1】
【0051】(1)式において、(pn (j) i は、k
次元のベクトルpn (j) のi番目の要素を表し、 外5
(以後、ベクトルwi と記す)は、ベクトルxn をi
番目
【0052】
【外5】
【0053】の隠れ素子に入力するときに乗算する重み
ベクトルを表す。したがって、ベクトルwi の次元は、
ベクトルxn の次元と同じである。図2では、時刻0の
前向き濾過粒子{f0 (j) }を初期値として与え、処理
S1およびS2を帰納的に繰り返すことで、前向き予測
粒子の集合列を計算する。粒子の集合とは、1時刻にお
けるm個の粒子を意味し、集合列とは、粒子の集合の時
系列を意味する。
【0054】次に、時刻Nからnまで時間を遡り、過去
の隠れ状態の予測と濾過を計算する。図3は、このよう
な後向き予測粒子および後向き濾過粒子の再帰的生成処
理を示している。後向きとは、時間の流れに逆行して粒
子を生成することを意味する。したがって、後向き予測
粒子とは、特定時刻以降の観測データから、その特定時
刻より前の内部状態を推定した結果を表す隠れ状態ベク
トルの実現値であり、後向き濾過粒子とは、特定時刻以
降の観測データから、その特定時刻の内部状態を推定し
た結果を表す隠れ状態ベクトルの実現値である。図3の
処理の流れは次の通りである。
【0055】処理S3:時刻nの後向き予測粒子{en
(j) }を、時刻n+1の後向き濾過粒子{cn+1 (j)
と状態遷移確率行列p(ベクトルh/ベクトルh′)と
から生成する。
【0056】処理S4:重み係数εn (j) =g(ベクト
ルxn ;ベクトルω(en (j) ))に比例する 外6
を重みとして、時刻nの後向き予測粒子{en (j) }の
中から粒子を
【0057】
【外6】
【0058】再抽出することで、時刻nの後向き濾過粒
子{cn (j) }を生成する。ベクトルω(en (j) )の
定義は(1)式と同様である。図3では、時刻N+1の
後向き濾過粒子{cN+1 (j) }を初期値として与え、処
理S3およびS4を帰納的に繰り返すことで、後向き濾
過粒子の集合列を計算する。
【0059】次に、観測データ列{ベクトル
1 ,...,ベクトルxN }に対して、隠れ状態ベク
トル上の最適な確率密度列を近似する平滑粒子{un
(j) }{n=1,...,N)を生成する。
【0060】図4は、2重フィルタ法(Genshiro Kitag
awa. The two-filter formula forsmoothing and an i
mplementation of the Gaussian-sum smoother. Annal
s of the Institute of Statistical Mathematics 46
(4):605-623, 1994.)を用いた平滑粒子の再帰的生成処
理を示している。平滑粒子とは、特定時間内の観測デー
タから、その特定時間内の1つの時刻の内部状態を推定
した結果を表す隠れ状態ベクトルの実現値である。図4
の処理の流れは次の通りである。
【0061】処理S5:次式で定義される重み係数{β
n (j) }(j=1,...,m)に比例する重みに従っ
て、時刻nの予測粒子{pn (j) }の中から粒子を再抽
出することで、時刻nの平滑粒子{un (j) }を生成す
る。
【0062】
【数2】
【0063】(2)式において、d′はあらかじめ決め
られた整数で、1≦d′≦mである。また、d′個のj
i の値は、1,...,mの中から任意の方法で選ばれ
る。ji の選択方法は、対象とする問題に応じて変更し
てもよい。
【0064】処理S6:時刻n+1の{βn+1 (j)
と、時刻nの前向き予測粒子{pn (j ) }と、時刻n+
1の後向き濾過粒子{cn+1 (j) }と、時刻nの観測デ
ータであるベクトルxn とから、(2)式によって時刻
nの{βn (j) }を再帰的に計算する。このとき、{β
n+1 (j) }としては、先に計算した{βn (j) }を用い
る。
【0065】そして、処理S5およびS6を帰納的に繰
り返すことで、平滑粒子の集合列を計算する。2重フィ
ルタ法の意味については、後述することにする。次に、
図2から図4までに示した処理のアルゴリズムを、より
詳細に説明する。まず、SRNNの動作を規定するエネ
ルギー関数と状態遷移確率について説明する。
【0066】時刻nにおけるSRNNの状態は、(ベク
トルhn ,ベクトルxn )により表され、状態(ベクト
ルhn ,ベクトルxn )上に定義されるエネルギー関数
は、
【0067】
【数3】
【0068】のようになることが知られている。(3)
式において、hn j は、k次元の隠れ状態ベクトルhn
のj番目の要素を表し、ベクトルxn はc次元のベクト
ルであるものとする。また、(4)式のモデルパラメー
タベクトルλは、図35におけるネットワークパラメー
タ部2が保持するSRNNのパラメータに対応する。
【0069】ベクトルwj は、入力層1からj番目の隠
れ素子への入力の重みを表し、ベクトルuj は、文脈層
4からj番目の隠れ素子への入力の重みを表し、θ
j は、j番目の隠れ素子への入力バイアスを表す。ベク
トルwj は、ベクトルxn と同じくc次元のベクトルで
あり、ベクトルuj は、ベクトルhn と同じくk次元の
ベクトルである。
【0070】(3)式のエネルギー関数で決まる(ベク
トルhn ,ベクトルxn )上の条件付き同時確率分布
は、次式で与えられる。
【0071】
【数4】
【0072】ここで、ベクトルhn ∈{0,1}k とい
う表記は、ベクトルhn の各要素が0または1であるこ
とを意味し、これに関する総和記号Σは、ベクトルhn
の取り得る2k 通りの値すべてについての総和を意味す
る。また、ベクトルω(ベクトルhn )は、(1)式と
同様に、次式で定義される。
【0073】
【数5】
【0074】また、状態遷移密度関数p(ベクトルhn
|ベクトルhn-1 ,ベクトルλ)は、次式で定義され
る。
【0075】
【数6】
【0076】(5)式の同時確率分布は、ガウス密度関
数g(ベクトルxn ;ベクトルω(ベクトルhn ))と
状態遷移密度関数p(ベクトルhn |ベクトルhn-1
ベクトルλ)の積で表されている。この同時確率分布を
図示すると、図5のようになる。図5において、ベクト
ルhn の値により決められるベクトルω(ベクトル
n )の値は、確率分布の極大値に対応していることが
分かる。
【0077】また、時刻nのシステムベクトル(隠れ状
態ベクトル)hn は、マルコフ仮定により、一つ前の状
態で決まる状態遷移確率分布p(ベクトルhn |ベクト
ルh n-1 ,ベクトルλ)により決められる。
【0078】今、ベクトルhn の取り得る2k 通りの値
を 外7 と書くことにすると、p
【0079】
【外7】
【0080】(ベクトルhn |ベクトルhn-1 ,ベクト
ルλ)は、図6のような行列により表現できる。図6の
状態遷移確率行列において、i行j列の要素pij(ベク
トルλ)は、ベクトルh(j) に対応する状態からベクト
ルh(i) に対応する状態への遷移確率を表す。パラメー
タベクトルλが与えられたとき、(7)式より、状態遷
移確率行列の任意の要素pij(ベクトルλ)を計算する
ことができる。
【0081】また、隠れ状態ベクトルhn が与えられた
時のベクトルxn の確率密度関数は、
【0082】
【数7】
【0083】となり、(8)式を用いて(5)式の同時
確率分布を書き直すと、
【0084】
【数8】
【0085】のようになる。以下では、形式的な変換に
おいて、パラメータベクトルλの記載を省略することに
する。次に、SRNNにおける予測、濾過、平滑化の各
密度関数の導出方法を説明する。ここでは、北川のフィ
ルタ・スキーマを援用して、パラメータベクトルλと観
測データ列XN ={ベクトルx1 ,...,ベクトルx
N }が与えられた時のSRNNの対数尤度の算定方法
と、最適な隠れ状態ベクトルの推定方法、すなわち、平
滑密度関数列の推定方法とを導く。
【0086】まず、隠れ状態ベクトルに関する前向き予
測と前向き濾過を計算すると、前向き予測密度関数は、
【0087】
【数9】
【0088】のようになり、前向き濾過密度関数は、
【0089】
【数10】
【0090】のようになる。ここで、Xn-1 ={ベクト
ルx1 ,...,ベクトルxn-1 }である。また、観測
されたベクトルxn に対する予測密度関数は、
【0091】
【数11】
【0092】で与えられる。したがって、パラメータベ
クトルλが与えられたときの観測データ列に対するSR
NNの尤度としては、例えば、再帰的に計算した予測密
度関数の対数値の総和を用いることができる。この対数
尤度は、次式により与えられる。
【0093】
【数12】
【0094】また、観測値の濾過密度関数は、
【0095】
【数13】
【0096】である。また、XN n ={ベクトル
n ,...,ベクトルxN }とおいて、後向き予測と
後向き濾過を計算すると、後向き予測密度関数は、
【0097】
【数14】
【0098】のようになり、後向き濾過密度関数は、
【0099】
【数15】
【0100】のようになる。さらに、観測データ列XN
から推定可能な最適な隠れ状態ベクトルは、次式の平滑
密度関数により決められる。
【0101】
【数16】
【0102】(17)式の右辺より、平滑密度関数p
(ベクトルhn |XN )は、重みp(XN n |ベクトル
n )と前向き予測密度関数p(ベクトルhn
N-1 )の積に比例することが分かる。この重みp(X
N n |ベクトルhn )は、さらに次式のように書き換え
られる。
【0103】
【数17】
【0104】(18)式の右辺において、p(ベクトル
n |ベクトルhn ,XN n+1 )はp(ベクトルxn
ベクトルhn )と書き換えられている。これは、ベクト
ルh n が一旦与えられると、ベクトルxn の確率分布が
決まるので、XN n+1 ={ベクトルxn+1 ,...,ベ
クトルxN }の観測データは条件として不要なためであ
る。
【0105】(18)式の右辺の最下段にはp(XN
n+1 |ベクトルhn+1 )が現れているため、p(XN n
|ベクトルhn )は再帰的に計算されることが分かる。
したがって、この再帰計算で得られる各時刻の平滑密度
関数の最尤値として、隠れ状態ベクトルを選ぶことがで
きる。
【0106】しかし、平滑密度関数のピークが複数個あ
る場合や、平滑密度関数の分散が時間により変化する場
合などもある。このような場合に、平滑密度関数列から
得られる情報の損失を防ぐためには、最尤値に対応する
隠れ状態ベクトルを求めるのではなく、平滑密度関数列
をそのまま推定結果として利用することが望ましい。
【0107】また、(18)式を用いてp(XN n |ベ
クトルhn )の再帰計算を行うときに、ベクトルhn+1
∈{0,1}k の全体について、p(XN n+1 |ベクト
ルh n+1 )p(ベクトルhn+1 |ベクトルhn )の総和
を計算しなければならない。このため、モンテカルロ法
を用いて(17)、(18)式を忠実に近似する計算方
法では、各時刻の前向き予測粒子をすべて保存しなけれ
ばならない。したがって、高次元ベクトルの実現値を長
時間保存するために、膨大なメモリ空間を必要とする。
【0108】そこで、(18)式の総和をそのまま計算
する代わりに、後向き濾過粒子を用いて近似的に計算す
る方法がある。これは、2重フィルタ法と呼ばれる。2
重フィルタ法では、各時刻の前向き予測粒子を、必要に
応じて、その都度再帰的に生成すればよく、メモリを大
幅に節約することができる。
【0109】図7は、2重フィルタ法に基づく平滑粒子
の近似計算処理を示している。2重フィルタ法におい
て、時刻nの平滑粒子{un (j) }は、図4にも示した
ように、時刻nの前向き予測粒子{pn (j) }と時刻n
+1の後向き濾過粒子{cn+1 ( j) }を用いて計算でき
る。
【0110】この方法では、時刻Nから順に時間を遡っ
て、平滑粒子{un (j) }を生成していく。このとき、
後向き濾過粒子{cn+1 (j) }は、図3に示したよう
に、時刻n+2の後向き濾過粒子{cn+2 (j) }から、
時刻n+1の後向き予測粒子{en+1 (j) }のみを介し
て生成される。時刻N+1の後向き濾過粒子{cN+1 (j
) }は初期値として与えられるので、後向き濾過粒子は
容易に求められる。
【0111】これに対して、前向き予測粒子
{pn (j) }は、図2に示したように、時刻n−1の前
向き予測粒子{pn-1 (j) }から、時刻n−1の前向き
濾過粒子{fn- 1 (j) }を介して生成される。ところ
が、初期値として与えられるのは時刻0の前向き濾過粒
子{f0 (j) }であるため、前向き予測粒子
{pn (j) }を計算するには、時刻1から時刻n−1ま
での前向き予測粒子と前向き濾過粒子を順に求める必要
がある。
【0112】例えば、図7のSTAGE1においては、
時刻Nの平滑粒子{uN (j) }を計算するために、時刻
N+1の後向き濾過粒子{cN+1 (j) }と、時刻Nの前
向き予測粒子{pN (j) }を用いている。前向き予測粒
子{pN (j) }を求めるには、時刻1から時刻Nまでの
前向きフィルタの計算を行わなければならない。しか
し、以後、STAGE2、STAGE3と計算が進むに
つれて、必要な前向きフィルタの計算量は減少してい
く。
【0113】ここで、前向きフィルタとは、前向き予測
粒子と前向き濾過粒子を交互に生成する計算を表し、後
向きフィルタとは、後向き予測粒子と後向き濾過粒子を
交互に生成する計算を表す。また、図7の計算では、前
向きフィルタと後向きフィルタの両方の計算を実行する
ため、この方法は2重フィルタ法と呼ばれる。
【0114】次に、SRNNの隠れ状態を限定する方法
について説明する。k個の隠れ素子をすべて利用した場
合、2k 個の隠れ状態ベクトルが利用可能である。しか
し、システムモデルのダイナミクスの表現に利用される
隠れ状態の数は、経験的に高々k程度であることが分か
っている。残りの2k −k個の隠れ状態が利用される確
率は、ほぼ0に等しい。
【0115】そこで、利用する隠れ状態をあらかじめ限
定することで、SRNNの各密度関数の計算を効率的に
遂行することを考えたい。しかしながら、適当な隠れ状
態ベクトルをどのように選ぶのかは、難しい問題であ
る。
【0116】例えば、隠れ状態ベクトルのk個の要素の
中で、高々logk個の要素が1であるような隠れ状態
ベクトルの集合を考えることもできる。この場合、集合
の大きさは2logk/logkとなる。この大きさは、k
=70で90万程度、k=100で400万程度とな
り、大規模な回路においては実際的でない。
【0117】また、スパースコーディング(Shun-ichi
Amari. Characteristics of Sparsely Encoded Associ
ative Memory. Neural Networks 2:451-457, 1989.
/Robert Hecht-Nielsen. Neurocomputing. Addison-
Wesley 1990. )を利用する方法も考えられる。この場
合、隠れ状態ベクトルの集合の要素数はk2 /logk
個程度である。したがって、適当な方法で選択したkの
多項式個程度の大きさの隠れ状態ベクトルの集合を、観
測データに合わせて選択できれば、計算の効率化が期待
できる。
【0118】また、Freundらは、隠れ状態ベクトルを導
入した2層のニューラルネットワークによるフィーチャ
ー・マップの学習アルゴリズムを示している(Yaov Fre
undand David Haussler. Unsupervised Learning of D
istribution over Binary Vectors using Two-layer ne
tworks. Technical report University of Californi
a Santa Cruz, 1994.)。
【0119】その核となる射影アルゴリズムは、2k
の隠れ状態ベクトルhの中から、k個のベクトルh(j)
の集合{ベクトルh(j) =(δj (1),...,δj
(k))|1≦j≦k}に限定して、高速化を図ったも
のとみなせる。ただし、δj(i)は、iがjに一致す
るときのみ1となり、その他の場合は0となる。したが
って、ベクトルh(j) は、j番目の要素のみが1で、他
の要素はすべて0であるような隠れ状態ベクトルを表
す。
【0120】本実施形態においては、上述のような限定
例を含む任意の方法により、利用する隠れ状態ベクトル
の集合を限定することができる。そして、図6におい
て、利用しない隠れ状態ベクトルに対応する状態遷移確
率を0とおくことで、計算量を削減することができる。
【0121】隠れ状態ベクトルの数を限定する計算方法
によれば、高次元の隠れ状態ベクトルによるSRNNの
高い表現力を保持したままで、計算量を削減することが
できる。したがって、最初から低次元の隠れ状態ベクト
ルで計算した場合と比較して、一般に、良い推定結果が
得られる。
【0122】次に、SRNNの各密度関数のモンテカル
ロ法による近似方法について説明する。ここでは、北川
のモンテカルロ・フィルタ・スキーマに基づき、SRN
Nによる予測・濾過・平滑密度のモンテカルロ計算法を
導く。モンテカルロ法では、各密度関数を上述のような
「粒子」で置き換えて計算する。
【0123】前向き予測粒子{pn (1) ,...,pn
(m) }は前向き予測密度関数p(ベクトルhn
n-1 )に従って生成される実現値であり、前向き濾過
粒子{fn ( 1) ,...,fn (m) }は前向き濾過密度
関数p(ベクトルhn |Xn )に従って生成される実現
値である。
【0124】また、後向き予測粒子
{en (1) ,...,en (m) }は後向き予測密度関数
p(ベクトルhn |XN n+1 )に従って生成される実現
値であり、後向き濾過粒子{cn (1) ,...,cn
(m) }は後向き濾過密度関数p(ベクトルhn
N n )に従って生成される実現値である。
【0125】また、平滑粒子{un (1) ,...,un
(m) }は平滑密度関数p(ベクトルhn |XN )に従っ
て生成される実現値である。粒子の個数mは、モデルの
複雑さや推定量に対して要求される精度に依存して決ま
るが、最初に、m=1000もしくは10000等の一
定値に決めて試行し、調整した後に、適当な値を選ぶこ
とができる。モンテカルロ法によるSRNNの計算に必
要な各種「粒子」の生成法は、次の通りである。
【0126】ここでは、上述のFreundらの限定方法に従
い、状態遷移確率p(ベクトルh(i ) |ベクトル
(j) )を状態遷移テーブル(状態遷移確率行列)とし
て持つことを前提とし、利用可能な隠れ状態ベクトルの
集合Hの大きさ|H|は、|H|=poly(k)、す
なわちkの多項式個とする。kが大きいほど、モンテカ
ルロ法の効果が期待できる。
【0127】前向き予測粒子pn (j) の生成方法は次の
ようになる。
【0128】
【数18】
【0129】ここで、記号“〜”は、左辺の粒子が、右
辺の確率分布に従って生成されることを表す。前向き濾
過粒子fn (j) の生成方法は次のようになる。
【0130】
【数19】
【0131】(22)式の右辺は、m個の前向き予測粒
子{pn (1) ,...,pn (m) }のいずれかが、それ
ぞれ対応する確率αn (j) /Σi=1 m αn (i) (j=
1,...,m)で選択されることを表す。
【0132】後向き予測粒子en (j) の生成方法は次の
ようになる。
【0133】
【数20】
【0134】後向き濾過粒子cn (j) の生成方法は次の
ようになる。
【0135】
【数21】
【0136】平滑粒子un (j) の生成方法は次のように
なる。
【0137】
【数22】
【0138】(27)式の右辺のp(XN n
n (i) )は、(17)式の重みp(XN n|ベクトル
n )に対応し、(2)式により計算できる。次に、図
8から図24までを参照しながら、本実施形態の時系列
解析装置の構成および動作を説明する。
【0139】図8は、上述のようなSRNNの高速計算
法を組み込んだ時系列解析装置の構成図である。図8の
時系列解析装置は、再抽出装置(RS)21、時系列デ
ータ収集装置(OBS)22、前向き予測粒子生成装置
(FPF)23、平滑粒子生成装置(TFS)24、後
向き予測粒子生成装置(BPF)25、尤度計算装置
(LLH)26、学習装置(LM)27、モデルパラメ
ータ設定装置(PM)28、および表示装置(PNT)
29を備える。
【0140】時系列データ収集装置22は、前向き予測
粒子生成装置23、平滑粒子生成装置24、後向き予測
粒子生成装置25、および表示装置29に、時系列デー
タを供給する。
【0141】前向き予測粒子生成装置23は、平滑粒子
生成装置24、尤度計算装置26、および表示装置29
に、前向き予測粒子の集合列を供給する。また、後向き
予測粒子生成装置25は、平滑粒子生成装置24および
表示装置29に、後向き濾過粒子の集合列を供給する。
また、平滑粒子生成装置24は、表示装置29に平滑粒
子の集合列を供給する。
【0142】再抽出装置21は、重み集合に従って粒子
を再抽出し、再抽出粒子の集合を、前向き予測粒子生成
装置23、平滑粒子生成装置24、および後向き予測粒
子生成装置25に供給する。
【0143】尤度計算装置26は、予測粒子の集合列か
らモデルパラメータの尤度を計算し、学習装置27に供
給する。また、学習装置27は、モデルパラメータの尤
度をもとに最適なパラメータを探索し、モデルパラメー
タ設定装置28に供給する。
【0144】モデルパラメータ設定装置28は、前向き
予測粒子生成装置23、平滑粒子生成装置24、および
後向き予測粒子生成装置25に、状態遷移確率および入
力重みベクトルを、パラメータとして供給する。
【0145】表示装置29は、粒子の集合列から密度関
数列を計算して表示し、また、時系列データも表示す
る。図8の時系列解析装置が、観測された時系列データ
列を入力として、平滑密度関数列を出力する動作は、次
の通りである。
【0146】まず、時系列データ収集装置22は、図9
に示すように、時系列データ列{ベクトル
1 ,...,ベクトルxN }を、前向き予測粒子生成
装置23、平滑粒子生成装置24、後向き予測粒子生成
装置25、および表示装置29に供給する。
【0147】次に、前向き予測粒子生成装置23は、モ
デルパラメータ設定装置28から供給された適切なパラ
メータを用いて、再抽出装置21を利用しながら、前向
き予測粒子の集合列を計算する。また、後向き予測粒子
生成装置25は、再抽出装置21を利用しながら、後向
き濾過粒子の集合列を計算する。前向き予測粒子の生成
に関連するデータの流れは図10のようになり、後向き
濾過粒子の生成に関連するデータの流れは図11のよう
になる。
【0148】次に、平滑粒子生成装置24は、与えられ
た平滑粒子の再抽出の重みの集合、時刻nの観測データ
であるベクトルxn 、時刻nの前向き予測粒子の集合、
および時刻n+1の後向き濾過粒子の集合から、平滑粒
子の再抽出の重みの集合列を計算する。そして、再抽出
装置21を起動し、時刻nの平滑粒子の再抽出の重みの
集合に従って、時刻nの前向き予測粒子の集合を再抽出
させることで、時刻nの平滑粒子の集合を生成する。平
滑粒子の生成に関連するデータの流れは、図12のよう
になる。
【0149】そして、表示装置29は、得られた平滑粒
子の集合列を、平滑密度関数列として表示する。また、
時系列解析装置のパラメータ設定動作は、次の通りであ
る。
【0150】まず、尤度計算装置26は、前向き予測粒
子の集合列をもとに、例えば次式のような対数尤度を計
算し、(13)式により与えられるモデルパラメータベ
クトルλの対数尤度l(ベクトルλ)を近似する。
【0151】
【数23】
【0152】次に、学習装置27は、尤度計算装置26
で計算したモデルパラメータの尤度をもとに、勾配法や
シミュレーティド・アニーリング法等を用いて、尤度を
最大にするような最尤パラメータベクトルλ を推定す
る。
【0153】この場合の勾配法(グラディエント法)と
は、尤度をパラメータで微分して得られる導関数から、
最尤パラメータを求める方法を指す(Sakakibara Yasub
umiand Mostefa Golea. Simple Recurrent Networks a
s Generalized Hidden markov Models with Distribute
d Representations. In Proceedings of Internationa
l Conference on Neural Networks(ICNN'95), volume
2, pages 979-984. IEEE, 1995.)。
【0154】また、シミュレーティド・アニーリング法
とは、適当なパラメータから出発して、その近傍で尤度
を改善できるものがあれば、それに置き換えるという操
作を繰り返す反復探索法の1つである。しかし、この方
法では、近傍のパラメータが尤度を改善できなくても、
ある確率でそれに置き換えるという操作を加える(Will
iam H. Press Saul A. Teukolsky, William T. Vetter
ling and Brian P. Flannery. NUMERICAL RECIPES in
C. The Art of Scientific Computing. Cambridge Un
iversity Press second edition 1992. )。
【0155】学習装置27は、これらの方法に限らず、
任意の方法で最尤パラメータを決定することができる。
そして、モデルパラメータ設定装置28は、あらかじめ
決められた隠れ状態ベクトルの集合Hを限定する条件を
もとに、学習装置27が出力するモデルパラメータベク
トルλを用いて、状態遷移確率行列M(H)を計算す
る。そして、M(H)を、学習装置27が求めた重みベ
クトルwj (j=1,...,k)とともに、前向き予
測粒子生成装置23、平滑粒子生成装置24、および後
向き予測粒子生成装置25に提供する。パラメータの生
成と供給に関連するデータの流れは、図13のようにな
る。
【0156】図14は、図8の時系列解析装置を実現す
る情報処理装置(コンピュータ)の構成図である。図1
4の情報処理装置は、CPU(中央処理装置)31、メ
モリ32、入力装置33、出力装置34、外部記憶装置
35、媒体駆動装置36、ネットワーク接続装置37を
備え、それらの各装置はバス38により互いに結合され
ている。
【0157】CPU31は、メモリ32に格納されたプ
ログラムを実行して、時系列解析装置の各処理を実現す
る。メモリ32には、上述のプログラムの他に、処理に
用いられるデータが格納されている。メモリ32として
は、例えばROM(read only memory)、RAM(rand
om access memory)等が用いられる。
【0158】入力装置33は、例えばキーボード、ポイ
ンティングデバイス等に相当し、ユーザからの要求や指
示の入力に用いられる。また、出力装置34は、表示装
置29やプリンタ等に相当し、計算結果等の出力に用い
られる。
【0159】外部記憶装置35は、例えば、磁気ディス
ク装置、光ディスク装置、光磁気ディスク装置等であ
る。この外部記憶装置35に、上述のプログラムとデー
タを保存しておき、必要に応じて、それらをメモリ32
にロードして使用することができる。また、外部記憶装
置35は、パラメータや解析結果を保存するデータベー
スとしても使用される。
【0160】媒体駆動装置36は、可搬記録媒体39を
駆動し、その記憶内容にアクセスする。可搬記録媒体3
9としては、メモリカード、フロッピーディスク、CD
−ROM(compact disk read only memory )、光ディ
スク、光磁気ディスク等、任意のコンピュータ読み取り
可能な記録媒体を使用することができる。この可搬記録
媒体39に、上述のプログラムとデータを格納してお
き、必要に応じて、それらをメモリ32にロードして使
用することができる。
【0161】ネットワーク接続装置37は、LAN(lo
cal area network)等の任意の通信ネットワークに接続
され、通信に伴うデータ変換等を行って、外部の情報提
供者の装置40(データベース等)と通信する。これに
より、時系列解析装置は、必要に応じて、上述のプログ
ラムとデータを装置40からネットワークを介して受け
取り、それらをメモリ32にロードして使用することが
できる。
【0162】次に、図15から図31までを参照しなが
ら、図8の時系列解析装置の動作を詳細に説明する。図
15は、時系列解析装置の動作フローチャートである。
時系列解析装置は、起動されると(ステップS11)、
まず時系列データの収集を行う(ステップS12)。次
に、SRNNのパラメータを学習し(ステップS1
3)、SRNNのチューニングを行う(ステップS1
4)。そして、時系列データを平滑化して結果を出力し
(ステップS15)、待機する(ステップS16)。
【0163】図16は図15のステップS12の動作を
示し、図17はステップS13の動作を示し、図18は
ステップS14の動作を示し、図19はステップS15
の動作を示している。
【0164】図16においてデータ収集が開始される
と、時系列解析装置は、時系列データ収集装置22を呼
び出す(ステップS21)。時系列データ収集装置22
は、時系列データを観測し(ステップS22)、時刻1
から時刻Nまでの時系列データ{ベクトル
1 ,...,ベクトルxN }を保存して(ステップS
23)、待機する(ステップS24)。
【0165】この時系列データ{ベクトル
1 ,...,ベクトルxN }は、図9に示すように、
前向き予測粒子生成装置23、平滑粒子生成装置24、
後向き予測粒子生成装置25、および表示装置29によ
り利用される。
【0166】次に、図17において学習が開始される
と、時系列解析装置は、学習装置27を呼び出す(ステ
ップS31)。学習装置27は、非線形最適化法により
最尤パラメータベクトルλ の推定を開始する(ステッ
プS32)。
【0167】学習装置27は、まず非線形最適化法の1
つのシミュレーティド・アニーリング法を用いて、この
目標関数を最大にするようなベクトルλ を求める(ス
テップS33)。ここでは、目標関数として(29)式
の対数尤度を用いる。目標関数の計算動作は次の通りで
ある。
【0168】まず、モデルパラメータ設定装置28を呼
び出す(ステップS41)、モデルパラメータ設定装置
28は、図13に示すように、学習装置27から与えら
れるベクトルλをもとに状態遷移確率行列M(H)を計
算して、M(H)と重みベクトルwj とをパラメータと
して前向き予測粒子生成装置23に設定し(ステップS
42)、待機する(ステップS43)。
【0169】次に、前向き予測粒子生成装置23を呼び
出す(ステップS44)。前向き予測粒子生成装置23
は、時系列データ収集装置22からベクトルxn を受け
取り、(21)式に従って{αn (j) }を計算し(ステ
ップS45)、待機する(ステップS46)。
【0170】次に、尤度計算装置26を呼び出す(ステ
ップS47)。尤度計算装置26は、前向き予測粒子生
成装置23が求めた{αn (j) }を用いて、(29)式
の尤度を計算し、その値を学習装置27に返して(ステ
ップS48)、待機する(ステップS49)。
【0171】学習装置27は、アニーリングの各試行で
決められるベクトルλの値毎に、対応する目標関数の値
を受け取り、すべての試行の中で目標関数が最大となる
ようなベクトルλを、最尤パラメータベクトルλ に決
定する(ステップS34)。そして、このベクトルλ
を保存して(ステップS35)、待機する(ステップS
36)。
【0172】次に、図18においてチューニングが開始
されると、時系列解析装置は、モデルパラメータ設定装
置28を呼び出す(ステップS51)。モデルパラメー
タ設定装置28は、学習装置27からベクトルλ を受
け取り(ステップS52)、隠れ状態ベクトルに対する
限定条件に従って、(7)式から最尤の状態遷移確率行
列M を計算する。
【0173】そして、ベクトルλ に含まれる重み(入
力荷重)ベクトルwj とM とを、前向き予測粒子生
成装置23、平滑粒子生成装置24、および後向き予測
粒子生成装置25に与えて(ステップS53)、待機す
る(ステップS54)。
【0174】次に、図19において平滑化が開始される
と、時系列解析装置は、まず制御変数iを1とおき(ス
テップS60)、前向き予測粒子生成装置23を起動す
る(ステップS61)。
【0175】前向き予測粒子生成装置23は、図10に
示すように、再抽出装置21を利用して、時刻n=N−
i+1の前向き予測粒子{pn (j) }を生成する(ステ
ップS62)。このとき、図2および図7に示した前向
きフィルタの動作に従って、時刻1から時刻nまでの前
向き予測粒子が再帰的に生成される。ただし、時刻0の
前向き濾過粒子は初期値としてランダムに生成される。
【0176】そして、前向き予測粒子{pn (j) }を平
滑粒子生成装置24に出力して(ステップS63)、待
機する(ステップS64)。このとき、前向き予測粒子
や前向き濾過粒子の記憶領域はクリアされる。
【0177】次に、後向き予測粒子生成装置25が起動
され(ステップS65)、図11に示すように、再抽出
装置21を利用して、時刻n+1の後向き濾過粒子{c
n+1 ( j) }を生成する(ステップS66)。このとき、
図3および図7に示した後向きフィルタの動作に従っ
て、時刻n+2の後向き濾過粒子{cn+2 (j) }から後
向き濾過粒子{cn+1 (j) }が生成される。ただし、時
刻N+1の後向き濾過粒子は初期値としてランダムに生
成される。
【0178】そして、後向き濾過粒子{cn+1 (j) }を
平滑粒子生成装置24に出力して(ステップS67)、
待機する(ステップS68)。このとき、後向き予測粒
子や後向き濾過粒子の計算結果は、そのまま記憶領域に
保存される。
【0179】次に、平滑粒子生成装置24が起動され
(ステップS69)、図12に示すように、再抽出装置
21を利用して、前向き予測粒子{pn (j) }と後向き
濾過粒子{cn+1 (j) }から時刻nの平滑粒子{un
(j) }を生成する(ステップS70)。そして、平滑粒
子{un (j) }を表示装置29に出力して(ステップS
71)、待機する(ステップS72)。このとき、平滑
粒子の計算結果は、そのまま記憶領域に保存される。
【0180】次に、時系列解析装置は、nが1に到達し
たかどうかを判定し(ステップS73)、到達していな
ければi=i+1とおいて(ステップS74)、ステッ
プS61以降の動作を繰り返す。そして、nが1に到達
すれば、表示装置29が時刻1から時刻Nまでの平滑粒
子に基づいて、時系列データの推定結果を表示し(ステ
ップS75)、動作を終了する。
【0181】次に、前向き予測粒子生成装置23、後向
き予測粒子生成装置25、平滑粒子生成装置24、およ
び再抽出装置21の動作を個別に説明する。図20、2
1は、図19のステップS62、S63、S64におけ
る前向き予測粒子生成装置23の動作のフローチャート
であり、図22、23は、ステップS66、S67、S
68における後向き予測粒子生成装置25の動作のフロ
ーチャートであり、図24は、ステップS70、S7
1、S72における平滑粒子生成装置24の動作のフロ
ーチャートである。また、図25は、これらの各装置か
ら呼び出される再抽出装置21の動作のフローチャート
である。
【0182】ただし、これらの図20〜25において
は、図19の制御変数iに関する反復処理が、各装置内
に閉じた反復処理として、別の制御変数を用いて記述さ
れている。
【0183】前向き予測粒子生成装置23は、粒子の個
数m、観測データ列{ベクトルx1,...,ベクトル
N }、状態遷移確率行列M(H)、および前向き濾過
粒子の初期確率p0 (H)を入力として、前向き予測粒
子の集合列{pn (j) }(j=1,...,m、n=
1,...,N)を出力する。ただし、粒子の個数mと
初期確率p0 (H)は、あらかじめ与えられている。
【0184】図20において、前向き予測粒子生成装置
23は、まず初期確率p0 (H)に従ってm個の粒子を
ランダムに生成し、これらを時刻0の前向き濾過粒子の
集合{f0 (1) ,...,f0 (m) }とする(ステップ
S81)。次に、n=1とおき(ステップS82)、前
向き予測粒子の生成を開始する(ステップS83)。
【0185】ここでは、まずj=1とおき(ステップS
84)、時刻n−1のj番目の前向き濾過粒子fn-1
(j) を選択する(ステップS85)。次に、状態遷移確
率行列M(H)の要素のうち、粒子fn-1 (j) に対応す
る列column(fn-1 (j))を選ぶ。そして、この
状態遷移確率に従って、前向き予測粒子pn (j) を生成
する(ステップS86)。
【0186】例えばk=2の場合、可能な隠れ変数の数
は22 =4となり、隠れ状態ベクトルhn の実現値とし
ては、(0,0)、(1,0)、(0,1)、(1,
1)の4つが考えられる。ここで、計算を高速化するた
めに、利用するベクトルhn の範囲を集合H={(1,
0),(0,1)}に限定したとする。このとき、時刻
nと時刻n+1の間の遷移確率を表す状態遷移確率行列
M(H)は、例えば図26に示すようになる。
【0187】図26のM(H)において、ベクトル
(1,0)に対応する列の遷移確率は、上から順に0、
0.25、0.75、0となっている。したがって、 p((0,0)|(1,0))=0 p((1,0)|(1,0))=0.25 p((0,1)|(1,0))=0.75 p((1,1)|(1,0))=0 である。これらの遷移確率を、ベクトル(1,0)から
の遷移を規定する確率分布として図示すると、図27の
ようになる。この分布に従えば、25%の確率で粒子
(1,0)が生成され、75%の確率で粒子(0,1)
が生成される。しかし、粒子(0,0)および(1,
1)が生成されることはない。
【0188】また、ベクトル(0,1)に対応する列の
遷移確率は、上から順に0、0.5、0.5、0となっ
ている。したがって、 p((0,0)|(0,1))=0 p((1,0)|(0,1))=0.5 p((0,1)|(0,1))=0.5 p((1,1)|(0,1))=0 である。これらの遷移確率を、ベクトル(0,1)から
の遷移を規定する確率分布として図示すると、図28の
ようになる。この分布に従えば、50%の確率で粒子
(1,0)または(0,1)が生成され、粒子(0,
0)および(1,1)は生成されない。
【0189】このように、状態遷移確率行列M(H)の
要素を部分的に0とおくことで、生成される粒子が限定
され、あらかじめ決められた隠れ状態のみを利用するこ
とが可能になる。
【0190】次に、上述の方法により生成した粒子pn
(j) を、j−1番目までの前向き予測粒子の集合{pn
(1) ,...,pn (j-1) }に加え(ステップS8
7)、jとmを比較する(ステップS88)。jがmよ
り小さければj=j+1とおいて(ステップS89)、
ステップS85以降の動作を繰り返す。
【0191】そして、jがmに達すると、前向き予測粒
子の集合{pn (1) ,...,pn ( m) }を、平滑粒子
生成装置24、尤度計算装置26、および表示装置29
に出力して(ステップS90)、再抽出荷重の重み係数
の生成を開始する(図21、ステップS91)。
【0192】ここでは、まずj=1とおき(ステップS
92)、前向き予測粒子pn (j) に対応する重み係数α
n (j) を、(21)式に従って計算する(ステップS9
3)。
【0193】上述のように、生成される粒子を{(1,
0),(0,1)}に限定した場合は、(21)式の平
均値のベクトルω(pn (i) )は、ベクトルω((1,
0))またはベクトルω((0,1))のいずれかであ
る。(6)式より、ベクトルω((1,0))=ベクト
ルw1 、ベクトルω((0,1))=ベクトルw2 とな
り、係数αn (i) は、g(ベクトルxn ;ベクトル
1 )またはg(ベクトルxn ;ベクトルw2 )の値と
して計算できる。
【0194】次に、係数αn (j) を、j−1番目までの
係数の集合{αn (1) ,...,α n (j-1) }に加え
(ステップS94)、jとmを比較する(ステップS9
5)。jがmより小さければj=j+1とおいて(ステ
ップS96)、ステップS93以降の動作を繰り返す。
【0195】そして、jがmに達すると、係数の集合
{αn (1) ,...,αn (m) }を尤度計算装置26に
出力して(ステップS97)、前向き濾過粒子の生成を
開始する(ステップS98)。
【0196】ここでは、まず前向き予測粒子
{pn (1) ,...,pn (m) }と、これらに対応した
重み{αn (1) /Σi=1 m αn (i) ,...,αn (m)
/Σi=1 m αn ( i) }とを入力として、再抽出装置21
を起動する(ステップS99)。そして、(22)式に
従って再抽出された前向き濾過粒子
{fn (1) ,...,fn (m ) }を再抽出装置21から
受け取り、表示装置29に出力する(ステップS10
0)。
【0197】次に、nとNを比較し(ステップS10
1)、nがNより小さければn=n+1とおいて(ステ
ップS102)、図20のステップS83以降の動作を
繰り返す。そして、nがNに達すると、動作を終了して
待機状態になる(ステップS103)。こうして、前向
き予測粒子の集合列{pn (j) }(j=1,...,
m、n=1,...,N)が、平滑粒子生成装置24お
よび表示装置29に出力される。
【0198】また、後向き予測粒子生成装置23は、粒
子の個数m、観測データ列{ベクトルx1 ,...,ベ
クトルxN }、状態遷移確率行列M(H)、および後向
き濾過粒子の初期確率pN (H)を入力として、後向き
濾過粒子の集合列{cn+1 (j ) }(j=1,...,
m、n=N,...,1)を出力する。ただし、粒子の
個数mと初期確率pN (H)は、あらかじめ与えられて
いる。
【0199】図22において、後向き予測粒子生成装置
23は、まず初期確率pN (H)に従ってm個の粒子を
ランダムに生成し、これらを時刻N+1の後向き濾過粒
子の集合{cN+1 (1) ,...,cN+1 (m) }とする
(ステップS111)。そして、粒子の集合{cN+1
(1) ,...,cN+1 (m) }を、平滑粒子生成装置24
および表示装置29に出力する。次に、n=Nとおき
(ステップS112)、後向き予測粒子の生成を開始す
る(ステップS113)。
【0200】ここでは、まずj=1とおき(ステップS
114)、時刻n+1のj番目の後向き濾過粒子cn+1
(j) を選択する(ステップS115)。次に、状態遷移
確率行列M(H)の要素のうち、粒子cn+1 (j) に対応
する列column(cn+1 ( j) )を選ぶ。そして、図
20のステップS86と同様にして、この状態遷移確率
に従って、後向き予測粒子en (j) を生成する(ステッ
プS116)。
【0201】次に、粒子en (j) を、j−1番目までの
後向き予測粒子の集合{en (1) ,...,
n (j-1) }に加え(ステップS117)、jとmを比
較する(ステップS118)。jがmより小さければj
=j+1とおいて(ステップS119)、ステップS1
15以降の動作を繰り返す。
【0202】そして、jがmに達すると、後向き予測粒
子の集合{en (1) ,...,en ( m) }を表示装置2
9に出力して(ステップS120)、再抽出荷重の重み
係数の生成を開始する(図23、ステップS121)。
【0203】ここでは、まずj=1とおき(ステップS
122)、後向き予測粒子en (j)に対応する重み係数
εn (j) を、(25)式に従って計算する(ステップS
123)。
【0204】上述のように、生成される粒子を{(1,
0),(0,1)}に限定した場合は、(25)式の係
数εn (i) もまた、g(ベクトルxn ;ベクトルw1
またはg(ベクトルxn ;ベクトルw2 )の値として計
算できる。
【0205】次に、係数εn (j) を、j−1番目までの
係数の集合{εn (1) ,...,ε n (j-1) }に加え
(ステップS124)、jとmを比較する(ステップS
125)。jがmより小さければj=j+1とおいて
(ステップS126)、ステップS123以降の動作を
繰り返す。
【0206】そして、jがmに達すると、係数の集合
{εn (1) ,...,εn (m) }を保存して(ステップ
S127)、後向き濾過粒子の生成を開始する(ステッ
プS128)。
【0207】ここでは、まず後向き予測粒子
{en (1) ,...,en (m) }と、これらに対応した
重み{εn (1) /Σi=1 m εn (i) ,...,εn (m)
/Σi=1 m εn ( i) }とを入力として、再抽出装置21
を起動する(ステップS129)。そして、(26)式
に従って再抽出された後向き濾過粒子
{cn (1) ,...,cn ( m) }を再抽出装置21から
受け取り、平滑粒子生成装置24および表示装置29に
出力する(ステップS130)。
【0208】次に、nと2を比較し(ステップS13
1)、nが2より大きければn=n−1とおいて(ステ
ップS132)、図22のステップS113以降の動作
を繰り返す。そして、nが2に達すると、動作を終了し
て待機状態になる(ステップS133)。こうして、後
向き濾過粒子の集合列{cn+1 (j) }(j=
1,...,m、n=N,...,1)が、平滑粒子生
成装置24および表示装置29に出力される。
【0209】また、平滑粒子生成装置24は、粒子の個
数m、観測データ列{ベクトルx1,...,ベクトル
N }、状態遷移確率行列M(H)、および(2)式の
整数d′を入力として、平滑粒子の集合列{un (j)
(j=1,...,m、n=N,...,1)を出力す
る。ただし、粒子の個数mおよび整数d′は、あらかじ
め与えられている。
【0210】図24において、平滑粒子生成装置24
は、まず時刻N+1の平滑粒子の再抽出荷重を{βN+1
(1) ,...,βN+1 (m) }={1/m,...,1/
m}とおき(ステップS141)、t=1とおく(ステ
ップS142)。
【0211】次に、時刻n=N−t+1の前向き予測粒
子{pn (1) ,...,pn (m) }を、前向き予測粒子
生成装置23を用いて生成し(ステップS143)、時
刻n+1の後向き濾過粒子{cn+1 (1) ,...,c
n+1 (m) }を、後向き予測粒子生成装置25を用いて生
成する(ステップS144)。そして、時刻nの平滑粒
子を再抽出するための重み係数の生成を開始する(ステ
ップS145)。
【0212】ここでは、まずj=1とおき(ステップS
146)、前向き予測粒子pn (j)に対応する重み係数
βn (j) を、(2)式に従って計算する(ステップS1
47)。このとき、(2)式の右辺の遷移確率 外8
は、状態遷移確率行列M(H
【0213】
【外8】
【0214】)の対応する要素に置き換えて計算され
る。次に、係数βn (j) を、j−1番目までの係数の集
合{βn (1) ,...,β n (j-1) }に加え(ステップ
S148)、jとmを比較する(ステップS149)。
jがmより小さければj=j+1とおいて(ステップS
150)、ステップS147以降の動作を繰り返す。
【0215】そして、jがmに達すると、時刻nの前向
き予測粒子{pn (1) ,...,p n (m) }と、これら
に対応した重み{βn (1) /Σ
i=1 m βn (i) ,...,β n (m) /Σ
i=1 m βn (i) }とを入力として、再抽出装置21を起
動する(ステップS151)。そして、(28)式に従
って再抽出された平滑粒子{un (1),...,un
(m) }を再抽出装置21から受け取り、表示装置29に
出力する(ステップS152)。
【0216】次に、tとNを比較し(ステップS15
3)、tがNより小さければt=t+1とおいて(ステ
ップS154)、ステップS143以降の動作を繰り返
す。そして、tがNに達すると、動作を終了して待機状
態になる(ステップS155)。こうして、平滑粒子の
集合列{un (j) }(j=1,...,m、n=
N,...,1)が表示装置29に出力される。
【0217】また、再抽出装置21は、前向き予測粒子
生成装置23、後向き予測粒子生成装置25、または平
滑粒子生成装置24から与えられたm個の粒子の集合
{a(1 ) ,...,a(m) }と、それらに対応する重み
の集合{γ(1) ,...,γ(m ) }とを入力として、m
個の再抽出粒子の集合{b(1) ,...,b(m) }を出
力する。
【0218】ここで、粒子a(j) (j=1,...,
m)は、前向き予測粒子pn (j) または後ろ向き予測粒
子en (j) であり、重みγ(j) は、αn (j) /Σi=1 m
αn (i ) 、εn (j) /Σi=1 m εn (i) 、およびβn
(j) /Σi=1 m βn (i) のうちのいずれかの重みであ
る。また、再抽出粒子b(j) は、前向き濾過粒子fn
(j) 、後向き濾過粒子cn (j) 、および平滑粒子un
(j) のうちのいずれかの粒子として出力される。
【0219】図25において、再抽出装置21は、まず
重みの集合{γ(1) ,...,γ(m ) }から、累積荷重
ψ(l) =Σj=1 l γ(j) (l=1,...,m)を計算
し、ψ(0) =0、ψ(m )=1とおく(ステップS16
1)。次に、l=1とおいて(ステップS162)、実
数の区間[0,1)上に一様分布に従う乱数r∈[0,
1)を生成する(ステップS163)。
【0220】次に、区間を分割しながら値を求める二分
法を用いて、ψ(j) ≦r<ψ(j )となるようなjを見
つけ、与えられた粒子の集合{a(1) ,...,
(m) }の中から粒子a(j) を選び出す(ステップS1
64)。そして、b(l) =a(j) とおき(ステップS1
65)、lとmを比較する(ステップS166)。
【0221】lがmより小さければl=l+1とおいて
(ステップS167)、ステップS163以降の動作を
繰り返す。そして、lがmに達すると、粒子の集合{b
(1),...,b(m) }を対応する装置に出力し(ステ
ップS168)、動作を終了して待機状態になる(ステ
ップS169)。こうして、粒子の集合
{a(1) ,...,a(m) }から、別の集合
{b(1) ,...,b(m) }が再抽出される。
【0222】尚、図25に示した粒子の再抽出方法は一
例に過ぎず、他の任意の方法により、集合
{a(1) ,...,a(m) }から集合
{b(1) ,...,b(m) }を再抽出してもよい。
【0223】次に、図19のステップS75におけるデ
ータの表示動作について説明する。図29は、前向き予
測粒子の集合列に基づく推定結果の表示動作のフローチ
ャートであり、図30は、平滑粒子の集合列に基づく推
定結果の表示動作のフローチャートである。
【0224】図29において、表示装置29は、粒子の
個数m、粒子の次元(隠れ状態ベクトルの次元)k、観
測データ列の長さN、SRNNの入力荷重の集合
{w1 ,...,wk }、前向き予測粒子の集合列{p
n (j) }(j=1,...,m、n=1,...,N)
を入力として、時系列データの予測密度関数列を表示す
る。ただし、粒子の個数m、粒子の次元k、観測データ
列の長さN、入力荷重の集合{w1 ,...,wk
は、あらかじめ与えられている。
【0225】表示装置29は、まずn=1とおき(ステ
ップS171)、前向き予測粒子生成装置23から時刻
nの前向き予測粒子{pn (1) ,...,pn (m) }を
受け取る(ステップS172)。
【0226】次に、この前向き予測粒子の集合に含まれ
る相異なる粒子を選択し、それらのリストを 外9 と
する。ここで、i0は異なる粒子の個数を表し、i0≦
ma
【0227】
【外9】
【0228】x(m,2k )である。また、 外10
(以後、hi チルダと記す)は、リス
【0229】
【外10】
【0230】トに含まれるi番目の要素(粒子)を表
す。そして、前向き予測粒子の集合に含まれる各要素h
i チルダの個数qi を数え上げて、{q1 ,...,q
i0}とする(ステップS173〜S180)。
【0231】ここでは、まずi=1、j=1、h1 チル
ダ=pn (1) 、q1 =0とおき(ステップS173)、
n (j) と同じ粒子がリスト{h1 チルダ,...,h
i チルダ}に含まれているかどうかを調べる(ステップ
S174)。pn (j) がリスト{h1 チルダ,...,
i チルダ}に含まれていれば、pn (j) =hs チルダ
となるs(1≦s≦i)を求め、qs =qs +1とする
(ステップS175)。
【0232】また、pn (j) がリスト{h1 チル
ダ,...,hi チルダ}に含まれていなければ、h
i+1 チルダ=pn (j) 、qi+1 =1とおく。そして、粒
子のリスト{h1 チルダ,...,hi チルダ}にh
i+1 チルダを加え、対応する累計個数のリスト
{q1 ,...,qi }にqi+1 を加えて(ステップS
176)、i=i+1とおく(ステップS177)。
【0233】次に、j=j+1とおき(ステップS17
8)、jとmを比較する(ステップS179)。jがm
以下であればステップS174以降の動作を繰り返し、
jがmを越えれば、そのときのiの値をi0とする(ス
テップS180)。
【0234】次に、リスト{h1 チルダ,...,hi0
チルダ}および{q1 ,...,q i0}から、次式に従
って予測密度関数を合成する(ステップS181)。
【0235】
【数24】
【0236】ここで、hi チルダ=(hi1,...,h
ik)と書くことにすると、ベクトルω(hi チルダ)=
Σs=1 k isベクトルws である。対象とする時系列デ
ータが1次元データであり、(30)式の予測密度関数
が1次元の混合ガウス密度関数である場合は、図31に
示すように、これを階段関数で近似する(ステップS1
82)。
【0237】そして、得られた予測密度関数を時刻nの
予測密度関数として画面に表示し(ステップS18
3)、n=n+1とおいて(ステップS184)、nと
Nを比較する(ステップS185)。nがN以下であれ
ばステップS172以降の動作を繰り返し、nがNを越
えれば動作を終了する。こうして、時刻1からNまでの
予測密度関数が表示される。
【0238】また、図30において、表示装置29は、
粒子の個数m、粒子の次元k、観測データ列の長さN、
SRNNの入力荷重の集合{w1 ,...,wk }、平
滑粒子の集合列{un (j) }(j=1,...,m、n
=N,...,1)を入力として、時系列データの平滑
密度関数列を表示する。
【0239】表示装置29は、まずn=Nとおき(ステ
ップS191)、平滑粒子生成装置24から時刻nの平
滑粒子{un (1) ,...,un (m) }を受け取る(ス
テップS192)。
【0240】次に、この平滑粒子の集合に含まれる相異
なる粒子を選択し、それらのリストを{h1 チル
ダ,...,hi0チルダ}とする。そして、平滑粒子の
集合に含まれる各要素hi チルダの個数qi を数え上げ
て、{q1 ,...,qi0}とする(ステップS193
〜S200)。
【0241】ここでは、まずi=1、j=1、h1 チル
ダ=un (1) 、q1 =0とおき(ステップS193)、
n (j) と同じ粒子がリスト{h1 チルダ,...,h
i チルダ}に含まれているかどうかを調べる(ステップ
S194)。un (j) がリスト{h1 チルダ,...,
i チルダ}に含まれていれば、un (j) =hs チルダ
となるs(1≦s≦i)を求め、qs =qs +1とする
(ステップS195)。
【0242】また、un (j) がリスト{h1 チル
ダ,...,hi チルダ}に含まれていなければ、h
i+1 チルダ=un (j) 、qi+1 =1とおく。そして、粒
子のリスト{h1 チルダ,...,hi チルダ}にh
i+1 チルダを加え、対応する累計個数のリスト
{q1 ,...,qi }にqi+1 を加えて(ステップS
196)、i=i+1とおく(ステップS197)。
【0243】次に、j=j+1とおき(ステップS19
8)、jとmを比較する(ステップS199)。jがm
以下であればステップS194以降の動作を繰り返し、
jがmを越えれば、そのときのiの値をi0とする(ス
テップS200)。
【0244】次に、リスト{h1 チルダ,...,hi0
チルダ}および{q1 ,...,q i0}から、次式に従
って平滑密度関数を合成する(ステップS201)。
【0245】
【数25】
【0246】対象とする時系列データが1次元データで
あり、(31)式の平滑密度関数が1次元の混合ガウス
密度関数である場合は、図31に示すように、これを階
段関数で近似する(ステップS202)。
【0247】そして、得られた平滑密度関数を時刻nの
平滑密度関数として画面に表示し(ステップS20
3)、n=n−1とおいて(ステップS204)、nと
1を比較する(ステップS205)。nが1以上であれ
ばステップS192以降の動作を繰り返し、nが1未満
となれば動作を終了する。こうして、時刻1からNまで
の平滑密度関数が表示される。
【0248】図29および図30では、前向き予測粒子
および平滑粒子に基づく密度関数の生成/表示方法を説
明したが、そのほかに、前向き濾過粒子、後向き予測粒
子、後向き濾過粒子に基づく各密度関数も、同様にして
生成/表示することができる。
【0249】次に、図8の時系列解析装置を用いて、時
刻tに伴って変化する1次元の時系列データxの推定を
行った結果を示す。対象となる時系列データxは、次式
のように区分的に定常な確率密度関数に従うものとす
る。
【0250】
【数26】
【0251】ここで、N(μ,σ2 )は、平均μ、分散
σ2 のガウス密度関数を表す。(32)式によって生成
されるテスト用の時系列データは、例えば、図32に示
すようになる。この時系列データの生成では、t=10
0における平均値の不連続な切り替わりが、データのト
レンドの跳躍として現れていることが伺える。問題は、
時系列解析装置がこのトレンドをうまく予測し、観測デ
ータ列全体からトレンドをうまく平滑化できるかという
ことである。
【0252】図32のデータを時系列解析装置で解析
し、図29の表示方法に従って、このデータに対する前
向き予測粒子の集合列から計算した予測密度関数列を表
示すると、図33に示すようになる。図33において、
各時刻の予測密度関数は階段関数で近似されている。ま
た、ドットの大きさが小さくなっている部分、つまり、
中央部の白っぽく見える部分が分布のピークに対応す
る。
【0253】また、図30の表示方法に従って、図32
のデータに対する平滑粒子の集合列から計算した平滑密
度関数列は、図34に示すようになる。図34を見る
と、t=100における不連続な切り替わりが明確に現
れている。このことから、モンテカルロ法によるSRN
Nの平滑粒子の集合列から、確かに跳躍型のトレンドが
うまく抽出されていることが分かる。
【0254】以上説明したSRNNに基づく時系列解析
方法は、情報ネットワークのトラフィックや道路網の交
通量など、時間的に統計量が不連続に変化するネットワ
ークの状態を推定し、ネットワークの資源を適切に制御
する際に利用できる。
【0255】SRNNは、非線形関数を複数の分布関数
で分散表現することができる。このため、例えば、測定
量が区分的に定常であって各区間毎に不連続に変化する
トレンドを含む場合のように、統計量がある隠れたパラ
メータの非線形関数で表現されている場合に、ネットワ
ークの状態の推定を的確に行うことができる。
【0256】
【発明の効果】本発明によれば、時系列データの確率分
布を分散表現する再帰型ニューラルネットワークの多様
な表現力を保持したまま、その内部状態に基づく確率密
度の計算を高速化することができる。したがって、既知
の観測データから、大規模問題における時系列データの
確率分布を、高速に推定することができる。
【図面の簡単な説明】
【図1】本発明の原理図である。
【図2】前向き予測粒子および前向き濾過粒子の再帰的
生成処理を示す図である。
【図3】後向き予測粒子および後向き濾過粒子の再帰的
生成処理を示す図である。
【図4】平滑粒子の再帰的生成処理を示す図である。
【図5】確率分布関数を示す図である。
【図6】状態遷移確率行列を示す図である。
【図7】2重フィルタ法を示す図である。
【図8】時系列解析装置の構成図である。
【図9】時系列データの流れを示す図である。
【図10】前向き予測粒子生成装置に関連するデータの
流れを示す図である。
【図11】後向き予測粒子生成装置に関連するデータの
流れを示す図である。
【図12】平滑粒子生成装置に関連するデータの流れを
示す図である。
【図13】パラメータの生成と供給の流れを示す図であ
る。
【図14】情報処理装置の構成図である。
【図15】時系列解析装置の動作フローチャートであ
る。
【図16】データ収集動作のフローチャートである。
【図17】学習動作のフローチャートである。
【図18】チューニング動作のフローチャートである。
【図19】平滑化動作のフローチャートである。
【図20】前向き予測粒子生成装置の動作フローチャー
ト(その1)である。
【図21】前向き予測粒子生成装置の動作フローチャー
ト(その2)である。
【図22】後向き予測粒子生成装置の動作フローチャー
ト(その1)である。
【図23】後向き予測粒子生成装置の動作フローチャー
ト(その2)である。
【図24】平滑粒子生成装置の動作フローチャートであ
る。
【図25】再抽出装置の動作フローチャートである。
【図26】隠れ状態ベクトルを限定した状態遷移確率行
列を示す図である。
【図27】(1,0)の列に対応する確率分布を示す図
である。
【図28】(0,1)の列に対応する確率分布を示す図
である。
【図29】予測密度関数列の表示動作のフローチャート
である。
【図30】平滑密度関数列の表示動作のフローチャート
である。
【図31】階段関数を示す図である。
【図32】テスト用の時系列データを示す図である。
【図33】予測粒子の集合列から計算した予測密度関数
列を示す図である。
【図34】平滑粒子の集合列から計算した平滑密度関数
列を示す図である。
【図35】シンプルな再帰型ニューラルネットワークの
概略を示す図である。
【符号の説明】
1 入力層 2 ネットワークパラメータ部 3 隠れ素子層 4 文脈層 11 記憶手段 12 生成手段 13 推定手段 21 再抽出装置 22 時系列データ収集装置 23 前向き予測粒子生成装置 24 平滑粒子生成装置 25 後向き予測粒子生成装置 26 尤度計算装置 27 学習装置 28 モデルパラメータ設定装置 29 表示装置 31 CPU 32 メモリ 33 入力装置 34 出力装置 35 外部記憶装置 36 媒体駆動装置 37 ネットワーク接続装置 38 バス 39 可搬記録媒体 40 情報提供者の装置

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】 ニューラルネットワークを用いて表現さ
    れる隠れマルコフモデルの計算を行う情報処理装置のた
    めの時系列解析装置であって、 観測データの確率分布を表現する再帰型ニューラルネッ
    トワークの内部状態の状態遷移確率を記憶する記憶手段
    と、 前記状態遷移確率を用いて、モンテカルロ法により、前
    記内部状態を規定する隠れ変数の実現値を生成する生成
    手段と、 前記実現値を用いて、前記観測データの確率分布を推定
    する推定手段とを備えることを特徴とする時系列解析装
    置。
  2. 【請求項2】 前記再帰型ニューラルネットワークは、
    隠れ素子層と1層の文脈層とを有するシンプルな再帰型
    ニューラルネットワークであって、該文脈層に保持され
    た前の内部状態を表す隠れ変数は、パラメータにより重
    み付けされて該隠れ素子層に再帰的に入力されることを
    特徴とする請求項1記載の時系列解析装置。
  3. 【請求項3】 前記記憶手段は、前記隠れ変数を要素と
    する隠れ状態ベクトルの第1の実現値から第2の実現値
    への遷移確率を、前記状態遷移確率として記憶し、前記
    生成手段は、該第1の実現値が与えられたとき、該状態
    遷移確率に従って該第2の実現値を生成することを特徴
    とする請求項1記載の時系列解析装置。
  4. 【請求項4】 前記記憶手段は、前記隠れ状態ベクトル
    の複数の実現値相互の複数の遷移確率を、状態遷移確率
    行列の要素として記憶し、前記生成手段は、前記第1の
    実現値が与えられたとき、該状態遷移確率行列の対応す
    る要素を遷移確率として、前記複数の実現値のうちの1
    つを生成することを特徴とする請求項3記載の時系列解
    析装置。
  5. 【請求項5】 前記記憶手段は、前記隠れ状態ベクトル
    の複数の実現値のうちの限定された集合に属する実現値
    相互の遷移確率を記憶し、前記生成手段は、前記第1の
    実現値が与えられたとき、前記状態遷移確率行列の対応
    する要素を遷移確率として、前記限定された集合に属す
    る実現値のうちの1つを生成することを特徴とする請求
    項4記載の時系列解析装置。
  6. 【請求項6】 前記生成手段は、特定時刻までの観測デ
    ータから該特定時刻より後の内部状態を推定した結果を
    表す実現値である前向き予測粒子と、該特定時刻までの
    観測データから該特定時刻の内部状態を推定した結果を
    表す実現値である前向き濾過粒子とを交互に生成し、前
    記推定手段は、該前向き予測粒子または前向き濾過粒子
    の集合を用いて、前記確率分布を生成することを特徴と
    する請求項1記載の時系列解析装置。
  7. 【請求項7】 前記生成手段は、特定時刻以降の観測デ
    ータから該特定時刻より前の内部状態を推定した結果を
    表す実現値である後向き予測粒子と、該特定時刻以降の
    観測データから該特定時刻の内部状態を推定した結果を
    表す実現値である後向き濾過粒子とを交互に生成し、前
    記推定手段は、該後向き予測粒子または後向き濾過粒子
    の集合を用いて、前記確率分布を生成することを特徴と
    する請求項1記載の時系列解析装置。
  8. 【請求項8】 前記生成手段は、特定時間内の観測デー
    タから該特定時間内の1つの時刻の内部状態を推定した
    結果を表す実現値である平滑粒子を生成し、前記推定手
    段は、該平滑粒子の集合を用いて、前記確率分布を生成
    することを特徴とする請求項1記載の時系列解析装置。
  9. 【請求項9】 前記生成手段は、前向き予測粒子と前向
    き濾過粒子を交互に生成する前向きフィルタ手段と、後
    向き予測粒子と後向き濾過粒子を交互に生成する後向き
    フィルタ手段と、該前向き予測粒子と後向き濾過粒子を
    用いて前記平滑粒子を生成する平滑粒子生成手段とを備
    えることを特徴とする請求項8記載の時系列解析装置。
  10. 【請求項10】 前記前向きフィルタ手段は、前記状態
    遷移確率に従って、前記前向き濾過粒子から前記前向き
    予測粒子を生成し、前記後向きフィルタ手段は、前記状
    態遷移確率に従って、前記後向き濾過粒子から前記後向
    き予測粒子を生成することを特徴とする請求項9記載の
    時系列解析装置。
  11. 【請求項11】 前記平滑粒子生成手段は、前記状態遷
    移確率を用いて粒子の再抽出の重みを計算し、該重みに
    従って前記前向き予測粒子の集合から該前向き予測粒子
    を再抽出し、抽出した該前向き予測粒子を前記平滑粒子
    として出力することを特徴とする請求項9記載の時系列
    解析装置。
  12. 【請求項12】 前記観測データ列に対する前記再帰型
    ニューラルネットワークのパラメータの尤度を、モンテ
    カルロ法によって計算する尤度計算手段をさらに備え、
    前記生成手段は、該尤度が良くなるようなパラメータを
    用いて前記実現値を生成することを特徴とする請求項1
    記載の時系列解析装置。
  13. 【請求項13】 前記尤度計算手段の計算結果を用い
    て、前記尤度が最尤となるような最尤パラメータを求め
    る学習手段と、該最尤パラメータの少なくとも一部分を
    前記記憶手段に設定するパラメータ設定手段とをさらに
    備え、前記生成手段は、該最尤パラメータの少なくとも
    一部分を用いて前記実現値を生成することを特徴とする
    請求項12記載の時系列解析装置。
  14. 【請求項14】 前記パラメータ設定手段は、前記最尤
    パラメータから前記状態遷移確率を計算し、得られた状
    態遷移確率を前記記憶手段に設定することを特徴とする
    請求項13記載の時系列解析装置。
  15. 【請求項15】 前記推定手段が推定した前記確率分布
    に基づいて、前記観測データの推定結果を出力する出力
    手段をさらに備えることを特徴とする請求項1記載の時
    系列解析装置。
  16. 【請求項16】 ニューラルネットワークを用いて表現
    される観測モデルの計算を行う情報処理装置のための時
    系列解析装置であって、 観測データの確率分布を表現するニューラルネットワー
    クの内部状態の状態遷移確率を記憶する記憶手段と、 前記状態遷移確率を用いて、前記内部状態を規定する変
    数の実現値を生成する生成手段と、 前記実現値を用いて、前記観測データの確率分布を推定
    する推定手段とを備えることを特徴とする時系列解析装
    置。
  17. 【請求項17】 ニューラルネットワークを用いて表現
    される観測モデルの計算を行うコンピュータのためのプ
    ログラムを記録した記録媒体であって、 観測データの確率分布を表現するニューラルネットワー
    クの内部状態の状態遷移確率を用いて、該内部状態を規
    定する変数の実現値を生成する機能と、 前記実現値を用いて、前記観測データの確率分布を推定
    する機能とを前記コンピュータに実現させるためのプロ
    グラムを記録したコンピュータ読み取り可能な記録媒
    体。
  18. 【請求項18】 ニューラルネットワークを用いて表現
    される観測モデルの計算方法において、 観測データの確率分布を表現するニューラルネットワー
    クの内部状態の状態遷移確率を生成し、 前記状態遷移確率を用いて、前記内部状態を規定する変
    数の実現値を生成し、 前記実現値を用いて、前記観測データの確率分布を推定
    することを特徴とする時系列解析方法。
JP17259397A 1996-08-13 1997-06-27 再帰型ニューラルネットワークに基づく時系列解析装置および方法 Withdrawn JPH10111862A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17259397A JPH10111862A (ja) 1996-08-13 1997-06-27 再帰型ニューラルネットワークに基づく時系列解析装置および方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP21356396 1996-08-13
JP8-213563 1996-08-13
JP17259397A JPH10111862A (ja) 1996-08-13 1997-06-27 再帰型ニューラルネットワークに基づく時系列解析装置および方法

Publications (1)

Publication Number Publication Date
JPH10111862A true JPH10111862A (ja) 1998-04-28

Family

ID=26494902

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17259397A Withdrawn JPH10111862A (ja) 1996-08-13 1997-06-27 再帰型ニューラルネットワークに基づく時系列解析装置および方法

Country Status (1)

Country Link
JP (1) JPH10111862A (ja)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163434A (ja) * 2000-05-26 2002-06-07 Ncr Internatl Inc 一以上の顧客の動向の統計的推定量を決定する方法および装置
JP2004310098A (ja) * 2003-04-01 2004-11-04 Microsoft Corp スイッチング状態空間型モデルによる変分推論を用いた音声認識の方法
JP2004309998A (ja) * 2003-02-18 2004-11-04 Nec Corp 確率分布推定装置および異常行動検出装置,ならびにその確率分布推定方法および異常行動検出方法
JP2005157350A (ja) * 2003-11-26 2005-06-16 Microsoft Corp 区分的線形近似を用いた連続値声道共鳴追跡の方法および装置
JP2009188885A (ja) * 2008-02-08 2009-08-20 Nec Corp 通信装置、通信システム、通信方法及び通信プログラム
JP2010075616A (ja) * 2008-09-29 2010-04-08 Yamaguchi Univ スパースコーディングを用いた組織性状判別
JP2010249593A (ja) * 2009-04-14 2010-11-04 Hitachi Ltd 目標運動解析方法、目標運動解析装置およびプログラム
WO2014014710A1 (en) * 2012-07-18 2014-01-23 Micron Technology, Inc Methods and systems for using state vector data in a state machine engine
JP2014176032A (ja) * 2013-03-12 2014-09-22 Nippon Telegr & Teleph Corp <Ntt> トラヒック分布推定装置、トラヒック分布推定システム、及びトラヒック分布推定方法
US9448965B2 (en) 2013-03-15 2016-09-20 Micron Technology, Inc. Receiving data streams in parallel and providing a first portion of data to a first state machine engine and a second portion to a second state machine
US9524248B2 (en) 2012-07-18 2016-12-20 Micron Technology, Inc. Memory management for a hierarchical memory system
US9703574B2 (en) 2013-03-15 2017-07-11 Micron Technology, Inc. Overflow detection and correction in state machine engines
WO2018047966A1 (ja) * 2016-09-12 2018-03-15 日本電気株式会社 波形分離装置、方法、プログラム
US10019311B2 (en) 2016-09-29 2018-07-10 Micron Technology, Inc. Validation of a symbol response memory
US10146555B2 (en) 2016-07-21 2018-12-04 Micron Technology, Inc. Adaptive routing to avoid non-repairable memory and logic defects on automata processor
JP2019020779A (ja) * 2017-07-11 2019-02-07 株式会社東芝 運用ルール抽出装置、運用ルール抽出システムおよび運用ルール抽出方法
US10268602B2 (en) 2016-09-29 2019-04-23 Micron Technology, Inc. System and method for individual addressing
US10417236B2 (en) 2008-12-01 2019-09-17 Micron Technology, Inc. Devices, systems, and methods to synchronize simultaneous DMA parallel processing of a single data stream by multiple devices
US10430210B2 (en) 2014-12-30 2019-10-01 Micron Technology, Inc. Systems and devices for accessing a state machine
US10592450B2 (en) 2016-10-20 2020-03-17 Micron Technology, Inc. Custom compute cores in integrated circuit devices
JP2020075385A (ja) * 2018-11-06 2020-05-21 株式会社東芝 製品状態推定装置
US10684983B2 (en) 2009-12-15 2020-06-16 Micron Technology, Inc. Multi-level hierarchical routing matrices for pattern-recognition processors
US10691964B2 (en) 2015-10-06 2020-06-23 Micron Technology, Inc. Methods and systems for event reporting
US10769099B2 (en) 2014-12-30 2020-09-08 Micron Technology, Inc. Devices for time division multiplexing of state machine engine signals
US10846103B2 (en) 2015-10-06 2020-11-24 Micron Technology, Inc. Methods and systems for representing processing resources
US10929764B2 (en) 2016-10-20 2021-02-23 Micron Technology, Inc. Boolean satisfiability
US10977309B2 (en) 2015-10-06 2021-04-13 Micron Technology, Inc. Methods and systems for creating networks
US11023758B2 (en) 2009-01-07 2021-06-01 Micron Technology, Inc. Buses for pattern-recognition processors
US11366675B2 (en) 2014-12-30 2022-06-21 Micron Technology, Inc. Systems and devices for accessing a state machine
US11488645B2 (en) 2012-04-12 2022-11-01 Micron Technology, Inc. Methods for reading data from a storage buffer including delaying activation of a column select

Cited By (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163434A (ja) * 2000-05-26 2002-06-07 Ncr Internatl Inc 一以上の顧客の動向の統計的推定量を決定する方法および装置
US7561991B2 (en) 2003-02-18 2009-07-14 Nec Corporation Detection of abnormal behavior using probabilistic distribution estimation
JP2004309998A (ja) * 2003-02-18 2004-11-04 Nec Corp 確率分布推定装置および異常行動検出装置,ならびにその確率分布推定方法および異常行動検出方法
JP2004310098A (ja) * 2003-04-01 2004-11-04 Microsoft Corp スイッチング状態空間型モデルによる変分推論を用いた音声認識の方法
JP2005157350A (ja) * 2003-11-26 2005-06-16 Microsoft Corp 区分的線形近似を用いた連続値声道共鳴追跡の方法および装置
JP2009188885A (ja) * 2008-02-08 2009-08-20 Nec Corp 通信装置、通信システム、通信方法及び通信プログラム
JP2010075616A (ja) * 2008-09-29 2010-04-08 Yamaguchi Univ スパースコーディングを用いた組織性状判別
US10417236B2 (en) 2008-12-01 2019-09-17 Micron Technology, Inc. Devices, systems, and methods to synchronize simultaneous DMA parallel processing of a single data stream by multiple devices
US10838966B2 (en) 2008-12-01 2020-11-17 Micron Technology, Inc. Devices, systems, and methods to synchronize simultaneous DMA parallel processing of a single data stream by multiple devices
US11023758B2 (en) 2009-01-07 2021-06-01 Micron Technology, Inc. Buses for pattern-recognition processors
JP2010249593A (ja) * 2009-04-14 2010-11-04 Hitachi Ltd 目標運動解析方法、目標運動解析装置およびプログラム
US10684983B2 (en) 2009-12-15 2020-06-16 Micron Technology, Inc. Multi-level hierarchical routing matrices for pattern-recognition processors
US11768798B2 (en) 2009-12-15 2023-09-26 Micron Technology, Inc. Multi-level hierarchical routing matrices for pattern-recognition processors
US11226926B2 (en) 2009-12-15 2022-01-18 Micron Technology, Inc. Multi-level hierarchical routing matrices for pattern-recognition processors
US11488645B2 (en) 2012-04-12 2022-11-01 Micron Technology, Inc. Methods for reading data from a storage buffer including delaying activation of a column select
US9524248B2 (en) 2012-07-18 2016-12-20 Micron Technology, Inc. Memory management for a hierarchical memory system
US10831672B2 (en) 2012-07-18 2020-11-10 Micron Technology, Inc Memory management for a hierarchical memory system
US10671295B2 (en) 2012-07-18 2020-06-02 Micron Technology, Inc. Methods and systems for using state vector data in a state machine engine
US10089242B2 (en) 2012-07-18 2018-10-02 Micron Technology, Inc. Memory management for a hierarchical memory system
US9389841B2 (en) 2012-07-18 2016-07-12 Micron Technology, Inc. Methods and systems for using state vector data in a state machine engine
US10254976B2 (en) 2012-07-18 2019-04-09 Micron Technology, Inc. Methods and systems for using state vector data in a state machine engine
US10489062B2 (en) 2012-07-18 2019-11-26 Micron Technology, Inc. Methods and systems for using state vector data in a state machine engine
WO2014014710A1 (en) * 2012-07-18 2014-01-23 Micron Technology, Inc Methods and systems for using state vector data in a state machine engine
JP2014176032A (ja) * 2013-03-12 2014-09-22 Nippon Telegr & Teleph Corp <Ntt> トラヒック分布推定装置、トラヒック分布推定システム、及びトラヒック分布推定方法
US9448965B2 (en) 2013-03-15 2016-09-20 Micron Technology, Inc. Receiving data streams in parallel and providing a first portion of data to a first state machine engine and a second portion to a second state machine
US10929154B2 (en) 2013-03-15 2021-02-23 Micron Technology, Inc. Overflow detection and correction in state machine engines
US11775320B2 (en) 2013-03-15 2023-10-03 Micron Technology, Inc. Overflow detection and correction in state machine engines
US11016790B2 (en) 2013-03-15 2021-05-25 Micron Technology, Inc. Overflow detection and correction in state machine engines
US9747242B2 (en) 2013-03-15 2017-08-29 Micron Technology, Inc. Methods and apparatuses for providing data received by a plurality of state machine engines
US9703574B2 (en) 2013-03-15 2017-07-11 Micron Technology, Inc. Overflow detection and correction in state machine engines
US10372653B2 (en) 2013-03-15 2019-08-06 Micron Technology, Inc. Apparatuses for providing data received by a state machine engine
US10067901B2 (en) 2013-03-15 2018-09-04 Micron Technology, Inc. Methods and apparatuses for providing data received by a state machine engine
US10606787B2 (en) 2013-03-15 2020-03-31 Mircron Technology, Inc. Methods and apparatuses for providing data received by a state machine engine
US10430210B2 (en) 2014-12-30 2019-10-01 Micron Technology, Inc. Systems and devices for accessing a state machine
US11580055B2 (en) 2014-12-30 2023-02-14 Micron Technology, Inc. Devices for time division multiplexing of state machine engine signals
US11947979B2 (en) 2014-12-30 2024-04-02 Micron Technology, Inc. Systems and devices for accessing a state machine
US10769099B2 (en) 2014-12-30 2020-09-08 Micron Technology, Inc. Devices for time division multiplexing of state machine engine signals
US11366675B2 (en) 2014-12-30 2022-06-21 Micron Technology, Inc. Systems and devices for accessing a state machine
US11977902B2 (en) 2015-10-06 2024-05-07 Micron Technology, Inc. Methods and systems for event reporting
US10691964B2 (en) 2015-10-06 2020-06-23 Micron Technology, Inc. Methods and systems for event reporting
US10846103B2 (en) 2015-10-06 2020-11-24 Micron Technology, Inc. Methods and systems for representing processing resources
US11816493B2 (en) 2015-10-06 2023-11-14 Micron Technology, Inc. Methods and systems for representing processing resources
US10977309B2 (en) 2015-10-06 2021-04-13 Micron Technology, Inc. Methods and systems for creating networks
US10698697B2 (en) 2016-07-21 2020-06-30 Micron Technology, Inc. Adaptive routing to avoid non-repairable memory and logic defects on automata processor
US10146555B2 (en) 2016-07-21 2018-12-04 Micron Technology, Inc. Adaptive routing to avoid non-repairable memory and logic defects on automata processor
WO2018047966A1 (ja) * 2016-09-12 2018-03-15 日本電気株式会社 波形分離装置、方法、プログラム
JPWO2018047966A1 (ja) * 2016-09-12 2019-06-27 日本電気株式会社 波形分離装置、方法、プログラム
US10521366B2 (en) 2016-09-29 2019-12-31 Micron Technology, Inc. System and method for individual addressing
US10949290B2 (en) 2016-09-29 2021-03-16 Micron Technology, Inc. Validation of a symbol response memory
US10789182B2 (en) 2016-09-29 2020-09-29 Micron Technology, Inc. System and method for individual addressing
US10402265B2 (en) 2016-09-29 2019-09-03 Micron Technology, Inc. Validation of a symbol response memory
US10339071B2 (en) 2016-09-29 2019-07-02 Micron Technology, Inc. System and method for individual addressing
US10268602B2 (en) 2016-09-29 2019-04-23 Micron Technology, Inc. System and method for individual addressing
US10019311B2 (en) 2016-09-29 2018-07-10 Micron Technology, Inc. Validation of a symbol response memory
US11194747B2 (en) 2016-10-20 2021-12-07 Micron Technology, Inc. Custom compute cores in integrated circuit devices
US10929764B2 (en) 2016-10-20 2021-02-23 Micron Technology, Inc. Boolean satisfiability
US10592450B2 (en) 2016-10-20 2020-03-17 Micron Technology, Inc. Custom compute cores in integrated circuit devices
US11829311B2 (en) 2016-10-20 2023-11-28 Micron Technology, Inc. Custom compute cores in integrated circuit devices
JP2019020779A (ja) * 2017-07-11 2019-02-07 株式会社東芝 運用ルール抽出装置、運用ルール抽出システムおよび運用ルール抽出方法
JP2020075385A (ja) * 2018-11-06 2020-05-21 株式会社東芝 製品状態推定装置

Similar Documents

Publication Publication Date Title
JPH10111862A (ja) 再帰型ニューラルネットワークに基づく時系列解析装置および方法
CN110782015A (zh) 神经网络的网络结构优化器的训练方法、装置及存储介质
Utans et al. Selecting neural network architectures via the prediction risk: Application to corporate bond rating prediction
Dash et al. Efficient stock price prediction using a self evolving recurrent neuro-fuzzy inference system optimized through a modified differential harmony search technique
Ma et al. A cost-function approach to rival penalized competitive learning (RPCL)
CN111027292B (zh) 一种限定采样文本序列生成方法及其***
Chien et al. Learning discriminant functions with fuzzy attributes for classification using genetic programming
CN114818682B (zh) 基于自适应实体路径感知的文档级实体关系抽取方法
CN111985620A (zh) 一种神经网络模型知识蒸馏方法、***、设备及介质
CN111783997A (zh) 一种数据处理方法、装置及设备
Basterrech Empirical analysis of the necessary and sufficient conditions of the echo state property
Ganepola et al. Automating generative adversarial networks using neural architecture search: A review
Persand et al. Taxonomy of saliency metrics for channel pruning
CN112084944B (zh) 一种动态演化表情的识别方法与***
CN112633516B (zh) 性能预测和机器学习编译优化方法及装置
Aliyu et al. Deep Learning for Multivariate Prediction of Building Energy Performance of Residential Buildings.
CN113516182B (zh) 视觉问答模型训练、视觉问答方法和装置
CN114330121A (zh) 一种工业时序数据长期快速预测方法及装置
Li et al. A revisit to MacKay algorithm and its application to deep network compression
JPH11143875A (ja) 単語自動分類装置及び単語自動分類方法
Leung et al. Application of a modified neural fuzzy network and an improved genetic algorithm to speech recognition
Ouyang et al. Grarep++: flexible learning graph representations with weighted global structural information
CN114912457A (zh) 跨段落文本语义表示向量的生成方法、装置及存储介质
Li et al. CoAxNN: Optimizing on-device deep learning with conditional approximate neural networks
CN111667028A (zh) 一种可靠负样本确定方法和相关装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20040907