JPH1063634A - 時系列予測・分類のための方法及び装置 - Google Patents

時系列予測・分類のための方法及び装置

Info

Publication number
JPH1063634A
JPH1063634A JP8086197A JP8086197A JPH1063634A JP H1063634 A JPH1063634 A JP H1063634A JP 8086197 A JP8086197 A JP 8086197A JP 8086197 A JP8086197 A JP 8086197A JP H1063634 A JPH1063634 A JP H1063634A
Authority
JP
Japan
Prior art keywords
module
data
prediction
symbol
grammar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8086197A
Other languages
English (en)
Inventor
Lawrence Steven
ローレンス スティーブン
Jiyairesu Lee
ジャイレス リー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPH1063634A publication Critical patent/JPH1063634A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S706/00Data processing: artificial intelligence
    • Y10S706/902Application using ai with detail of the ai system
    • Y10S706/925Business

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Technology Law (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

(57)【要約】 (修正有) 【課題】 雑音のある時系列からすばやく、効率的に、
かつ正確に時系列データを予測する。 【解決手段】 時系列データの予測、特に、外国通過為
替レートの予測ための方法および装置。開示した方法は
時系列データを系列の差に変換し、対数変換を使用して
変換したデータを圧縮し、圧縮したデータを記号に変換
し、引き続いて予測が発生されるように記号上で1つま
たはそれ以上のニューラルネットワークを訓練する。代
わりの実施例は、自己組織化マップによって変換し、リ
カレントニューラルネットワークによって訓練する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、一般に、時系列デ
ータ予測の分野に関し、特に、毎日の外国為替レートを
予測する方法および装置に関する。
【0002】
【従来の技術】外国為替市場の量はあ然とさせられる。
例えば、1989年において、1日に約6500億ドル
が交換された。外国為替市場において交換される通貨で
最も重要なものは、USドル(これは基準通貨の役を務
める)、日本円、英国ポンド、独国マルク、スイス・フ
ランである。交換される外国通貨の重要さと量が与えら
れると、多くの金融団体はいろいろな専有法を使用して
外国為替レートを予測することを試みる。例えば、Jean
Y. Lequarre, "Foreign Currency Dealing: A Brief I
ntroduction", in Time Series Predicgtion: Forecast
ing the Future and Understanding the Past", A.S. W
eigend and N.A. Gershenfeld, eds., Addison-Wesley,
1993 を参照されたい。
【0003】しかしながら、不幸にも、外国為替レート
データは非常に高い雑音を示し、非定常を呈するので、
それらの予測性を最小にする。オーバパラメータライズ
ド・モデルおよび/またはオーバフィッティングを制御
する重み崩壊や重み消去のような技術を使って外国為替
レートデータに固有の高い雑音を打ち勝つ試みが、A.S.
Weigend, B.A. Huberman,およびD.E. Rumelhartによっ
て、"Predicting Sunspots and Exchange Rates with C
onnectionist Networks"という題の論文(これは、Nonl
inear Modelging and Forecasting, SFI Studies in th
e Sciences ofComplexity Proc., Vol. XII, Addison-W
esley, 1992に出ている)に述べられているが、制限さ
れた範囲でしか成功していない。ニューラルネットワー
ク技術が近年興味をもたれ、最近、雑音のある時系列デ
ータを予測する問題に応用されている。例えば、米国特
許第5,444,819号(1995年8月22日にMi
chiro Nigishi に発行され、以下´819特許と呼ぶ)
は、時系列データが入力され、移動平均値とそれらの差
が発生されるシステムを教えている。この特許によって
示唆されるように、標準ニューラルネットワークが平
均、差およびパターン上で訓練され、変化の値を予測し
ている。
【0004】雑音中に埋められた信号を回復して実質的
に信号を解析する方法および装置が米国特許第5,40
2,520号(1992年3月6日にBonnie S.Schitta
に発行され、以下´520特許と呼ぶ)に示されてい
る。この特許に開示されている装置は、雑音を持つ入力
信号を受信する入力装置とこの入力信号に埋められたデ
ータ信号を回復する雑音フィルタを少なくとも1つ含
む。
【0005】
【発明が解決しようとする課題】ニューラルネットワー
ク技術に対する初期的の楽観論にもかかわらず、外国通
貨為替データのような雑音のある時系列データの予測上
のデータに対するその効果は制限される。その結果とし
て、雑音のある時系列データから、迅速に、効率的に、
かつ正確に予測することを可能とする、特に、毎日の外
国為替レートを予測する方法や装置がこの分野において
継続して必要とされている。
【0006】
【課題を解決するための手段】しばしば重要な非定常性
と雑音を表す時系列データに対して予測をする本発明の
原理によって、上記問題を解決し、従来技術から飛躍す
る。
【0007】1つの態様から見ると、本発明は時系列デ
ータを予測する装置に向けられる。本発明は、データを
変換するための前処理モジュールと;変換したデータか
ら記号列を生成する記号変換モジュールと;記号列から
与えられた量を予測する文法推論モジュールとを含む。
この装置の能力を高めるため、与えられた量の信頼度を
推定する信頼度推定モジュールと、1つまたはそれ以上
の規則を抽出する規則抽出モジュールと、抽出した規則
を使用して予測をする規則解釈モジュールとを含む。
【0008】他の態様から見れば、本発明は時系列デー
タを予測する方法に向けられる。開示した方法は時系列
データを系列の差に変換するものであり、対数変換を使
用して変換したデータを圧縮し、圧縮したデータを記号
に変換し、引き続いて、予測が発生されるように記号上
で1つまたはそれ以上のニューラルネットワークを訓練
する。代わりの実施形態は、自己組織化マップによって
変換をし、リカレントニューラルネットワークによって
訓練をする。
【0009】
【発明の実施の形態】本発明の好ましい実施の形態につ
いて図面を参照して説明し、それらのいくつかは次の説
明をしているうちに同時に参照される。しかしながら、
本発明の要旨である方法および装置について説明する前
に、理論的な背景を議論するのが有益である。
【0010】特に、効率市場仮説(EMH)は金融界に
おいて広く受け入れられており、弱きの意見では、資産
の価格が、資産の過去の価格から得ることができる全て
の情報を反映する、すなわち、価格の変動が予測できな
いと断言している。例えば、IEEE Conference on Neura
l Networks, pages 451-458 の会報の、H. White, "Eco
nomic Prediction Using Nural Networks: The Case of
IBM Daily Stock Returns,"を参照されたい。
【0011】価格の最良の予測は、実際の価格が一般に
ランダムウォークと呼ばれるものに従っているなら、現
在の価格である。EMHを支持する1つの主張は、もし
任意の利益機会が現れるなら、それらの機会はトレーダ
ーによって直接活用され、それによって消滅する。逆
に、EMHに反対する主張は、全ての情報は同時に全て
のトレーダーに達せず、より洗練された方法をもつトレ
ーダーはあらゆる情報をより良く使用できるという事実
を含む。
【0012】EMHの有効性を仮定し、金融系列が各ス
テップで雑音成分の付加として下記の数式1でモデル化
できる。
【0013】
【数1】 ここで、ε(k)は分散σをもつゼロ平均ガウス変数で
あり、x(k)はステップkでの時系列の値である。最
良の推定は、下記の数式2である。
【0014】
【数2】 換言すれば、もし系列が本当にランダムウォークである
なら、次の時間周期における最良の推定は現在の推定に
等しい。さて、系列に予測可能な成分があると仮定しよ
う、そのとき、下記の数式3を使用できる。
【0015】
【数3】 ここで、ε(k)は分散σをもつゼロ平均ガウス変数で
あり、f(・)はその引数における非線形関数である。
この場合において、最良の推定は次の数式4によって与
えられる。
【0016】
【数4】 このモデルを使用して予測を試みすことは、系列がしば
しば傾向変動を包含するので疑わしい。例えば、外国為
替レートデータのような時系列データを示す図1を参照
して、部分Aで訓練されたニューラルネットワークは、
部分Bにおける試験データに一般化する機会はない。何
故なら、このモデルはこの範囲のデータで訓練されてい
ないからである。ニューラルネットワークは補間では良
いが外挿では駄目であるということを、当業者は容易に
分かっている。図1に示すように、外国為替レートデー
タは高い雑音を示し、非定常である。
【0017】これに対する共通の解決は下記の数式5の
モデルを使用することである。
【0018】
【数5】 ここで、
【0019】
【数6】 であり、ν(k)は分散σをもつゼロ平均ガウス変数で
ある。この場合において、最良の推定は下記の数式7で
ある。
【0020】
【数7】 第1階差が生の時系列の代わりに使用されていることに
注意されたい。
【0021】図2を参照すると、本発明の要旨であるシ
ステムのブロック図が示されている。特に、生の金融系
列200は区別ブロック210によって受信され、その
区別ブロックの出力は対数圧縮ブロック220で処理さ
れ、対数圧縮ブロックは系列のダイナミックレンジを圧
縮して、任意の外側にあるデータの効果を減らしてい
る。次に、量子化/記号符号化がブロック230で実行
され、文法推論(例えば、C.L. Giles et al, "Second-
Order Recurrent Neural Networks for Grammatical In
terfence," 1991 IEEE INNS International Conference
On Neural Networks, IEEE Press, Piscataway, N.J.,
1992 )がブロック240で実行され、結果として変化
予測出力250を生じる。
【0022】上記プロセスは1組の生の時系列値y
(k)(k=1,2,…,N,y(k)∈R)でスター
トする。これらの値は特定の金融時系列の毎日の終わり
値を示しているが、それらは任意の時系列で良い。次
に、この系列y(k)の第1の差は区別ブロック210
によって次の数式8で取られ、
【0023】
【数8】 その結果はδ(k)(δ(k)∈R,k=1,2,…,
N−1)となる。
【0024】系列のタイナミックレンジを圧縮し、異常
値の効果を減少するために、対数圧縮ブロック220で
データの対数変換が使用される。すなわち、
【0025】
【数9】 この結果はx(k)(k=1,2,…,N−1,x
(k)∈R)となる。すなわち、区別ブロック210と
対数圧縮ブロック220との組み合わせはデータを変換
するための前処理モジュールとして働く。しかしなが
ら、ある時系列に対して、これは必要ではない。他の圧
縮法が他の時系列に対して使用されても良い。
【0026】次に、この系列の遅延の埋込を考える。
【0027】
【数10】 ここで、d1 は遅延の埋込次元で、X(k,d1 )は状
態ベクトルである。
【0028】この遅延の埋込は量子化/記号符号化ブロ
ック230で入力を自己組織化マップ(SOM)に形成
する。その結果として、SOM入力は対数変換したデル
タ時系列の最後のd1 値である。SOMの出力は成功ノ
ードのトポロジカル位置であり、ここで、各ノードは結
果文法推論問題における1つの記号を表している。すな
わち、量子化/記号符号化ブロック230は変換したデ
ータから記号列を生成するための記号変換モジュールと
して働く。
【0029】本発明において使用されたとき、SOMは
下記の数式11によって表すことができる。
【0030】
【数11】 ここで、S(k)∈[0,1,2,…,ns −1]、n
s はSOM用の記号(ノード)の数である。便宜のため
に、SOMにおける各ノードには0からノード数−1ま
での整数指標が割り当てられている。
【0031】次に、文法推論モジュール240において
エルマン・リカレントニューラルネットワークはSOM
から出力列上で訓練される。多くのリカレントネットワ
ークを使用しても良いことは、当業者によって容易に理
解できる。このリカレントネットワークに対して、
【0032】
【数12】 及び、
【0033】
【数13】 ここで、Cは隠れ層から出力ノードへの重みを表すnh
×no ベクトルであり、nh は隠れノード数、no は出
力ノード数、co はスカラであり、zk (zk ∈Rnh
は隠れ層ニューロンの出力を表すnh ×1ベクトルであ
る。
【0034】その上、uk はd2 ×1ベクトルであり、
ここで、d2 はSOMに示される記号の入力窓のために
使用される埋込次元である。それにより、uk は下記の
数式14によって表されても良い。
【0035】
【数14】 そして、AおよびBは、それぞれ、隠れノードから隠れ
ノードへのフィードバック重みおよび入力層から隠れ層
への重みを表す適切な次元の行列である。同様に、Fnh
はシグモイド関数を含むnh ×1ベクトルであり、bは
各隠れ層ニューロンの偏りを表示するnh ×1ベクトル
であり、O(k)はネットワークの出力を含むno ×1
ベクトルで、no は2である。
【0036】その結果として、
【0037】
【数15】 または、
【0038】
【数16】 どのようにしてリカレントニューラルネットワークが訓
練されるかの例として、ネットは2つの出力をもち、そ
れによって、第1の出力は系列内の正の変化の確率を予
測するために訓練され、第2の出力は負の変化の確率を
予測するために訓練される。
【0039】とにかく、文法推論はリカレントニューラ
ルネットワークで実行される。一組のレッテルの貼られ
た訓練データは、リカレントネットワークを訓練するた
めに使用され、各記号がネットワークに入力された後、
記号列から予測をする。リカレントネットワークはネッ
トワークに対する現在の記号入力とネットワークの現在
の状態とを使用してこの予測をする。
【0040】"The Self-Organizing Map" (これは19
80年のIEEE, vol. 78, pp. 1464-1480の会報に出され
た)という題の論文においてTeuvo Kohonen によって記
載された自己組織化マップ(SOM)は、任意のクラス
情報なしで、1組のパターンの分配を学習する教師なし
学習プロセスである。特に、パターンはできる限り高次
元入力空間Sからマップ内の位置、低次元の表示空間D
に投影される。しばしば、表示空間Dは多数の交点をも
つ格子に分割され、各交点はニューロンによるネットワ
ーク内で表される。情報は活性化されたニューロンの位
置として符号化される。ほとんどの分類やクラスタ手法
とは違って、SOMは入力空間S内のクラスのトポロジ
カル順序を結果表示空間D内に保存する。入力空間S内
の距離を使用して測定された類似度は、表示空間D内で
保存される。
【0041】動作において、SOMは入力空間Rn から
トポロジカル的に順序付けされたノードの集合、通常は
低次元空間D内へのマッピングを規定する。そのような
2次元SOMの例が図3に示されている。参照ベクトル
i ≡[μi1,μi2,…,μinT ∈Rn は、SOM内
の各ノードに割り当てらえる。
【0042】訓練の間、各入力xは特定の距離に従って
最も近いマッチの位置を得る全てのmi と比較される。
入力点はSOM内のこの位置にマップされる。
【0043】SOM内のノードは、距離と成功ノードに
関するこの位置に従って更新される。例えば、ノードは
下記の数式17に従って更新される。
【0044】
【数17】 ここで、tは学習中の時間であり、hci(t)は近隣関
数で、mc で最大値をとる平滑核(smoothing kernel)
である。通常、hci(t)=h(‖rc −ri ‖,
t)、ここでrc およびri はSOM出力空間D内のノ
ードの位置を表す。rc は入力サンプルに最も近い重み
ベクトルをもつノードであり、ri はすべてのノードに
及んでいる。hci(t)は、‖rc −ri ‖が増加した
ときまたtが∞に近付くとき、0に近付く。広く用いら
れる近接関数は下記の数式18で表される。
【0045】
【数18】 ここで、α(t)はスカラ値の学習レートであり、σ
(t)は核の幅を規定する。SOMが入力パターンxの
確率密度p(x)の非線形投影とみなすことできること
は、当業者によって容易に理解される。
【0046】記載したように、表示空間D内のノードは
入力空間Rn 内に包含される情報を符号化する。D内に
Mノードがあるので、これは、入力ベクトルx∈Rn
1組のM記号(それはRn 内の原トポロジカル順序を表
している)に変換されることを暗示している。従って、
もし原入力パターンが非常に雑音があるなら、Rn 内の
原トポロジカル順序を表す1組のM記号への量子化はフ
ィルタリングの形として理解できる。フィルタリングの
量はMによって制御される。もしMが大きければ、これ
は、結果記号の雑音内容中に少しの縮小があることを暗
示している。これに反して、もしMが小さければ、これ
は、“重大な”フィルタリング効果があり、その結果と
して少数の記号にのみ生じることを暗示している。
【0047】さて図4を参照して、本発明の文法推論の
ために使用されるリカレントニューラルネットワークの
1例がエルマン・ニューラルネットワークである。図4
に示されるように、エルマン・ニューラルネットワーク
は隠れノードの各々から隠れニードの全てへの帰還をも
つ。SOMの出力からの1組のM記号は、直接、線形法
で、リカレントニューラルネットワーク用の単一の入力
(例えば、もしM=3なら、単一入力は−1,0または
1のいずれかである)に符号化される。線形符号化は記
号のトポロジカル順序によって正当化されることは、当
業者によって容易に理解される。リカレントネットワー
クの学習を容易にするために、入力窓が使用され、例え
ば、多数の最も最近の記号がリカレントニューラルネッ
トワークの入力ニューロンを分離するために表現され
る。
【0048】本発明の手法によれば、信号の非定常性
が、短時間周期のみに基づくモデルを組み立てることに
よって、都合良く負かされる。特に、モデルはある数の
データ点を使用して訓練される。分離モデルが種々の時
間で予測のために訓練される。記号知識(規則)の抽出
は、規則抽出モジュール(図示せず)で行われ、解の解
釈可能性を大いに助ける。離散的マルコフプロセス
({状態;入力→次の状態})の順序付けられた3倍の
数がリカレントニューラルネットワークから抽出され、
等価決定有限状態オートマトン(DFA)を形成するた
めに使用される。この抽出がリカレント状態ニューロン
の活性化値をクラスタすることによってなされている
間、このプロセスを使用して抽出されたオートマトンは
規則的な文法を認識できるだけである。ここに使用され
るように、規則的な文法Gは4組G={S,N,T,
P}で、ここでSは状態記号、NおよびTはそれぞれ非
末端記号および末端記号、Pは形式A→aまたはA→a
B(ここで、A,B∈Nで、a∈T)の生産を表す。
【0049】本発明におけるオートマトン抽出のために
使用される方法は、"Learning andExtracting Finite S
tate Automata with Second-Order Recurrent Neural N
etworks" という題の論文(これはNeural Computation,
4(3), pp. 393-495, 1992に出版されている)において
C.L. Giles等によって記述されたものと同じである。し
かしながら、他の抽出方法が使用でき、この技術で知ら
れている。
【0050】英国ポンド用の抽出されたオートマトンの
1例が図5に示されている。DFAはこの技術で知られ
た最小化手法を使用して最小化される。
【0051】DFA抽出法を要約すると、状態zk が最
初にqセルに分割される。例えば、zki(i=1,2,
…,nh )はqセグメントに分割される。ゆえに量子化
状態の合計数はqnhである。入力uk (k=1,2,
…,N)をネットワーク中を走らせることによって、活
性化zk (k=1,2,…,N)の対応する組が得られ
る。これら活性化はしばしば起動空間中にクラスタさ
れ、同じ値に量子化する。与えられた入力順序に対し
て、DFAを通る通路が続かれても良い。図5に与えら
れた例に対して、
【0052】
【数19】 そして、出力は下記の数式20によって与えられる。
【0053】
【数20】 ここで、Si (i=0,1,2)はSOMからの出力記
号である。(図5において、S1 は点線、S2 は灰色
線、S3 は実線)。ni (i=1,2,…,9)は最小
化DFA内のノードである。
【0054】DFAノードni (i=1,2,…,9)
は任意の物理的実体に関連していない。それにもかかわ
らず、抽出されたDFAは次のように原時系列に後ろに
連結されても良い。
【0055】1.SOM入力データ列X(k,d1 )を
SOM出力記号に変換し、I→Sを与え;そして 2.DFA中をこれらの記号の通路をたどり、現在の状
態が正の変換または負の変化に対応しているかどうかを
決定する。
【0056】このゆえに、与えられた金融データ列に対
して、DFA中の遷移が決定される。
【0057】
【実施例】図6に一実施例のブロック図を示す。特に、
時系列データ600は前処理モジュール(PPM)61
0によって受信され、前処理モジュールは入力データを
変換する。好ましい実施例において、前処理モジュール
はデータの任意の非定常性を減少する区別モジュール
(DM)611とデータの対数圧縮を発生する圧縮モジ
ュール(CM)613を含む。区別モジュール611は
上記数式8にしたがって系列の第1の差δ(k)を求め
る。圧縮モジュール613は上記数式9にしたがって対
数圧縮を実行する。
【0058】記号変換モジュール(SCM)620(こ
れは好ましくは自己組織化マップ(SOM)621で実
行される)は、変換したデータから記号列を生成する。
記号変換モジュール620は上記数式11にしたがって
記号列を生成する。文法推論モジュール630(GI
M)(1またはそれ以上のリカレントニューラルネット
ワーク(RNN)631を持ちまたは他の文法推論法を
用いる)は、記号列から与えられた量を予測する。文法
推論モジュール630は上記数式12にしたがって与え
られた量を予測する。
【0059】決定有限状態オートマトン(FDA)とそ
の対応する予測規則とは、リカレント状態ニューロンの
活性化値をクラスタすることに基づくアルゴリズムでR
NN631から抽出される。このアルゴリズムは、訓練
されたネットワーク内のリカレント状態ニューロンの活
性化がクラスタする傾向を観測することに基づく。N状
態ニューロンの各々の出力は寸法の等しいq間隔に分割
され、状態ニューロンの出力の空間内でqN 区画を生じ
る。初期状態から始まって、全ての入力記号は順に考察
される。もし入力記号が活性化空間内の新しい区画に遷
移するなら、新しいDFAは適当な記号上の対応する遷
移に生成される。異なった活性化状態ベクトルが同じ区
画に属する場合には、引き続く記号用の新しい初期状態
として最初に区画に到達した状態ベクトルを選択する。
もしすべてのqN 区画が訪れられたら、抽出は計算的に
実行不可能となるが、DFA状態に対応するクラスタは
しばしば入力空間の小さい割合を含む。
【0060】代わりに、予測システムは、いろいろな距
離のどれかを使用して与えられた量の信頼度を推定する
信頼度推定モジュール650を含んでも良い。信頼度推
定モジュール650における信頼度の1つの可能な測定
は、リカレントネットワークからの2つの出力の場合に
対して、ym (ym −y2m)(ここで、ym は文法推論
モジュールの最大出力であり、y2mは文法推論モジュー
ルの第2の最大出力)である。
【0061】規則解釈モジュール640は、都合良く、
抽出した規則を使用して予測を生成する。規則解釈モジ
ュール640は、スタート状態で開始して、DFA内で
現在の状態を維持する。(前処理および記号変換モジュ
ールで生のデータから変換された)データ列内の各記号
に対して、規則解釈モジュールは現在の記号が付されて
いる現在の状態から遷移に従う。現在の状態は遷移す状
態に更新される。各状態内で、現在の予測は、その状態
がDFAの容認状態であるか拒絶状態であるかどうかに
よって決定される。
【0062】本発明を示し好ましい実施例の文脈で詳細
に説明したが、種々の変更がなされ、広いいろいろな他
の変更が本発明の示唆の範囲を逸脱しないで成されるこ
とは、当業者にとってまったく明らかである。
【0063】
【発明の効果】以上の説明で明らかなように、本発明で
は、時系列データを変換し、変換したデータから記号列
を生成し、記号列から与えられた量を予測しているの
で、雑音のある時系列データから、迅速に、効率的に、
かつ正確に予測することができる。
【図面の簡単な説明】
【図1】模範的な時系列データのグラフである。
【図2】本発明の教えによる時系列データも処理を示す
フローチャートである。
【図3】自己組織化マップの実例である。
【図4】エルマン・ニューラルネットワークの実例であ
る。
【図5】サンプル抽出したオートマトンの実例である。
【図6】本発明の教えによる時系列データを予測するた
めのシステムのブロック図である。
【符号の説明】
200 生の金融系列 210 区別モジュール 220 データ変換モジュール 230 トポロジカル量子化モジュール 240 文法推論モジュール 250 変化予測 600 時系列データ 610 前処理モジュール(PPM) 611 区別モジュール(DM) 613 圧縮モジュール(CM) 620 記号変換モジュール(SCM) 621 自己組織化マップ(SOM) 630 文法推論モジュール(GIM) 631 リカレントニューラルネットワーク 640 規則解釈モジュール 650 信頼度推定モジュール(CEM)

Claims (15)

    【特許請求の範囲】
  1. 【請求項1】 時系列データを予測するシステムであっ
    て、 前記データを変換するための前処理モジュールと、 変換したデータから記号列を生成するための記号変換モ
    ジュールと、 記号列から与えられた量を予測する文法推論モジュール
    と、を有する予測システム。
  2. 【請求項2】 前記与えられた量の信頼度を推定する信
    頼度推定モジュールをさらに有する請求項1に記載の予
    測システム。
  3. 【請求項3】 前記与えられた量の予測に関して前記文
    法推論モジュールから1又はそれ以上の規則を抽出する
    規則抽出モジュールをさらに有する請求項2に記載の予
    測システム。
  4. 【請求項4】 抽出した文法を解釈する規則解釈モジュ
    ールをさらに有する請求項3に記載の予測システム。
  5. 【請求項5】 前記データは非定常で、前記前処理モジ
    ュールはデータの非定常性を減らす区別モジュールをさ
    らに有する請求項1に記載の予測システム。
  6. 【請求項6】 前記前処理モジュールはデータの対数圧
    縮を生成する圧縮モジュールをさらに有する請求項1に
    記載の予備システム。
  7. 【請求項7】 前記記号変換モジュールは自己組織化マ
    ップニューラルネットワークを有する請求項1に記載の
    予測システム。
  8. 【請求項8】 前記文法推論モジュールがリカレントニ
    ューラルネットワークを有する請求項1に記載の予測シ
    ステム。
  9. 【請求項9】 信頼度推定モジュールはym (ym −y
    2m)(ここで、ymは文法推論モジュールの最大出力で
    あり、y2mは文法推論モジュールの第2の最大出力)に
    従って前記文法推論モジュールの出力を使用した信頼度
    推定を生成する請求項2に記載の予測システム。
  10. 【請求項10】 前記規則抽出モジュールは、訓練デー
    タに対応した決定有限状態オートマトンが創作されるよ
    うに、前記文法推論モジュールに包含される隠れノード
    の状態空間を量子化する請求項6に記載の予測システ
    ム。
  11. 【請求項11】 時系列データを予測する方法におい
    て、 区別変換を使用して前記データを変換するステップと、 対数変換を使用して変換したデータを圧縮するステップ
    と、 前記変換したデータを記号に変換するステップと、 前記記号上で1又はそれ以上のニューラルネットワーク
    を訓練するステップとを有する予測方法。
  12. 【請求項12】 前記記号から複数の規則を抽出するス
    テップをさらに有する請求項11に記載の予測方法。
  13. 【請求項13】 抽出した規則を解釈するステップをさ
    らに有する請求項12に記載の予測方法。
  14. 【請求項14】 前記変換ステップが自己組織化マップ
    によって実行される請求項11に記載の予測方法。
  15. 【請求項15】 前記訓練ステップがリカレントニュー
    ラルネットワークによって実行される請求項11に記載
    の予測方法。
JP8086197A 1996-04-05 1997-03-31 時系列予測・分類のための方法及び装置 Pending JPH1063634A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US62844296A 1996-04-05 1996-04-05
US08/628442 1996-04-05

Publications (1)

Publication Number Publication Date
JPH1063634A true JPH1063634A (ja) 1998-03-06

Family

ID=24518895

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8086197A Pending JPH1063634A (ja) 1996-04-05 1997-03-31 時系列予測・分類のための方法及び装置

Country Status (2)

Country Link
US (1) US5761386A (ja)
JP (1) JPH1063634A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677274B2 (en) 2004-11-10 2014-03-18 Apple Inc. Highlighting items for search results
JP2014517436A (ja) * 2011-06-24 2014-07-17 アマゾン テクノロジーズ インコーポレイテッド 非決済取引の支払い
JP2020071755A (ja) * 2018-11-01 2020-05-07 Fairy Devices株式会社 情報処理装置

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19649633A1 (de) * 1996-12-02 1998-06-04 Abb Patent Gmbh Verfahren zur Analyse und Darstellung von transienten Prozeßvorgängen
FR2756647B1 (fr) * 1996-12-03 1999-01-22 Soc D Services Interbancaires Procede de transfert entre plusieurs systemes de quantites exprimees dans des unites de mesure differentes
US6493691B1 (en) 1998-08-07 2002-12-10 Siemens Ag Assembly of interconnected computing elements, method for computer-assisted determination of a dynamics which is the base of a dynamic process, and method for computer-assisted training of an assembly of interconnected elements
US6532449B1 (en) * 1998-09-14 2003-03-11 Ben Goertzel Method of numerical times series prediction based on non-numerical time series
WO2000055809A2 (de) * 1999-03-03 2000-09-21 Siemens Aktiengesellschaft Anordnung miteinander verbundener rechenelemente, verfahren zur rechnergestützten ermittlung einer dynamik, die einem dynamischen prozess zugrunde liegt und verfahren zum rechnergestützten trainieren einer anordnung miteinander verbundener rechenelemente
EP1145190B1 (de) * 1999-04-12 2003-06-25 Siemens Aktiengesellschaft Anordnung miteinander verbundener rechenelemente, verfahren zur rechnergestützten ermittlung einer dynamik, die einem dynamischen prozess zugrunde liegt und verfahren zum rechnergestützten trainieren einer anordnung miteinander verbundener rechenelemente
AU6395100A (en) * 1999-08-03 2001-02-19 Tradeworx, Inc. System, method, and article of manufacture for estimating a price of a limit order
AU6395200A (en) * 1999-08-03 2001-02-19 Tradeworx, Inc. System, method, and article of manufacture for estimating a time
WO2001015079A1 (en) * 1999-08-26 2001-03-01 Westport Financial Llc An artificial neural network based universal time series
US6735580B1 (en) * 1999-08-26 2004-05-11 Westport Financial Llc Artificial neural network based universal time series
US7337142B1 (en) * 1999-10-27 2008-02-26 Sun Microsystems, Inc. Multiple exchange rate tracking in a financial transaction manager
JP2003527683A (ja) * 2000-01-31 2003-09-16 シーメンス アクチエンゲゼルシヤフト 相互接続された計算エレメントから成る装置および第1の状態空間におけるシステムの第1の状態から第1の状態空間におけるシステムの第2の状態をコンピュータ支援により求める方法
WO2001085018A2 (de) * 2000-05-09 2001-11-15 Siemens Aktiengesellschaft Verfahren und vorrichtung zur klassifikation von zeitreihen-werten, computerlesbares speichermedium und computerprogramm-element
US7194434B2 (en) * 2000-06-15 2007-03-20 Sergio Piccioli Method for predictive determination of financial investment performance
JP2002024795A (ja) * 2000-07-04 2002-01-25 Sony Corp 情報処理装置および方法、並びに記録媒体
US7174340B1 (en) * 2000-08-17 2007-02-06 Oracle International Corporation Interval-based adjustment data includes computing an adjustment value from the data for a pending adjustment in response to retrieval of an adjusted data value from a database
US6594622B2 (en) * 2000-11-29 2003-07-15 International Business Machines Corporation System and method for extracting symbols from numeric time series for forecasting extreme events
US8458059B2 (en) * 2000-12-13 2013-06-04 Capguard.Com, Inc. Apparatus and method for assessing market conditions
WO2002069176A1 (en) * 2001-02-21 2002-09-06 Boyle John C Offshootfund investment process
US20020123950A1 (en) * 2001-03-01 2002-09-05 Koesterich Russell Jared Method for estimating and displaying states representing varying probabilities of stock market strength
US20020174081A1 (en) * 2001-05-01 2002-11-21 Louis Charbonneau System and method for valuation of companies
US6662091B2 (en) * 2001-06-29 2003-12-09 Battelle Memorial Institute Diagnostics/prognostics using wireless links
US6889165B2 (en) 2001-07-02 2005-05-03 Battelle Memorial Institute Application specific intelligent microsensors
US20030149653A1 (en) * 2001-09-11 2003-08-07 Neill Penney Method and apparatus for conducting financial transactions
AU2002363525B2 (en) * 2001-11-07 2008-08-28 Bloomberg L.P. Automated trading of financial interests
US8019665B2 (en) * 2002-03-22 2011-09-13 Bloomberg L.P. Variable pricing for and conditional availability of proposals for trading of financial interests
US20040034612A1 (en) * 2002-03-22 2004-02-19 Nick Mathewson Support vector machines for prediction and classification in supply chain management and other applications
US20050119982A1 (en) * 2002-05-10 2005-06-02 Masato Ito Information processing apparatus and method
US20040039689A1 (en) * 2002-06-19 2004-02-26 Neill Penney Method and apparatus for managing financial transactions involving multiple counterparties and processing data pertaining thereto
AU2003259921A1 (en) * 2002-08-19 2004-03-03 Bloomberg Lp Complementary trading of interests
US7865415B2 (en) * 2003-03-05 2011-01-04 Morgan Stanley Intelligent simulation analysis method and system
US20040213448A1 (en) * 2003-04-28 2004-10-28 Asn Technology Corp. Apparatus for recognizing counterfeit currency and method thereof
AU2003902883A0 (en) * 2003-06-10 2003-06-26 Cumming, Andrew Conditional rate modelling
US7761363B2 (en) * 2003-10-08 2010-07-20 Fx Alliance, Llc Internal trade requirement order management and execution system
US7529703B2 (en) * 2003-11-18 2009-05-05 Citigroup Global Markets, Inc. Method and system for artificial neural networks to predict price movements in the financial markets
WO2005055003A2 (en) * 2003-11-26 2005-06-16 Fx Alliance, Llc Protocol-independent asset trading system and methods
WO2005055002A2 (en) * 2003-11-26 2005-06-16 Fx Alliance, Llc Latency-aware asset trading system
JP2007512630A (ja) * 2003-11-26 2007-05-17 エフエックス アライアンス,エルエルシー 即時履行型の顧客資産取引システム
WO2006002172A2 (en) * 2004-06-23 2006-01-05 Fx Alliance, Llc Shareable quote streams
EP1782377A2 (en) * 2004-06-23 2007-05-09 FX Alliance, Llc Dynamic liquidity management system
DE102004059684B3 (de) * 2004-12-10 2006-02-09 Siemens Ag Verfahren und Anordnung sowie Computerprogramm mit Programmmcode-Mitteln und Computerprogramm-Produkt zur Ermittlung eines zukünftigen Systemzustandes eines dynamischen Systems
US7634438B2 (en) * 2004-12-23 2009-12-15 Fx Alliance, Llc Dynamic account mapping system for computerized asset trading
EP1908004A4 (en) * 2005-06-29 2009-09-23 Itg Software Solutions Inc SYSTEM AND METHOD FOR GENERATING REAL-TIME INDICATORS IN A NEGOTIATING LIST OR PORTFOLIO
JP2007299366A (ja) * 2006-01-31 2007-11-15 Sony Corp 学習装置および学習方法、認識装置および認識方法、生成装置および生成方法、認識生成装置および認識生成方法、並びにプログラム
JP4169063B2 (ja) * 2006-04-06 2008-10-22 ソニー株式会社 データ処理装置、データ処理方法、及びプログラム
US7540408B2 (en) * 2006-06-22 2009-06-02 Hip Consult Inc. Apparatus and method for facilitating money or value transfer
US8521637B2 (en) * 2006-06-29 2013-08-27 Itg Software Solutions, Inc. Systems, methods, and computer program products for providing real time analytic widgets in a financial trading system
DE102007031643A1 (de) * 2007-07-06 2009-01-08 Dirnstorfer, Stefan, Dr. Verfahren zur Ableitung eines Zustandsraumes
US20110119168A1 (en) * 2009-11-18 2011-05-19 Peter Paul Carr Construction of Currency Strength Indices
US9619534B2 (en) * 2010-09-10 2017-04-11 Salesforce.Com, Inc. Probabilistic tree-structured learning system for extracting contact data from quotes
WO2014186639A2 (en) * 2013-05-15 2014-11-20 Kensho Llc Systems and methods for data mining and modeling
US10685306B2 (en) * 2015-12-07 2020-06-16 Sap Se Advisor generating multi-representations of time series data
US11704682B2 (en) * 2016-07-06 2023-07-18 Chicago Mercantile Exchange Inc. Pre-processing financial market data prior to machine learning training
AU2017310375B2 (en) * 2016-08-08 2020-11-05 Goldman Sachs & Co. LLC Systems and methods for learning and predicting time-series data using inertial auto-encoders
US11353833B2 (en) 2016-08-08 2022-06-07 Goldman Sachs & Co. LLC Systems and methods for learning and predicting time-series data using deep multiplicative networks
CN107506859A (zh) * 2017-08-17 2017-12-22 国网重庆市电力公司电力科学研究院 一种sf6分解气体浓度时间序列的预测方法及***
US10394958B2 (en) * 2017-11-09 2019-08-27 Conduent Business Services, Llc Performing semantic analyses of user-generated text content using a lexicon
US11360990B2 (en) 2019-06-21 2022-06-14 Salesforce.Com, Inc. Method and a system for fuzzy matching of entities in a database system based on machine learning
CN110428333A (zh) * 2019-08-01 2019-11-08 上海爱富爱克斯网络科技发展有限责任公司 针对金融中介机构mt4外汇交易软件的数据检测与分析方法
US11922412B2 (en) * 2019-12-19 2024-03-05 Chicago Mercantile Exchange Inc. Data object compression and reduction
US20220318903A1 (en) * 2021-03-31 2022-10-06 Intuit Inc. Machine learning based prediction for multiple currency goals

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5109475A (en) * 1988-09-19 1992-04-28 Hitachi, Ltd. Method and a system for selection of time series data
US5140523A (en) * 1989-09-05 1992-08-18 Ktaadn, Inc. Neural network for predicting lightning
EP0468229A3 (en) * 1990-07-27 1994-01-26 Hnc Inc A neural network with expert system functionality
US5121467A (en) * 1990-08-03 1992-06-09 E.I. Du Pont De Nemours & Co., Inc. Neural network/expert system process control system and method
DE4100500A1 (de) * 1991-01-10 1992-07-16 Bodenseewerk Geraetetech Signalverarbeitungsanordnung zur klassifizierung von objekten aufgrund der signale von sensoren
US5303330A (en) * 1991-06-03 1994-04-12 Bell Communications Research, Inc. Hybrid multi-layer neural networks
US5402520A (en) * 1992-03-06 1995-03-28 Schnitta; Bonnie S. Neural network method and apparatus for retrieving signals embedded in noise and analyzing the retrieved signals
JPH05342191A (ja) * 1992-06-08 1993-12-24 Mitsubishi Electric Corp 経済時系列データ予測及び解析システム
US5479573A (en) * 1992-11-24 1995-12-26 Pavilion Technologies, Inc. Predictive network with learned preprocessing parameters
US5406481A (en) * 1993-06-30 1995-04-11 Nippon Telegraph And Telephone Corporation Rainfall, snowfall forecast apparatus and method
US5455890A (en) * 1993-09-30 1995-10-03 Motorola, Inc. Method for structuring an expert system utilizing one or more neural networks
US5461699A (en) * 1993-10-25 1995-10-24 International Business Machines Corporation Forecasting using a neural network and a statistical forecast
US5490062A (en) * 1994-05-11 1996-02-06 The Regents Of The University Of California Real-time neural network earthquake profile predictor

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677274B2 (en) 2004-11-10 2014-03-18 Apple Inc. Highlighting items for search results
JP2014517436A (ja) * 2011-06-24 2014-07-17 アマゾン テクノロジーズ インコーポレイテッド 非決済取引の支払い
US9984367B2 (en) 2011-06-24 2018-05-29 Amazon Technologies, Inc. Paying non-settlement transactions
JP2020071755A (ja) * 2018-11-01 2020-05-07 Fairy Devices株式会社 情報処理装置

Also Published As

Publication number Publication date
US5761386A (en) 1998-06-02

Similar Documents

Publication Publication Date Title
JPH1063634A (ja) 時系列予測・分類のための方法及び装置
Berglund et al. Bidirectional recurrent neural networks as generative models
Giles et al. Rule inference for financial prediction using recurrent neural networks
Pawelzik et al. Annealed competition of experts for a segmentation and classification of switching dynamics
Kambhatla et al. Dimension reduction by local principal component analysis
CN110852426A (zh) 基于知识蒸馏的预训练模型集成加速方法及装置
EP1450350A1 (en) Method for Recognizing Speech with attributes
CN114169330A (zh) 融合时序卷积与Transformer编码器的中文命名实体识别方法
WO2003030085A1 (en) System and method of face recognition using portions of learned model
EP0732685A2 (en) A system for recognizing continuous speech
CN117041017B (zh) 数据中心的智能运维管理方法及***
CN114548592A (zh) 一种基于cemd和lstm的非平稳时间序列数据预测方法
CN108256463B (zh) 基于esn神经网络的移动机器人场景识别方法
CN116662817B (zh) 物联网设备的资产识别方法及***
CN116643949A (zh) 基于VaDE聚类的多模型边缘云负载预测方法及装置
CN116432697A (zh) 一种融合长短期记忆网络与注意力机制的时间序列预测方法
CN113362852A (zh) 一种用户属性识别方法和装置
CN117115706A (zh) 基于多尺度时空注意力网络的视频场景图生成方法
Guimarães et al. A taxonomy of Self-organizing Maps for temporal sequence processing
Huang et al. Strode: Stochastic boundary ordinary differential equation
CN115761576A (zh) 视频动作识别方法、装置及存储介质
Nayak et al. Learning a sparse dictionary of video structure for activity modeling
Dang et al. Constrained dynamical neural ode for time series modelling: A case study on continuous emotion prediction
Mnassri et al. GA algorithm optimizing SVM multi-class kernel parameters applied in Arabic speech recognition
CN110650130A (zh) 基于多分类GoogLeNet-LSTM模型的工控入侵检测方法

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20011010