JPH06175998A - Time series prediction method - Google Patents
Time series prediction methodInfo
- Publication number
- JPH06175998A JPH06175998A JP4326554A JP32655492A JPH06175998A JP H06175998 A JPH06175998 A JP H06175998A JP 4326554 A JP4326554 A JP 4326554A JP 32655492 A JP32655492 A JP 32655492A JP H06175998 A JPH06175998 A JP H06175998A
- Authority
- JP
- Japan
- Prior art keywords
- layer
- time series
- input
- time
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Feedback Control In General (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、過去および現在の時系
列パターンとニューラルネットワークを用いて、将来の
時系列パターンを予測する時系列予測方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a time series prediction method for predicting future time series patterns by using past and present time series patterns and a neural network.
【０００２】[0002]
【従来の技術】過去および現在の時系列パターンと、ニ
ューラルネットワークを用いて、将来の時系列パターン
を予測する従来技術について、フィードフォワード型ニ
ューラルネットワークを用いる場合と、リカレント型ニ
ューラルネットワークを用いる場合の２つのケースを説
明する。2. Description of the Related Art A conventional technique for predicting future time series patterns by using past and present time series patterns and a neural network is classified into a case where a feedforward type neural network is used and a case where a recurrent type neural network is used. Two cases will be explained.
【０００３】図５は、フィードフォワード型ニューラル
ネットワークの構成例を示す図である。図５において、
１は入力層のニューロン、２は中間層のニューロン、３
は出力層のニューロンをそれぞれ示し、入力層と中間層
のニューロンは接続線４で接続され、中間層と出力層の
ニューロンは接続線５で接続されている。FIG. 5 is a diagram showing a configuration example of a feedforward type neural network. In FIG.
1 is an input layer neuron, 2 is an intermediate layer neuron, 3
Represent the neurons in the output layer, the neurons in the input layer and the neurons in the intermediate layer are connected by the connection line 4, and the neurons in the intermediate layer and the output layer are connected by the connection line 5.
【０００４】接続線４，５の重みを学習によって変動さ
せることにより、学習課題にふさわしい重みに決定す
る。学習アルゴリズムとしては、バックプロパゲーショ
ン法（Rumelhart,D.E.et al.：Parellel Distributed P
rocessing,Vol.1,MIT Press （1986））を用いる。By varying the weights of the connecting lines 4 and 5 by learning, the weights suitable for the learning task are determined. As a learning algorithm, the back propagation method (Rumelhart, DE et al .: Parellel Distributed P
rocessing, Vol.1, MIT Press (1986)).
【０００５】時刻ｔの時系列パターンをＴ（ｔ）、ｍと
ｆを１以上の整数としたとき、次のようにして、フィー
ドフォワード型ニューラルネットワークに時系列予測メ
カニズムを学習させている。When the time series pattern at time t is T (t) and m and f are integers of 1 or more, the feedforward neural network is made to learn the time series prediction mechanism as follows.
【０００６】すなわち、Ｔ（ｔ）〜Ｔ（ｔ−ｍ）を入力
パターンとし、Ｔ（ｔ＋ｆ）を教師パターンとして、時
刻ｔを更新しながら、入力パターンと教師パターンとの
対応関係をバックプロパゲーション法により学習させて
いる。ｍ＝２，ｆ＝１としたときの、時刻１〜時刻１０
における入力パターンと教師パターンとの対応関係を図
６に示す。That is, T (t) to T (t-m) are input patterns, T (t + f) is a teacher pattern, and the time t is updated while the backpropagation of the correspondence between the input pattern and the teacher pattern is performed. I am learning by law. Time 1 to time 10 when m = 2 and f = 1
FIG. 6 shows the correspondence between the input pattern and the teacher pattern in.
【０００７】この場合、ニューラルネットワークの入力
層のニューロン数は（ｍ＋１）個であり、出力層のニュ
ーロン数は１個であり、中間層のニューロン数は試行錯
誤的に決定する。In this case, the number of neurons in the input layer of the neural network is (m + 1), the number of neurons in the output layer is 1, and the number of neurons in the intermediate layer is determined by trial and error.
【０００８】次に、リカレント型ニューラルネットワー
クを用いる場合を説明する。Next, the case where a recurrent neural network is used will be described.
【０００９】図７は、リカレント型ニューラルネットワ
ークの構成例を示す図である。FIG. 7 is a diagram showing a configuration example of a recurrent neural network.
【００１０】図７において、６は入力層、７は文脈層、
８は中間層、９は出力層である。１０，１１，１２は、
それぞれ、入力層６から中間層８へ、文脈層７から中間
層８へ、中間層８から出力層９へ信号を入力するための
重み付き接続線（完全結合）である。接続線１０，１
１，１２の重みを学習することによって、学習課題にふ
さわしい重みに決定する。学習アルゴリズムとしては、
バックプロパゲーション法を用いる。図７において、１
３は、中間層８から文脈層７に入力するための接続線で
あり、重み固定の１対１結合である。In FIG. 7, 6 is an input layer, 7 is a context layer,
Reference numeral 8 is an intermediate layer, and 9 is an output layer. 10, 11, 12 are
Weighted connection lines (complete coupling) for inputting signals from the input layer 6 to the intermediate layer 8, the context layer 7 to the intermediate layer 8, and the intermediate layer 8 to the output layer 9, respectively. Connection line 10,1
By learning the weights of 1 and 12, the weights suitable for the learning task are determined. As a learning algorithm,
The back propagation method is used. In FIG. 7, 1
Reference numeral 3 is a connection line for inputting from the intermediate layer 8 to the context layer 7, and is a weight-fixed one-to-one connection.
【００１１】時刻ｔの時系列パターンをＴ（ｔ）、ｐを
０以上の整数、ｆを１以上の整数としたとき、次のよう
にして、リカレント型ニューラルネットワークに時系列
予測メカニズムを学習させている。When the time series pattern at time t is T (t), p is an integer of 0 or more, and f is an integer of 1 or more, the recurrent neural network is made to learn the time series prediction mechanism as follows. ing.
【００１２】すなわち、現時刻ｔから時刻（ｔ−ｐ）ま
での（ｐ＋１）個の観測値であるＴ（ｔ），…，Ｔ（ｔ
−ｐ）を入力層６への入力パターンとする（ｐ＝０のと
きには、時刻ｔの値のみを入力パターンとする）。時刻
（ｔ−１）の中間層８の出力パターンを文脈層７への入
力パターンとする（接続線１３を用いて、中間層８から
文脈層７へ入力する）。時刻（ｔ＋ｆ）の時系列パター
ンであるＴ（ｔ＋ｆ）を出力層９への教師パターンとす
る。そして、時刻ｔを更新しながら、バックプロパゲー
ション法により、入力層と文脈層への入力信号と、出力
層への教師信号の対応関係を学習させている。Ｐ＝２，
ｆ＝１としたときの、時刻１〜時刻１０における入力層
および文脈層への入力信号と、出力層への教師信号との
対応関係を図８に示す。図８において、Ｈ（ｔ）は時刻
ｔの中間層の出力である。That is, T (t), ..., T (t) which are (p + 1) observation values from the current time t to the time (t-p).
-P) is the input pattern to the input layer 6 (when p = 0, only the value at time t is the input pattern). The output pattern of the intermediate layer 8 at time (t-1) is used as the input pattern to the context layer 7 (input from the intermediate layer 8 to the context layer 7 using the connection line 13). Let T (t + f), which is a time-series pattern at time (t + f), be a teacher pattern for the output layer 9. Then, while updating the time t, the correspondence relationship between the input signal to the input layer and the context layer and the teacher signal to the output layer is learned by the back propagation method. P = 2
FIG. 8 shows the correspondence between the input signal to the input layer and the context layer and the teacher signal to the output layer at time 1 to time 10 when f = 1. In FIG. 8, H (t) is the output of the intermediate layer at time t.
【００１３】[0013]
【発明が解決しようとする課題】従来技術では、フィー
ドフォワード型ニューラルネットワークを用いる場合
と、リカレント型ニューラルネットワークを用いる場合
の、両ケースともに、過去および現在の観測値を入力し
て、将来の値を予測する形態となっている。この形態
は、統計学では「入出力モデル」と呼ばれている（廣
松、浪花：経済時系列分析、朝倉書店（１９９０）、以
下文献Ａと称する）。自己回帰モデル、自己回帰移動平
均モデルなどは、代表的な入出力モデルである（文献Ａ
参照）。In the prior art, in both cases of using a feedforward type neural network and using a recurrent type neural network, past and present observation values are input and future values are input. It is in the form of predicting. This form is called "input / output model" in statistics (Hiromatsu, Naniwa: Economic Time Series Analysis, Asakura Shoten (1990), hereinafter referred to as Document A). Autoregressive models, autoregressive moving average models, etc. are typical input / output models (Reference A).
reference).
【００１４】時系列パターンには、過去および現在の観
測値自身によって、将来の値が一意的に決定する場合
と、そうでない場合が考えられる。後者の場合には、過
去および現在の観測値が将来の値を定める主要因である
としても、それ以外の要因の影響を無視できない。In the time-series pattern, a future value may be uniquely determined by the past and present observation values themselves, and may not be. In the latter case, the past and present observations are the main factors that determine future values, but the influence of other factors cannot be ignored.
【００１５】現実世界で観測される時系列パターンで
は、実際に観測された過去および現在の値だけで、将来
の値が決定されるケースは少ない。例えば、株価などの
経済時系列は、観測される株価そのものだけで、将来の
株価が決定されるわけではなく、景気の状態、国際情勢
など、必ずしも時系列パターンとして観測できない要因
・要素に依存している。In the time series pattern observed in the real world, there are few cases where the future value is determined only by the actually observed past and present values. For example, economic time series such as stock prices do not determine future stock prices only by the observed stock prices themselves, but depend on factors and factors that cannot be always observed as time series patterns, such as economic conditions and international conditions. ing.
【００１６】上記の入出力モデルは、このような観測不
能な要素を含む時系列パターンには不適当である。The above input / output model is not suitable for a time series pattern including such unobservable elements.
【００１７】したがって、従来技術では、統計学の入出
力モデルと同様に、観測できない要素を含む時系列パタ
ーンには適用できないという問題があった。Therefore, the conventional technique has a problem that it cannot be applied to a time series pattern including an unobservable element, like the statistical input / output model.
【００１８】本発明は、上記に鑑みてなされたもので、
その目的とするところは、過去および現在の時系列パタ
ーンとニューラルネットワークを用いて、観測できない
要素を含む将来の時系列パターンを予測する時系列予測
方法を提供することにある。The present invention has been made in view of the above,
It is an object of the present invention to provide a time series prediction method for predicting future time series patterns including unobservable elements by using past and present time series patterns and neural networks.
【００１９】[0019]
【課題を解決するための手段】上記目的を達成するた
め、本発明の時系列予測方法は、過去および現在の時系
列パターンとニューラルネットワークを用いて、将来の
時系列パターンを予測する時系列予測方法であって、入
力層、中間層、出力層および文脈層から構成されるとと
もに、前記入力層と中間層、文脈層と中間層、中間層と
出力層の各層間に学習で重みの変動する重み付き接続線
を設け、前記中間層から文脈層に向かって重み固定の接
続線を設けたニューラルネットワークを用い、現時刻ｔ
以前の予測誤差パターンを前記入力層に入力し、前記重
み固定の接続線を用いて、時刻（ｔ−１）の前記中間層
の出力を前記文脈層に入力し、時刻（ｔ＋１）の時系列
パターンを前記出力層へ教師信号として入力し、バック
プロパゲーション法によりニューラルネットワークの学
習を行い、学習済みの前記ニューラルネットワークを用
いて時系列予測を行うことを要旨とする。In order to achieve the above object, a time series prediction method of the present invention uses a past and present time series pattern and a neural network to predict a future time series pattern. A method, which comprises an input layer, an intermediate layer, an output layer and a context layer, and the weight is varied by learning between the input layer and the intermediate layer, the context layer and the intermediate layer, and the intermediate layer and the output layer. Using a neural network in which weighted connection lines are provided and fixed weight connection lines are provided from the intermediate layer toward the context layer, the current time t
The previous prediction error pattern is input to the input layer, the output of the intermediate layer at time (t-1) is input to the context layer using the fixed weight connection line, and the time series at time (t + 1) is input. It is a gist to input a pattern to the output layer as a teacher signal, perform learning of a neural network by a back propagation method, and perform time series prediction using the learned neural network.
【００２０】[0020]
【作用】本発明の時系列予測方法では、入力層と中間
層、文脈層と中間層、中間層と出力層の各層間に学習で
重みの変動する重み付き接続線を有し、中間層から文脈
層に向かって重み固定の接続線を有するニューラルネッ
トワーク、すなわちリカレント型ニューラルネットワー
クを用い、現時刻ｔ以前の予測誤差パターンを入力層に
入力し、重み固定の接続線を用いて時刻（ｔ−１）の中
間層の出力を文脈層に入力し、時刻（ｔ＋１）の時系列
パターンを出力層へ教師信号として、バックプロパゲー
ション法によりニューラルネットワークの学習を行い、
学習済みの前記ニューラルネットワークを用いて時系列
予測を行う。In the time-series prediction method of the present invention, weighted connection lines whose weights are changed by learning are provided between the input layer and the intermediate layer, the context layer and the intermediate layer, and the intermediate layer and the output layer. A neural network having a fixed weight connecting line toward the context layer, that is, a recurrent neural network is used, a prediction error pattern before the current time t is input to the input layer, and a fixed weight connecting line is used to obtain the time (t- The output of the intermediate layer of 1) is input to the context layer, the time-series pattern at time (t + 1) is used as a teacher signal to the output layer, and the neural network is learned by the back propagation method.
Time series prediction is performed using the learned neural network.
【００２１】[0021]
【実施例】以下、図面を用いて本発明の実施例を説明す
る。Embodiments of the present invention will be described below with reference to the drawings.
【００２２】まず、本発明の時系列予測方法の原理を説
明する。本発明の時系列予測方法において、過去および
現在の予測誤差を入力とし、将来の時系列パターンを出
力とし、１つ時刻前の内部状態をフィードバックさせて
いる点が、統計学の状態空間モデル（文献Ａ参照）に対
応していることを以下に説明する。First, the principle of the time series prediction method of the present invention will be described. In the time series prediction method of the present invention, the past and present prediction errors are input, future time series patterns are output, and the internal state one time before is fed back. Correspondence to the document A) will be described below.
【００２３】時系列パターンをＴ（ｔ）、観測できない
内部状態ベクトルをｚ（ｔ）、システム雑音をｖ
（ｔ）、観測雑音をｗ（ｔ）としたとき、状態空間モデ
ルは、以下に示す状態方程式（１）と観測方程式（２）
によって表せる。The time series pattern is T (t), the unobservable internal state vector is z (t), and the system noise is v.
(T) and the observation noise is w (t), the state space model has the following state equation (1) and observation equation (2).
Can be represented by
【００２４】[0024]
【数１】 ｚ（ｔ）＝Ｆ・ｚ（ｔ−１）＋Ｇ・ｖ（ｔ） …（１） Ｔ（ｔ）＝Ｈ・ｚ（ｔ）＋ｗ（ｔ） …（２） 式（１），（２）において、Ｔ（ｔ）およびｗ（ｔ）は
１次元、ｚ（ｔ）はｋ次元ベクトル、ｖ（ｔ）はｍ次元
ベクトルである。また、Ｆ，Ｇ，Ｈはパラメータで、Ｆ
はｋ×ｋの行列、Ｇはｍ×ｋの行列、Ｈはｋ×ｌの行列
である。## EQU00001 ## z (t) = F.z (t-1) + G.v (t) (1) T (t) = H.z (t) + w (t) (2) Formula (1) , (2), T (t) and w (t) are one-dimensional, z (t) is a k-dimensional vector, and v (t) is an m-dimensional vector. Further, F, G, H are parameters, and F
Is a k × k matrix, G is an m × k matrix, and H is a k × l matrix.
【００２５】状態空間モデルでは、観測できない内部状
態の遷移を規定する状態方程式（１）と、内部状態から
観測値を導出する観測方程式（２）の２つを設けること
で、観測できない要素を含む時系列パターンにも適用で
きるようになっている。In the state space model, by providing two equations, a state equation (1) that defines the transition of an unobservable internal state and an observation equation (2) that derives an observed value from the internal state, an element that cannot be observed is included. It can also be applied to time series patterns.
【００２６】上記の式（１），（２）によって表される
機能と、機能間の関係を図示すると図２のようになる
（文献Ａ参照）。FIG. 2 shows the functions represented by the above equations (1) and (2) and the relationship between the functions (see reference A).
【００２７】図２において、１４は、入力ベクトルｖ
（ｔ）とパラメータＧをもとに、上記の式（１）右辺第
２項に相当するＧ・ｖ（ｔ）を求める計算部Ａ、１５
は、時刻（ｔ−１）の状態ベクトルｚ（ｔ−１）とパラ
メータＦをもとに、上記の式（１）右辺第１項に相当す
るＦ・ｚ（ｔ−１）を求める計算部Ｂ、１６は、状態ベ
クトルｚ（ｔ）とパラメータＨをもとに、上記の式
（２）右辺第１項に相当するＨ・ｚ（ｔ）を求める計算
部Ｃである。In FIG. 2, 14 is an input vector v
Based on (t) and the parameter G, the calculation units A and 15 for calculating G · v (t) corresponding to the second term on the right side of the above equation (1).
Is a calculation unit that obtains F · z (t−1) corresponding to the first term on the right side of the above equation (1) based on the state vector z (t−1) at time (t−1) and the parameter F. B and 16 are a calculation unit C that calculates H · z (t) corresponding to the first term on the right side of the above equation (2) based on the state vector z (t) and the parameter H.
【００２８】一方、本発明の時系列予測方法における、
リカレント型ニューラルネットワークへの入力信号と教
師信号を、状態空間モデルと対応づけて図示すると図１
のようになる。On the other hand, in the time series prediction method of the present invention,
The input signal to the recurrent neural network and the teacher signal are illustrated in association with the state space model as shown in FIG.
become that way.
【００２９】図１において、６は入力層、７は文脈層、
８は中間層、９は出力層であり、ε（ｔ）は時刻ｔの予
測誤差パターンである。In FIG. 1, 6 is an input layer, 7 is a context layer,
8 is an intermediate layer, 9 is an output layer, and ε (t) is a prediction error pattern at time t.
【００３０】図１と図２を比べてみれば分かるように、
過去および現在の予測誤差を、システム雑音ｖ（ｔ）と
見なし、中間層８の出力パターンを内部状態ｚ（ｔ）と
見なし、入力層６から中間層８への重み係数をパラメー
タＧ、文脈層７から中間層８への重み係数をパラメータ
Ｆ、中間層８から出力層９への重み係数をパラメータＨ
と見なすことで、両者はよく対応している。As can be seen by comparing FIGS. 1 and 2,
The past and present prediction errors are regarded as system noise v (t), the output pattern of the intermediate layer 8 is regarded as the internal state z (t), the weighting coefficient from the input layer 6 to the intermediate layer 8 is the parameter G, and the context layer is the context layer. Parameter F is the weighting factor from 7 to intermediate layer 8 and parameter H is the weighting factor from intermediate layer 8 to output layer 9.
Therefore, the two correspond well.
【００３１】すなわち、本発明は、統計学の状態空間モ
デルを、リカレント型ニューラルネットワーク上に実現
したことに相当している。That is, the present invention corresponds to the realization of a statistical state space model on a recurrent neural network.
【００３２】そして、本発明では、状態空間モデルのパ
ラメータＦ，Ｇ，Ｈに相当する重み係数の値を、時系列
パターンとバックプロパゲーション法を用いた事例学習
により自動獲得できる。In the present invention, the values of the weighting factors corresponding to the parameters F, G, H of the state space model can be automatically acquired by the case learning using the time series pattern and the back propagation method.
【００３３】したがって、本発明は、状態空間モデルと
同様に、観測できない要素を含む時系列パターンに適し
た、ニューラルネットワークによる時系列学習と時系列
予測を実現できる。Therefore, like the state space model, the present invention can realize time series learning and time series prediction by a neural network suitable for a time series pattern including unobservable elements.
【００３４】次に、本発明の実施例を図１に示すリカレ
ント型ニューラルネットワーク用いる場合を例にとって
説明する。また、現在の時刻ｔから時刻（ｔ−２）ま
での予測誤差パターンを入力層への入力とする場合、
時刻１〜時刻１０までの区間を時系列学習させる場合を
例にとって説明する。Next, an embodiment of the present invention will be described by taking a case where the recurrent neural network shown in FIG. 1 is used as an example. When the prediction error pattern from the current time t to the time (t-2) is input to the input layer,
A case where the section from time 1 to time 10 is learned in time series will be described as an example.
【００３５】図３は、本発明の時系列予測方法の一実施
例の手順を示したフローチャートである。図３のフロー
チャートを用いて、作用を説明する。FIG. 3 is a flow chart showing the procedure of an embodiment of the time series prediction method of the present invention. The operation will be described with reference to the flowchart of FIG.
【００３６】まず、時刻ｔにおける予測誤差をε（ｔ）
としたとき、すべての時刻における予測誤差εを０に初
期設定する（ステップ１１０）。そして、ｔ＝１とする
（ステップ１２０）。First, the prediction error at time t is ε (t)
Then, the prediction error ε at all times is initialized to 0 (step 110). Then, t = 1 is set (step 120).
【００３７】時刻ｔの予測誤差パターンをε（ｔ）とし
たとき、入力層６にε（ｔ），ε（ｔ−１），ε（ｔ−
２）を入力する（ステップ１３０）。文脈層７に、１時
刻前の中間層の出力パターンを入力する（ステップ１４
０）。出力層９に、Ｔ（ｔ＋１）を教師信号として与え
る（ステップ１５０）。そして、バックプロパゲーショ
ン法の学習アルゴリズムにしたがい、ニューラルネット
ワークの学習を行う（ステップ１６０）。When the prediction error pattern at time t is ε (t), ε (t), ε (t−1), ε (t−
2) is input (step 130). The output pattern of the intermediate layer one hour before is input to the context layer 7 (step 14).
0). T (t + 1) is given to the output layer 9 as a teacher signal (step 150). Then, the neural network is learned according to the learning algorithm of the back propagation method (step 160).
【００３８】時刻１〜時刻１０における、入力信号と教
師信号との対応関係を図４に示す。図４において、Ｈ
（ｔ）は時刻ｔの中間層の出力である。FIG. 4 shows the correspondence between the input signal and the teacher signal from time 1 to time 10. In FIG. 4, H
(T) is the output of the intermediate layer at time t.
【００３９】次に、ニューラルネットワークの出力パタ
ーンと教師パターンとの誤差を求めて、これをε（ｔ＋
１）とする（ステップ１７０）。ｔ＜１０のときにはｔ
を更新する（ｔ＝ｔ＋１）。ｔ＝１０のときには、ｔ＝
１として時系列の始めに戻る（ステップ１８０）。Next, the error between the output pattern of the neural network and the teacher pattern is obtained, and this is ε (t +
1) (step 170). When t <10, t
Is updated (t = t + 1). When t = 10, t =
It returns to the beginning of the time series as 1 (step 180).
【００４０】ニューラルネットワークの出力パターンと
教師パターンとの平均２乗誤差が所定の値より小さいと
きには、学習を停止する。平均２乗誤差が所定の値より
大きいときには、ステップ１３０からの動作を繰り返す
（ステップ１９０）。そして、学習済みのニューラルネ
ットワークにより時系列予測を行う（ステップ２０
０）。When the mean square error between the output pattern of the neural network and the teacher pattern is smaller than a predetermined value, learning is stopped. When the mean square error is larger than the predetermined value, the operation from step 130 is repeated (step 190). Then, the learned neural network is used for time series prediction (step 20).
0).
【００４１】本発明では、ステップ１３０において過去
および現在の予測誤差を入力層６に入力し、ステップ１
５０において時刻（ｔ＋１）の時系列パターンを出力層
９への教師信号として与え、ステップ１４０において中
間層８の出力パターンを文脈層７にフィードバックさせ
ている。中間層８の出力パターンを内部状態と見なすこ
とで、リカレント型ニューラルネットワークへの入力、
出力（教師）、および内部状態の関係は図２に示した状
態空間モデルと対応する。In the present invention, the past and present prediction errors are input to the input layer 6 in step 130, and step 1
At 50, the time series pattern at time (t + 1) is given as a teacher signal to the output layer 9, and at step 140, the output pattern of the intermediate layer 8 is fed back to the context layer 7. By considering the output pattern of the intermediate layer 8 as an internal state, the input to the recurrent neural network,
The relationship between the output (teacher) and the internal state corresponds to the state space model shown in FIG.
【００４２】従って、本発明では、状態空間モデルをリ
カレント型ニューラルネットワーク上に実現でき、状態
空間モデルのパラメータに相当する重み係数をバックプ
ロパゲーション法により事例学習できるので、状態空間
モデルと同様に、観測できない要素を含む時系列パター
ンに適した、ニューラルネットワークによる時系列学習
と時系列予測を実現できる。Therefore, in the present invention, the state space model can be realized on the recurrent neural network, and the weighting factor corresponding to the parameter of the state space model can be learned by the case by the back propagation method. Therefore, like the state space model, Neural network time series learning and time series prediction suitable for time series patterns including unobservable elements can be realized.
【００４３】[0043]
【発明の効果】以上説明したように、本発明によれば、
入力層と中間層、文脈層と中間層、中間層と出力層の各
層間に学習で重みの変動する重み付き接続線を有し、中
間層から文脈層に向かって重み固定の接続線を有するニ
ューラルネットワーク、すなわちリカレント型ニューラ
ルネットワークを用い、現時刻ｔ以前の予測誤差パター
ンを入力層に入力し、重み固定の接続線を用いて時刻
（ｔ−１）の中間層の出力を文脈層に入力し、時刻（ｔ
＋１）の時系列パターンを出力層へ教師信号として、バ
ックプロパゲーション法によりニューラルネットワーク
の学習を行い、学習済みの前記ニューラルネットワーク
を用いて時系列予測を行い、状態空間モデルをリカレン
ト型ニューラルネットワーク上に実現できるので、状態
空間モデルと同様に観測できない要素を含む時系列パタ
ーンに適したニューラルネットワークによる時系列学習
および時系列予測を実現することができる。As described above, according to the present invention,
There are weighted connection lines with varying weights during learning between the input and middle layers, the context and middle layers, and the middle and output layers, and fixed weight connection lines from the middle layer to the context layer. A neural network, that is, a recurrent neural network is used to input the prediction error pattern before the current time t to the input layer, and the output of the intermediate layer at time (t-1) is input to the context layer using the fixed weight connection line. And time (t
The neural network is trained by the backpropagation method using the time series pattern of +1) as a teacher signal to the output layer, the time series prediction is performed using the learned neural network, and the state space model is recurrent type on the neural network. Therefore, it is possible to realize time series learning and time series prediction by a neural network suitable for a time series pattern including unobservable elements like the state space model.
【図１】本発明におけるリカレント型ニューラルネット
ワークへの入力信号と教師信号を示す図である。FIG. 1 is a diagram showing an input signal and a teacher signal to a recurrent neural network according to the present invention.
【図２】状態空間モデルによって表される機能とそれら
の関係を示す図である。FIG. 2 is a diagram showing functions represented by a state space model and their relationships.
【図３】本発明の一実施例に係わる時系列予測方法の手
順を示すフローチャートである。FIG. 3 is a flowchart showing a procedure of a time series prediction method according to an embodiment of the present invention.
【図４】図３の実施例において時系列学習を行う際の入
力信号と教師信号との対応例を示す図である。FIG. 4 is a diagram showing an example of correspondence between an input signal and a teacher signal when performing time series learning in the embodiment of FIG.
【図５】フィードフォワード型ニューラルネットワーク
の構成例を示す図である。FIG. 5 is a diagram showing a configuration example of a feedforward neural network.
【図６】従来のフィードフォワード型ニューラルネット
ワークを用いて時系列学習を行う際の入力パターンと教
師パターンとの対応例を示す図である。FIG. 6 is a diagram showing an example of correspondence between input patterns and teacher patterns when performing time-series learning using a conventional feedforward neural network.
【図７】リカレント型ニューラルネットワークの構成例
を示す図である。FIG. 7 is a diagram showing a configuration example of a recurrent neural network.
【図８】従来のリカレント型ニューラルネットワークを
用いて時系列学習を行う際の入力信号と教師信号との対
応例を示す図である。FIG. 8 is a diagram showing an example of correspondence between an input signal and a teacher signal when performing time series learning using a conventional recurrent neural network.
１ 入力層のニューロン ２ 中間層のニューロン ３ 出力層のニューロン ６ 入力層 ７ 文脈層 ８ 中間層 ９ 出力層 1 neuron of input layer 2 neuron of intermediate layer 3 neuron of output layer 6 input layer 7 context layer 8 intermediate layer 9 output layer
Claims (1)
ーラルネットワークを用いて、将来の時系列パターンを
予測する時系列予測方法であって、入力層、中間層、出
力層および文脈層から構成されるとともに、前記入力層
と中間層、文脈層と中間層、中間層と出力層の各層間に
学習で重みの変動する重み付き接続線を設け、前記中間
層から文脈層に向かって重み固定の接続線を設けたニュ
ーラルネットワークを用い、現時刻ｔ以前の予測誤差パ
ターンを前記入力層に入力し、前記重み固定の接続線を
用いて、時刻（ｔ−１）の前記中間層の出力を前記文脈
層に入力し、時刻（ｔ＋１）の時系列パターンを前記出
力層へ教師信号として入力し、バックプロパゲーション
法によりニューラルネットワークの学習を行い、学習済
みの前記ニューラルネットワークを用いて時系列予測を
行うことを特徴とする時系列予測方法。1. A time series prediction method for predicting future time series patterns using past and present time series patterns and a neural network, the method comprising an input layer, an intermediate layer, an output layer and a context layer. At the same time, a weighted connection line whose weight is changed by learning is provided between the input layer and the intermediate layer, the context layer and the intermediate layer, and the intermediate layer and the output layer, and the weight-fixed connection is made from the intermediate layer toward the context layer. A prediction error pattern before the current time t is input to the input layer by using a neural network provided with lines, and the output of the intermediate layer at time (t-1) is output by the context using the fixed weight connection line. Input to the layer, the time-series pattern at time (t + 1) is input to the output layer as a teacher signal, the neural network is learned by the back propagation method, and the learned neural network is input. A time series prediction method characterized by performing time series prediction using a network.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4326554A JPH06175998A (en) | 1992-12-07 | 1992-12-07 | Time series prediction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4326554A JPH06175998A (en) | 1992-12-07 | 1992-12-07 | Time series prediction method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06175998A true JPH06175998A (en) | 1994-06-24 |
Family
ID=18189128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4326554A Pending JPH06175998A (en) | 1992-12-07 | 1992-12-07 | Time series prediction method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06175998A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1997025676A1 (en) * | 1996-01-08 | 1997-07-17 | Matsushita Electric Industrial Co., Ltd. | Time-series signal predicting apparatus |
| WO1997042075A1 (en) * | 1996-05-07 | 1997-11-13 | Ishikawajima-Harima Heavy Industries Co., Ltd. | Submerged body and method of controlling submersion position of the same |
| JP2007056686A (en) * | 2005-08-22 | 2007-03-08 | Univ Of Ryukyus | Device for predicting power generated after several hours on basis of predicted wind velocity in wind power generator |
| JP2008204437A (en) * | 2007-01-12 | 2008-09-04 | Toyota Motor Engineering & Manufacturing North America Inc | Neural network controller with fixed long-term and adaptive short-term memory |
-
1992
- 1992-12-07 JP JP4326554A patent/JPH06175998A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1997025676A1 (en) * | 1996-01-08 | 1997-07-17 | Matsushita Electric Industrial Co., Ltd. | Time-series signal predicting apparatus |
| WO1997042075A1 (en) * | 1996-05-07 | 1997-11-13 | Ishikawajima-Harima Heavy Industries Co., Ltd. | Submerged body and method of controlling submersion position of the same |
| JP2007056686A (en) * | 2005-08-22 | 2007-03-08 | Univ Of Ryukyus | Device for predicting power generated after several hours on basis of predicted wind velocity in wind power generator |
| JP2008204437A (en) * | 2007-01-12 | 2008-09-04 | Toyota Motor Engineering & Manufacturing North America Inc | Neural network controller with fixed long-term and adaptive short-term memory |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3329806B2 (en) | Neural network construction device | |
| KR0170505B1 (en) | Learning method of multi-layer perceptrons with n-bit data precision | |
| Wu et al. | A neurofuzzy network structure for modelling and state estimation of unknown nonlinear systems | |
| Wu et al. | Automatic fuzzy model identification for short-term load forecast | |
| JPH06175998A (en) | Time series prediction method | |
| JPH07121498A (en) | Method for constructing neural network | |
| CN114390376B (en) | Fire big data remote detection and early warning system | |
| JPH0895938A (en) | Method and device for learning time sequential data | |
| JP2897220B2 (en) | Signal processing device | |
| JP2674167B2 (en) | Process control method using neural network model | |
| JPH05265509A (en) | Learning control device | |
| Su et al. | Neural network based fusion of global and local information in predicting time series | |
| Neji et al. | Neural Network and time series identification and prediction | |
| JP3117204B2 (en) | Neural net for control physical variable generation and object identification | |
| JPH06175996A (en) | Time series predicting method | |
| JP4267726B2 (en) | Device for determining relationship between operation signal and operation amount in control device, control device, data generation device, input / output characteristic determination device, and correlation evaluation device | |
| JP3328953B2 (en) | Nonlinear synaptic neuron, device thereof and prediction method using the same | |
| JP3314239B2 (en) | PID parameter auto tuning method | |
| Lee et al. | Error self-recurrent neural networks for control of fast time-varying nonlinear systems | |
| JPH04264664A (en) | Neural circuit-type pattern processor | |
| JPH09138786A (en) | Learning device for neural network | |
| JPH0784983A (en) | Predicting device for time-series data | |
| Maeda | A relaxation algorithm influenced by self-organizing maps | |
| Bodyanskiy et al. | Detection of NARMA-sequence order using recurrent artificiai neural networks | |
| KR0131847B1 (en) | Accelerated quick and dirty algorithm for nonlinear regression |