JPH05233860A - Learning system for time sequential pattern - Google Patents

Abstract

PURPOSE:To provide the learning system for a time sequential pattern by a neural network which can learn a time sequential predictive processing having a much longer time gap by reducing the degree of damaging input history in the past from an input pattern to a context layer. CONSTITUTION:In the case of learning while defining a learning pattern P(t) at time (t) in the time sequence as the input of an input layer 1 and defining a learning pattern P(t+1) at time (t+1) as a teaching pattern to an output layer 4, a pattern H(t-1)X(m) (m)-folding an output pattern H(t-1) in an intermediate layer 3 at time (t-1) is defined as the input pattern to a context layer 2 at the time (t).

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明は、学習能力を有するニュ
ーラルネットワークに時系列パターンを入力し、時系列
予測処理を学習させるための、時系列パターンの学習方
式に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a time-series pattern learning method for inputting a time-series pattern to a neural network having a learning capability and learning a time-series prediction process.

【０００２】[0002]

【従来の技術】多層構造型ニューラルネットワークに時
系列パターンを入力して、時系列予測処理を学習させる
従来の時系列パターンの学習方式について、図６に示す
従来のニューラルネットワークを用いて説明する。2. Description of the Related Art A conventional time-series pattern learning method for inputting a time-series pattern to a multilayer structure type neural network to learn a time-series prediction process will be described with reference to a conventional neural network shown in FIG.

【０００３】図６において、１は入力層、２は文脈層、
３は中間層、４は出力層である。５，６，７は、それぞ
れ入力層１から中間層３へ、文脈層２から中間層３へ、
中間層３から出力層４へ信号を入力するための重み付き
接続線（完全結合）である。接続線５，６，７の重みを
学習によって変動させることによって、学習課題にふさ
わしい重みに決定する。学習アルゴリズムとしては、バ
ックプロパゲーション法［参考文献 Rumelhart. D. E.
et al. ：Parallel Distributed Processing.Vol ．1
，MIT Press (1986)］を用いる。In FIG. 6, 1 is an input layer, 2 is a context layer,
Reference numeral 3 is an intermediate layer, and 4 is an output layer. 5, 6, and 7, respectively, from the input layer 1 to the intermediate layer 3, from the context layer 2 to the intermediate layer 3,
It is a weighted connection line (complete coupling) for inputting a signal from the intermediate layer 3 to the output layer 4. By varying the weights of the connecting lines 5, 6, and 7 by learning, the weights suitable for the learning task are determined. As a learning algorithm, the backpropagation method [reference: Rumelhart. DE
et al .: Parallel Distributed Processing.Vol. 1
, MIT Press (1986)].

【０００４】また、図６において、８は、中間層３から
文脈層２に信号を入力するための接続線であり、重み固
定の１対１結合である。Further, in FIG. 6, reference numeral 8 is a connection line for inputting a signal from the intermediate layer 3 to the context layer 2, which is a weight-fixed one-to-one coupling.

【０００５】図２に時系列予測処理の例を示す。図２に
示す時系列は、開始部（パターンＰ₀ ）、分岐部（ａ，
ｂ，ｃ，ｄのいずれか）、中間部（パターンＰ₁ …Ｐ
_n-1）、回想部（ａ，ｂ，ｃ，ｄのいずれか）、中継部
（パターンＰ_n ）の５つの部分からなり、この５つの部
分が周期（ｎ＋３）で無限に繰り返される。各周期内で
は、開始部のパターンのあと、分岐部においてａ，ｂ，
ｃ，ｄのいずれかのパターンが等確率で選ばれる。その
あと、中間部を経て、回想部において分岐部で生じたも
のと同じパターンが続き、中継部を経て次の周期の開始
部に続く。FIG. 2 shows an example of time series prediction processing. The time series shown in FIG. 2 includes a start portion (pattern P ₀ ), a branch portion (a,
b, c, or d), intermediate portion (pattern P ₁ ... P)
_n-1 ), a recollection part (any one of a, b, c, d) and a relay part (pattern P _n ), and these five parts are infinitely repeated at a cycle (n + 3). Within each cycle, after the pattern of the start part, a, b,
Either pattern of c and d is selected with equal probability. After that, through the intermediate part, the same pattern as that generated at the branch part in the recollection part follows, and then through the relay part to the start part of the next cycle.

【０００６】時系列の時刻ｔのパターンをニューラルネ
ットワークへの入力とし、時系列の時刻（ｔ＋１）のパ
ターンを教師信号として与えることにより重みの学習を
行わせる。The time-series pattern of time t is input to the neural network, and the time-series pattern of time (t + 1) is given as a teacher signal to perform weight learning.

【０００７】この予測処理で重要なのは、回想部でのパ
ターンを予測する部分である。つまり、この部分の予測
はｎ時刻前の分岐部での入力パターンのみに依存してい
るので、ｎ時刻前の入力履歴がネットワーク内に保存さ
れていなければ正しい予測はできない。What is important in this prediction process is the part that predicts the pattern in the reminiscence section. That is, since the prediction of this part depends only on the input pattern at the branch section n time ago, correct prediction cannot be made unless the input history n time ago is stored in the network.

【０００８】図２に示した時系列予測処理を学習させる
場合、従来技術では次のように学習させていた。In the case of learning the time series prediction processing shown in FIG. 2, the prior art has learned as follows.

【０００９】すなわち、図６に示すニューラルネットワ
ークにおいて、入力層１には時系列の時刻ｔのパターン
であるＰ（ｔ）を、文脈層２には時刻（ｔ−１）の中間
層の出力パターンであるＨ（ｔ−１）を入力する。出力
層４には時系列の時刻（ｔ＋１）のパターンであるＰ
（ｔ＋１）を教師信号として与える。そして、バックプ
ロパゲーション法で学習させる。That is, in the neural network shown in FIG. 6, P (t), which is a time-series pattern of time t, is input to the input layer 1, and the output pattern of the intermediate layer at time (t-1) is to the context layer 2. Input H (t-1). The output layer 4 has a time-series time (t + 1) pattern P
(T + 1) is given as a teacher signal. Then, the back propagation method is used for learning.

【００１０】[0010]

【発明が解決しようとする課題】従来の時系列パターン
の学習方式では、１時刻前の中間層の出力パターンを文
脈層への入力とするので、文脈層から中間層への入力パ
ターンが過去の入力履歴（文脈）に依存することにな
り、ある程度の長さの文脈を保持させることが可能であ
る。しかし、時間的隔たりが大きくなると、過去の入力
履歴に関する情報（文脈層から中間層への入力パターン
の違いとなって表れる）が失われていくので、文脈に応
じた時系列予測処理を正しく学習できなくなるという問
題が生じる。In the conventional time-series pattern learning method, since the output pattern of the intermediate layer one time before is input to the context layer, the input pattern from the context layer to the intermediate layer is the past. It depends on the input history (context), and it is possible to hold the context of a certain length. However, when the time gap becomes large, information about past input history (which appears as a difference in the input pattern from the context layer to the middle layer) is lost, so you can correctly learn the time series prediction process according to the context. There is a problem that you can not do it.

【００１１】この問題を図２に示した時系列予測処理を
例として具体的に説明する。This problem will be specifically described by taking the time series prediction process shown in FIG. 2 as an example.

【００１２】図３に時刻ｔ₁ 〜ｔ_n の間の、入力層への
入力パターン、分脈層への入力パターン、出力層への教
師パターンの対応関係を示す。図３では、時刻ｔ₁ に分
岐部があり、ａに分岐する場合（ケースＡ）と、ｂに分
岐する場合（ケースＢ）を示した。FIG. 3 shows the correspondence relationship between the input pattern to the input layer, the input pattern to the shunt layer, and the teacher pattern to the output layer between times t ₁ and t _n . FIG. 3 shows a case where there is a branching portion at time t ₁ and there is a branching to a (case A) and a branching to b (case B).

【００１３】ケースＡの時刻ｔ₂ における文脈層への入
力パターンＣ_A （ｔ₂ ）は、時刻ｔ₁ の入力パターンで
あるａとＣ_A （ｔ₁ ）により次の式（１）のように決定
される。The input pattern C _A (t ₂ ) to the context layer at time t ₂ in case A is expressed by the following expression (1) by using a and C _A (t ₁ ) which are input patterns at time t _1. It is determined.

【００１４】[0014]

【数１】 式（１）において、Ｃ_Ak（ｔ₂ ）は時刻ｔ₂ における文
脈層への入力パターンのｋ番目の要素、Ｃ_Aj（ｔ₁ ）は
時刻ｔ₁ における文脈層への入力パターンのｊ番目の要
素、Ｈ_Ak（ｔ₁ ）は時刻ｔ₁ の中間層からの出力パター
ンのｋ番目の要素、ａ_i は入力パターンａのｉ番目の要
素、ｆ（ｘ）はシグモイド関数、Ｗ_IHik（ｔ₁ ）は時刻
ｔ₁ における入力層のｉ番目のニューロンと、中間層の
ｋ番目のニューロンを結ぶ接続線の重み、Ｗ
_CHjk（ｔ₁ ）は時刻ｔ₁ における、文脈層のｊ番目のニ
ューロンと、中間層のｋ番目のニューロンを結ぶ接続具
の重みである（以下同様）。[Equation 1] In the formula _{(1), C Ak (t} 2) is the k-th input pattern to the context layer at time t ₂ elements, C _Aj (t ₁₎ is the input pattern to the context layer at time t ₁ j th Element, H _Ak (t ₁ ) is the k-th element of the output pattern from the _hidden layer at time t ₁ , a _i is the i-th element of the input pattern a, f (x) is a sigmoid function, and W _IHik (t ₁ ) Is the weight of the connecting line connecting the i-th neuron of the input layer and the k-th neuron of the intermediate layer at time t ₁ , W
_CHjk (t ₁ ) is the weight of the connector that connects the j-th neuron in the context layer and the k-th neuron in the intermediate layer at time t ₁ (same below).

【００１５】式（１）に示すように、入力パターンａ
は、シグモイド関数に基づく１回のパターン変換操作に
より、文脈層への入力パターンＡ_A （ｔ₂ ）に変換され
る。つまり、Ｃ_A （ｔ₂ ）には、ａの入力履歴が式
（１）に示す関係で直接保存される。As shown in equation (1), the input pattern a
Is converted into the input pattern A _A (t ₂ ) to the context layer by one pattern conversion operation based on the sigmoid function. That is, the input history of a is directly stored in C _A (t ₂ ) in the relationship shown in Expression (1).

【００１６】同様に、ケースＡの時刻ｔ₃ における文脈
層への入力パターンＣ_A （ｔ₃ ）は、時刻ｔ₂ の入力パ
ターンであるＰ₁ とＣ_A （ｔ₂ ）により次に示す式
（２）のように決定される。Similarly, the input pattern C _A (t ₃ ) to the context layer at time t ₃ in case A is expressed by the following expression (P ₁ and C _A (t ₂ ) which is the input pattern at time t _2. It is decided as in 2).

【００１７】[0017]

【数２】 式（１）と式（２）を見ればわかるように、時刻ｔ₃ で
は、入力パターンａはシグモイド関数に基づく２回のパ
ターン変換操作により、文脈層への入力パターンＣ
_A （ｔ₃ ）に変換される。言いかえれば、Ｃ_A （ｔ₃ ）
にはａの入力履歴がＣ_A （ｔ₂ ）を介して間接的に保存
される。[Equation 2] As can be seen from equations (1) and (2), at time t ₃ , the input pattern a is input pattern C to the context layer by two pattern conversion operations based on the sigmoid function.
Converted to _A (t ₃ ). In other words, C _A (t ₃ )
In, the input history of a is indirectly stored via C _A (t ₂ ).

【００１８】式（１），式（２）におけるシグモイド関
数への入力第１項と入力第２項のパターンＣ_A に及ぼす
効果が同程度である場合には、１回のパターン変換操作
により、ａの入力履歴に関する情報は半分程度に減少す
る。When the effects of the input first term and the input second term on the pattern C _A to the sigmoid function in the equations (1) and (2) are similar, one pattern conversion operation is performed. Information about the input history of a is reduced to about half.

【００１９】すなわち、Ｃ_A （ｔ₃ ）ではａの入力履歴
に関する情報がＣ_A （ｔ₂ ）に比べて失われることにな
る。That is, in C _A (t ₃ ), the information regarding the input history of a is lost as compared with C _A (t ₂ ).

【００２０】同じようにして考えていけばわかるよう
に、分岐部からの時間的隔たりが十分大きくなったとき
の（ｎが十分大きくなったときの）文脈層への入力パタ
ーンＣ_A （ｔ_n ）では、ａの入力履歴に関する情報は全
く失われてしまう。As can be seen from the same consideration, the input pattern C _A (t _n to the context layer when the temporal separation from the branch portion is sufficiently large (when n is sufficiently large). ), Information about the input history of a is lost at all.

【００２１】ケースＡとケースＢを比較して言えば、分
岐部の直後のＣ_A （ｔ₂ ）とＣ_B （ｔ₂ ）とでは、両パ
ターン間に明確な違いが存在するが、十分、時間が経過
したときのＣ_A （ｔ_n ）とＣ_B （ｔ_n ）とでは差が全く
なくなり、両者は同じパターンになってしまうことを意
味する。Comparing Case A and Case B, there is a clear difference between C _A (t ₂ ) and C _B (t ₂ ) immediately after the branch, but it is sufficient. This means that there is no difference between C _A (t _n ) and C _B (t _n ) when time has passed, and the two have the same pattern.

【００２２】従って、時刻ｔ_n において、入力層にパタ
ーンＰ_n-1 を入力し、文脈層にＣ_A（ｔ_n ）あるいはＣ
_B （ｔ_n ）を入力して、ケースＡではパターンａを、ケ
ースＢではパターンｂを出力するように学習させようと
しても、両ケースにおけるニューラルネットワークへの
入力（入力層および文脈層への入力）に差がない以上、
正しく学習できないことは明らかである。Therefore, at time t _n , the pattern P _n-1 is input to the input layer and C _A (t _n ) or C is input to the context layer.
Even if an attempt is made to input _B (t _n ) to output the pattern a in case A and the pattern b in case B, the input to the neural network (input to the input layer and the context layer in both cases is performed. ) Is no difference,
It is clear that we cannot learn correctly.

【００２３】以上説明したように、従来の学習方式で
は、時間的隔たりが十分大きくなると、文脈層への入力
パターンが過去の入力履歴によらず、同じパターンにな
ってしまうので、時系列予測課題を正しく学習できない
という問題が生じる。As described above, in the conventional learning method, if the temporal gap becomes large enough, the input pattern to the context layer becomes the same pattern regardless of the past input history. There is a problem that you cannot learn correctly.

【００２４】本発明は、上記に鑑みてなされたもので、
その目的とするところは、文脈層への入力パターンから
過去の入力履歴が損失されていく度合を少なくして、よ
り長期の時間的隔たりを有する時系列予測処理を学習し
得るニューラルネットワークによる時系列パターンの学
習方式を提供することにある。The present invention has been made in view of the above,
The purpose is to reduce the degree to which the past input history is lost from the input pattern to the context layer, and to learn the time series prediction process with a longer time gap by a neural network time series. It is to provide a pattern learning method.

【００２５】[0025]

【課題を解決するための手段】上記目的を達成するた
め、本発明の時系列パターンの学習方式は、入力層、中
間層、出力層、文脈層からなり、入力層と中間層、文脈
層と中間層、中間層と出力層の各層間が学習で重みの変
動する重み付き接続線で接続されているニューラルネッ
トワークを用いて、時刻ｔの学習パターンＰ（ｔ）を入
力層の入力としたとき、時刻（ｔ＋１）の学習パターン
Ｐ（ｔ＋１）を出力層の出力とするような時系列予測処
理を学習させる時系列パターンの学習方式であって、時
刻（ｔ−１）の中間層の出力パターンＨ（ｔ−１）をｍ
倍（ｍは１より大きな実数）したパターンＨ（ｔ−１）
×ｍを時刻ｔの文脈層への入力パターンとすることを要
旨とする。In order to achieve the above object, a learning method for time series patterns of the present invention comprises an input layer, an intermediate layer, an output layer and a context layer. When the learning pattern P (t) at time t is used as an input to the input layer using a neural network in which the intermediate layer and the layers of the intermediate layer and the output layer are connected by a weighted connection line whose weight changes in learning , A learning method of a time series pattern for learning a time series prediction process in which a learning pattern P (t + 1) at time (t + 1) is used as an output of an output layer, and an output pattern of an intermediate layer at time (t−1) H (t-1) is m
Pattern H (t-1) doubled (m is a real number greater than 1)
The gist is that xm is an input pattern to the context layer at time t.

【００２６】[0026]

【作用】本発明の時系列パターンの学習方式において
は、時系列の時刻ｔの学習パターンＰ（ｔ）を入力層へ
の入力とし、時系列の時刻（ｔ＋１）の学習パターンＰ
（ｔ＋１）を出力層への教師パターンとして学習させる
際に、文脈層から中間層への入力パターンＣ（ｔ）とし
て、時刻（ｔ−１）の中間層の出力パターンであるＨ
（ｔ−１）をｍ倍したパターンを用いる（ここで、ｍは
１より大きい実数で、入力層への入力パターンＰ（ｔ）
の大きさと、Ｈ（ｔ−１）×ｍの間にアンバランスが生
じない範囲の大きさ、例えば、ｍ＝２とする）。In the time-series pattern learning method of the present invention, the learning pattern P (t) at the time t in the time series is used as the input to the input layer, and the learning pattern P at the time (t + 1) in the time series is used.
When (t + 1) is learned as a teacher pattern for the output layer, the input pattern C (t) from the context layer to the intermediate layer is the output pattern H of the intermediate layer at time (t−1).
A pattern obtained by multiplying (t-1) by m is used (where m is a real number larger than 1 and the input pattern P (t) to the input layer is used.
And the size of a range in which an imbalance does not occur between H (t−1) × m and H (t−1) × m, for example, m = 2).

【００２７】過去の入力履歴に依存するパターンである
Ｈ（ｔ−１）をｍ倍することで、文脈情報を強調するこ
とができる。この操作を、時刻ｔ₁ の学習パターンａの
入力直後から繰り返して行うことにより、文脈層への入
力パターンから、ａの入力履歴に関する情報が失われて
いく度合を減少させることができる。The context information can be emphasized by multiplying H (t-1), which is a pattern depending on the past input history, by m times. By repeating this operation immediately after the input of the learning pattern a at time t _1, the degree of loss of information regarding the input history of a from the input pattern to the context layer can be reduced.

【００２８】[0028]

【実施例】以下、図面を用いて本発明の実施例を説明す
る。Embodiments of the present invention will be described below with reference to the drawings.

【００２９】図１は、本発明の一実施例の時系列パター
ンの学習方式に使用されるニューラルネットワークの構
成図である。同図において、１は入力層、２は文脈層、
３は中間層、４は出力層、９は、時刻（ｔ−１）の中間
層の出力パターンであるＨ（ｔ−１）をｍ倍（ｍ＞１）
する乗算部であり、本発明特有の機能部である。１０は
Ｈ（ｔ−１）を乗算部９に入力するための接続線であ
り、重み固定の１対１結合である。１１はＨ（ｔ−１）
をｍ倍したパターンを文脈層２に入力するための接続線
であり、重み固定の１対１結合である。５，６，７は従
来技術と同じ意味をもつ接続線である。FIG. 1 is a block diagram of a neural network used in a time series pattern learning method according to an embodiment of the present invention. In the figure, 1 is an input layer, 2 is a context layer,
3 is the intermediate layer, 4 is the output layer, and 9 is m times (m> 1) times H (t-1), which is the output pattern of the intermediate layer at time (t-1).
It is a multiplication unit that is a function unit unique to the present invention. Reference numeral 10 is a connection line for inputting H (t-1) to the multiplication unit 9, and is a weight-fixed one-to-one connection. 11 is H (t-1)
Is a connection line for inputting a pattern obtained by multiplying by m to the context layer 2, and is a weight-fixed one-to-one connection. Reference numerals 5, 6 and 7 are connection lines having the same meaning as in the prior art.

【００３０】図４は、本発明の学習方式の実施例の作用
を示すフローチャートである。本発明での時系列パター
ンの学習は次のように進められる。FIG. 4 is a flow chart showing the operation of the embodiment of the learning system of the present invention. The learning of the time series pattern according to the present invention proceeds as follows.

【００３１】まず、時系列の時刻ｔの学習パターンであ
るＰ（ｔ）を入力層１に入力する（ステップ１１０）。
次に、時刻（ｔ−１）の中間層３の出力パターンである
Ｈ（ｔ−１）を乗算部９に入力する（ステップ１２
０）。乗算部９において、Ｈ（ｔ−１）をｍ倍（ｍ＞
１）する（ステップ１３０）。Ｈ（ｔ−１）をｍ倍した
パターンを文脈層２に入力する（ステップ１４０）。時
系列の時刻（ｔ＋１）の学習パターンであるＰ（ｔ＋
１）を出力層４への教師パターンとする（ステップ１５
０）。そして、ステップ１１０〜ステップ１５０で設定
した入力パターンと教師パターンを用いて、バックプロ
パゲーション法で学習させる（ステップ１６０）。時刻
を１つ進ませて、次の周期に移る（ステップ１７０）。First, the learning pattern P (t) at time t in time series is input to the input layer 1 (step 110).
Next, H (t-1), which is the output pattern of the intermediate layer 3 at time (t-1), is input to the multiplication unit 9 (step 12).
0). In the multiplication unit 9, H (t-1) is multiplied by m (m>
1) (step 130). A pattern obtained by multiplying H (t-1) by m is input to the context layer 2 (step 140). P (t +) which is a learning pattern at time (t + 1) in time series
1) is a teacher pattern for the output layer 4 (step 15)
0). Then, using the input pattern and the teacher pattern set in steps 110 to 150, learning is performed by the back propagation method (step 160). The time is advanced by 1 and the process goes to the next cycle (step 170).

【００３２】図２に示した時系列予測処理で、ｎ＝３
（中間部の長さが２）の場合を例にとって、実際に評価
実験を行なった。分岐パターンの数は４個（ａ，ｂ，
ｃ，ｄ）とした。In the time series prediction process shown in FIG. 2, n = 3
An evaluation experiment was actually conducted by taking the case of (the length of the intermediate portion is 2) as an example. The number of branch patterns is 4 (a, b,
c, d).

【００３３】実験に用いたニューラルネットワークの規
模は、入力層のニューロン数４、中間層のニューロン数
１５、出力層のニューロン数４、文脈層のニューロン数
１５である。また、図１に示した乗算部ではＨ（ｔ−
１）を２倍した。The scale of the neural network used in the experiment is 4 neurons in the input layer, 15 neurons in the intermediate layer, 4 neurons in the output layer, and 15 neurons in the context layer. Further, in the multiplication unit shown in FIG. 1, H (t-
1) was doubled.

【００３４】２００００サイクル学習させた後で、分岐
パターン毎に、回想部でのニューラルネットワークの出
力値を調べた。その結果を図５に示す。After learning 20,000 cycles, the output value of the neural network in the recollection unit was examined for each branch pattern. The result is shown in FIG.

【００３５】図５を見ればわかるように、従来技術では
パターンＣに分岐する場合を除いて、出力値と正解値は
余りよく一致していない（平均２乗誤差＝０．２１
１）。As can be seen from FIG. 5, in the prior art, the output value and the correct answer value do not agree very well (mean squared error = 0.21) except when branching to pattern C.
1).

【００３６】これに対し、本発明による学習をさせた場
合には、すべての分岐パターンにおいて、出力値と正解
値はよく一致している（平均２乗誤差＝０．００２）。On the other hand, when the learning according to the present invention is performed, the output value and the correct answer value are in good agreement with each other in all the branch patterns (mean square error = 0.002).

【００３７】従って、本発明の学習方式では、従来技術
に比べて、より長期の時間的隔たりをもつ時系列予測処
理を学習できることが実験により確認された。Therefore, it was confirmed by experiments that the learning method of the present invention can learn the time series prediction process having a longer time gap than the conventional technique.

【００３８】[0038]

【発明の効果】以上説明したように、本発明によれば、
時系列パターンの学習方式において、時系列の時刻ｔの
学習パターンＰ（ｔ）を入力層への入力とし、時系列の
時刻（ｔ＋１）の学習パターンＰ（ｔ＋１）を出力層へ
の教師パターンとして学習させる際に、文脈層への入力
パターンＣ（ｔ）として、時刻（ｔ−１）の中間層の出
力パターンであるＨ（ｔ−１）をｍ倍（ｍ＞１）したパ
ターンであるＨ（ｔ−１）×ｍを用いており、過去の入
力履歴に依存するパターンであるＨ（ｔ−１）をｍ倍す
ることで、文脈情報を強調できるので、従来技術より
も、本発明で採用するパターンの方が、過去の入力履歴
に関する情報が損失していく度合が少ない。すなわち、
従来技術に比べて、より長期間にわたり過去の入力履歴
を、文脈層の出力パターンの違いとして保存させること
ができる。従って、本発明の学習方式では、従来技術に
比べて、より長期の時間的隔たりをもつ時系列予測処理
を学習できるような、ニューラルネットワークによる時
系列パターンの学習方式を実現できる。As described above, according to the present invention,
In the time-series pattern learning method, a learning pattern P (t) at time t in time series is used as an input to the input layer, and a learning pattern P (t + 1) at time (t + 1) in time series is used as a teacher pattern to the output layer. At the time of learning, as the input pattern C (t) to the context layer, H (t-1), which is the output pattern of the intermediate layer at time (t-1), is m times (m> 1). (T-1) * m is used, and the context information can be emphasized by multiplying H (t-1), which is a pattern depending on the past input history, by m. The adopted pattern is less likely to lose information about past input history. That is,
The past input history can be saved as a difference in the output pattern of the context layer for a longer period of time as compared with the related art. Therefore, the learning method of the present invention can realize a time-series pattern learning method using a neural network that enables learning of time-series prediction processing having a longer time lag than the prior art.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の一実施例の時系列パターンの学習方式
に使用されるニューラルネットワークの構成図である。FIG. 1 is a configuration diagram of a neural network used for a time-series pattern learning method according to an embodiment of the present invention.

【図２】時系列予測処理の例を示す図である。FIG. 2 is a diagram illustrating an example of time series prediction processing.

【図３】ニューラルネットワークへの入力パターンと教
師パターンの対応関係を時刻毎に示す図である。FIG. 3 is a diagram showing a correspondence relationship between an input pattern to a neural network and a teacher pattern for each time.

【図４】本発明の時系列パターンの学習方式の実施例の
作用を示すフローチャートである。FIG. 4 is a flowchart showing the operation of the embodiment of the time-series pattern learning method of the present invention.

【図５】本発明の時系列パターンの学習方式の効果を従
来技術と比較して示す図である。FIG. 5 is a diagram showing the effect of the time-series pattern learning method of the present invention in comparison with the related art.

【図６】従来の時系列パターンの学習方式に使用される
ニューラルネットワークの構成図である。FIG. 6 is a configuration diagram of a neural network used in a conventional time-series pattern learning method.

【符号の説明】[Explanation of symbols]

１ 入力層 ２ 文脈層 ３ 中間層 ４ 出力層 ９ 乗算部 1 Input Layer 2 Context Layer 3 Middle Layer 4 Output Layer 9 Multiplier

Claims (1)

【特許請求の範囲】[Claims] 【請求項１】 入力層、中間層、出力層、文脈層からな
り、入力層と中間層、文脈層と中間層、中間層と出力層
の各層間が学習で重みの変動する重み付き接続線で接続
されているニューラルネットワークを用いて、時刻ｔの
学習パターンＰ（ｔ）を入力層の入力としたとき、時刻
（ｔ＋１）の学習パターンＰ（ｔ＋１）を出力層の出力
とするような時系列予測処理を学習させる時系列パター
ンの学習方式であって、時刻（ｔ−１）の中間層の出力
パターンＨ（ｔ−１）をｍ倍（ｍは１より大きな実数）
したパターンＨ（ｔ−１）×ｍを時刻ｔの文脈層への入
力パターンとすることを特徴とする時系列パターンの学
習方式。1. A weighted connection line comprising an input layer, an intermediate layer, an output layer, and a context layer, and the weights of the input layer and the intermediate layer, the context layer and the intermediate layer, and the intermediate layer and the output layer are varied by learning. When the learning pattern P (t) at time t is used as the input of the input layer by using the neural network connected by, the learning pattern P (t + 1) at time (t + 1) is used as the output of the output layer. A learning method of a time series pattern for learning the series prediction process, wherein the output pattern H (t-1) of the intermediate layer at time (t-1) is multiplied by m (m is a real number larger than 1).
A learning method of a time-series pattern, characterized in that the pattern H (t−1) × m is used as an input pattern to the context layer at time t.