JPH09282298A - Method and device for learning time-sequential data - Google Patents

Abstract

PROBLEM TO BE SOLVED: To maintain a stable state expression even for unknown input data while evading falling to a local minimum as much as possible in the learning of the time-sequential data of an RNN(recurrent neural network). SOLUTION: First, parameters such as an input element number for constituting a neural network, an intermediate element number, an output element number, a learning coefficient and an allowable error, etc., are decided and coupling weight is initialized with random number (steps 21 and 22). A learning progress degree is calculated and the value of β is calculated based on the learning progress degree (steps 23 and 24). An element value is initialized, the time sequential data are substituted to the element of an input layer and the value of the element is updated (steps 25-28). When all patterns are ended, the error of the output value of an output element and a target output value is calculated, the correction width of the coupling weight is obtained and the error is corrected (steps 30 and 31). In the case that the error exceeds an allowable range, the step 23 is returned.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、時系列パターン認
識、音声認識、動画像処理などの時系列情報の処理を行
う技術に関し、特に回帰結合を有する神経回路網が時系
列データの記憶や学習を効率的に行う時系列データの学
習方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technique for processing time-series information such as time-series pattern recognition, voice recognition, moving image processing, etc., and in particular, a neural network having a regression connection stores or learns time-series data. The present invention relates to a method for efficiently learning time series data.

【０００２】[0002]

【従来の技術】[Prior art]

（回帰型神経回路網と学習の方法）回帰結合を有する神
経回路網を用いて時系列データの記憶や学習を行う従来
の方法を説明する。(Regressive Neural Network and Learning Method) A conventional method for storing and learning time series data using a neural network having a regression connection will be described.

【０００３】この回帰結合を有する神経回路網は、リカ
ーレントニューラルネットワーク(Recurrent Neural Ne
tworks) と呼ばれており、以下ではＲＮＮと略する。一
般的には、ＲＮＮを構成する各素子には相互に結合があ
り、これが回帰結合となる。また、素子には、入力デー
タが与えられる入力素子、目標出力値のある出力素子が
ある。A neural network having this recursive connection is a recurrent neural network.
tworks) and is abbreviated as RNN below. Generally, each element forming the RNN has mutual coupling, and this is the recursive coupling. The elements include an input element to which input data is given and an output element having a target output value.

【０００４】ここでは入力素子の集合（Ｉ）からなる入
力層、出力素子の集合（Ｏ）からなる出力層、それ以外
の素子、中間素子の集合（Ｕ）からなる中間層から構成
されるＲＮＮを一例として示す。これらの素子は、離散
時間、連続値をとることとする。Here, the RNN is composed of an input layer consisting of a set of input elements (I), an output layer consisting of a set of output elements (O), other elements, and an intermediate layer consisting of a set of intermediate elements (U). Is shown as an example. These elements take discrete values and continuous values.

【０００５】全素子数をＮとし、入力素子数Ｎ_I 、中間
素子数Ｎ_U 、出力素子数Ｎ_O とする。また、時刻ｔでの
ｉ番目の素子への入力をｈ_i （ｔ）とし、その素子の出
力値をＳ_i （ｔ）とする。ｗ_ijをｊ番目の素子からｉ番
目の素子への結合の重みとすれば、ｈ_i （ｔ），Ｓ_i
（ｔ）の時間発展は式（１），（２）のようになる。It is assumed that the total number of elements is N, the number of input elements N _I , the number of intermediate elements N _U , and the number of output elements N _O. The input to the i-th element at time t is h _i (t), and the output value of that element is S _i (t). Let w _ij be the weight of the connection from the j-th element to the i-th element, then h _i (t), S _i
The time evolution of (t) is as shown in equations (1) and (2).

【０００６】[0006]

【数１】 これらの神経回路網に対し、入力時系列データξ（ｔ）
と目標出力時系列データ（教師信号）ζ（ｔ）の対が式
（４），（５）のように複数個与えられる。[Equation 1] Input time series data ξ (t) for these neural networks
And a plurality of target output time series data (teacher signal) ζ (t) are given as shown in equations (4) and (5).

【０００７】[0007]

【数２】 式（１），（２）を入力素子を分けて書けば、[Equation 2] If you write equations (1) and (2) separately for each input element,

【０００８】[0008]

【数３】 となる。(Equation 3) Becomes

【０００９】ここで、ベクトル、行列を使った表現を示
す。出力素子、中間素子、入力素子の出力ベクトル値を
それぞれＮ_O 次ベクトルHere, an expression using a vector and a matrix will be shown. The output vector values of the output element, intermediate element, and input element are the N 0 _-th order vectors, respectively.

【００１０】[0010]

【外１】 Ｎ_U 次ベクトル[Outside 1] N _U vector

【００１１】[0011]

【外２】 Ｎ_I 次ベクトル[Outside 2] N _I degree vector

【００１２】[0012]

【外３】 とし、全素子の出力値ベクトルをＮ次ベクトル[Outside 3] And output value vectors of all elements are Nth order vectors

【００１３】[0013]

【外４】 とすれば、[Outside 4] given that,

【００１４】[0014]

【数４】 となる。また、(Equation 4) Becomes Also,

【００１５】[0015]

【外５】 の作る行列をそれぞれ（Ｎ_O ＋Ｎ_U ）×（Ｎ_U ＋Ｎ_I ）
行列Ｗ、（Ｎ_O ＋Ｎ_U ）×（Ｎ_U ）行列Ｗ^U 、（Ｎ_O ＋
Ｎ_U ）×（Ｎ_I ）行列Ｗ^I とすれば、次のような関係に
ある。[Outside 5] The matrices created by are (N _O + N _U ) × (N _U + N _I ).
Matrix W, (N _O + N _U ) × (N _U ) matrix W ^U , (N _O +
Assuming that N _U ) × (N _I ) matrix W ^I has the following relationship.

【００１６】[0016]

【数５】 以上でまとめて書くと、式（６），（７）は式（１０）
のようになる。(Equation 5) In summary, the formulas (6) and (7) are expressed by the formula (10).
become that way.

【００１７】[0017]

【数６】 入力時系列データとそれに対する目標出力時系列データ
の対応をＲＮＮを学習させる。具体的には、上のような
入力時系列データがＲＮＮの入力素子に与えれたとき、
出力層からの出力値が目標出力時系列データと等しくな
るようなｗ_ijを求めればよい。(Equation 6) The RNN learns the correspondence between the input time series data and the target output time series data. Specifically, when the above input time series data is given to the input element of the RNN,
It is only necessary to obtain w _ij such that the output value from the output layer becomes equal to the target output time series data.

【００１８】通常は、実際の出力値と目標出力値との誤
差からｗ_ijを逐次修正していく方法がとられる。ｗ_ijの
修正値を誤差が最も減少する方向（最急降下方向）にと
る方法を最急降下法という。Usually, a method of sequentially correcting w _ij from the error between the actual output value and the target output value is used. The method of taking the corrected value of w _{ij in} the direction in which the error is most reduced (the steepest descent direction) is called the steepest descent method.

【００１９】ＲＮＮの実際の出力値と目標出力値の誤差Error between actual output value of RNN and target output value

【００２０】[0020]

【外６】 を自乗誤差として次のように定義する。[Outside 6] Is defined as the squared error as follows.

【００２１】[0021]

【数７】 ここで、(Equation 7) here,

【００２２】[0022]

【外７】 をｗ_ijで偏微分し、その地点での最急降下方向となる修
正値を求める。[Outside 7] _Is partially differentiated with respect to w _ij to obtain a correction value that is the steepest descent direction at that point.

【００２３】[0023]

【数８】 ここで、Δｗ_ijはｗ_ijの修正幅であり、またηは学習係
数と呼ばれ、学習を安定させるための係数であり、正の
値をとる。ＲＮＮにおいて、(Equation 8) Here, Δw _ij is the correction width of w _ij , and η is called a learning coefficient, which is a coefficient for stabilizing learning and takes a positive value. In RNN,

【００２４】[0024]

【外８】 を計算する方法はいくつか知られており、次に代表的な
２つの方法を示す。 （Real Time Recurrent Learning)まず、最急降下方向
を求める計算方法として、Real Time Reurrent Learnin
g（ＲＴＲＬ）を具体的に説明する。式（１３），１
４）より、[Outside 8] There are several known methods for calculating, and two representative methods are shown below. (Real Time Recurrent Learning) First, as a calculation method to find the steepest descent direction, Real Time Reurrent Learnin
g (RTRL) will be specifically described. Formula (13), 1
From 4),

【００２５】[0025]

【数９】 となる。ここで、式（１１），（１２）より[Equation 9] Becomes Here, from equations (11) and (12)

【００２６】[0026]

【数１０】 である。ここで、(Equation 10) It is. here,

【００２７】[0027]

【数１１】 とおくと、式（２）の両辺をｗ_pqで偏微分することによ
り、[Equation 11] Then, by partially differentiating both sides of equation (2) with w _pq ,

【００２８】[0028]

【数１２】 となり、(Equation 12) Next to

【００２９】[0029]

【外９】 を逐次求めていくことができる。、ただし、初期条件
は、[Outside 9] Can be obtained sequentially. However, the initial conditions are

【００３０】[0030]

【数１３】 である。(Equation 13) It is.

【００３１】逐次求めたSequentially determined

【００３２】[0032]

【外１０】 によりΔｗ_ijを計算できる。このように、ＲＴＲＬでは
時系列データが与えられると、その時点で、結合重みｗ
_ijの修正値を計算でき、学習を進めていくことができ
る。 （Back Propagation Through Time)次に、最急降下法を
求める別の計算方法として、Back Propagation Through
Time （ＢＰＴＴ）を具体的に説明する。[Outside 10] Δw _ij can be calculated by In this way, in RTRL, when time series data is given, at that time, the connection weight w
The corrected value of _ij can be calculated, and learning can proceed. (Back Propagation Through Time) Next, as another calculation method for finding the steepest descent method, Back Propagation Through Time
Time (BPTT) will be specifically described.

【００３３】やはり、式（１３），（１４）より、From equations (13) and (14),

【００３４】[0034]

【数１４】 となる。[Equation 14] Becomes

【００３５】[0035]

【数１５】 とおけば、式（２２）は次のように書ける。(Equation 15) If it says, Formula (22) can be written as follows.

【００３６】[0036]

【数１６】 ｚ_i （τ）については、次のように求めることができ
る。(Equation 16) z _i (τ) can be obtained as follows.

【００３７】[0037]

【数１７】 このように、ｚ_i （τ）は時間逆方向に計算していく。
終端条件は、[Equation 17] In this way, z _i (τ) is calculated in the time reverse direction.
The termination condition is

【００３８】[0038]

【数１８】 である。 （有限オートマンの学習）離散時間、離散値の時系列デ
ータの学習の例として、有限オートマン学習について説
明する。まず、Moore 流に有限オートマン(Equation 18) It is. (Learning of Finite Automan) Finite automan learning will be described as an example of learning of time series data of discrete time and discrete value. First, the finite automan in the Moore flow

【００３９】[0039]

【外１１】 を次のように定義する。[Outside 11] Is defined as follows.

【００４０】[0040]

【数１９】 入力記号列を与えたとき、それに対して有限オートマン
は出力記号列を返す。有限オートマンの学習では、これ
らいくつかの入力信号列と出力信号列の対をデータとし
て用いるのである。これらの記号は、入力素子ベクト
ル、出力素子ベクトルへとＲＮＮで用いられるよう連続
値のベクトルに変換される。後は、上で説明した最急降
下法により学習を行う。[Equation 19] Given an input symbol string, the finite automan returns an output symbol string for it. In the learning of finite automan, some pairs of these input signal sequences and output signal sequences are used as data. These symbols are converted into a vector of continuous values for use in the RNN into an input element vector, an output element vector. After that, learning is performed by the steepest descent method described above.

【００４１】これらのデータに対して学習が成功したと
き、中間素子の出力値で作られる相空間中の軌道がクラ
スター状になる。このクラスターは有限オートマトンに
おける「状態」に対応することが知られている。When learning is successful for these data, the trajectories in the phase space formed by the output values of the intermediate elements become clusters. This cluster is known to correspond to "states" in finite automata.

【００４２】[0042]

【発明が解決しようとする課題】誤差を減少させる方向
へ結合重みを修正する方法では、一旦、最小値でない極
小値に落ち込んでしまうと、そこから抜け出せず、最小
値に到達できないという問題点がある。このような、最
小値でない極小値をローカルミニマムという。また、全
体としての最小値をグローバルミニマムという。However, in the method of correcting the connection weight in the direction of reducing the error, once it falls to the minimum value other than the minimum value, there is a problem that it cannot be escaped and the minimum value cannot be reached. is there. Such a minimum value that is not the minimum value is called a local minimum. Also, the minimum value as a whole is called the global minimum.

【００４３】学習に成功した、つまり、ローカルミニマ
ムに落ち込まなかった神経回路網でさえも未知の入力デ
ータに対しては内部表現が不安定になり、学習した効果
が得られないことも多い。Even in a neural network that has been successfully learned, that is, has not fallen into a local minimum, the internal representation becomes unstable with respect to unknown input data, and the learned effect is often not obtained.

【００４４】本発明の目的は、ＲＮＮの時系列データの
学習において、ローカルミニマムへの落ち込みを極力回
避しつつ、未知の入力データに対しても安定した状態表
現を維持できる時系列データ学習方法および装置を提供
することである。An object of the present invention is to provide a time series data learning method capable of maintaining stable state expression even for unknown input data while avoiding a drop to a local minimum in learning of RNN time series data. It is to provide a device.

【００４５】[0045]

【課題を解決するための手段】本発明の時系列データ学
習方法は、離散時間、離散値の入力時系列データとそれ
に対する離散時間、離散値の目標出力時系列データの組
がいくつか与えられたとき、離散時間、連続値の素子か
らなる回帰結合を有する神経回路網がその入出力時系列
データ間の関数を学習する時系列データ学習方法におい
て、誤差あるいは学習の進捗度合いにより神経回路網の
パラメータを制御し、目標出力時系列値と神経回路網の
実際の出力値との誤差が減少する方向に神経素子間の結
合重みを修正することを特徴とする。The time series data learning method of the present invention is provided with several sets of discrete time, discrete value input time series data and corresponding discrete time, discrete value target output time series data. In the time-series data learning method in which a neural network having a regression connection consisting of discrete-time, continuous-valued elements learns a function between its input and output time-series data, the neural network of the neural network changes depending on the error or the progress of learning. It is characterized in that the parameter is controlled to correct the connection weight between the neural elements in a direction in which the error between the target output time series value and the actual output value of the neural network decreases.

【００４６】また、本発明の時系列データ学習装置は、
離散時間、離散値の入力時系列データとそれに対する離
散時間、離散値の目標出力時系列データの組がいくつか
与えられたとき、離散時間、連続値の素子からなる回帰
結合を有する神経回路網がその入出力時系列データ間の
関数を学習する時系列データ学習装置であって、神経回
路網を構成するパラメータである少なくとも入力素子
数、中間素子数、出力素子数、学習係数、許容誤差を定
めるパラメータ設定部と、前記パラメータおよび各種デ
ータを蓄積するメモリと、結合重みを乱数により初期化
する結合重み初期化部と、結合重み初期化部の処理終了
後、学習の進捗度を計算する学習進捗度管理部と、学習
進捗度管理部の処理終了後、神経素子活性化パラメータ
の値を計算するβ計画部と、β計画部の処理終了後、各
素子値を初期化する素子初期化部と、素子初期化部の処
理終了後、入力時系列データを入力素子に代入するデー
タ入力部と、データ入力部の処理終了後、素子の時間発
展を計算し、素子値を更新する素子時間発展計算部と、
出力素子の出力値と目標出力値との誤差を計算する誤差
計算部と、前記誤差が減少する方向に、前記結合重みの
修正値を計算する修正幅計算部と、出力素子の出力値を
出力するデータ出力部と、素子時間発展計算部での処理
終了後、入力時系列データと出力時系列データの全ての
対について処理が済んだかどうか判定し、済んでいなけ
れば、素子初期化部から前記素子時間発展計算部までの
処理を繰り返し、済んでいれば誤差計算部を起動し、修
正幅計算部の処理終了後、前記誤差が前記許容誤差の範
囲内かどうか判定し、範囲内でなければ学習進捗度管理
部からの処理を繰り返す制御部を有する。Further, the time series data learning device of the present invention is
A neural network with a regression connection consisting of discrete-time, continuous-valued elements, given several sets of discrete-time, discrete-valued input time-series data and corresponding discrete-time, discrete-valued target output time-series data Is a time-series data learning device that learns a function between the input and output time-series data, and at least the number of input elements, the number of intermediate elements, the number of output elements, the learning coefficient, and the allowable error, which are parameters that configure the neural network, A parameter setting unit that defines, a memory that stores the parameters and various data, a connection weight initialization unit that initializes connection weights by random numbers, and a learning process that calculates the progress of learning after the processing of the connection weight initialization unit is completed. After the processing of the progress degree management unit and the learning progress degree management unit, the β planning unit that calculates the value of the neural element activation parameter, and the element that initializes each element value after the processing of the β planning unit After the processing of the child initialization unit and the element initialization unit is completed, the data input unit that substitutes the input time series data into the input device and the processing of the data input unit are completed, and the time evolution of the device is calculated and the element value is updated. An element time evolution calculation unit that
An error calculation unit that calculates an error between the output value of the output element and the target output value, a correction width calculation unit that calculates the correction value of the coupling weight in the direction in which the error decreases, and outputs the output value of the output element After the processing in the data output section and the element time evolution calculation section, it is judged whether or not the processing has been completed for all pairs of input time series data and output time series data, and if not completed, from the element initialization section The process up to the element time evolution calculation unit is repeated, and if completed, the error calculation unit is activated, and after the correction width calculation unit finishes processing, it is determined whether the error is within the allowable error range, and the error must be within the range. For example, it has a control unit that repeats the process from the learning progress management unit.

【００４７】本発明は、離散時間、離散値の入力時系列
データとそれに対する目標出力時系列データの組がいく
つか与えられたとき、離散時間、連続値の素子からなる
回帰的神経回路網がその入出力時系列の対応を学習する
学習方法において、回帰結合をもつ神経回路網がその時
系列データとの誤差を減少させる学習方法をするとき、
素子の利得に関する神経素子活性化パラメータβを次の
ように導入する。The present invention provides a recursive neural network composed of discrete-time, continuous-valued elements when several sets of discrete-time, discrete-valued input time-series data and target output time-series data are given. In the learning method of learning the correspondence of the input / output time series, when the neural network having the regression coupling reduces the error with the time series data,
The neural element activation parameter β related to the element gain is introduced as follows.

【００４８】[0048]

【数２０】 これをまとめて(Equation 20) Put this together

【００４９】[0049]

【数２１】 と書く。本発明の時系列データ学習方法では、この神経
素子活性化パラメータを誤差あるいは学習の進捗度合い
により制御する手段を備えている。(Equation 21) Write The time-series data learning method of the present invention comprises means for controlling the neural element activation parameter according to an error or a degree of learning progress.

【００５０】従来の方法では、この神経素子活性化パラ
メータは固定されており、定数である。In the conventional method, this neural element activation parameter is fixed and constant.

【００５１】誤差Error

【００５２】[0052]

【外１２】 は神経回路網の結合重みｗ_ijの関数になっている。そこ
で、各ｗ_ijを変数と考え、[Outside 12] Is a function of the connection weight w _ij of the neural network. Therefore, consider each w _ij as a variable,

【００５３】[0053]

【数２２】 を誤差平面という。(Equation 22) Is called the error plane.

【００５４】最急降下法でBy the steepest descent method

【００５５】[0055]

【外１３】 を計算することは、ある結合重みｗ_ijにおいて誤差平面
の最も勾配の急な方向を計算していることになる。つま
り、最急降下法においては初期値のｗ_ijから誤差平面の
最も急な方向にｗ_ijが移動していくことになる。このよ
うに、誤差平面を考えることで、学習の考察がしやすく
なる。 （神経素子活性化パラメータの誤差平面の形状に与える
影響）神経素子活性化パラメータβが０のとき、誤差平
面は傾き０の平坦な平面である。なぜならば、式（３
０）より、素子の出力値が結合重みｗ_ijによらず一定に
なるからである。[Outside 13] Calculating is to calculate the steepest direction of the slope of the error plane for a given weight w _ij . That is, in the steepest descent method, w _ij moves from the initial value w _ij to the steepest direction of the error plane. In this way, considering the error plane facilitates consideration of learning. (Effect of Neural Element Activation Parameter on Shape of Error Plane) When the neural element activation parameter β is 0, the error plane is a flat plane with a slope of 0. Because, the formula (3
From 0), the output value of the element becomes constant regardless of the connection weight w _ij .

【００５６】神経素子活性化パラメータβが∞のとき、
誤差平面は微細な階段状の面となる。なぜならば、式
（３０）より、シグモイド関数は完全な｛０，１｝のス
テップ関数になり、When the neural element activation parameter β is ∞,
The error plane is a fine stepped surface. Because, from the equation (30), the sigmoid function becomes a perfect {0, 1} step function,

【００５７】[0057]

【外１４】 も離散値をとるようになるからである。[Outside 14] Also takes discrete values.

【００５８】また、βが０と∞の間では、神経素子活性
化パラメータβの増加に対して、始め平坦であった誤差
平面は、徐々に極小値の数を増しながら傾きも険しくな
るよう連続的に変化していくと考えられる。 （媒介変数と内部表現安定性関係）神経素子活性化パラ
メータβがある値より大きくなると、安定した内部表現
が得られる。安定した状態の内部表現が得られる理由を
ここでは、厳密に説明する。まず、幾つかの語句、記号
の定義をする。Further, when β is between 0 and ∞, the error plane that was initially flat with respect to the increase in the neural element activation parameter β continues to increase steeply with increasing number of minimum values. It is thought to change over time. (Relationship between parameters and internal expression stability) When the neural element activation parameter β becomes larger than a certain value, a stable internal expression is obtained. The reason why an internal representation of a stable state is obtained is explained here strictly. First, some words and symbols are defined.

【００５９】[0059]

【外１５】 をＮ_U 次元の単位超立方体[Outside 15] Is a unit hypercube of dimension N _U

【００６０】[0060]

【外１６】 の頂点とする。すなわち、[Outside 16] To the top of. That is,

【００６１】[0061]

【数２３】 また、(Equation 23) Also,

【００６２】[0062]

【外１７】 を全頂点の集合とする。[Outside 17] Let be the set of all vertices.

【００６３】結合行列Ｗと有限個の入力ベクトルJoin matrix W and a finite number of input vectors

【００６４】[0064]

【外１８】 が与えられたとする。[Outside 18] Is given.

【００６５】超平面Hyperplane

【００６６】[0066]

【外１９】 を[Outside 19] To

【００６７】[0067]

【数２４】 としたとき、この平面によってＮ_U 次元ユークリッド空
間(Equation 24) Then, this plane gives N _U dimensional Euclidean space

【００６８】[0068]

【外２０】 は各部分空間[Outside 20] Is each subspace

【００６９】[0069]

【外２１】 へと分割される。さらに[Outside 21] Is divided into further

【００７０】[0070]

【外２２】 を次のように定義する。[Outside 22] Is defined as follows.

【００７１】[0071]

【数２５】 ここで、(Equation 25) here,

【００７２】[0072]

【外２３】 は次の意味である。[Outside 23] Means the following:

【００７３】[0073]

【数２６】 (Equation 26)

【００７４】[0074]

【外２４】 はαとβに依存しないことに注意しよう。なぜなら[Outside 24] Note that does not depend on α and β. Because

【００７５】[0075]

【外２５】 のとき、[Outside 25] When,

【００７６】[0076]

【数２７】 となるが、ｖ_i ＝０のとき[Equation 27] However, when v _i = 0

【００７７】[0077]

【数２８】 となる。ｖ_i ＝１のとき[Equation 28] Becomes When v _i = 1

【００７８】[0078]

【数２９】 となる。これより、明らかに、αとβに依存しないこと
がわかる。(Equation 29) Becomes From this, it is clear that it does not depend on α and β.

【００７９】[0079]

【外２６】 を頂点間遷移関数と呼ぶことにする。[Outside 26] Is called the transition function between vertices.

【００８０】[0080]

【外２７】 によって[Outside 27] By

【００８１】[0081]

【外２８】 から[Outside 28] From

【００８２】[0082]

【外２９】 へ到達できる入力シンボル列α₁ ，α₂ ，・・・・，α
_n が存在するとき[Outside 29] Input symbol sequence α ₁ , α ₂ , ..., α that can reach
when _n exists

【００８３】[0083]

【外３０】 と[Outside 30] When

【００８４】[0084]

【外３１】 は連結しているという。連結している頂点の集合を[Outside 31] Are connected. The set of connected vertices

【００８５】[0085]

【外３２】 とする。[Outside 32] And

【００８６】[0086]

【外３３】 を次のように定義する。[Outside 33] Is defined as follows.

【００８７】[0087]

【数３０】 [Equation 30]

【００８８】[0088]

【外３４】 は、写像（素子値の更新）によって、[Outside 34] Is a map (update of element values),

【００８９】[0089]

【外３５】 へ写る領域を表しているので、[Outside 35] Since it represents the area that appears in

【００９０】[0090]

【外３６】 は各[Outside 36] Is each

【００９１】[0091]

【外３７】 によって[Outside 37] By

【００９２】[0092]

【外３８】 と同様の遷移のできる領域になる。つまり[Outside 38] It becomes a region where the same transition can be made. I mean

【００９３】[0093]

【外３９】 であるならば、任意の[Outside 39] If any

【００９４】[0094]

【外４０】 に対して、[Outside 40] For

【００９５】[0095]

【外４１】 となる。[Outside 41] Becomes

【００９６】〔定理〕Ｖ_C の全ての要素[Theorem] All elements of V _C

【００９７】[0097]

【外４２】 に対して、[Outside 42] For

【００９８】[0098]

【外４３】 であるならば、次のような有限値のβ₀ が存在する。β
がβ₀ 以上の任意の値のとき、[Outside 43] Then there exists a finite value β ₀ such that β
Is an arbitrary value greater than or equal to β ₀ ,

【００９９】[0099]

【数３１】 が任意の(Equation 31) Is any

【０１００】[0100]

【外４４】 任意の長さの入力記号列[Outside 44] Input symbol string of arbitrary length

【０１０１】[0101]

【外４５】 に対して成り立つ。ここで、[Outside 45] Holds for. here,

【０１０２】[0102]

【外４６】 はそれぞれ[Outside 46] Are each

【０１０３】[0103]

【外４７】 と同じ意味である。β₀ をcritical newro gain と呼ぶ
ことにする。[Outside 47] Has the same meaning as Let us call β ₀ critical newro gain.

【０１０４】〔証明〕β＞β₀ のとき、全ての入力記号[Proof] When β> β ₀ , all input symbols

【０１０５】[0105]

【外４８】 、つまり、全ての入力ベクトル[Outside 48] , That is, all input vectors

【０１０６】[0106]

【外４９】 に対して、[Outside 49] For

【０１０７】[0107]

【外５０】 となる超立方体[Outside 50] Hypercube

【０１０８】[0108]

【外５１】 が構成できることを示す。[Outside 51] Indicates that can be configured.

【０１０９】ある点Some point

【０１１０】[0110]

【外５２】 と入力ベクトル[Outside 52] And the input vector

【０１１１】[0111]

【外５３】 に対して、[Outside 53] For

【０１１２】[0112]

【数３２】 とする。(Equation 32) And

【０１１３】[0113]

【外５４】 に対して、もし[Outside 54] Against

【０１１４】[0114]

【外５５】 であるならば、[Outside 55] If it is,

【０１１５】[0115]

【外５６】 であり、もし[Outside 56] And if

【０１１６】[0116]

【外５７】 であるならば[Outside 57] If it is

【０１１７】[0117]

【外５８】 である。したがって、βが無限大に近づくとき[Outside 58] It is. Therefore, when β approaches infinity

【０１１８】[0118]

【外５９】 はそれぞれ１と０に近づくことがわかる。[Outside 59] It can be seen that each approaches 1 and 0 respectively.

【０１１９】[0119]

【外６０】 を[Outside 60] To

【０１２０】[0120]

【外６１】 の頂点とし、[Outside 61] The top of

【０１２１】[0121]

【外６２】 を次のように決める。[Outside 62] Is determined as follows.

【０１２２】[0122]

【数３３】 以上より[Equation 33] From the above

【０１２３】[0123]

【外６３】 は次のように定めることができる。[Outside 63] Can be defined as follows.

【０１２４】[0124]

【数３４】 各(Equation 34) each

【０１２５】[0125]

【外６４】 α，ｉに対して[Outside 64] for α, i

【０１２６】[0126]

【外６５】 を次のように定める。全ての[Outside 65] Is defined as follows. All of

【０１２７】[0127]

【外６６】 に対して[Outside 66] Against

【０１２８】[0128]

【数３５】 を満たす最小のβを(Equation 35) The smallest β that satisfies

【０１２９】[0129]

【外６７】 とする。ここで、[Outside 67] And here,

【０１３０】[0130]

【外６８】 である。[Outside 68] It is.

【０１３１】ここで、Here,

【０１３２】[0132]

【外６９】 は凸な空間であるので、[Outside 69] Is a convex space, so

【０１３３】[0133]

【外７０】 が最大値や最小値は[Outside 70] Is the maximum or minimum

【０１３４】[0134]

【外７１】 が[Outside 71] But

【０１３５】[0135]

【外７２】 の頂点上で生じる。よって、全ての[Outside 72] Occurs on the top of. Therefore, all

【０１３６】[0136]

【外７３】 を調べる必要はなく、全ての頂点だけ条件を満たしてい
るか調べれば十分である。[Outside 73] It is not necessary to check, and it is sufficient to check whether all the vertices satisfy the condition.

【０１３７】次のようにβ₀ を選ぶ。Β ₀ is selected as follows.

【０１３８】[0138]

【数３６】 以上より、全ての[Equation 36] From the above, all

【０１３９】[0139]

【外７４】 に対して[Outside 74] Against

【０１４０】[0140]

【外７５】 は[Outside 75] Is

【０１４１】[0141]

【外７６】 の部分集合となる。[Outside 76] Is a subset of.

【０１４２】入力信号列のα₁ ，α₂ ，・・・・が与え
られたとき、頂点遷移関数により頂点が、When α ₁ , α ₂ , ... Of the input signal sequence are given, the vertices are converted by the vertex transition function to

【０１４３】[0143]

【外７７】 と遷移していくとしよう[Outside 77] Let's make a transition

【０１４４】[0144]

【外７８】 このとき、βをβ₀ 以上に選んでおけば、まず、[Outside 78] At this time, if β is selected to be β ₀ or more, first,

【０１４５】[0145]

【外７９】 は[Outside 79] Is

【０１４６】[0146]

【外８０】 の部分集合となる。当然、[Outside 80] Is a subset of. Of course,

【０１４７】[0147]

【外８１】 は[Outside 81] Is

【０１４８】[0148]

【外８２】 の部分集合であるので、さらに[Outer 82] Since it is a subset of

【０１４９】[0149]

【外８３】 は[Outside 83] Is

【０１５０】[0150]

【外８４】 の部分集合となる。同様に、これらの操作を繰り返して
いけば、任意のワードに対して、常に[Outside 84] Is a subset of. Similarly, if you repeat these operations, you will always get

【０１５１】[0151]

【外８５】 の中に軌道が写像されることになり、定理は証明され
た。 （神経素子活性化パラメータの制御）上記の内容を鑑み
て、初め、神経素子活性化パラメータβをある小さい値
に設定し、誤差が最小値になるようｗ_ijを修正する。次
に、βを少しづつ大きくする。このとき、誤差平面の形
状は連続的にしか変わらない、つまりす少しづつしか変
わらないので、常に最小値を追従するようｗ_ijは修正さ
れ、ローカルミニマムへの落ち込みを回避していくこと
になる。[Outside 85] The orbit is to be mapped into, and the theorem is proved. (Control of Neural Element Activation Parameter) In view of the above, first, the neural element activation parameter β is set to a certain small value, and w _ij is corrected so that the error becomes the minimum value. Next, β is gradually increased. At this time, the shape of the error plane changes only continuously, that is, it changes little by little, so w _ij is modified so as to always follow the minimum value, and a fall into the local minimum is avoided.

【０１５２】学習の進捗度合いによりβを急に大きくす
るが、この時期を上で示した定理の条件が満たされるよ
うに調整すれば、安定した状態の内部表現を得ることが
できる。Although β is suddenly increased according to the degree of progress of learning, if this time is adjusted so that the condition of the theorem shown above is satisfied, a stable internal expression can be obtained.

【０１５３】[0153]

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。Next, embodiments of the present invention will be described with reference to the drawings.

【０１５４】図１は本発明の一実施形態の時系列データ
学習装置のブロック図である。FIG. 1 is a block diagram of a time series data learning device according to an embodiment of the present invention.

【０１５５】本実施形態の時系列データ学習装置は、神
経回路網を構成するパラメータを定めるパラメータ設定
部１と、結合重みｗ_ijを乱数により初期化する結合重み
初期化部２と、各素子（中間素子、出力素子の全ての素
子）値を初期化する素子初期化部３と、入力された時系
列データを入力素子に代入するデータ入力部４と、素子
の時間発展を計算し、素子値を更新する素子時間発展計
算部５と、学習を行う学習部６と、出力素子の出力値と
目標出力値との誤差を計算する誤差計算部７と、結合重
みの修正値を計算する修正幅計算部８と、出力素子の出
力値を出力するデータ出力部９と、入出力データ、素子
の値などデータを蓄積しておくメモリ１０と、学習の進
捗度（入力時系列データと出力時系列データの対応をど
のくらい正しく学習したかを示す）を管理する学習進捗
度管理部１１と、神経素子活性化パラメータβの値を計
算するβ計画部１２と、これら各部の動作を制御する制
御部１３で構成されている。The time-series data learning device of the present embodiment has a parameter setting unit 1 for defining parameters constituting a neural network, a connection weight initialization unit 2 for initializing connection weights w _ij by random numbers, and each element ( All elements (intermediate elements and output elements), an element initialization unit 3 that initializes the values, a data input unit 4 that substitutes the input time series data into the input elements, and the time evolution of the elements is calculated to calculate the element values. , An element time evolution calculation unit 5 for updating, a learning unit 6 for learning, an error calculation unit 7 for calculating an error between an output value of an output element and a target output value, and a correction width for calculating a correction value of a coupling weight. The calculation unit 8, the data output unit 9 that outputs the output value of the output element, the memory 10 that stores data such as input / output data and the value of the element, the progress of learning (input time series data and output time series). How correctly to learn the correspondence of data Learning progress management unit 11 for managing the or a shown), a beta planning unit 12 to calculate the value of neural element activation parameter beta, and a control unit 13 for controlling the operations of these units.

【０１５６】図２は図１の時系列データ学習装置の全体
的な処理のフローチャートである。FIG. 2 is a flowchart of the overall processing of the time series data learning device of FIG.

【０１５７】まず、神経回路網を構成する入力素子数、
中間素子数、出力素子数、学習係数、許容誤差、学習入
出力データ対の数、学習入出力データの最大長、βをス
ケジューリングする関数を決めるパラメータなどのパラ
メータを決める（ステップ２１）。入力素子数、中間素
子数、出力素子数は初めメモリ１０上に領域を確保する
とき使う。また、その後の計算（式（１），（２），
（６），（７），（１１），（１２），（１３），（１
６），（１８），（２０），（２１），（２２）等）で
も和をとる範囲などで使う。修正幅計算部８が、Ｒｅａ
ｌ Ｔｉｍｅ Ｒｅｃｕｒｒｅｎｔ Ｌｅａｒｎｉｎｇ
あるいはＢａｃｋ Ｐｒｏｐａｇａｔｉｏｎ Ｔｈｒｏ
ｕｇｈ Ｔｉｍｅで求めた修正幅に学習係数をかけるこ
とで、学習を効率的に行うことができる。結合重みｗ_ij
を乱数により初期化する（ステップ２２）。学習進捗度
を計算する（ステップ２３）。ある時点の神経素子活性
化パラメータβの値が学習進捗度の関数になっているの
で、学習進捗度に基づき神経素子活性化パラメータβの
値を計算する（ステップ２４）。素子値を初期化する
（ステップ２５）。入力層の素子に時系列データを代入
する（ステップ２６）。素子の時間発展を計算し、素子
の値を更新する（ステップ２７）。出力素子の出力値を
メモリ１０に蓄積する（ステップ２８）。全パターン
（入力時系列データと出力時系列データの対）を終了し
たか判定する（ステップ２９）。全てのパターンが終了
されていなければステップ２５に戻る。そうでなければ
ステップ３０に進む。出力素子の出力値と目標出力値の
誤差を計算する（ステップ３０）。該誤差の値に基づ
き、つまり、該誤差を使って、結合重みｗ_ijの修正幅を
前述したＲｅａｌ Ｔｉｍｅ Ｒｅｃｕｒｒｅｎｔ Ｌ
ｅａｒｎｉｎｇまたはＢａｃｋＰｒｏｐａｇａｔｉｏｎ
Ｔｈｒｏｕｇｈ Ｔｉｍｅという計算方法で求め、結
合重みｗ_ijを修正する（ステップ３１）。結合重みｗ_ij
の修正後誤差が許容範囲内かどうか判定する（ステップ
３２）。誤差が許容範囲を越える場合はステップ２３に
戻る。許容範囲内ならば、終了する。First, the number of input elements forming the neural network,
Parameters such as the number of intermediate elements, the number of output elements, the learning coefficient, the allowable error, the number of learning input / output data pairs, the maximum length of the learning input / output data, and the parameter that determines the function for scheduling β are determined (step 21). The number of input elements, the number of intermediate elements, and the number of output elements are used when initially securing an area on the memory 10. In addition, subsequent calculations (formulas (1), (2),
(6), (7), (11), (12), (13), (1
6), (18), (20), (21), (22), etc.) are used in the range for summing. The correction width calculation unit 8
l Time Recurring Learning
Or Back Propagation Thro
The learning can be efficiently performed by multiplying the correction width obtained by the "ugh Time" by the learning coefficient. Connection weight w _ij
Are initialized with random numbers (step 22). The degree of learning progress is calculated (step 23). Since the value of the neural element activation parameter β at a certain point is a function of the learning progress degree, the value of the neural element activation parameter β is calculated based on the learning progress degree (step 24). The element value is initialized (step 25). Time-series data is substituted into the elements of the input layer (step 26). The time evolution of the element is calculated and the value of the element is updated (step 27). The output value of the output element is stored in the memory 10 (step 28). It is determined whether all patterns (a pair of input time series data and output time series data) have been completed (step 29). If all patterns have not been completed, the process returns to step 25. Otherwise, go to step 30. The error between the output value of the output element and the target output value is calculated (step 30). Based on the value of the error, that is, using the error, the correction width of the connection weight w _ij is used for the Real Time Recurrent L described above.
Earning or BackPropagation
It is obtained by a calculation method called Through Time, and the connection weight w _ij is corrected (step 31). Connection weight w _ij
It is determined whether the post-correction error is within the allowable range (step 32). If the error exceeds the allowable range, the process returns to step 23. If it is within the allowable range, the process ends.

【０１５８】[0158]

【発明の効果】以上説明したように、本発明によれば、
回帰結合をもつ神経回路網の時系列データの学習におい
て、誤差あるいは学習の進捗度合いにより神経回路網の
パラメータを制御し、目標出力時系列値と実際の出力値
の誤差が減少するように結合重みを修正することによ
り、ローカルミニマムへの落ち込みを抑制し、未知のデ
ータに対する内部表現の安定性を維持し、学習を効率的
に行うことが可能になる効果がある。As described above, according to the present invention,
When learning the time series data of the neural network with regression coupling, the parameters of the neural network are controlled according to the error or the degree of progress of the learning, and the coupling weight is reduced so that the error between the target output time series value and the actual output value decreases. By modifying, there is an effect that the fall to the local minimum can be suppressed, the stability of the internal representation with respect to unknown data can be maintained, and learning can be efficiently performed.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の一実施形態の時系列データ学習装置の
ブロック図である。FIG. 1 is a block diagram of a time series data learning device according to an embodiment of the present invention.

【図２】図１の時系列データ学習装置の処理全体のフロ
ーチャートである。FIG. 2 is a flowchart of the entire processing of the time series data learning device of FIG.

【符号の説明】[Explanation of symbols]

１ パラメータ設定部 ２ 結合重み初期化部 ３ 素子初期化部 ４ データ入力部 ５ 素子時間発展計算部 ６ 学習部 ７ 誤差計算部 ８ 修正幅計算部 ９ データ出力部 １０ メモリ １１ 学習進捗度管理部 １２ β計画部 １３ 制御部 ２１〜３２ ステップ 1 Parameter Setting Section 2 Connection Weight Initialization Section 3 Element Initialization Section 4 Data Input Section 5 Element Time Evolution Calculation Section 6 Learning Section 7 Error Calculation Section 8 Correction Width Calculation Section 9 Data Output Section 10 Memory 11 Learning Progress Management Section 12 β planning unit 13 control unit 21 to 32 steps

Claims (2)

【特許請求の範囲】[Claims] 【請求項１】 離散時間、離散値の入力時系列データと
それに対する離散時間、離散値の目標出力時系列データ
の組がいくつか与えられたとき、離散時間、連続値の素
子からなる回帰結合を有する神経回路網がその入出力時
系列データ間の関数を学習する時系列データ学習方法に
おいて、 誤差あるいは学習の進捗度合いにより神経回路網のパラ
メータを制御し、目標出力時系列値と神経回路網の実際
の出力値との誤差が減少する方向に神経素子間の結合重
みを修正することを特徴とする時系列データ学習方法。1. When a set of discrete-time, discrete-valued input time-series data and corresponding discrete-time, discrete-valued target output time-series data sets are given, a regression combination consisting of discrete-time, continuous-valued elements In a time-series data learning method in which a neural network having a function learns a function between its input and output time-series data, the parameters of the neural network are controlled by the error or the degree of progress of learning, and the target output time-series value and neural network A method for learning time-series data, characterized in that the connection weight between neural elements is corrected in a direction in which the error from the actual output value of is reduced. 【請求項２】 離散時間、離散値の入力時系列データと
それに対する離散時間、離散値の目標出力時系列データ
の組がいくつか与えられたとき、離散時間、連続値の素
子からなる回帰結合を有する神経回路網がその入出力時
系列データ間の関数を学習する時系列データ学習装置で
あって、 神経回路網を構成するパラメータである少なくとも入力
素子数、中間素子数、出力素子数、学習係数、許容誤差
を定めるパラメータ設定部と、 前記パラメータおよび各種データを蓄積するメモリと、 結合重みを乱数により初期化する結合重み初期化部と、 前記結合重み初期化部の処理終了後、学習の進捗度を計
算する学習進捗度管理部と、 前記学習進捗度管理部の処理終了後、神経素子活性化パ
ラメータの値を計算するβ計画部と、 前記β計画部の処理終了後、各素子値を初期化する素子
初期化部と、 前記素子初期化部の処理終了後、入力時系列データを入
力素子に代入するデータ入力部と、 前記データ入力部の処理終了後、素子の時間発展を計算
し、素子値を更新する素子時間発展計算部と、 出力素子の出力値と目標出力値との誤差を計算する誤差
計算部と、 前記誤差が減少する方向に、前記結合重みの修正値を計
算する修正幅計算部と、 出力素子の出力値を出力するデータ出力部と、 前記素子時間発展計算部での処理終了後、入力時系列デ
ータと出力時系列データの全ての対について処理が済ん
だかどうか判定し、済んでいなければ、前記素子初期化
部から前記素子時間発展計算部までの処理を繰り返し、
済んでいれば前記誤差計算部を起動し、前記修正幅計算
部の処理終了後、前記誤差が前記許容誤差の範囲内かど
うか判定し、範囲内でなければ前記学習進捗度管理部か
らの処理を繰り返す制御部を有する時系列データ学習装
置。2. When several sets of discrete-time, discrete-valued input time series data and corresponding discrete-time, discrete-valued target output time-series data are given, a regression combination consisting of discrete-time, continuous-valued elements. Is a time-series data learning device for learning a function between input and output time-series data, which has at least the number of input elements, the number of intermediate elements, the number of output elements, learning A parameter setting unit that determines the coefficient and the allowable error, a memory that stores the parameters and various data, a connection weight initialization unit that initializes the connection weight by a random number, and a learning weight after the processing of the connection weight initialization unit is completed. A learning progress management unit that calculates a progress, a β planning unit that calculates the value of a neural element activation parameter after the processing of the learning progress management unit is completed, and a processing of the β planning unit After completion, an element initialization unit that initializes each element value, after the processing of the element initialization unit, a data input unit that substitutes input time series data into an input element, and after the processing of the data input unit, An element time evolution calculation unit that calculates the time evolution of the element and updates the element value, an error calculation unit that calculates the error between the output value of the output element and the target output value, and the coupling that reduces the error. A correction width calculation unit for calculating the correction value of the weight, a data output unit for outputting the output value of the output element, and after the processing by the element time evolution calculation unit, all of the input time series data and the output time series data are Determine whether the processing is completed for the pair, if not completed, repeat the processing from the element initialization unit to the element time evolution calculation unit,
If completed, the error calculation unit is started, and after the correction width calculation unit finishes processing, it is determined whether the error is within the allowable error range. If not, the process from the learning progress management unit. A time-series data learning device having a control unit that repeats.