JPH10187649A - Neural network - Google Patents
Neural networkInfo
- Publication number
- JPH10187649A JPH10187649A JP8358157A JP35815796A JPH10187649A JP H10187649 A JPH10187649 A JP H10187649A JP 8358157 A JP8358157 A JP 8358157A JP 35815796 A JP35815796 A JP 35815796A JP H10187649 A JPH10187649 A JP H10187649A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- data
- neural network
- recognition
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Character Discrimination (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、情報処理における
ニューラルネットワーク型パターン識別装置や値推定装
置及びその学習手段に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a neural network type pattern discriminating apparatus and a value estimating apparatus for information processing and learning means for the same.
【０００２】[0002]
【従来の技術】ニューラルネットワーク（多層階層構造
型神経回路網）の構造及び学習手段としては、代表的な
誤差逆伝播法（バックプロパゲーション法）がある。
（例えば「神経回路網モデルとコネクショニズム」、甘
利俊一著、東京大学出版会に掲載されている。） この概要を図３のユニット内部状態説明図により説明す
ると、入力層以外のユニットｉの入出力関係は（１）、
（２）、（３）式に示され、ユニットｉに対する入力を
Ｏｊ（ｊ＝１からＮ）、各Ｏｊに対する結合係数（重
み）をＷｉｊで表す。このとき、結合係数Ｗｉｊは、指
定範囲内の乱数で初期設定する。2. Description of the Related Art As a structure and learning means of a neural network (multi-layer hierarchical neural network), there is a typical error back propagation method (back propagation method).
(For example, “Neural Network Model and Connectionism”, written by Shunichi Amari, published by The University of Tokyo Press.) This outline will be described with reference to the unit internal state diagram of FIG. The relationship is (1)
Expressions (2) and (3) show that the input to the unit i is represented by Oj (j = 1 to N), and the coupling coefficient (weight) for each Oj is represented by Wij. At this time, the coupling coefficient Wij is initialized with random numbers within the specified range.
【０００３】 入力の積和 Ｘｉ＝Σ ＷｉｊＯｊ ・・・・・・・・・・（１） （１）式を関数ｆ（Ｘｉ ）に適用し変換する。関数と
しては一般に微分可能な次の（２）式のようなシグモイ
ド関数を使うことが多い。 ｆ（Ｘｉ）＝１／｛１＋ｅｘｐ（−Ｘｉ）｝ ・・・・・・・・・・（２） 出力 Ｙｉ＝ｆ（Ｘｉ） ・・・・・・・・・・（３） ここで Ｙｉの値は０から１の間の数となる。他方、入
力層のユニットは入力値をそのまま出力値とする。The sum of products of inputs Xi = ΣWijOj (1) The equation (1) is applied to a function f (Xi) for conversion. In general, a sigmoid function such as the following equation (2) that is differentiable is generally used as a function. f (Xi) = 1 / {1 + exp (−Xi)} (2) Output Yi = f (Xi) (3) where Yi Is a number between 0 and 1. On the other hand, the units in the input layer use the input value as it is as the output value.
【０００４】誤差逆伝播法とは、学習パターンＸｋ か
ら得られる出力パターンＹｉ と学習パターンに対する
所望の出力値Ｉｉ （以後教師パターンと言う）とのユ
ニットの２乗誤差を最小化する学習方法である。ここで
は図２のような３層構造の例について説明するが、多層
の場合も同様である。結合係数の学習は次のようにす
る。まず出力層の学習は損失関数をＥ（二乗誤差）とす
ると、（４）式に示され、ｉは出力層のユニット番号、
ｊは中間層のユニット番号、ｋは入力層のユニット番
号、Ｏｊは中間層の出力、Ｗｉｊは中間層と出力層間の
結合係数、Ｙｉは出力層の出力、Ｉｉは教師パターンで
ある。 Ｅ（Ｗ）＝（１／２）Σ（Ｙｉ−Ｉｉ）・（Ｙｉ−Ｉｉ） ・・・・・（４） ＷはすべてのＷｉｊを示す。The error backpropagation method is a learning method for minimizing the square error of a unit between an output pattern Yi obtained from a learning pattern Xk and a desired output value Ii (hereinafter referred to as a teacher pattern) for the learning pattern. . Here, an example of a three-layer structure as shown in FIG. 2 will be described, but the same applies to a multilayer structure. The learning of the coupling coefficient is performed as follows. First, assuming that the loss function is E (square error), learning of the output layer is represented by equation (4), where i is the unit number of the output layer,
j is the unit number of the intermediate layer, k is the unit number of the input layer, Oj is the output of the intermediate layer, Wij is the coupling coefficient between the intermediate layer and the output layer, Yi is the output of the output layer, and Ii is the teacher pattern. E (W) = (１ ／) Σ (Yi−Ii) · (Yi−Ii) (4) W indicates all Wij.
【０００５】最急降下法（確率的降下法）を適用する
と、（５）式を学習信号として（６）式に示すように結
合係数を変えればよい。 δＥ／δＷｉｊ＝（Ｙｉ−Ｉｉ）ｆ’（ΣＷｉｊＯｊ）Ｏｊ ・・・・（５） 新Ｗｉｊ＝旧Ｗｉｊ−ｃδＥ／δＷｉｊ ・・・・・・・・（６） ここで、ｃは学習定数、Ｏｊ は中間層の出力である。When the steepest descent method (probabilistic descent method) is applied, the coupling coefficient may be changed as shown in equation (6) using equation (5) as a learning signal. δE / δWij = (Yi−Ii) f ′ (ΣWijOj) Oj (5) New Wij = old Wij−cδE / δWij (6) where c is a learning constant, Oj is the output of the hidden layer.
【０００６】（２）式のシグモイド関数は、一般的には
次の（７）式で表せ、これを微分すると、元の関数を使
い、（８）式のように表される。 ｆ（ｘ）＝１／｛１＋ｅｘｐ（−ｘ）｝ ・・・・・・・・・・（７） ｆ’（ｘ）＝ｆ（ｘ）（１−ｆ（ｘ）） ・・・・・・・・・・（８） 実際にはｆ（ΣＷｉｊＯｊ）＝Ｙｉであるから、（８）
式は、 ｆ’（ΣＷｉｊＯｊ）＝Ｙｉ（１−Ｙｉ） で示され、（５）式は（９）式となる。 δＥ／δＷｉｊ＝（Ｙｉ−Ｉｉ）Ｙｉ（１−Ｙｉ）Ｏｊ ・・・・・（９） したがってｃ＝１とすると、（６）式は、 新Ｗｉｊ＝旧Ｗｉｊ−（Ｙｉ−Ｉｉ）Ｙｉ（１−Ｙｉ）Ｏｊ ・・・（１０） で示される。 ここで、Ｄ１ｉ＝（Ｉｉ−Ｙｉ）Ｙｉ
（１−Ｙｉ）とすると、（１０）式は（１１）式で表さ
れる。 新Ｗｉｊ＝旧Ｗｉｊ＋Ｄ１ｉＯｊ ・・・・・・・・（１１） 中間層の学習も損失関数をＥ（二乗誤差）とすると、
（１２）式で表される。 Ｅ（Ｖ）＝１／２（Ｙｉ−Ｉｉ）・（Ｙｉ−Ｉｉ） ・・・・・・（１２） ＶはすべてのＶｊｋのことである。ここで、Ｖｊｋは中
間層と入力層間の結合係数を表す。最急降下法（確率的
降下法）を適用すると、（１３）式を学習信号として
（１４）式に示すように結合係数を変えればよい。The sigmoid function of the equation (2) can be generally expressed by the following equation (7), and by differentiating the sigmoid function, the original function is used and expressed by the equation (8). f (x) = 1 / {1 + exp (−x)} (7) f ′ (x) = f (x) (1−f (x)) (8) Since f (@WijOj) = Yi in practice, (8)
The equation is represented by f ′ (ΣWijOj) = Yi (1−Yi), and equation (5) becomes equation (9). δE / δWij = (Yi−Ii) Yi (1−Yi) Oj (9) Therefore, if c = 1, the expression (6) is expressed as follows: New Wij = Old Wij− (Yi−Ii) Yi ( 1-Yi) Oj (10) Here, D1i = (Ii−Yi) Yi
If (1-Yi), the expression (10) is represented by the expression (11). New Wij = Old Wij + D1iOj (11) If learning of the hidden layer is also represented by E (square error),
It is expressed by equation (12). E (V) = 1/2 (Yi−Ii) · (Yi−Ii) (12) V is all Vjk. Here, Vjk represents a coupling coefficient between the intermediate layer and the input layer. When the steepest descent method (probabilistic descent method) is applied, the coupling coefficient may be changed as shown in Expression (14) using Expression (13) as a learning signal.
【０００７】 δＥ／δＶｊｋ＝δＥ／δＯｊ・δＯｊ／δＶｊｋ ＝Σ（Ｙｉ−Ｉｉ）δＹｉ／δＯｊ・δＯｊ／δＶｊｋ ＝｛Σ（Ｙｉ−Ｉｉ）ｆ’（ＷｉｊＯｊ）Ｗｉｊ｝ ×ｆ’（ΣＶｊｋＸｋ）Ｘｋ ・・（１３） 新Ｖｉ＝旧Ｖｉ−ｃδＥ／δＶｊｋより ・・・・・・・・（１４） （１４）式は（１５）〜（１８）式を用いて変換し、
（１９）式を得る。 Ｄｊ ＝−｛Σ（Ｙｉ−Ｉｉ）ｆ’（ＷｉｊＯｊ）Ｗｉｊ｝ ＝ΣＤ１ｉＷｉｊ ・・・・・・・・（１５） ｆ’（ΣＶｊｋＸｋ）Ｘｋ＝Ｏｊ（１−Ｏｊ）Ｘｋ ・・・・・・（１６） δＥ／δＶｊｋ＝−ＤｊＯｊ（１−Ｏｊ）Ｘｋ ・・・・・・・（１７） なお、Ｘｋは入力層の出力である。したがってｃ＝１と
すると 新Ｖｊｋ＝旧Ｖｊｋ＋ＤｊＯｊ（１−Ｏｊ）Ｘｋ ・・・・・・・（１８） ここで Ｄ２ｊ＝ＤｊＯｊ（１−Ｏｊ）とする。 したがって、新Ｖｊｋ＝旧Ｖｊｋ＋Ｄ２ｊＸｋ ・・・・・・・（１９） このようにして、入力層中間層間の結合係数の学習式も
表すことが出来る。結合係数の計算は出力層のユニット
から始めて中間層のユニットへ移り、次々に前段の中間
層へ移っていく。従って学習は次のように進む。まず学
習用のパターンを入力し、結果を計算する。結果の教師
パターンとの誤差を減らすように全ての結合係数を変更
する。再び、学習用パターンを入力する。これを収束す
るまで繰り返す。ΔE / δVjk = δE / δOj · δOj / δVjk = Σ (Yi-Ii) δYi / δOj · δOj / δVjk = ｛Σ (Yi-Ii) f ′ (WijOj) Wij｝ × f ′ (ΣVjkXk) Xk From (13) New Vi = Old Vi−cδE / δVjk (14) Expression (14) is converted using Expressions (15) to (18),
Equation (19) is obtained. Dj =-{(Yi-Ii) f '(WijOj) Wij} = {D1iWij ... (15) f' (@ VjkXk) Xk = Oj (1-Oj) Xk ... (16) δE / δVjk = −DjOj (1-Oj) Xk (17) where Xk is an output of the input layer. Therefore, if c = 1, new Vjk = old Vjk + DjOj (1-Oj) Xk (18) where D2j = DjOj (1-Oj). Therefore, new Vjk = old Vjk + D2jXk (19) In this manner, the learning equation of the coupling coefficient between the input and intermediate layers can be expressed. The calculation of the coupling coefficient starts from the unit of the output layer, moves to the unit of the intermediate layer, and then to the intermediate layer of the preceding stage. Therefore, the learning proceeds as follows. First, a learning pattern is input, and the result is calculated. All coupling coefficients are changed so as to reduce the error from the resulting teacher pattern. The learning pattern is input again. This is repeated until convergence.
【０００８】[0008]
【発明が解決しようとする課題】従来の技術では、次の
ような欠点がある。 （１）従来の多層階層構造型ニューラルネットワークに
於ける入力層と中間層の間の結合係数および中間層と出
力層間の結合係数の初期値は乱数で設定し、学習データ
により学習して結合係数を調整しているため、結合係数
の初期値の設定具合により同一の学習データを与えて学
習させたニューラルネットワークでも同一の未知データ
に対して乱数で設定しているため、異なる認識、推定結
果が得られる場合がある。 （２）従来の多層階層構造型ニューラルネットワークの
学習方法は学習データを一括して与えるため、学習がし
難いデータ、複数の出力区分のいずれにも属するデータ
を学習データから省くことが困難である。 （３）従来の多層階層構造型ニューラルネットワークの
学習方法は学習データを一括して与えるため、学習がし
難いデータ、複数の出力区分の境界上にあるデータを学
習データに含んでいる場合、収束しないために学習が進
まない、また学習回数を増やしても学習が収束しない、
学習時間がかかることがある。The prior art has the following disadvantages. (1) In the conventional multilayer hierarchical structure type neural network, the initial values of the coupling coefficient between the input layer and the intermediate layer and the coupling coefficient between the intermediate layer and the output layer are set by random numbers, and the coupling coefficient is learned by learning data. Since the same unknown data is given by random numbers even in the neural network that is trained by giving the same learning data according to the setting condition of the initial value of the coupling coefficient, different recognition and estimation results May be obtained. (2) In the conventional learning method of a multilayer hierarchical structure type neural network, since learning data is provided in a lump, it is difficult to exclude data that is difficult to learn and data belonging to any of a plurality of output sections from the learning data. . (3) In the conventional learning method of the multilayer hierarchical structure type neural network, since learning data is provided collectively, if learning data includes data that is difficult to learn or data on a boundary of a plurality of output sections, the convergence occurs. Learning does not progress because it is not done, and learning does not converge even if the number of learning is increased,
Learning time may be required.
【０００９】[0009]
【課題を解決するための手段】本発明は上述した点に鑑
みて創案されたもので、その目的とするところは、ニュ
ーラルネットワークに対して次の改良手段を施すことに
ある。 1 請求項１において、多層階層構造型神経回路網にお
いて、学習候補データから学習データを選択し段階的に
学習データを更新する学習手段を有することによる。 2 請求項２において、多層階層構造型神経回路網にお
いて、学習候補データから学習データを選択する際、複
数のニューラルネットワークによる学習候補データの認
識結果に基づき選択し段階的に学習データを更新する学
習手段を有することによる。SUMMARY OF THE INVENTION The present invention has been made in view of the above points, and has as its object to provide the following improvement means for a neural network. (1) In the multi-layer hierarchical neural network according to the first aspect, there is provided learning means for selecting learning data from learning candidate data and updating the learning data step by step. 2. A learning method according to claim 2, wherein, when selecting learning data from the learning candidate data in the multilayer hierarchical neural network, the learning data is selected based on the recognition result of the learning candidate data by a plurality of neural networks, and the learning data is updated in a stepwise manner. By having means.
【００１０】その作用は、後述する実施例において詳細
に説明するが、ニューラルネットワークにおいて数字デ
ータ、文字データ、各種判別データを学習する際、認識
判定時に認識精度を上げるように、学習候補データから
学習データを選択し学習することにある。また、学習デ
ータを選択する際、複数のニューラルネットワークによ
る学習候補データの認識結果に基づき選択する。さら
に、これらの処理を繰り返し行い段階的に学習データを
更新して学習することにある。初期の学習データの選択
の仕方は、あらかじめ学習データより専門家が判断し設
定しても良いし、また学習データと条件により自動的に
選択し設定しても良い。学習候補データから学習データ
を選択する際、既に学習し終わったニューラルネットワ
ークにより学習候補データを認識し正しく認識したデー
タを学習データに加えさらに学習を継続させれば学習デ
ータが新たに加わった分、認識能力が増す作用がある。
もし、このとき単に学習データを増加させただけでは学
習し難いデータや複数の出力区分の境界上やその近辺に
あるデータが混合するおそれがあり、かえって認識能力
が低下するおそれがある。この学習に使用するニューラ
ルネットワークは１つでもよいが、複数の異なるニュー
ラルネットワークを使い並列的に学習しその認識結果を
使い選択の条件とすればニューラルネットワークの結合
係数の初期値の設定による不確実性から逃れられ学習デ
ータの安定度が増すことになる。以下、本発明の神経回
路網の実施例を、図面に基づいて詳述する。The operation will be described in detail in an embodiment which will be described later. When learning numerical data, character data, and various types of discrimination data in a neural network, learning is performed from learning candidate data so as to increase recognition accuracy in recognition determination. It is about selecting and learning data. When selecting learning data, selection is made based on the recognition result of learning candidate data by a plurality of neural networks. Further, there is a need to repeat these processes to update the learning data in a step-by-step manner and perform learning. The method of selecting the initial learning data may be determined and set by an expert in advance from the learning data, or may be automatically selected and set based on the learning data and conditions. When selecting the learning data from the learning candidate data, the learning network recognizes the learning candidate data by the already learned neural network, adds the correctly recognized data to the learning data, and continues the learning. It has the effect of increasing recognition ability.
At this time, if the learning data is simply increased, data that is difficult to learn or data on or near the boundary of a plurality of output sections may be mixed, and the recognition ability may be reduced. One neural network may be used for this learning, but if learning is performed in parallel using a plurality of different neural networks and the recognition result is used as a selection condition, uncertainty due to the setting of the initial value of the coupling coefficient of the neural network This escapes the nature and increases the stability of the learning data. Hereinafter, embodiments of the neural network of the present invention will be described in detail with reference to the drawings.
【００１１】[0011]
【発明の実施の形態】図１は本発明のニューラルネット
ワークを含む学習認識装置の一実施例の全体の構成図
で、１０は神経回路網学習認識装置、１はニューラルネ
ットワーク部、２はワーキングメモリ（ニューラルネッ
トワーク部１で使用する一時的に入力あるいは演算した
ものを記憶しておく場所）、３は入力制御部、４は出力
制御部、５は入力装置、６は出力・表示を行う装置、７
は学習候補データファイルである。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 1 is a diagram showing the overall configuration of an embodiment of a learning / recognition apparatus including a neural network according to the present invention, wherein 10 is a neural network learning / recognition apparatus, 1 is a neural network unit, and 2 is a working memory. (A place for temporarily storing input or calculated data used in the neural network unit 1), 3 is an input control unit, 4 is an output control unit, 5 is an input device, 6 is an output / display device, 7
Is a learning candidate data file.
【００１２】神経回路網学習認識装置１０において、各
種設定値を入力装置５に入力すると、入力された値は、
入力制御部３を介してワーキングメモリ２にそれぞれの
値が記憶される。また学習パターン、教師パターンより
構成される学習候補データを入力装置５に入力すると、
入力された値は、入力制御部３を介して学習候補データ
ファイル７にそれぞれのパターンが記憶される。それぞ
れの入力値はニューラルネットワーク部１に入力され、
ここで、学習候補データファイル７上の学習パターン、
教師パターン、およびワーキングメモリ２上の各種設定
値をもとに学習を行い結合係数を更新する。結合係数は
ニューラルネットワーク部１の内部に蓄えられ、学習結
果を、出力制御部４を介して、出力・表示を行う装置６
に出力・表示する。また神経回路網学習認識装置１０に
おいて、未知パターンを入力すると、前述したと同様
に、入力された値は入力制御部３を介してワーキングメ
モリ２に記憶される。ニューラルネットワーク部１は、
結合係数をもとに認識または値推定を行い、結果を出力
制御部４を介して、出力・表示を行う装置６に出力・表
示する。In the neural network learning / recognition device 10, when various set values are input to the input device 5, the input values are:
Each value is stored in the working memory 2 via the input control unit 3. When learning candidate data including a learning pattern and a teacher pattern is input to the input device 5,
For the input values, respective patterns are stored in the learning candidate data file 7 via the input control unit 3. Each input value is input to the neural network unit 1,
Here, the learning pattern on the learning candidate data file 7,
Learning is performed based on the teacher pattern and various set values on the working memory 2 to update the coupling coefficient. The coupling coefficient is stored in the neural network unit 1, and the learning result is output / displayed via the output control unit 4 via the output control unit 4.
Output and display to When an unknown pattern is input to the neural network learning / recognition device 10, the input value is stored in the working memory 2 via the input control unit 3 as described above. The neural network unit 1
Recognition or value estimation is performed based on the coupling coefficient, and the result is output / displayed to the output / display device 6 via the output control unit 4.
【００１３】次に図２〜図８により本発明の一実施例を
説明する。図２は入力、中間、出力層からなるニューラ
ルネットワークのユニットによる結合状態を示す概念
図、図３は１ユニットの内部状態説明図である。図４は
学習候補データファイルの説明図である。この図は学習
候補データがｍ個あり、それを区別するためにデータ
１、データ２、データ３、…、データｍのデータ番号を
付けている、また学習するニューラルネットワークがｎ
個あり、ニューラルネットワーク１、ニューラルネット
ワーク２、…、ニューラルネットワークｎの識別符号を
付けている。学習データ／認識データ区分はそれぞれの
データを学習に使用するか認識に使用するかの区分を示
している。データ番号とニューラルネットワーク番号の
対応するマトリックス上には各ニューラルネットワーク
の学習後の全学習候補データに対して認識を行った結
果、すなわち正認識（正しく認識した）、誤認識、不認
識（正認識でも不認識でもなく判定できなかった）の区
別が記入されている。Next, an embodiment of the present invention will be described with reference to FIGS. FIG. 2 is a conceptual diagram showing a connection state by a unit of a neural network composed of input, intermediate and output layers, and FIG. 3 is an explanatory diagram of an internal state of one unit. FIG. 4 is an explanatory diagram of the learning candidate data file. In this figure, there are m pieces of learning candidate data, and data numbers of data 1, data 2, data 3,..., Data m are assigned to distinguish them, and the learning neural network is n.
, Neural network 1, neural network 2,..., Neural network n. The learning data / recognition data division indicates a division of whether each data is used for learning or recognition. On the matrix corresponding to the data number and the neural network number, the result of performing recognition on all the learning candidate data after learning of each neural network, that is, correct recognition (correct recognition), erroneous recognition, non-recognition (correct recognition) However, it was not unrecognized and could not be determined).
【００１４】図５、図６、図７はニューラルネットワー
クの学習手段を説明するフローチャートで、各々のニュ
ーラルネットワークの入力、中間、出力層を構成するユ
ニット数をＩＮ、ＨＮ、ＯＮとする。図８はニューラル
ネットワークの認識手段を説明するフローチャートであ
る。以下、図５、図６、図７のフローチャートを用いて
学習を行う手順を示す。 １１・・・処理開始。 １２・・・ニューラルネットワーク部１において、ニュ
ーラルネットワークモデル名設定。学習するニューラル
ネットワーク数ｎを設定する。ここでｎは１以上の整数
である。各ニューラルネットワークの結合係数を初期化
する。各ニューラルネットワークの結合係数の初期値は
異なるものとする。終了条件の目標値等の各種パラメー
タの値を設定する。 １３・・・入力装置５から与えられた学習候補データフ
ァイル７内のデータに学習データか認識データかの区分
を付加する。そして、同ファイルより学習データを選択
し学習パターンとして設定する。ここで、初期の区分の
与え方は、あらかじめ学習データより専門家が判断し設
定しても良いし、また学習データと条件により自動的に
区分し設定しても良い。 １４・・・ニューラルネットワーク部１において、学習
するニューラルネットワークの数だけ１０１の学習処理
を繰り返し行う。ニューラルネットワーク番号を１から
ｎまで順に変え１０１の処理を行う。 １０１・・学習処理を行う。詳細は図６、図７の説明に
よる。FIGS. 5, 6 and 7 are flowcharts for explaining the learning means of the neural network. The number of units constituting the input, intermediate and output layers of each neural network is set to IN, HN and ON. FIG. 8 is a flowchart for explaining the recognition means of the neural network. Hereinafter, a procedure for performing learning using the flowcharts of FIGS. 5, 6, and 7 will be described. 11 ... Process start. 12: Neural network model name setting in the neural network unit 1. The number n of neural networks to be learned is set. Here, n is an integer of 1 or more. Initialize the coupling coefficient of each neural network. It is assumed that the initial value of the coupling coefficient of each neural network is different. The value of various parameters such as the target value of the end condition is set. 13... A classification of learning data or recognition data is added to the data in the learning candidate data file 7 given from the input device 5. Then, learning data is selected from the same file and set as a learning pattern. Here, the way of assigning the initial division may be determined and set in advance by an expert based on the learning data, or may be automatically set based on the learning data and conditions. 14... The neural network unit 1 repeatedly performs 101 learning processes for the number of neural networks to be learned. The neural network number is sequentially changed from 1 to n, and the process of 101 is performed. 101. Perform learning processing. Details are described with reference to FIGS.
【００１５】１５・・・学習候補データファイル７から
認識データを選択し、認識パターンとして設定する。 １６・・・ニューラルネットワーク部１において、ニュ
ーラルネットワークの数だけ２０１の認識処理を繰り返
し行う。ニューラルネットワーク番号を１からｎまで順
に変え、２０１の処理を行う。 ２０１・・認識処理を行う。詳細は図８の説明による。 １７・・・終了条件を満たしたか？ＹＥＳの場合は終了
１９へ行く。ＮＯの場合は学習データ更新１８へ行く。
ここで終了条件とは 1指定処理時間に達した。 2指定繰
り返し回数に達した。 3指定認識率に達した。 4指定誤
認識率を下回った。 5指定不認識率を下回った。 6学習
データ、認識データの区分が変化しなくなった。等の条
件やその複合条件をいう。 １８・・・現在の学習データから学習データ更新条件に
合致するデータを図４の学習候補データファイル内の各
データに記録された値から検索し、該当するデータを新
たな学習データとする。ここで学習データ更新条件とし
ては 1現在の学習候補データのうち、各ニューラルネッ
トワーク全てに対して正認識のデータ。 2現在の学習候
補データのうち、各ニューラルネットワーク全て対して
１つでも正認識のデータ。 3現在の学習候補データのう
ち、各ニューラルネットワークに対して正認識の数が閾
値以上のデータ。 4現在の学習候補データのうち、各ニ
ューラルネットワーク全てに対して正認識または不認識
のデータ（ただし正認識を１つ以上含む）。等の条件を
設定する。このとき学習候補データファイルの学習デー
タ／認識データ区分を更新する。すなわち、新たに学習
データとなったものの区分を学習データとしそれ以外の
データは認識データとする。 １９・・・学習処理を終了する。学習によって得られた
複数のニューラルネットワークから実際の未知データの
認識に使用するニューラルネットワークは認識率、誤認
識率、不認識率から総合的に判断して選択することがで
きる。ここで、認識率、誤認識率、不認識率とは判定に
用いた全データ数と正認識データ数、誤認識データ数、
不認識データ数の割合のことである。15 ... Select recognition data from the learning candidate data file 7 and set it as a recognition pattern. 16... In the neural network unit 1, the recognition processing of 201 is repeated by the number of neural networks. The neural network number is sequentially changed from 1 to n, and the process of 201 is performed. 201. Perform recognition processing. For details, refer to the description of FIG. 17 ... Is the termination condition satisfied? If YES, go to end 19. If NO, go to learning data update 18.
Here, the termination condition is one specified processing time. 2 The specified number of repetitions has been reached. 3 Recognition rate reached. 4 Below the false recognition rate. 5 Below the specified unrecognition rate. 6 The classification of learning data and recognition data no longer changes. Etc. and its composite conditions. 18: Data matching the learning data update condition is searched from the current learning data from the values recorded in the respective data in the learning candidate data file in FIG. 4, and the corresponding data is set as new learning data. Here, the learning data update condition is as follows. 1 Among the current learning candidate data, data that is correctly recognized for all neural networks. (2) Among the current learning candidate data, at least one data that is correctly recognized for all neural networks. 3 Among the current learning candidate data, data for which the number of positive recognitions for each neural network is equal to or greater than the threshold. 4 Among the current learning candidate data, data that is correctly recognized or unrecognized for all neural networks (however, includes one or more correct recognitions). Set conditions such as At this time, the learning data / recognition data section of the learning candidate data file is updated. That is, the section of the newly learned data is regarded as learning data, and the other data is regarded as recognition data. 19 ... The learning process ends. A neural network used for actual unknown data recognition from a plurality of neural networks obtained by learning can be comprehensively selected based on a recognition rate, an erroneous recognition rate, and a non-recognition rate. Here, the recognition rate, the misrecognition rate, and the non-recognition rate are the total number of data and the number of correct recognition data, the number of misrecognition data,
It is the ratio of the number of unrecognized data.
【００１６】１０１・・処理開始。 １０２・・ニューラルネットワーク番号設定。学習パタ
ーン番号を０に初期化する。繰り返しカウントを０に初
期化する。繰り返し終了回数を設定する。入力層、中間
層、出力層の各ユニット数をＩＮ、ＨＮ、ＯＮと値を設
定する。学習終了条件の目標値等の各種パラメータの値
を設定する。 １０３・・全ての学習パターンと教師値を入力装置５か
ら入力してワーキングメモリー２に設定する。学習パタ
ーン数を入力装置５から入力して設定する。 １０４・・入力層と中間層間の各結合係数および中間層
と出力層間の各結合係数をワーキングメモリー２からニ
ーウラルネットワーク部１に読み込み設定する。101: Processing started. 102. ・ Neural network number setting. The learning pattern number is initialized to 0. Initialize the repeat count to zero. Set the repetition end count. The number of each unit of the input layer, the intermediate layer, and the output layer is set to IN, HN, and ON. The value of various parameters such as the target value of the learning end condition is set. 103... All learning patterns and teacher values are input from the input device 5 and set in the working memory 2. The number of learning patterns is input from the input device 5 and set. 104. The coupling coefficients between the input layer and the intermediate layer and the coupling coefficients between the intermediate layer and the output layer are read from the working memory 2 into the neural network unit 1 and set.
【００１７】１０５・・学習パターンを入力層の各ユニ
ットに設定する。 １０６・・入力層の各ユニットと入力層と中間層間の結
合係数により中間層ユニットの出力値を計算する。中間
層の各ユニットと中間層と出力層間の結合係数により出
力層ユニットの出力値を計算する。 １０７・・教師値と出力層ユニットの出力値との誤差値
を計算する。さらに、出力層ユニットの誤差値を中間層
側に伝搬させ中間層の誤差値を計算する。 １０８・・誤差値により、中間層と出力層間の結合係数
を更新する。同様に、入力層と中間層間の結合係数も更
新する。 １０９・・学習パターン番号をカウントアップする。 １１０・・学習パターンが終了か判定する。ＹＥＳの場
合は次へ、ＮＯの場合は１０５へ行く。 １１１・・誤差値の合計が指定値以下か判定する。ＹＥ
Ｓの場合は１１５へ、ＮＯの場合は次へ行く。105... A learning pattern is set for each unit in the input layer. 106. Calculate the output value of the intermediate layer unit from each unit of the input layer and the coupling coefficient between the input layer and the intermediate layer. The output value of the output layer unit is calculated from each unit of the intermediate layer and the coupling coefficient between the intermediate layer and the output layer. 107. Calculate an error value between the teacher value and the output value of the output layer unit. Further, the error value of the output layer unit is propagated to the intermediate layer side to calculate the error value of the intermediate layer. 108. Update the coupling coefficient between the intermediate layer and the output layer with the error value. Similarly, the coupling coefficient between the input layer and the intermediate layer is updated. 109 ... Count up the learning pattern number. 110: It is determined whether the learning pattern is completed. If YES, go to the next step. If NO, go to 105. 111: It is determined whether the sum of the error values is equal to or less than a specified value. YE
In the case of S, go to 115, and in the case of NO, go to the next.
【００１８】１１２・・全出力パターンと教師パターン
は一致しているか判定する。ＹＥＳの場合は１１５へ、
ＮＯの場合は次へ行く。 １１３・・繰り返しカウントをカウントアップする。学
習パターン番号を０に再初期化する。 １１４・・繰り返しは終了か判定する。ＹＥＳの場合は
次へ、ＮＯの場合は１０５へ行く。 １１５・・ニューラルネットワーク番号を保存する。入
力層、中間層、出力層のユニット数を保存する。各種パ
ラメータ値を保存する。結合係数を保存する。 １１６・・終了。１０１が呼ばれた元の次に進む。112... It is determined whether or not all output patterns match the teacher pattern. If yes, go to 115,
If no, go to next. 113 ... Count up the repetition count. The learning pattern number is re-initialized to 0. 114: It is determined whether the repetition is completed. If YES, go to the next step. If NO, go to 105. 115.-Save the neural network number. Stores the number of units in the input layer, hidden layer, and output layer. Save various parameter values. Save the coupling coefficient. 116 ... End. Proceed to the position where 101 was called.
【００１９】次に、図８のフローチャートを用いて認識
を行う手順を示す。 ２０１・・処理開始。 ２０２・・ニューラルネットワーク番号を読み込み設定
する。入力層、中間層、出力層の各ユニット数を読み込
みＩＮ、ＨＮ、ＯＮと値を設定する。各種パラメータの
値を読み込み設定する。学習済み結合係数を読み込み設
定する。 ２０３・・認識データまたは未知データを入力する。 ２０４・・認識データまたは未知データを入力層に設定
し、各結合係数値により中間層、出力層ユニットの出力
値を計算する。 ２０５・・出力層ユニットの出力値と判定条件より判定
結果を計算する。 ２０６・・判定結果の出力・表示を行う。すなわち、図
４の学習候補データファイル内の各ニューラルネットワ
ークとデータに該当するマトリックス上に判定結果の正
認識、誤認識、不認識の識別を記入する。 ２０７・・認識データまたは未知データ終了か？ ＹＥ
Ｓのとき次へ、ＮＯのとき２０３へ行く。 ２０８・・終了。２０１が呼ばれた元の次に進む。Next, a procedure for performing recognition using the flowchart of FIG. 8 will be described. 201 ... Processing started. 202. Read and set the neural network number. The number of each unit of the input layer, the intermediate layer, and the output layer is read, and IN, HN, and ON are set. Read and set the values of various parameters. Read and set the learned coupling coefficients. 203. Input recognition data or unknown data. 204... Recognition data or unknown data is set in the input layer, and output values of the intermediate layer and the output layer unit are calculated based on the respective coupling coefficient values. 205 ... Calculate the judgment result from the output value of the output layer unit and the judgment condition. 206. Output and display of the determination result. That is, identification of correct recognition, erroneous recognition, and non-recognition of the determination result is entered on a matrix corresponding to each neural network and data in the learning candidate data file of FIG. 207 ... Recognition data or unknown data end? YE
If S, go to the next step. If NO, go to 203. 208 ... End. Proceed to the place where 201 was called.
【００２０】[0020]
【発明の効果】以上説明したように本発明のニューラル
ネットワークによれば、数字認識、文字認識、形状認識
等の学習、認識および推定に、学習データをその性質に
より選択して学習を行うので、すなわち学習し難いデー
タを省くことができるので、従来より高い認識率あるい
は従来より低い誤認識率を得ることができ認識、推定能
力の向上を図ることができる。また、学習候補データフ
ァイルで複数のニューラルネットワークに対しての認識
結果に基づき、学習データを選択し、学習しているの
で、結合係数の初期値の設定具合の影響を少なくし、同
一の未知データに対して同一の結果が得られる可能性を
高くすることができる。As described above, according to the neural network of the present invention, learning is performed by selecting learning data according to its properties in learning, recognition and estimation such as digit recognition, character recognition, and shape recognition. That is, since it is possible to omit data that is difficult to learn, it is possible to obtain a higher recognition rate than before or a false recognition rate lower than before, and to improve the recognition and estimation ability. In addition, since learning data is selected and learned based on recognition results for a plurality of neural networks in the learning candidate data file, the influence of the setting of the initial value of the coupling coefficient is reduced, and the same unknown data is obtained. , The likelihood of obtaining the same result can be increased.
【図１】図１は本発明によるニューラルネットワークを
採用した一実施例のシステム構成図である。FIG. 1 is a system configuration diagram of an embodiment employing a neural network according to the present invention.
【図２】図２は３層構造神経回路網のユニット結合概説
図である。FIG. 2 is a schematic diagram of unit connection of a three-layered neural network.
【図３】図３はユニット内部状態説明図である。FIG. 3 is an explanatory diagram of a unit internal state.
【図４】図４は学習候補データファイルの説明図であ
る。FIG. 4 is an explanatory diagram of a learning candidate data file.
【図５】図５はニューラルネットワークの学習手段を説
明するフローチャートである。FIG. 5 is a flowchart illustrating learning means of a neural network.
【図６】図６はニューラルネットワークの学習手段を説
明するフローチャートである。FIG. 6 is a flowchart illustrating learning means of a neural network.
【図７】図７はニューラルネットワークの学習手段を説
明するフローチャートである。FIG. 7 is a flowchart illustrating learning means of the neural network.
【図８】図８はニューラルネットワークの認識および推
定手段を説明するフローチャートである。FIG. 8 is a flowchart illustrating a neural network recognition and estimation unit.
１ ニューラルネットワーク部 ２ ワーキングメモリー ３ 入力制御部 ４ 出力制御部 ５ 入力装置 ６ 出力・表示を行う装置 ７ 学習候補データファイル １０ 神経回路網学習認識装置 DESCRIPTION OF SYMBOLS 1 Neural network part 2 Working memory 3 Input control part 4 Output control part 5 Input device 6 Device which performs output and display 7 Learning candidate data file 10 Neural network learning and recognition device
Claims (2)
習候補データから学習データを選択し、段階的に学習デ
ータを更新する学習手段を有するニューラルネットワー
ク。1. A neural network having a learning means for selecting learning data from learning candidate data and updating the learning data in a stepwise manner in a multi-layer hierarchical neural network.
習候補データから学習データを選択する際、複数のニュ
ーラルネットワークによる学習候補データの認識結果に
基づき選択し、段階的に学習データを更新する学習手段
を有するニューラルネットワーク。2. In a multilayer hierarchical structure type neural network, when selecting learning data from learning candidate data, learning is performed based on a recognition result of learning candidate data by a plurality of neural networks, and learning data is updated in a stepwise manner. A neural network having means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8358157A JPH10187649A (en) | 1996-12-27 | 1996-12-27 | Neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8358157A JPH10187649A (en) | 1996-12-27 | 1996-12-27 | Neural network |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10187649A true JPH10187649A (en) | 1998-07-21 |
Family
ID=18457843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8358157A Pending JPH10187649A (en) | 1996-12-27 | 1996-12-27 | Neural network |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10187649A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006011270A (en) * | 2004-06-29 | 2006-01-12 | Nec Corp | Image pattern correction method, simulation image generation method using same, and pattern appearance inspection method |
| CN108885249A (en) * | 2016-03-23 | 2018-11-23 | 株式会社电装 | Carry angle learning device |
| WO2020157961A1 (en) * | 2019-02-01 | 2020-08-06 | 三菱電機株式会社 | Artificial neural network learning device, distortion compensation circuit, and signal processing device |
| KR20200110979A (en) * | 2019-03-18 | 2020-09-28 | 스퀘어네트 주식회사 | Predictive maintenance system for defects in plant facilities |
-
1996
- 1996-12-27 JP JP8358157A patent/JPH10187649A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006011270A (en) * | 2004-06-29 | 2006-01-12 | Nec Corp | Image pattern correction method, simulation image generation method using same, and pattern appearance inspection method |
| CN108885249A (en) * | 2016-03-23 | 2018-11-23 | 株式会社电装 | Carry angle learning device |
| CN108885249B (en) * | 2016-03-23 | 2022-05-17 | 株式会社电装 | Carry on angle learning device |
| WO2020157961A1 (en) * | 2019-02-01 | 2020-08-06 | 三菱電機株式会社 | Artificial neural network learning device, distortion compensation circuit, and signal processing device |
| JPWO2020157961A1 (en) * | 2019-02-01 | 2021-03-25 | 三菱電機株式会社 | Artificial neural network learning device, distortion compensation circuit and signal processing device |
| KR20200110979A (en) * | 2019-03-18 | 2020-09-28 | 스퀘어네트 주식회사 | Predictive maintenance system for defects in plant facilities |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3088171B2 (en) | Self-organizing pattern classification system and classification method | |
| CN107729999A (en) | Consider the deep neural network compression method of matrix correlation | |
| CN110490320B (en) | Deep neural network structure optimization method based on fusion of prediction mechanism and genetic algorithm | |
| CN110019795A (en) | The training method and system of sensitive word detection model | |
| JPH08227408A (en) | Neural network | |
| JPH11510936A (en) | Optimization method of fuzzy rules by computer | |
| JPH10187649A (en) | Neural network | |
| CN110808036A (en) | Incremental voice command word recognition method | |
| CN115496991A (en) | Reference expression understanding method based on multi-scale cross-modal feature fusion | |
| JP7230324B2 (en) | Neural network learning method, computer program and computer device | |
| JPH0535710A (en) | Learning method/device for neural network | |
| JPH11175494A (en) | Neural network | |
| JP4267726B2 (en) | Device for determining relationship between operation signal and operation amount in control device, control device, data generation device, input / output characteristic determination device, and correlation evaluation device | |
| JPH0490076A (en) | Method for extracting feature of medical image | |
| Sotirov et al. | A generalized net model of the deep learning neural network | |
| JPH0581226A (en) | Method for learning neural circuit network and device using the method | |
| CN115641480A (en) | Noise data set training method based on sample screening and label correction | |
| JPH09138785A (en) | Pattern matching method and device | |
| JP3288039B2 (en) | Stock price pattern recognition device | |
| JP2778047B2 (en) | A neural network that recognizes time-series patterns | |
| JPH117435A (en) | Neural network | |
| Viklund | Synthesis of sequential data | |
| JP3823554B2 (en) | Operation method and recording medium of neural network learning system | |
| CN115188029A (en) | Pig face identification method based on median attention residual error network | |
| JPH03294983A (en) | Character recognizing device |