JPH045750A - データ処理装置の学習方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、ニューラルネットワークの概念を基礎とする
データ処理装置に関する。

〔従来の技術］ この種のデータ処理装置におけるニューラルネソトワー
クは、第３図に示す神経細胞モデル（以下、ニューロン
という）■を、並列に設けて層状に構成される。各層の
ニューロンは隣接する他の層の全てのニューロンにシナ
プス結合して、データの入出力を行う。すなわちニュー
ロン１において、外部から入力されるデータＩ、　、Ｉ
２、Ｉ３・・・Ｉｎにはそれぞれ重みＷ、　、Ｗ、　、
Ｗ。

・・・Ｗｎが掛けられ、これらの総和と閾値θとの比較
結果に応じたデータ０が出力される。

この比較方法としては種々のものが可能であるが、例え
ば正規化関数１〔ｆ〕を採用すると、出力データ０は、 ０＝１　〔ΣＷｎ−Ｉｎ−θ）　　　−・−・−（１）
と表される。すなわち、ΣＷｎ−Ｉｎが閾値０以上の時
そのニューロンは発火して出力データ○は「１」となり
、またΣＷｎ−Ｉｎが閾値θより小さい時出力データＯ
は「０」となる。

従来のニューラルネットワークは、このようなニューロ
ンを並列に設けてニューラルレイヤを形成するとともに
、このニューラルレイヤを直列に接続して構成される。

ニューラルレイヤは例えば、ローゼンブラット（Ｒｏｓ
ｅｎｂｌａｔｔ）が提案したバーセプトロンのように３
層すなわち入力層、中間層および出力層から成り、各層
のニューロンは隣接する他の層の全てのニューロンにシ
ナプス結合する。

〔発明が解決しようとする課題〕

このようなデータ処理装置において各ニューロンのシナ
プス重みを最適化する繰作は「学習」と呼ばれ、その実
現の保証と効率化は重要な課題である。例えば、近年注
目を集めているバックプロパゲーション法では、ローカ
ルミニマムからの脱出と、収束時間が問題点として残さ
れている。特に多数の中間層を含むニューラルネットワ
ークにおいてその傾向が大である。

本発明はこのような従来の問題点を解消すべく創案され
たもので、中間層に対し効率的学習を施し得る学習方法
を提供することを目的とする。

〔課題を解決するための手段〕

本発明に係る学習方法は、入力層の発火パターンと出力
層の発火パターンとを複数の入出力について人為的に決
定し、各入出力について、中間層の各ニューロンが、入
力層および出力層の対応する複数のニューロンのうち所
定の割合以上のニューロンが発火している場合に、発火
する傾向を持つように、中間層および出力層のシナプス
の重みを決定するものである。そして、中間層が多数設
けられる場合には、１個の中間層の学習が所定段階まで
終了したときに、新たに中間層を追加し、これに対して
も同様の学習を施し、逐次中間層を増加させるものであ
る。ここに入出力層のニューロン数はその１回のデータ
容量により決定され、処理し得るデータ個数はニューラ
ルネットワーク全体のニューロン数により決定される。

したがって多くのデータの処理のためには中間層の増大
は必須である。

〔実施例〕

以下図示実施例により本発明を説明する。

第１図は、本発明の一実施例に係るデータ処理装置を有
する文字認識システムを示す。この文字認識システムは
、ビデオカメラ１０、前処理装置２０、データ処理装置
３０、後処理装置４０およびデイスプレィ５０を備える
。ビデオカメラ１０は文字を入力するために設けられ、
前処理装置２０に接続される。前処理装置２０は例えば
従来公知の画像処理装置であり、入力された文字の特徴
データ（例えば端点数、分岐点数等）を抽出し、この特
徴データをデータ処理装置３０に出力する。

データ処理装置３０は、後述するようにニューラルネッ
トワークを構成し、前処理装置２０から入力された文字
の特徴データに基づいてその文字を認識し、この認識結
果に応じたデータを後処理装置４０に出力する。認識信
号は例えばキャラクタコードであり、後処理装置４０は
この出力データを例えばワープロデータとして格納し、
同時にデイスプレィ５ｏに出力する。デイスプレィ５０
は例えばＣＲＴから構成され、データ処理装置３０によ
り認識された文字を西面上に表示する。

データ処理装置３０を構成するニューラルネットワーク
はコンピュータのハードウェアの一部として構成される
。このデータ処理装置３０は第１図において模式的に表
されており、この図から理解されるように入力層３１、
中間層３２および出力層３３を有し、中間層３２は入力
層３１および出力層３３の間に配設される。各層３１．
３２．３３は本実施例において、それぞれ多数のニュー
ロンＮを有し、入力層３１のニューロンＮは中間層３２
の全てのニューロンＮに接続され、また中間層３２のニ
ューロンＮは出力層３３の全てのニューロンＮに接続さ
れる。

各ニューロンＮは第３図を参照して上述したように、（
１）式の正規化関数に基づき、「１」またはｒＱＪのデ
ータを出力する。ニューロンＮは例えばオペアンプから
構成され、また各ニューロンＮへ入力されるデータに乗
じられる重みＷｎは、例えば、オペアンプの入力端子に
接続された可変抵抗により得られる。また閾値関数はス
イッチング素子等によって実現される。すなわち各ニュ
ーロンの出力データに応じて可変抵抗の大きさを変化さ
せることにより、重みＷｎが変化せしめられ、出力デー
タが補正されて学習が行われる。

第２図（ａ）、（ｂ）、（ｃ）は入力層３１、中間層３
２および出力層３３を模式的に表したものである。ニュ
ーロンの数は、入力層３１、中間層３２、出力層３３の
順に少なくなっている。ここでは説明の簡単のため、人
力層３１のニューロン数を６４個、中間層３２のニュー
ロン数を４９個、出力層３３のニューロン数を３６個と
する。

また各層のニューロンは、入力層３１においては横方向
および縦方向にそれぞれ８個配列され、中間層３２にお
いては横方向および縦方向にそれぞれ７個配列され、出
力層３３においては横方向および縦方向に６個配列され
ている。ここで、図の左下隅のニューロンの位置を原点
とし、左からｉ番目、下からｊ番目に位置するニューロ
ンをＮ　ｉ　ｊとする。

入力層３１の各ニューロンは、ビデオカメラ１０を介し
て得られる文字の特徴データによって発火する。例えば
Ｎ１１、Ｎ１８、Ｎｉ１ｓ　Ｎｚ□の発火の組合せによ
って端点数が表され、Ｎｌ１、Ｎ１４、Ｎ２３、Ｎ２４
の発火の組合せによって分岐点数が表されるとする。す
なわち、入力層３１のニューロンの発火パターンは入力
される文字に応じて人為的に決定される。

一方出力層３３では、例えば、左下隅と右上隅のニュー
ロンを結ぶ対角線上のニューロンＮ□。

（破線りにより囲まれたニューロン）により文字が表さ
れる。すなわちこの対角線上のニューロンは、その文字
のキャラクタコードを表し、出力層３３のニューロンの
発火パターンは人為的に決定される。本実施例において
、対角線上のニューロンＮ　ｉ　ｉの発火パターンの種
類は６４通りあり、したがって本実施例では６４種類の
文字を認識することができ、例えばアルファベットの認
識が可能である。

さて文字認識の学習が行われる前においては、データ処
理装置３０に文字データが入力されても、出力層３３の
ニューロンは発火しない。このニューロンは、学習によ
って発火が可能となり、入力された文字データに応じた
所定の発火パターンを呈するようになると、学習は終了
する。なお学習用の入出カバターンはニューラルネット
ワークで処理すべきデータの代表データであり、実際に
処理すべきデータは広範囲に渡る。そして学習は、この
代表入出力データに対する連想が適正に行われるまで実
行される。しかして学習が終了すると、入力層３１およ
び出力層３３は入力された文字データに応じて上述した
ように人為的に定められる発火パターンを呈することと
なる。そして、入力層３１、中間層３２および出力層３
３の各層における発火パターンはこれらの層３１．３２
．３３にわたってスムーズに変化していくと推定される
。

そこで本実施例では、学習の過程において、これらの層
における発火パターンがスムーズに変化するように、中
間層３２および出力層３３の重みを変化させている。

まず、中間層３２のニューロンＮ　ｉ　ｊが発火すべき
か否かを、入力層３１および出力層３３の対応する複数
のニューロンの発火を考慮して決定する。

すなわち、入力１３１および出力層３３において対応す
る複数のニューロンのうち、所定の割合以上のニューロ
ンが発火し、あるいは発火すべきである場合、中間層３
２のニューロンＮ工、は発火する傾向を有すると判断さ
れ、このような発火が得られるように、中間層３２およ
び出力層３３の所定のニューロンの重みが増加せしめら
れる。

このような中間層のニューロンが発火すべきか否かの判
定方法について、第２図（ａ）〜（ｃ）を参照して具体
的に説明する。なお第２図（ａ）は入力層３１の発火パ
ターン、第２図（ｂ）は中間層３２の発火パターン、第
２図（Ｃ）は出力層３３の発火パターンをそれぞれ示し
、図中、黒丸は発火しているニューロン、白丸は発火し
ていないニューロンを示す。この例では、入力された文
字の特徴データによって入力層３１は図のような発火パ
ターンを呈し、またこの文字を認識するためには、出力
層３３は図のような発火パターンを呈しなければならな
い。つまり図示された入力層３１の発火パターンは入力
文字によって一意に定まり、出力層３３の発火パターン
は学習が終了した時のものである。一方中間層３２の発
火パターンの傾向は、後述するように入力層３１および
出力層３３の発火パターンに従って決定される。

各層のニューロンの対応関係について説明する。

中間層３２の各ニューロンには、原則として、入力層３
１および出力層３３の各４個のニューロンが対応する。

すなわち、中間層３２のニューロンＮ　ｉ　ｊには、入
力層３１のニューロンＮ　ｉｊ、Ｎ　（ｉ　＋１１ｊｓ
　Ｎ１（ｊ。１１、Ｎ、８゜０１１、。１．（中間層の
ニューロンＮ２．の場合、符号Ｅ２で囲まれた領域）が
対応し、また出力層３３のニューロンＮ　ｆｉ−１１ｆ
ｊ−１１、Ｎｉ＜ｊ−１＋、Ｎ＜＝−＋、ｉ、Ｎ３、（
中間層のニューロンＮ２６の場合、符号Ｆ２で囲まれた
領域）が対応する。ただし、中間層３２において角部に
位置する各ニューロンＮＩ１％Ｎｌ、Ｎ、１、Ｎ７７に
は、上述と同様に入力層３１０４個のニューロンがそれ
ぞれ対応するが、出力層３３に関しては、それぞれ角部
のニューロンＮ　Ｉ　Ｉ、Ｎ　６１％　Ｎ１３、Ｎｈｂ
が対応する。また中間層３２において周縁部に位置する
各ニューロンＮ、、、　Ｎｉ７、Ｎ１５、Ｎ７Ｊには、
上述と同様に入力層３１の４個のニューロンがそれぞれ
対応するが、出力層３３に関しては、中間層３２のニュ
ーロンＮ□１についてはニューロンＮ。

１．１、Ｎ　ｉ　ｌ、中間層３２のニューロンＮ８．に
ついてはニューロンＮ、□−１７、Ｎ　ｉ　６、中間層
３２のニューロンＮＩＪについてはニューロンＮｌ＋ｊ
−１１、Ｎ１、中間ＩＷ３２のニューロンＮ？Ｊについ
てはＮ６（ｊ−１１、Ｎ６Ｊがそれぞれ対応する。

中間層３２のニューロンは、本実施例において、入力層
３１および出力層３３の対応する複数のニューロンのう
ち例えば４０％以上が発火している場合に、発火する傾
向にあると判断される。第２図（ｂ）の例において、中
間層３２のニューロンＮ！６に対応する入力層３１およ
び出力層３３のニューロン（領域Ｅ２およびＦ２の計８
個のニューロン）のうち、３個のニューロンが発火して
いる。

したがって、中間層３２のニューロンＮ２．は発火する
傾向にあると判断される。また中間層３２のニューロン
Ｎ７．に対応する入力層３１および出力層３３のニュー
ロン（領域ＧおよびＨの計６個のニューロン）のうち、
２個のニューロンが発火している。したがって中間層３
２のニューｏ　７　Ｎ　＋　ｓは発火する傾向にはない
。しかして中間層３２のニューロンは、第２［Ｊ（ｂ）
に示すような発火パターンを呈する傾向にあると判断さ
れる。

本実施例における文字認識の学習では、中間層３２およ
び出力層３３の各ニューロンの重みが、このようにして
得られた発火パターンが得られるように、所定値だけ増
加せしめられる。

この重みの増加を第３図を用いて具体的に説明すると、
中間層のニューロン１の出力データ０が発火時の値（例
えば「ｌ」）であれば、そのニューロンｌに結合してい
る入力層のニューロンのうち、発火しているニューロン
から入力されるデータ（例えば「Ｉ！　Ｊと’Ｌ」）に
対するシナプス重み（この場合「Ｗ２」と’Ｗｚ」）が
、例えば５％だけ増加せしめられる。出力層のニューロ
ンのシナプス重みについても同様に処理され、上述した
ように発火すべきであるとされた中間層のニューロンに
対するシナプス重みが、例えば５％だけ増加せしめられ
る。

しかして、入力層３１、中間層３２および出力層３３の
各層間において発火パターンが最もスムーズに変化する
ように、中間層３２および出力層３３の重みが増加せし
められる。ここで、入力層３１および出力層３３の各ニ
ューロンが全ての入力文字に関してできるだけ同じ頻度
で発火するように定めておけば、中間層３２の各ニュー
ロンも均等に発火することが可能となる。これによって
、ローカルミニマムへの落ち込みを防止することが可能
となり、また中間層３１の各ニューロンは、それぞれ略
均等に発火することとなる。すなわち発火しないニュー
ロンの発生を回避することが可能となり、中間層３２の
ニューロンを効率的に作用させることができる。

なお１回の学習におけるシナプス重みの増加は学習回数
に対して第４図のように変化し、複数回の学習により徐
々に全体系の学習が行われるとともに、学習終期には微
小変化による微調整が行われる。また初期の重みの急増
により学習速度が高められる。

上記実施例において、中間１１３２は人力層３１と出力
層３３に接続され、層数は３であった。しかし、本発明
は３層のニューラルネットワークに限定されるものでは
なく、４層以上のニューラルレイヤを有するニューラル
ネットワークにも適用可能である。この場合、まず第１
の中間層を選択し、この中間層の各ニューロンが、入力
層および出力層の対応する複数のニューロンのうち所定
の割合以上のニューロンが発火する場合に、発火する傾
向を持つように、第１の中間層および出力層のシナプス
重みを増加させる。そして全ての入力文字について学習
が所定段階まで終了すると、新たに第２の中間層を追加
し、この第２の中間層についても同様にして、対応する
複数のニューロンの所定割合以上のニューロンが発火す
るか否かを考慮して、第２の中間層およびこの中間層の
出力側に結合された層（出力層または第１の中間層）に
おけるシナプス重みを増加させる。しかして４層の場合
の重み分布が得られる。５層以上の場合も同様である。

第２図（ａ）、（ｂ）、（ｃ）において、中間層３２０
１個のニューロンには、原則として、人力層３１および
出力層３３のそれぞれ４個のニューロンが対応していた
。しかし、対応するニューロンの個数はこれに限定され
るものではな（、必要に応じて任意の数を選択すること
ができ、例えば、中間層３２の１個のニューロンに、入
力層３１および出力層３３のそれぞれ９個のニューロン
が対応するようにしてもよい。

ここで、中間層３２のニューロンＮ２６、Ｎ、６、Ｎ４
６、Ｎ、６、Ｎ　６１１％　Ｎ１ｋについて着目すると
、入力層３１については、領域Ｅ２〜Ｅ、がそれぞれ対
応する。入力層３１において、各領域のニューロンは、
左右に隣接する領域にも重複して含まれ、また同様に、
上下に隣接する領域にも重複して含まれる。したがって
、入力層３１のニューロンは、周縁部のものを除いて、
４つの領域に属することとなり、すなわち中間層３２の
４個のニューロンに対応している。

一方、中間層３２と出力層３３の関係を見ると、中間層
３２の上縁部および右縁部のニューロンＮ８１、Ｎ６．
以外のニューロンＮ　ｉ　ｊは、出力層３３の４個のニ
ューロンに対応する。すなわち中間層３２の例えばニュ
ーロンＮ２１、Ｎ３６、Ｎ４６、Ｎ、６、Ｎ６６、Ｎ７
６は、出力層３３０領域Ｆ２〜Ｆ、がそれぞれ対応する
。出力層３３において、各領域のニューロンは、左右に
隣接する領域にも重複して含まれ、また同様に、上下に
隣接する領域にも重複して含まれる。したがって、出力
層３３のニューロンは、周縁部のものを除いて、４つの
領域に属することとなり、中間層３２の４個のニューロ
ンに対応している。

このように、中間層３２の各ニューロンは、入力層３１
および出力層３３の複数のニューロンに対応する。また
入力層３１および出力層３３の各ニューロンは、中間層
３２の複数のニューロンにそれぞれ対応する。すなわち
、入力層３１および出力層３３においてそれぞれ隣接す
るニューロンは、互いに中間層３２の同じニューロンに
も対応している。したがって入力層３１および出力層３
３の隣接するニューロンは、中間層３２の同じニューロ
ンの発火の傾向の判断に関与することとなる。

なおニューロンに対する入出力データは、デジタルの場
合２値に限定されず、多値であってもよく、またアナロ
グデータであってもよい。

さらに出力層は、対角線上のニューロンによってキャラ
クタコードを表すように構成される必要はなく、全ての
ニューロンによって認識文字を定義するように構成して
もよい。

また各層３１．３２．３３におけるニューロン数は、認
識する文字の種類の数に応じた数だけ設けられる。

さらに、本発明は文字認識だけでなく、図形認識あるい
は音声認識に適用することもできる。

〔発明の効果〕

以上のように本発明によれば、ニエーラルネットワーク
の中間層に対し効率的な学習を施すことができるという
効果が得られる。

【図面の簡単な説明】

第１図は本発明の一実施例を通用した文字認識システム
を示す概略構成図、 第２図は入力層、中間層および出力層におけるニューロ
ンを示す概念図、 第３図はニューロンの一例を示す概念図、第４図は学習
回数と重みの変化との関係を示すグラフである。 ＩＮ・・・ニューロン ３１・・・入力層 ３２・・・中間層 ３３・・・出力層

Claims (2)

【特許請求の範囲】
1. （１）入力されたデータに所定の処理を施した結果に基
   づいて発火し所定のデータを出力する複数のニューロン
   を有する入力層と、この入力層よりも少数のニューロン
   を有する出力層と、上記入力層および出力層の間に配設
   され、上記入力層および出力層の中間の数のニューロン
   を有し、各ニューロンが上記入力層および出力層の各ニ
   ューロンに結合する中間層とを備えたデータ処理装置の
   学習方法において、入力層の発火パターンと出力層の発
   火パターンとを複数の入出力について人為的に決定し、
   各入出力について、中間層の各ニューロンが、入力層お
   よび出力層の対応する複数のニューロンのうち所定の割
   合以上のニューロンが発火している場合に、発火する傾
   向を持つように、中間層および出力層のシナプスの重み
   を増加させ、全ての入出力に対して同様の処理を施すこ
   とを特徴とするデータ処理装置の学習方法。
2. （２）請求項１記載の学習方法により学習されたデータ
   処理装置について、新たな中間層を追加し、この新たな
   中間層の各ニューロンを隣接する層の各ニューロンに接
   続し、新たな中間層の各ニューロンが、入力側および出
   力側の各層の対応するニューロンのうち所定の割合以上
   のニューロンが発火している場合に、発火する傾向を持
   つように、新たな中間層および隣接する出力側の層のシ
   ナプスの重みを増加させ、全ての入出力に対して同様の
   学習を施し、学習が所定段階まで終了した時点でさらに
   新たな中間層の追加と同様の学習を繰り返し、中間層を
   増加させていくことを特徴とするデータ処理装置の学習
   方法。