JPH08115386A - パターン認識装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明の目的は、学習の効率を高めたパターン
認識装置の提供にある。 【構成】本発明のパターン認識装置は入力データから特
徴パターンを抽出する入力処理部２と、特徴パターンを
分類して記憶するための記憶ユニット３−１〜ｎと、入
力データが属するカテゴリを想起する出力処理部４と、
記憶部３の各記憶ユニットおよび出力処理部４の結合構
造を可変に制御することで、学習内容の変化に追従して
適切な分類の記憶ユニットを持った結合構造に変化させ
るネットワーク構造制御部５を備えて構成される。 【効果】本発明によれば、認識対象となるパターンが変
化して特徴パターンの数及び内容が変化した場合にも、
内部構造を変化させることによって記憶ユニットの数を
調節し、適切な記憶容量及び内容を確保することによっ
て、学習効率及び演算処理効率を向上させることができ
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声や文字、図形など
の入力データの特徴パターンを効率良く学習し、またシ
ステムの置かれる環境に合わせて内部構造を動的に変化
することが出来るパターン認識装置に関する。

【０００２】

【従来の技術】従来、入力されたデータ中に含まれるパ
ターンをいくつかのカテゴリに識別し、またパターンを
カテゴリに分類する基準となる特徴の学習を行うことが
出来るパターン認識装置として代表的なものに、誤差逆
伝播法により学習する多層パーセプトロン(Perceptron)
型のニューラルネットワークがある。

【０００３】この多層パーセプトロン型のニューラルネ
ットワークは、入力層として入力ベクトルの次数、出力
層として識別するカテゴリの数だけのユニットを用意
し、さらに中間層の層数およびユニット数を十分な数だ
け用意し、そのユニット間を全結線したものである。

【０００４】しかし、複雑な識別をしようとするとユニ
ット数及び結線数が増大し演算量も多くなるだけでな
く、ユニット数が増えるに従い誤差逆伝播法の学習にお
ける学習平面が複雑な形状をとるようになり、この平面
の最急降下法による学習法である誤差逆伝播学習には非
常に時間がかかってしまったり、局所最適解に陥ったり
して学習が収束しないという問題があった。

【０００５】このような問題を解決するために、特開平
２−２３８５６０号公報に開示されているように、ニュ
ーラルネットワークの学習の収束判定を行い、学習が進
行していないと判断した場合は中間層を拡張する方法が
ある。

【０００６】しかし、本方法においては、学習が収束す
るかどうか判断出来るまでに時間がかかることと、層状
ニューラルネットワークに中間層を追加してから再び学
習を行ない、中間層の機能分化を再び行わなければなら
ないという問題がある。

【０００７】

【発明が解決しようとする課題】上述したパーセプトロ
ンによる第１の従来方式において、学習の収束に要する
時間を少なくするためには、できるだけユニット数を減
らすことと入力データと出力間の非線形性をなくすこと
で前述の学習平面の形状を単純にし、最急降下法が有効
に働くようにする必要がある。しかし一方で、システム
に要求される分類識別機能は複雑なものへの要求が高
い。

【０００８】さらに、上述した従来の方式で必要となる
中間層の層数やユニット数は予測が難しく、必要となる
数よりも多く設定するのが一般的である。これは上述し
た学習平面の単純化を妨げるだけでなく、計算機資源も
余分に消費することになる。ところが、ユニット数を必
要となる数より少なく設定すると、入力データを学習し
きれなくなり学習が収束しないといった問題がある。

【０００９】また、中間層を拡張する第２の方法では、
学習が収束するかどうか判断出来るまでに時間がかかる
ことと、層状ニューラルネットワークに中間層を追加し
ても中間層の機能分化がなされていない状態のため、中
間層を追加してから再び学習を行ない、中間層の機能分
化が十分なされなければ追加の効果があらわれにくいた
め、オフラインで学習する場合には良いが、認識しなが
ら学習も行なう場合には問題がある。

【００１０】本発明の目的は、それぞれの記憶ユニット
を特定の特徴パターンを記憶する独立な処理の単位とし
て分離することで記憶ユニット単位の追加・削除が認識
処理全体に与える影響を極小化し、学習の進行状況や学
習内容に応じて記憶ユニットの個数、内容および結合構
造を既学習結果を損なうことなく変化させることで学習
の効率を高めたパターン認識装置を提供することにあ
る。

【００１１】

【課題を解決するための手段】上記課題を解決するた
め、本発明のパターン認識装置は入力されたデータから
特徴量や特徴パターンを抽出する入力処理部と、特徴パ
ターンを分類して記憶するための記憶ユニットと、抽出
された特徴パターンをもとに入力されたデータが属する
カテゴリを想起する出力処理部に加え、前記記憶部の各
記憶ユニットおよび出力処理部の結合構造を可変に制御
することで、学習内容の変化に追従して適切な分類の記
憶ユニットを持った結合構造に変化させることのできる
ネットワーク構造制御部を備えて構成される。

【００１２】

【作用】入力データが与えられると、入力処理部は入力
データから特徴的なパターンもしくは入力データを良く
表す特徴量を抽出する。そして、抽出された特徴パター
ンを適当に分類して、そのパターンと類似のパターンの
処理を行なう記憶ユニットがその特徴パターンの学習を
実行する。記憶ユニット内の特徴パターンの分類や学習
を行う機構は対象の種類に応じてニューラルネットワー
クやＤＰマッチングなどを自由に選択することができ
る。

【００１３】出力処理部では記憶部の各記憶ユニットの
出力値を参照して特徴パターンの含まれる割合や頻度な
どを求め、それをもとに入力データがどのカテゴリに属
するかの判断を行う。もし、抽出された特徴パターンに
類似したパターンを受け持つ記憶ユニットがまだ無いと
判断される場合は、ネットワーク構造制御部により記憶
ユニットを追加してそのユニットに学習させる。

【００１４】ネットワーク構造制御部では各記憶ユニッ
トの使用頻度や学習の状況に応じて、必要の無い記憶ユ
ニットを削除したり不足している記憶ユニットを追加し
たりして結合関係を動的に変化させる。従って、環境が
変化して記憶する特徴パターンの数や記憶内容が変化し
ても、本発明のパターン認識装置は常に適切なネットワ
ーク規模及び構造に自動調整される。

【００１５】さらに本発明のパターン認識装置では、通
常の層状ニューラルネットワークのように中間層の役割
がはっきりせずひとつの中間層のユニットの出力が幾つ
もの出力ユニットに対し影響を与えるのと異なり、パタ
ーンごとに記憶ユニットが独立しているためユニットの
追加・削除に対して既学習内容に与える影響が少ないと
いう効果もある。

【００１６】また、それぞれの記憶ユニットは類似パタ
ーン毎に独立して用意し、分類された特徴パターンの記
憶という比較的単純な機能に限っているため、学習の収
束が速くなることや、あらかじめ予想される特徴パター
ンのデータを用意しておくことができるという効果もあ
る。

【００１７】

【実施例】以下、本発明の実施例を詳細に説明する。

【００１８】図１は本発明のパターン認識装置のブロッ
ク図である。

【００１９】この図１において、本システムにデータ１
が入力されると入力処理部２は入力されたデータの中か
らシステムが着目すべき特徴パターンを抽出する。この
特徴パターンは正規化したパターンや、特徴となる部分
を検出切り出しした局所特徴パターンのほか、入力され
たデータの統計量、データの中の顕著な値を確率的にあ
るいは順番に取り出した値のように、入力されたデータ
について着目した量について前処理を行った特徴パター
ンデータを用いる。

【００２０】記憶部３は複数の記憶ユニット３−１〜ｎ
からなり、各記憶ユニット３−１〜ｎは入力処理部２で
得られた特徴パターンと記憶内容を照合し、適合してい
ると判断すればその記憶ユニットは発火し、かつ入力処
理部２で得られた特徴パターンを記憶する。すなわち、
特徴パターンと記憶しているパターンとの間のパターン
空間上での距離を求め、その値が許容値以下であれば類
似したパターンであると判断して記憶ユニットは発火
し、記憶しているパターンを先に求めた距離が短くなる
方向に微調整する。

【００２１】このような処理を行なう記憶ユニット３−
１〜ｎはテーブル検索処理、ファジィシステム、ニュー
ラルネットワーク等により目的に応じて自由に構成さ
れ、入力処理部２から渡される特徴パターンについて判
断および記憶を行う。

【００２２】出力処理部４は抽出された特徴パターンを
もとに発火した記憶ユニット３−ｉの種類や強さによ
り、入力されたデータが属するカテゴリの想起および学
習をする。ここで、記憶部３から出力される、入力され
たパターンと各記憶ユニットの記憶内容との類似度は、
一般的にはパターンが適合している／していないという
２値に意味があることから出力処理部４ではしきい値処
理や最大値検出による２値化を行い、その結果を用いて
判断を行う。

【００２３】ネットワーク構造制御部５は記憶部３の各
記憶ユニット３−１〜ｎおよび出力処理部４の結合関係
を規定し、さらに学習の進行状況や記憶ユニットの使用
頻度等を基にその結合関係および記憶ユニット３−１〜
ｎの数を動的に変化させる。ここで記憶部３の規模を適
切な容量に自動調整することで、必要最小限の記憶ユニ
ット構成をとることにより学習・識別にかかる時間を短
縮する。

【００２４】さらに必要な記憶内容を持つ記憶ユニット
３−１〜ｎを取捨選択し結合構造を変化することで、シ
ステムのおかれた動作環境が時間と共に変化したとして
もそれに合わせて適切な構造を取ることができる。

【００２５】以上のように本発明のパターン認識装置で
は、それぞれの機能ごとにユニット化することで動作内
容を単純化・２値化することと、記憶部の容量や記憶の
内容を調整することで、特にニューラルネットワークに
より記憶部を構成したときの学習速度、及び計算処理の
負担を軽減している。さらに、記憶ユニットごとの処理
は独立に行えるため、並列計算機を用いることで高速処
理を行うことも可能である。

【００２６】図２は本発明のパターン認識装置を図形認
識に応用した場合の一実施例である。

【００２７】この図２において、認識すべきパターン１
が提示されると入力処理部２は認識すべきパターン１に
対してウインドウを設定し、認識すべきパターン１全体
を走査する。そして順次、設定したウインドウ内のパタ
ーンの画素があれば１、無ければ−１として記憶部３の
入力ベクトルとする。

【００２８】この例のように、認識すべきパターン全体
を対象とせずパターンの一部を利用することで、パター
ンに含まれる平行移動不変な局所特徴パターンを抽出す
ることができ、図形の変形や雑音に対し頑強になるほ
か、パターン全体を記憶していくよりも記憶効率が良く
なるという利点がある。

【００２９】入力処理部でのウインドウ設定法の別の実
施例として、入力処理部２は認識すべきパターン１に対
してラプラシアンオペレータを作用させ、空間方向の図
形の変化量を算出し、この変化量の大きさで重み付けさ
れた確率分布で認識すべきパターン１の中から特徴部分
の要素の中心を選択し、その部分を中心としたウインド
ウを設定してもよい。

【００３０】記憶部３では各記憶ユニット３−１〜ｎが
入力ベクトルと記憶内容の比較照合を行い、合致してい
ればその入力ベクトルの値を学習する。ここで記憶ユニ
ットとしてニューラルネットワークを用いるのであれ
ば、入力ベクトルｘiに対しノード間結合重みｗiを用い
て

【００３１】

【数１】

【００３２】として記憶ユニットの出力値ｙを算出し、
値を出力処理部４へ渡す。

【００３３】出力処理部４では各記憶ユニット３−１〜
ｎの出力値を参照し、パターンが適合したと判断できる
だけのしきい値を越え、かつ他の記憶ユニットより出力
が大きいなどの判定基準によって各記憶ユニットが発火
するかどうかを決定し、出力値の２値化をする。そし
て、発火した記憶ユニットについては入力ベクトルｘi
について誤差学習◆ ｗi＝ｗi＋ε(ｘi−ｗi)◆ を行う。

【００３４】このような入力ベクトルに対しパターンが
マッチするかどうかという線形の処理は２層のニューラ
ルネットワークで処理できる、すなわち記憶すべきベク
トルのパターンとノード間結合重みが一対一に対応して
いるため、あらかじめ予想される特徴パターンについて
はそのパターンに対応する記憶ユニットとして、結合の
重みを用意しておくということも容易に行える。

【００３５】ここで、ネットワーク構造制御部５は各記
憶ユニット３−１〜ｎの出力値や発火頻度などを監視
し、入力ベクトルに対し適当な分類のできる記憶ユニッ
トがないといった場合は、記憶ユニットを追加すること
で、分類の異なる記憶内容を学習することによる記憶の
上書きを防ぐとか、使用頻度の少ない記憶ユニットや同
じ分類に属する記憶ユニットが複数あるような場合につ
いては、ユニット間の結合を切断したり記憶ユニットを
削除したりして処理効率、収束効率を上げるなど、記憶
内容に合わせて結合関係および記憶ユニットの数を動的
に変化させる。

【００３６】各記憶ユニットの使用頻度を処理に反映す
るため、発火したときは一定量増加し何もしないときは
減衰するように変化する、発火頻度を示すパラメータを
各記憶ユニット３−１〜ｎごとに設け、それを記憶ユニ
ットの出力のしきい値として用いる。

【００３７】これにより、特に学習の初期段階において
同じ記憶ユニットばかりが選択・上書きされて記憶ユニ
ットの機能分化が進行せず、記憶すべき内容の分類がう
まくいかなくなることを防ぎ、さらに出力値としてこの
パラメータを越える記憶ユニットが存在しない場合は、
入力ベクトルに対し適当な分類の内容を持つ記憶ユニッ
トがないと見なして記憶ユニットおよびユニット間の結
合を追加するというネットワーク構造制御部の処理の判
断基準としても用いる。

【００３８】本発明のように、各処理をユニットごとに
分けられた独立なプロセスとすることで、上記のネット
ワーク構造の変更は単に対応するプロセスの起動を行う
か否かの処理に簡単化される。

【００３９】上記のような手順で認識すべきパターン１
に対して入力処理部２および記憶部３を走査が完了する
までの適当な回数動作させ、その２値化結果をヒストグ
ラムとして蓄積することで、入力データ１内に存在する
複数の局所特徴パターンの出現頻度を基にした判断を行
なう。

【００４０】出力処理部４では認識すべきパターン１に
対する各記憶ユニット３−１〜ｎの発火頻度を記憶し、
それを正規化することで認識すべきパターン１中に散在
する特徴的パターンの比率が得られるので、これを基に
認識すべきパターン１の属するカテゴリ、すなわち提示
された図形が何であるかを想起する。

【００４１】本実施例では出力処理部４においてこのよ
うなパターン想起の機能を実現するためにニューラルネ
ットワークを用い、入力層のノード数は記憶ユニット３
−１〜ｎの数ｎに等しく、出力層のノード数はパターン
のカテゴリの数に等しくしておき、誤差逆伝播法によっ
て認識すべきパターン１の属するカテゴリを記憶する。

【００４２】出力処理部の別の実施例としては、あらか
じめ記憶ユニット３−１〜ｎの発火確率をパターンのカ
テゴリ毎に算出しておき、実際の入力パターンによる正
規化された発火頻度から各記憶ユニット３−１〜ｎ毎に
カテゴリに属する確率を推定し、誤り確率を最小にする
というベイズ(Bayes)の規則に従って各記憶ユニットの
カテゴリに属する確率の和が最大となるようにカテゴリ
を選び、それを想起結果としてもよい。

【００４３】さらに図３は、本発明のパターン認識装置
を複数用い、階層結合することにより複雑なシステムを
構成する場合の構成図である。

【００４４】この図３において、下層のパターン認識装
置６−１〜ｎは、入力されたデータ１に対してそれぞれ
異なる特徴情報による特徴パターンを記憶していく。先
に挙げた図形認識の場合では、図形のエッジを図形重心
を中心にしてハフ(Hough)変換したベクトルを特徴量と
したり、色情報、輝度情報のヒストグラムを特徴量とし
て、それぞれのパターン認識装置６−１〜ｎが異なる特
徴量をもとにした認識を行う。

【００４５】そして、さらに上層のパターン認識装置７
がこれらの認識結果を統合して特徴量とし、それをもと
に最終結果を出力する。

【００４６】あるパターン認識装置は、図２で説明した
ような局所的な特徴パターンをもとに入力データ中の図
形を抽出し、あるパターン認識装置は、入力データ全体
の色彩やトーンを抽出するといったように機能別にブロ
ック化し、さらにこれら認識結果を上層のパターン認識
装置７が統合して最終的な出力を得ることで、それぞれ
の機能別ブロックごとに適したニューラルネットワーク
回路や学習方法を採用できるため学習が容易になること
と、さらに新たな別の特徴量を含めて入力データを判断
する必要が出てきた場合に、対応する機能ブロックを付
加するだけで対処できるといった利点がある。

【００４７】また、図３では二層構造を取る場合につい
て説明しているが、さらに複数の階層構造をとることも
考えられる。

【００４８】また図４では、図３と同じく階層構造を取
っているが、下層の認識結果を統合し、最終結果を出力
する上位の階層として出力処理部だけで構成している例
である。

【００４９】この例の場合、下層のパターン認識装置６
−１〜ｎはそれぞれが上位階層の出力処理部４の記憶ユ
ニットとして動作し、それぞれが異なる特徴量をもとに
した認識を行う。上位階層の出力処理部４では、それぞ
れのパターン認識装置６−１〜ｎの認識結果を統合し、
それをもとに最終結果を出力する。

【００５０】またネットワーク構造制御部５により、認
識にあまり必要とされない特徴量のパターン認識装置は
結合を切断されたり、装置への結合を削除されたりして
最適な記憶規模を保ち、学習の収束を早める。

【００５１】本発明に係わる上述の実施例を用いること
により、記憶の単位となる記憶ユニットを単純なもの、
すなわち小規模の層状ニューラルネットワークやテーブ
ル検索のようなものにすることで個々の記憶ユニットの
処理時間および学習の収束に要する時間を短縮したパタ
ーン認識装置を提供することができる。

【００５２】また、処理の単位となる機能ブロックごと
の処理をプログラム・モジュールとして用意し独立に実
行することで、特に並列計算機を用いた場合に高速処理
を行うことの出来るパターン認識装置を提供することが
できる。

【００５３】また、それぞれの機能ごとにユニット化す
ることで動作内容を単純化することで、特にニューラル
ネットワークにより記憶部を構成したときの学習速度、
及び計算処理の負担を軽減することができるという効果
がある。

【００５４】また、記憶ユニットや入力処理部、出力処
理部などのような機能ブロックごとの処理をプログラム
・モジュールとして作成し独立に行なうことで、特に並
列計算機を用いた場合に高速処理を行うことが出来ると
いう効果がある。

【００５５】

【発明の効果】以上説明したように本発明によれば、パ
ターン認識装置を構成する各記憶ユニットおよび出力処
理部間のネットワーク構造が、認識する内容に応じた適
切な構造に自動的に生成・更新されるという効果があ
る。

【００５６】すなわち、システムの置かれる環境が変化
して認識対象となるパターンに含まれる特徴パターンの
数及び内容が変化した場合にも、内部構造を動的に変化
させることによって記憶の単位である記憶ユニットの数
を調節し、常に適切な記憶容量および内容を確保するこ
とによって学習効率および演算処理効率を向上させるこ
とが出来る。

【図面の簡単な説明】

【図１】本発明によるパターン認識装置のブロック図で
ある。

【図２】本発明によるパターン認識装置を図形認識に応
用した場合の実施例を示す図である。

【図３】本発明によるパターン認識装置を複数個階層結
合した例を示す図である。

【図４】本発明によるパターン認識装置を複数個用いそ
れらを統合する出力処理部を持った例を示す図である。

【符号の説明】

１…入力データ、２…入力処理部、３…記憶部、３−１
〜ｎ…記憶ユニット、４…出力処理部、５…ネットワー
ク構造制御部、６−１〜ｎ…下層のパターン認識装置、
７…上層のパターン認識装置。

Claims (7)

【特許請求の範囲】
1. 【請求項１】入力されたデータを識別するための基準と
   なる特徴パターンの学習を行い、かつ入力されたデータ
   をいくつかのカテゴリに識別するパターン認識装置にお
   いて、 入力されたデータの中から特徴パターンを抽出する入力
   処理部と、類似した特徴パターンごとに分類して記憶す
   る記憶ユニットを複数個結合した記憶部と、抽出した特
   徴パターンと記憶ユニットに蓄えた特徴パターンとの比
   較結果をもとに入力されたデータが属するカテゴリを想
   起する出力処理部と、上記記憶部の各記憶ユニットの個
   数を増減させるためのネットワーク構造制御部から構成
   されることを特徴とするパターン認識装置。
2. 【請求項２】上記ネットワーク構造制御部は、上記記憶
   部の各記憶ユニットおよび上記出力処理部の結合構造を
   可変に制御することで、学習内容の変化に追従して適切
   な分類の記憶ユニットを持った結合構造に変化させるこ
   とを特徴とする請求項１記載のパターン認識装置。
3. 【請求項３】上記記憶ユニットは、特徴パターンを記憶
   するテーブルとパターンマッチング機構によって構成さ
   れ、上記入力処理部によって抽出した特徴パターンとテ
   ーブルに保持した内容を比較しその結果を出力すること
   を特徴とする請求項１記載のパターン認識装置。
4. 【請求項４】上記記憶ユニットは、階層型ニューラルネ
   ットワークによって構成され、上記入力処理部によって
   抽出した特徴パターンを全ての記憶ユニットに提示し、
   それぞれの記憶ユニット内のニューラルネットワークの
   計算値を比較しそれが最大となる記憶ユニットが出力を
   出し、また学習を行うことで特徴パターンの分類を行う
   ことを特徴とする請求項１記載のパターン認識装置。
5. 【請求項５】上記ネットワーク構造制御部は、類似した
   特徴パターンを分類して記憶する上記記憶ユニットの出
   力または使用頻度を監視し、提示された特徴パターンに
   適合する記憶ユニットがない場合は記憶ユニットを追加
   し、または提示された特徴パターンに適合せず長時間使
   用されていない記憶ユニットを削除することで、上記記
   憶部の規模を適切な大きさに保つことを特徴とする請求
   項１記載のパターン認識装置。
6. 【請求項６】請求項１のパターン認識装置を複数個用
   い、入力されたデータに対しそれぞれ異なる前処理を行
   った結果から抽出した特徴パターンをもとに認識を行う
   下層のパターン認識装置群と、下層での認識結果を入力
   データとして各パターン認識装置の出力のパターンから
   特徴を抽出し総合的な認識を行う次層のパターン認識装
   置群とを２層以上の階層構造に結合し、上記それぞれの
   パターン認識装置間の結合構造を学習および識別の動作
   に対し適した結合構造に変化することのできるネットワ
   ーク構造制御部から構成されることを特徴とするパター
   ン認識装置。
7. 【請求項７】請求項１のパターン認識装置を複数個用
   い、入力されたデータに対しそれぞれ異なる前処理を行
   った結果から抽出した特徴パターンをもとに認識を行う
   下層のパターン認識装置群と、下層のパターン認識装置
   群を請求項１のパターン認識装置の記憶ユニットのよう
   に用い、各パターン認識装置の出力をもとに総合的な認
   識を行う出力処理部を結合し、上記それぞれのパターン
   認識装置および出力処理部の結合構造を学習および識別
   の動作に対し適した結合構造に変化することのできるネ
   ットワーク構造制御部から構成されることを特徴とする
   パターン認識装置。