JPH08329032A - ニュ−ラルネット型パターン認識装置及びニュ−ラルネットの学習方法 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、突拍子もない認識結果を出力する
可能性の低いニューラルネット型パターン認識技術を提
供するものである。 【構成】 本願では、教師なし学習による分類部によ
り、入力データを分類し、この分類に応じて教師あり学
習により学習済みの認識部でパターン認識を行って認識
結果を出力するニューラルネットにおいて、この処理系
統を少なくとも２つ設け、両系統の認識結果により、こ
の装置の認識結果を出力する。

Description

【発明の詳細な説明】

【０００１】本発明は、ニュ−ラルネットの学習方法及
びニュ−ラルネット型認識装置に関する。

【０００２】

【従来の技術】ニュ−ラルネットに関しては、以下の文
献等により極めて周知である。 （ａ）．産業図書株式会社1994年9月12日発行の「ニュ
−ロ・ファジィ・遺伝的アルゴリズム」。 （ｂ）．オ−ム社平成5年1月25日発行の「ニュ−ロ・フ
ァジィ・カオス」。

【０００３】このニュ−ラルネットは、商品にも応用さ
れている。尚、ニュ−ラルネット用のニューロＩＣ等が
提案されているが、ニュ−ラルネットの動作は、ノイマ
ン型コンピュータ（通常のコンピュータ）でシュミュレ
−ト出来る。現時点でのニューラルネットを応用したほ
とんどの商品は、内蔵のノイマン型マイクロコンピュー
タにより、ニューラルネット処理を行っている。

【０００４】ニューラルネットは、「教師なし学習」と
「教師あり学習」により、予かじめ学習を行い、この学
習結果に基づいて、分類処理、認識処理を行う。このニ
ューラルネットの応用分野に音声認識・文字認識等のパ
ターン認識の分野がある。一般的なニューラルネット型
パターン認識装置では、「教師あり学習」により、予か
じめ学習を行う。

【０００５】文字認識装置にニュ−ラルネットを用いた
従来例を図１〜図９を参照しつつ、説明する。尚、公知
の事項なので「発明が解決しようとする課題」の項ま
で、読み飛ばしてもらっても結構である。この例のニュ
−ラルネット型文字認識装置は、「０」〜「９」までの
数字を認識するものである。

【０００６】そして、時間のかかる学習を、予め高性能
なコンピュータにより行う。そして、この学習結果であ
る結合係数をＲＯＭに覚え込ませる。商品にこのＲＯＭ
を搭載して、結合係数による演算を行い文字認識を行う
ものである。つまり、商品後には、学習を行わないタイ
プである。図１は、第１従来例の学習用のニュ−ラルネ
ット型文字認識装置の構成を示す図である。

【０００７】図２は、ＲＯＭを搭載したニュ−ラルネッ
ト型文字認識装置の構成を示す図である。図３は、学習
用のサンプルデータを示す図であり、この例では、
「０」〜「９」それぞれ１００セット（計１０００個）
のサンプルデータである。図４は、正規化の１例を示す
図であり、ここでは８×８画素のデータとしている。

【０００８】図５は、ニュ−ラルネット型文字認識部
（１６）周辺を示す図である。図６は、この第１従来例
の教師信号を示す図である。図７は、この第１従来例と
は、異なる従来の教師信号の一例を示す図である。図８
は、この第１従来例の動作を示す図である。図９は、数
を増やした学習用のサンプルデータを示す図であり、こ
の例では、「０」〜「９」の２０００セット（計２万
個）のサンプルデータを学習することになる。

【０００９】この第１従来例について、説明する。尚、
パターン認識等については、特開平4-219883号公報(G06
K9/66)、特開平5-324838号公報(G06K9/66)等にも示され
るように周知技術であるので、簡単に説明する。図１に
おいて、１０は学習用サンプルデータ（教師用サンプル
データ）が、格納された記憶部である。この教師用サン
プルデータ記憶部１０には、図３に示されるように予か
じめ正解の分かっているサンプルデータが、１０００個
格納されている。

【００１０】１２は、入力されたサンプルデータを正規
化する正規化部である。ここでは、図４に示される様
に、８×８画素のデータに揃える。１４は、認識処理を
容易にするための特徴抽出部である。この特徴抽出部１
４は、前処理部とも呼ばれる。この特徴抽出部１４の処
理としては、骨格化（細線化）、平均輝度抽出、方向成
分の抽出等の種々の処理が、従来から提案されている。
この部１４は、認識処理を容易にするためのものであ
り、もし、無くても装置は動作する。尚、その場合、認
識率は低下する。

【００１１】１６は、ニュ−ラルネット型文字認識部で
ある。この詳細は、図５を参照して、後述する。１８
は、教師信号出力部である。この教師信号出力部１８に
は、入力されたサンプルデータの正解データが、入力さ
れ、この正解データに対応する図６の教師信号を出力す
る。尚、この例では、ニュ−ラルネット型文字認識部１
６の出力層が、１０端子であるので、図６の如く、設計
したが、図７の如く設計することも考えられる。

【００１２】２０は、学習を制御する学習制御部であ
る。この学習制御部２０は、ニュ−ラルネット型文字認
識部１６の出力信号と、教師信号との差（誤差）によ
り、学習を制御する。そして、バックプロパゲ−ション
法（ＢＰ法）により、ニュ−ラルネット型文字認識部１
６内の各階層間の重み係数（以下、結合係数と呼ぶ）を
修正する。

【００１３】２２は、ＲＯＭである。このＲＯＭには、
学習終了後にニュ−ラルネット型文字認識部１６内の各
階層間の結合係数が、記憶される。図２は、商品であ
る。２４は、文字列データの入力部である。２５は、文
字列データを１字に切り分ける文字切り出し部である。

【００１４】１２’は、切り出された文字データを正規
化する正規化部である。ここでは、図４に示される様
に、８×８画素のデータに揃える。つまり、図１の正規
化部１２と同じ処理を行う。１４’は、認識処理を容易
にするための特徴抽出部である。この特徴抽出部１４’
は、図１の特徴抽出部１４と同じ処理を行う。もし、図
１に特徴抽出部１４が設けられていなければ、当然、こ
の特徴抽出部１４’も設けない。

【００１５】１６’は、ニュ−ラルネット型文字認識部
である。ニュ−ラルネット型文字認識部１６’は、ニュ
−ラルネット型文字認識部１６と同じ構成であり、且
つ、結合係数は前記ＲＯＭ２２により、設定される。２
４は、文字認識結果を出力する出力部である。ここで
は、「０」〜「９」に対応する出力の内、最も高い得点
の認識結果を出力する。なお、この文字認識装置が、他
の文字認識手法と組み合わされて使用される場合は、３
位までの得点の認識結果をその得点と共に出力するよう
にしてもよい。

【００１６】図５は、ニューラルネット型認識部（１
６）の周辺を示す図である。ここでは、正規化部１２の
８×８画素の文字データをそのまま特徴抽出データとし
て、入力している。このニューラルネット型認識部１６
は、３層である。認識部１６の入力層の端子数（ニュー
ロン数）は８×８＝６４個となる。出力層の端子数（ニ
ューロン数）は、１０個であり、左から「０」〜「９」
に対応している。

【００１７】２０ａは、認識部１６の出力信号と、教師
信号との差を出力する誤差出力部である。２０ｂは、こ
の誤差に応じて、ＢＰ法により、各層間の結合係数（Ｗ
ｈｏ，Ｖｉｊ）を補正する修正部である。２０ｃは、こ
の誤差の総和が所定値より大きな場合に、前記修正部２
０ｂによる補正を行わしめる誤差総和検出部である。言
い換えれば、誤差総和検出部２０ｃは、誤差の総和が所
定値より小さな場合は、修正部２０ｂによる学習処理
（結合係数の修正処理）を停止させる。

【００１８】この第１従来例での学習時の動作を図８を
参照しつつ、説明する。尚、第１従来例の学習は、巡回
回数（繰り返し回数）を設定するタイプである。このタ
イプは、所定回数巡回すると、学習を終了する。尚、当
然、収束条件を満たす場合に、学習を終了する様にして
もよい。まず、図９のＳ１に示すように、巡回回数Ｍを
設定する。

【００１９】そして、図９のＳ２に示すように、サンプ
ルデータを入力する。つまり、図３に示すサンプルデー
タを正規化部１２に出力し、正解データを教師信号出力
部１８に出力する。サンプルデータは、正規化部１２で
正規化され、特徴抽出部１４を介して、認識部１６に入
力される。

【００２０】認識部１６は、結合係数に基づいて演算処
理を行い、出力層から出力信号を出す。図８のＳ３に示
すように、出力信号と教師信号とを比較して、誤差を求
める。図５の誤差出力部２０ａは、出力信号と教師信号
とを比較して、誤差を出力する。

【００２１】図８のＳ４，Ｓ５に示す様に、誤差の総和
が、０．５以下か否かを求める。０．５以下であれば、
学習の必要無しとする。０．５より大きければ、Ｓ５で
ＢＰ法により、結合係数を補正する。図５の誤差総和部
２０ｃは、誤差の総和が、０．５以下であれば、修正部
２０ｂの動作を停止させる。

【００２２】これにより、不必要な学習を除外出来、学
習効率が上がる。図８のＳ６に示すように、最後のデー
タ（１０００個目のデータ）でなければ、この次のサン
プルデータで同様に処理する。図８のＳ７，Ｓ８に示す
ように、この１０００個目のデータによる学習をＭ回繰
り返した後に、Ｓ９の如く、学習を終了し、結合係数を
ＲＯＭ２２に取り出す。

【００２３】そして、図２に示すように、このＲＯＭ２
２を使用すれば、学習済みのニュ−ラルネット型認識部
１６を再現出来るので、これを用いて文字認識を行う。
このようなニュ−ラルネット型認識部の認識率を上げる
には、図９に示すように学習するサンプルデータ数を増
やせば良い。図１０は、この第１従来例とは、異なる従
来のニュ−ラルネット型文字認識部１６ａ周辺を示す図
である。

【００２４】図５の第１の例では、特徴抽出部を設けな
かったが、図１０のように、正規化後のデータを８方向
の４×４画素の方向成分に変換する特徴抽出部１４ａを
設けて、これを入力してもよい。尚、この認識部１６ａ
の入力層の端子数は、８×４×４＝１２８個となる。
尚、２０ｂ’は、誤差に応じて、ＢＰ法により、各層間
の結合係数を補正する修正部である。

【００２５】ところで、学習には、以下の２つの問題が
存在する。まず第１は、学習するサンプルの中には、品
質の低いデータが含まれる場合がある。この場合、ニュ
ーラルネットが混乱し、認識率が低下したり、学習が収
束しなくなる。尚、この問題を解決する手法（曖昧学習
法）を特願平７−１１７０３０号において、既に提案し
ているので、この手法の説明は割愛する。

【００２６】第２に、学習するサンプル数が増大しても
学習できるように、ニューラルネット装置を設計する
と、装置の規模が急激に増大し、回路規模及び学習時間
が、膨大なものとなってしまう。この第２の問題を解決
するために、学習分担型ニュ−ラルネットが、提案され
ている。

【００２７】この分担型ニュ−ラルネットは、教師あり
学習を行うニューラルネットを、複数設ける。そして、
サンプルを、このニューラルネットの数のグループに分
類する。そして、各ニューラルネットは、１つのグルー
プ内だけのサンプルを学習することにより、学習負荷を
減らしている（特開平２−２１０５８９号公報(G06K9/6
6),特開平３−３１９７５号公報(G06F15/70),特開平４
−１５５４８０号公報(G06F15/70),特開平６−２６６６
８８号公報(G06F15/18)参照）。

【００２８】これは、会社組織と同じように与えられた
仕事を、各部署で分担して、処理するのに似ている。と
ころで、このグループ分け（クラスタリング）も、ニュ
−ラルネットにより、行われる。このグループ分けは、
教師なし学習による自己組織化により行う。この分担型
ニュ−ラルネットによる文字認識装置を図１１〜図１８
を参照しつつ、説明する。

【００２９】図１１は、第３従来例の学習用のニュ−ラ
ルネット型文字認識装置の構成を示す図である。図１２
は、ニュ−ラルネット型分類部（１６）周辺を示す図で
ある。図１３は、ニュ−ラルネット型分類部（１６）周
辺を示す図である。図１４は、認識用のニュ−ラルネッ
ト型文字認識装置の構成を示す図である。

【００３０】図１５〜図１８は、動作を説明するための
図である。この図１１の第３従来例を、説明する。尚、
第１第２従来例と同一部分には、同一符号を付した。図
１１において、１０は、学習用サンプルデータ（教師用
サンプルデータ）が、格納された記憶部である。

【００３１】１２は、正規化部である。１４ａは、特徴
抽出部である。この特徴抽出部１４ａは、正規化後のデ
ータを８方向の４×４画素の方向成分に変換する。ここ
で、グループ分けに関する部分を説明する。２６は、教
師なし学習によるニュ−ラルネット型分類部である。こ
の分類部２６は、学習制御部２８と共に、特徴抽出部１
４ａからの１２８次元のベクトルを３つのグループに自
動分類する。

【００３２】尚、この両部２６，２８による、教師なし
学習によるクラスタリング手法としては、コホ−ネンの
自己組織化アルゴリズム等が採用できる。３０は、最終
の重み係数（参照ベクトル）を記憶する参照ベクトル記
憶用ＲＯＭである。３２，３４，３６は、切換手段であ
る。教師なし学習時は、この切換手段３４，３６は、オ
フ状態となる。また、切換手段３２は、学習制御部２８
側に接続される。

【００３３】次に、教師あり学習に関する部分を説明す
る。３２，３４，３６は、切換手段である。教師あり学
習時は、この切換手段３４，３６は、オン状態となる。
また、切換手段３２は、後段選定部３８側に接続され
る。１６ａ１，１６ａ２，１６ａ３は、ニューラルネッ
ト文字認識部である。

【００３４】２０’，２０’，２０’は、学習制御部で
ある。４０ａ，４０ｂ，４０ｃは、ニューラルネット文
字認識部と学習制御部からなる教師あり学習認識部であ
る。１８は、教師信号出力部である。２２ａは、ニュー
ラルネット文字認識部１６ａ１，１６ａ２，１６ａ３の
学習後の結合係数を格納するＲＯＭである。

【００３５】図１２は、ニューラルネット型分類部２６
の周辺を示す図である。ここでは、正規化部１２の８×
８画素の文字データを、特徴抽出回路１４ａで４×４の
８方向のデータとして、入力している。つまり、一つの
サンプルは、１２８次元の特徴ベクトルとして、入力さ
れる。２６は、分類部である。分類部２６の入力層の端
子数は１２８個となる。出力層の端子数は、３個であ
る。つまり、この分類部２６は、教師なし学習により、
入力をデータを３つグループに分類する。

【００３６】２８は、コホ−ネンの自己組織化アルゴリ
ズムにより、重み係数を修正する学習制御部である。３
２は、切換手段である。この切換手段３２は、分類部２
６の教師あり学習時に学習制御部２８側に接続され、後
段の学習認識部４０ａ，４０ｂ，４０ｃの教師あり学習
時には、後段選定部３８側に接続される。

【００３７】後段選定部３８は、分類部２６の出力によ
り、現入力サンプルを、学習する学習認識部を選択す
る。尚、図１３に示されるように、分類部２６の重み係
数Ｍｉｍは、この場合、Ｍｉｍ（ｉ＝１〜１２８，ｊ＝
１〜３）である。そして、自己組織化における重み係数
は、一般には、その出力層（Ｍａｐ Ｌａｙｅｒ）の端
子毎に表現される。つまり、この場合、出力端子が３個
なので、Ｍｉ１，Ｍｉ２，Ｍｉ３（ｉ＝１〜１２８）と
表現され、参照ベクトルと呼ぶ。

【００３８】この図１１の動作を説明する。まず、分類
部２６の教師なし学習により、サンプルデータを３つの
グループに分類する。切換手段３２をコホ−ネンアルゴ
リズムの学習制御部２８側に接続する。そして、入力部
１０のサンプルデータを、所定回数巡回入力して、教師
なし学習を行う。

【００３９】ここでは、サンプルデータを、３つのグル
−プ分類するように、自己組織化が成され、３つの参照
ベクトルが設定される。これにより、サンプルデータを
３種類にグル−プ分けすることが、可能となる。次に、
教師あり学習により、学習認識部４０ａ，４０ｂ，４０
ｃで学習を行う。

【００４０】切換手段３２を後段選定部３８側に接続す
る。切換手段３４，３６を接続状態に設定する。そし
て、再び、入力部１０のサンプルデータを、所定回数巡
回入力する。ここでは、第１第２従来例で説明した如
く、学習すれば良い。差は、３つの学習認識部４０ａ，
４０ｂ，４０ｃで、それぞれのグループ内のサンプルデ
ータのみを教師あり学習することである。

【００４１】このためには、学習認識部４０ａ，４０
ｂ，４０ｃの内、どの学習認識部で学習するかを、サン
プルデータに応じて選定すれば良い。後段選定部３８
は、このための機構である。つまり、この後段選定部３
８は、図１３の分類部２６の３つの出力端子の出力の中
で、一番出力値の大きな出力端子に対応する学習認識部
４０ａ，４０ｂ，４０ｃでの教師あり学習を許可する。

【００４２】このような、学習終了後に、分類用の重み
係数（参照ベクトル）と、認識用の重み係数（結合係
数）を、ＲＯＭ３０，２２ａに記憶する。図１４は、商
品である。２４は、文字列データの入力部である。２６
は、文字切り出し部である。

【００４３】１２’は、正規化部である。１４ａ’は、
特徴抽出部である。２６’は、サンプルデータを分類す
るニューラルネット型分類部である。この分類部２６’
は、図１１，図１３の分類部２６と同じ処理を行う。参
照ベクトルは、ＲＯＭ３０により、設定される。

【００４４】１６’ａ１，１６’ａ２，１６’ａ３は、
ニュ−ラルネット型文字認識部である。このニュ−ラル
ネット型文字認識部１６’ａ１，１６’ａ２，１６’ａ
３は、図１１のニュ−ラルネット型文字認識部１６ａ
１，１６ａ２，１６ａ３と同じ構成であり、且つ、結合
係数は前記ＲＯＭ２２ａにより、設定される。４２は、
文字認識結果を出力する出力部である。ここでは、各ニ
ュ−ラルネット型文字認識部１６’ａ１，１６’ａ２，
１６’ａ３からの「０」〜「９」に対応する出力得点及
び、分類部２６’から出力される各グループとの適合度
得点をもとに、答えを出力する。

【００４５】図１５〜図１８を参照しつつ、この第３従
来例の課題を説明する。図１５〜図１８は、分類部２６
での各サンプルのベクトル空間の一部を示すものであ
る。尚、この第３実施例では、分類部２６の入力端子は
１２８個である。このベクトル空間の一部を図１５に示
す。このベクトル空間が、図１６の如く、分類されたも
のとする。

【００４６】つまり、ＣＥ１は、参照ベクトルＭｉ１に
近く、学習認識部４０ａで学習される領域である。ＣＥ
２は、参照ベクトルＭｉ２に近く、学習認識部４０ｂで
学習される領域である。ＣＥ３は、参照ベクトルＭｉ３
に近く、学習認識部４０ｃで学習される領域である。

【００４７】そして、このようにグル−プ分けされたサ
ンプルデータのみを各学習認識部４０ａ，４０ｂ，４０
ｃは、学習する。従って、各学習認識部４０ａ，４０
ｂ，４０ｃは、それぞれ、図１７（ａ），（ｂ），
（ｃ）の如く、認識領域を形成する可能性が高い。ＮＥ
０は、出力端子「０」〜「９」の内、「０」から出力さ
れる得点が最も高い領域である。

【００４８】同様に、ＮＥ９は「９」、ＮＥ６は
「６」、ＮＥ８は「８」である。従って、全体的な出力
は、図１８の如くなる。つまり、分類された各グループ
の境界付近での文字認識の信頼性は低い。特に、このよ
うな境界領域では、突拍子もない認識結果を出力する可
能性が高まる。

【００４９】

【発明が解決しようとする課題】本願は、グループ分け
して、教師あり学習を行ったニューラルネット型パター
ン認識装置の各グループの境界付近での認識率を向上さ
せることを第１の目的とする。本願は、グループ分けし
て、教師あり学習を行ったニューラルネットワーク型パ
ターン認識装置の学習効率を向上させることを第２の目
的とする。

【００５０】

【課題を解決するための手段】本願では、認識対象のグ
ループ分けを行う第１のニューラルネット型分類部(2
6’a)と、この第１のニューラルネット型分類部(26’a)
によって分類された各グループに対応する複数のニュー
ラルネット型認識部(16’a1,16’a2,16’a3)と、認識対
象のグループ分けを行う第１のニューラルネット型分類
部(26’a)とは異なる基準で行う第２のニューラルネッ
ト型分類部(26’b)と、この第２のニューラルネット型
分類部(26’b)によって分類された各グループに対応す
る複数のニューラルネット型認識部(16’a4,16’a5)
と、少なくても、前記ニューラルネット型認識部(16’a
1,16’a2,16’a3)(16’a4,16’a5)の一つのからの出力
により、認識結果を出力する出力部(42a)とを備えるこ
とを特徴とする。

【００５１】さらに、本願では、前記第１，第２のニュ
ーラルネット型分類部(26’a,26’b) は、教師なし学習
により学習済みであることを特徴とする。さらに、本願
では、前記ニューラルネット型認識部(16’a1,16’a2,1
6’a3)(16’a4,16’a5)は、教師あり学習により学習済
みであることを特徴とする。さらに、本願では、前記第
１のニューラルネット型分類部(26’a)と前記第２のニ
ューラルネット型分類部(26’b)に、認識対象から作成
した異なる特徴を入力する特徴抽出手段(12’,14b)を備
えることを特徴とする。

【００５２】さらに、本願では、前記全てのニューラル
ネット型認識部(16’a1,16’a2,16’a3)(16’a4,16’a
5)に、認識対象から作成した同一の特徴を入力する特徴
抽出手段(12’,14b)を備えることを特徴とする。また、
本願は、認識対象のグループ分けを行うニューラルネッ
ト型分類部(26’a)(26’b)と、このニューラルネット型
分類部(26’a)(26’b)によって分類された各グループに
対応する複数のニューラルネット型認識部(16’a1,16’
a2,16’a3)(16’a4,16’a5)とを備えるニューラルネッ
ト型パターン認識装置において、前記複数のニューラル
ネット型認識部(16’a1,16’a2,16’a3)(16’a4,16’a
5)に認識対象から作成した特徴ベクトルを入力すると共
に、この特徴ベクトルの一部を前記ニューラルネット型
分類部(26’a)(26’b)に入力する特徴抽出手段(12’,14
b) を備えることを特徴とする。

【００５３】また、本願は、教師用サンプルデータを自
動分類するために、ニュ−ラルネット型分類部で教師な
し学習を行い、この分類に基づいて学習が分担される複
数のニューラルネット型認識部で、教師あり学習がされ
るニューラルネットの学習方法において、このような処
理を２系統(S10,S11)(S12,S13)設けることを特徴とす
る。

【００５４】また、本願は、教師用サンプルデータを自
動分類するために、ニュ−ラルネット型分類部で教師な
し学習を行い、この分類に基づいて学習が分担される複
数のニューラルネット型認識部で、教師あり学習がされ
るニューラルネットの学習方法において、前記教師なし
学習のために前記ニュ−ラルネット型分類部に入力され
る全ての特徴ベクトルは、前記教師あり学習のために前
記ニュ−ラルネット型分類部に入力される特徴ベクトル
の一部であることを特徴とする。

【００５５】また、本願は、教師用サンプルデータを自
動分類するために、ニュ−ラルネット型分類部(26)で教
師なし学習を行い、この分類に対応する複数のニューラ
ルネット型認識部(16a1,・・・・)で、教師あり学習を行う
ニューラルネットの学習方法において、前記教師用サン
プルデータにより教師あり学習を前記複数のニューラル
ネット型認識部(16a1,・・・・)で行う場合に、この教師用
サンプルデータの分類に対応する前記ニューラルネット
型認識部(16a1,・・・・)で学習を行い、この教師用サンプ
ルデータの分類に対応しない前記ニュ−ラルネット型認
識部(16a1,・・・・)では曖昧に学習を行うことを特徴とす
る。

【００５６】また、本願は、教師用サンプルデータを自
動分類するために、ニュ−ラルネット型分類部で教師な
し学習を行い、この分類に対応する複数のニューラルネ
ット型認識部で、出力信号と教師用信号との誤差が所定
値（Ｇ）より大きな場合に学習を実行するニューラルネ
ットの学習方法において、前記教師用サンプルデータに
より教師あり学習を前記複数のニューラルネット型認識
部で行う場合に、この教師用サンプルデータの分類に対
応する前記ニューラルネット型認識部での学習時と、こ
の教師用サンプルデータの分類に対応しない前記ニュ−
ラルネット型認識部での学習時とで、前記所定値を変更
することを特徴とする。

【００５７】また、本願は、教師用サンプルデータを自
動分類するために、ニュ−ラルネット型分類部で教師な
し学習を行い、この分類に対応する複数のニューラルネ
ット型認識部で、出力信号と教師用信号との誤差を用い
て学習を実行するニューラルネットの学習方法におい
て、前記教師用サンプルデータにより教師あり学習を前
記複数のニューラルネット型認識部で行う場合に、この
教師用サンプルデータの分類に対応する前記ニューラル
ネット型認識部での学習時と、この教師用サンプルデー
タの分類に対応しない前記ニュ−ラルネット型認識部で
の学習時とで、前記教師信号の値を変更することを特徴
とする。

【００５８】また、本願は、請求項７〜１１のいずれか
の学習方法で学習したニュ−ラルネット型パターン認識
装置。

【００５９】

【作用】本願の請求項１〜５では、異なる観点からの分
類に基づくニューラルネット型パターン認識を行うこと
となる。本願の請求項７，１３は、異なる観点からのニ
ューラルネット型分類のための教師なし学習及びこの分
類に基づく認識を行うための教師あり学習を行う。

【００６０】本願の請求項６，８，１４では、ニューラ
ルネット型分類のために入力される特徴ベクトルを、ニ
ューラルネット型認識のための特徴ベクトルの一部とす
る。本願の請求項９〜１２では、他のグループの供しよ
うサンプルデータは、曖昧学習する。

【００６１】

【実施例】図１９〜図２５を参照しつつ、本発明の第１
実施例を説明する。この第１実施例の特徴は、ニューラ
ルネット型分類部でグループ分けし、このグループ分け
に従って、ニューラルネット型認識部で学習する系統
を、複数設けたことである。

【００６２】図１９において、第１〜第３従来例と同一
部分には、同一符号を付した。図１９において、１０
は、学習用サンプルデータ（教師用サンプルデータ）
が、格納された記憶部である。１２は、正規化部であ
る。１４ｂは、特徴抽出部である。この特徴抽出部１４
ｂは、正規化後のデータを４方向の４×４画素の方向成
分に変換する。

【００６３】２６ａは、第１教師なし学習によるニュ−
ラルネット型分類部である。この分類部２６ａは、学習
制御部２８ａと共に、特徴抽出部１４ｂからの６４次元
のベクトルを３つのグループに自動分類する。２６ｂ
は、第２教師なし学習によるニュ−ラルネット型分類部
である。この分類部２６ｂは、学習制御部２８ｂと共
に、正規化部１２からの８×８画素の６４次元のベクト
ルを２つのグループに自動分類する。

【００６４】尚、この第１第２分類部２６ａ，２６ｂの
教師なし学習によるクラスタリング手法は、コホ−ネン
の自己組織化アルゴリズムを採用した。３０ａは、最終
の重み係数（参照ベクトル）を記憶する参照ベクトル記
憶用ＲＯＭである。３２ａ，３２ｂ，３４ａ，３６は、
切換手段である。教師なし学習時は、この切換手段３４
ａ，３６は、オフ状態となる。また、切換手段３２ａ，
３２ｂは、学習制御部２８ａ，２８ｂ側に接続される。

【００６５】次に、教師あり学習に関する部分を説明す
る。教師あり学習時は、切換手段３４ａ，３６は、オン
状態となる。また、切換手段３２ａ，３２ｂは、後段選
定部３８ａ，３８ｂ側に接続される。この後段選定部３
８ａ，３８ｂは、従来と異なり、サンプルのグループを
択一的に選択するものではない。つまり、あるサンプル
が、あるグループに属していれば、当然、このグループ
用の学習認識部での学習を許可する。それだけでなく、
このサンプルが他のグループの近隣に位置するのであれ
ば、そのグループ用の学習認識部での学習を許可する
（以下、近隣学習と称する）。

【００６６】４０ａ，４０ｂ，４０ｃは、第１分類部２
６ａ，後段選定部３８ａに対応する３つの学習認識部で
ある。４０ｄ，４０ｅは、第２分類部２６ｂ，後段選定
部３８ｂに対応する２つの学習認識部である。２２ｂ
は、学習認識部４０ａ，４０ｂ，４０ｃ，４０ｄ，４０
ｅの学習後の結合係数を格納するＲＯＭである。

【００６７】図２０は、第１第２ニューラルネット型分
類部２６ａ，２６ｂの周辺を示す図である。２６ａは、
第１教師なし学習によるニュ−ラルネット型分類部であ
る。この分類部２６ａは、正規化部１２の８×８画素の
文字データを、特徴抽出回路１４ｂで４×４の４方向の
データとして、入力している。つまり、一つのサンプル
は、６４次元の特徴ベクトルとして、入力される。

【００６８】この分類部２６ａの出力層の端子数は、３
個である。つまり、この分類部２６ａは、教師なし学習
により、入力をデータを３つグループに分類する。２８
ａは、コホ−ネンの自己組織化アルゴリズムにより、重
み係数を修正する学習制御部である。３２ａは、切換手
段である。この切換手段３２ａは、分類部２６ａの教師
あり学習時に学習制御部２８ａ側に接続される。また、
後段の学習認識部４０ａ，４０ｂ，４０ｃの教師あり学
習時には、後段選定部３８ａ側に接続される。

【００６９】後段選定部３８ａは、第１分類部２６ａの
出力により、現入力サンプルを学習する学習認識部４０
ａ，４０ｂ，４０ｃを１つ以上設定する。２６ｂは、第
２教師なし学習によるニュ−ラルネット型分類部であ
る。この分類部２６ｂは、正規化部１２の８×８画素の
文字データを入力している。つまり、一つのサンプル
は、６４次元の特徴ベクトルとして、入力される。

【００７０】この分類部２６ｂの出力層の端子数は、２
個である。つまり、この分類部２６ｂは、教師なし学習
により、入力をデータを２つグループに分類する。２８
ｂは、コホ−ネンの自己組織化アルゴリズムにより、重
み係数を修正する学習制御部である。３２ｂは、切換手
段である。この切換手段３２ｂは、分類部２６ｂの教師
あり学習時に学習制御部２８ｂ側に接続される。また、
後段の学習認識部４０ｄ，４０ｅの教師あり学習時に
は、後段選定部３８ｂ側に接続される。

【００７１】後段選定部３８ｂは、第２分類部２６ｂの
出力により、現入力サンプルを学習する学習認識部４０
ｄ，４０ｅを１つ以上設定する。図１９の動作を説明す
る。まず、第１分類部２６ａと第１分類部２６ｂの教師
なし学習により、サンプルデータを３つのグループと２
つのグループとに分類する。切換手段２６ａ，２６ｂを
コホ−ネンアルゴリズムの学習制御部２８ａ，２８ｂ側
に接続する。

【００７２】そして、入力部１０のサンプルデータを、
所定回数巡回入力して、教師なし学習を行う。ここで
は、サンプルデータを、第１分類２６ａでは、３つのグ
ル−プに分類するように、自己組織化が成され、３つの
参照ベクトルが設定される。また、第２分類２６ｂで
は、２つのグル−プに分類するように、自己組織化が成
され、２つの参照ベクトルが設定される。

【００７３】これにより、サンプルデータを異なった観
点からグル−プ分けすることが、可能となる。次に、教
師あり学習により、学習認識部４０ａ，４０ｂ，４０
ｃ，４０ｄ，４０ｅで学習を行う。切換手段３２ａ、３
２ｂを後段選定部３８ａ，３８ｂ側に接続する。

【００７４】切換手段３４ａ、３６を接続状態にする。
そして、再び、入力部１０のサンプルデータを、所定回
数巡回入力する。そして、先ほど教師なし学習によっ
て、自己組織化された分類部２６ａ，２６ｂにより、学
習する学習認識部４０ａ，４０ｂ，４０ｃ，４０ｄ，４
０ｅを設定する。

【００７５】後段選定部３８ａは、学習認識部４０ａ，
４０ｂ，４０ｃの中から選定する。つまり、この後段選
定部３８ａは、図２０の分類部２６ａの３つの出力端子
の出力の中で、一番大きな値を出力する出力端子に対応
する学習認識部４０ａ，４０ｂ，４０ｃでの教師あり学
習を許可する。更に、この一番大きな値との差が、所定
値以下の値を出力する出力端子に対応する学習認識部４
０ａ，４０ｂ，４０ｃでの教師あり学習も許可する。

【００７６】また、後段選定部３８ｂは、図２０の分類
部２６ｂの２つの出力端子の出力の中で、一番大きな値
を出力する出力端子に対応する学習認識部４０ｄ，４０
ｅでの教師あり学習を許可する。更に、この一番大きな
値との差が、所定値以下の値を出力する出力端子に対応
する学習認識部４０ｄ，４０ｅでの教師あり学習も許可
する。

【００７７】このような、学習終了後に、参照ベクト
ル、結合係数を、ＲＯＭ３０ａ，２２ｂに格納する。図
２２は、商品である。尚、学習時には分類部は前段であ
り、認識部は後段であったが、認識時には、分類部と認
識部とを並列に設けてもよい。

【００７８】２４は、文字列データの入力部である。２
５は、文字切り出し部である。１２’は、正規化部であ
る。１４ｂ’は、特徴抽出部であり、図１９，図２０の
特徴抽出部１４ｂと同一である。

【００７９】２６ａ’は、サンプルデータを分類するニ
ューラルネット型分類部である。この分類部２６ａ’
は、図１９，図２０の第１分類部２６ｂと同じ処理を行
う。参照ベクトルは、ＲＯＭ３０ａにより、設定され
る。２６ｂ’は、サンプルデータを分類するニューラル
ネット型分類部である。この分類部２６ｂ’は、図１
９，図２０の第２分類部２６ａと同じ処理を行う。参照
ベクトルは、ＲＯＭ３０ａにより、設定される。

【００８０】１６’ａ１，１６’ａ２，１６’ａ３，１
６’ａ４，１６’ａ５は、ニュ−ラルネット型文字認識
部である。このニュ−ラルネット型文字認識部１６’ａ
１，１６’ａ２，１６’ａ３は、図１９，図２０の学習
認識部４０ａ，４０ｂ，４０ｃに対応している。この結
合係数は、ＲＯＭ２２ｂにより、設定される。ニュ−ラ
ルネット型文字認識部１６’ａ４，１６’ａ５は、図１
９，図２０の学習認識部４０ｄ，４０ｅに対応してい
る。この結合係数は、ＯＭ２２ｂにより、設定される。

【００８１】４２ａは、文字認識結果を出力する出力部
である。ここでは、各ニュ−ラルネット型文字認識部１
６’ａ１，１６’ａ２，１６’ａ３からの「０」〜
「９」に対応する出力得点及び、分類部２６’ａから出
力される各グループとの適合度得点をもとに、第１分類
に関する認識得点を検知する。また、各ニュ−ラルネッ
ト型文字認識部１６’ａ４，１６’ａ５からの「０」〜
「９」に対応する出力得点及び、分類部２６’ｂから出
力される各グループとの適合度得点をもとに、第２分類
に関する認識得点を検知する。そして、得点を比較し
て、認識結果を出力する。

【００８２】図２２〜図２５を参照しつつ、この第１実
施例の動作を説明する。図２２は、第２分類部２６ｂで
の各サンプルのベクトル空間の一部を示すものである。
尚、この第１実施例では、第２分類部２６ｂの入力端子
は６４個である。そして、この第２分類では、図２２の
如く、グループ分けの境界が、この一部には無いものと
する。そして、図２２の如く、認識領域を形成する。

【００８３】このサンプルが、第１分類部２６ａで図２
３の如く、分類されたものとする。尚、第１第２分類部
への入力されるデータは、異なる処理を行われているの
で、当然、図２３の如くならない。しかし、説明を簡単
にするために、このように表した。要は、第１分類部２
６ａと第２分類部２６ｂとは、異なる観点からグループ
分けを行っていることを、認識して戴きたい。

【００８４】図２３のＣＥ１は、参照ベクトルＭｉ１に
近い領域である。ＣＥ２は、参照ベクトルＭｉ２に近い
領域である。ＣＥ３は、参照ベクトルＭｉ３に近く領域
である。そして、この第１実施例では、前述したよう
に、後段選定部３８ａ，３８ｂにより、近隣学習が成さ
れる。

【００８５】従って、各学習認識部４０ａ，４０ｂ，４
０ｃは、それぞれ、図２４（ａ），（ｂ），（ｃ）の如
く、認識領域を形成する可能性が高い。ＮＥ０は、出力
端子「０」〜「９」の内、「０」から出力される得点が
最も高い領域である。同様に、ＮＥ９は「９」、ＮＥ６
は「６」、ＮＥ８は「８」である。従って、全体的な出
力は、図２５の如くなる。

【００８６】つまり、分類された各グループの境界付近
での文字認識の信頼性を向上することができる。図２２
と図２５のように、第１実施例では、クラスタリングに
よる分類を異なる観点から行うので、認識時に一方のグ
ループ分けの観点（第２分類）では、グループの境界に
存在する未学習のデータであっても、他方のグループ分
けの観点（第１分類）では、グループの中心付近に存在
する未学習のデータである場合がある。この場合に、他
方のグループ分けの観点（第１分類）による文字認識結
果を優先するので、グループ分けの境界付近の未学習デ
ータの認識率を向上させることが出来る。

【００８７】尚、この第１実施例を機能ブロック図によ
り説明したが、本願は、当然、ソフトウエアにより、実
現してもよい。また、教師なし学習としてコホ−ネンの
アルゴリズムを用いたが、当然、他のアルゴリズムを用
いてもよい。本願を、ノイマン型のコンピュ−タのソフ
トウエアで実現した例を、図２６〜図３２を参照しつ
つ、説明する。

【００８８】この例では、前述の特開平４−１５５４８
０号公報に記載されるものの改良である。この例では、
教師なし学習として自己増殖型のアルゴリズムを用いて
いる。この特開平４−１５５４８０号公報では、入力さ
れたサンプルと参照ベクトルとの整合度が、閾値αに届
かない場合に増殖を行い、一つのグループに分類される
サンプル数が所定値を越えた場合に***を行っている。

【００８９】尚、本願では、入力されたサンプルと参照
ベクトルとの距離が、閾値αを越えた場合に、増殖を行
っており、一つのグループに分類されるサンプル数によ
る***制御を行わない。図２６に学習時の動作を説明す
る。まず、Ｓ１０により、第１の基準を設定する。この
場合は、入力されるデータを４方向の４×４画素の６４
個の特徴ベクトルに設定する。

【００９０】Ｓ１１により、第１の基準に従った教師な
し学習による増殖型のクラスタリング処理（グル−プ分
け）、及び、このクラスタリングに基づく、教師あり学
習を行う。Ｓ１２により、第２の基準を設定する。この
場合は、入力されるデータを正規化済みの８×８画素の
６４個の特徴ベクトルに設定する。

【００９１】Ｓ１３により、第２の基準に従った教師な
し学習による増殖型のクラスタリング処理（グル−プ分
け）、及び、このクラスタリングに基づく、教師あり学
習を行う。このＳ１１，Ｓ１３での処理を、図２７に示
す。つまり、Ｓ２０で、教師用のサンプルデータのベク
トルにより、仮の参照ベクトルを作成する。また、教師
用のサンプルデータの仮のグル−プ分けを行い対応する
グループに登録する。

【００９２】Ｓ２１で、仮の参照ベクトルを修正して真
の参照ベクトルを求め、且つ、教師用のサンプルデータ
のグル−プ分けを修正して、真のグル−プに登録する。
Ｓ２２で、他のグループに近いサンプルデータは、他の
グループにも重複して登録する。Ｓ２３で、Ｓ２２で登
録したグループに対応するニューラルネット型認識部で
の教師あり学習を行う。そして、教師なし学習による分
類を再現するための参照ベクトル、教師あり学習による
認識を再現するための結合係数を書き込む。

【００９３】このＳ２０での処理を、図２８に示す。Ｓ
３１のｔは、教師用のサンプルデータの番号を示してい
る。Ｓ３２のＮは、グループ分けの数（分類部の出力ニ
ューロン数）に対応している。また、この１番目のサン
プルデータを１番目の参照ベクトルとする。Ｓ３３とＳ
３７は、この間の処理Ｓ３４〜Ｓ３６を、Ｔ個目の最後
のサンプルまで、繰り返して行うためのものである。

【００９４】Ｓ３４では、ｔ番目のサンプルデータと、
Ｎ個の参照ベクトルとの整合度（距離と反する）を求
め、この整合度と予かじめ定められた閾値αの大小を検
出する。もし、Ｎ個の整合度が、全てα未満の場合（一
番近い参照ベクトルでも所定値以上離れている場合）
は、Ｓ３５に進む。Ｓ３５では、グループ数を一つ増や
す。そして、このｔ番目のサンプルデータをこの新たな
グループの参照ベクトルとする。

【００９５】Ｓ３４で、Ｎ個の差が、全てα以下の場合
は、Ｓ３６に進む．Ｓ３６では、このｔ番目のサンプル
データを、一番近いグループ（整合度の最も高いグルー
プ）に分類（登録）する。また、参照ベクトルの値をこ
のグループに分類された全サンプルの平均に修正する。
図２７のＳ２１での処理を、図２９に示す。

【００９６】Ｓ４１のｔは、教師用のサンプルデータの
番号を示している。Ｓ４２では、このｔ番目のサンプル
データと、Ｎ個の参照ベクトルとの整合度を求め、既に
登録されたグループと、一番近い参照ベクトルのグルー
プが、一致するか否かを検出する。一致すれば、Ｓ４５
に移る。

【００９７】Ｓ４２とＳ４５は、処理Ｓ４３，Ｓ４４
を、Ｔ個目の最後サンプルまで、繰り返して行うための
ものである。Ｓ４３で、このｔ番目のサンプルデータの
登録済みのグループと、現時点で一番近い参照ベクトル
のグループが、一致しない場合は、Ｓ４４に移る。Ｓ４
４では、このｔ番目のサンプルデータのグループの登録
を一番近いグループに変更する。また、登録を解除した
グループの参照ベクトルの値を、このサンプルデータを
除いた全サンプルの平均に修正する。また、今回登録し
たグループの参照ベクトルの値を、このサンプルデータ
を加えた全サンプルの平均に修正する。また、このよう
な登録の修正があったことを示すフラグをオンとする。

【００９８】そして、Ｓ４５に移る。Ｓ４６は、全ての
サンプルのデータに登録の修正がなくなるまで、このＳ
４１〜Ｓ４５の処理を、繰り返すものである。Ｓ４６で
は、フラグがオンしていなければ、この処理を終了す
る。フラグがオンしていれば、このフラグをオフにし
て、Ｓ４１に戻す。

【００９９】図２７のＳ２２での処理を、図３０に示
す。この図３０は、他のグループに近いサンプルデータ
は、他のグループにも重複して登録する処理である。Ｓ
５１のｔは、教師用のサンプルデータの番号を示してい
る。Ｓ５３では、ｔ番目のサンプルデータと、Ｎ個の参
照ベクトルとの整合度を求め、この差と予かじめ定めら
れた閾値βの大小を検出する。尚、ここでは、閾値α＞
閾値βである。

【０１００】Ｓ５４で、βより大きなグループを登録す
る。尚、βより大のグループが１個なら、既に登録され
ているグループと同一なので、無理に登録処理を行わな
くてもよい。βより大のグループが、複数なら、既に登
録されているグループに加えて、登録されることとな
る。

【０１０１】Ｓ５２とＳ５５は、処理Ｓ５３，Ｓ５４
を、Ｔ個目の最後サンプルまで、行うためのものであ
る。図２７のＳ２３での処理を、図３１に示す。この図
３１は、図３０で登録したグループに対応するニューラ
ルネット型認識部での教師あり学習を行うものである。

【０１０２】尚、ここでは、登録されたグループを主体
に処理を行っている。Ｓ６１，Ｓ６２のｎは、グループ
の番号を示している。Ｓ６３では、このグループに分類
されたサンプルデータにより、このグループに対応する
結合係数を求めるための、教師あり学習を行う。尚、教
師あり学習の詳細は、図８と同様である。

【０１０３】Ｓ６４は、最後のグループまで、行うため
のものである。Ｓ６５で、今回の分類の基準に基づく、
各参照ベクトル、及び、結合係数をＲＯＭに書き込む。
図３２に認識時の動作の一例を示す。Ｓ７１で、データ
が入力されると、この入力データから、第１の分類用の
ベクトルを作成する。そして、この入力データのベクト
ルと、第１の分類の各参照ベクトルを比較して、この第
１の分類基準による各グループとの整合度を求める。

【０１０４】そして、Ｓ７２で、参照ベクトルと一番似
ているグループ（参照ベクトルに一番近いグループ）の
ニューラルネット型認識部に対応する結合係数を求め
て、この認識結果を求める。Ｓ７３で、この得点と、前
記整合度により、この認識結果の得点を求める。Ｓ７
４，Ｓ７５，Ｓ７６で、第２の分類について、Ｓ７１，
Ｓ７２，Ｓ７３と同様に動作する。

【０１０５】Ｓ７７で、Ｓ７３とＳ７６で求めた認識結
果及びこの得点により、認識結果を出力する。尚、上記
実施例では、学習時と認識時は、別々の装置であるが、
本願は、これに限定されるものでない。また、上記実施
例では、教師なし学習による第１と第２分類とを、入力
されるデータを正規化データの直接出力と、特徴抽出処
理した間接出力により異ならしめている。しかし、本願
は、これに限定されるものではなく、単に、閾値αを変
更するようにしてもよい。

【０１０６】また、上記実施例では、教師なし学習によ
る分類を、入力されるデータを正規化データの直接出
力、または、特徴抽出処理した間接出力としている。そ
して、教師なし学習による分類のための入力データは、
認識のための入力データより少なく、設定している。さ
らに、教師あり学習による認識のための入力データは、
分類のための入力データを含んでいる。

【０１０７】このために、以下の効果がある。つまり、
正規化された８×８の特徴データと、これから方向成分
を抽出（強調）した４方向の４×４の特徴データがあ
る。この２種類の特徴データは、見地が異なるデータで
あり、この２種類の関連（複合特徴）に基づく認識をす
れば、細かな認識処理が可能となる。しかし、分類時も
これを使用すると、複合特徴による弊害の可能性があ
る。そこで、１種類の特徴で分類することでその信頼性
が増す。

【０１０８】また、上記実施例では、商品化後は、学習
を行わない例を示したが、本願は、これに限定されるも
のでない。また、本願を実施して、文字認識結果を出力
する場合、他の文字認識手法（例えば、意味解析、文法
解析等の知的処理）と、組み合わせてもよい。また、上
記実施例は、文字認識装置を示したが、本願は、これに
限定されるものでない。

【０１０９】次に、各グループの境界領域での認識率を
向上させる。第３の実施例を説明する。つまり、各グル
ープに対応する認識部は、基本的には他のグループの教
師用サンプルデータは、学習しない。なお、「その他」
としては、学習する場合がある。

【０１１０】この第３実施例では、各グループに対応す
る認識部は、他のグループの教師用サンプルデータも学
習する。しかし、自己のグループの教師用サンプルデー
タと同様に学習するのでは、この学習分担型ニューラル
ネットの意味がなくなる。そこで、前述した曖昧学習を
行うものである。

【０１１１】図３３にその例を示す。同一部分には、同
一符号を付した。４０ａ’，４０ｂ’，４０ｃ’は、同
じ回路構成の学習認識部であり、教師信号出力部１８’
を含んでいる。２１ａ’は、切替回路であり、学習制御
部２０’の動作を切り換える。

【０１１２】２１ｂ’は、切替回路であり、教師信号出
力部１８’の動作を切り換える。分類のための教師なし
学習時は、従来と同様に動作する。そして、認識のため
の教師あり学習時に、第１実施例と同様に後段選定部３
８ａは、この時に入力された教師用サンプルデータを学
習する学習認識部４０ａ’，４０ｂ’，４０ｃ’を選定
する。

【０１１３】そして、選定された学習認識部で通常の学
習が為されるように、切替回路を２１ａ’，２１ｂ’を
制御して、従来からの通常の特性でバックプロパゲ−シ
ョン法による学習を行う。そして、選定されなかった学
習認識部では、曖昧学習が為されるように、切替回路を
２１ａ’，２１ｂ’を制御して、特性を変更したバック
プロパゲ−ション法による学習を行う。

【０１１４】これにより、他のグループの教師用サンプ
ルデータについても、それなりの学習が為されることと
なる。尚、切替回路を２１ａ’，２１ｂ’による曖昧学
習のための、特性の変更は、２段階でもよいし、多段階
としてもよい。また、分類時における各整合度に応じ
て、特性を変更してもよい。

【０１１５】

【発明の効果】本願の請求項１〜５，７，１３によれ
ば、異なる観点からの分類に基づくニューラルネット型
パターン認識を行うこととなるので、ある分類によれ
ば、グループの境界付近に位置する認識対象が入力され
ても、他の分類による認識処理により、救済することが
でき、境界付近での認識の不安定さを低減できる。

【０１１６】本願の請求項６，８，１４によれば、ニュ
ーラルネット型分類のために入力される特徴ベクトル
を、ニューラルネット型認識のための特徴ベクトルの一
部としたので、学習効率が向上し、且つ、誤認識時に
も、突拍子もない認識結果を出力する可能性を低減でき
る。本願の請求項９〜１２によれば、学習負荷をあまり
大きくせずに、他のグループに分類される教師用サンプ
ルデータを学習でき、認識の不安定さを低減できる。

【図面の簡単な説明】

【図１】ニューラルネットの学習時の第１の従来例を示
す図である。

【図２】認識時の回路を示す図である。

【図３】学習用の１０００個のサンプルデータを示す図
である。

【図４】正規化の１例を示す図である。

【図５】ニューラルネット型文字認識部周辺を示す図で
ある。

【図６】教師信号の一例を示す図である。

【図７】出力層の端子が４個の場合の、教師信号の一例
を示す図である。

【図８】第１従来例の教師あり学習の動作を説明する為
の図である。

【図９】学習用の２万個のサンプルデータを示す図であ
る。

【図１０】ニューラルネット型文字認識装置の第２の従
来例を示す図である。

【図１１】ニューラルネット型文字認識装置の第３の従
来例を示す図である。

【図１２】ニューラルネット型分類部周辺を示す図であ
る。

【図１３】ニューラルネット型分類部周辺を示す図であ
る。

【図１４】認識時の回路を示す図である。

【図１５】第３従来例の課題を説明するためにベクトル
空間の一部を示す図である。

【図１６】第３従来例の課題を説明するためにベクトル
空間の一部を示す図である。

【図１７】第３従来例の課題を説明するためにベクトル
空間の一部を示す図である。

【図１８】第３従来例の課題を説明するためにベクトル
空間の一部を示す図である。

【図１９】本発明の第１実施例を示す図である。

【図２０】ニューラルネット型分類部周辺を示す図であ
る。

【図２１】認識時の回路を示す図である。

【図２２】第１実施例の動作を説明するためにベクトル
空間の一部を示す図である。

【図２３】第１実施例の動作を説明するためにベクトル
空間の一部を示す図である。

【図２４】第１実施例の動作を説明するためにベクトル
空間の一部を示す図である。

【図２５】第１実施例の動作を説明するためにベクトル
空間の一部を示す図である。

【図２６】本願をプログラムにより実現する第２実施例
の動作を説明するための図である。

【図２７】第２実施例の動作を説明するための図であ
る。

【図２８】第２実施例の動作を説明するための図であ
る。

【図２９】第２実施例の動作を説明するための図であ
る。

【図３０】第２実施例の動作を説明するための図であ
る。

【図３１】第２実施例の動作を説明するための図であ
る。

【図３２】第２実施例の動作を説明するための図であ
る。

【図３３】第３実施例を示す図である。

【符号の説明】

(26’a)・・・ニューラルネット型分類部、 (26’b)・・・ニューラルネット型分類部、 (16’a1,16’a2,16’a3)・・・ニューラルネット型認識
部、 (16’a4,16’a5)・・・・・・ニューラルネット型認識
部、 (12’)・・・・・・・・・・正規化部(特徴抽出手段)、 (14b)・・・・・・・・・・特徴抽出部(特徴抽出手
段)。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀井 洋 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内 (72)発明者 真鍋 圭三 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内

Claims (14)

【特許請求の範囲】
1. 【請求項１】 認識対象のグループ分けを行う第１のニ
   ューラルネット型分類部(26’a)と、 この第１のニューラルネット型分類部(26’a)によって
   分類された各グループに対応する複数のニューラルネッ
   ト型認識部(16’a1,16’a2,16’a3)と、 認識対象のグループ分けを行う第１のニューラルネット
   型分類部(26’a)とは異なる基準で行う第２のニューラ
   ルネット型分類部(26’b)と、 この第２のニューラルネット型分類部(26’b)によって
   分類された各グループに対応する複数のニューラルネッ
   ト型認識部(16’a4,16’a5)と、 少なくても、前記ニューラルネット型認識部(16’a1,1
   6’a2,16’a3)(16’a4,16’a5)の一つのからの出力によ
   り、認識結果を出力する出力部(42a)とを備えるニュー
   ラルネット型パターン認識装置。
2. 【請求項２】 前記第１，第２のニューラルネット型分
   類部(26’a,26’b)は 、教師なし学習により学習済みで
   あることを特徴とする請求項１に記載のニューラルネッ
   ト型パターン認識装置。
3. 【請求項３】 前記ニューラルネット型認識部(16’a1,
   16’a2,16’a3)(16’a4,16’a5)は、教師あり学習によ
   り学習済みであることを特徴とする請求項１又は請求項
   ２に記載のニューラルネット型パターン認識装置。
4. 【請求項４】 前記第１のニューラルネット型分類部(2
   6’a)と前記第２のニューラルネット型分類部(26’b)
   に、認識対象から作成した異なる特徴を入力する特徴抽
   出手段(12’,14b)を備える請求項１〜請求項３のいずれ
   かに記載のニュ− ラルネット型パターン認識装置。
5. 【請求項５】 前記全てのニューラルネット型認識部(1
   6’a1,16’a2,16’a3)(16’a4,16’a5)に、認識対象か
   ら作成した同一の特徴を入力する特徴抽出手段(12’,14
   b)を備える請求項１〜請求項４のいずれかに記載のニュ
   −ラルネット型パタ ーン認識装置。
6. 【請求項６】 認識対象のグループ分けを行うニューラ
   ルネット型分類部(26’a)(26’b)と、 このニューラルネット型分類部(26’a)(26’b)によって
   分類された各グループに対応する複数のニューラルネッ
   ト型認識部(16’a1,16’a2,16’a3)(16’a4,16’a5)と
   を備えるニューラルネット型パターン認識装置におい
   て、 前記複数のニューラルネット型認識部(16’a1,16’a2,1
   6’a3)(16’a4,16’a5)に認識対象から作成した特徴ベ
   クトルを入力すると共に、この特徴ベクトルの一部を前
   記ニューラルネット型分類部(26’a)(26’b)に入力する
   特徴抽出手段(12’,14b) を備えるニュ−ラルネット
   型パターン認識装置。
7. 【請求項７】 教師用サンプルデータを自動分類するた
   めに、ニュ−ラルネット型分類部で教師なし学習を行
   い、 この分類に基づいて学習が分担される複数のニューラル
   ネット型認識部で、教師あり学習がされるニューラルネ
   ットの学習方法において、 このような処理を２系統(S10,S11)(S12,S13)設けること
   を特徴とするニューラルネットの学習方法。
8. 【請求項８】 教師用サンプルデータを自動分類するた
   めに、ニュ−ラルネット型分類部で教師なし学習を行
   い、 この分類に基づいて学習が分担される複数のニューラル
   ネット型認識部で、教師あり学習がされるニューラルネ
   ットの学習方法において、 前記教師なし学習のために前記ニュ−ラルネット型分類
   部に入力される全ての特徴ベクトルは、前記教師あり学
   習のために前記ニュ−ラルネット型分類部に入力される
   特徴ベクトルの一部であることを特徴とするニューラル
   ネットの学習方法。
9. 【請求項９】 教師用サンプルデータを自動分類するた
   めに、ニュ−ラルネット型分類部(26)で教師なし学習を
   行い、 この分類に対応する複数のニューラルネット型認識部(1
   6a1,・・・・)で、教師あり学習を行うニューラルネットの
   学習方法において、 前記教師用サンプルデータにより教師あり学習を前記複
   数のニューラルネット型認識部(16a1,・・・・)で行う場合
   に、この教師用サンプルデータの分類に対応する前記ニ
   ューラルネット型認識部(16a1,・・・・)で学習を行い、こ
   の教師用サンプルデータの分類に対応しない前記ニュ−
   ラルネット型認識部(16a1,・・・・)では曖昧に学習を行う
   ニューラルネットの学習方法。
10. 【請求項１０】 教師用サンプルデータを自動分類する
    ために、ニュ−ラルネット型分類部で教師なし学習を行
    い、 この分類に対応する複数のニューラルネット型認識部
    で、出力信号と教師用信号との誤差が所定値（Ｇ）より
    大きな場合に学習を実行するニューラルネットの学習方
    法において、 前記教師用サンプルデータにより教師あり学習を前記複
    数のニューラルネット型認識部で行う場合に、この教師
    用サンプルデータの分類に対応する前記ニューラルネッ
    ト型認識部での学習時と、この教師用サンプルデータの
    分類に対応しない前記ニュ−ラルネット型認識部での学
    習時とで、前記所定値を変更するニューラルネットの学
    習方法。
11. 【請求項１１】 教師用サンプルデータを自動分類する
    ために、ニュ−ラルネット型分類部で教師なし学習を行
    い、 この分類に対応する複数のニューラルネット型認識部
    で、出力信号と教師用信号との誤差を用いて学習を実行
    するニューラルネットの学習方法において、 前記教師用サンプルデータにより教師あり学習を前記複
    数のニューラルネット型認識部で行う場合に、この教師
    用サンプルデータの分類に対応する前記ニューラルネッ
    ト型認識部での学習時と、この教師用サンプルデータの
    分類に対応しない前記ニュ−ラルネット型認識部での学
    習時とで、前記教師信号の値を変更するニューラルネッ
    トの学習方法。
12. 【請求項１２】 前記請求項９〜１１のいずれかの学習
    方法で学習したニュ−ラルネット型パターン認識装置。
13. 【請求項１３】 前記請求項７の学習方法で学習したニ
    ュ−ラルネット型パターン認識装置。
14. 【請求項１４】 前記請求項８の学習方法で学習したニ
    ュ−ラルネット型パターン認識装置。