JPH11306357A - パターン認識装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 機械的にパターン認識を行う方法において、
「基準値」の構造とその最適値を決定する装置を提供す
る。 【解決手段】 統計的手法やニューラルネット等により
各パターン種の確からしさを求めるパターン種可能性計
算装置１と、１位パターン種に対する確からしさ基準値
を登録したテーブル２と、２位パターン種の確からしさ
の比率である基準値を登録したテーブル３と用いてパタ
ーン認識を行ない、認識パターン種又は不明か否かを出
力する不明判断装置４と、学習用のデータの正解パター
ン種、認識パターン種及び不明判断結果とを用いて正答
率、誤認識率及び不明率を求め評価値を計算する評価関
数計算装置５と、評価値に基づき、各テーブルを更新す
るか、更新の中断を判断する基準値テーブル更新装置６
とを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パターン認識装置
に関する。詳しくは、パターンを高い正答率で認識し、
パターン認識により低い誤り率を維持することができる
よう改良したものである。

【０００２】

【従来の技術】機械によるパターン認識において、認識
結果の表し方には２通りある。１つの方式は、パターン
が何であるかを常に断言する方式であり、もう１つは、
断言するか、不明と判断するかを機械自身が選択する方
式である。

【０００３】最初の方式は、いちかばちかで答えを出す
ため、品質の悪いパターンを含む通常の文字認識等のパ
ターン認識課題においては、正答率（正解したパターン
数／与えたパターン数）は高くできるが、反面誤認識率
（誤答したパターン数／与えたパターン数）も高くな
る。二つ目の方式は逆に、あやふやな場合は不明として
答えを出さないので、誤認識を低く抑えられる反面、無
理をすれば正答できるパターンも不明にするため、正答
率は低下する。

【０００４】工業的にパターン認識機械を用いる場合に
は、目的により２種類の方法を使い分けるが、両者は全
く異なる手法ではなく、一般に「基準値」の設定値によ
りどちらの方式になるか、また、どの程度何れの方式に
近くなるか、言い換えると、どの程度慎重に不明と判断
するかが切り替わる。

【０００５】従来技術に関して、説明の簡単化のため数
学的な記述をする。与えられたパターン画像に対して、
何らかの文字種可能性計算手法（統計的手法やニューラ
ルネットによる方法がある）を適用して、各パターン種
の確からしさであるＰ（Ｃ₁），Ｐ（Ｃ₂），…，Ｐ（Ｃ
_n）を求める。Ｐは確からしさを表すので、値が大きい
ほどそのパターンである可能性が高い。Ｃ_i（ｉ＝１，
…，ｎ）はｎ種類のパターン種である。Ｐ（Ｃ_i）が最
大のパターン種をＣ_p、２番のパターン種をＣ_qとしてお
く。

【０００６】ここで、認識結果は、下記不等式（１）
（２）が両方満足されればパターン種Ｃ_pとし、満足さ
れなければ不明としていた。 Ｐ（Ｃ_p）＞Ａ …（１） Ｐ（Ｃ_q）／Ｐ（Ｃ_p）＜Ｂ …（２） 但し、基準値Ａ，Ｂは経験的に人間が決めており、通常
は０≦Ａ，０≦Ｂ≦１である。具体的には、基準値Ａは
認識手法により異なるが、基準値Ｂは０．９位にするこ
とが一般的であった。常に断言するためには、つまり、
「不明なし」に設定するには、Ａ＝０，Ｂ＝１とすれば
よい。

【０００７】このように基準値Ａ，Ｂは１位や２位のパ
ターン種であるＣ_pやＣ_qには依存しない点が従来手法の
特徴であった。つまり、従来手法では、確からしいとさ
れたパターン種によらず、基準値Ａ，Ｂを一様に用いて
いた。

【０００８】

【発明が解決しようとする課題】このように従来手法で
は、パターン認識の途中結果である「各パターン種の確
からしさ」に対し、１種類または２種類の基準値Ａ，Ｂ
で認識結果の出し方を決めていた。つまり、確からしさ
が最大となるパターン種を認識結果として断言するか、
不明とするかを、パターン種に対する確からしさの基準
値Ａと、１番目に対する２番目のパターン種の確からし
さの比率の基準値Ｂを用いて決定していた。

【０００９】しかし、例えば、文字認識を例にとると、
文字「８」と「６」は元々似ているため１番目と２番目
の文字種に対する確からしさの比の基準値Ｂをあまり小
さく（厳しく）すると「８」や「６」の文字画像が入力
された場合、ほとんどが不明になり、逆に基準値Ｂを大
きく（ゆるく）すると、「８」や「６」も認識できる
が、上棒のかすれた「７」を「１」と断言する等の誤認
識も増えるという問題点があった。

【００１０】さらに、こうしたかねあいの最適な値を人
間が決定しなくてはならないため、調整に手間がかかり
最適値が保証されない等の問題点かあった。本発明の目
的は、上記従来技術に鑑みてなされたものであり、機械
的にパターン認識を行う方法において、特に、「基準
値」の構造とその最適値を決定する装置を提供するにあ
る。

【００１１】

【課題を解決するための手段】上記目的を達成する本発
明の請求項１に係るパターン認識装置は、パターン認識
を行なう際に用いる基準値を、１又は２種類のスカラー
量から、パターン種に応じたベクトル或いは行列構造へ
と拡張し、パターン種別毎にきめの細かい最適基準値が
とれるようにし、且つ、基準値を最適値に自動設定する
ため、基準値の評価関数を計算して、自動的に評価関数
に応じた最適値を学習できるようにし、且つ、パターン
認識適用時の目的又は要求に応じて、正答個数最大、誤
認識個数最小或いはその中間等の多用な評価関数を具備
し選沢できるようにしたことを特徴とする。

【００１２】上記目的を達成する本発明の請求項２に係
るパターン認識装置は、統計的手法やニューラルネット
等により各パターン種の確からしさを求めるパターン種
可能性計算装置と、１位パターン種に対する確からしさ
基準値を各パターン種に応じたベクトルとして拡張した
基準値を登録したテーブルと、１位パターン種に対する
２位パターン種の確からしさの比率である基準値を各パ
ターン種に応じた行列として拡張した基準値を登録した
テーブルと、パターン種可能性計算装置により得られた
各パターン種の確からしさ及び各テーブルに登録された
基準値を用いてパターン認識を行ない、認識パターン種
又は不明か否かを出力する不明判断装置と、学習用のデ
ータの正解パターン種、認識パターン種及び不明判断結
果を用いて正答率、誤認識率及び不明率を求め、評価関
数に基づき評価値を計算する評価関数計算装置と、評価
関数計算装置による評価値に基づき、各テーブルを更新
するか、若しくは更新の中断を判断する基準値テーブル
更新装置とを具備することを特徴とする。

【００１３】

【発明の実施の形態】本発明のパターン認識装置は、パ
ターン認識において、与えられたパターンに対する各パ
ターン種の確からしさを用いて、認識結果を断言する
か、不明とするかを使い分けると共に、その判断に用い
る基準値を目的に応じて最適に自動設定する装置であ
る。

【００１４】本発明に係るパターン認識装置の態様を図
１に示す。このパターン認識装置は、図１に示すよう
に、パターン種可能性計算装置１と、基準値テーブル２
と、基準値テーブル３と、不明判断装置４と、評価関数
計算装置５と、基準値テーブル更新装置６とを具備す
る。パターン種可能性計算装置１は、統計的手法やニュ
ーラルネットにより各パターン種の確からしさを求める
装置である。

【００１５】基準値テーブル２は、従来の１位パターン
種に対する確からしさの基準値を後述するように拡張し
た基準値Ａについて登録する装置である。基準値テーブ
ル３は、従来の１位パターン種に対する２位パターン種
の確からしさの比率である基準値を後述するように拡張
した基準値Ｂについて登録する装置である。不明判断装
置４は、パターン種可能性計算装置１により得られた各
パターン種の確からしさと基準値テーブル２，３に登録
された基準値Ａ，Ｂを用いてパターン認識を行ない、認
識パターン種又は不明か否かを出力する装置である。

【００１６】評価関数計算装置５は、学習用のデータの
正解パターン種と、認識パターン種、不明判断結果を用
いて正答率、誤認識率、不明率を求め、評価関数に基づ
き評価値を計算する装置である。基準値テーブル更新装
置６は、評価関数計算装置５による評価値に基づき、基
準値テーブル２，３を更新するか、若しくは更新の中断
を判断する装置である。

【００１７】基準値テーブル２に登録される基準値Ａ
は、１位パターン種に対する確からしさの基準値（スカ
ラー）を各パターン種に応じたベクトルとして拡張した
ものである。即ち、本発明の基準値Ａの構造例を、従来
の基準値Ａの構造に比較して図４に示す。ここで、基準
値Ａは、パターン種の確からしさに対する基準値であ
る。パターン種の確からしさは、パターン種可能性計算
装置１の内容（統計的手法かニューラルネットか等）に
よって異なるが、ここでは一例として、各パターン種の
代表（テンプレートという）からの距離（本当は距離の
逆数：大きいほどそのパターン種である可能性が高いた
め）をとりあげて説明する。

【００１８】具体例として、文字認識を例にとり説明す
るが、対象は必ずしも文字である必要はなく、魚の形状
に基づく魚種類識別や、センサー信号に対するきずの識
別等にも適用可能である。従来手法では、基準値Ａは文
字種によらず一定（スカラー）であったが、本発明で
は、文字種に応じてベクトルとして設定するのである。
例えば、２値化の閾値が最適値よりやや低い場合、文字
は線が太くなるように劣化し、距離もそれに応じて大き
くなる。しかし、識別の観点からは、これによる文字
「１」の誤認識の影響はほとんどない。

【００１９】一方、「３」や「６」は「８」に大きく近
づくため、「３」や「６」からは遠ざかる。「３」や
「６」が「８」に近づいたのか、「８」なのかの境界が
あいまいな距離では、誤認識を減らすためには不明とし
なくてはならない。しかし、同じ基準値を「１」に適用
すると、十分正確に認識できる「１」が不明になる。

【００２０】そのため、本発明では、基準値をパターン
種毎に独立した値として持つようにした。つまり、基準
値Ａは、従来スカラーであったが、本発明では、パター
ン種個数分ｎの要素をもつベクトルＡ＝（Ａ₁，Ａ₂，
…，Ａ_n）に拡張した。その効果の様子を図５に示す。
同図に示すように、従来の基準値は、「１」、「２」、
「６」、「８」について一様であったのに対し、本発明
では、「１」については、相対的に下げることにより、
従来技術では不明とされるものまで「１」として正しく
認識でき、また、「８」については、相対的に上げるこ
とにより、誤認識されないようにすることができた。

【００２１】一方、基準値テーブル３に登録される基準
値Ｂは、１位パターンに対する２位パターン種の確から
しさの比率である基準値を各パターンに応じた行列とし
て拡張したものである。即ち、基準値Ｂについても、基
準値Ａと同様、パターン種によって独立に値を持たせた
ものである。さらに、１位がパターン種ｐ、２位がパタ
ーン種ｑである場合の基準値Ｂ_p,qは、１位がパターン
種ｑ、２位がパターン種ｐである場合の基準値Ｂ_q,pと
異なってもよいようにした。

【００２２】つまり、基準値Ｂは、従来スカラーであっ
たが、本発明では、図６に示すように、パターン種個数
分ｎとすると、ｎ×ｎの非対称行列Ｂに拡張した。な
お、行列の対角項は意味がないが、行列として扱うため
に実質上無意味な数値である１以上を入れておく。行列
を非対称とした理由を更に詳しく説明する。これは、手
書き文字等の実際のデータから得られた知見を下敷きに
している。

【００２３】学習データについて、パターン種可能性計
算結果の１位がｐ、２位がｑであったデータを、そのパ
ターンが真にパターン種ｐであるものと、ｐ以外のもの
（まともな精度のパターン認識手法であればこれはほと
んどパターン種ｑのはずである。残りは＋αとして影響
を無視する）とに分けて個数をプロットしたものと、逆
に１位がｑ、２位がｐであったものを真にパターン種ｑ
と、それ以外とに分けてプロットした概念図を、ｐを文
字種「８」、ｑを文字種「６」として図７（ａ）（ｂ）
に示す。

【００２４】文字が太く劣化しがちな場合、「６」は容
易につぶれて「８」に近づく。そのため、可能性がかな
り大きいところにも、１位が「８」、２位が「６」とな
る真の文字種「６」は比較的多く存在する。一方、
「８」はつぶれても「６」と認識されることは少なく、
１位が「６」、２位が「８」となる真の文字種「８」は
多くは存在しない。従って、例えば正答数を最大にする
ような基準値をとる場合、Ｂ_8,6≠Ｂ_6,8である。

【００２５】つまり、図８（ｃ）（ｄ）に示すように、
Ｂ_8,6≠Ｂ_6,8とする場合は、図８（ａ）（ｂ）に示す従
来手法のように同じ基準値を適用した場合に比較して、
正答にならないデータが減少することになる。手書き文
字の場合はこの他に、筆記者の癖からも、非対称にする
ことには根拠がある。例えば、「７」を書くつもりの文
字が「９」に似ることは多いが、逆に、「９」を書くつ
もりの文字は「７」には似ない等である。

【００２６】［パターン認識動作］以上説明した、基準
値Ａ、Ｂを用いて、不明判断装置４によるパターン認識
（不明判断）は、図２に従い、以下のように行なう。
尚、以下の手順は、既に最適な基準値Ａ，Ｂが得られて
いるとした。 手順１：パターン種可能計算装置１からの出力をＰ（Ｃ
₁），Ｐ（Ｃ₂），…，Ｐ（Ｃ_n）とする。Ｐは可能性、
Ｃ_i（ｉ＝１，２，…ｎ）はｉ番目のパターン種であ
る。

【００２７】手順２：Ｐ（Ｃ_i）が最大であるＣ_iを
Ｃ_p、２番目に大きいＣ_iをＣ_qとする。 手順３：基準値ベクトルＡ＝（Ａ₁，Ａ₂，…，Ａ_n）と
基準値行列Ｂ＝［Ｂ_i,j］を用いて下記不等式（３）
（４）が両方満足されればパターン種Ｃ_pとし、満足さ
れなければ不明とする。 Ｐ（Ｃ_p）＞Ａ_p …（３） Ｐ（Ｃ_q）／Ｐ（Ｃ_p）＜Ｂ_p,q …（４）

【００２８】［学習動作］次に、問題の性質を推定する
ために十分な数と種類の学習用パターン画像が与えられ
た場合には、図３に従い、最適な基準値Ａ，Ｂを求める
学習動作（基準値自動調整）を行う。基準値Ａ，Ｂは、
従来人間が経験的に設定していたが、統計的に最適な基
準値かどうかわからない、課題毎に調整が必要で手間が
かかる、という問題点があった。

【００２９】さらに、本発明のように調整すべき基準値
の個数が増えると、人間の手動調整はますます不正確に
なり、手間のかかる作業になると考えられる。従って、
本発明では基準値テーブル２，３の調整を自動化する機
能を組み込んだ。まず、評価関数計算装置５で、基準値
テーブル２，３の評価値を以下のように計算する。 手順１：全てのパターン種の組み合わせ（ｉ，ｊ）につ
いて、以下の手順３〜手順５を操り返す。

【００３０】手順２：基準値ベクトルＡがパターン認識
に関与しないように、とりあえずＡ＝（０，０，…０）
とする。 手順３：基準値Ｂ_i,jを、可能な範囲で適当なステップ
幅で変化させながら、図９に示すように、手順４を繰り
返す（ｍ回目の繰り返しでの基準値をＢ_i,j ^mで表す）。

【００３１】手順４：評価関数ｆ_(i,j)（ＲＥＪ_i，ＭＩ
Ｓ_j，Ｂ_i,j ^m）を計算する。ここで、ＲＥＪ_iは、パター
ン種可能性の１位がｉ、２位がｊであった全てのデータ
について、現在の基準値Ｂ_i,j ^mを便うとパターン種ｉで
ありながら不明になる（ＲＥＪｅｃｔされる）データ個
数である。

【００３２】ＭＩＳ_jは、パターン種ｊでありながらｉ
と誤認識される（ＭＩＳｃｌａｓｓｉｆｙされる）デー
タ個数である。ｆ_(i,j)は、前述したように目的に応じ
ていくつかの取り方がある。図７に示したのは、正答数
が最大のとき最高になるような評価関数であり、下式
（５）で示される。 ｆ_(i,j)（ＲＥＪ_i，ＭＩＳ_j，Ｂ_i,j ^m）＝ＲＥＪ_i＋ＭＩＳ_j …（５）

【００３３】工業的に信頼性を重視するならば、多少不
明があっても、誤認識が少ない方がよい。誤認識１件が
不明１０件に相当する、という場合には、下式（６）と
する。 ｆ_(i,j)（ＲＥＪ_i，ＭＩＳ_j，Ｂ_i,j ^m）＝ＲＥＪ_i＋１０×ＭＩＳ_j …（６）

【００３４】一般には、不明と誤認識に重み付けして、
下式（７）と表される。 ｆ_(i,j)（ＲＥＪ_i，ＭＩＳ_j，Ｂ_i,j ^m）＝Ｗ１×ＲＥＪ_i＋Ｗ２×ＭＩＳ_j …（７） ここで、Ｗ１，Ｗ２は重みパラメータである。さらに、
極端な場合として、誤認識をできるだけ少なくという場
合には、下式（８）という式も考えられる。

【００３５】 ｆ_(i,j)（ＲＥＪ_i，ＭＩＳ_j，Ｂ_i,j ^m）＝ＭＩＳ_j …（８） このように、ｆ_(i,j)は目的に応じて切り替え可能とす
る。 手順５：手順３〜手順４の繰り返しで評価値最大となる
基準値Ｂ_i,j ^Mを、組み合わせ（ｉ，ｊ）についての最適
基準値とする。

【００３６】手順６：以上で、基準値Ｂが決定された。
次に基準値Ａを決定する。 手順７：全てのパターン種ｉについて、手順８〜手順１
０を操り返す。

【００３７】手順８：基準値Ａ_iを、可能な範囲で適当
なステップ幅で変化させながら、手順９を繰り返す。ｋ
回目の操り返しでの基準値をＡ_i ^kで表す。 手順９：評価関数ｇ_i（ＲＥＪ_i，ＭＩＳ_i，Ａ_i ^k，Ｂ_i,j
^M）を計算する。

【００３８】ここで、ＲＥＪ_iは、すでに求めた最適基
準値Ｂ_i,j ^Mを用いて、Ａ_i ^kでパターン認識した場合に、
真に種類ｉのデータでありかつパターン種可能性１位も
ｉであるデータにもかかわらず不明と判断されるデータ
の総数である。また、ＭＩＳ_iは、真の種類はｉ以外で
ありパターン種可能性１位はｉであるデータで、ｉと誤
り認識されるデータの総数である。ｇ_iも目的に応じて
いくつかの方式があることは、ｆ_(i,j)とほぼ同様であ
る。

【００３９】手順１０：手順８〜手順９の繰り返しで評
価値最大となる基準値Ａ_i ^kを、パターン種ｉについての
最適基準値とする。つぎに、基準値テーブル更新装置６
により、得られた最適基準値Ａ_i ^k、Ｂ_i,j ^M、基準値テー
ブル２，３に登録して更新を行なうことで、学習動作は
完了する。最適基準値Ａ_i ^k、Ｂ_i,j ^Mが得られない場合に
は、更新を中断するとして学習動作は完了する。

【００４０】

【発明の効果】以上、実施例に基づいて具体的に説明し
たように、本発明の請求項１に係るパターン認識装置
は、パターン認識を行なう際に用いる基準値を、１又は
２種類のスカラー量から、パターン種に応じたベクトル
或いは行列構造へと拡張し、パターン種別毎にきめの細
かい最適基準値がとれるようにし、且つ、基準値を最適
値に自動設定するため、基準値の評価関数を計算して、
自動的に評価関数に応じた最適値を学習できるように
し、且つ、パターン認識適用時の目的又は要求に応じ
て、正答個数最大、誤認識個数最小或いはその中間等の
多用な評価関数を具備し選沢できるようにしたので、パ
ターン種に応じて、誤認識を少なくし、且つ、不明とさ
れる場合を少なくすることができる。

【００４１】また、本発明の請求項２に係るパターン認
識装置は、統計的手法やニューラルネット等により各パ
ターン種の確からしさを求めるパターン種可能性計算装
置と、１位パターン種に対する確からしさ基準値を各パ
ターン種に応じたベクトルとして拡張した基準値を登録
したテーブルと、１位パターン種に対する２位パターン
種の確からしさの比率である基準値を各パターン種に応
じた行列として拡張した基準値を登録したテーブルと、
パターン種可能性計算装置により得られた各パターン種
の確からしさ及び各テーブルに登録された基準値を用い
てパターン認識を行ない、認識パターン種又は不明か否
かを出力する不明判断装置と、学習用のデータの正解パ
ターン種、認識パターン種及び不明判断結果とを用いて
正答率、誤認識率及び不明率を求め、評価関数に基づき
評価値を計算する評価関数計算装置と、評価関数計算装
置による評価値に基づき、各テーブルを更新するか、若
しくは更新の中断を判断する基準値テーブル更新装置と
を具備するるので、パターン種に雄牛で最適な基準値を
自動的に学習し人為的な手間を省くことができ、また、
最適な基準値に基づいたパターン認識により正解率を高
め、不明率を減少させることができる。

【図面の簡単な説明】

【図１】本発明における装置全体の構成図である。

【図２】本発明におけるパターン認識時の構成図であ
る。

【図３】本発明における基準値自動調整時の構成図であ
る。

【図４】本発明におけるパターン種に対する確からしさ
基準植Ａの構造例の説明図である。

【図５】本発明における基準値Ａの拡張効果の説明図で
ある。

【図６】本発明における１位パターン種に対する２位パ
ターン種の確からしさの比率の基準値Ｂの構造例の説明
図である。

【図７】本発明における基準値Ｂが非対称である根拠の
説明図である。

【図８】本発明における基準値Ｂの拡張効果の説明図で
ある。

【図９】本発明における基準値Ｂの自動調整方法の説明
図である。

【符号の説明】

１ パターン種可能性計算装置 ２ 基準値テーブル ３ 基準値テーブル ４ 不明判断装置 ５ 評価関数計算装置 ６ 基準値テーブル更新装置

Claims (2)

【特許請求の範囲】
1. 【請求項１】 パターン認識を行なう際に用いる基準値
   を、１又は２種類のスカラー量から、パターン種に応じ
   たベクトル或いは行列構造へと拡張し、パターン種別毎
   にきめの細かい最適基準値がとれるようにし、且つ、基
   準値を最適値に自動設定するため、基準値の評価関数を
   計算して、自動的に評価関数に応じた最適値を学習でき
   るようにし、且つ、パターン認識適用時の目的又は要求
   に応じて、正答個数最大、誤認識個数最小或いはその中
   間等の多用な評価関数を具備し選沢できるようにしたこ
   とを特徴とするパターン認識装置。
2. 【請求項２】 統計的手法やニューラルネット等により
   各パターン種の確からしさを求めるパターン種可能性計
   算装置と、１位パターン種に対する確からしさ基準値を
   各パターン種に応じたベクトルとして拡張した基準値を
   登録したテーブルと、１位パターン種に対する２位パタ
   ーン種の確からしさの比率である基準値を各パターン種
   に応じた行列として拡張した基準値を登録したテーブル
   と、パターン種可能性計算装置により得られた各パター
   ン種の確からしさ及び各テーブルに登録された基準値を
   用いてパターン認識を行ない、認識パターン種又は不明
   か否かを出力する不明判断装置と、学習用のデータの正
   解パターン種、認識パターン種及び不明判断結果を用い
   て正答率、誤認識率及び不明率を求め、評価関数に基づ
   き評価値を計算する評価関数計算装置と、評価関数計算
   装置による評価値に基づき、各テーブルを更新するか、
   若しくは更新の中断を判断する基準値テーブル更新装置
   とを具備することを特徴とするパターン認識装置。