JPH0713951A

JPH0713951A - ニューラルネットワークを訓練する方法

Info

Publication number: JPH0713951A
Application number: JP5244173A
Authority: JP
Inventors: Toru Oki; 亨大木; Phillip Paorera; フィリップパオレラ
Original assignee: Sony Electronics Inc
Current assignee: Sony Electronics Inc
Priority date: 1992-10-01
Filing date: 1993-09-30
Publication date: 1995-01-17
Also published as: US5778152A

Abstract

(57)【要約】【目的】文字認識の精度を向上させる改良型ニューラ
ルネットワークの訓練方法を提供する。【構成】特定の文字を認識するように設計された本発
明のニューラルネットワークにおいては、認識すべき文
字の画像である第１の隠れたノードのための初期のタッ
プ重みが提供される。この重みの組の逆のもの（アジテ
ィブインバース）が第２の隠れたノードのためのタップ
重みとして用いられる。もし使用されるならば、第３の
ノードがランダムノイズで初期化される。それから、ニ
ューラルネットワークがバックプロパゲーションを用い
て訓練される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は一般的にはニューラルネ
ットワークの分野に関する。さらに特定的には、本発明
は所定の組からシンボルまたは文字を認識し検証するニ
ューラルネットワークを訓練する方法およびその装置に
関する。本発明はまた円形状に配列された文字を認識す
るための座標回転技法（rotation technique) を用いる
が、そのような用途に限定されるものではない。

【０００２】〔関連出願の記述〕本発明に関連する出願
を下記に示す。本発明は、それぞれ同じ日（１９９２年
１０月１日）に米国特許庁に出願され、本願出願と同じ
共通の所有者によって我が国に出願された下記の出願に
関係している。（１）米国出願シリアル番号：０７／９５５，５６３米国出願名称“Training Method for Neural Network U
sing Width Variation" 発明者:Toru Oki(大木亨) 我が国特許出願整理番号：Ｓ９３０３７５６８（１）、（２）、（３）を複合（２）米国出願シリアル番号：０７／９５５，５２２米国出願名称“Training Method for Neural Network U
sing Offset Training Characters" 発明者:Toru Oki(大木亨) 我が国特許出願整理番号：Ｓ９３０３７５６８（１）、（２）、（３）を複合（３）米国出願シリアル番号：０７／９５５，５３４米国出願名称“Neural Network for Character Recogni
tion and Verification" 発明者:Toru Oki(大木亨) 我が国特許出願整理番号：Ｓ９３０３７５６８（１）、（２）、（３）を複合（４）米国出願シリアル番号：０７／９５５，５５５米国出願名称“Neural Network for Character Recogni
tion of Rotated Characters" 発明者:Toru Oki(大木亨) 我が国特許出願整理番号：Ｓ９３０３７６２２

【０００３】

【従来の技術】文字認識はニューラルネットワークの重
要な用途の一つである。文字認識の用途としては、資料
内のテキストの認証に用いられているばかりでなく、工
業的な用途におけるシンボルおよび文字の認識としても
用いられている。本発明は特に機械によって発生した文
字に好適に適用される。すべての用途において、文字認
識における最適な精度が非常に重要である。また、重要
なこととして、ネットワークの構造が簡単であること、
訓練が容易であること、使用される訓練順序（トレーニ
ングシーケンス）における訓練が独立していること、ノ
イズの存在においてロバストネス(robustness)であるこ
と、および、ネットワークを一般化させる能力があるこ
とである。ニューラルネットワークの性能および訓練に
影響を与える種々の因子の扱いについての概要および背
景が、論文：著者、Patrick K. Simpson、題名、"Found
ations of Neural Networks"、Artificial Neural Netw
orksから刊行：Paradigms, Applications and Hardware
Implementations, Sanchez-Sinencio、他編集、IEEE P
ress,1992, USA、に見いだされる。

【０００４】従来のニューラルネットワークにおいて
は、ハードウエアおよびソフトウエアの両者について、
ニューラルネットワークに文字を表すものを提供するこ
とによって文字を認識させている。内部重み関数が用い
られて入力を重み付けし、ニューラルネットワークを訓
練するための訓練過程に基づいて最も文字に近いものを
表す出力を生成させる。訓練過程の品質を向上させるこ
とが現在の研究の主体(large body)であり、現在、精度
を決定する因子である。ここで精度とはその精度によっ
てニューラルネットワークが文字を同定できるという精
度である。工業的な用途において、例えばシリアル（連
続）番号を表す文字の正しい認識は、生産管理において
重要（クリティカル）である。

【０００５】

【発明が解決しようとする課題】ある工業的な用途にお
いては、文字の認識はその文字が正しい程度に検証され
ることは重要でない。そのようなものとしてはコンパク
トディスクの製造過程を考えることができる。この場
合、ビデオ、オーディオ、またはコンピューターデータ
を実際に符号化する前に、ディスクにプログラムの本体
を表すシリアル番号が刻印される。文字を認識する装置
は、多くのディスクのバッチの各々が、正しいシリアル
番号がディスクにシリアル番号が付されていることを検
証する装置ほど重要ではない場合が多い。その一方で、
ラベルおよびシリアル番号が刻印されているコンパクト
ディスクはプログラムの内容と干渉して（一致しない
で）符号化されることがある（例えば、アーティストの
ミュージックが、ラベルが不正確についているディスク
に符号化される）。

【０００６】したがって、本発明は、文字またはシンボ
ルについて引き続く検証を提供し、検証ネットワークの
ための訓練技法を提供することによって、文字またはシ
ンボルを認識する装置の精度を向上させコンバージェン
ス（収束性）を高め、そして一般化能力を高めることを
目的とする。さらに本発明は、シリアル番号またはこれ
に類するデータの検証を迅速かつ簡単に提供することに
用いられる。また、本発明の訓練技法を用いることによ
って検証ネットワークの訓練が向上する（強化され
る）。

【０００７】本発明の目的は、文字またはシンボルの認
識の精度を向上させる改良型のニューラルネットワーク
の訓練方法および装置を提供することにある。本発明の
利益は認識の精度が向上することである（強化されるこ
とである）。本発明の他の目的は、ニューラルネットワ
ークを訓練するための改良型方法を提供することにあ
る。本発明の訓練技法の利点は、高い能力を有するロバ
スト(robust)なニューラルネットワークを生成し、一般
化する。

【０００８】本発明のこれらおよび他の目的、利益およ
び特徴は本発明に関する下記の記述の考慮に基づき、当
業者にとって明瞭となる。

【０００９】

【課題を解決するための手段】本発明のニューラルネッ
トワークは、特別の文字を認識するために設計されてお
り、認識すべき文字の画像の第１の隠れたノードのため
の初期のタップ重みが提供される。この重みの組に対す
るアジティブインバース(additive inverse)が第２の隠
れたノード関する重みとして用いられる。もし用いられ
る場合、第３のノードがランダムノイズによって初期化
される。このニューラルネットワークはしたがって、バ
ックプロパゲーションによって訓練される。

【００１０】本発明の第１の観点によれば、本発明の入
力アレイＰ（Ｋ）によって表されるシンボルを認識する
ためニューラルネットワークを訓練する方法が提供され
るのであり、該ニューラルネットワークを訓練する方法
は、上記ニューラルネットワークの中間層を提供し、該
入力アレイＰ（Ｋ）が上記ニューラルネットワークによ
って認識されるべきシンボルを表すものを有するとき、
該入力アレイＰ（Ｋ）と非常に相関が深い値に中間のノ
ードと関連する重み関数Ｗ₁（Ｋ）を初期化し、そして
訓練（トレーニング）シーケンスを前記ニューラルネッ
トワークに印加する諸段階を有する。上記重み関数Ｗ₁
（Ｋ）は下記式で定義される。

【００１１】

【数８】

【００１２】第２の中間ノードと関連する第２の関数Ｗ
₂（Ｋ）は、前記入力アレイＰ（Ｋ）が上記ニューラル
ネットワークによって認識されるべきシンボルを示すも
のを含むとき該入力アレイＰ（Ｋ）と非常に関連のない
値に初期化される。第３の中間ノードと関連する第３の
重み関数Ｗ₃（Ｋ）がランダムな値に初期化されうる。
上記第２の関数Ｗ₂（Ｋ）および第３の重み関数Ｗ
₃（Ｋ）を下記式で定義する。

【００１３】

【数９】

【００１４】

【数１０】

【００１５】新規であるべきと信じられている本発明の
上記特徴が、添付した請求の範囲に特定的に記述されて
いる。しかしながら、本発明はそれ自身、方法および装
置の両者に関連づけた動作についてさらに他の目的およ
び利益に関連しており、添付した図面に関連付けた下記
の記述を参照づけることによって、最良に理解されるの
である。

【００１６】

【実施例】本発明は種々の異なる形態における実施例と
してとりうるが、図面に図解されており、そして詳細な
特定的な実施例に記述されており、その開示が本発明の
原理の一例として考慮すべきことが理解され、そして本
発明が図示され記述された特定的な実施例にのみ限定さ
れることを意図していないことが理解される。本発明の
記述のために、用語「シンボルおよび文字」は、例えば
数字文字（レター）、グラフィックシンボル、アルファ
ベットシンボルその他などの認識可能な複数のメンバー
（要素）の一組のある一つのメンバーを表すように意図
されているものによって幾分交換可能に用いられる。こ
れらの用語はまた工業的な用途において有益な画像を包
含することが意図されており、工業的な用途の例として
は、例えばニューラルネットワークによって有益に認識
されうるギア（歯車）の画像、集積回路チップの画像、
サブアッセンブリまたは一部の画像、またはその他の画
像またはパターンなどである．

【００１７】図１を参照して述べると、図１には本発明
の工業的な用途の一例が示されている。そのような用途
は、例えばシリコンウェーハ、回路基板、サブアッセン
ブリ、コンパクトディスクなどである部分の上に刻印さ
れたシリアル番号を認識するために用いられうる。もち
ろん、他の用途も可能である。この例示においては、部
分１０から認識されるべきものとして６桁の数字のシリ
アル番号を仮定しており、その部分１０としては本発明
の好適な実施例においてはコンパクトディスクまたは半
導体製造のためのシリコンウェーハである。この部分１
０はビデオカメラまたは他の走査装置１２によって特定
的な位置において観測される。

【００１８】部分１０がコンパクトディスクの場合、シ
リアル番号がそのディスクの中央の穴のまわりに配置さ
れている。このことは文字の認識を幾分困難にさせる。
カメラの出力信号が極座標変換器（polar converter)１
４によって処理され、それによって文字の配置が中央の
穴の周囲に配置された円形状の配置から、直線状に配置
された文字の列に変換される。これについては、関連出
願として、参照符号によって一体化されている上記関連
づけた出願（４）に十分に記述されている。画像が円形
状に配置されているか否かに関わらず、上記した出願に
記述されている区分化および中心化処理は、認識および
検証装置の性能を向上させるために用いられる。それか
ら、文字の直線状の順序（シーケンス）がマトリクスま
たはアレイ１６（またマトリクスまたはアレイの集合）
として示され、そのマトリクスまたアレイは、これまで
知られている方法において文字のそれぞれを示すもので
ある。代表的には、そのマトリクスはピクセルの値によ
って組み合わされており、そのピクセルの値は観測され
ている文字を表す。例えばここで、図２に示されている
文字「Ａ」を示す場合を考える。この表現において、本
発明によって処理されたものとして実際の文字から発生
されたものに関して、明るいピクセルは＠によって示さ
れており、暗い画像が小さなドットとして示されてい
る。別の番号が便宜的に付加されている。この文字は下
記の表によって示されている値の一次元のピクセルアレ
イＰ（Ｋ）によってコンピュータファイル内に示されて
いる（別の番号は便宜的に付加している）。

【００１９】

【表１】

【００２０】上記表１のアレイにおいて、各列が２６ビ
ットで３８列が示されており、Ｐ（１）が上部左隅にあ
り、Ｐ（２）がこのＰ（１）のすぐ右にあり以下同じよ
うに並んでおり、Ｐ（９８８）が右下の角にある。本発
明の実施例においては１または０のいずれかであるピク
セルの値がディジタル値である場合を扱っているが、本
発明のニューラルネットワークは他の適切な特性または
ピクセルの明るさをあらわすアナログの値についても動
作しうる。

【００２１】複数のアレイＰによって表されたものとし
てのマトリクス１６は、入力として複数またはより少な
い数の従来のニューラルネットワーク２０に用いられて
おり、このニューラルネットワークは所定の文字または
シンボルの組（例えば、アルファベットおよび数値０〜
９）から文字またはシンボルの各々を認識するために訓
練される。

【００２２】テスト例についてのニューラルネットワー
ク２０が図３に図解されており、そして、このニューラ
ルネットワークは上述したアレイＰ（Ｋ）などの９８８
ピクセルのアレイによって表される９８８ピクセル（Ｋ
＝９８８）を有する。それらのピクセルの各々がそのニ
ューラルネットワークにおいて分離されている重みに割
り付けられており、それぞれがそれらと関連する８個の
中間ノードの各々に結合されている。それらの中間ノー
ドの各々が出力ノードに接続されている。この実施例に
おいて、そのような出力ノードが１４個用いられてお
り、それによって任意の１４個の文字が認識されうる。
従来知られているバックプロバゲーションまたは訓練技
法がこのニューラルネットワーク２０を訓練するために
用いられる。図示の例においてシリアル番号のそれぞれ
の文字がニューラルネットワーク２０によって連続的に
分析され、例えばシリアル番号を構成する６桁の文字の
シーケンス（順序列）が生成される。この好適な実施例
において１１桁の文字のシリアル番号がニューラルネッ
トワーク２０に連続的に１１個のアレイＰ（Ｋ）を印加
することによって認識される。

【００２３】再び図１を参照して述べると、もし文字が
ニューラルネットワーク２０によって正しく認識された
場合、正しいシリアル番号が出力される。この出力はそ
れから下記に述べるように、ニューラルネットワークの
第２の組によって検証される。図１に例として示したよ
うに、ニューラルネットワーク２０から出力されるシリ
アル番号は６桁の文字のコードである。もちろん、一般
的には任意の数の文字も処理できる。この例示における
シリアル番号を検証するため、認識ニューラルネットワ
ーク３０（３０₁、３０₂、３０₃、３０_a、３０_b、
３０_c）がシリアル番号の６桁の文字の各々に対応して
選択される。そのようなニューラルネットワークのそれ
ぞれには解析のためのマトリクス１６₁、１６₂、１６
₃、１６ _a、１６_b、１６_cが設けられている。マトリ
クス１６₁はマトリクス１６に維持されている文字
「１」を示すものを含む。マトリクス１６₂、１６₃、
１６_a、１６_b、１６_cも同様にマトリクス１６から文
字「２」、「３」、「ａ」、「ｂ」および「ｃ」を示す
ものを含んでいる。従って文字またはシンボルの組がＮ
個の文字またはシンボルを有する場合、Ｎ個のそのよう
なニューラルネットワークが選択を可能にするように構
成されている。

【００２４】これらのニューラルネットワーク３０の各
々はニューラルネットワーク２０よりも構成が実質的に
簡単になっており、また各々が文字またはシンボルの組
の単一のメンバー（要素）を認識するように訓練され
る。つまり、ニューラルネットワーク３０の各々が単一
の文字のみ認識するように訓練されているのであって、
そのような文字そのものではない。それゆえニューラル
ネットワーク３０_bは、解析される文字「ｂ」であるか
どうかに対する答え、つまり、「イエス」または「ノ
ー」を与えるように訓練される。そのように行うため、
ニューラルネットワークは、もし入力が文字「ｂ」の画
像である場合に「ｂ」が正しい答えであり、そして、も
し入力が「ａ」、「ｃ」〜「ｚ」、または「０」〜
「９」についての画像である場合には、「ｂ」でない
が、正確な答えであるように教示される。それゆえ、ニ
ューラルネットワーク３０_bの出力は、「ｂ」または
「ｂ」でないのいずれかである。（当業者はニューラル
ネットワークの出力が純粋な２進の値ではなく、むしろ
最大の制御(the greatest control)である出力であると
理解されるであろう。）もちろん、等価的な２進数の出
力が発生されるのであって、そこでは、例えば、「１」
の出力が特別の文字が検証されたことを示し、そして
「０」の出力が特別の文字が検証されないことを表す。

【００２５】もしニューラルネットワークが文字のそれ
ぞれを固有に検証する場合、シリアル番号は高い信頼性
で正確に認知されていると考えられている。もし、１つ
または複数のシリアル番号から抽出されたシンボルが検
証されない場合、他の手段がエラー救済を提供するため
にとられる。本発明においては、ニューラルネットワー
ク３０が小さく、そしてその訓練が特別の単一の文字に
対して非常に特定的であるから、処理速度が非常に早く
信頼性が高い。

【００２６】図４は、本発明のテストに用いられるニュ
ーラルネットワーク３０の構成例を示す図である。この
構成はニューラルネットワーク２０として同じ９８８個
のピクセルアレイＰ（Ｋ）を受け入れる。これらのピク
セルは、重みづけられそして中間ノードの組に印加され
る。この中間ノードの組は２または３の中間ノードのみ
を有している（図４においては中間ノードの組が３の場
合を示している）。これらの中間ノードの重みは、二つ
のノードに対する出力を生成するために用いられるもの
であり、これらのノードはこのネットワークと関連する
文字が検証されているか、または検証されていないかを
示している。このネットワークは簡単で、迅速でそして
比較的容易に実現できる。

【００２７】ニューラルネットワーク３０によって検証
されるべき文字に依存して、ニューラルネットワークの
重みが、後述するように初期化されるとき、２または３
の中間（隠れた）ノードの何れかが用いられうる。図４
は３つのノードの場合について示している。しかしなが
ら、他の文字と過剰に重複をしないような非常に多くの
文字が２つの中間のノードを用いて検証されうる。一般
に、３つのノードを必要とするそれらの文字は経験的に
決定されうる。経験によれば、そのような文字は検査に
よって決定されうる。しかしながら、その処理は、たと
えば、すべての可能性のある文字の組み合わせについて
のドットの生成を用いることによって自動的に行われう
る。所定のしきい値（この値は経験的に決定されるもの
である）を超えているドットのプロダクトを有する（ド
ットによって構成されている）文字の対は、３つの中間
ノードを有するニューラルネットワークを用いて検証さ
れうる。文字０〜９、０（ゼロ）、Ｒ、Ｏ（オー）及び
＠を有するテスト用文字の組が本発明の検査のために用
いられた。これらについて検証ニューラルネットワーク
が、１、２、４、７、＠、０およびＡのサブセットのた
めに構成された。このサブセットにおいて、３つの中間
ノードが文字Ａ、０及び＠のためにのみ用いられた。

【００２８】特別の訓練技法がこれらの検証ニューラル
ネットワークのために考案されており、そして文字
「Ａ」を認識するために訓練されたニューラルネットワ
ークについては図５に図解されている。この例示におい
ては、３つの中間ノードの入力と関連する３つの組の重
みが存在することを喚起している。これらの重みはアレ
イＷ₁（Ｋ）、Ｗ₂（Ｋ）およびＷ₃（Ｋ）として考え
られうる。以前に図解した例示においては、Ｋ＝９８８
であった。その理由はニューラルネットワークに対する
入力として９８８個のピクセルが存在したからである。
それゆえ、それらは、入力アレイＰ（Ｋ）、及び、重み
アレイＷ₁（Ｋ）、Ｗ₂（Ｋ）およびＷ₃（Ｋ）との間
には「１対１対応」の関係がある。

【００２９】従来型のニューラルネットワークのバック
プロパゲーション訓練方法またはこれと類似するものの
使用に先だって、戦略的に重みアレイを初期化すること
（プリローディングすること）によって、本発明による
改良型のニューラルネットワークの訓練スピードが、精
度の向上とともに、入手しうることが、決定されてい
る。３つの中間ノードが用いられ、そしてニューラルネ
ットワークが２つの出力を認識するためにのみ用いられ
るこの場合において、重み関数は下記のように選択され
る。

【００３０】

【数１１】

【００３１】

【数１２】

【００３２】

【数１３】

【００３３】ここで入力アレイＰ（Ｋ）は入力アレイで
あり、この入力アレイは検証されるべき文字を表す理想
的なものを有している。すなわち、重み関数は理想的な
入力アレイを組み換えたパターンを用いてプリローディ
ングされている。

【００３４】この好適な実施例において、第１のタップ
Ｗ₁（Ｋ）のための重み関数は、理想的な入力文字と非
常に関連の深いパターンとして選択される。実際、入力
アレイＰ（Ｋ）は、ニューラルネットワークが認識する
ように訓練されている文字について理想的なものを表す
ものを含んでいるとき、重みタップＷ₁（Ｋ）と入力ア
レイＰ（Ｋ）の相関は１．０である。それゆえ、理想に
非常に近い文字が入力に印加された場合、このノードは
強く「ファイア(fires) 」する（大きな出力を生成す
る）。第２の重み関数Ｗ₂（Ｋ）は、第１のタップ係数
Ｗ₁（Ｋ）のアジティブインバースであるとして選択さ
れ、それにより、入力アレイＰ（Ｋ）が、ニューラルネ
ットワークが認識することを訓練されている文字を示す
理想的なものを有する場合、この入力アレイＰ（Ｋ）と
第１のタップ係数Ｗ₁（Ｋ）とほとんど関連のないもの
である。この場合においては相関は０．０である。それ
ゆえ、理想に非常に近い文字が入力として印加されてい
るとき、第２のノードは非常に重くファイアリングを禁
止する（小さな出力を生成する）。それゆえ、第２のノ
ードは理想的な文字を拒絶する。もちろん、ニューラル
ネットワークの訓練の後、重みの値が修正されうる。

【００３５】（３つの隠れたノードを用いた）この例示
において、ランダムノイズによって初期化されている３
つのノードが加えられ、それによって十分大きな重み空
間が提供され、直線的な分離可能性が達成される（この
直線的な分離可能性とは固有の収束のために隠れたノー
ドをサブクラスに生成するニューラルネットワークの能
力をいう）。この場合はコンバージェンスが２つのノー
ドによっては得ることができない（または容易に得るこ
とができない）。換言すれば、第３のノードが実質的に
類似性のある文字の相互間を顕在化するために役に立つ
特別の重みを有するネットワークを提供する。上述した
ものに類似するものとしては、例えば、０（ゼロ）とＯ
（オー）と＠、８と３とＢなどである。認識され、顕著
化されるべき文字の数が非常に増加した場合に、一層隠
れたノードが必要とされ、それによって、さらに重み空
間を拡大化することによって直線的な分離可能性が実現
されることが理解されるであろう。

【００３６】重みアレイが、図２に示したように斜線で
示した領域として示される大きな重みの値と、そして明
瞭な領域として示される小さな重みとを有するものに類
似する、３８ｘ２６のマトリクスとして配列されている
場合、上述した式は図５に図解した関連性の薄い３つの
アレイのように表現しうる。テストに用いた実施例の重
みの値の許容可能な範囲は、初期状態として、浮動小数
点数表示で−３．２７６８から＋３．２７６８の間であ
った。＋０．３の値が大きな値として用いられ、そして
−０．３の値が小さな値として用いられ、それによって
試みた値の結果としては最良のものが生成され、そし
て、それの重みをアップおよびダウンの両者において値
を変動させることを可能にした。もちろん、更に最適化
することが可能である。±０．１から±０．５の範囲の
重みの値がタップ重みを初期化するに適した値として連
続的に検査された。±０．３が大きくそして小さい重み
の値として用いた場合に比べて、±０．５が用いられた
場合には、得られた結果が幾分貧弱であるということが
判った。初期の大きな重みの値および小さな重みの値と
して±０．１が用いられた場合には、コンバージェンス
（収束性）は幾分緩慢であった。重み関数Ｗ₃（Ｋ）が
ランダムノイズを用いて初期化された。このランダムノ
イズは、＋０．３から−０．３の範囲において均一に分
布している。

【００３７】これらの重みの値は、今述べている例につ
いて幾分特定的であるが、この技法は重みの値が対象と
している装置において尺度化（スケール）されていると
き一般的に適用されうる。この場合、大きい値および小
さい値がタップの値として用いられているダイナミック
レンジの上下ほぼ１０％のポイントであるように規定さ
れるが、しかしながらこの値の比較的広い範囲で機能す
るように期待されているとき、良好な結果が得られた。
一般に「大きな」重みは「小さな」タップ重みに比較し
て大きい。

【００３８】これらの重みを初期化した後、従来のバッ
クプロパーゲーションが複数のパスを用いて入力として
の複数の組について用いられた。文字の組が認識される
べき文字の順序で入力に印加され、他の文字のメンバの
組を用いてインターリーブされた（例えば文字「Ａ」を
認識するネットワークを訓練する場合には、Ａ、Ａ、
Ａ、Ａ、Ｂ、Ｂ、．．．、Ｚより、むしろＡ、Ｂ、Ａ、
Ｃ、Ａ、Ｄ、．．．、Ａ、Ｚ、Ａ、Ｂ、．．．、
Ｚ、．．．を用いる）。これらのニューラルネットワー
クに関連した経験において、訓練シーケンスに関してネ
ットワークの従属性を減衰させることが要求され、そし
て、一般化する能力を有するネットワークが提供される
ことが望まれている（一般化能力とは、訓練に用いられ
た文字に類似する文字を認識することである。例えば、
その方法において認識を誤ると(corrupted) それでそれ
らの文字は訓練シーケンスにおけるそれらの文字と同一
ではない）。タップの重みを初期化する上述した技法の
使用により重みの収束が迅速化され、そして、訓練シー
ケンスについてニューラルネットワークの従属性が低減
した。

【００３９】本発明の変形形態として、第１および第２
の隠れたノードのためのタップ重みが、初期化の後、そ
して訓練過程が起動される前に（または訓練過程におけ
るある点において）、小さな量のランダムノイズによっ
て修正することができ、それによって訓練期間における
ローカルミニマム（局部的に最小になること）の回避を
助けることができる。このことは、例えば、０．９〜
１．１の範囲の間のランダムな値（１０％ノイズ）をタ
ップ重みに乗ずることによって実現される。１０〜２５
％の範囲のノイズが希望する結果を生成するために期待
されている。

【００４０】訓練過程に対する更なる改善が行われ、そ
れによってニューラルネットワークの一般化が達成され
た。この技法においては、図７に図解したように、ニュ
ーラルネットワークがまずトレーニングシーケンスとし
て理想的な文字を用いて、所定の期間訓練された。その
期間の後、ニューラルネットワークが、文字の組におけ
る複数の文字についてのオフセットを用いて訓練され
た。それに関連したテストにおいて、そのシーケンスに
ついて５００回の反復（繰り返し、サイクル）がオフセ
ット処理に先立って用いられた。それから１０００回の
繰り返しが、加えられたオフセットを用いて使用され
た。オフセットはネットワークを収束するためには必要
ではない。しかしながら、収束するということだけが、
ニューラルネットワークが訓練の組の中には存在しない
データのために固有に作用することを確実にさせないと
いうことに留意することが重要である。このオフセット
技法の使用はニューラルネットワークを一般化すること
に役立ち、それによってトレーニングシーケンスの部分
ではないパターンを認識することをよりよく可能にす
る。このオフセットプロセスは付加的な利益を有する。
文字の縁にあるストレイピクセル(stray pixels)を文字
の中心にずらすことができる。訓練期間におけるオフセ
ットがこのシフトを模擬し、そして、そのようなノイズ
に対してロバスト的であるニューラルネットワークを創
生する。

【００４１】オフセット処理が文字「Ｔ」を例として図
６に図解されている。図６（Ａ）において標準の理想的
な文字「Ｔ」が「文字ウインド」の中の中央に図解され
ている。希望するニューラルネットワークの一般性を実
現するために、文字が学習過程においていくつかのピク
セルの数だけ上下左右に移動される。図６（Ｂ）におい
て、文字Ｔが１ピクセルだけ右側にオフセットされてい
る（ずらされている）。図６（Ｃ）において文字Ｔが２
ピクセルだけ上側にオフセットされている。テスト用ニ
ューラルネットワークにおいて、ランダムなオフセット
がシーケンスの各反復（繰り返し）において加えられ
る。そのオフセットは各方向において最大のピクセルで
ある。オフセットは任意の方向に２ピクセル程度とすべ
きである。そこで、所定の反復が「上側に１ピクセル、
左側に２ピクセル」、「下側に０、右側にピクセル」、
「下側に２ピクセル、上側に２ピクセル」などだけシフ
トされうる。オフセットは各反復期間におけるトレーニ
ングシーケンスの各文字において、ランダムに変化され
る。収束化についてある種の改良が、もしオフセットが
ニューラルネットワークによって検証されあるべきであ
った文字に印加されたときのみ期待されるということが
当業者によって理解されるであろう。オフセットのピク
セルの数、および、オフセットを変化させる技法などに
ついての他の種々の変形形態が当業者によって行われる
であろう。

【００４２】この訓練過程が図７に記述されており、ス
テップ３２から始まる。ステップ３４において、（イエ
スまたノーのノードが考慮されうる）２つの中間ノード
が認識されるべき文字と相関があるアレイによって初期
化される。あるノードがアレイによって初期化される
が、このアレイはニューラルネットワークが訓練されて
いるものの文字の各ピクセルにおける大きな値の重みを
持ち、そして残ったピクセルについては小さな値を持
つ。このことは「イエス」のノードであることと考慮さ
れる。他のノード「ノー」のノードがアレイによって初
期化されるが、このアレイは上記した「イエス」のノー
ドのアレイと対向する（反対である）もの「すなわち、
アジティブインバース(additive inverse)」を持ってい
る。「イエス」のノードは、正しい文字が入力として印
加されたとき、高い値を累積し、「ノー」のノードは、
正しい文字が入力として与えられたとき、低い値を累積
する。

【００４３】ステップ３６において、もしその文字が文
字の組における他の文字から直線的に分離できない、第
３のノードが用いられる。ステップ３８において、この
ノードが従来の方法と同様にランダムノイズによって初
期化される。いずれかの事象（イベント）において、文
字の組におけるすべての文字を含む訓練シーケンスがＪ
回の反復の数について、ステップ４０において、印加さ
れる。状況に依存して、Ｊ回の反復が経験的に最適化さ
れうる。このテスト用ニューラルネットワークにおいて
は、Ｊ回の反復としてほぼ５００の反復が満足すべき値
であった。Ｊ回の反復ののち、オフセット処理が導入さ
れるが、ここでは任意の方向において最大２ピクセルの
ランダムオフセットが各反復の期間に加えられる。ステ
ップ４２における処理として、反復の数としてはほぼ２
倍の反復（テストにおいて約１０００の反復）が収束化
および一般性を実現するために満足するべき値であるこ
とが判った。所定の数の反復が行われた後または、収束
が達成された後、ステップ４４においてこの訓練が終了
する。

【００４４】一旦、訓練によって重みの値が決定される
と、浮動小数点演算を使用することを行わないようにす
ることが望まれる。その理由はそれの演算は非常に多く
の演算時間を要するからである。演算速度を迅速化させ
るために、実際に用いられる最終的な重みがスケーリン
グによって１６ビットの整数の値に変換される。それゆ
え、−３．２７６８という最大のタップの重みが−３２
７６８（−２¹⁵）として表され、＋３．２７６５のタッ
プの重みが＋３２７６８（＋２¹⁵）として表される。し
たがって、これらの最大値の間で重みがスケーリングさ
れる。簡単に１０，０００を乗ずることによって（十進
の位置を右にずらし、そして整数に変換することによっ
て）、１６ビットの整数に変換することを簡単化するた
めに、重みの最少値および最少値の初期値が選択され
た。他の最少値または最大値についても本発明の範囲を
逸脱することなく選択することができる。

【００４５】図８を参照して述べると、この認識および
検証過程がステップ５０から開始するフローチャートの
形態で要約されている。ステップ５２において、シリア
ル番号が部分１０から走査され、コンピュータまたニュ
ーラルネットワーク回路によって利用可能な形態の画像
を表すものが生成される。好適実施例について考える
と、シリアル番号がコンパクトディスクの中心の孔のま
わりに半円形に配列されている。ステップ５４におい
て、その画像が処理されて半円形の文字の配列から直線
状の配列に変換される。そのような配列としては、それ
ぞれの文字を回転させて図２に示したようなものをより
読みやすい配列にしたものがある。これについては本発
明と同時出願した上記関連出願に記載されている。

【００４６】ステップ５８においてマトリクスがアセン
ブルされて回転された文字が含まれる。一般に、この時
点において各々の文字を、処理するためにピクセルの区
分されたマトリクスに分離することが望ましい。それか
ら、このマトリクスがステップ６２においてニューラル
ネットワークに印加されるが、そのニューラルネットワ
ークはＮ個の文字またはシンボルからなる適切な一つの
組のメンバーを認識するために訓練される。それから、
そのニューラルネットワークが、ステップ６６において
ある結果を生成するが、この結果にはシリアル番号につ
いてのＮ個の文字またはシンボルのそれぞれの値につい
てそのニューラルネットワークの最良の推定が含まれ
る。

【００４７】ステップ７２において、シリアル番号につ
いてのそれぞれ認識されたシンボルのあるものについ
て、Ｍ個のより小さいニューラルネットワークの組がＮ
個のそのようなニューラルネットワークの集合から選択
される。Ｎ個のニューラルネットワークのそれぞれが訓
練されて、全ての文字の組におけるＮ個の文字について
単一のものの認識に対する答えとして「イエス」または
「ノー」のいずれかのみを与える。したがってＮ個のニ
ューラルネットワークのそれぞれはその文字の組におけ
る単一の文字の認識に関連している。

【００４８】ステップ７６において、シリアル番号にお
ける一つの文字に関連する個々のマトリクスのそれぞれ
が、ステップ７２において選択されたＭ個のニューラル
ネットワークのあるものと関係しており、それにより、
シリアル番号のそれぞれの文字に関するピクセルのマト
リクスによって表されたものとしての文字の画像が、ス
テップ６６において得られたそれぞれ認識された文字と
関連する検証ニューラルネットワークに印加される。そ
れから、より小さいＭ個のニューラルネットワークのそ
れぞれが、それぞれの文字を解析し、それぞれの文字が
正確に認識されているものかどうかを表すステップ８２
における結果を提供する。もし、シリアル番号のすべて
のＭ個の文字がステップ８４において正しく認識された
場合には、この処理はステップ８６において終了する。
もし全ての文字がステップ８４において検証されなかっ
た場合は、ステップ８６における終了処理に先立って、
エラー修復（リカバリ）処理が、ステップ８８において
行われる。

【００４９】図９を参照して述べると、本発明に基づく
文字認識装置の実施例がブロックダイアグラムの形態で
表されている。この装置において、第１のニューラルネ
ットワーク１００または文字認識のために設計された他
のニューラルネットワークが用いられて文字を初期的に
認識する。その文字の画像がその入力に印加されてい
る。ニューラルネットワーク１００の認識処理がマニュ
アルで読み取ったものおよび入力したもの、または同じ
シリアル番号について複数の検証が続けられる認識であ
ってもよいことについて、当業者は理解している。工業
的な用途において、認識部分が一旦、初期的に用いられ
るという場合がしばしばである。それから、認識部分が
検証される複数の部分について反復して用いられる。ネ
ットワーク１００の出力がスイッチコントロール回路１
０４において読み出され、このスイッチコントロール回
路がスイッチ１１０および１１２の位置を決定し、それ
によってＮ個の文字検証ニューラルネットワーク１２０
₁から１２０_Nのいずれか一つを選択する。ニューラル
ネットワーク１００における文字のマニュアルまたは他
の認識を行う場合には、スイッチ１１０および１１２₂
で表されるスイッチング動作はまた手動的に実行され
る。もちろん本発明を逸脱することなしに他の実施態様
も可能である。

【００５０】上述したように本発明の好適な実施例は、
検証の容量の観点において、少ないニューラルネットワ
ークを複数用いるが、そのような少ないニューラルネッ
トワークの配列が文字認識に利用できることも理解され
る。もし、ソフトウエア的に処理する実施態様において
は、これは、連続的にまたは並列的な処理として実現さ
れる。ハードウエア的に行う実施態様においては、並列
に接続された複数のニューラルネットワークの半導体チ
ップが迅速な処理を実現するために用いられる。この変
形態様が図１０に図解されており、図１０においてはＮ
個の文字の組が、例えば入力マトリクス１３４から、入
力として受け入れるＮ個の小さなニューラルネットワー
ク１３０₁から１３０_Nの組を用いている。Ｎ個のニュ
ーラルネットワークは、文字またはシンボルを同定する
「１オブＮ（Ｎ個のうちの１つ）」の出力を提供する。

【００５１】本発明については種々の変形形態が可能で
ある。例えば、ニューラルネットワークについての現在
の実施例は、コンピュータープログラムの形態でディジ
タルコンピュータに実現した場合を述べたが、ハードウ
エアによる実行も可能であり、ニューラルネットワーク
の回路の稼働率（利用率）および価格がより有利にな
る。本発明の技法は３層のニューラルネットワークに関
連づけて記述したが、一般的にこれらのネットワークは
３層またはそれ以上の層についても適用可能である。ま
た本発明は最初に認識し、それから文字またはシンボル
を検証する２段階の処理過程について述べたが、検証過
程が任意の状況において単独で用いることができること
が、当業者によって理解される。その状況とは文字また
はシンボルが事前に判っている場合である。

【００５２】訓練過程はまた本発明を逸脱することなく
相当に変更可能である。例えば、ランダムなオフセット
の変更について述べたが、オフセットを系統的に適用す
る場合も考案できる。そうした訓練シーケンスの構成(o
rganization)は系統的であるがランダムにすることもで
きる。重み関数Ｗ₁（Ｋ）およびＷ₂（Ｋ）はお互いに
独立に用いることができる。

【００５３】本発明として、アルファベットまた数字の
形式の認識について強調して述べたが、上述したよう
に、工業的な用途においては、認識すべき対象が、ロボ
ットによってピックアップされるべき部分、アウトライ
ンの一部、バーコードまたは他の画像であることが要求
されている。３層のニューラルネットワークが開示され
たが、この技法はより多くの層を持つニューラルネット
ワークに拡張されるべきである。以上開示した実施例に
おいては入力は２進の値であったが、アナログまたはデ
ィジタル化されたアナログ入力もまた適用できる。他の
変形形態もまた当業者によって行うことができる。

【００５４】したがって、本発明によれば、上述した目
的、意図および利益を十分に満足する装置が述べられて
いる。本発明は特定的な実施例に関連づけて記述されて
いるが、種々の変形形態、修正、代替および変形が、上
述した記述に照らし合わせれば、当業者にとって明瞭で
あることは明らかである。しがたって、本発明は添付し
た特許請求範囲の記載事項におけるそのような変形形
態、修正および変形を包含するものである。

【００５５】

【発明の効果】以上述べたように本発明によれば、文字
またはシンボルを認識する改良された方法およびその装
置が提供され、これらの方法および装置によれば文字認
識の程度（精度）が向上する。また、本発明の訓練技法
によれば、ロバストなネットワークが提供でき、ニュー
ラルネットワークの一般化が達成できる。

【図面の簡単な説明】

【図１】本発明の動作を図解する図であり、（Ａ）は全
体ブロック図、（Ｂ）は（Ａ）に示したマトリクスとニ
ューラルネットワークの構成図である。

【図２】文字「Ａ」を例示した場合のピクセルの配列を
示す図である。

【図３】図１に示したニューラルネットワークを示す図
である。

【図４】図１に示したニューラルネットワークを示す図
である。

【図５】図４に示したニューラルネットワークの重み関
数を初期化することを示す図である。

【図６】図６（Ａ）、（Ｂ）、（Ｃ）は訓練過程に用い
られる文字のオフセットの処理を示す図である。

【図７】本発明の訓練処理を示すフローチャートであ
る。

【図８】本発明の動作を示すフローチャートである。

【図９】本発明の文字認識および検証装置の構成を示す
ブロック図である。

【図１０】本発明の変形態様に基づく文字認識装置の構
成を示すブロック図である。

【符号の説明】

１０・・・コンパクトディスクの部分１２・・・ビデオカメラ（走査装置）１４・・・極座標変換器１６・・・マトリクスアレイ２０・・・ニューラルネットワーク３０・・・ニューラルネットワーク

Claims

【特許請求の範囲】

【請求項１】入力アレイＰ（Ｋ）によって表されるシン
ボルを認識するためニューラルネットワークを訓練する
方法であって、該方法が下記の諸段階、すなわち、前記ニューラルネットワークの中間層であって２つのノ
ードを有するものを提供し、下記式で表されるタップ重みを有する前記２つのノード
の一方に関連する重み関数Ｗ₁（Ｋ）を初期化し、【数１】但し、Ｐ（Ｋ）は検証すべき文字を表わすものを含む、訓練シーケンスを前記ニューラルネットワークへ印加す
る諸段階を有するニューラルネットワークを訓練する方
法。
【請求項２】前記訓練段階に先立って、下記式で表され
るタップ重み【数２】を有する前記２つのノードの他方のノードに関連する重
み関数Ｗ₂（Ｋ）を初期化する段階をさらに具備する請
求項１記載の方法。
【請求項３】前記ニューラルネットワークの前記中間層
が第３のノードを有し、前記方法が、前記訓練段階に先立って、下記式で表され
るタップ重み【数３】を用いて訓練する前記第３のノードに関連する重み関数
Ｗ₃（Ｋ）を初期化する段階をさらに有する請求項２記
載の方法。
【請求項４】訓練シーケンスにおける文字にオフセット
を適用する段階をさらに具備する請求項２記載の方法。
【請求項５】訓練周期の最後の部分に、前記訓練シーケ
ンスにおける文字にランダムなオフセットを印加する段
階をさらに具備する請求項４記載の方法。
【請求項６】入力アレイＰ（Ｋ）によって表されるシン
ボルを認識するためニューラルネットワークを訓練する
方法であって、該方法が下記の諸段階、すなわち、前記ニューラルネットワークの中間層であって３つのノ
ードを有するものを提供し、下記式で表されるタップ重み【数４】ただし、前記Ｐ（Ｋ）は検証されるべき文字を表すもの
を含む、を有する前記３つのノードに関連している重み
関数Ｗ₁（Ｋ）、Ｗ₂（Ｋ）、およびＷ₃（Ｋ）を初期
化し、訓練シーケンスを前記ニューラルネットワークに印加す
る諸段階を有するニューラルネットワークを訓練する方
法。
【請求項７】入力アレイＰ（Ｋ）によって表されるシン
ボルを認識するためニューラルネットワークを訓練する
方法であって、該方法が下記の諸段階、すなわち、ニューラルネットワークの中間層であって２つのノード
を有するものを提供し、下記式で表されるタップ重み【数５】ただし、前記Ｐ（Ｋ）は検証されるべき文字を表すもの
を含む、を有する前記２つのノードに関連する重み関数
Ｗ₁（Ｋ）およびＷ₂（Ｋ）を初期化し、訓練シーケンスを前記ニューラルネットワークに印加す
る諸段階を具備するニューラルネットワークを訓練する
方法。
【請求項８】前記訓練シーケンスを印加する段階が、バ
ックプロパゲーションによって前記ニューラルネットワ
ークを訓練する段階を有する請求項７記載の方法。
【請求項９】入力アレイＰ（Ｋ）によって表されるシン
ボルを認識するためニューラルネットワークを訓練する
方法であって、該方法が下記の諸段階、すなわち、前記ニューラルネットワークの中間層であって２つのノ
ードを有するものを提供し、下記式で表されるタップ重み【数６】ただし、前記Ｐ（Ｋ）は検証されるべき文字を表すもの
を含む、を有する前記２つのノードの他方のノードに関
連する重み関数Ｗ₂（Ｋ）を初期化し、訓練シーケンスを前記ニューラルネットワークへ印加す
る諸段階を具備するニューラルネットワークを訓練する
方法。
【請求項１０】前記訓練段階に先立って、下記式で表さ
れるタップ重み【数７】を有する前記２つのノードの一方のノードに関連する重
み関数Ｗ₁（Ｋ）を初期化する段階をさらに具備する請
求項９記載の方法。
【請求項１１】入力アレイＰ（Ｋ）によって表されるシ
ンボルを認識するためニューラルネットワークを訓練す
る方法であって、該方法が下記の諸段階、すなわち、前記ニューラルネットワークの中間層を提供し、前記入力アレイＰ（Ｋ）が、前記ニューラルネットワー
クによって認識されるべきシンボルを示すものを含むと
き、該入力アレイＰ（Ｋ）と非常に関連する値に前記中
間層のノードに関連する重み関数Ｗ₁（Ｋ）を初期化
し、訓練シーケンスを前記ニューラルネットワークに印加す
る諸段階を具備するニューラルネットワークを訓練する
方法。
【請求項１２】前記入力アレイＰ（Ｋ）が前記ニューラ
ルネットワークによって認識されるべきシンボルを表す
ものを含むとき、該入力アレイＰ（Ｋ）と非常に関連の
ない値に第２の中間ノードに関連する重み関数Ｗ
₂（Ｋ）を初期化する段階をさらに具備する請求項１１
記載の方法。
【請求項１３】前記重み関数Ｗ₂（Ｋ）が前記重み関数
Ｗ₁（Ｋ）のアジティブインバースである請求項１２記
載の方法。
【請求項１４】前記重み関数Ｗ₁（Ｋ）と前記入力アレ
イＰ（Ｋ）との相関がほぼ１．０である請求項１１記載
の方法。
【請求項１５】前記重み関数Ｗ₂（Ｋ）と前記入力アレ
イＰ（Ｋ）との相関がほぼ０．０である請求項１２記載
の方法。
【請求項１６】第３の中間ノードと関連する重み関数Ｗ
₃（Ｋ）をランダムな値に初期化する段階をさらに具備
する請求項１１記載の方法。
【請求項１７】第３の中間ノードと関連する重み関数Ｗ
₃（Ｋ）をランダムな値に初期化する段階をさらに具備
する請求項１２記載の方法。
【請求項１８】ニューラルネットワークを訓練する方法
であって、該方法が下記の諸段階、すなわち、前記ニューラルネットワークによって認識されるための
シンボルを選択し、入力の値のアレイとして前記シンボルを表し、第１の隠れたノードのための前記入力の値のアレイと非
常に関連のある値を有する第１の重みの組を選択する諸
段階を具備する、ニューラルネットワークを訓練する方
法。
【請求項１９】第２の隠れたノードのための第２の重み
の組を選択する段階をさらに具備するものであって、該
第２の重みの組が前記入力の値のアレイと弱い関連を有
するものである請求項１１記載の方法。
【請求項２０】第３の隠れたノードのためのランダムノ
イズとして第３の重みの組を選択する段階をさらに具備
する請求項１９記載の方法。
【請求項２１】前記重みの値のそれぞれにランダムな乗
算因子を乗ずる乗算段階をさらに具備する請求項１８記
載の方法。
【請求項２２】前記重みの値のそれぞれにランダムな乗
算因子を乗ずる乗算段階をさらに具備する請求項１９記
載の方法。
【請求項２３】訓練シーケンスを前記ニューラルネット
ワークに印加する段階をさらに具備する請求項１８記載
の方法。
【請求項２４】訓練シーケンスを前記ニューラルネット
ワークに印加する段階をさらに具備する請求項２１記載
の方法。
【請求項２５】訓練シーケンスを前記ニューラルネット
ワークに印加する段階をさらに具備する請求項２２記載
の方法。