JP2005352900A - 情報処理装置、情報処理方法、パターン認識装置、及びパターン認識方法 - Google Patents

Abstract

【課題】 モジュール構造を有する階層型神経回路網において被写体認識に必要な特徴クラスを自動的かつ効率的に学習する為の技術を提供すること。
【解決手段】 所定のパターンをデータ入力層１０１に提示することにより、未学習の特徴クラスを学習すべき受容野構造が不定な複数ニューロンからなる未学習処理モジュールにおいて新規な特徴クラスの検出に必要な学習を行う。
【選択図】 図２

Description

本発明は、階層型ニューラルネットワークの演算処理を行うための技術に関するものである。

学習により、新規なカテゴリのパターン認識を可能にする方法として、多層パーセプトロン、動径基底関数（Radial Basis Function）ネットワークなど神経回路網を用いる方法が良く知られる。特に、ノイズの影響を低減可能なモデルとして、局所的特徴の階層的テンプレートマッチングを行う方法（例えば非特許文献１を参照）では、新規なカテゴリの追加学習の可能なモデルの一つである。

特許文献１では、誤認識信号に従い、中間層における抑制性ユニットのしきい値の修正若しくは新たな興奮性ユニットの追加、又は中間層計算部における興奮性ユニットのしきい値の修正または新たな抑制性ユニットの追加を行うことにより、追加学習を可能にしている。

特許文献２では、学習の進み具合いを反映した学習制御信号を、大分類部が出力する群帰属度で重み付けした信号にもとづいて細分類部の重み修正を行う。カテゴリ追加部が必要に応じて細分類部に新たなカテゴリを追加するため、効率的に追加学習を行うことが可能である。

特許文献３では、認識不良パターンデータと誤認識時のパターン認識内部状態データとを用いてパターン検定部の学習を制御することにより、再学習をしないで追加学習を繰り返すことにより、誤認識を低減する構成を開示した。

特許文献４では、既に学習済みの結合を有し、利用者が任意のシナプス結合を書き換えられる学習制御手段、追加学習用の教師信号を中間層ニューロンに提示させる機構を備えている。

特許文献５では、中間層と出力層との間の学習係数を入力層と中間層との間の学習係数よりも大きくすることにより、学習済みの疎結合モジュールの構造を大きく変更することなく、高速な学習方法を開示している。

未学習パターンを適格に識別する方法として特許文献６では、カテゴリの範囲外となる境界パターンが入力ユニット群に入力されたときに、出力ユニット群の各ユニット出力を０または小さい値となるように学習をさせる。

誤差逆伝播法により学習を行う階層的神経回路網においては、隠れ層のユニットを追加して行う組み立て型誤差逆伝播法（Constructive BP：以下、ＣＢＰ法と略記）が知られる（例えば非特許文献２を参照）。このＣＢＰ法では、学習済みの結合は固定して追加されたユニットから出力層への結合のみをＢＰに従って更新する。
柳川、福島、吉田 『追加学習可能なネオコグニトロン』 電子情報通信学会技術報告ＮＣ２００１−１７６，ｐｐ．６３−７０，２００２ M. Lehtokangas, "Modeling with constructive backpropagation," Neural Networks, vol.１２, pp.７０７-７１６, １９９９ 特登録２７８０４５４号公報 特登録第２７７９１１９号公報 特開平９−６２６４８号公報 特開平５−２７４４５５号公報 特開２００２−４２１０７号公報 特開平９−１３８７８５号公報

しかしながら上記従来例では、いずれも任意の新規のパターン（未学習の特徴的なパターン）の認識のための学習（神経回路網のモジュール数や結合荷重分布など、内部パラメータの調整）を効率的に行うことが困難であるという問題を有している。また任意のパターンを内部表現するのに有用な特徴の種類が何であるかが事前には分からなという問題、若しくは、有用な特徴の検出に適した演算素子間の結合（いわゆる受容野構造）の学習が効率的に行えないという問題を少なからず残している。

例えば、非特許文献１では、ランダム結合を有する所定のＳ層ニューロンが他の特徴クラスに選択性を持つＳ層ニューロンと比べて大きい出力を出す場合に、新たな特徴カテゴリ検出用のクラスを追加することにより、追加学習を可能にしているが、そこで学習される特徴クラスが、新規かつ有効な特徴カテゴリであるという保証はなく、また他のクラスの対象を認識するのに有効であるという保証もない。

また、非特許文献２では、新規に追加されたユニットが誤差を最小にするような学習、即ち与えられたパターン認識の課題、特に新規な特徴カテゴリの検出に有用な特徴クラスの検出に適した結合を学習するという保証が必ずしも無いため、複雑なパターンを認識するのに全体として効率的な学習を行うことが困難であるという問題がある。

特許文献２では、学習すべき入力パターン信号の属するカテゴリが学習を行う細分類部に属していない場合、カテゴリ辞書に現在入力されているパターン信号を参照用パターンとして入力し、新たなカテゴリを認識する為の追加学習を可能にする構成を示しているが、参照用パターンそのものを新たなカテゴリとして入力する為に、そのパターンに変形があった場合でも適正に認識できるという保証がないため、少ないハードウエアリソース（回路要素若しくはメモリ空間）を用いての効率的な認識および学習動作が困難であるという問題点を有していた。

特許文献４では、特に入力層側のシナプス結合を学習させ、出力層側の結合は固定にしているが、新規のカテゴリに対応する新たな処理モジュールの追加などは行わないので、環境適応性、汎化性を充分に実現することが困難であった。

本発明は以上の問題に鑑みてなされたものであり、モジュール構造を有する階層型神経回路網において被写体認識に必要な特徴クラスを自動的かつ効率的に学習する為の技術を提供することを目的とする。

本発明の目的を達成するために、例えば本発明の情報処理装置は以下の構成を備える。

すなわち、データ入力層と、複数の検出すべき特徴クラスにそれぞれ対応する複数の処理モジュールを備えかつ少なくとも一つの階層レベルを有する演算処理層と、を有する並列階層処理を行う情報処理装置であって、
所定の少なくとも一つの階層レベルの前記演算処理層において所定の特徴クラスを検出するのに用いられる受容野構造を持つ複数のニューロンからなる少なくとも一つの学習済み処理モジュールと、
未学習の特徴クラスを学習すべき受容野構造が不定な複数ニューロンからなる少なくとも一つの未学習処理モジュールとを備え、
所定のパターンを前記データ入力層に提示することにより、前記未学習処理モジュールにおいて新規な特徴クラスの検出に必要な学習を行うことを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理装置は以下の構成を備える。

すなわち、データ入力層と、検出すべき特徴クラスに対応する複数の処理モジュールを備えかつ少なくとも一つの階層レベルを有する演算処理層と、学習制御回路と、処理モジュール追加・削除回路と、を有する情報処理装置であって、
前記学習制御回路により実行される所定の学習段階において前記演算処理層内の所定階層レベルでの演算素子出力の誤差信号が所定の条件を満たすか否かを判定する判定手段と、
前記判定手段が前記所定の条件を満たすと判定した場合、前記階層レベルより下位の層において前記処理モジュール追加・削除回路に、少なくとも一つの処理モジュールを追加させるよう制御する制御手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理装置は以下の構成を備える。

すなわち、所定の入力データを入力する入力層と、
所定のデータセットに関して独立成分分析を行う独立成分分析手段と、
学習制御手段と、
複数の検出すべき特徴クラスそれぞれに対応する複数の処理モジュールを備え、かつ少なくとも一つの階層レベルを有する演算処理層と、
前記独立成分分析の結果得られる所定の基底データセットと前記入力データとから、所定の前記処理モジュールが学習すべき所定の特徴クラスを含む学習用入力データを設定し、所定のメモリに格納する学習用データ設定手段と、
を有する情報処理装置であって、
所定の少なくとも一つの階層レベルの前記演算処理層は、
所定の特徴クラスを検出するのに用いられる受容野構造を持つ複数のニューロンからなる少なくとも一つの学習済み処理モジュールと、
未学習の特徴クラスを学習すべき受容野構造が不定な複数ニューロンからなる少なくとも一つの未学習の処理モジュールと
を備え、
前記学習制御手段は、所定の前記学習用入力データを前記演算処理層の所定の層に呈示することにより、前記未学習処理モジュールにおいて新規な特徴クラスの検出に必要な学習を行うことを特徴とする。

本発明の目的を達成するために、例えば本発明のパターン認識装置は以下の構成を備える。

すなわち、データ入力層と、
複数の検出すべき特徴クラスにそれぞれ対応する複数の処理モジュールを備え、かつ少なくとも一つの階層レベルを有する演算処理層と、
学習制御手段と、
前記演算処理層からの出力に基づき、所定のパターン認識結果を出力する認識結果出力手段とを備え、
所定の少なくとも一つの階層レベルの前記演算処理層は、所定の特徴クラスを検出するのに用いられる受容野構造を持つ複数のニューロンからなる少なくとも一つの学習済み処理モジュールと、
未学習の特徴クラスを学習すべき受容野構造が不定な複数ニューロンからなる少なくとも一つの未学習の処理モジュールと
を備え、
前記学習制御手段は、所定のパターンを前記データ入力層に提示することにより、前記未学習処理モジュールにおいて新規な特徴クラスの検出に必要な学習を行うことを特徴とする。

本発明の目的を達成するために、例えば本発明のパターン認識装置は以下の構成を備える。

すなわち、データ入力層と、
検出すべき特徴クラスに対応する複数の処理モジュールを備え、かつ少なくとも一つの階層レベルを有する演算処理層と、
学習制御回路と、
処理モジュール追加・削除回路と、
前記演算処理層からの出力に基づき、所定のパターン認識結果を出力する認識結果出力手段とを有し、
前記学習制御回路により実行される所定の学習段階において前記演算処理層内の所定階層レベルでの演算素子出力の誤差信号が所定の条件を満たすときに、前記階層レベルより下位の層において前記処理モジュール追加・削除回路は、少なくとも一つの処理モジュールを追加することを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理方法は以下の構成を備える。

すなわち、データ入力層と、複数の検出すべき特徴クラスにそれぞれ対応する複数の処理モジュールを備えかつ少なくとも一つの階層レベルを有する演算処理層と、所定の少なくとも一つの階層レベルの前記演算処理層において所定の特徴クラスを検出するのに用いられる受容野構造を持つ複数のニューロンからなる少なくとも一つの学習済み処理モジュールと、未学習の特徴クラスを学習すべき受容野構造が不定な複数ニューロンからなる少なくとも一つの未学習処理モジュールとを備える情報処理装置が行う情報処理方法であって、
所定のパターンを前記データ入力層に提示することにより、前記未学習処理モジュールにおいて新規な特徴クラスの検出に必要な学習を行うことを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理方法は以下の構成を備える。

すなわち、データ入力層と、検出すべき特徴クラスに対応する複数の処理モジュールを備えかつ少なくとも一つの階層レベルを有する演算処理層と、学習制御回路と、処理モジュール追加・削除回路と、を有する情報処理装置が行う情報処理方法であって、
前記学習制御回路により実行される所定の学習段階において前記演算処理層内の所定階層レベルでの演算素子出力の誤差信号が所定の条件を満たすか否かを判定する判定工程と、
前記判定工程で前記所定の条件を満たすと判定した場合、前記階層レベルより下位の層において前記処理モジュール追加・削除回路に、少なくとも一つの処理モジュールを追加させるよう制御する制御工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理方法は以下の構成を備える。

すなわち、所定の入力データを入力する入力層と、
所定のデータセットに関して独立成分分析を行う独立成分分析手段と、
学習制御手段と、
複数の検出すべき特徴クラスそれぞれに対応する複数の処理モジュールを備え、かつ少なくとも一つの階層レベルを有する演算処理層と、
前記独立成分分析の結果得られる所定の基底データセットと前記入力データとから、所定の前記処理モジュールが学習すべき所定の特徴クラスを含む学習用入力データを設定し、所定のメモリに格納する学習用データ設定手段と、
を有し、所定の少なくとも一つの階層レベルの前記演算処理層は、
所定の特徴クラスを検出するのに用いられる受容野構造を持つ複数のニューロンからなる少なくとも一つの学習済み処理モジュールと、
未学習の特徴クラスを学習すべき受容野構造が不定な複数ニューロンからなる少なくとも一つの未学習の処理モジュールとを備える情報処理装置が行う情報処理方法であって、
前記学習制御工程では、所定の前記学習用入力データを前記演算処理層の所定の層に呈示することにより、前記未学習処理モジュールにおいて新規な特徴クラスの検出に必要な学習を行うことを特徴とする。

本発明の目的を達成するために、例えば本発明のパターン認識方法は以下の構成を備える。

すなわち、データ入力層と、
複数の検出すべき特徴クラスにそれぞれ対応する複数の処理モジュールを備え、かつ少なくとも一つの階層レベルを有する演算処理層と、
学習制御手段と、
前記演算処理層からの出力に基づき、所定のパターン認識結果を出力する認識結果出力手段とを備え、
所定の少なくとも一つの階層レベルの前記演算処理層は、所定の特徴クラスを検出するのに用いられる受容野構造を持つ複数のニューロンからなる少なくとも一つの学習済み処理モジュールと、
未学習の特徴クラスを学習すべき受容野構造が不定な複数ニューロンからなる少なくとも一つの未学習の処理モジュールと
を備えるパターン認識装置が行うパターン認識方法であって、
前記学習制御工程では、所定のパターンを前記データ入力層に提示することにより、前記未学習処理モジュールにおいて新規な特徴クラスの検出に必要な学習を行うことを特徴とする。

本発明の目的を達成するために、例えば本発明のパターン認識方法は以下の構成を備える。

すなわち、データ入力層と、
検出すべき特徴クラスに対応する複数の処理モジュールを備え、かつ少なくとも一つの階層レベルを有する演算処理層と、
学習制御回路と、
処理モジュール追加・削除回路と、
前記演算処理層からの出力に基づき、所定のパターン認識結果を出力する認識結果出力手段とを有するパターン認識装置が行うパターン認識方法であって、
前記学習制御回路により実行される所定の学習段階において前記演算処理層内の所定階層レベルでの演算素子出力の誤差信号が所定の条件を満たすときに、前記階層レベルより下位の層において前記処理モジュール追加・削除回路は、少なくとも一つの処理モジュールを追加することを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理装置は以下の構成を備える。

すなわち、データ入力層とデータ出力層との間に、前段の層からの出力から検出すべきそれぞれの特徴量を検出するための複数の処理モジュールを備える検出層、当該検出層からの出力を統合して出力する統合層、の各層を交互に配置することにより構成される階層型ニューラルネットワークにおいて、所定の検出層における所定の処理モジュールを構成する各ニューロンの出力値を所望の出力値とすべく、層間の結合定数を修正する処理を行う情報処理装置であって、
所定の検出層における所定の処理モジュールを構成する各ニューロンの出力値と、所望の出力値との誤差を求める誤差計算手段と、
前記データ入力層から、前記所定の処理モジュールに出力値を出力する層までの間に配置された各層の内１つ以上の層内に、前記誤差に応じて処理モジュールを新たに追加する追加手段と、
前記追加手段による追加処理後、前記誤差計算手段による誤差に基づいて、前記所定の検出層から前記データ入力層に向けて所定層数分の層の間の結合定数を修正する修正手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の情報処理方法は以下の構成を備える。

すなわち、データ入力層とデータ出力層との間に、前段の層からの出力から検出すべきそれぞれの特徴量を検出するための複数の処理モジュールを備える検出層、当該検出層からの出力を統合して出力する統合層、の各層を交互に配置することにより構成される階層型ニューラルネットワークにおいて、所定の検出層における所定の処理モジュールを構成する各ニューロンの出力値を所望の出力値とすべく、層間の結合定数を修正する処理を行う情報処理方法であって、
所定の検出層における所定の処理モジュールを構成する各ニューロンの出力値と、所望の出力値との誤差を求める誤差計算工程と、
前記データ入力層から、前記所定の処理モジュールに出力値を出力する層までの間に配置された各層の内１つ以上の層内に、前記誤差に応じて処理モジュールを新たに追加する追加工程と、
前記追加工程による追加処理後、前記誤差計算工程による誤差に基づいて、前記所定の検出層から前記データ入力層に向けて所定層数分の層の間の結合定数を修正する修正工程と
を備えることを特徴とする。

本発明の構成により、モジュール構造を有する階層型神経回路網において被写体認識に必要な特徴クラスを自動的かつ効率的に学習することができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
図１は本実施形態におけるパターン認識処理を行う装置（パターン認識装置）の機能構成を示す図である。同図に示した装置は階層型並列処理のための構造を有し、画像データを入力して特定カテゴリの対象（被写体）、または、それを構成する局所的特徴（例えば、幾何学的特徴）などの検出に関与する情報を主として扱う。その処理結果として、入力データ中に特定カテゴリの認識対象が存在するか否か、存在する場合にはどこにあるかなどの情報が出力される。

本パターン認識装置は、画像入力装置１００、ネットワーク処理回路１０、教示用データ保持メモリ２０、処理モジュール追加・削除制御回路３０、学習制御回路４０、表示装置２００から構成される。

ネットワーク処理回路１０は、並列階層処理による画像認識を行い、表示装置２００に処理結果を出力する。教示用データ保持メモリ２０は、認識対象が構成要素として含むような局所的特徴のデータを教示用データとして保持するメモリである。この教示用データは、ネットワーク処理回路１０中の所定の特徴検出用処理モジュールに対して提示され、学習制御回路４０による制御のもとで、提示を受けた処理モジュール及びそのモジュールが入力を受ける他の処理モジュールが所定の学習動作を行う際に用いられる。より詳しい説明は後で行う。

処理モジュール追加・削除制御回路３０は、ネットワーク処理回路１０内にある任意の処理層において、所定の特徴検出を行うための処理モジュールの追加又は削除を行うための制御回路である。各処理モジュールの構成及び処理内容については、後で説明する。

図２は、本実施形態で用いるネットワーク処理回路１０の機能構成を示す図である。ネットワーク処理回路１０は、図２に示す如く、階層型ニューラルネットワークを用いた処理を行う。以下、この階層型ニューラルネットワークについて説明する。

同図の構成は、いわゆる畳み込み神経回路網もしくはConvolutionalネットワーク構造（LeCun, Y. and Bengio, Y., １９９５, “Convolutional Networks for Images Speech, and Time Series”in Handbook of Brain Theory and Neural Networks （M. Arbib, Ed.）, MIT Press, pp.２５５-２５８）の構成を含んでいる。その最終出力（層（２，Ｎ）からの出力）は、認識結果としての認識された対象のカテゴリとその入力データ中の位置である。

Convolutional NNの基本的な構造は、複数の局所特徴が構成要素として適切に配置されてなる「より複雑な局所特徴」を検出する特徴検出層（１，０），（１，１），…と、特徴検出層の出力分布から局所領域内での代表値を抽出することにより、変動に対する認識性能のロバスト性に寄与する特徴統合層（２，０），（２，１），…とが交互に配置される階層構造である。本実施形態では、ネットワーク処理回路１０において層内での処理モジュール間の相互作用はなく、層間結合のみが存在する。

特徴検出層の各層は、所定のクラス（カテゴリ）の複合局所特徴を検出する複数の処理モジュールを内蔵する。特徴検出層内の各処理モジュールには、入力画像データの各サンプリング位置に対応して存在する特徴検出素子（ニューロン）が配列される。最下位層（１，０）を除く特徴検出層（１，１），（１，２），…内の各特徴検出素子は前段層である特徴統合層の複数の処理モジュール（又はデータ入力層）から、より低次の局所特徴検出結果に対応する出力を受ける。

それぞれの局所特徴は、特徴検出素子が検出する複合局所特徴を構成するものである。また、この複合局所特徴は、より上位の特徴検出層で検出される特徴を構成する局所特徴という関係になる。処理モジュール内の各ニューロンは、同一のクラスの局所特徴を検出するために同じ受容野構造を有する。これは、Convolutional ネットワーク（畳み込み神経回路網）に特有のものであり、以下、共有受容野構造と称する。特徴統合層の各処理モジュールにおけるニューロンの配列は、入力データとの位置関係が保持されるようなトポロジカルな構造になっている。なお、以下説明するニューロン素子、シナプス回路は当然階層型ニューラルネットワークを構成するものであるので、ネットワーク処理回路１０に含まれるものである。

＜ニューロン素子＞
次に、各層を構成するニューロンについて説明する。各ニューロン素子はいわゆるintegrate-and-fireニューロンを基本として拡張モデル化したもので、入力信号（アクションポテンシャルに相当するパルス列）を時空間的に線形加算した結果が閾値を越したら発火し、パルス状信号を出力する点ではいわゆるintegrate-and-fireニューロンと同じである。

シナプス結合でパルス位相変調を受けたパルスについての時間的積分特性（受信感度特性）を与える図７（ｂ）に示すような重み関数の極大値に相当する時刻τ_ｗ１は、一般的にシナプス結合で与えられる特徴に固有なパルス（図７（ａ））の到着予定時刻τ_ｓ１より時間的に早く設定される。その結果、到着予定時刻より一定範囲で早く（図７の例では、到着の早すぎるパルスは減衰される）到着するパルスは、それを受け取るニューロンでは、高い出力レベルを持ったパルス信号として時間的に積分される。重み関数の形状はガウシアン等の対称形に限らず、非対称形状であってもよい。なお、上述した趣旨より、図７（ｂ）に示した各重み関数の中心は、パルス到着予定時刻ではない。

ニューロン素子としては、窓関数などを用いることにより得られる入力の総和値が閾値を越えたときに、所定タイミング遅れて発振出力を出すような公知の回路構成を用いてもよい。

特徴検出層内のニューロンは、前述したように特徴カテゴリに応じた受容野構造を有し、前段の層（入力層または特徴統合層）のニューロンからの入力パルス信号（電流値または電位）の時間窓関数による後述の荷重総和値が閾値以上となったとき、その総和値に応じて、例えばシグモイド関数等の一定レベルに漸近的に飽和するような非減少かつ非線形な関数、即ちいわゆるsquashing関数値をとるような出力レベル（ここでは位相変化で与えるが、周波数、振幅、パルス幅基準での変化となる構成でもよい）でパルス出力を行う。

＜シナプス回路等＞
図４Ｂは、ニューロンｎ_ｉの結合先である各ニューロンｎ’_ｊへのシナプス結合強度（位相遅延等に関する変調の大きさを意味する）を与える各小回路がマトリクス的に配置することにより形成されるシナプス回路の構成を示す図である。

結合荷重値の長期保持のためには、FeRAMやMRAMなどをベースとして用いたアナログ不揮発メモリ、浮遊ゲート素子、或いはデジタルメモリへの書き込み等を行って結合荷重を格納してもよい。その他回路規模を小さくなるように工夫した構成など周知の回路構成を用いることができる。

＜各層の処理内容とニューロン受容野構造＞
以下、ネットワーク処理回路１０を構成する主要部について更に詳しく説明する。データ入力層は、画像センサー手段の場合はＣＭＯＳセンサー、或いはＣＣＤ素子等の光電変換素子であるが、所定データ解析手段の解析結果（例えば、主成分分析、ベクトル量子化、などの次元縮小を行った結果）から得られる高次元のデータを入力するものであってもよい。

特徴検出層（１，０）は、Gabor wavelet変換その他の多重解像度処理若しくはエッジ線分検出を行う為の層である。画像パターンの局所的な低次の特徴（幾何学的特徴のほか色成分特徴を含んでもよい）を全画面の各位置（或いは、全画面にわたる所定のサンプリング点の各点）において同一箇所で複数のスケールレベル又は解像度で複数の特徴カテゴリの数だけ検出し、特徴カテゴリ（例えば、幾何学的特徴としては、所定方向の線分を抽出する場合にはその線分の傾きなど）に応じた受容野構造を有する。

以下、インデクスｋは１以上であるとする。特徴統合層（２，ｋ）は、所定の受容野構造（以下、受容野とは直前の層の出力素子との結合範囲を、受容野構造とはその結合荷重の分布を意味する）を有し、特徴統合層ニューロンは、特徴検出層（１，ｋ）上にある受容野内の複数ニューロン素子出力の局所平均化（受容野内のうち局所的領域からの出力に関する重み付き平均化などを行うこと）若しくは最大出力抽出等によるサブサンプリングなどの演算による「統合」を行う。また、特徴統合層内のニューロンの各受容野は同一層内のニューロン間で共通の構造を有している。各特徴検出層（１，１）、（１，２）、…（１，Ｎ）及び各特徴統合層（２，１）、（２，２）、…（２，Ｎ）の各ニューロンは、それぞれ検出すべき特徴の種類によって決まる所定の受容野構造を持つ。

前者（各特徴検出層（１，１）、（１，２）、…（１，Ｎ））は、各特徴検出モジュールにおいて複数の異なる局所特徴であって所定の空間配置関係を持って存在するものの検出を行い、後者（各特徴統合層（２，１）、（２，２）、…（２，Ｎ））は、前段の特徴検出層からの複数特徴に関する検出結果の統合を行う。特徴統合層で行う処理であるサブサンプリングは、同一特徴カテゴリの特徴検出細胞集団からの局所的な領域（当該特徴統合層ニューロンの局所受容野）からの出力についての平均化、或いは最大値検出などを行うものである。

＜特徴検出層（１,０）での処理（Gabor wavelet変換等による低次特徴抽出）＞
特徴検出層（１,０）には、局所的な、ある大きさの領域で所定の空間周波数を持ち、方向成分が垂直であるようなパターンの構造（低次特徴）を検出するニューロンがあるとする。このような機能はGabor filterにより実現することができる。以下、特徴検出層（１,０）の各ニューロンが行う特徴検出フィルタ機能について説明する。

特徴検出層（１,０）では、異なるスケール選択性と異なる方向成分選択性を持ったフィルタセットで表されるGaborウエーブレット変換を行う特徴抽出処理モジュール群を含むものとし、該当するモジュール内の各ニューロン（または複数ニューロンからなる各グループ）は、所定のGaborフィルタ機能を有する。なお、Gabor wavelet変換を神経回路網で行う方法の詳細については、Daugman （１９８８）による文献（IEEE Trans. on Acoustics, Speech, and Signal Processing, vol.３６, pp. １１６９ - １１７９）を参照されたい。

Gabor ウエーブレット変換用処理モジュールに属する特徴検出層（１,０）の各ニューロンは、Gaborフィルタの特性に対応する受容野構造を有する。同じスケールインデックスのGaborフィルタに属する特徴検出層ニューロンは同じサイズの受容野を有し、演算上は対応するカーネルサイズもスケールインデックスに応じた大きさを有するようにしてある。ここでは例として、最も粗いスケールから順に入力画像上の３０×３０、１５×１５、７×７のサイズとした。各ニューロンは、分布重み係数と画像データとの積和入力を行って得られるウエーブレット変換係数値の非線型squashing関数となる出力レベル（ここではパルス位相で表すが、周波数、振幅、パルス幅で表す構成でもよい）でパルス出力を行う。なお、出力レベルをパルス位相で表す場合には、基準となるタイミング信号（外部または演算処理層内部で生成される）からの時間遅れが少ないほど出力レベルが高くなるものとする。

特徴検出層（１，０）においては、既に説明したように処理モジュール追加・削除制御回路３０により新規に処理モジュールが追加された場合には、後段の層（（１，１）など）の処理モジュールにおいて検出される特徴を構成するような新たなカテゴリの局所特徴の検出モジュールが学習により形成される。

＜特徴検出層での処理（中次、高次特徴抽出）＞
後続の特徴検出層（（１,１）、（１,２…）の各処理モジュール内ニューロンの受容野構造は、上記特徴検出層（１,０）に予め形成された処理モジュールとは異なり、認識対象のパターンに固有の特徴を検出する受容野構造を教師付き学習（いわゆる誤差逆伝播学習則等）により形成する。後の層ほど特徴検出を行う局所的な領域のサイズが認識対象全体のサイズに段階的に近くなり、幾何学的には中次または高次の特徴を検出する。例えば、顔の検出や認識を行う場合には中次（または高次）の特徴とは顔を構成する目、鼻、口等の図形要素のレベルでの特徴を表す。

各特徴検出層には、初期状態では２つの処理モジュールを形成しておき、各処理モジュール内の各ニューロンの受容野構造は、ランダムに与えておく。特徴検出層（（１,１）、（１,２）…）の各処理モジュールでの学習は、階層レベルの低い層から高い層へ順に各層の各処理モジュールごとに行われる。一度学習が済んだ処理モジュールに属する各ニューロンの下位層（特徴統合層）との結合は、その後に行われる上位の特徴検出層に属する処理モジュールでの学習により一定範囲内での修正を受けるが、大きく変化することは無いように学習制御回路４０によりシナプス結合の更新が制御される。

図３は、学習制御回路４０による学習の制御処理のフローチャートである。

先ず、特徴検出層（（１,１）、（１,２）、・・・）の各処理モジュール（特徴クラス）を学習制御回路４０が指定し（ステップＳ１０１）、教示用データ保持メモリ２０から教示用データを読み出し、入力層の各ニューロンに対してトレーニング用入力データを呈示（入力）し、ステップＳ１０１で指定した処理モジュール内の所定ニューロンにトレーニング用教師データを呈示（入力）する（ステップＳ１０２）。そして教師付き学習（誤差逆伝播学習など）を行う（ステップＳ１０３）。

ここで学習制御回路４０は、学習過程をモニターし、ある程度学習が進んだところでいわゆる交差検定（Cross-validation）などによる誤差判定（ステップＳ１０４）を行い、後述の学習誤差との閾値と比較を行い（ステップＳ１０５）、同一処理モジュール内での最小誤差値が所定の閾値より高く、誤差の変化率（例えば前回の学習誤差との差分）が所定基準値より低い場合などには、処理モジュール追加・削除制御回路３０に制御信号を入力し、下位の特徴検出層において処理モジュールの追加を行う（ステップＳ１０６）。処理モジュールの削除（ステップＳ１０８における処理）については後述する。

ステップＳ１０５による学習収束判定（処理モジュール内の最小誤差値が閾値以下、かつ誤差の変化率が所定基準値以下）により、誤差が閾値以下であれば、処理モジュール内で最小の誤差値を与えるニューロンの受容野構造を同一処理モジュールに属する他のニューロンに複製する（ステップＳ１１０）。これにより学習済みの処理モジュールが形成される。

＜特徴統合層での処理＞
特徴統合層（（２,０）、（２,１）、・・・）のニューロンについて説明する。図１に示すごとく特徴検出層（例えば（１,０））から特徴統合層（例えば（２,０）層）への結合は、この特徴統合内のニューロンの受容野内にある前段の特徴検出層の同一特徴要素（タイプ）のニューロンから興奮性結合の入力を受けるように構成され、統合層のニューロンの機能は前述したごとく、各特徴カテゴリごとの局所平均化、最大値検出によるサブサンプリング等である。

前者によれば、複数のニューロンから同一種類の特徴検出を表すパルスを入力し、それらを局所的な領域（受容野）で統合して平均化するか、或いは、受容野内での最大値等の代表値を算出する等により、その特徴の位置のゆらぎ、変形に対しても確実に検出することができる。このため、特徴統合層ニューロンの受容野構造は、特徴カテゴリによらず一様（例えば、いずれも所定サイズの矩形領域であって、かつ感度または重み係数がその中で一様分布するなど）となるように構成してよい。

＜学習プロセスおよび処理モジュール追加・削除プロセス＞
次に、処理モジュール追加・削除制御回路３０の動作を詳しく説明するために、画像中のまとまりを持った意味のある部分領域（例えば、顔画像中の目、鼻、口など）の検出を行う特徴検出層内の処理モジュールでの学習動作のプロセスについて説明する。目を検出する特徴検出処理モジュール（Ａ_１）について説明する。図５（ａ）に示すように、予め、該当する部分領域（教示データ：目）の検出に有効と推測された局所特徴（例えば、図５（ａ）のＢ１〜Ｂ４の枠内に示すようなパターン）の検出を行う処理モジュールが図６に示すように処理モジュールＡ_１，Ｆの下位にある特徴検出層と特徴統合層に存在し、その下位特徴統合層に存在する処理モジュール（Ｂ_１，Ｓ、Ｂ_２，Ｓ、Ｂ_３，Ｓ）からの出力のみを受けて部分領域（複合局所特徴としての目）の検出を行うものとする。図６において処理モジュール（Ｂ_１，Ｓ、Ｂ_２，Ｓ、Ｂ_３，Ｓ）は特徴検出層内に配置されている処理モジュールを表す。

ここで、局所特徴の検出用処理モジュールＡ_１，Ｆの学習過程において、誤検出の発生などによりトレーニングデータセットに対する誤差量が所定の閾値以下とならず、処理モジュールＡ_１，Ｆにおいて行う複合局所特徴の検出性能が不十分であると判定されたとする。このとき、処理モジュール追加・削除制御回路３０は、該当する下位の特徴検出層において１つ以上特徴クラスについての処理モジュール（図６のＢ_ｊ，ＦおよびＢ_ｊ，Ｓなど）を自動的に追加する。このような処理モジュールの追加処理は、上記ステップＳ１０６において行われる。

追加された処理モジュールの各ニューロン素子は、上位の処理モジュール（Ａ_１）の各ニューロン素子と後述するような結合を形成していることはいうまでもない。このような追加は、結合係数の値を０（結合のない状態）から変化させることで実現できる。同様に、結合係数の値を０とすることでモジュールを削除することができる。

一方、誤差量（または誤差値の変化率）が閾値以下となった場合、特徴統合層の処理モジュール（Ｂ_１，Ｓ，Ｂ_２，Ｓ，…）間での処理モジュールＡ_１，Ｆにおける特徴検出性能に関する寄与度の相対評価を処理モジュール内でのシナプス荷重値の最大値などに基づいて行い、処理モジュール追加・削除制御回路３０は、寄与度または寄与度の相対値（同じ階層レベルに属する全ての処理モジュールのうちの最大寄与度を１として与える）が閾値（例えば、０．１）以下である処理モジュールを削除する。このような処理モジュールの削除処理は、上記ステップＳ１０８において行われる。

寄与度の指標は、下位の処理モジュールから上位の処理モジュールへのニューロン間結合荷重の最大値、或いは、正解のパターンを呈示した時の各処理モジュール内ニューロンの活動レベルの最大値などで与えられる。

このとき、学習制御回路４０は、教示データとしての部分領域（例えば、目のみを含む局所領域）のデータをネットワーク処理回路１０のデータ入力層に、また対応する教師信号データを特徴検出層の処理モジュール（図６ではＡ_１，Ｆ）に呈示（入力）し、その部分領域に主として含まれる複合局所特徴（例えば、目を表す局所特徴）の検出を行う処理モジュール（図６のＡ_１，Ｆ）の教師付き学習を誤差逆伝播法などにより行う。具体的には、ニューロン出力の値域が０から１の範囲であるときには、正解パターン（検出されるべき局所特徴を主として含むパターン）と不正解パターン（検出されるべき局所特徴を含まないパターン）に対する教師信号をそれぞれ１，０で与えて学習を行う。

学習過程が収束（収束の判定基準は、誤差の平均値が所定の閾値以下であること、など）した後、学習制御回路４０は、その学習を行ったモジュール中の最小誤差を与えるニューロンが有する受容野構造（即ち、シナプス結合荷重データ）を同じモジュール内の他のニューロンに複製することにより、結果として新たな処理モジュールでの共有受容野構造を決定する。

学習過程で用いられるシナプス結合に関する更新式は、

で与えられる。ここにｗ^（ｌ） _ｊｉ（ｎ）は、ｎ回目の荷重更新時における（ｌ−１）層のｉ番目のニューロンからｌ層のｊ番目のニューロンへのシナプス結合荷重値を表し、αは学習の慣性係数、η_ｊｉはｉ番目のニューロンからｊ番目のニューロンへの結合の上記学習係数を表す。また、δは局所勾配を表し、出力層Ｌにおいては、活性化関数φ（典型的には、ロジスティック関数が用いられる）のニューロン内部状態ｖ（前段層のニューロン出力の積和演算結果に対応する）に関する微係数φ’、および出力信号と教師信号との誤差値ｅを用いて、

のように表され、中間層（第ｌ層）では

のように与えられる。
特徴検出層の既に学習済みの下位処理モジュール（Ｂ_ｋ，Ｆ）についてのその更に下位モジュールとの結合荷重に関する学習係数は、新規に追加された処理モジュール（Ｂ_ｊ，Ｆ、Ｂ_ｊ，Ｓ）と比べて相対的に低く（例えば、１０分の１以下）設定される。これは、学習済みのモジュールの特性が再学習により破壊されないようにする為であり、結合荷重の更新が抑制されるようにしたものである。一方、新規に追加された処理モジュールについては、誤差信号が相対的に学習済みモジュールよりも拡大され、結合荷重の更新が促進される。

このように処理モジュール追加後に学習効率係数を学習済みモジュールでは低くし、新規追加モジュールでは相対的に高く設定した状態で教示用データを様々に与えて教師付き学習を行う。例えば、学習中の処理モジュールＡ_１が目を検出するモジュールであれば、入力データとしては目に相当するデータと、前の学習フェーズで目と誤検出された目以外の多様なパターンデータとをそれぞれ、正解データ、不正解データとして与える。

その結果、上位の処理モジュールＡ_１，Ｆが教師付き学習をするときに、Ａ_１，Ｆに直接出力する下位処理モジュール群Ｂ_１，Ｂ_２，…（以下、特徴検出層のインデックスＦおよび特徴統合層のインデクスＳは省略）についてもそれぞれについての更に下位のモジュール（例えば、Ｃ１，Ｃ２，…とする）との結合荷重の更新が行われる。但し、処理モジュールＡ_１が学習するときには、その２段階以上下位の階層レベルの処理モジュールの演算素子とその更に下位の階層レベルの処理モジュール演算素子との結合は固定される（学習による変化は起きない）ものとする。

追加された各処理モジュールのニューロンの受容野サイズは処理モジュール間で一定となるように設定してもよいし、一定範囲内でばらつくように設定しても良い。追加される処理モジュールが１つであっても、受容野サイズをある範囲で変化させて学習を行い、処理モジュールＡ_１において最小の誤差を与える受容野サイズを選択して用いても良い。

また、追加された処理モジュール（Ｂ_ｉ）内のニューロンと処理モジュールＡ_１のニューロンとの結合と、学習済みの処理モジュール（Ｂ_ｊ）内のニューロンと処理モジュールＡ_１のニューロンとの結合とが異なる空間配置関係を持つように処理モジュール追加時の結合の初期設定を行う。例えば、処理モジュールＡ_１のあるニューロン（ｎ_ａとする）に結合する処理モジュール（Ｂ_ｊ）内の各ニューロン位置（ｎ_ａの受容野内での位置）は、学習済みの処理モジュールのニューロンであってｎ_ａに結合するニューロンのｎ_ａ受容野内での位置と異なるように初期設定する。以下の説明において処理モジュールＢ_１，Ｂ_２，…の代表位置は、処理モジュールＡ_１の受容野内において定義され、処理モジュールＢ_１，Ｂ_２，…の代表点は、例えば図５において局所領域（Ｂ_１，Ｂ_２，…）の中心点である。

このようにすることにより、学習済みの処理モジュールが扱う特徴クラスと異なる新たな特徴クラスの検出が追加処理モジュールで行われるような学習が促進される。ここで、新規な特徴クラスとは、学習済みの特徴カテゴリとの特徴空間での距離が所定の基準値より大きい、或いは学習済みの特徴カテゴリとの類似度が所定の基準値より小さい、などを意味する。

処理モジュールＡ_１での教師付き学習の結果、新規に追加された処理モジュール（Ｂ_ｊ）での最小の誤差値を与えるニューロンの受容野構造は、追加された処理モジュールの代表位置が他の学習済み処理モジュールの代表位置のいずれとも異なるがゆえに、一般的には処理モジュールＡ_１で検出されるパターンを構成する特徴であって未だ学習されていない局所特徴クラスと対応する。この受容野構造は、処理モジュールＡ_１が検出する予定の複合局所特徴を構成する局所特徴として新規かつ有用な局所特徴クラスの検出に対応している。

このように複合局所特徴の構成要素となる未学習の特徴クラスの検出に関与する受容野構造が学習により自動的に形成される。この受容野構造を同じ処理モジュール内の各ニューロンの受容野（シナプス結合荷重データ）にコピーすることにより、新規に追加された処理モジュール（Ｂ_ｊ）が形成される。

より具体的に説明すると、例えば、顔の中の目を検出する処理モジュールＡ_１があるとき、「目」という特徴クラスを検出するのに適した（有効な）局所特徴として目尻と目頭に相当する「＜」および「＞」状のパターンを検出する処理モジュールＢ_１，Ｂ_２があったとする。なお、これらに代えて他の特徴、例えば線分（若しくは細長い領域）の端（左端、右端）の部分を局所特徴として検出するモジュールであってもよい。一般的には、これらの局所特徴だけに基づいて目を検出することは困難であり、目以外のパターンが誤検出されてしまう場合が多い。

そこで、目以外のパターンを含むトレーニングデータセットに対して誤差が閾値以下にならないような場合には、学習制御回路４０からの制御信号を受けて、処理モジュール追加・削除制御回路３０が新たに処理モジュールＢ_３などを特徴検出層と特徴統合層に追加する。追加する処理モジュールは複数のクラスに対してであってもよい。処理モジュールＢ_３内の各ニューロンの受容野サイズは、既に存在する処理モジュールと同程度か、若しくは検出予定の「目」パターンより小さいものとし、必ずしも既存の処理モジュールの受容野サイズと同じである必要は無い。

その後に行う処理モジュールＡ_１での教師付き学習（誤差逆伝播学習）では、学習済みのモジュールＢ_１，Ｂ_２からの結合に関する学習係数が小さく（例えば、Ｂ_１，Ｂ_２に関する学習時の１０分の１）設定される。追加された処理モジュールＢ_３では、既存の処理モジュールでは検出されない新たなクラスの局所特徴の検出が行われるようになる。

処理モジュールＢ_１，Ｂ_２で検出される局所特徴Ｆ_１，Ｆ_２を含み、それぞれが目のパターンと同様の空間配置関係を持っている複合局所特徴であっても目以外のパターンであることがある。そのようなパターンに対する処理モジュールＡ_１での教師信号を不正解の教師信号（ニューロンの出力非線形関数がロジスティック関数である場合は０）として与える。また、目のパターンを主として含む局所領域に対する教師信号を正解（ニューロンの出力非線形関数がロジスティック関数である場合は１）として与えると、Ｆ_１，Ｆ_２以外の局所特徴であって、処理モジュールＢ_３のニューロンの受容野サイズに対応した大きさの特徴検出器が生成される。

ここで、処理モジュールＢ_３の各ニューロンが検出する局所特徴は、処理モジュールＢ_３が属するより前の階層レベルで検出される局所特徴（低次局所特徴と称する）を用いて構成される複合局所特徴の一つである。この場合の低次局所特徴としては、所定の方向成分とサイズを有する線分、小塊（ｂｌｏｂ）などがある。

処理モジュールＢ_３が学習により検出する新規の特徴カテゴリの候補としては、目の黒目部分若しくは、その輪郭の一部（或いは全部）などがある。処理モジュールＡ_１での学習により、どのような種類の局所特徴が処理モジュールＢ_３で新規に検出されるかは、各ニューロンの受容野サイズと学習前の初期状態での受容野構造（シナプス荷重値の初期値分布）にも依存する。

シナプス回路としては、層間結合（特徴検出層上のニューロンと特徴統合層上のニューロン間の結合であって、各層ごとにその後続の層及び前段の層への結合が存在しうる）に関与するものである。

本実施形態においては各ニューロン素子ｎ_ｊは、パルス信号（スパイクトレイン）を出力し、後述する様ないわゆるintegrate-and-fire型のニューロン素子を用いているが、パルス以外の信号を出力する素子を用いても良いことはいうまでもない。

＜パルス信号の時間窓積分によるパターン検出の動作原理＞
次に、２次元図形パターンのパルス符号化と検出方法について説明する。図４Ａは、特徴統合層から特徴検出層への（例えば、図１の層（２,０）から層（１,１）への）パルス信号の伝播の様子を模式的に示す図である。

特徴統合層側の各ニューロンｎ_ｉは、それぞれ異なる特徴量（或いは特徴要素）に対応し、特徴検出層側のニューロンｎ’_ｊは、同一受容野内の各特徴を組み合わせて得られる、より高次の特徴（図形要素）の検出に関与する。

各ニューロン間結合（シナプス結合）は、入力信号に対して結合荷重値に応じた変調を行うパルス変調素子が用いられる。例えば、位相変調を行う場合にはパルスの伝播時間とニューロンｎ_ｉからニューロンｎ’_ｊへのシナプス結合（Ｓ_ｊ，ｉ）での時間遅れ等による固有（特徴に固有）の遅延を生じさせる。その結果としてニューロンｎ’_ｊに到着するパルス列Ｐ_ｉは、特徴統合層の各ニューロンからパルス出力がなされる限り、学習によって決まるシナプス結合での遅延量により、所定の順序（及び間隔）になっている（図４Ａでは、Ｐ_４，Ｐ_３，Ｐ_２，Ｐ_１の順に到着するように示されている）。

＜応用例＞
図８は、以上に示した構成を基本要素とする並列パルス信号処理によるパターン認識装置、及びそのパターン認識装置を搭載した画像入力装置（例えば、カメラ、ビデオカメラ、スキャナーなど）の構成の概要を示す図である。

同図に示す撮像装置９は、撮影レンズおよびズーム撮影用駆動制御機構を含む結像光学系９２、CCD又はＣＭＯＳイメージセンサー９３、撮像パラメータの計測部９４、映像信号処理回路９５、記憶部９６、撮像動作の制御、撮像条件の制御などの制御用信号を発生する制御信号発生部９７、EVFなどファインダーを兼ねた表示ディスプレイ９８、ストロボ発光部９９、記録媒体９１０、更に被写体認識部９１１（上述した階層構造を持った並列パルス信号処理回路からなるパターン認識装置）などを具備する。

この撮像装置９は、例えば撮影された映像中から予め登録された人物の顔画像の検出（存在位置、サイズの検出）を被写体認識部９１１により行う。その人物の位置、サイズ情報は制御信号発生部９７に入力されると、同制御信号発生部９７は、撮像パラメータ計測部９４からの出力に基づき、その人物に対するピント制御、露出条件制御、ホワイトバランス制御などを最適に行う制御信号を発生する。

このようなパターン検出（認識）装置を、このように撮像装置に用いた結果、この被写体を確実に検出（認識）する機能を低消費電力かつ高速（リアルタイム）に実現して、人物等の検出とそれに基づく撮影の最適制御（ＡＦ、ＡＥなど）を行うことができる。

従って、以上の説明により、本実施形態は、ノイズや認識対象パターンの変動に対してロバストであって、かつ汎化性能と新規のカテゴリの学習機能を実現することができる。

また、認識に有効な少ない数の局所特徴クラスを比較的単純な特徴クラスからある程度複雑な特徴クラスまでを所定の特徴空間内での重複を排除して効率的に学習することができ、これを用いて任意のパターン認識を効率的に行うことができる、
特に、神経回路網や階層的並列処理において学習済みの有効な特徴クラスの検出素子と一つ以上の未学習（学習予定）の特徴検出素子を用い、両者の出力に基づいて所定のパターンを認識・検出するのに有効な新規の特徴クラスを検出するための演算素子間の結線構造（受容野構造）を学習により効率的に形成させることができる。

［第２の実施形態］
本実施形態では、図９に示すように特徴統合層内に新たに追加された処理モジュールと既に存在する処理モジュールとの間にニューロン間の層内結合を導入する。図９は、本実施形態に係るネットワーク処理回路の構成を説明する為の模式図である。

第１の実施形態と同様に教師付き学習が収束した後、ニューロン出力の誤差平均値が閾値より高い場合に、処理モジュールの追加後に行われるが、その後更に後で説明するような自己組織化学習が学習制御回路４０により行われる。この自己組織化学習は、学習済みの処理モジュールが検出する特徴クラスとは独立して存在する特徴クラスの検出を促進するためのものである。

図１０は、学習制御回路４０による学習の制御処理のフローチャートである。

先ず、第１の実施形態と同様に学習制御回路４０は、特徴検出層（（１,１）、（１,２）、・・・）の各処理モジュール（特徴クラス）を指定し（ステップＳ２０１）、教示用データ保持メモリ２０から教示用データを読み出し、入力層の各ニューロンに対してトレーニング用入力データを呈示（入力）し、ステップＳ１０１で指定した処理モジュール内の所定ニューロンにトレーニング用教師データを呈示（入力）する（ステップＳ２０２）。そして教師付き学習（誤差逆伝播学習など）を行う（ステップＳ１０３）。

ここで学習制御回路４０は第１の実施形態と同様にして、学習過程をモニターし、ある程度学習が進んだところでいわゆる交差検定（Cross-validation）などによる誤差判定（ステップＳ２０４）を行い、後述の学習誤差との閾値と比較を行い（ステップＳ２０５）、同一処理モジュール内での最小誤差値が所定の閾値より高く、誤差の変化率（例えば前回の学習誤差との差分）が所定基準値より低い場合などには、処理モジュール追加・削除制御回路３０に制御信号を入力し、下位の特徴検出層、特徴統合層において処理モジュールの追加を行う（ステップＳ２０６）。このとき、追加された処理モジュールの各演算素子から同一階層における他の学習済み処理モジュールの演算素子に対しての結合（層内結合）を初期設定する。

この初期設定された結合の受容野サイズは特徴クラスの複雑さに応じて決まる一定値（例えば、顔検出を行う処理モジュールの受容野サイズを１としたときの目検出処理モジュール、目尻・目頭検出処理モジュールの各受容野サイズは、顔サイズに対する目サイズ、口サイズに関するある集団の代表値として与えられる）であり、結合荷重値は、−１から１の範囲でランダムに与えられる。処理モジュールの追加後に行われる学習は、本実施形態に特有の自己組織化学習（ステップＳ２０７）過程である。ステップＳ２０７における自己組織化処理の詳細については後述する。

第１の実施形態と同様の収束判定及び誤差判定を行い（ステップＳ２０８）、誤差が閾値以下であれば、次の特徴クラスを指定し、同様の学習過程（即ち、ステップＳ２０１〜ステップＳ２０８までの処理）を実行し、特徴検出層内の全ての特徴クラスについて同様の学習過程を繰り返す。

次にステップＳ２０７における自己組織化学習の詳細について説明する。

自己組織化学習では、ステップＳ２０１で指定された処理モジュールが検出する特徴カテゴリ（例えば、目）を主として含む画像データ（例えば、特徴カテゴリとしての目の画像データだけを含み、背景は無地の画像データ）をデータ入力層に呈示（入力）して行う。

本実施形態では、各ニューロンは線形素子（例えば、前段の層からの信号の線形和を出力する素子）とし、層内結合の学習にいわゆる反ヘッブ則に基づく自己組織化を行い、層間結合についてはいわゆるHebb則に基づく自己組織化を行う。具体的には層間結合の荷重ベクトルをｗ、層内結合の荷重ベクトルをＡとおくと、第ｋ層のｊ番目のニューロンにおけるそれぞれの荷重ベクトルの更新式は、

で表される。
ここに、ｙ^ｋ _ｊ＝［ｙ^ｋ _１、ｙ^ｋ _２…ｙ^ｋ _ｊ−１］、ｙ^ｋ＝［ｙ^ｋ _１、ｙ^ｋ _２…ｙ^ｋ _Ｎ（ｋ）］、ｋは層番号のインデクス、Ｎ（ｋ）はｋ番目の層の総ニューロン数を表す。

処理モジュールが追加された層より１階層上の特徴検出層のニューロンが検出する予定の特徴カテゴリと同程度の大きさの特徴を含む入力データ（例えば、図５（ａ）〜（ｄ）に示すような入力データ）を入力層に所定の教示データを呈示して行う。自己組織化の教示用データとしては、例えば、目の検出を行う特徴検出層の前段の特徴検出層および特徴統合層にそれぞれ処理モジュールが追加された場合には、目だけの画像データを教示用データとして与える。同様に、顔を検出する特徴検出層の前段の特徴検出層および特徴統合層にそれぞれ処理モジュールが追加された場合には、顔だけの画像データを教示用データとして入力層に与える。

なお、第１の実施形態と同様に処理モジュールは一つの階層につき一度に複数追加してもよい。追加された処理モジュールの各演算素子（ニューロン）の受容野構造は、サイズが処理モジュール内では一定で結合荷重がランダムに初期設定されている。受容野サイズは、検出予定の特徴クラス（特徴の複雑度）に応じて事前に決定されるが、複数の処理モジュールが追加された場合には、モジュール間で受容野サイズがある程度異なるように設定しても良い。

以上説明した自己組織化は、具体的には追加モジュールの出力と学習済みモジュール出力との間の相関を小さくするような競合学習過程であるが、他の自己組織化の方法として上記処理モジュール間の相互情報量を最小（極小）にするような学習を行っても良い。なお、自己組織化の学習プロセスは、モジュール間の相関または相互情報量が閾値以下となったときに停止する。

なお、上記更新式で与えられる自己組織化が収束すると層内結合Ａはゼロベクトルに収束し、層間結合ｗ^ｋは前段の階層からの局所領域（追加された処理モジュール内ニューロンの受容野）からの出力データに関するｋ番目に大きい固有値に対応する固有ベクトルに収束し、その処理モジュールのニューロン出力の分散は、ｋ番目に大きい固有値になることが分かっている。また、固有ベクトルは互いに直交する。

上述したような自己組織化学習により追加された処理モジュールは、特徴空間において他の学習済み特徴クラスと互いに直交する特徴クラス、即ち、同じ階層での他の学習済み処理モジュールのいずれによっても検出されないような新規な特徴クラスの検出を行うようになる。

本実施形態により形成される各処理モジュールで検出される特徴は、入力層のデータを直接入力する下位の階層レベルでは、入力データセットの共分散行列に関する固有ベクトルで張られる特徴空間、更に上位の中間階層では、前段の階層レベルで抽出される特徴データの共分散行列に関する固有ベクトルで張られる特徴空間の各軸への射影成分であると解釈することができる。

一方、追加された処理モジュールおよび学習済み処理モジュール（いずれも特徴統合層）が結合する上位層の特徴検出層処理モジュールでは、追加された処理モジュールとの層間結合の学習は、第１の実施形態に示したような通常の誤差逆伝播学習などの教師付き学習として行われるが、追加された処理モジュールと同一階層の各処理モジュールとそれぞれの下位階層の処理モジュールとの結合は固定して行われる。

本実施形態に示す方法により、新規なカテゴリの物体認識を行うのに有用な構成要素となる特徴（局所的に検出される特徴）クラスを自動的にかつ効率的に学習することができる。

［第３の実施形態］
第１、第２の実施形態と同様にConvolutionalネットワーク構造においてアルファベット的な図形要素としての局所特徴を様々な教示サンプル画像から自動的に検出する神経回路モジュールを形成する他の実施形態を説明する。ネットワーク構造としては、他の階層的並列処理アーキテクチャを用いても良い。

本実施形態では、独立成分分析によって得られる基底画像中の顕著領域に対応する画像データに処理モジュールが検出すべき特徴が主として含まれると解する。本実施形態でのパターン認識装置は、図１３に示すように、データ入力装置３１００、ネットワーク処理回路３１０、独立成分分析部３５０、画像データベース３７０、教示用データ保持メモリ３２０、処理モジュール追加・削除制御回路３３０、学習制御回路３４０、表示装置３２００から構成される。

以下、図１１を参照して本実施形態に係るパターン認識装置が行う学習処理について詳細に説明する。ここでは、先ず複数の認識対象の画像データセット（例えば、異なる人物の顔画像データセットであって向きとサイズを一定にしたもの）を画像データベース３７０から入力し、そのデータセットに対して独立成分分析部３５０が独立成分分析（Independent Component Analysis）を行い、ｎ個の独立基底画像データセットを求める（ステップＳ３０１）。

図１２（ａ）〜（ｆ）に異なる人物の顔画像データセットについて独立成分分析を行った結果の基底画像の例を模式的に示す。また、図１４（ａ）〜（ｄ）に異なる目画像データセットについて独立成分分析を行った結果得られる基底画像の例を模式的に示す。

Convolutionalネットワーク構造の途中の階層レベルで検出すべき特徴クラス（例えば、目など）が分かっている場合には、その中間レベルの特徴クラスに対応する画像データセットを呈示して独立成分分析を行って得られる基底画像（例えば、図１４（ａ）〜（ｄ）など）を求めておいても良い。

独立基底数ｎは初期設定において階層レベル１では、例えば、図１２（ｄ）に示す如く定められているものとする。次にそれぞれの基底画像について顕著な局所領域（以下、顕著領域と称する）を求める（ステップＳ３０２）。顕著領域は、例えば空間微分値の絶対値が所定閾値以上の領域を包含する連結領域である。なお、図１２（ｆ）に示すように一つの独立基底画像中に複数の顕著領域が存在しても良く、この場合には階層レベルの高い特徴検出層での学習に用いる。また、連結領域の形状としては矩形や楕円など予め決められた形状の領域を用いても良い。

次にこの顕著領域のサイズと数をそれぞれの基底画像に対して求め（ステップＳ３０３）、基底画像ごとに階層レベルとその階層内での処理モジュールとの対応付けを設定する（ステップＳ３０４）。例えば、顕著領域の数が１つであれば、階層レベルは１とし、顕著領域の数がＬ個であれば第Ｌ階層レベルとする。なお、それぞれの階層レベルに特徴検出層と特徴統合層が一層ずつ存在するものとする。全体として初期設定では、算出済みの独立基底画像データ数の一部（ｍ個：ｍ＜ｎ）だけ処理モジュールを用意する。

その後、ネットワーク構造（階層レベル数、各階層の処理モジュール数、各処理モジュールの結合荷重パターンなど）の初期設定を行い（ステップＳ３０５）、最も下位の階層から順に階層レベルと処理モジュールの指定を行って（ステップＳ３０６）、教示用データの呈示を入力層とこの処理モジュールに対して行い（ステップＳ３０７）、処理モジュールごとに学習（基本的には教師付き学習であるが、第２の実施形態のような自己組織化学習でもよい）を行う（ステップＳ３０８）。

具体的には、それぞれの顕著領域に対応する入力データ中の局所領域の画像データを教示用入力データとして教示用データ保持メモリ３２０に保持しておき、学習時に、各教示用入力データを入力層に呈示し（ステップＳ３０７）、独立基底画像中の連結領域数に応じた層番号の特徴検出層の各処理モジュールで第１の実施形態に示すような教師付き学習を行う（ステップＳ３０８）。

上記実施形態と同様にして学習の収束を判定した後、誤差値を評価して、その値と予め設定した基準値とを比較し（ステップＳ３０９）、誤差値が基準値以下であれば、次に判定ステップ（ステップＳ３１１）において全階層、全処理モジュールにわたって学習が行われたと判定されれば、一連の学習処理を終了する。

ステップＳ３０９における判定処理で誤差値が基準値を上回るときには、処理モジュールより下位階層において初期設定時の処理モジュール全てが学習済みであれば、処理モジュール追加・削除回路３０が処理モジュールを新たに追加する（ステップＳ３１０）。追加された処理モジュールの各演算素子と下位の階層の演算素子との結合の初期設定は、第１の実施形態と同様である。

［第４の実施形態］
上記実施形態では、パターン認識装置を専用ハードウェアでもって実現させていたが、このパターン認識装置が行う上述の処理をプログラムの形態でもって実装し、これをＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）等のコンピュータのメモリにインストールさせ、これをこのコンピュータのＣＰＵが実行することにより、このコンピュータに上記実施形態で説明したパターン認識装置が行う処理を実行させるようにしても良い。

［その他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャート（機能構成）に対応するプログラムコードが格納されることになる。

本発明の第１の実施形態におけるパターン認識処理を行う装置（パターン認識装置）の機能構成を示す図である。 本発明の第１の実施形態で用いるネットワーク処理回路１０の機能構成を示す図である。 学習制御回路４０による学習の制御処理のフローチャートである。 特徴統合層から特徴検出層への（例えば、図１の層（２,０）から層（１,１）への）パルス信号の伝播の様子を模式的に示す図である。 ニューロンｎ_ｉの結合先である各ニューロンｎ’_ｊへのシナプス結合強度（位相遅延等に関する変調の大きさを意味する）を与える各小回路がマトリクス的に配置することにより形成されるシナプス回路の構成を示す図である。 目の局所特徴を示す図である。 本発明の第１の実施形態に係るネットワーク処理回路の構成を説明する為の模式図である。 複数のパルスを処理を説明する図である。 本発明の第１の実施形態に係る並列パルス信号処理によるパターン認識装置、及びそのパターン認識装置を搭載した画像入力装置（例えば、カメラ、ビデオカメラ、スキャナーなど）の構成の概要を示す図である。 本発明の第２の実施形態に係るネットワーク処理回路の構成を説明する為の模式図である。 学習制御回路４０による学習の制御処理のフローチャートである。 本発明の第３の実施形態に係るパターン認識装置が行う学習処理のフローチャートである。 異なる人物の顔画像データセットについて独立成分分析を行った結果の基底画像の例を模式的に示す図である 本発明の第３の実施形態におけるパターン認識処理を行う装置（パターン認識装置）の機能構成を示す図である。 異なる目画像データセットについて独立成分分析を行った結果得られる基底画像の例を模式的に示す図である。

Claims (29)

1. データ入力層と、複数の検出すべき特徴クラスにそれぞれ対応する複数の処理モジュールを備えかつ少なくとも一つの階層レベルを有する演算処理層と、を有する並列階層処理を行う情報処理装置であって、
   所定の少なくとも一つの階層レベルの前記演算処理層において所定の特徴クラスを検出するのに用いられる受容野構造を持つ複数のニューロンからなる少なくとも一つの学習済み処理モジュールと、
   未学習の特徴クラスを学習すべき受容野構造が不定な複数ニューロンからなる少なくとも一つの未学習処理モジュールとを備え、
   所定のパターンを前記データ入力層に提示することにより、前記未学習処理モジュールにおいて新規な特徴クラスの検出に必要な学習を行うことを特徴とする情報処理装置。
2. データ入力層と、検出すべき特徴クラスに対応する複数の処理モジュールを備えかつ少なくとも一つの階層レベルを有する演算処理層と、学習制御回路と、処理モジュール追加・削除回路と、を有する情報処理装置であって、
   前記学習制御回路により実行される所定の学習段階において前記演算処理層内の所定階層レベルでの演算素子出力の誤差信号が所定の条件を満たすか否かを判定する判定手段と、
   前記判定手段が前記所定の条件を満たすと判定した場合、前記階層レベルより下位の層において前記処理モジュール追加・削除回路に、少なくとも一つの処理モジュールを追加させるよう制御する制御手段と
   を備えることを特徴とする情報処理装置。
3. 前記学習済み処理モジュールを構成するニューロン群の受容野構造は、前記新規な特徴クラスの学習において所定の範囲で可変とすることを特徴とする請求項１に記載の情報処理装置。
4. 前記新規な特徴クラスの学習は、複数の階層レベルで行うことを特徴とする請求項１に記載の情報処理装置。
5. 前記新規な特徴クラスの検出に必要な結合パターンの学習は、前記未学習処理モジュールが存在する階層より上位の所定の階層レベルの処理モジュールに対して行う教師付き学習であり、前記演算処理層間における前記結合素子の特性を決定することを特徴とする請求項１に記載の情報処理装置。
6. 前記学習制御回路は前記所定の学習段階において、所定の階層において前記追加された処理モジュール内の演算素子と当該階層より下位の階層の所定処理モジュール内にある演算素子に対する局所的な初期結合を設定し、前記初期結合は、前記所定の階層の学習済み処理モジュール内演算素子が結合する前記下位の階層の所定処理モジュール内演算素子の空間配置のいずれとも異なる空間配置を有する前記下位階層の演算素子と形成されることを特徴とする請求項２に記載の情報処理装置。
7. 前記新規な特徴クラスの検出に必要な結合パターンの学習は、前記追加された処理モジュールの演算素子出力と同一階層レベルの他の学習済み処理モジュールの演算素子出力との相関が減少するような自己組織化学習であることを特徴とする請求項５に記載の情報処理装置。
8. 前記制御手段は、前記処理モジュール追加・削除回路に、複数の処理モジュールを同時に追加させる処理を行い、前記追加された処理モジュールの演算素子の受容野サイズは前記追加された処理モジュール間で異なることを特徴とする請求項２に記載の情報処理装置。
9. 前記自己組織化学習は反ヘッブ則に基づく学習であることを特徴とする請求項７に記載の情報処理装置。
10. 前記演算処理層のうち少なくとも一つの階層レベルは追加された処理モジュールと学習済み処理モジュール間での層内結合を有し、当該追加された処理モジュールが属する階層で行う前記自己組織化学習は、当該階層とその下位の階層間での層間結合および前記層内結合について行うことを特徴とする請求項７に記載の情報処理装置。
11. 前記新規な特徴クラスの検出に必要な結合パターンの学習は、当該学習を行う処理モジュールが結合する上位の階層の所定の処理モジュールにおける教師付き学習が収束した後に行われる自己組織化学習であることを特徴とする請求項５に記載の情報処理装置。
12. 前記演算処理層は、畳み込み神経回路網であることを特徴とする請求項１に記載の情報処理装置。
13. 前記新規な特徴クラスの検出に必要な結合パターンの学習は、前記追加された処理モジュールの演算素子出力と同一階層レベルの他の学習済み処理モジュールの演算素子出力とに関する相互情報量が減少するような自己組織化学習であることを特徴とする請求項５に記載の情報処理装置。
14. 前記処理モジュール追加・削除回路は、前記演算処理層内の所定階層レベルでの各処理モジュールの相対寄与度評価を行い、前記相対寄与度が所定の閾値より小さい処理モジュールを削除することを特徴とする請求項２に記載の情報処理装置。
15. 所定の入力データを入力する入力層と、
    所定のデータセットに関して独立成分分析を行う独立成分分析手段と、
    学習制御手段と、
    複数の検出すべき特徴クラスそれぞれに対応する複数の処理モジュールを備え、かつ少なくとも一つの階層レベルを有する演算処理層と、
    前記独立成分分析の結果得られる所定の基底データセットと前記入力データとから、所定の前記処理モジュールが学習すべき所定の特徴クラスを含む学習用入力データを設定し、所定のメモリに格納する学習用データ設定手段と、
    を有する情報処理装置であって、
    所定の少なくとも一つの階層レベルの前記演算処理層は、
    所定の特徴クラスを検出するのに用いられる受容野構造を持つ複数のニューロンからなる少なくとも一つの学習済み処理モジュールと、
    未学習の特徴クラスを学習すべき受容野構造が不定な複数ニューロンからなる少なくとも一つの未学習の処理モジュールと
    を備え、
    前記学習制御手段は、所定の前記学習用入力データを前記演算処理層の所定の層に呈示することにより、前記未学習処理モジュールにおいて新規な特徴クラスの検出に必要な学習を行うことを特徴とする情報処理装置。
16. 前記学習用データ設定手段は、前記基底データセットの顕著領域を抽出し、当該顕著領域に対応する前記入力データ上のデータを前記学習用入力データとして設定することを特徴とする請求項１５に記載の情報処理装置。
17. データ入力層と、
    複数の検出すべき特徴クラスにそれぞれ対応する複数の処理モジュールを備え、かつ少なくとも一つの階層レベルを有する演算処理層と、
    学習制御手段と、
    前記演算処理層からの出力に基づき、所定のパターン認識結果を出力する認識結果出力手段とを備え、
    所定の少なくとも一つの階層レベルの前記演算処理層は、所定の特徴クラスを検出するのに用いられる受容野構造を持つ複数のニューロンからなる少なくとも一つの学習済み処理モジュールと、
    未学習の特徴クラスを学習すべき受容野構造が不定な複数ニューロンからなる少なくとも一つの未学習の処理モジュールと
    を備え、
    前記学習制御手段は、所定のパターンを前記データ入力層に提示することにより、前記未学習処理モジュールにおいて新規な特徴クラスの検出に必要な学習を行うことを特徴とするパターン認識装置。
18. データ入力層と、
    検出すべき特徴クラスに対応する複数の処理モジュールを備え、かつ少なくとも一つの階層レベルを有する演算処理層と、
    学習制御回路と、
    処理モジュール追加・削除回路と、
    前記演算処理層からの出力に基づき、所定のパターン認識結果を出力する認識結果出力手段とを有し、
    前記学習制御回路により実行される所定の学習段階において前記演算処理層内の所定階層レベルでの演算素子出力の誤差信号が所定の条件を満たすときに、前記階層レベルより下位の層において前記処理モジュール追加・削除回路は、少なくとも一つの処理モジュールを追加することを特徴とするパターン認識装置。
19. 請求項１又は２に記載の情報処理装置を搭載することを特徴とする画像入力装置。
20. 請求項１７又は１８に記載のパターン認識装置を搭載することを特徴とする画像入力装置。
21. データ入力層と、複数の検出すべき特徴クラスにそれぞれ対応する複数の処理モジュールを備えかつ少なくとも一つの階層レベルを有する演算処理層と、所定の少なくとも一つの階層レベルの前記演算処理層において所定の特徴クラスを検出するのに用いられる受容野構造を持つ複数のニューロンからなる少なくとも一つの学習済み処理モジュールと、未学習の特徴クラスを学習すべき受容野構造が不定な複数ニューロンからなる少なくとも一つの未学習処理モジュールとを備える情報処理装置が行う情報処理方法であって、
    所定のパターンを前記データ入力層に提示することにより、前記未学習処理モジュールにおいて新規な特徴クラスの検出に必要な学習を行うことを特徴とする情報処理方法。
22. データ入力層と、検出すべき特徴クラスに対応する複数の処理モジュールを備えかつ少なくとも一つの階層レベルを有する演算処理層と、学習制御回路と、処理モジュール追加・削除回路と、を有する情報処理装置が行う情報処理方法であって、
    前記学習制御回路により実行される所定の学習段階において前記演算処理層内の所定階層レベルでの演算素子出力の誤差信号が所定の条件を満たすか否かを判定する判定工程と、
    前記判定工程で前記所定の条件を満たすと判定した場合、前記階層レベルより下位の層において前記処理モジュール追加・削除回路に、少なくとも一つの処理モジュールを追加させるよう制御する制御工程と
    を備えることを特徴とする情報処理方法。
23. 所定の入力データを入力する入力層と、
    所定のデータセットに関して独立成分分析を行う独立成分分析手段と、
    学習制御手段と、
    複数の検出すべき特徴クラスそれぞれに対応する複数の処理モジュールを備え、かつ少なくとも一つの階層レベルを有する演算処理層と、
    前記独立成分分析の結果得られる所定の基底データセットと前記入力データとから、所定の前記処理モジュールが学習すべき所定の特徴クラスを含む学習用入力データを設定し、所定のメモリに格納する学習用データ設定手段と、
    を有し、所定の少なくとも一つの階層レベルの前記演算処理層は、
    所定の特徴クラスを検出するのに用いられる受容野構造を持つ複数のニューロンからなる少なくとも一つの学習済み処理モジュールと、
    未学習の特徴クラスを学習すべき受容野構造が不定な複数ニューロンからなる少なくとも一つの未学習の処理モジュールとを備える情報処理装置が行う情報処理方法であって、
    前記学習制御工程では、所定の前記学習用入力データを前記演算処理層の所定の層に呈示することにより、前記未学習処理モジュールにおいて新規な特徴クラスの検出に必要な学習を行うことを特徴とする情報処理方法。
24. データ入力層と、
    複数の検出すべき特徴クラスにそれぞれ対応する複数の処理モジュールを備え、かつ少なくとも一つの階層レベルを有する演算処理層と、
    学習制御手段と、
    前記演算処理層からの出力に基づき、所定のパターン認識結果を出力する認識結果出力手段とを備え、
    所定の少なくとも一つの階層レベルの前記演算処理層は、所定の特徴クラスを検出するのに用いられる受容野構造を持つ複数のニューロンからなる少なくとも一つの学習済み処理モジュールと、
    未学習の特徴クラスを学習すべき受容野構造が不定な複数ニューロンからなる少なくとも一つの未学習の処理モジュールと
    を備えるパターン認識装置が行うパターン認識方法であって、
    前記学習制御工程では、所定のパターンを前記データ入力層に提示することにより、前記未学習処理モジュールにおいて新規な特徴クラスの検出に必要な学習を行うことを特徴とするパターン認識方法。
25. データ入力層と、
    検出すべき特徴クラスに対応する複数の処理モジュールを備え、かつ少なくとも一つの階層レベルを有する演算処理層と、
    学習制御回路と、
    処理モジュール追加・削除回路と、
    前記演算処理層からの出力に基づき、所定のパターン認識結果を出力する認識結果出力手段とを有するパターン認識装置が行うパターン認識方法であって、
    前記学習制御回路により実行される所定の学習段階において前記演算処理層内の所定階層レベルでの演算素子出力の誤差信号が所定の条件を満たすときに、前記階層レベルより下位の層において前記処理モジュール追加・削除回路は、少なくとも一つの処理モジュールを追加することを特徴とするパターン認識方法。
26. 請求項２１乃至２３に記載の情報処理方法をコンピュータに実行させることを特徴とするプログラム。
27. 請求項２４又は２５に記載のパターン認識方法をコンピュータに実行させることを特徴とするプログラム。
28. データ入力層とデータ出力層との間に、前段の層からの出力から検出すべきそれぞれの特徴量を検出するための複数の処理モジュールを備える検出層、当該検出層からの出力を統合して出力する統合層、の各層を交互に配置することにより構成される階層型ニューラルネットワークにおいて、所定の検出層における所定の処理モジュールを構成する各ニューロンの出力値を所望の出力値とすべく、層間の結合定数を修正する処理を行う情報処理装置であって、
    所定の検出層における所定の処理モジュールを構成する各ニューロンの出力値と、所望の出力値との誤差を求める誤差計算手段と、
    前記データ入力層から、前記所定の処理モジュールに出力値を出力する層までの間に配置された各層の内１つ以上の層内に、前記誤差に応じて処理モジュールを新たに追加する追加手段と、
    前記追加手段による追加処理後、前記誤差計算手段による誤差に基づいて、前記所定の検出層から前記データ入力層に向けて所定層数分の層の間の結合定数を修正する修正手段と
    を備えることを特徴とする情報処理装置。
29. データ入力層とデータ出力層との間に、前段の層からの出力から検出すべきそれぞれの特徴量を検出するための複数の処理モジュールを備える検出層、当該検出層からの出力を統合して出力する統合層、の各層を交互に配置することにより構成される階層型ニューラルネットワークにおいて、所定の検出層における所定の処理モジュールを構成する各ニューロンの出力値を所望の出力値とすべく、層間の結合定数を修正する処理を行う情報処理方法であって、
    所定の検出層における所定の処理モジュールを構成する各ニューロンの出力値と、所望の出力値との誤差を求める誤差計算工程と、
    前記データ入力層から、前記所定の処理モジュールに出力値を出力する層までの間に配置された各層の内１つ以上の層内に、前記誤差に応じて処理モジュールを新たに追加する追加工程と、
    前記追加工程による追加処理後、前記誤差計算工程による誤差に基づいて、前記所定の検出層から前記データ入力層に向けて所定層数分の層の間の結合定数を修正する修正工程と
    を備えることを特徴とする情報処理方法。

Images