JP4314017B2

JP4314017B2 - 階層処理装置

Info

Publication number: JP4314017B2
Application number: JP2002322718A
Authority: JP
Inventors: 優和真継; 克彦森; 裕輔御手洗
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-11-06
Filing date: 2002-11-06
Publication date: 2009-08-12
Anticipated expiration: 2022-11-06
Also published as: JP2004157756A

Description

【０００１】
【発明の属する技術分野】
本発明は、並列演算を用いたパターン認識などのための階層処理装置に関するものである。
【０００２】
【従来の技術】
従来、画像認識や音声認識の方式としては、特定の認識対象に特化した認識処理アルゴリズムをコンピュータソフトとして逐次演算して実行するタイプ、或いは専用並列画像処理プロセッサ（ＳＩＭＤ、ＭＩＭＤマシン等）により実行するタイプに大別される。
【０００３】
画像認識アルゴリズムを例とするその代表例としては、認識対象モデルとの類似度に関する特徴量を算出して行うものとして、認識対象のモデルデータをテンプレートモデルとして表現しておき、入力画像（或いはその特徴ベクトル）とのテンプレートマッチング等による類似度算出や、高次相関係数の算出などによる方法、或いは階層的並列処理による方法（特許２７４１７９３号公報）等がある。
【０００４】
また、ＬＳＩの汎用性を高めるために、特開平６−２７４４５９号公報では、複数種類の処理の複合化を実現する半導体集積回路装置として、電気的に情報の書き換え可能な不揮発性メモリと複数のプロセッサ同士をプログラマブルに相互接続するためのプログラマブルスイッチアレイを設け、ＬＳＩ完成後にプロセッサ同士の結合関係の変更を可能とする構成を示している。
【０００５】
【発明が解決しようとする課題】
しかしながら、前者のタイプは汎用性が乏しく、後者のタイプは回路規模が大きく消費電力が高いので、汎用性を保ちながら、複雑かつ大規模な演算を低消費電力および小回路規模で実現する方式が望まれていた。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明によれば、階層処理装置に、入力データのパターンデータを走査して局所領域毎に時系列的に入力するデータ入力手段と、演算特性制御用データを保持する演算制御データ保持メモリと、前記演算特性制御用データを用いて、パターンデータに対して所定の特徴検出を行う検出手段と、前記検出手段からの出力を中間的に保持する中間結果保持メモリと、前記検出手段に対して、処理階層レベルが最下層レベルであれば前記データ入力手段からのパターンデータを検出処理対象として供給し、該処理階層レベルが最下層レベルより上位であれば前記中間結果保持メモリからフィードバックされる中間結果を検出処理対象として供給するとともに、前記演算制御データ保持メモリから当該処理階層レベルに対応する演算特性制御用データを読み出して供給し、同一の前記検出手段が複数の処理階層レベルの検出処理を実行するように制御する制御手段と、前記処理階層レベルが最上位の場合における前記検出手段による特徴検出結果と前記局所領域の走査位置とに基づいて、前記入力データ中のどの位置にいかなる特徴パターンが存在するかを判定する判定手段とを備える。
【０００７】
【発明の実施の形態】
＜第一の実施形態＞
全体構成と各部の概要
以下、図面を参照して本発明の第一の実施形態を詳細に説明する。図１は、本実施形態のパターン認識装置の全体構成図を示す。このパターン認識装置は、画像入力手段２、画像入力手段２により取得されるデータ中から局所領域データを入力するデータ入力手段１、局所領域認識処理モジュール３、中間処理結果保持モジュール４、判定手段５、およびこれらの動作を司る制御手段６、局所領域認識処理モジュールの演算特性を制御する為の演算特性制御データメモリ８などを主たる構成要素とする。中間処理結果保持モジュール４から局所領域認識処理モジュール３へは、フィードバック結合９が存在し、中間処理結果保持モジュール４に一時的に保持されるデータは、局所領域認識処理モジュール３にフィードバックされる。次に各構成手段の機能の概要を説明する。
【０００８】
画像入力手段２は、静止画もしくは動画の撮像手段であって、例えば、ＣＭＯＳセンサなどのセンサで構成される。
【０００９】
データ入力手段１は、画像入力手段２（ＣＭＯＳセンサなどのセンサ）に対し、読み出し制御信号を出力して、センサにより取得されるデータ中からブロック状の局所領域の信号を入力する。かかる読み出し制御については、公知の手法（例えば、本出願人による特開平１１−１９６３３２号公報に開示する方法）を用いればよい。なお、センサとしてＣＣＤを用いる場合には、フレームメモリなどに一旦画像を記録してブロック状領域を切り出し、その領域のデータを読み出しながら走査する。このブロック領域の走査過程においては、走査により次に更新された後の局所領域は、その境界付近に特徴が存在する場合であっても検出精度を下げないために、更新前の局所領域と一定範囲で互いに重なり合っている方が望ましい。
【００１０】
局所領域認識処理モジュール３は、いわゆる特徴検出手段であって、低次から高次の特徴の検出を行う後述する階層的ニューラルネットワーク回路の一部をなす。本実施形態の構成では、局所領域認識処理モジュール３への入力は、データ入力手段１からの入力と中間処理結果保持モジュール４からの入力の２種類がある。局所領域認識処理モジュール３の回路は、アナログ・デジタル混載でありパルス幅変調などにより動作する積和演算回路を主たる構成要素としている。
【００１１】
制御手段６は、局所領域認識処理モジュール３が実行する階層レベルとモジュール間のデータ入出力を制御し、最下層レベルを設定した場合には、データ入力手段１により設定されたブロック状領域のデータが局所領域認識処理モジュール３に入力されるようにする。また、最下層より上位の層レベルを設定した場合には、中間処理結果保持モジュール４からの読み出しデータが局所領域認識処理モジュール３に入力されるようにする。
【００１２】
また、制御手段６は、設定された階層レベルでの処理（いわゆる特徴検出処理）に必要なデータを演算特性制御データメモリ８から読み出し、局所領域認識処理モジュール３に供給する。この供給タイミングは、中間階層レベルにおいて中間処理結果保持モジュール４から中間結果データを局所領域認識処理モジュール３に供給するタイミングと一致するように、制御手段６は各モジュール間でのデータ入出力のタイミング制御を行う。
【００１３】
本実施形態で用いる演算特性制御データとは、後で説明するニューラルネットワーク回路の各ニューロンで行う積和演算処理（複数個の入力データにそれぞれ所定の荷重を乗算して総和をとる処理）で用いるシナプス結合荷重データまたはそれに類するデータである。このデータは階層レベルや検出する特徴クラスに応じて異なるデータが用いられる。
【００１４】
演算特性制御データメモリ８は、上述したような荷重値記憶メモリであってＳＲＡＭ、ＤＲＡＭ、ＦｅＲＡＭ、ＭＲＡＭなどのデジタルメモリやその他のアナログメモリが用いられる。デジタルメモリが用いられる場合、局所領域認識処理モジュールと演算特性制御メモリとの間に不図示のデジタル／アナログ変換回路（以下、Ｄ／Ａ回路と記載）が設定される。このＤ／Ａ回路としては、デジタル信号をパルス変調信号（例えば、パルス幅変調信号、パルス位相変調信号など）に変換する回路などが用いられる。
【００１５】
局所領域認識処理モジュール３は、入力された局所領域データ中に、予め用意したカテゴリの特徴パターンが存在するか否かに関する信号を中間処理結果保持モジュール４に出力する。局所領域認識処理モジュール３の構成、動作は後で説明する。
【００１６】
中間処理結果保持モジュール４は、図４（Ａ）に示すように、局所領域認識処理モジュール３から処理結果データを入力し、一時的に保持するメモリ４１０、そのメモリ４１０へのデータ書き込み読み出し制御回路４２０、及びデータ統合手段４３０などから構成される。なお、データ書き込み読み出し制御回路４２０は、使用するメモリの種類によっては不要となる。例えば、高誘電率キャパシタなどを用い、データの更新特性にヒステリシスがないなどの場合には、特別な書き込み読み出し信号を用いる必要は無い。
【００１７】
メモリ４１０がデジタルメモリである場合には、局所領域認識処理モジュール３からのアナログ信号をアナログ／デジタル変換する回路（以下、Ａ／Ｄ回路と記載）の機能をデータ書き込み読み出し制御手段４２０が兼ね備えることになる。一方、メモリ４１０がアナログメモリである場合には、上述したＤ／Ａ回路およびＡ／Ｄ回路などは不要となることは言うまでもない。
【００１８】
データ統合手段４３０は、複数箇所で設定されたブロック状領域での局所領域認識処理モジュール３の出力を後述する方法により統合するためのものである。従って、一箇所の局所領域データからの特徴検出結果を保持するだけで十分な場合（例えば、あるパターンを検出するのにその局所領域だけのデータから必要十分な種類の局所特徴が検出される場合）には不要となる。なお、データ統合手段４３０は、局所領域認識処理モジュール３から最も高次のパターン（認識対象）の検出信号（位置とカテゴリ情報）を得た場合には、その検出された情報をそのまま判定手段５に出力する。
【００１９】
メモリ４１０としては、一時的に（長くても次の検出結果が出力されるまでの間）所定の精度で（例えば、１０ビット）データを保持できればよく、精度が維持される限りでは、揮発性のアナログメモリを用いても良い。アナログメモリとしては、例えば強誘電体キャパシタ、高誘電率キャパシタ、ＦｅＲＡＭなどを用いてもよい。また、データ保持の安定性のために不揮発性メモリとしてのＦｅＲＡＭを用いても良い。
【００２０】
特に、強誘電体メモリを用いることにより低電力動作が実現される。メモリ４１０に用いる強誘電体メモリの特性としては、電圧またはパルス幅制御で記憶値の更新分解能６ビット相当以上、記憶値の可変範囲が（更新分解能換算で）１０ビット相当以上であることが望ましい。更に更新量のヒステリシスが上記可変範囲の１ＬＳＢ相当以下（正・負の更新方向および記憶値に対して更新量に差がないこと）であれば一層よい。なお、これらの特性を満たさないからといって本発明の意図する効果を発揮しないということではない。
【００２１】
判定手段５は、中間処理結果保持モジュール４の出力について、制御手段６から供給される判定パラメータを用いて、所定のパターンが検出された場合には、入力データ中のどの位置に如何なるカテゴリのパターンが存在するかの情報を出力する。
【００２２】
次に、図２を参照して局所領域認識処理モジュール３について詳細に説明する。この処理モジュール３は、入力データ中の局所領域において、対象または幾何学的特徴などの認識（検出）に関与する情報を主として扱うものであり、その基本構造はいわゆるＣｏｎｖｏｌｕｔｉｏｎａｌネットワーク構造（ＬｅＣｕｎ，Ｙ．，ａｎｄＢｅｎｇｉｏ，Ｙ．，１９９５，“ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋｓｆｏｒＩｍａｇｅｓＳｐｅｅｃｈ，ａｎｄＴｉｍｅＳｅｒｉｅｓ”ｉｎＨａｎｄｂｏｏｋｏｆＢｒａｉｎＴｈｅｏｒｙａｎｄＮｅｕｒａｌＮｅｔｗｏｒｋｓ（Ｍ．Ａｒｂｉｂ，Ｅｄ．），ＭＩＴＰｒｅｓｓ，ｐｐ．２５５−２５８）の一部（例えば、以下に示す特徴検出層一層分または特徴統合層一層分）である。但し、同経路内の層間結合は局所的に相互結合をなし得る点（後述）が、従来と異なる。最終出力は認識結果、即ち認識された対象のカテゴリとその入力データ上の位置に相当する。
【００２３】
データ入力層１０１は、ＣＭＯＳセンサ、或いはＣＣＤ素子等の光電変換素子（画像データ入力素子）からの局所的な領域データがデータ入力手段１により入力される層であり、或いは、２次元パターンデータに関して所定のデータ解析手段による解析結果（例えば、主成分分析、ベクトル量子化など）から得られる高次元のデータを入力するものであってもよい。
【００２４】
最初の特徴検出層（１，０）は、Ｇａｂｏｒｗａｖｅｌｅｔ変換その他による多重解像度処理により、データ入力層１０１より入力された画像パターンの局所的な低次の特徴（幾何学的特徴のほか色成分特徴を含んでもよい）を全画面中の各位置を中心とする局所領域（或いは、全画面にわたる所定のサンプリング点の各点を中心とする局所領域）において同一中心位置において複数のスケールレベル（又は解像度）で所定複数の特徴カテゴリの数だけ検出する。
【００２５】
なお、Ｇａｂｏｒウエーブレットは、一定の方向成分と空間周波数とを有する正弦波をガウシアン関数で変調した形状を有する。ウエーブレットとしてこのフィルタのセットは互いに相似の関数形状を有し、また主方向と大きさが互いに異なる。このウエーブレットは空間周波数ドメインと実空間ドメインで関数形が局在していること、位置と空間周波数に関する同時不確定性が最小となり、実空間でも周波数空間でも最も局在した関数であることが知られている（Ｊ，Ｇ．Ｄａｕｇｍａｎ（１９８５），Ｕｎｃｅｒｔａｉｎｔｙｒｅｌａｔｉｏｎｆｏｒｒｅｓｏｌｕｔｉｏｎｉｎｓｐａｃｅ，ｓｐａｔｉａｌｆｒｅｑｕｅｎｃｙ，ａｎｄｏｒｉｅｎｔａｔｉｏｎｏｐｔｉｍｉｚｅｄｂｙｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌｖｉｓｕａｌｃｏｒｔｉｃａｌｆｉｌｔｅｒｓ，ＪｏｕｒｎａｌｏｆＯｐｔｉｃａｌＳｏｃｉｅｔｙｏｆＡｍｅｒｉｃａＡ，ｖｏｌ．２，ｐｐ．１１６０−１１６９）。
【００２６】
Ｇａｂｏｒｗａｖｅｌｅｔ変換を神経回路網で行う方法の詳細については、Ｄａｕｇｍａｎ（１９８８）による文献（ＩＥＥＥＴｒａｎｓ．ｏｎＡｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ，ｖｏｌ．３６，ｐｐ．１１６９−１１７９）を参照されたい。但し、局所領域内での境界部分の扱い方（Ｇａｂｏｒｗａｖｅｌｅｔ変換係数値の保持の仕方など）については、上記文献では開示されていないが、例えばＧａｂｏｒｗａｖｅｌｅｔ変換係数値に局所領域の中心からの距離に応じた分布形状の所定の重み係数（例えばガウシアン形状の重み係数分布）を乗じることにより境界付近では理想的なＧａｂｏｒｗａｖｅｌｅｔ変換係数値からのずれの影響を少なくすることができる。
【００２７】
後段の特徴検出層１０２（１，ｋ）は、本出願人が先に出願した特願２０００−１８１４８８号に詳述するように、所定の解像度（又はスケールレベル）ごとにクラス分けがされており、階層レベルが異なっても同一クラスに属する特徴検出細胞（ニューロン素子）は、同一処理チャネルを形成する（但しｋ≧０）。
【００２８】
Ｇａｂｏｒｗａｖｅｌｅｔ変換を特徴検出層１０２（１，０）で行う場合を例にとると、スケールレベルが同一で方向選択性の異なるＧａｂｏｒフィルタカーネルを受容野構造に持つ特徴検出細胞のセットは、特徴検出層１０２（１，０）において同一の処理チャネルを形成し、後続の層１０２（１，１）においても、それら特徴検出細胞からの出力を受ける特徴検出細胞（より高次の特徴を検出する）は、当該処理チャネルと同一のチャネルに属する。
【００２９】
更に後続の層１０２（１，ｋ）（但しｋ＞１）においても、同様に前段の１０３（２，ｋ―１）層において同一チャネルを形成する複数の特徴統合細胞からの出力を受ける特徴検出細胞は、当該チャネルに属するように構成される。このように各処理チャネルは、同一スケールレベル（又は解像度）での処理が進行していくものであり、階層的並列処理により低次特徴から高次特徴までの検出及び認識を行う。
【００３０】
後続の層である各特徴検出層１０２（１，１）、（１，２）、・・・、（１，Ｍ））及び各特徴統合層１０３（（２，１）、（２，２）、・・・、（２，Ｍ））は、それぞれ所定の受容野構造を持ち、上述した各層と同様に前者（（１，１）、・・・）は、各特徴検出モジュールにおいて複数の異なる特徴の検出を行い、後者（（２，１）、・・・）は、前段の特徴検出層からの複数特徴に関する検出結果の統合を行う。但し、前者の特徴検出層は同一チャネルに属する前段の特徴統合層の細胞素子出力を受けるように結合（配線）されている。
【００３１】
データ入力過程（入力画像データまたはある中間階層レベルでの検出結果のデータ）での中間的な検出結果を中間処理結果保持モジュールに保持しながら統合処理を行うものとする。特徴検出層は、検出予定の特徴の種類（例えば、幾何学的特徴として所定方向の線分を抽出する場合にはその幾何学的構造である線分の傾き）やサイズに応じた受容野構造を有し、その特徴検出レベルに応じたパルス信号を発生するニューロン素子から構成される。以上で特徴検出層に関する説明を終わる。
【００３２】
特徴統合層１０３（２，ｊ）は、所定の受容野構造（以下、受容野とは直前の層の出力素子との結合範囲を、受容野構造とはその結合荷重の分布を意味する）を有し、パルス信号を発生するニューロン素子からなる。各ニューロン素子は、特徴検出層１０２（１，ｊ）からの同一受容野内にある複数のニューロン素子出力の統合処理（局所的な領域での出力分布の平均化、或いは局所的な領域内出力の最大出力等によるサブサンプリングなどの演算）を行う。また、特徴統合層内のニューロンの各受容野は、同一層内のニューロン間で共通の構造を有し、同一クラスの特徴に関する限りは、特徴統合層内のニューロン素子間では同一の処理を行っている。
【００３３】
図３は、シナプス回路とニューロン素子の構成を示す図である。各層間のニューロン素子２０１間を結合する構造は、図３の（Ａ）に示すように、各層間のニューロン素子２０１間を結合する手段は、神経細胞の軸索または樹状突起に相当する信号伝達部２０３（配線または遅延線）、及びシナプス回路Ｓ２０２である。図３では、ある特徴検出（統合）細胞に対する受容野を形成する特徴統合（検出）細胞のニューロン群（ｎ_ｉ）からの出力（当該細胞から見ると入力）に関与する結合手段の構成を示している。信号伝達手段として太線で示している部分は共通バスラインを構成し、この信号伝達ライン上に複数のニューロンからのパルス信号が時系列に並んで伝達される。出力先の細胞からの入力を受ける場合も同様の構成がとられる。この場合には、全く同じ構成において時間軸上で入力信号と出力信号とを分割して処理してもよいし、或いは入力用（樹状突起側）と出力用（軸索側）の２系統で図３と同様の構成を与えて処理してもよい。
【００３４】
いわゆる、興奮性結合はシナプス回路Ｓ２０２において、パルス信号の増幅を行い、抑制性結合は逆に減衰を与えるものである。パルス信号により情報の伝達を行う場合、増幅及び減衰はパルス信号の振幅変調、パルス幅変調、位相変調、周波数変調のいずれによっても実現することができる。本実施例においては、シナプス回路Ｓ２０２は、主にパルスの位相変調素子として用い、信号の増幅は、特徴に固有な量としてのパルス到着時間の実質的な進み、減衰は実質的な遅れとして変換される。即ち、シナプス結合は後述するように出力先のニューロンでの特徴に固有な時間軸上の到着位置（位相）を与え、定性的には興奮性結合はある基準位相に対する到着パルスの位相の進みを、抑制性結合では同様に遅れを与えるものである。
【００３５】
図３の（Ａ）において、各ニューロン素子ｎ_ｊは、パルス信号（スパイクトレイン）を出力し、後述する様な、いわゆるｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅ型のニューロン素子を用いている。なお、図３の（Ｂ）に示すように、シナプス回路とニューロン素子とを、それぞれまとめて回路ブロックを構成してもよい。
【００３６】
次に各層を構成するニューロンについて説明する。各ニューロン素子は、いわゆるｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンを基本として拡張モデル化したもので、入力信号（アクションポテンシャルに相当するパルス列）を時空間的に線形加算した結果が閾値を越したら発火し、パルス状信号を出力する点では、いわゆるｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンと同じである。
【００３７】
ニューロン素子としてのパルス発生回路（ＣＭＯＳ回路）としては、公知の回路（例えば、ＩＥＥＥＴｒａｎｓ．ｏｎＮｅｕｒａｌＮｅｔｗｏｒｋｓＶｏｌ．１０，ｐｐ．５４０に記載の回路）またはその変形、拡張した回路を用いればよい。
【００３８】
なお、各ニューロン素子のパルス発火タイミングの動作制御機構等に関しては、本願の主眼とするところではないので説明を省略する。なお、パルス信号によるニューロン間の信号の伝達はいわゆるＡＥＲ（ＡｄｄｒｅｓｓＥｖｅｎｔＲｅｐｒｅｓｅｎｔａｔｉｏｎ）の手法（Ｌａｚｚａｒｏ，ｅｔａｌ．１９９３，ＳｉｌｉｃｏｎＡｕｄｉｔｏｒｙＰｒｏｃｅｓｓｏｒｓａｓＣｏｍｐｕｔｅｒＰｅｒｉｐｈｅｒａｌｓ，ＩｎＴｏｕｒｅｓｔｚｋｙ，Ｄ．（ｅｄ），ＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ５．ＳａｎＭａｔｅｏ，ＣＡ：ＭｏｒｇａｎＫａｕｆｍａｎｎＰｕｂｌｉｓｈｅｒｓ）その他の方法によればよい。
【００３９】
次に、局所領域認識処理モジュール３から中間処理結果保持モジュール４にかけての処理について詳しく説明する。
【００４０】
局所領域認識処理モジュール３から中間処理結果保持モジュール４に出力されるデータは、ある階層レベルのある特徴クラスに関して、局所領域内における高次パターン（最終的な認識対象となる顔などのパターン）または高次パターンの構成要素となる中間的な複雑さをもつ中次パターン（例えば、顔の中の目、鼻、口などに相当するパターン）の存在有無、存在位置に関する情報である。特定クラスの局所特徴の存在有無は、その特徴クラスに関する特徴統合層ニューロンからのパルス信号出力の有無により判定され、その局所特徴の存在位置は、パルス信号を発生したニューロン素子の同一クラス内位置により決定される。
【００４１】
局所領域認識処理モジュール３が最上位層での処理を実行する場合、その最上位の特徴統合層からの出力のうち、所定の特徴カテゴリｆ_ＮＭの検出に関与する特徴統合モジュールのニューロン群出力のうち、最大値が所定閾値以上となる場合に、その最大値を与えるニューロンからの出力が、検出された対象のカテゴリ及び位置情報（この検出位置は、特徴統合モジュール内のどのニューロンで極大の検出信号を出力したかにより決まる）として中間処理結果保持モジュール４に与えられる。
【００４２】
次に、判定手段５の構成について図７を参照して説明する。判定手段５は、閾値処理手段５１と検出パターンマップ情報生成手段５２とからなり、閾値処理手段５１は、中間処理結果保持モジュール４からのパターン検出レベル信号の閾値処理を行う。入力データ（検出対象）に依存した閾値の制御を行う場合には、その閾値情報は制御手段６より入力する。
【００４３】
ここで、高次パターン検出に至るまでの処理途中では、ある階層レベルで検出される予定のパターン（局所特徴）の検出レベル信号を中間処理結果保持モジュール４より入力し、その値が閾値より高ければ、検出パターンマップ情報生成手段５２は、入力データの全体について検出されたパターンマップ情報を保持するメモリ７に当該パターンのカテゴリ及び検出位置情報（特徴統合モジュールのどのニューロンかのインデックスなど）を格納し、或いは所定の表示手段などに当該情報を出力する。
【００４４】
以上のように構成することにより、コンパクトな構成で効率的に入力データ（画像）から所定カテゴリのパターンの位置を検出することができ、回路規模の大幅な縮小と認識処理の高効率化がもたらされる。特に、中間処理結果をメモリに保持し、後段の層での処理を同一回路構成で異なる演算特性（本字死形態では、シナプス結合荷重パターンやニューロンの入出力非線形特性などに相当する）を与えながら行うことにより、小規模の回路で大規模かつ複雑な演算を効率よく行うことができる。
【００４５】
更に、上述したパターン認識装置をカメラやロボットの視覚モジュールその他の画像入力手段、或いはプリンタ及びディスプレイその他の画像出力手段に搭載することができる。その結果、低消費電力で小規模な回路構成により、特定被写体の認識または検出を行って所定の動作、例えば画像入力手段については、特定被写体を中心とするフォーカシング、露出補正、ズーミング、或いは色補正などの処理を行うことができる。画像出力手段についても特定被写体に関する最適色補正などの処理を自動的に行うことができる。
【００４６】
次に、本実施形態の構成に係るパターン検出（認識）装置を撮像装置に搭載させることにより、特定被写体へのフォーカシングや特定被写体の色補正、露出制御を行う場合について、図１０を参照して説明する。図１０は、実施形態に係るパターン検出（認識）装置を撮像装置に用いた例の構成を示す図である。
【００４７】
図１０の撮像装置１１０１は、撮影レンズおよびズーム撮影用駆動制御機構を含む結像光学系１１０２、ＣＣＤ又はＣＭＯＳイメージセンサー１１０３、撮像パラメータの計測部１１０４、映像信号処理回路１１０５、記憶部１１０６、撮像動作の制御、撮像条件の制御などの制御用信号を発生する制御信号発生部１１０７、ＥＶＦなどファインダーを兼ねた表示ディスプレイ１１０８、ストロボ発光部１１０９、記録媒体１１１０などを具備し、更に上述した時分割多重化処理を行うパターン認識装置を被写体検出（認識）装置１１１１として備える。
【００４８】
この撮像装置１１０１は、例えば撮影された映像中から予め登録された人物の顔画像の検出（存在位置、サイズの検出）を被写体検出（認識）装置１１１１により行う。そして、その人物の位置、サイズ情報が被写体検出（認識）装置１１１１から制御信号発生部１１０７に入力されると、同制御信号発生部１１０７は、撮像パラメータ計測部１１０４からの出力に基づき、その人物に対するピント制御、露出条件制御、ホワイトバランス制御などを最適に行う制御信号を発生する。
【００４９】
上述したパターン検出（認識）装置を、このように撮像装置に用いた結果、小型・低消費電力な回路で、高速（リアルタイム）に人物検出とそれに基づく撮影の最適制御を行うことができるようになる。
【００５０】
＜第二の実施形態＞
本実施形態においては、局所領域の走査過程において以下に示すごとく、検出されるべき高次パターンと途中で検出された中次パターンとの配置関係及び種別に関する整合性の判定を行う。その際、最初に検出された中次パターンの種別に基づき、次に検出されるべき中次パターンの種別と位置の予測を行って、走査位置のジャンプを行う。このようにすることにより、ラスタースキャンなどのような一律の方法により走査する場合と比べて効率的なパターンの検出を行うことができる。
【００５１】
図４（Ｂ）に示すように、中間処理結果保持モジュール４は、高次パターンの検出レベル（必要なら特徴の種別も）及びその位置のマップを生成する高次パターンマップ生成手段４１、検出されるべき中次パターンの予測位置（後述）の出力、及び最もよく整合する高次パターンのカテゴリ出力などを行う中次パターン統合処理手段４２、高次パターンのカテゴリ（例えば、テンプレートパターンのデータでよい）を格納するメモリ４３、及び中次パターンの予測位置（後述）などを格納する一次記憶手段４４とから構成される。
【００５２】
ここで、高次パターンが検出されず（高次パターンに関する検出出力レベルが所定の閾値未満の場合）、中次のパターン要素だけが検出されたとすると、中間処理結果保持モジュール４の予測手段４６は、その中次パターンによって構成されうる高次パターン候補の一つを選択し、その候補パターンを構成する他の検出されるべき中次パターンのカテゴリおよびその位置（配置）情報を後述する方法により予測する。
【００５３】
データ統合処理手段４３０は、該当する位置に予測されたカテゴリのパターンが検出されるか否かに応じた出力レベル（予測パターンが予測位置に検出されれば、高い出力レベルとなる）で検出されるべきカテゴリのパターン検出の検出確率（或いは、検出確信度）に相当する出力を判定手段５に対して行う。このとき、制御手段６は、予測された中次パターンの存在位置情報を中間処理結果保持モジュール４から入力し、その位置を中心とする局所領域のデータが次に入力されるように、走査手段１のサンプリング点位置の更新制御情報を出力する。なお、この処理過程の詳細については後で図５を参照して説明する。
【００５４】
中次パターンの検出情報は、走査位置での局所領域内で中次レベルのパターンが検出され、かつそのパターンによって構成される高次のパターンが局所領域内の入力データからでは、検出されない場合（即ち、当該高次パターンが局所領域よりサイズが大きい場合）に中次パターン統合処理手段４２での後述する時系列処理によって統合され、より大きなサイズの高次パターンの検出に使われる可能性があるものである。
【００５５】
いうまでもなく、高次パターンとして検出されるのは、ブロックサイズ以下のパターンである。また、ブロックサイズの変更を伴わずに同一の入力データに対して一巡の走査を行い、異なるサイズの対象検出を可能とするために局所領域認識処理モジュール３は、第一の実施形態と同様に、複数の検出対象サイズに固有の処理チャネルを有するものとする。
【００５６】
次に、中間処理結果保持モジュール４での中次パターン統合処理手段４２について説明する。中次パターン統合処理手段４２は、検出された中次パターンから構成されうる高次パターンについて未検出の中次パターンの予測カテゴリ、及び検出された中次パターンの位置近傍の予測位置を出力する信号処理回路（或いは、いわゆるミドルウエア）である。
【００５７】
ここでは、予め用意された検出されるべき対象（高次パターン）のクラスの種類（例えば、正面顔のパターンなど）と検出された中次パターンのクラス（例えば、正面顔を構成する目のパターンなど）に基づき、未検出である他の中次パターンのクラス（他方の目、鼻、口のパターンなど）、即ち予測カテゴリとその予測位置を求める。
【００５８】
本実施形態においては、回路構成の簡素化のため、上述した予測処理を行う回路（予測手段４６）は、確率過程その他の複雑かつ演算負荷の大きい処理を行わず、予めリスト又は辞書形式で記述された組み合わせリスト構造データと付帯データ（候補となる中次パターンの相対位置ベクトル）を参照して出力する一種の論理回路である。
【００５９】
上記リスト構造データは図６に示すように、高次パターンを構成する中次パターンの互いに連結するリスト構造として与えられ、また付帯データは中次パターン間の距離と方向について相対位置ベクトルを用いて表される。
【００６０】
なお、予測位置は、検出された中次パターンのクラスと局所領域認識処理モジュール３の特徴統合層１０３（２、ｍ）の最大値出力ニューロンが属する前述した処理チャネルの種別により異なるものである。即ち、本実施形態においては、処理チャネルの種別は検出対象または特徴のサイズの違いを反映するものであり、サイズに応じて未検出の中次パターンの存在位置（予測位置）もおのずと異なる。
【００６１】
次に、検出されるべき高次パターンが予め複数用意され、かつそれらの間に共通する中次パターンのカテゴリが存在する場合の処理の流れについて、中間処理結果保持モジュール４での処理を中心に図５を参照して説明する。
【００６２】
まず、ステップＳ５０１において、局所領域認識処理モジュール３で検出された中次パターンカテゴリを構成要素とする高次パターンのカテゴリ情報を時系列統合処理モジュール４内のメモリ４３から読み出す。
【００６３】
次に、ステップＳ５０２では、検出された中次パターンの近傍において次に検出される確度の高い中次パターンのカテゴリ及び予測位置を各高次パターンについて求め、それぞれ一次記憶手段４４に格納する。
【００６４】
ステップＳ５０３で、予測位置に関して、近傍に複数の未検出の中次パターンが存在しうるかを判定し、存在しうると判定された場合には、基本走査方向（例えば、右方向、左上から右下までとする）に近い方を選択する（Ｓ５０４）。
【００６５】
ステップＳ５０５では、この中次パターン統合処理手段４２において選択された予測位置出力は、制御手段６に入力され、走査位置の更新制御に用いられる。このとき制御手段６では予測位置情報は、データ入力手段１で設定されるべき局所領域の更新位置データに変換されて、データ入力手段１に与えられる。
【００６６】
更にステップＳ５０６では、局所領域認識処理モジュール３が、検出された中次パターンに整合する高次パターン候補について（所定の順番に）予測位置での予測カテゴリ（中次パターンレベル）に関するマッチング処理結果としての中次パターンに関する特徴統合層１０３（２、ｍ）の出力を中次パターン統合処理手段４２０に供給する。
【００６７】
走査位置が更新されると、中間処理結果保持モジュール４の中次パターン統合処理手段４２０では、走査手段１の指示の下に局所領域データに関する認識処理結果を局所認識処理モジュール３より入力し（Ｓ５０４に同じ）、既に検出された中次パターンのカテゴリとの整合性判定（Ｓ５０７）を以下のようにして行い、整合性があると判定された場合には、判定手段５に対して該当する高次パターンのカテゴリ情報とその検出レベル（存在確率または検出確信度に相当）の出力を行う（Ｓ５０８）。以上のような中次パターンレベルでの予測と検証の処理は、未検出の中次パターンがある限り繰り返される。
【００６８】
次に高次パターンのカテゴリに基づく中次パターン間の整合性判定（Ｓ５０７の処理）について説明する。高次パターンのカテゴリと既検出の中次パターンのカテゴリが与えられたとすると、それらに整合する残りの中次パターンのカテゴリ及び配置情報の対応関係を予めテーブルとしてメモリに格納しておくことにより、いわゆる正誤判定処理として簡単な論理回路などの構成により実現することができる。
【００６９】
この対応関係を示すデータの例を図６（Ａ）に示す。ここに対応関係のデータは表形式で与えられ、高次パターンのカテゴリを「顔」とし、最初に検出された中次パターン（一つとする）のカテゴリを「目」とし、そのサイズが中次パターンに関する特徴統合層１０３（２、ｍ）の処理チャネル番号ｋ（スケールレベルｋ）により与えられたとすると、これらに整合する残りの中次パターンのカテゴリ及びその位置情報は、「鼻」及びｒ_{ｅ−ｎ，ｋ}、「口」及びｒ_{ｅ−ｍ，ｋ}、そして「目」及びｒ_{ｅ−ｅ１，ｋ}，ｒ_{ｅ−ｅ２，ｋ}のように与えられる。ここに、ｒは、既検出の中次パターンに対する相対位置ベクトルを表す。
【００７０】
なお、残りの「目」に対応する位置ベクトルが２つあるのは、両目のうち、いずれが既検出の中次パターンであるのか分からないという仮定があるからである。但し、いずれの側の「目」に相当する中次パターンであるのかの判定は、予測位置の方向に存在すべき「目」（右目か左目かはこの段階で推定される）に該当するパターンが存在するか否かで決まる。一方、既検出の中次パターンが「目」と「鼻」などのように複数ある場合には、残りの中次パターン「口」の相対位置ベクトルは一意的に定まることは明らかである。
【００７１】
図６（Ｂ）は、ある高次パターンカテゴリ（顔）に関して、中次パターン（目）を最初に検出した場合の木構造で表された中次パターン（目、鼻、口）と検出過程を表す。ここで、各ノードの状態は、未検出（○）または既検出（●）を表す。目１と目２は左目と右目をそれぞれ表す。基本走査手順としては、例えば、図６（Ｂ）▲１▼において、未検出中次パターンカテゴリの左から右へ逐次的に行われるものとすると、検出状態の遷移は図６（Ｂ）の▲１▼から▲４▼のようになる。ここでは、両目のうちの一方として目２が予測位置で検出されたものとして示している。
【００７２】
＜第三の実施形態＞
第三の実施形態の要部構成を図８に示す。本実施形態においては、ある時刻で各特徴検出層内において検出する特徴の種別（カテゴリまたはサイズ）は一つであり、その種別は時系列的に制御手段６により更新される。そのため、局所領域認識処理モジュール３内の各層において並列的に配置される特徴種別の数ｓは第一実施形態の場合の特徴種別数Ｎと比べて格段に少なくすることができる（ｓ＝１も可）。
【００７３】
ここでは、データ入力手段１から得られる同一の局所領域入力データに対して局所領域認識処理モジュール３は、入力データ上の各サンプリング点において、時系列的に異なるカテゴリのパターン検出に関する中間処理結果を中間処理結果保持モジュール４の内部のメモリ４１０（図８では図示せず）に保持し、次の階層レベルでの処理は、メモリ４１０からデータを読み出してフィードバック結合９により局所領域認識処理モジュール３にデータを入力する。このような処理を階層的に行いながら第１の実施形態と同様に必要に応じて各特徴統合層での検出結果をメモリ４１０から読み出して中間処理結果保持モジュール４内部のデータ統合手段４３０で統合する。
【００７４】
局所領域認識処理モジュール３は、前実施形態と同様にカスケード的に交互に配列される特徴検出層１０２と特徴統合層１０３のそれぞれ一層分を実現し、低次から高次パターン検出までを階層的に行う。
【００７５】
各特徴検出層１０２からの出力は、後段の特徴統合層１０３において前実施形態と同様のサブサンプリング処理が行われた後、一時的に中間処理結果保持モジュール内のメモリ４１０に特徴種別ごとに異なるアドレスに格納される。更に、特徴検出層１０２は、以下に示すようにシナプス荷重分布（局所受容野構造）が更新されると同時に、メモリ８から時系列的に特徴種別ごとの検出結果を入力する。例えば、目に相当するパターン（中次パターン）の検出を行う特徴検出層１０２の局所受容野構造のデータは、当該中次パターンの検出に必要な低次パターンＰ１，Ｐ２，・・・Ｐｎのそれぞれに固有のデータとして、パターンＰｋ（ｋ＝１，・・・，ｎ）ごとの検出結果としての特徴統合層出力をメモリ４１０から入力するタイミングと同時に制御手段６によりメモリ８から読み出されて与えられる。
【００７６】
なお、特徴検出層１０２の局所受容野構造は、入力されるべき特徴の種別ごとにＳＲＡＭ、ＦｅＲＡＭなどのメモリ８に保持され、当該メモリから読み出されて更新される。
【００７７】
例えば、ある時刻で目に相当するパターンの検出を行っていた特徴検出層１０２（中次特徴検出を行う層）のニューロンの受容野構造は、別の時刻では、鼻又は口に相当するパターンの検出を行うように、制御手段６及び受容野制御回路４５からの信号に従って所定の順序で更新される。
【００７８】
このように局所領域に関する入力データについて、一つの局所領域認識処理モジュール３の回路で異なる特徴検出（認識）を時間的にずらして行う多重化処理を行うことにより、入力データ上のサンプリング位置での複数の特徴検出を別個独立に同時並列的に行う回路構成と比べて、大幅な回路規模の縮小がもたされる。
【００７９】
時間的に制御される受容野の構造は、動的に再構成可能なＦＰＧＡまたはＦＰＡＡの構成データとしてのコンフィギュレーションビット（以下、ＣＢと略称する）として、若しくは、受容野構造としてのシナプス結合荷重データとして格納するメモリ８及び読み出し制御を司る制御手段６とにより与えられる。
【００８０】
局所受容野構造を有するニューロンからなる神経回路網を実現する際には、ニューロンごとに結合荷重データを更新するためのメモリと制御回路とが一般的に必要となるが、第一の実施形態で示した局所領域認識処理モジュール３の構成では、以下に示すように、一つの検出すべき特徴カテゴリにつき一セットの結合荷重データ、メモリ８、及び制御手段６があれば足りる。
【００８１】
即ち、ある時刻で特徴検出層１０２が各サンプリング点で検出すべき特徴の種別（例えば、特徴カテゴリとサイズ）が一つであるとすると、特徴検出層ニューロンの各局所的受容野の構造も同一となる。その結果、受容野構造を与えるメモリ８及び制御手段６を共有化して時系列的に特徴検出層ニューロンごとにＣＢ若しくは結合荷重データを与えることができる。
【００８２】
ＦＰＧＡを用いる場合には、ＣＢはロジカルな結合（配線）の構造を与えるにすぎない。即ち、あるニューロン素子と前段の層の所定ニューロンとの間に結合が存在するか否かは、ＣＢによって指定される。受容野構造を反映した結合ごとの重み係数の更新及び設定は、別途メモリ８から供給される重み係数データに従ってシナプス回路の荷重データが更新されることにより実現される。
【００８３】
例えば、シナプス荷重は浮遊ゲート素子に蓄えられる注入電荷量により与えられるとすると、シナプス荷重の設定などはメモリ８に格納された重み係数データに相当する、シナプスごとの荷重値に相当する電荷の注入により行う。ここで、制御手段６は、メモリ８に格納された所定アドレスのシナプス荷重値データ（所定の蓄積電荷量を与える印加電圧など）を読み出してシナプス荷重値相当の電圧が設定すればよい。
【００８４】
その後、受容野構造を構成する要素となる各シナプス回路要素Ｓ_ｋ（ｋ＝１，２，・・・）を時系列的にアクセスし、シナプス荷重の分布構造（受容野構造）を設定する。なお、高速かつ低電力で荷重値相当のデータを書き換え可能で、かつ所定時間そのデータを保持することができる短期メモリ素子（ＦｅＲＡＭなど）があれば、そのようなメモリ素子を用いても良い。
【００８５】
なお、特徴検出層の各ニューロンの受容野構造は特徴種別に応じて更新されるが、特徴統合層各ニューロンの受容野構造は特徴種別のうちスケールレベルが同一であれば更新しない。
【００８６】
＜第四の実施形態＞
本実施形態においては、受容野構造を与えるシナプス回路を２次元シストリックアレイプロセッサ（シストリックアレイについては、富田著、「並列計算機構成論」、ｐｐ．１９０−１９２，昭晃堂、１９８６年、Ｓ．Ｙ．Ｋｕｎｇ，“ＤｉｇｉｔａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ“，ＰＴＲＰｒｅｎｔｉｃｅＨａｌｌ，ＥｎｇｌｅｗｏｏｄＣｌｉｆｆｓ，ｐｐ．３４０−３６１．１９９３、および特許第２７４１７９３号公報などを参照）とし、その受容野構造の更新もシストリックアレイ素子に供給されるパイプライン処理用の時系列データの変更により行う。
【００８７】
本実施形態の要部構成を図９に示す。ここでは、メモリ８に格納されたシナプス荷重データを特徴検出層１０２及び特徴統合層１０３のシストリックアレイ構造の各シナプス回路素子に時系列的に与えることにより、受容野構造を動的にかつ時系列的に制御する。シナプス結合荷重データは、例えば、アナログ電圧値で与えられるとすると、図３（Ａ）に示すような各シナプス回路要素Ｓ_ｋ（ｋ＝１，２，…）にアクセスしながら、第三の実施形態で説明したように、メモリ８から読み出された荷重データに相当する電圧信号を与える。図８と対比すれば明らかなように、回路構成としては大幅に簡素化されている。なお、シストリックアレイ演算処理を行わなければ、図９に示す構成は、図１の構成と実質同一となる。
【００８８】
そして前述した局所領域認識処理モジュール３からの出力（特徴統合層からの出力）を、制御手段６から与えられるシストリックアレイプロセッサのタイミング制御信号に同期して、中間処理結果保持モジュール４内部のデータ統合手段４３０で統合し、判定手段５で対象カテゴリの有無の判定を行う。なお、中間処理結果保持モジュール４及び判定手段５での主たる処理は第一の実施形態で説明したので省略する。
【００８９】
図１１に本実施形態での主たる処理手順をフローチャートに示す。先ず、ステップＳ１２０１において、制御手段６が特徴検出層の番号（低次から高次まで）及び層内での特徴種別（カテゴリとサイズなど）を設定する。この設定は、予め定められた一定の手順に従って行われる。
【００９０】
次に、ステップＳ１２０２とＳ１２０３において、特徴検出層の検出モジュールは、メモリ８またはデータ入力層１０１から所定カテゴリの特徴データまたは画像データを受容野構造に従って所定の重み付けを行って入力する。ここでステップＳ１２０３では、制御手段６がメモリ８からの読み出し動作を制御して受容野構造をシナプス荷重のパイプラインデータとして時系列的に設定する。読み出し動作は、局所領域認識処理モジュールがどの階層を実現するのか、更に特徴検出検出層を実現する場合には検出予定の特徴クラスに応じたシナプス結合荷重データを格納するメモリ８のアドレス信号を制御手段６が発生して行われる。
【００９１】
なお、前実施形態と同様、特徴検出層の各ニューロンの受容野構造は特徴種別に応じて更新されるが、特徴統合層各ニューロンの受容野構造は、特徴種別のうちスケールレベルが同一であれば更新しない場合もある。
【００９２】
ステップＳ１２０４では、特徴検出層からの特徴種別ごとの出力のサブサンプリング処理（特徴統合層）を行い、その結果（位置情報と検出レベル）を特徴種別ごとにメモリ８の異なるアドレスに格納する。ステップＳ１２０１からステップＳ１２０４までの処理をすべての特徴カテゴリ及び層番号について時系列的に繰り返した後、ステップＳ１２０５では、中間処理結果保持モジュール４においてその内部メモリ４１０から各特徴種別に関する上記検出結果を読み出して、中次または高次特徴の検出マップを生成する。内部メモリ４１０は、第１の実施形態と同様に構成される。
【００９３】
更に判定手段６は、ステップＳ１２０６において閾値処理を行い、最終的に所定カテゴリの対象が存在するか否か、存在する場合には、どの位置であるかなどの情報を出力する。
【００９４】
＜第五の実施形態＞
図１２は、演算特性制御データメモリ８と演算回路３‘と中間処理結果保持モジュール４’とを一体にした演算セル１０をアレイ状に配列した構造を局所領域認識処理モジュール３０として構成した実施形態を示す。ここでは、制御手段６は、各演算セル１０の動作、データ入力手段１の動作、判定手段の動作などの制御を司る。
【００９５】
演算セル１０は、第一乃至第四実施形態での局所領域認識処理モジュール３の一部であり、一つの演算単位に相当する。ある演算セル１０ａの中間処理結果保持モジュール４’から読み出されるデータは、その演算セル１０ａを含む複数の演算セル（１０ａ，１０ｂ，…）のそれぞれの演算回路３’に不図示の結合を介して供給される。どの演算セルに供給されるかは、次の階層レベルでのニューロン素子の受容野構造（シナプス結合パターン）によって決まる。
【００９６】
本実施形態は、第一の実施形態と同様に、ある並列階層処理を実現するものであり、演算セル１０内の演算回路３’は、ある階層レベルのある特徴クラスのあるニューロン素子（演算単位）での処理を実現する。シナプス結合荷重データ及び中間処理結果は、それぞれニューロン素子（演算単位）に付随して分散して各演算特性制御データメモリ８と中間処理結果保持モジュール４’に配置されることは、本実施形態の特徴の一つである。
【００９７】
メモリ４およびメモリ８の構成は、本実施形態では強誘電体メモリ（ＦｅＲＡＭなど）を用いた。メモリ４はデジタルメモリであってもアナログメモリであってもよいが、一時的に結果を保持する為に用いるので、キャパシタ（強誘電体キャパシタ、高誘電率材料を用いたキャパシタ、その他ＣＭＯＳ回路で通常用いられるキャパシタなど）を用いても良い。メモリ８に関しては不揮発性を有していることが望ましい。
【００９８】
以下、上記実施形態に係わる本発明の特徴を整理する。
【００９９】
特徴１．
所定の階層レベルのパターンデータを時系列的に入力するデータ入力手段と、
演算特性制御用データを保持する演算制御データ保持メモリと、
前記演算特性制御用データを用いて、パターンデータに対して所定の特徴検出を行う検出手段と、
前記検出手段からの出力を中間的に保持する中間結果保持メモリと、
処理階層レベルに応じて、前記データ入力手段からの入力または前記中間結果保持メモリからフィードバックされる中間結果と、前記演算制御データ保持メモリから読み出される演算特性制御用データとを前記検出手段に供給するように制御する制御手段と
を有することを特徴とする階層処理装置。
【０１００】
特徴２．
前記検出手段はアナログ信号を出力し、前記中間結果保持メモリは所定の揮発性アナログメモリであることを特徴とする特徴１に記載の階層処理装置。
【０１０１】
特徴３．
前記検出手段はアナログ信号を出力し、前記中間結果保持メモリは、所定の不揮発特性を有するアナログメモリであることを特徴とする特徴１に記載の階層処理装置。
【０１０２】
特徴４．
前記演算特性を時系列的に更新する演算特性更新手段を有することを特徴とする特徴１に記載の階層処理装置。
【０１０３】
特徴５．
前記検出手段は、前記データ中の各位置において所定の局所的特徴を抽出することを特徴とする特徴１に記載の階層処理装置。
【０１０４】
特徴６．
前記検出手段は、複数の演算素子を並列に配列し、所定の結合手段により当該演算素子間を結合してなる並列処理手段であることを特徴とする特徴１に記載の階層処理装置。
【０１０５】
特徴７．
前記中間結果保持メモリは、所定の強誘電体を構成要素として含むことを特徴とする特徴１に記載の階層処理装置。
【０１０６】
特徴８．
前記検出手段からの出力信号を所定のデジタル信号に変換する変換手段を備え、前記中間結果保持メモリは当該所定のデジタル信号を記憶するデジタルメモリであることを特徴とする特徴１に記載の階層処理装置。
【０１０７】
特徴９．
前記デジタルメモリは強誘電体メモリであることを特徴とする特徴８に記載の階層処理装置。
【０１０８】
特徴１０．
前記制御手段は、前記データ入力手段からの入力または前記中間結果保持メモリから読み出した中間結果と、前記演算制御データ保持メモリから読み出される演算特性制御用データとを、前記検出手段に同一のタイミングで供給するように制御することを特徴とする特徴１に記載の階層処理装置。
【０１０９】
特徴１１．
前記検出手段は、特徴検出層と特徴統合層とが交互にカスケード的にそれぞれ複数接続されていることを特徴とする特徴１に記載の階層処理装置。
【０１１０】
特徴１２．
前記制御手段は、入力された前記パターンデータについて、複数の異なるカテゴリ又はサイズに対応する特徴を検出するように、前記演算制御データ保持メモリから前記演算制御データを読み出し、前記検出手段の演算特性を制御することを特徴とする特徴１に記載の階層処理装置。
【０１１１】
特徴１３．
所定の階層レベルのパターンデータを走査して所定の局所的なデータを入力するデータ入力手段と、
当該パターンデータから所定の局所的特徴を検出する検出手段と、
前記特徴の種別に基づき前記データ入力手段における走査位置を更新する走査位置更新手段と、
異なる走査位置で検出された複数の局所的特徴を統合して前記局所的特徴より高次の特徴の有無を検出する統合処理手段と、
前記統合処理手段の出力を一時的に保持する中間処理結果保持メモリと、
前記中間結果保持メモリへのデータ書き込み読み出し制御を行うメモリ制御手段と、
前記中間処理結果保持メモリから読み出した信号を前記検出手段にフィードバックする結合手段とを備えたことを特徴とする階層処理装置。
【０１１２】
【発明の効果】
以上説明したように、本発明に係る構成によれば、異なるサイズであって同一カテゴリの局所的特徴（パターン）抽出を高効率にかつ、小回路規模でかつ低消費電力に実行することができる。また、検出すべき特徴種別に応じて受容野構造を制御可変とすることにより、回路規模を大幅に縮小することができる。
【０１１３】
更に、他の物体などにより対象の一部が隠れているような場合にも、低次またはセンサ出力値を処理して得られる中次パターンの検出及び統合を行うことにより、安定して対象物の検出を行うことができる。
【図面の簡単な説明】
【図１】本発明の第一の実施形態に係る要部構成図である。
【図２】局所領域認識処理モジュールの要部構成図である。
【図３】シナプス部とニューロン素子の構成を示す図である。
【図４】中間処理結果保持モジュールの構成を示す図である。
【図５】中間処理結果保持モジュールでのデータ統合処理例を示すフローチャートである。
【図６】中次特徴の配置関係を表すリスト構造データの例及び中次特徴に関する特徴検出過程を表す図である。
【図７】判定手段の構成図である。
【図８】第三の実施形態での要部構成図である。
【図９】第四の実施形態での要部構成図である。
【図１０】パターン認識装置を撮影装置に搭載した応用例の要部構成図である。
【図１１】第四の実施形態での主な処理フローチャートである。
【図１２】第五の実施形態の要部構成図である。
【符号の説明】
１データ入力手段
２画像入力手段
３局所領域認識処理モジュール
４中間処理結果保持モジュール
５判定手段
６制御手段
７メモリ
８演算特性制御データメモリ
９フィードバック結合
１０演算セル

Claims

入力データのパターンデータを走査して局所領域毎に時系列的に入力するデータ入力手段と、
演算特性制御用データを保持する演算制御データ保持メモリと、
前記演算特性制御用データを用いて、パターンデータに対して所定の特徴検出を行う検出手段と、
前記検出手段からの出力を中間的に保持する中間結果保持メモリと、
前記検出手段に対して、処理階層レベルが最下層レベルであれば前記データ入力手段からのパターンデータを検出処理対象として供給し、該処理階層レベルが最下層レベルより上位であれば前記中間結果保持メモリからフィードバックされる中間結果を検出処理対象として供給するとともに、前記演算制御データ保持メモリから当該処理階層レベルに対応する演算特性制御用データを読み出して供給し、同一の前記検出手段が複数の処理階層レベルの検出処理を実行するように制御する制御手段と、
前記処理階層レベルが最上位の場合における前記検出手段による特徴検出結果と前記局所領域の走査位置とに基づいて、前記入力データ中のどの位置にいかなる特徴パターンが存在するかを判定する判定手段と
を有することを特徴とする階層処理装置。
前記検出手段はアナログ信号を出力し、前記中間結果保持メモリは所定の揮発性アナログメモリであることを特徴とする請求項１に記載の階層処理装置。
前記検出手段はアナログ信号を出力し、前記中間結果保持メモリは、所定の不揮発特性を有するアナログメモリであることを特徴とする請求項１に記載の階層処理装置。
前記演算特性を時系列的に更新する演算特性更新手段を有することを特徴とする請求項１に記載の階層処理装置。
前記検出手段は、前記データ中の各位置において所定の局所的特徴を抽出することを特徴とする請求項１に記載の階層処理装置。
前記検出手段は、複数の演算素子を並列に配列し、所定の結合手段により当該演算素子間を結合してなる並列処理手段であることを特徴とする請求項１に記載の階層処理装置。
前記中間結果保持メモリは、所定の強誘電体を構成要素として含むことを特徴とする請求項１に記載の階層処理装置。
前記検出手段からの出力信号を所定のデジタル信号に変換する変換手段を備え、前記中間結果保持メモリは当該所定のデジタル信号を記憶するデジタルメモリであることを特徴とする請求項１に記載の階層処理装置。
前記デジタルメモリは強誘電体メモリであることを特徴とする請求項８に記載の階層処理装置。
前記制御手段は、前記データ入力手段からの入力または前記中間結果保持メモリから読み出した中間結果と、前記演算制御データ保持メモリから読み出される演算特性制御用データとを、前記検出手段に同一のタイミングで供給するように制御することを特徴とする請求項１に記載の階層処理装置。
前記検出手段は、特徴検出層と特徴統合層とが交互にカスケード的にそれぞれ複数接続されていることを特徴とする請求項１に記載の階層処理装置。
前記制御手段は、入力された前記パターンデータについて、複数の異なるカテゴリ又はサイズに対応する特徴を検出するように、前記演算制御データ保持メモリから前記演算制御データを読み出し、前記検出手段の演算特性を制御することを特徴とする請求項１に記載の階層処理装置。
前記検出手段が、前記局所領域のパターンデータから所定の局所的特徴を検出するようにし、
検出された前記局所的特徴の種別に基づき前記データ入力手段における走査位置を更新する走査位置更新手段と、
異なる走査位置で検出された複数の局所的特徴を統合して前記局所的特徴より高次の特徴の有無を検出する統合処理手段とを備えたことを特徴とする請求項１に記載の階層処理装置。