JP4510237B2 - パターン検出装置及び方法、画像処理装置及び方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、パターン認識、特定被写体の検出等を行うパターン検出装置及び方法、画像処理装置及び方法に関するものである。
【０００２】
【従来の技術】
従来より、画像認識や音声認識の分野においては、特定の認識対象に特化した認識処理アルゴリズムをコンピュータソフトとして逐次演算して実行するタイプ、或いは専用並列画像処理プロセッサ（ＳＩＭＤ、ＭＩＭＤマシン等）により実行するタイプに大別される。
【０００３】
画像認識アルゴリズムにおいては、生体系処理とのアナロジーから、注視領域を選択的にシフト等しながら認識を行うことにより、認識処理に要する演算コスト（負荷）を軽減することが重要と考えられている。
【０００４】
例えば、特公平６―３４２３６号公報に係る階層型情報処理方法では、特徴抽出素子層と同一特徴に応じた特徴抽出素子からの出力に応じた出力を行う特徴統合層とを有する複数の階層間に、下位層から上位層に向かう複数の上向性信号経路に対応して上位層から下位層へ向かう下向性信号経路を設け、最上位層からの下向性信号に応じて上向性信号の伝達を制御することにより、自己想起型の連想能力と特定パターンの選択的抽出によるセグメンテーションを行うことにより、処理領域（認識のための注視領域）を設定している。
【０００５】
ＵＳＰ４８７６７３１では、上記のような上向性信号経路と下向性信号経路は出力層（最上位層）からの文脈的情報(ルールデータベース、確率的重み付け処理)に基づき制御されている。
【０００６】
特許２８５６７０２号公報では、認識を修正することを注視といい、正確な認識を行うためにパターンが特定できないときに各部分領域に対する注視度を選択する注視度判断部と、その選択された注視度を加味した認識をさせる注視度制御部とをパターン認識装置に具備させている。
【０００７】
KochとUllman(1985)が提案した選択的ルーティングによる注視領域の設定制御を行う方式(Human Neurobiology, vol.4, pp.219-227)は、特徴抽出と選択的マッピング機構による顕著度マップ抽出機構、いわゆるウイナー・テイク・オール(Winner-take-all)神経回路網(特開平5-242069号公報, US5049758号公報, US5059814号公報, US5146106号公報など参照)による注視位置の選択機構、そして選択位置での神経素子の抑制機構を具備して注視制御を行う。
【０００８】
ダイナミックルーティング回路網により対象中心のスケール、位置不変な表現を得て行う方法(Anderson, et al. 1995, Routing Networks in Visual Cortex, in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press, pp.823-826、Olhausen et al. 1995, A Multiscale Dynamic Routing Circuit for Forming Size- and Position-Invariant Object Representations, J. Computational Neuroscience, vol.2 pp.45-62.)では、動的に結合荷重を設定する機能を有する制御ニューロンを介した情報のルーティングを行うことにより、注視領域の制御、及び認識対象についての観察者中心での特徴表現から対象物中心の表現への変換を行う。
【０００９】
選択的チューニングによる方法(Culhane & Tsotsos, 1992, An Attentional Prototype for Early Vision. Proceedings of Second European Conference on Computer Vision ,(G.Sadini Ed.), Springer-Verlag, pp. 551-560.)では、最上位層でのＷＴＡ回路から下位層のＷＴＡ回路へと勝者のみを活性化させる機構により探索することにより、最上位層での全体的な勝者の位置を最下位層（入力データを直接受ける層）で決定する。注視制御において行う位置の選択と特徴の選択は、それぞれ対象の位置と無関係な結合の抑制及び対象に関与しない特徴を検出するような素子に対する抑制により実現される。
【００１０】
【発明が解決しようとする課題】
前述したような選択的注視を行う方法では、次のような問題があった。
【００１１】
まず、特公平６―３４２３６号公報に係る方法では、階層的神経回路構成において、上向性信号経路と対をなす下向性信号経路が存在することが前提となっているため、上向性信号経路に相当する神経回路と同程度の大きさの神経回路が下向性信号経路を形成する回路として必要となり、回路規模が非常に大きくなるという問題があった。
【００１２】
また、この方法では、注視位置を順次変更制御する機構が設けられていないため、ノイズその他の影響により、注視領域設定及び変更の際の動作の安定性に欠けるという問題があった。即ち、上向性経路の中間層の素子と下向性経路の中間層の素子間に、全ての階層にわたって相互作用が存在し、注視位置は、それら相互作用の全体を通じて最終的に決まるので、複数の同一カテゴリに属する対象が存在する場合に、注視点位置がそれら対象間を安定的に順次遷移するように制御されず、注視位置が特定の対象間(又はその近傍)だけで振動したりする問題があった。
【００１３】
更に、検出(認識)対象と同一カテゴリの対象が複数入力データ中に存在する場合に、同時に複数の対象に対する処理（実質的に注視になっていない処理）が発生したり、適切な注視位置の更新を行うためには、そのたびにネットワークパラメータの微妙な調整を行うことが必要となるという問題があった。
【００１４】
また、選択的ルーティングによる方式では、注視位置の制御においては、選択された領域を抑制する機構のみを有している為、注視点位置の効率的制御が容易でなく、注視点位置の制御が、特定対象或いは特定部位に偏ったりすることがあった。
【００１５】
また、ダイナミックルーティング回路網による方式では、シナプス結合荷重を動的に変更可能な多くの制御ニューロンを介して層間結合の再構成を行うため、回路構成が複雑となり、また、制御ニューロンの作用が下位層の特徴顕著度に基づくボトムアップな処理過程であったため、複数の同一カテゴリ対象が存在している場合の効率的な注視位置の制御が困難であった。
【００１６】
また、選択的チューニングによる方式では、選択された対象に関与しない結合を単に削ぎ落とすいわゆるpruningに似た選択を階層的にかつ動的に行うので、複数の対象が存在する場合には注視点位置の効率的制御が容易でないという問題があった。
【００１７】
更に、上記した従来方式に共通して以下の問題点があった。
【００１８】
まず、認識対象サイズの違いに対処できる機構を有していないので、異なるサイズの対象が同時に複数位置に存在する場合や、認識対象のサイズが異なる複数のシーンについて、そのシーン毎にネットワークパラメータのチューニングを行う必要があった。
【００１９】
また、複数の同一カテゴリに属する対象が入力データ中の複数の位置に存在するとき、それらの間を万遍なくかつ効率的に注視位置を遷移(更新)することができなかった。
【００２１】
【課題を解決するための手段】
上記課題を解決するために、本発明によれば、パターン検出装置に、パターンを入力する入力手段と、前記入力手段より入力されたパターンを所定の方法によりサンプリングして得られる各点に対応して、それぞれ複数の特徴を検出する複数個の特徴検出素子と、特徴顕著度を検出する顕著度検出素子と、前記素子間を結合し信号を伝達する結合手段とを備え、低次から高次までの特徴に関する複数の素子層を形成し、所定パターンの検出を行なう検出処理手段と、注視領域設定制御手段とを備え、前記結合手段は、高次の特徴に関する素子層からそれより低次の特徴に関する素子層への信号伝達を行うフィードバック結合手段を備え、前記注視領域設定制御手段は、前記特徴顕著度と前記フィードバック結合手段より得られる信号伝達量とに基づいて、低次の特徴データ又は入力データに関する注視領域の設定を制御することを特徴とする。
【００３２】
【発明の実施の形態】
＜第１の実施形態＞
以下、図面を用いて本発明の１実施形態を詳細に説明する。
【００３３】
全体構成概要
図１は、本実施形態のパターン検出・認識装置の全体構成図を示す図である。ここで、パターン情報はＷｈａｔ経路(図上段)とＷｈｅｒｅ経路(図下段)により処理される。Ｗｈａｔ経路は対象または幾何学的特徴などの認識(検出)に関与する情報を、Ｗｈｅｒｅ経路は対象または特徴の位置(配置)に関する情報を主として扱う。
【００３４】
Ｗｈａｔ経路はいわゆるConvolutionalネットワーク構造(LeCun, Y. and Bengio, Y., 1995, "Convolutional Networks for Images Speech, and Time Series" in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press, pp.255-258)を有している。但し、同経路内の層間結合は局所的に相互結合をなし得る点(後述)が、従来と異なる。Ｗｈａｔ経路の最終出力は認識結果、即ち認識された対象のカテゴリに相当する。また、Ｗｈｅｒｅ経路の最終出力は、認識結果に対応する場所を表す。
【００３５】
データ入力層101は、画像の検出認識などを行う場合は、ＣＭＯＳセンサー或いはＣＣＤ素子等の光電変換素子であり、音声の検出認識などを行う場合には音声入力センサーである。また、所定データ解析部の解析結果（例えば、主成分分析、ベクトル量子化など）から得られる高次元のデータを入力するものであってもよい。データ入力層101は、上記２経路に共通のデータ入力を行う。
【００３６】
なお、本実施形態において音声認識への適用の詳細は説明はしないが、以下の説明でいう選択的注視は、例えば特定帯域や音素のみ抽出処理すること、或いは独立成分分析などの手法により抽出される「特徴」のみを選択的に処理すること、或いは文脈に依存した特定話者の音声(特徴)を抽出して処理することなどに相当する。
【００３７】
以下、画像を入力する場合について説明する。Ｗｈａｔ経路には、特徴検出層102（(１,０）、(１,１)、…、(１,N)）と特徴統合層103（(２,０)、(２,１)、…、(２,N)）と、注視領域設定制御層108とがある。
【００３８】
最初の特徴検出層(１,０)は、Gabor wavelet変換その他による多重解像度処理により、画像パターンの局所的な低次の特徴（幾何学的特徴のほか色成分特徴を含んでもよい）を全画面の各位置(或いは、全画面にわたる所定のサンプリング点の各点)において同一箇所で複数のスケールレベル又は解像度で複数の特徴カテゴリの数だけ検出し、特徴量の種類（例えば、幾何学的特徴として所定方向の線分を抽出する場合にはその幾何学的構造である線分の傾き）に応じた受容野構造を有し、その程度に応じたパルス列を発生するニューロン素子から構成される。
【００３９】
注視領域設定制御層108は、後述する特徴統合層(2,0)からの特徴顕著度マップと上位層、例えば特徴位置検出層(3,k)からのフィードバック結合を後述するWhere経路を通じて受け、そのフィードバック信号に基づき注視領域の位置・サイズの設定及びそれらの更新等の制御を行う。その動作機構の詳細については後述する。
【００４０】
特徴検出層(1,k)は全体として、複数の解像度（又はスケールレベル）での処理チャネルを形成する。即ち、Gabor wavelet変換を特徴検出層（１,０）で行う場合を例にとると、図１２に示すように、スケールレベルが同一で方向選択性の異なるGaborフィルタカーネルを受容野構造に持つ特徴検出細胞のセットは、特徴検出層（１,０）において同一の処理チャネルを形成し、後続の層(1,１) においても、それら特徴検出細胞からの出力を受ける特徴検出細胞（より高次の特徴を検出する）は、当該処理チャネルと同一のチャネルに属する。更に後続の層（１,ｋ）(但しｋ＞１)においても、同様に（2,ｋ―１）層において同一チャネルを形成する複数の特徴統合細胞からの出力を受ける特徴検出細胞は、当該チャネルに属するように構成される。各処理チャネルは、同一スケールレベル（又は解像度）での処理が進行していくものであり、階層的並列処理により低次特徴から高次特徴までの検出及び認識を行う。
【００４１】
Ｗｈａｔ経路上の特徴統合層(２,０)は、所定の受容野構造(以下、受容野とは直前の層の出力素子との結合範囲を、受容野構造とはその結合荷重の分布を意味する)を有し、パルス列を発生するニューロン素子からなり、特徴検出層(１,０)からの同一受容野内の複数のニューロン素子出力の統合（局所平均化等によるサブサンプリング、及び異なるスケールレベルでの処理結果の結合処理などの演算）を行う。
【００４２】
また、特徴統合層内のニューロンの各受容野は同一層内のニューロン間で共通の構造を有している。各特徴検出層（１,１）、(１,２)、…、(１,N)）及び各特徴統合層（(２,１)、(２,２)、…、(２,N)）は、それぞれ学習により獲得した所定の受容野構造を持ち、上述した各層と同様に前者（(１,１)、…）は、各特徴検出モジュールにおいて複数の異なる特徴の検出を行い、後者（(２,１)、…）は、前段の特徴検出層からの複数特徴に関する検出結果の統合を行う。
【００４３】
但し、前者の特徴検出層は、同一チャネルに属する前段の特徴統合層の細胞素子出力を受けるように結合（配線）されている。特徴統合層は２種類の処理を行う。その第一であるサブサンプリングは、同一特徴カテゴリかつ同一スケールレベルの特徴検出細胞集団からの局所的な領域（当該特徴統合層ニューロンの局所受容野）からの出力についての平均化などを行うものであり、第二の処理である異なるスケールレベルでの処理結果の結合処理とは、同一特徴カテゴリかつ異なる複数のスケールレベルにわたる複数の特徴検出細胞集団の出力の線形結合（又は非線形結合）を行う。
【００４４】
また、Where経路には、特徴位置検出層（(３,０)、…、(３,ｋ)）があり、What経路上の所定の（全てである必要はない）特徴検出層からの入力を受け、低次、中次、高次特徴の位置の出力に関与するとともに、Where経路は上位の特徴統合層又は特徴検出層からのフィードバック結合(図１では(1,N)→(3,k)→注視領域設定制御層108)を形成する。
【００４５】
即ち、このフィードバック結合は、予め学習により、上位層で検出される高次特徴パターンを構成する特定の低次特徴に関する注視領域設定制御層108の注視制御ニューロン1801(図１８) への結合として形成されているものとする。この学習は、例えば上位層の特徴検出ニューロンと下位層の特徴検出ニューロンの所定時間幅内での同時発火により、結合が増強または形成され(他の結合は抑制または消滅され)るような自己組織化過程を伴うものである。
【００４６】
各特徴位置検出層107の出力は、対応する特徴検出層102出力の比較的高い解像度成分を保持する（図１において特徴検出層から特徴位置検出層への矢印は、いずれもこのことを模式的に示している）か、或いは特徴統合層出力を一時的に保持することにより、各特徴カテゴリについての顕著度マップを表す。ここにある層での顕著度マップとは、同程度の複雑さを有する複数の特徴カテゴリ（特徴要素）の検出レベル（又は入力データ上での存在確率）の空間的分布を表すものとする。なお、Where経路の特徴位置検出層での処理については後でも述べる。
【００４７】
各層間のニューロン間を結合する機構は、図２の（Ａ）に示すように、神経細胞の軸索または樹状突起に相当する信号伝達部203（配線または遅延線）、及びシナプス結合回路Ｓ202である。
【００４８】
図２の（Ａ）では、ある特徴検出（統合）細胞に対する受容野を形成する特徴統合(検出)細胞のニューロン群（n_i）からの出力（当該細胞から見ると入力）に関与する結合機構の構成を示している。信号伝達部として太線で示している部分は共通バスラインを構成し、この信号伝達ライン上に複数のニューロンからのパルス信号が時系列に並んで伝達される。出力先の細胞からの入力を受ける場合も同様の構成がとられる。この場合には、全く同じ構成において時間軸上で入力信号と出力信号とを分割して処理してもよいし、或いは入力用(樹状突起側)と出力用（軸索側）の２系統で図２(A)と同様の構成を与えて処理してもよい。
【００４９】
シナプス回路Ｓ202としては、層間結合（特徴検出層102上のニューロンと特徴統合層103上のニューロン間の結合であって、各層ごとにその後続の層及び前段の層への結合が存在しうる）に関与するものと、同一層内ニューロン間結合に関与するものとがある。後者は必要に応じて、主に、後述するペースメーカーニューロンと特徴検出または特徴統合ニューロンとの結合に用いられる。
【００５０】
いわゆる、興奮性結合はシナプス回路Ｓ202において、パルス信号の増幅を行い、抑制性結合は逆に減衰を与えるものである。パルス信号により情報の伝達を行う場合、増幅及び減衰は、パルス信号の振幅変調、パルス幅変調、位相変調、周波数変調のいずれによっても実現することができる。
【００５１】
本実施形態においては、シナプス結合回路Ｓ202は、主にパルスの位相変調素子として用い、信号の増幅は、特徴に固有な量としてのパルス到着時間の実質的な進み、減衰は実質的な遅れとして変換される。即ち、シナプス結合は後述するように出力先のニューロンでの特徴に固有な時間軸上の到着位置(位相)を与え、定性的には興奮性結合はある基準位相に対しての到着パルスの位相の進みを、抑制性結合では同様に遅れを与えるものである。
【００５２】
図２の（Ａ）において、各ニューロン素子n_jは、パルス信号（スパイクトレイン）を出力し、後述する様ないわゆるintegrate-and-fire型のニューロン素子を用いている。なお、図２の（C）に示すように、シナプス結合回路とニューロン素子とを、それぞれまとめて回路ブロックを構成してもよい。
【００５３】
図１のＷｈｅｒｅ経路内の各特徴位置検出層は、Ｗｈａｔ経路の特徴検出層等の出力を受けて、データ入力層上の位置関係を保持し粗くサンプリングされた格子点上の各点で、Ｗｈａｔ経路上の特徴抽出結果のうち認識に有用な成分（認識カテゴリのパターンから予め登録してあるもの）に対応するニューロンのみがフィルタリングなどにより応答する。
【００５４】
例えば、Ｗｈｅｒｅ経路内の最上位層では、認識対象のカテゴリに対応するニューロンが格子上に配列し、どの位置に該当する対象が存在するかを表現する。また、Ｗｈｅｒｅ経路内の中間層内のニューロンは、（Ｗｈｅｒｅ経路内の）上位層からのトップダウンの入力（又はＷｈａｔ経路上位層→Ｗｈｅｒｅ経路上位層→Ｗｈｅｒｅ経路中間層のルートによる入力）を受けて対応する認識対象の存在位置を中心として配置しうる特徴が検出された場合にのみに応答するように感度調整等が行われるようにすることができる。
【００５５】
検出された特徴間の位置関係（または位置情報）が保持される階層的特徴検出をＷｈｅｒｅ経路で行う際には、受容野構造が局所的（例えば、楕円形状）であってサイズが上位層ほど徐々に大きくなる（または、中間層から上位層にかけてはセンサー面上の１画素より大きいサイズであって一定である）ように構成すれば、特徴要素（図形要素、図形パターン）間の位置関係はセンサー面上での位置関係をある程度保存しつつ、各層において各特徴要素（図形要素）が検出されるようにすることができる。
【００５６】
なお、Ｗｈｅｒｅ経路の他の形態としては、階層的に上位層ほど受容野サイズが大きくなり、最上位層では検出された対称のカテゴリに対応するニューロンのうち、最大値を出力するものだけが発火するように構成された神経回路網でもよい。このような系では、データ入力層での配置関係（空間的位相）に関する情報を最上位層（及び中間の各層）においてもある程度保存するようになっている。
【００５７】
また、他のネットワーク構成として、図１７に示すネットワークの構成(図１とWhat経路については受容野サイズを除いて同じ)では、逆に特徴統合層は特徴カテゴリの空間配置関係を高次特徴まで保存するため、上位層でも受容野のサイズは一定レベル以下に保つようになっている。このため、特徴位置検出層を設定せずに特徴統合層より注視領域設定制御層108へのフィードバック結合を行っている。
【００５８】
ニューロン素子
次に各層を構成するニューロンについて説明する。各ニューロン素子はいわゆるintegrate-and-fireニューロンを基本として拡張モデル化したもので、入力信号（アクションポテンシャルに相当するパルス列）を時空間的に線形加算した結果が閾値を越したら発火し、パルス状信号を出力する点ではいわゆるintegrate-and-fireニューロンと同じである。
【００５９】
図２の（Ｂ）は、ニューロン素子としてのパルス発生回路（ＣＭＯＳ回路）の動作原理を表す基本構成の一例を示し、公知の回路(IEEE Trans. on Neural Networks Vol. 10, pp.540)を拡張したものである。ここでは、入力として興奮性と抑制性の入力を受けるものとして構成されている。
【００６０】
以下、回路の動作原理について説明する。興奮性入力側のキャパシタC₁及び抵抗Ｒ₁回路の時定数は、キャパシタＣ₂及び抵抗Ｒ₂回路の時定数より小さく、定常状態では、トランジスタT₁,T₂,T₃は遮断されている。なお、抵抗は実際には、能動負荷たるトランジスタで構成される。C₁の電位が増加し、C₂のそれよりトランジスタＴ₁の閾値だけ上回ると、Ｔ₁はアクティブになり、更にトランジスタＴ₂，Ｔ₃をアクティブにする。トランジスタＴ_2,Ｔ₃は、電流ミラー回路を構成し、図２の（Ｂ）の回路の出力は、不図示の出力回路によりキャパシタC₁側から出力される。キャパシタＣ₂の電荷蓄積量が最大となるとトランジスタＴ₁は遮断され、その結果としてトランジスタＴ₂及びＴ₃も遮断され、上記正のフィードバックは０となる様に構成されている。
【００６１】
いわゆる不応期にはキャパシタＣ₂は放電し、Ｃ₁の電位がＣ₂の電位よりＴ₁の閾値分より大とならない限り、ニューロンは応答しない。キャパシタC₁,C₂の交互充放電の繰り返しにより周期的なパルスが出力され、その周波数は一般的には興奮性入力のレベルに対応してきまる。但し、不応期が存在することにより、最大値で制限されるようにすることもできるし、一定周波数を出力するようにもできる。
【００６２】
キャパシタの電位、従って電荷蓄積量は基準電圧制御回路(時間窓重み関数発生回路)により、時間的に制御される。この制御特性を反映するのが、入力パルスに対する後述の時間窓内での重み付き加算である（図７参照）。この基準電圧制御回路は、後述するペースメーカニューロンからの入力タイミング（又は、後続層のニューロンとの相互結合入力）に基づき、基準電圧信号（図７の（Ｂ）の重み関数に相当）を発生する。
【００６３】
抑制性の入力は本実施形態においては必ずしも要しない場合があるが、後述するペースメーカニューロンから特徴検出層ニューロンへの入力を抑制性とすることにより、出力の発散（飽和）を防ぐことができる。
【００６４】
一般的に、入力信号の上記総和と出力レベル（パルス位相、パルス周波数、パルス幅など）の関係は、そのニューロンの感度特性によって変化し、また、その感度特性は上位層からのトップダウンの入力により変化させることができる。以下では、説明の便宜上、入力信号総和値に応じたパルス出力の周波数は急峻に立ち上がるように回路パラメータが設定されているものとし（従って周波数ドメインでは殆ど２値）、パルス位相変調により、出力レベル（位相変調を加えたタイミングなど）が変動するものとする。
【００６５】
また、パルス位相の変調手段としては、後述する図５に示すような回路を付加して用いてもよい。これにより、時間窓内の重み関数で上記基準電圧が制御される結果、このニューロンからのパルス出力の位相が変化し、この位相をニューロンの出力レベルとして用いることができる。
【００６６】
シナプス結合でパルス位相変調を受けたパルスについての時間的積分特性（受信感度特性）を与える図７の（Ｂ）に示すような重み関数の極大値に相当する時刻τ_w1は、一般的にシナプス結合で与えられる特徴に固有なパルスの到着予定時刻τ_s1より時間的に早く設定される。その結果、到着予定時刻より一定範囲で早く（図７(B)の例では、到着の早すぎるパルスは減衰される）到着するパルスは、それを受け取るニューロンでは、高い出力レベルを持ったパルス信号として時間的に積分される。重み関数の形状はガウシアン等の対称形に限らず、非対称形状であってもよい。なお、上述した趣旨より、図７の（Ｂ）の各重み関数の中心は、パルス到着予定時刻ではないことを注記しておく。
【００６７】
また、ニューロン出力（シナプス前）の位相は、後述するように時間窓の始期を基準とし、その基準時からの遅れ（位相）は基準パルス（ペースメーカ出力その他による）を受けた時の電荷蓄積量により決まるような出力特性を有する。このような出力特性を与える回路構成の詳細については、本発明の主眼とする所ではないので省略する。シナプス後のパルス位相は当該シナプスにより与えられる固有の位相変調量にシナプス前の位相を加算したものとなる。
【００６８】
なお、窓関数などを用いることにより得られる入力の総和値が閾値を越えたときに、所定タイミング遅れて発振出力を出すような公知の回路構成を用いてもよい。
【００６９】
ニューロン素子の構成としては、特徴検出層１０２または特徴統合層１０３に属するニューロンであって、後述するペースメーカニューロンの出力タイミングに基づき発火パターンが制御される場合には、ペースメーカニューロンからのパルス出力を受けた後、当該ニューロンが、前段の層の受容野から受ける入力レベル（上記の入力の単純または重み付き総和値）に応じた位相遅れをもって、パルス出力するような回路構成であればよい。この場合、ペースメーカニューロンからのパルス信号が入力される前では、入力レベルに応じて各ニューロンは互いにランダムな位相でパルス出力する過渡的な遷移状態が存在する。
【００７０】
また、後述するようにペースメーカニューロンを用いない場合には、ニューロン間（特徴検出層と特徴統合層の間）の相互結合とネットワークダイナミックスによりもたらされる同期発火信号を基準とし、上述したような入力レベルに応じた特徴検出ニューロンの出力パルスの発火タイミングの制御がなされるような回路構成であってもよい。
【００７１】
特徴検出層102のニューロンは、前述したように特徴カテゴリに応じた受容野構造を有し、前段の層（入力層101または特徴統合層103）のニューロンからの入力パルス信号（電流値または電位）の時間窓関数による荷重総和値（後述）が閾値以上となったとき、その総和値に応じて、例えばシグモイド関数等の一定レベルに漸近的に飽和するような非減少かつ非線形な関数、即ちいわゆるsquashing関数値をとるような出力レベル（ここでは位相変化で与えるが、周波数、振幅、パルス幅基準での変化となる構成でもよい）でパルス出力を行う。
【００７２】
特徴検出層 (1,0) での処理（ Gabor wavelet 変換等による低次特徴抽出）
特徴検出層(１,０)には、局所的な、ある大きさの領域で所定の空間周波数を持ち、方向成分が垂直であるようなパターンの構造（低次特徴）を検出するニューロンN1があるとすると、データ入力層101上においてニューロンN1の受容野内に該当する構造が存在すれば、そのコントラストに応じた位相でパルス出力する。このような機能はGabor filterにより実現することができる。以下、特徴検出層(１,０)の各ニューロンが行う特徴検出フィルタ機能について説明する。
【００７３】
特徴検出層(１,０)では、多重スケール、多重方向成分のフィルタセットで表されるGaborウエーブレット変換を行うものとし、層内の各ニューロン（または複数ニューロンからなる各グループ）は、所定の Gaborフィルタ機能を有する。
【００７４】
特徴検出層102では、スケールレベル（解像度）が一定で方向選択性の異なる複数のGabor関数の畳み込み演算カーネルに対応する受容野構造を有するニューロンからなる複数のニューロン集団を一まとめにして一つのチャネルを形成する。その際、図１３に示すように、同一チャネルを形成するニューロン群は方向選択性が異なり、サイズ選択性が同一のニューロン群どうしを互いに近接した位置に配置してもよいし、図１２のように同一の特徴カテゴリに属し、異なる処理チャネルに属するニューロン群どうしが互いに近接配置されるようにしてもよい。
【００７５】
これは、集団的符号化における後述する結合処理の都合上、上記各図に示すような配置構成にした方が、回路構成上実現しやすいことによる。図１２、１３の回路構成の詳細についても後で説明する。
【００７６】
なお、Gabor wavelet変換を神経回路網で行う方法の詳細については、Daugman (1988)による文献（IEEE Trans. on Acoustics, Speech, and Signal Processing, vol.36, pp.1169-1179）を参照されたい。
【００７７】
Gaborウエーブレットは、以下の式（１）で与えられるように、一定の方向成分と空間周波数とを有する正弦波をガウシアン関数で変調した形状を有し、スケーリングレベルのインデックスmと方向成分のインデックスｎで特定される。ウエーブレットとしてこのフィルタのセットは互いに相似の関数形状を有し、また主方向と大きさが互いに異なる。このウエーブレットは空間周波数ドメインと実空間ドメインで関数形が局在していること、位置と空間周波数に関する同時不確定性が最小となり、実空間でも周波数空間でも最も局在した関数であることが知られている（J,G.Daugman (1985), Uncertainty relation for resolution in space, spatial frequency, and orientation optimized by two-dimensional visual cortical filters, Journal of Optical Society of America A, vol.2, pp. 1160-1169）。
【００７８】
【外１】

【００７９】
ここで、(x,y)が画像中の位置、aはスケーリングファクター、θ_nはフィルタの方向成分を表し、Wは基本空間周波数、σ_x, σ_yはフィルタ関数のｘ方向、ｙ方向の広がりの大きさを与えるパラメータである。本実施形態ではθ_nは６方向で０度、３０度、６０度、９０度、１２０度、１５０度の値をとり、aは２とし、mは１から３までの値をとる整数として与える。
【００８０】
フィルタの特性を定めるパラメータσ_x, σ_y、および、aはフーリエドメインで互いに適切に均質に重なり合うことにより、特定の空間周波数及び方向への偏り(感度)がないように設定されるのが望ましい。そのために例えば、フーリエ変換後の振幅最大値に対する半値レベルがフーリエドメインで互いに接するように設計すると、
【００８１】
【外２】

となる。ここに、U_H, U_Lはウエーブレット変換でカバーする空間周波数帯域の最大値、最小値であり、Mはその範囲でのスケーリングレベル数を与える。
【００８２】
また、式（１）で与えられる特徴検出細胞の受容野の構造は、σ_x, σ_yで決まる所定の幅のスケール選択性及び方向選択性を有する。即ち、式（１）のフーリエ変換はガウシアン関数形状となるので、特定の空間周波数及び方向にピークチューニング（感度）特性を与える。Gaborフィルタカーネルのサイズ(広がり)はスケールインデックスｍに応じて変わるので、異なるスケールインデックスを有する Gaborフィルタは、異なるサイズ選択性を有する。後述する集団的符号化においては、主にサイズ選択性に関して感度特性が互いに重なり合う複数の特徴検出細胞からの出力を統合する。
【００８３】
各フィルタg_mn(x,y)と入力濃淡画像との２次元畳み込み演算を行うことによりGaborウエーブレット変換が行われる。即ち、
【００８４】
【外３】

【００８５】
ここにIは入力画像、W_mnはGaborウエーブレット変換係数である。W_mn (m=1,2,3; n=1,..., 6)のセットを特徴ベクトルとして各点で求める。'^*'は複素共役をとることを示す。
【００８６】
特徴検出層(１,０)の各ニューロンは、g_mnに対応する受容野構造を有する。同じスケールインデックスｍを有するg_mnは同じサイズの受容野を有し、演算上は対応するカーネルg_mnサイズもスケールインデックスに応じた大きさを有するようにしてある。ここでは、最も粗いスケールから順に入力画像上の３０×３０、１５×１５、７×７のサイズとした。
【００８７】
各ニューロンは、分布重み係数と画像データとの積和入力を行って得られるウエーブレット変換係数値の非線型squashing関数となる出力レベル（ここでは位相基準とする；但し、周波数、振幅、パルス幅基準となる構成でもよい）でパルス出力を行う。この結果、この層（１,０）全体の出力として、式（４）のGabor
wavelet変換が行われたことになる。
【００８８】
特徴検出層での処理（中次、高次特徴抽出）
一方、後続の特徴検出層（(１,１）、(１,２)、…、(１,Ｎ)）の各ニューロンは、上記特徴検出層(1,0)とは異なり、認識対象のパターンに固有の特徴を検出する受容野構造をいわゆるHebb学習則等により形成する。後の層ほど特徴検出を行う局所的な領域のサイズが認識対象全体のサイズに段階的に近くなり、幾何学的には中次または高次の特徴を検出する。
【００８９】
例えば、顔の検出認識を行う場合には中次（または高次）の特徴とは顔を構成する目、鼻、口等の図形要素のレベルでの特徴を表す。異なる処理チャネル間では、同じ階層レベル(検出される特徴の複雑さが同レベル)であれば、検出される特徴の違いは、同一カテゴリであるが、互いに異なるスケールで検出されたものであることにある。例えば、中次の特徴としての「目」は異なる処理チャネルでは、サイズの異なる「目」として検出を行う。即ち、画像中の与えられたサイズの「目」に対してスケールレベル選択性の異なる複数の処理チャネルにおいて検出が試みられる。
【００９０】
なお、特徴検出層ニューロンは一般的に(低次、高次特徴抽出に依らず)、出力の安定化のために抑制性(分流型抑制：shunting inhibition)の結合を前段の層出力に基づいて受けるような機構を有してもよい。
【００９１】
選択的注視処理
注視領域設定制御層108の構成及び動作について、以下に説明する。同層で設定される注視領域のサイズは、初期状態では、予め設定される前述した複数のスケールレベルのうち最大サイズの処理チャネルについて画面全体とする。
【００９２】
具体的には、図１８に示すように、注視領域制御層には入力データの所定の複数位置（特徴検出が行われる位置）に対応する注視制御ニューロン1801が配列される。図１８において楕円で示してある領域は、設定された注視点、及び対応する各層上の領域(説明の便宜上、各層に付き一つだけ図示しているが、一般的には、複数の特徴カテゴリで検出されるので各層で複数の対応領域が存在しうる；当該領域のサイズは各層の受容野サイズと同程度)を模式的に表す。
【００９３】
図１８において、特徴検出層から特徴位置検出層へ向かう太い矢印は、特徴位置検出層の各ニューロンが、該当する特徴検出層ニューロンの出力を受けることを模式的に示す。各特徴位置検出層ニューロンは、一般的に特徴統合層ニューロンよりもサイズの小さい受容野を有し、特徴統合層と同様にサブサンプリングを行うことにより、特徴統合よりも各特徴カテゴリ間の空間的配置情報をより良く保持することができる。
【００９４】
各注視制御ニューロン1801には、上位の特徴位置検出層(3,2)または(3,1)からのWhere経路からのフィードバック結合、または図１７のような場合、特徴統合層(2,2)における当該注視制御ニューロンに対応する位置についてのニューロンからのフィードバック結合を介して入力される。また、注視制御ニューロンは並行して特徴統合層(2,0)からの出力を受けてもよい。これら２〜３種類の入力の所定の重み付けによる線形加算(または非線形加算）、或いは、何れか一方からの入力に基づく注視領域の選択制御過程（後述）の結果、選択された特定の注視制御ニューロンが活性化し、注視領域が決定される。
【００９５】
注視領域の位置は、主に最上位の特徴統合層(2,N)又は最上位の特徴位置検出層(3,M)で検出される最大レベルの対象の位置情報をフィードバック入力して設定される。前者の場合(即ち、図１７の構成)では、位置情報が特徴統合層で保持される場合に限られる。注視位置の選択方法としては、主に以下の３通りがある。
（１）上位層からのフィードバック量(或いは、複数上位層からのフィードバック量の総和)と特徴検出層出力（低次特徴の顕著度）の線形和（非線形和）が最大の注視制御ニューロンが注視点位置を与える。
（２）低次の特徴顕著度マップ最大(極大)値を受けるような注視制御ニューロンが注視点位置を与える。
（３）上位層からのフィードバック量（複数のフィードバック経路が特定注視制御ニューロンにある場合にはその総和）が最大(極大)となる注視制御ニューロンが注視点位置を与える。
【００９６】
ここで、フィードバック量とは、特定処理チャネルかつ特定特徴カテゴリについての上位層の特徴位置検出層（又は特徴統合層）ニューロンの出力レベル(またはそれに比例する量)を指す。本発明では、（１）または（３）の場合に相当する。なお、上記（２）は公知の方法であり、前述のような欠点がある。このように、注視位置は上位層からのフィードバック量が何らかの寄与をすることにより決定される結果、物体認識の過程は、下位層から上位層への信号処理によるボトムアップ過程と上位層から下位層へのトップダウン過程による上位層ニューロンと下位層ニューロン間の協調作用によりもたらされる注視領域の設定（注視制御ニューロンの活性化）が実現されて初めてスタートする。
【００９７】
このため、初期の過程（初めにボトムアップ過程で上位層ニューロンが信号を出力するまでの過程）では、いわゆる「認識・検出」された状態に達せず（この段階では、上位層では高次特徴に関するいわゆる顕著度マップが出力された潜在化状態）、トップダウン過程が関与することにより注視制御信号が発生した結果に基づいて再びボトムアップ過程を経て上位層の高次特徴の検出・統合ニューロンが出力した時点（この段階では、上位層において出力レベルの高いニューロンが局在化し、まばらに存在する顕在化状態）で一通りの認識・検出に関する動作が完結する。なお、上位層とは必ずしも図１または図１７の(2,N)層、或いは図１の(3,k)層に限定されず、それらより下位の中間層または不図示の更に上位の層でもよい。
【００９８】
注視制御ニューロン1801の数は、必ずしも特徴統合層(2,0)上のニューロン数（即ち、特徴検出を行う位置の数N_F0）と一致しなくてよく、例えば、最上位の特徴位置検出層のニューロン数（N_Fp）と同じであってもよい。前提条件として、N_Fp ＜ N_F0の場合、注視制御を行うためのサンプリング点数は、低次の特徴検出位置の数より少なくなるが、検出対象のサイズの下限値がνＳ₀（ここに、０＜ν＜１、Ｓ₀は画面の全面積）とすると、N_Fp<<νN_F0でなければ、実用上は殆ど問題とならない。なお、注視制御ニューロンが受ける低次の特徴顕著度マップは、特徴検出層(例えば、(1,0)層)からの出力でもよい。
【００９９】
一方、注視位置の更新により設定される注視領域のサイズは、当該注視制御ニューロン1801に対して最大のフィードバック量を与える最上位層ニューロンが属する（或いは注視制御ニューロンに対応する特徴統合層ニューロンが属するチャネルでも同じ）処理チャネル(上述した（３）の場合)、または上位層からの入力と低次特徴顕著度との線形和が最大(極大)となる注視制御ニューロンに対応する特徴統合層ニューロンの属する処理チャネルによって決まる、予め設定された大きさを有する。本実施形態では、注視領域のサイズは前述した特徴統合層(2,0)の当該処理チャネルに属するGabor フィルタのカーネルサイズとする。
【０１００】
注視領域設定制御層の具体的構成としては、注視制御ニューロン1801に加えて、前述した図１２または１３に示すようなチャネル処理構造において、図１６のゲーティング回路の様な構成、及び以下に示す図１９の注視位置更新制御回路1901を導入したものが考えられる。
【０１０１】
このゲーティング回路は、低次特徴のマスキング(特定の部分領域のデータのみ上位層に伝播させること)に用い、かつ同ゲーティング回路は特徴統合層(2,0)からの出力のうち、選択された特定チャネル内で注視すべき領域を選択的に抽出して、後続のチャネルに信号伝播させる機能を有する。このようにして、特定チャネルかつ入力データ上の特定領域からの低次特徴信号のみを伝播させることにより、注視領域の設定を行うことができる。
【０１０２】
他の構成としては、ある注視制御ニューロンが（例えば、上位層からのフィードバック信号により）選択され、活性化されることにより、該当する位置の特徴統合層（２，０）ニューロンへシナプスを介して発火促進のパルスが伝達され、その結果、当該特徴統合層ニューロンがＯＮ状態（発火可能状態：ペースメーカニューロンなどの出力を受信可能な状態、即ち、過渡的遷移状態、または当該遷移状態が許容される状態）となるようなものでもよい。
【０１０３】
注視領域設定制御層108、特徴統合層(2,0)、及び特徴検出層(1,1)の間の信号伝播経路の例を図２０、２１に示す。図２０、２１では共に、いわゆるデジタル回路の共通バスと共に設定され、スイッチ機能を有するゲート回路2001およびそのスイッチ機能のＯＮ/ＯＦＦを高速制御するスイッチ信号制御回路2002が用いられている。また、図２０では、注視制御ニューロン1801は、特徴統合層(2,0)の複数ニューロン、即ち、注視位置に相当する特徴統合層上のニューロン(以下、「注視中心ニューロン」と称する)を中心とする領域109に属するニューロン（当該領域サイズは統合層上の注視中心ニューロンが属する処理チャネルに固有である）処理チャネルに固有の所定サイズ領域内のニューロンとの結合をなす。
【０１０４】
図２０の構成では、注視制御ニューロン1801から特徴統合層への結合を有し、注視位置はWhere経路上の特徴位置検出層からのフィードバック量のみに基づいて制御される（その変形構成として注視制御ニューロンと特徴統合層ニューロンとは相互結合をなし、注視位置は上記フィードバック量と特徴統合層出力に基づいて制御される構成でもよい）。一方、図２１の構成では、注視制御ニューロン1801は図１６のゲーティング回路に相当するゲーティング層2101への同様な結合を有し、特徴統合層(2,0)から特徴検出層(1,1)へ向かう出力はゲーティング層2101を介してなされる。
【０１０５】
図２０に示す構成では、設定された注視位置の特徴統合層ニューロンを中心とする処理チャネルに固有サイズの領域（一般的に円形または矩形の領域）が活性化して、その領域に対応する特徴統合層(2,0)の出力が特徴検出層(1,1)に伝播する。一方、図２１に示す構成では、ゲーティング層のうち設定された注視位置を中心とする処理チャネルに固有サイズの領域のゲートだけがオープンし、その領域に対応する特徴統合層(2,0)の出力が特徴検出層(1,1)に伝播する。
【０１０６】
このゲーティング層はＦＰＧＡ等により構成され、注視制御ニューロンの各位置に対応して存在する論理回路の全体が、特徴統合層(2,0)と特徴検出層(1,1)との間に存在する一般的なゲーティング回路に相当し、注視制御ニューロンが活性化することにより、ゲーティング層の対応する位置にある論理回路ユニットだけがＯＮ状態となり、信号が後続層に伝達される。
【０１０７】
設定される注視領域のサイズは、既に説明したように上述の活性化した注視制御ニューロンに対応する特徴統合層ニューロンの属する処理チャネルに応じて決まる。例えば、対応する特徴統合層ニューロンが図１２または１３の処理チャネル１に属するとすると、予め決められたサイズのうち最大のものとなる。
【０１０８】
次に、注視位置の更新制御の機構について説明する。上述した注視制御機構の（３）の場合では、最初に設定した後の注視点位置は、基本的には最新の注視位置の一定範囲内の近傍領域での上位層から各注視制御ニューロンが受けるフィードバック量の大きさ（フィードバック量の最大値の次の大きさから）の順に更新される。また、上述した注視制御機構（１）の場合には、以下に示すような評価値Ｇ_fの値の順に位置が更新される。
【０１０９】
Ｇ_f＝η₁S_f＋η₂S_FB,f （5）
【０１１０】
ここに、G_fは特徴fに関する評価値であって、S_fは下位の特徴統合層からの特徴ｆに関する顕著度、S_FB,fは最上位層または中間の特徴検出層で検出された特徴ｆに関する注視制御ニューロン1801へのフィードバック量、η₁、η₂は正の定数を示す。η₁、η₂は、認識または検出の課題の性質、例えば、類似対象間の識別など詳細な特徴比較を行う場合や、人物の顔などの特定カテゴリに属する対象検出を行う平均的な(概略的な)特徴比較を行う場合などに応じて適応的に変化させることができる。
【０１１１】
具体的には、前者の課題では、η₁に対するη₂の比率を小さくし、逆に後者の場合には大きくする。この様なη₁、η₂の制御は、注視制御ニューロンへの対応するシナプス結合を変化させることにより行われる。
【０１１２】
図２２は、注視制御ニューロンのシナプスに付随するη₁、η₂の制御を行う場合の注視制御ニューロン1801と注視制御ニューロンへの入力配分制御回路2202を中心とした構成例を示す。
【０１１３】
ここに、入力配分制御回路2202は、下位層からの低次特徴の顕著度マップ信号の入力の検知レベルの変調に関与するシナプス2201と上位層からのフィードバック信号の検知レベルの変調に関与するシナプス2201の双方に結合し、外部からの制御信号(例えば、図１には図示していない更に上位の層から課題に関する信号として対象の検出モードか詳細識別モードかなどを示す信号)に応じてη₁、η₂値に相当するシナプスでの位相遅延量制御などを行う。
【０１１４】
近傍領域のサイズは、入力データ上の注視領域サイズと同程度（例えば、その１０倍を越えない値）とする。近傍領域での探索に限定したのは、処理の高速性を保つためであり、処理速度が著しく劣化しなければ、画面全体を探索範囲としてもよい。
【０１１５】
次に、注視位置の逐次更新制御を行う注視位置更新制御回路1901について説明する。この回路は、図１９に示すように、最新の注視位置に対応する注視制御ニューロン1801へのフィードバック量の一次記憶部1902、近傍領域内の各フィードバック量入力部1903、近傍領域内での最新の注視位置フィードバック量に次ぐ(次候補)フィードバック量の検出を行い、当該フィードバックを受ける注視制御ニューロンを検出して活性化させる更新位置決定部1904等から構成される。
【０１１６】
更新位置決定手段1904は、上記一次記憶部1902と近傍領域内フィードバック入力部1903からの入力を受け、最新の注視制御ニューロンでのフィードバック量とその近傍領域内でのフィードバック量との比較部1907、後述する２次フィードバック用信号増幅部1906、及び次候補フィードバック量検出部1905とを有し、次候補フィードバック量検出部1905で最新のフィードバック量に準じるフィードバック量を検出すると、２次フィードバック用信号増幅部1906からそれに対応する注視制御ニューロンに対してパルス出力を行う。
【０１１７】
最新のフィードバック量に準じるとは、具体的には、近傍領域内でランダムにフィードバック量を入力し、前述した方法で２つのフィードバック量を比較した結果、その差が一定基準(閾値)範囲内、または最新フィードバック量より比較対象のフィードバック量の方が大きいこと(探索範囲が更新されればありえる)を指し、これを検出することにより次の更新位置の検出が実効的に行われる。
【０１１８】
次に、図２０、２１に模式的に示す構成において、注視制御ニューロン1801と注視位置更新制御回路1901との信号の伝達について説明する。後述するように特定の注視制御ニューロン1801と注視位置更新制御回路1901とは一時的に相互結合をなし、前述した方法により選択された更新位置に該当する注視制御ニューロンは、更新位置決定部1904からの２次フィードバック入力（上位層から注視制御ニューロンへのフィードバック量に比例した信号レベルを有するフィードバック信号）を受けて活性化する（その結果、当該ニューロンに固有の注視領域が開かれることにより、入力データ上の該当する領域のデータに相当する信号のみが後続層に伝達される）。
【０１１９】
上記の一時的な相互結合とは、ある時刻で活性化している(即ち、後続層への信号伝達制御が行われる)注視制御ニューロンに対応して存在する近傍領域上の他の特定の注視制御ニューロンとの結合（信号の伝播）を局所共通バスを通じて一時的に行うことである。具体的には、近傍領域内の他の注視制御ニューロンのうち、一定時間範囲(例えば、十数ミリ秒オーダー)内で一つのニューロン(ランダムな位置にある)だけが自発的に発火出力し、そのスパイクパルスが共通バスを通って活性化している注視制御ニューロンに到達する結果、当該時間範囲内だけ、既に活性化している注視位置更新制御回路1901とのコミュニケーションチャネルが確立するものとする。
【０１２０】
このために、例えば近傍領域内にある最新の注視制御ニューロン以外の他のニューロンが発火状態になったときだけ共通バスへのアクセスを得るようにする。具体的には、その発火状態にあるニューロンからのパルス信号が共通バスと結合する配線上を伝播することにより、一時的にその配線の抵抗が低くなるような可変抵抗アレイとその制御回路を使用する(不図示)か、或いは各注視制御ニューロンと共通バスとの間に図２０、２１に模式的に示すゲート回路2001(スイッチ回路)とスイッチ信号制御回路2002とを設定し、注視制御ニューロンからの発火パルス信号をトリガーとして、スイッチ信号制御回路2002がゲート回路の一つ（図２０、２１の2001のｃ）にスイッチＯＮ信号を送り、一時的にチャネルオープン(共通バスへの接続をＯＮ状態)にするなどの構成が取られる。
【０１２１】
次候補の注視位置が選択された後、２次フィードバック信号は増幅手段８４により、注視制御ニューロンへの上位層からのフィードバック信号が所定の増幅（位相変調の場合、パルス位相の進行などによる）を受けて注視制御ニューロンに戻される。
【０１２２】
ここで、同時刻に活性化される注視制御ニューロン（従って注視領域）の数は一つの特徴カテゴリにつき一つに限られる。このために、ある時刻で活性化していた注視制御ニューロンから異なる注視制御ニューロンに活性化状態が遷移する際、元の活性化ニューロンは活動が一定時間抑制されるものとする。これは、（最近傍の）注視制御ニューロンどうしが抑制性結合を形成することにより実現される(図２０、２１の注視制御ニューロン1801から出ている点線は抑制性結合を表す)。
【０１２３】
なお、以上において注視制御に関わるフィードバック量の範囲には、予め設定された下限値があり、その下限値に対応する注視位置に制御が移った後は、再び最初の注視点位置に設定がなされるものとする。
【０１２４】
上位層からのフィードバック信号を用いて注視領域を注視制御層により直接更新制御する上述したような機構により、次のような従来にない効果がもたらされる。
【０１２５】
低次の特徴に関する顕著度マップのみを用いて注視領域制御を行う場合と比べて、効率的(従って高速)な探索を行うことができ、また、注視領域が２つの特徴パターン間を振動しつづけるような無意味な視覚探索を回避することができる。
【０１２６】
注視すべき対象において、その中の特に注視すべき特徴的な部分やパターン(例えば、顔などの場合目など)だけを選択的にかつ効率的に探索することができる。この場合には、必ずしも最上位層からのフィードバックを用いるのではなく対象中の特徴的な部位の検出に関与するような中間層からのフィードバックを用いてもよい。
【０１２７】
最新の注視位置の近傍領域で次の更新位置を探索することにより、高速に注視位置更新制御を行う事ができる。
【０１２８】
複数の同一カテゴリに属する対象が存在する場合でも、探索範囲とする近傍領域のサイズを適切にとることにより、注視点位置の遷移の範囲が特定対象に固定されることなく、それら対象間を安定的に順次遷移するような制御が可能である。
【０１２９】
特徴統合層での処理
特徴統合層（(２,０)、(２,１)、…）のニューロンについて説明する。図１に示すごとく特徴検出層（例えば(１,０)）から特徴統合層(例えば(２,０))への結合は、当該特徴統合ニューロンの受容野内にある前段の特徴検出層の同一特徴要素（タイプ）のニューロンから興奮性結合の入力を受けるように構成され、統合層のニューロンは前述したごとく、各特徴カテゴリごとの局所平均化（特徴検出ニューロンの受容野を形成するニューロンからの入力の平均値算出、代表値算出、最大値算出等）などによるサブサンプリングを行うもの（サブサンプリングニューロン）と、異なるスケール(処理チャネル)にまたがって、同一カテゴリの特徴に関する出力の結合を行うもの（集団的符号化ニューロン）とがある。
【０１３０】
前者によれば、複数の同一種類の特徴のパルスを入力し、それらを局所的な領域（受容野）で統合して平均化する（或いは、受容野内での最大値等の代表値を算出する）ことにより、その特徴の位置のゆらぎ、変形に対しても確実に検出することができる。このため、特徴統合層ニューロンの受容野構造は、特徴カテゴリによらず一様（例えば、いずれも所定サイズの矩形領域であって、かつ感度または重み係数がその中で一様分布するなど）となるように構成してよい。
【０１３１】
スケールレベルに関する集団的符号化処理
後者の集団的符号化(population coding)のメカニズムについて詳しく説明する。集団的符号化ニューロンでは、同一の階層レベル（図形特徴の複雑さが同程度）にあるが、異なる処理チャネルに属し、同一の特徴統合層内にある複数のサブサンプリングニューロンからの出力の正規化線形結合をとることにより統合する。例えば、Gabor wavelet変換を行う特徴検出層(1,0)の出力を受ける特徴統合層(2,0)においては、異なる処理チャネルに属し、方向選択性の等しいGaborフィルタのセット{g_mn}(n一定、m=1,2,…)に対応する出力を線形結合などにより統合する。具体的には、p_ij(t)を方向成分選択性がiでスケール選択性がjとなるようなサブサンプリングニューロンの出力、q_ij(t)を同様の選択性を有する集団的符号(population code)とすると、サブサンプリングニューロンの正規化出力の線形結合を表す式（６）、及びその正規化方法を表す式（７）の様に表される。なお、式（６）、（７）は、説明の便宜上サブサンプリングニューロンと集団的符号化ニューロンの出力状態遷移を離散時間遷移として表している。
【０１３２】
【外４】

【０１３３】
ここに、w_ij,abは複数の異なる選択性（感度特性）を有するニューロン（またはニューロン集団）からの（特徴カテゴリ、即ち方向成分選択性のインデックスがa、スケールレベル選択性のインデックスがbのサブサンプリングニューロン出力から方向成分選択性のインデックスがi、スケールレベル選択性のインデックスがjの集団的符号化ニューロンへの）寄与を表す結合係数である。
【０１３４】
w_ij,abは、方向成分インデックスi、スケールレベルインデックスjを中心とするフィルタ機能(選択性)を示し、典型的には|i-a|と|j-b|の関数形状(w_ij,ab=f(|i-a|,|j-b|))となる。後述するように、このw_ij,abを介した線形結合による集団的符号化は他の選択性を有するニューロンの検出レベルを考慮した上でq_ijが特徴カテゴリ（方向成分）およびスケールレベルに関する存在確率を与えるようにすることを目的とする。
【０１３５】
Ｃは正規化定数、λ、βは定数である(典型的にはβは１ないし２)。Cはある特徴カテゴリに対する集団的符号の総和が殆どゼロでもp_ijが発散しないようにするための定数である。なお、システム起動時の初期状態ではq_ij(0) = p_ij(0)とする。図１２に対応して式(６)、(７)ではスケールレベル選択性インデックスのみについての加算を行っている。その結果、集団的符号化ニューロンは、同一特徴カテゴリで異なるスケールレベル（処理チャネル）に属する各特徴についての存在確率（に比例する量）を出力することになる。
【０１３６】
一方、図１３の場合のように一般的には方向成分選択性インデックスについての加算も更に行うことにより、予め設定された数の方向成分の中間レベルについても集団的符号化を行う系を組み立てることができる。この場合、パラメータ（式（８）、（９）のβ、及びｗ_{ｉｊ，ｌｋ}）を適切に設定することにより、図１３に示す構成では、各集団的符号化ニューロンは、各スケールレベルと各特徴カテゴリについての特徴の存在確率（に比例する量）を出力することができる。
【０１３７】
式（６）に示すごとく、集団的符号q_ij(t)は、異なる感度特性を有するニューロンの出力に関する正規化された線形結合により得られる。定常状態に達したq_ij(t)は、適切に正規化(例えば、q_ijに関する総和値で正規化)して値が０から１の間になるようにすると、q_ijは方向成分がiとスケールレベルがjに相当する確率を与えることになる。従って、入力データ中の対象のサイズに対応するスケールレベルを明示的に値として求めるには、q_ijをフィッティングする曲線を求めて最大値を推定し、これに対応するスケールレベルを求めればよい。このようにして求まるスケールレベルは、一般的には予め設定したスケールレベルの中間的な値を示す。
【０１３８】
図２３はスケールレベルの集団的符号化の例を示し、横軸はスケールレベル、縦軸は細胞出力を表す。出力とは、パルス位相に相当し、特定のスケールにピーク感度を有するニューロンは、そのスケールからずれたサイズを有する特徴に対しては、特定スケールに対応するサイズの特徴と比べて出力レベルの低下、即ち、位相遅れが生じることになる。同図には、各特徴検出細胞のスケール選択性に関する感度曲線（いわゆるチューニング曲線）と各細胞出力、及びそれらを統合して得られる集団的符号統合出力(各細胞出力のスケールレベルに関するモーメント、即ち線形和)を示す。集団的符号の統合出力の横軸上の位置は、認識対象に関するスケール(サイズ)の推定値を反映している。
【０１３９】
本実施形態では、実際にはスケールレベルを明示的には求めず、特徴統合層から特徴検出層への出力はq_ijとする(正規化したq_ijでもよい)。即ち、図１２、１３のいずれも、特徴統合層から特徴検出層への出力は、サブサンプリングニューロンからの出力ではなく、集団的符号化ニューロンの出力とすることにより、最終的には、上記した正規化後のq_ijのように、複数スケールレベル（解像度）にまたがった特定対象の検出確率として集団的に表される。
【０１４０】
図１２に示す特徴統合層の回路構成では、先ず、サブサンプリングニューロン回路1201で前段の特徴検出層ニューロン出力のうち、各特徴カテゴリとサイズ選択性が同一のニューロン出力を、当該サブサンプリングニューロンの局所受容野で受け、局所的な平均化を行う。各サブサンプリングニューロン出力は、結合処理回路1203に送られる。このとき、後述するように各ニューロンからのパルス信号は、不図示のシナプス回路により、所定位相量（例えば、式（７）のβが２のとき、特徴検出ニューロンの出力レベル相当の２乗に比例する量）だけ遅延を受け、局所的な共通バスを介して伝播される。ただし、ニューロン間の配線には、共通バスを用いず物理的に独立配線してもよい。
【０１４１】
結合処理回路1203では、式（６）、（７）に相当する処理を行い、特徴カテゴリが同じだが、サイズ選択性の異なる（複数処理チャネルにまたがる）情報の集団的符号化を行う。
【０１４２】
また、図１２では特徴カテゴリ（方向成分選択性）が同一のサブサンプリングニューロン出力について集団的符号化を行ったのに対し、図１３に示す回路構成では、特徴カテゴリおよびサイズ選択性の全体にわたって行う結合処理回路で、式（８）、（９）に示すような処理を行う。
【０１４３】
【外５】

【０１４４】
一方、（2,0）層内の各チャネルごとのP_aに応じた信号増幅/減衰（パルス位相の前進/遅延）を、各集団的符号化ニューロンからの出力に対して行うような、チャネル活性度制御回路を設定することができる。図１５に、この様なチャネル活性度制御回路1502を設定した構成の模式図を示す。このチャネル活性度制御回路は、図１２、１３の集団的符号化ニューロン1202と次層である特徴検出層との間に設定される。
【０１４５】
最終層では、複数チャネルにわたって、高次特徴としての認識対象の存在確率が、ニューロンの活動レベル(即ち、発火周波数や発火スパイクの位相など)として表現される。Where処理経路(或いは最終層で検出・認識対象の位置情報も検出される場合)では、最終層で入力データ中の位置（場所）に応じた対象の存在確率（閾値処理すれば、対象の有無）が、各ニューロンの活動レベルとして検出される。集団的符号化は、正規化を行わない線形結合によって求めてもよいが、ノイズの影響を受けやすくなる可能性があり、正規化することが望ましい。
【０１４６】
式（７）または（９）に示す正規化は、神経回路網レベルでは、いわゆる分流型抑制(shunting inhibition)により、また、式（６）または（８）に示すような線形結合は、層内の結合（lateral connection）により実現することができる。
【０１４７】
βが２のときの正規化回路の例を図１４に示す。この正規化回路は、異なる処理チャネルに属する特徴検出細胞n_ijの出力の２乗和を取るための２乗和算出回路1403と、主に式（６）の正規化を行う分流型抑制回路1404、及び式（５）の線形和を求めて出力する線形和回路1405とから構成される。
【０１４８】
２乗和算出回路1403においては、各特徴検出細胞の２乗値を保持(pooling)する介在ニューロン(inter-neuron)素子1406が存在し、当該介在ニューロン1406への結合を与える各シナプス結合素子1402が、特徴検出細胞1401出力の２乗値に相当するパルス位相遅れ(或いはパルス幅変調、パルス周波数変調)を与える。
【０１４９】
分流型抑制回路1404は、例えば、介在ニューロン1406の出力に所定の係数(λ/C)を乗算した値の逆数に比例するような可変抵抗素子とコンデンサ及び特徴検出細胞1401の出力の２乗を与えるパルス位相変調回路(或いはパルス幅変調回路、パルス周波数変調回路)とから構成される。
【０１５０】
次に、チャネル処理の変形例について説明する。以上の様な処理チャネル毎に集団的符号化がなされ、各処理チャネル出力が後続層に伝達されるようにする構成（即ち、図１２又は１３の構成がカスケード的に後続層まで保持される構成）のほかに、処理効率を上げるとともに消費電力を抑えるために、特徴統合層（2,0）内の最大応答レベルを与える処理チャネルと同一のチャネルに属する（次の層の）特徴検出細胞のみに当該集団的符号化ニューロンの出力が伝播するようにしてもよい。
【０１５１】
この場合には、図１２、１３に示す構成に加えて、集団的符号化ニューロン回路の出力を受け、最大応答レベルを与える処理チャネル選択回路として最大入力検出回路、いわゆるWinner-Take-All回路(以下、ＷＴＡ回路と称す)を特徴統合層(2,0)出力と次の特徴検出層(1,1)との間に存在するように設定する。この処理チャネル選択回路は特徴統合層の各位置ごとに設定してもよいし、当該層に一つ、場所によらず入力データ全体について処理チャネルごとの最大応答レベルを算出する回路として設定してもよい。
【０１５２】
ＷＴＡ回路としては例えば、特開平08-321747号公報、USP5059814, USP5146106その他に記載された公知の構成を用いることができる。特徴統合層においてＷＴＡ回路により特徴統合層の最大応答を示す処理チャネルのみの出力を次の層である特徴検出層に伝播させる構成を図１６の（Ａ）に模式的に示す。これは、図１５のチャネル活性度制御回路1502をゲーティング回路1602で置き換えたものである。
【０１５３】
ゲーティング回路1602は、図１６の（Ｂ）に示すように各処理チャネルごとの平均出力レベルを入力するＷＴＡ回路1603と、最大の平均出力レベルを示す処理チャネルからの各ニューロンの出力を次の層の同一チャネルに伝播させるためのチャネル選択回路1604とを有する。
【０１５４】
また、後続の特徴統合層(2,k)（ｋは１以上）では、このような処理チャネル選択回路は必ずしも要しないが、例えば、高次特徴検出後の特徴統合層の出力を処理チャネル選択回路経由でフィードバックして低次又は中次特徴の統合層での処理チャネル選択を行うようにしてもよい。以上でチャネル処理の変形例についての説明を終わる。なお、図１２、１３に示すようなサブサンプリング、結合処理、集団的符号化の流れを特徴統合層内で行う構成に限定されず、例えば結合処理、集団的符号化の為の層を別に設けるなどしてもよいことは言うまでもない。
【０１５５】
なお、サイズのほぼ等しい対象が近接して存在し、或いは部分的に重なり合って存在しているときでも、局所的な受容野構造とサブサンプリング構造等による部分的な複数種類の特徴を統合して検出するメカニズムにより、対象の認識、検出性能が保持されることは、言うまでもない。
【０１５６】
特徴統合層でのパルス信号処理
前述した結合回路は、式(５)又は（７）により得られる集団的符号化レベルに対応するパルスを、各集団的符号化ニューロンに出力し、層番号(2,k)の各特徴統合細胞(n₁,n₂,n₃)としての前述した集団的符号化ニューロンは、層番号(1,k+1)の層のペースメーカニューロンからのパルス入力を受け、かつ前段の特徴検出層またはセンサー入力層（層番号(1,k）)からの入力により、前述した結合回路出力が十分なレベルにある場合（例えば、ある時間範囲または時間窓での平均入力パルス数が閾値より大、或いはパルス位相が進んでいること）には、ペースメーカからのパルスの立ち下がり時を基準とした出力を行う。
【０１５７】
また、前述したサブサンプリングニューロンは、いずれのペースメーカニューロンからの制御も受けず、前段の(1,k)層の特徴検出細胞からの平均的な（各サブサンプリングニューロンごとに独立した位相をもった時間窓内）出力レベルに基づき、サブサンプリング処理を行う。また、サブサンプリングニューロンから結合処理ニューロンへのパルス出力タイミング制御も、ペースメーカニューロンを介さずに行われ、結合処理回路から集団的符号化ニューロンへのパルス出力も同様である。
【０１５８】
このように本実施形態では、特徴統合細胞（サブサンプリングニューロン、集団的符号化ニューロンなど）は、その前の層番号(1,k)の特徴検出層上のペースメーカニューロンからのタイミング制御を受けるようには、構成していない。なぜならば、特徴統合細胞においては、入力パルスの到着時間パターンではなく、むしろ一定の時間範囲での入力レベル（入力パルスの時間的総和値など）によって決まる位相（周波数、パルス幅、振幅のいずれが依存してもよいが、本実施形態では位相とした）でのパルス出力をするため、時間窓の発生タイミングは余り重要ではないからである。なお、このことは、特徴統合細胞が前段の層の特徴検出層のペースメーカニューロンからのタイミング制御を受ける構成を排除する趣旨ではなく、そのような構成も可能であることはいうまでもない。
【０１５９】
特徴位置検出層での処理
特徴位置検出層は、図１に示すように、What経路と分離したWhere経路をなし、同一階層レベルの特徴検出層(1,k)との結合、及び注視領域設定制御層108へのフィードバック結合をなす。特徴位置検出層107のニューロンの配列及び機能は、特徴統合層103における集団的符号化を行わないこと、及び特徴配置関係の情報が失われないように上位層と下位層間で受容野サイズが大きく変わらないことを除いて、特徴統合層103のサブサンプリングニューロン1201と同様に、特徴カテゴリごとに各ニューロンが配列し、また特徴検出層ニューロンと結合することにより、サブサンプリングを行っている。その結果、最上位の特徴位置検出層では、認識・検出対象に関する大まかな空間分布(配置)を表すニューロンの発火状態の分布が得られる。
【０１６０】
特徴位置検出層でのパルス信号処理
特徴統合層103のサブサンプリングニューロン1201と同じである。即ち、(3,k)層のニューロンは、いずれのペースメーカニューロンからの制御を受けず、前段の(1,k)層の特徴検出細胞からの平均的な（各サブサンプリングニューロンごとに独立した位相をもった時間窓内）出力レベルに基づき、サブサンプリング処理を行う。
【０１６１】
パターン検出の動作原理
次に、２次元図形パターンのパルス符号化と検出方法について説明する。図３は、特徴統合層103から特徴検出層102への（例えば、図１の層(２,０)から層(１,１)への）パルス信号の伝播の様子を模式的に示した図である。
【０１６２】
特徴統合層103側の各ニューロンn_i（n₁〜n₄）は、それぞれ異なる特徴量（或いは特徴要素）に対応しており、特徴検出層102側のニューロンn'_jは、同一受容野内の各特徴を組み合わせて得られる、より高次の特徴（図形要素）の検出に関与する。
【０１６３】
各ニューロン間結合には、パルスの伝播時間とニューロンn_iからニューロンn'_jへのシナプス結合（S_ij）での時間遅れ等による固有（特徴に固有）の遅延が生じ、その結果として、共通バスライン301を介してニューロンn'_jに到着するパルス列P_iは、特徴統合層103の各ニューロンからパルス出力がなされる限り、学習によって決まるシナプス結合での遅延量により、所定の順序（及び間隔）になっている（図３の（Ａ）では、P₄,P₃,P₂,P₁の順に到着することが示されている）。
【０１６４】
図３の（Ｂ）は、ペースメーカニューロンからのタイミング信号を用いて時間窓の同期制御を行う場合において、層番号（2,k）上の特徴統合細胞n₁、n₂、n₃（それぞれ異なる種類の特徴を表す）から、層番号（1,k+1）上のある特徴検出細胞(n'_j)（より上位の特徴検出を行う）へのパルス伝播のタイミング等を示している。
【０１６５】
図６は、特徴検出層ニューロンにペースメーカニューロンからの入力がある場合のネットワーク構成を示す図である。図６において、ペースメーカニューロン603（n_p)は、同一の受容野を形成し、かつ異なる種類の特徴を検出する特徴検出ニューロン602（n_j,n_k等）に付随し、それらと同一の受容野を形成して、特徴統合層（または入力層）上のニューロン601からの興奮性結合を受ける。そして、その入力の総和値（或いは受容野全体の活動度レベル平均値など、受容野全体に固有の活動特性を表す状態に依存するように制御するため）によって決まる所定のタイミング（または周波数）でパルス出力を特徴検出ニューロン602及び特徴統合ニューロンに対して行う。
【０１６６】
また、各特徴検出ニューロン602では、その入力をトリガー信号として互いに時間窓が位相ロックする様に構成されているが、前述したようにペースメーカニューロン入力がある前は、位相ロックされず、各ニューロンはランダムな位相でパルス出力する。また、特徴検出ニューロン602では、ペースメーカニューロン603からの入力がある前は後述する時間窓積分は行われず、ペースメーカニューロン603からのパルス入力をトリガーとして、同積分が行われる。
【０１６７】
ここに、時間窓は特徴検出細胞(n'_i)ごとに定められ、当該細胞に関して同一受容野を形成する特徴統合層内の各ニューロンおよび、ペースメーカニューロン603に対して共通であり、時間窓積分の時間範囲を与える。
【０１６８】
層番号(1,k)にあるペースメーカニューロン603は（ｋは自然数）、パルス出力を、層番号(2,k-1)の各特徴統合細胞、及びそのペースメーカニューロン603が属する特徴検出細胞（層番号(1,k)）に出力することにより、特徴検出細胞が時間的に入力を加算する際の時間窓発生のタイミング信号を与えている。この時間窓の開始時刻が各特徴統合細胞から出力されるパルスの到着時間を図る基準時となる。即ち、ペースメーカニューロン603は特徴統合細胞からのパルス出力時刻、及び特徴検出細胞での時間窓積分の基準パルスを与える。
【０１６９】
各パルスは、シナプス回路を通過すると所定量の位相遅延が与えられ、更に共通バスなどの信号伝達線を通って特徴検出細胞に到着する。この時のパルスの時間軸上の並びを、特徴検出細胞の時間軸上において点線で表したパルス（Ｐ₁，Ｐ₂，Ｐ₃）により示す。
【０１７０】
特徴検出細胞において各パルス（Ｐ₁，Ｐ₂,Ｐ₃）の時間窓積分(通常、一回の積分とする；但し、多数回に渡る時間窓積分による電荷蓄積、または多数回に渡る時間窓積分の平均化処理を行ってもよい)の結果、閾値より大となった場合には、時間窓の終了時刻を基準としてパルス出力（Ｐ_d）がなされる。なお、図３の（B）に示した学習時の時間窓とは、後で説明する学習則を実行する際に参照されるものである。
【０１７１】
シナプス回路等
図４は、シナプス回路S_iの構成を示す図である。図４の（Ａ）は、シナプス回路202(S_i)において、ニューロンn_iの結合先である各ニューロンn'_jへのシナプス結合強度（位相遅延）を与える各小回路401が、マトリクス的に配置されていることを示している。このようにすると、シナプス回路から結合先ニューロンへの配線を各受容野に対応する同一ライン（局所的な共通バス301）上で行う事ができ（ニューロン間の配線を仮想的に行うことができ）、従来から問題となっていた配線問題の軽減（除去）が図られる。
【０１７２】
また、結合先のニューロンでは、同一受容野からの複数パルス入力を受けた際に、それぞれがどのニューロンから発せられたものかを時間窓基準でのパルスの到着時間（特徴検出細胞が検出する特徴に対応し、それを構成する低次特徴に固有の位相遅延）により、時間軸上で識別することができる。
【０１７３】
図４の（Ｂ）に示すように、各シナプス結合小回路401は、学習回路402と位相遅延回路403とからなる。学習回路402は、位相遅延回路403の特性を変化させることにより、上記遅延量を調整し、また、その特性値（或いはその制御値）を浮遊ゲート素子、或いは浮遊ゲート素子と結合したキャパシタ上に記憶するものである。
【０１７４】
図５は、シナプス結合小回路の詳細構成を示す図である。位相遅延回路４０３はパルス位相変調回路であり、例えば、図５の（Ａ）に示すように、単安定マルチバイブレータ５０６、５０７、抵抗５０１、５０４、キャパシタ５０３、５０５、トランジスタ５０２を用いて構成できる。図５の（Ｂ）は、単安定マルチバイブレータ５０６へ入力された方形波Ｐ１（図５の（Ｂ）の［１］）、単安定マルチバイブレータ５０６から出力される方形波Ｐ２（同［２］）、単安定マルチバイブレータ５０７から出力される方形波Ｐ３（同［３］）の各タイミングを表している。
【０１７５】
位相遅延回路403の動作機構の詳細については説明を省略するが、Ｐ１のパルス幅は、充電電流によるキャパシタ503の電圧が予め定められた閾値に達するまでの時間で決まり、Ｐ２の幅は抵抗504とキャパシタ505による時定数で決まる。Ｐ２のパルス幅が（図５の（Ｂ）の点線方形波のように）広がって、その立ち下がり時点が後にずれるとＰ３の立ち上がり時点も同じ量ずれるが、Ｐ３のパルス幅は変わらないので、結果的に入力パルスの位相だけが変調されて出力されたことになる。
【０１７６】
制御電圧Ecを基準電圧のリフレッシュ回路509と結合荷重を与えるキャパシタ508への電荷蓄積量制御を行う学習回路402で変化させることにより、パルス位相（遅延量）を制御することができる。この結合荷重の長期保持のためには、学習動作後に図５の（Ａ）の回路の外側に付加される浮遊ゲート素子（図示せず）のチャージとして、或いはデジタルメモリへの書き込み等を行って結合荷重を格納してもよい。その他回路規模を小さくなるように工夫した構成（例えば、特開平5-37317号公報、特開平10-327054号公報参照）など周知の回路構成を用いることができる。
【０１７７】
ネットワークが結合荷重の共有結合形式（特に、１個の重み係数で複数のシナプス結合を同一に表す場合）になるような構成をとる場合には、各シナプスでの遅延量（下記の式（９）のＰij）が、図３の場合と異なって、同一受容野内で一様とすることもできる。特に、特徴検出層から特徴統合層への結合は、特徴統合層がその前段の層である特徴検出層出力の局所平均化その他によるサブサンプリングに関与するため、検出対象によらず（即ち、課題によらず）、このように構成することができる。
【０１７８】
この場合、図４の（Ａ）の各小回路は、図４の（Ｂ）に示すように、局所共通バスライン401で結合される単一の回路S_k,iで済み、特に経済的な回路構成となる。一方、特徴統合層103（またはセンサー入力層101）から特徴検出層102への結合がこのようになっている場合、特徴検出ニューロンが検出するのは、複数の異なる特徴要素を表すパルスの同時到着（或いは、略同時到着）という、イベントである。
【０１７９】
なお、結合が対称性を有する場合には、同一荷重（位相遅延）量を与える結合を同一のシナプス結合用小回路で代表させることにより、相当数のシナプス結合が少数の回路で代表されるように構成することができる。特に幾何学的特徴量の検出においては、受容野内での結合荷重の分布が対称性を有する場合が多いので、シナプス結合回路を減少させ回路規模を大幅に縮小にすることが可能である。
【０１８０】
パルスの同時到着、或いは所定の位相変調量を実現するシナプスでの学習回路の例としては、図５の（Ｃ）に示すような回路要素を有するものを用いればよい。即ち、学習回路402をパルス伝播時間計測回路510（ここで、伝播時間とは、ある層のニューロンの前シナプスでのパルス出力時間と次の層上にある出力先ニューロンでの当該パルスの到着時間との時間差をさし、図３の（Ｂ）では、シナプス遅延と伝播に要した時間との和になる）、時間窓発生回路511、及び伝播時間が一定値となるようにシナプス部でのパルス位相変調量を調整するパルス位相変調量調整回路512から構成できる。
【０１８１】
伝播時間計測回路としては、後述するような同一局所受容野を形成するペースメーカニューロンからのクロックパルスを入力し、所定の時間幅（時間窓：図３の（Ｂ）参照）において、そのクロックパルスのカウンター回路からの出力に基づき伝播時間を求めるような構成などが用いられる。なお、時間窓は出力先ニューロンの発火時点を基準として設定することにより、以下に示すような拡張されたＨｅｂｂの学習則が適用される。
【０１８２】
学習則
また、学習回路402は、同じカテゴリの物体が提示される頻度が大きくなるほど上記時間窓の幅が狭くなるようにしてもよい。このようにすることにより、見慣れた（すなわち呈示回数、学習回数の多い）カテゴリのパターンであるほど、複数パルスの同時到着の検出(coincidence detection)モードに近づく様な動作をすることになる。このようにすることにより、特徴検出に要する時間を短縮できる(瞬時検出の動作が可能となる)が、特徴要素の空間配置の細かな比較分析や、類似するパターン間の識別等を行うことには適さなくなる。
【０１８３】
遅延量の学習過程は、例えば、複素数ドメインに拡張することにより、特徴検出層のニューロンniと特徴統合層のニューロンn_jとの間の複素結合荷重Ｃ_ijは、
Ｃ_ij＝Ｓ_ijexp(iP_ij) （１０）
のように与えられる。ここに、S_ijは結合強度、P_ijは位相、その前のｉは純虚数を表し、所定周波数でニューロンjからニューロンiに出力されるパルス信号の時間遅れに相当する位相である。S_ijはニューロンiの受容野構造を反映し、認識検出する対象に応じて一般に異なる構造を有する。これは学習（教師付き学習または自己組織化）により別途形成されるか、或いは予め決められた構造として形成される。
【０１８４】
一方、遅延量に関する自己組織化のための学習則は、
【０１８５】
【外６】

で与えられる。但し、
【０１８６】
【外７】

はＣの時間微分、τ_ijは上記時間遅れ（予め設定された量）、β（〜１）は定数を示す。
【０１８７】
上式を解くと、Ｃ_ijはβexp(-2πiτ_ij)に収束し、従って、P_ijは−τ_ijに収束する。学習則適用の例を図３の（Ｂ）に示した学習時の時間窓を参照して説明すると、シナプス結合の前側ニューロン（n1,n2,n3）と後側ニューロン(特徴検出細胞)とが、その学習時間窓の時間範囲において、ともに発火しているときにだけ、式（１１）に従って結合荷重が更新される。なお、図３の（Ｂ）において、特徴検出細胞は時間窓の経過後に発火しているが、同図の時間窓経過前に発火してもよい。
【０１８８】
特徴検出層処理
以下、特徴検出層で主に行われる処理（学習時、認識時）について説明する。
【０１８９】
各特徴検出層102においては、前述したように、各スケールレベルごとに設定される処理チャネル内において、同一受容野からの複数の異なる特徴に関するパルス信号を入力し、時空間的重み付き総和（荷重和）演算と閾値処理を行う。各特徴量に対応するパルスは、予め学習により定められた遅延量(位相) により、所定の時間間隔で到着する。
【０１９０】
このパルス到着時間パターンの学習制御は、本願の主眼ではないので詳しくは説明しないが、例えば、ある図形パターンを構成する特徴要素がその図形の検出に最も寄与する特徴であるほど先に到着し、そのままでは、パルス到着時間がほぼ等しくなる特徴要素間では、互いに一定量だけ時間的に離れて到着するような競争学習を導入する。或いは、予め決められた特徴要素(認識対象を構成する特徴要素であって、特に重要と考えられるもの：例えば、平均曲率の大きい特徴、直線性の高い特徴など)間で異なる時間間隔で到着する様に設計してもよい。
【０１９１】
本実施形態では、前段の層である特徴統合層上の同一受容野内の各低次特徴要素に相当するニューロンは、それぞれ所定の位相で同期発火（パルス出力）することになる。
【０１９２】
一般的に、特徴統合層のニューロンであって、位置が異なるが同一の高次の特徴を検出する特徴検出ニューロンへの結合が存在する（この場合、受容野は異なるが、高次の同じ特徴を構成する結合を有する）。この時、これら特徴検出ニューロンとの間で同期発火することはいうまでもない。但し、その出力レベル（ここでは位相基準とするが、周波数、振幅、パルス幅基準となる構成でもよい）は、特徴検出ニューロンの受容野ごとに与えられる複数ペースメーカニューロンからの寄与の総和（或いは平均など）によって決まる。また、特徴検出層102上の各ニューロンにおいては、入力パルスの時空間的重み付き総和（荷重和）の演算は、ニューロンに到着したパルス列について、所定幅の時間窓においてのみ行われる。時間窓内の重み付き加算を実現する機構は、図２に示したニューロン素子回路に限らず、他の方法で実現してもよいことは言うまでもない。
【０１９３】
この時間窓は、実際のニューロンの不応期(refractory period)以外の時間帯にある程度対応している。即ち、不応期(時間窓以外の時間範囲)にはどのような入力を受けてもニューロンからの出力はないが、その時間範囲以外の時間窓では入力レベルに応じた発火を行うという点が実際のニューロンと類似している。
【０１９４】
図３の（Ｂ）に示す不応期は、特徴検出細胞の発火直後から次の時間窓開始時刻までの時間帯である。不応期の長さと時間窓の幅は任意に設定可能であることはいうまでもなく、同図に示したように時間窓に比べて不応期を短くとらなくてもよい。ペースメーカニューロンを使わなくても時間窓の開始時刻は、特徴検出層と特徴統合層のニューロン間でニューロン間の弱相互結合と所定の結合条件などにより同期発火するメカニズム（E.M.Izhikevich, 1999 'Weakly Pulse-Coupled Oscillation, FM Interactions, Synchronization, and Oscillatory Associative Memory' IEEE Trans. on Neural Networks, vol.10. pp.508-526.）を導入することにより、これらニューロン間で同一となる。この同期発火は、一般的にニューロン間での相互結合と引き込み現象によりもたらされることが知られている。
【０１９５】
従って、本実施形態においてもニューロン間の弱相互結合と所定のシナプス結合条件を満たすように構成することによりペースメーカニューロンなしで、このような効果をもたらすことができる。
【０１９６】
本実施形態では、図６に模式的に示すように、既に説明したメカニズムとして、例えば各特徴検出層ニューロンごとに、その同一受容野からの入力を受けるようなペースメーカニューロン（固定周波数でパルス出力）によるタイミング情報（クロックパルス）の入力により、上述した開始時期の共通化をもたらすようにしてもよい。
【０１９７】
このように構成した場合には、時間窓の同期制御は（仮に必要であったとしても）ネットワーク全体にわたって行う必要が無く、また、上記したようなクロックパルスの揺らぎ、変動があっても、局所的な同一受容野からの出力に対して一様にその影響を受ける（窓関数の時間軸上での位置の揺らぎは同一受容野を形成するニューロン間で同一となる）ので、特徴検出の信頼性は劣化することはない。このような局所的な回路制御により信頼度の高い同期動作を可能にするため、回路素子パラメータに関するばらつきの許容度も高くなる。
【０１９８】
以下、簡単のために、三角形を特徴として検出する特徴検出ニューロンについて説明する。その前段の特徴統合層103は、図７の（Ｃ）に示すような各種向きを持ったL字パターン(f₁₁, f₁₂, …, )、Ｌ字パターンとの連続性（連結性）を有する線分の組み合わせパターン(f₂₁, f₂₂,…)、三角形を構成する２辺の一部の組み合わせ(f₃₁,…)、などのような図形的特徴（特徴要素）に反応するものとする。
【０１９９】
また、同図のf₄₁,f₄₂,f₄₃は向きの異なる三角形を構成する特徴であって、f₁₁,f₁₂,f₁₃に対応する特徴を示している。学習により層間結合をなすニューロン間に固有の遅延量が設定された結果、三角形の特徴検出ニューロンにおいては、時間窓を分割して得られる各サブ時間窓(タイムスロット）(w₁,w₂,…)において、三角形を構成する主要かつ異なる特徴に対応するパルスが到着するように予め設定がなされる。
【０２００】
例えば、時間窓をｎ分割した後のw₁, w₂, …、wnには、図７の(A)に示す如く、全体として三角形を構成するような特徴のセットの組み合わせに対応するパルスが初めに到着する。ここに、Ｌ字パターン(f₁₁, f₁₂, f₁₃)は、それぞれw₁,w₂,w₃内に到着し、特徴要素(f₂₁,f₂₂,f₂₃)に対応するパルスは、それぞれw₁, w₂, w₃内に到着するように学習により遅延量が設定されている。
【０２０１】
特徴要素(f₃₁,f₃₂,f₃₃)に対応するパルスも同様の順序で到着する。図７の(A)の場合、一つのサブ時間窓(タイムスロット）にそれぞれ一つの特徴要素に対応するパルスが到着する。サブ時間窓に分割する意味は、各サブ時間窓で時間軸上に展開表現された異なる特徴要素に対応するパルスの検出（特徴要素の検出）を個別にかつ確実に行うことにより、それらの特徴を統合する際の統合の仕方、例えば、すべての特徴要素の検出を条件とするか、或いは一定割合の特徴検出を条件とするか等の処理モードの変更可能性や適応性を高めることにある。
【０２０２】
例えば、認識（検出）対象が顔であり、それを構成するパーツである目の探索（検出）が重要であるような状況（目のパターン検出の優先度を視覚探索において高く設定したい場合）においては、高次の特徴検出層からのフィードバック結合を導入することにより、選択的に目を構成する特徴要素パターンに対応する反応選択性（特定の特徴の検出感度）を高めたりすることができる。このようにすることにより、高次の特徴要素（パターン） を構成する低次の特徴要素により高い重要度を与えて検出することができる。
【０２０３】
また、重要な特徴ほど早いサブ時間窓にパルスが到着するように予め設定されているとすると、当該サブ時間窓での重み関数値が他のサブ時間窓での値より大きくすることにより、重要度の高い特徴ほど検出されやすくすることができる。この重要度（特徴間の検出優先度）は学習により獲得されるか、予め定義しておくこともできる。
【０２０４】
従って、一定割合の特徴要素の検出という事象さえ起きればよいのであれば、サブ時間窓への分割は殆ど意味が無くなり、一つの時間窓において行えばよい。
【０２０５】
なお、複数（３つ）の異なる特徴要素に対応するパルスがそれぞれ到着して加算されるようにしてもよい(図７の（Ｄ）参照)。即ち、一つのサブ時間窓(タイムスロット）に複数の特徴要素(図７の（Ｄ）)、或いは任意の数の特徴要素に対応するパルスが入力されることを前提としてもよい。この場合、図７の（Ｄ）では、初めのサブ時間窓では、三角形の頂角部分ｆ₁₁の検出を支持する他の特徴要素ｆ₂₁、ｆ₂₃に対応するパルスが到着し、同様に２番目のサブ時間窓には頂角部分ｆ₁₂の検出を支持するような他の特徴要素ｆ₂₂、ｆ₃₁のパルスが到着している。
【０２０６】
なお、サブ時間窓(タイムスロット）への分割数、各サブ時間窓(タイムスロット）の幅および特徴のクラスおよび特徴に対応するパルスの時間間隔の割り当てなどは上述した説明に限らず、変更可能であることはいうまでもない。例えば、上述した特徴要素の他に'Ｘ'，'＋'等の特徴要素に対応するサブ時間窓を設定してもよい。三角形の図形検出にはこのような特徴要素は冗長(又は不要)ともいえるが、逆に、これらが存在しないことを検出することにより、三角形という図形パターンの検出確度を高めることができる。
【０２０７】
また、これら特徴要素の組み合わせでは表されないような変形を加えた場合（例えば、一定範囲内の回転を与えた場合）に対しても、上記特徴要素を表す特徴統合層のニューロンの出力パルスは、理想的なパターンからのずれの程度に応じた連続的な位相遅れ(遅延量：但し、予め定めたサブ時間窓(タイムスロット）にパルスが到着する範囲)をもって反応する（いわゆるgraceful degradation）ため、検出される図形特徴の変形に対する許容範囲が一定レベル以上になるよう出力の安定化が図られている。例えば、図７の（Ｃ）に示す特徴ｆ₁₁、ｆ₁₂、ｆ₁₃に対応する特徴により形成される三角形（Ｑ１）と、ｆ₄₁、ｆ₄₂、ｆ₄₃に対応する特徴により形成される三角形（Ｑ２）とでは、少なくとも向きが互いに異なっている筈である。
【０２０８】
この場合、各特徴に対応する検出（統合）細胞が存在するとき、両三角形の中間的な向きに相当する三角形（Ｑ３）に対しては、ｆ₁₁、ｆ₁₂、ｆ₁₃に対応する検出(統合)細胞とｆ₄₁、ｆ₄₂、ｆ₄₃に対応する検出（細胞）とは、いずれも最大応答出力より低く、直接的には特徴の種類に応じて決まる受容野構造としてのフィルタカーネルとの畳み込み演算値に応じた出力レベルとなり、これら全ての細胞からの出力としてのベクトル量は中間的な図形に固有なものとして統合すると、２つの三角形の状態の中間的な図形（回転を与えた場合）の検出が可能になる。
【０２０９】
例えば、定性的には、回転角度が小さく、Ｑ１に近いほどｆ₁₁、ｆ₁₂、ｆ₁₃に対応する細胞からの出力が相対的に大きく、逆にＱ２に近いほどｆ₄₁、ｆ₄₂、ｆ₄₃に対応する細胞からの出力が大きくなる。
【０２１０】
パルス出力の時空間的統合及びネットワーク特性
次に入力パルスの時空間的重み付き総和（荷重和）の演算について説明する。図７の（B）に示す如く、各ニューロンでは、上記サブ時間窓(タイムスロット）毎に所定の重み関数（例えばGaussian）で入力パルスの荷重和がとられ、各荷重和の総和が閾値と比較される。τ_jはサブ時間窓ｊの重み関数の中心位置を表し、時間窓の開始時刻基準（開始時間からの経過時間）で表す。重み関数は一般に所定の中心位置（検出予定の特徴が検出された場合のパルス到着時間を表す）からの距離(時間軸上でのずれ)の関数になる。
【０２１１】
従って、ニューロンの各サブ時間窓(タイムスロット）の重み関数のピーク位置τが、ニューロン間の学習後の時間遅れとすると、入力パルスの時空間的重み付き総和（荷重和）を行う神経回路網は、一種の時間軸ドメインの動径基底関数ネットワーク（Radial Basis Function Network；以下ＲＢＦと略す）と見なすことができる。Gaussian関数の重み関数を用いたニューロンn_iの時間窓F_Tiは、各サブ時間窓毎の広がりをσ、係数因子（シナプス結合荷重値に相当）をb_ijで表すと、
【０２１２】
【外８】

【０２１３】
なお、重み関数としては、負の値をとるものであってもよい。例えば、ある特徴検出層のニューロンが三角形を最終的に検出することが予定されている場合に、その図形パターンの構成要素でないことが明らかな特徴（Ｆ_faulse）（例えば、前述した'Ｘ'，'＋'等）が検出された場合には、他の特徴要素からの寄与が大きくても三角形の検出出力が最終的になされないように、入力の総和値算出処理において、当該特徴（Ｆ_faulse）に対応するパルスからは、負の寄与を与えるような重み関数及び特徴検出(統合)細胞からの結合を与えておくことができる。
【０２１４】
特徴検出層のニューロンn_iへの入力信号の時空間和X_i(t)は、
【０２１５】
【外９】

と表せる。ここに、ε_jは、ニューロンn_jからの出力パルスの初期位相であり、ニューロンn_iとの同期発火により、０に収束するか、又はペースメーカニューロンからのタイミングパルス入力により、時間窓の位相を０に強制同期する場合には、ε_jは常に０としてよい。図７の（Ａ）のパルス入力と同（Ｂ）に示す重み関数による荷重和とを実行すると、図７の（E）に示すような荷重和値の時間的遷移が得られる。特徴検出ニューロンは、この荷重和値が閾値(Vt)に達するとパルス出力を行う。
【０２１６】
ニューロンn_iからの出力パルス信号は、前述したように、入力信号の時空間和（いわゆる総入力和）のsquashing非線形関数となる出力レベルと学習により与えられた時間遅れ（位相）をもって上位層のニューロンに出力される（パルス出力は固定周波数(２値)とし、学習によって決まる固定遅延量に相当する位相に入力信号の時空間和についてのsquashing非線形関数となる位相変調量を加えて出力される）。
【０２１７】
処理フロー概要
図８は、上述した各層の処理手順を示すフローチャートである。低次特徴検出から高次特徴検出までの処理の流れをまとめて示すと、同図のようになる。先ず、ステップS801で、低次特徴検出（例えば、各位置でのGabor wavelet変換係数の算出など）を行なう。次に、ステップS802で、それらの特徴の局所平均化等を行う低次特徴の統合処理を行う。更に、ステップS803〜804で中次特徴の検出と統合、ステップS805〜806で高次特徴の検出と統合を行う。そして、ステップS807では、最終層の出力として、認識(検出)対象の有無またはその検出位置出力が行われる。ステップS803〜804とS805〜806に割り当てる層数は、課題（認識対象など）に応じて任意に設定又は変更することができる。
【０２１８】
図９は、各特徴検出ニューロン602の処理の手順を示すフローチャートである。まず、ステップS901で、複数の特徴カテゴリに応じたパルスを、前層である入力層101または特徴統合層103において同一受容野105を形成するニューロン601から入力を受け、ステップS902で、ペースメーカニューロン603から入力される（又は前層ニューロンとの相互作用により得られる）局所同期信号に基づき、時間窓及び重み関数を発生させ、ステップS903で、それぞれについての所定の時間的重み関数による荷重和をとり、ステップS904で、閾値に達したか否かの判定を行い、閾値に達した場合には、ステップS905で、パルス出力を行う。なお、ステップS902と903は時系列的に示したが、実際にはほぼ同時に行われる。
【０２１９】
また、各特徴統合ニューロンの処理の手順は、図１０のフローチャートに示す通りである。すなわち、ステップS1001において、同一カテゴリをなす特徴検出の処理モジュール104であって、当該ニューロンに固有の局所受容野をなす特徴検出ニューロンからのパルス入力を受け、ステップS1002で、所定の時間幅（不応期以外の時間範囲）において入力パルスの加算を行う。ステップS1003で、入力パルスの総和値（例えば、電位基準で測る）が閾値に達したか否かの判定を行ない、閾値に達した場合、ステップS1004で、その総和値に応じた位相でパルス出力をする。
【０２２０】
注視位置の設定制御に関する主な処理の流れの概要を整理すると、図２７のようになる。先ず、ステップS2701で、注視位置を画面中央に設定し、注視領域サイズを画面全体とする。次に、ステップS2702で、最上位層までのWhat経路による処理過程を実行する。この段階では、前述したごとく、いわゆる対象を知覚した状態、即ち認識状態には至っていない。
【０２２１】
その後、ステップS2703で、最上位層相当の特徴位置検出層(3,M)出力からのWhere経路等を介したフィードバック量等に基づき、最大フィードバック量または所定の最大評価値(式（５)）を受ける注視制御ニューロンに対応する特徴統合層上のニューロンを新たな注視位置とし、その特徴統合層ニューロンが属する処理チャネルに固有の注視領域のサイズが設定され、ステップS2704で、What経路での認識処理が行われる。次に、ステップS2705で、注視位置更新判定を行い、更新する場合には、注視領域の更新制御として、最新の注視位置の近傍領域内で次候補注視制御ニューロンの探索処理（ステップS2706）を行う。
【０２２２】
ここで、注視領域の更新判定とは、例えば、近傍領域内に他のフィードバック量が十分なレベルにある注視制御ニューロン(「次候補ニューロン」という)が存在するか否かの判定、近傍領域には他に次候補ニューロンが存在せず、かつ、画面内に未設定の注視位置が存在するか否かの判定（この場合には、不図示の未設定注視位置の有無に関する判定回路を要する）、或いは外部からの制御信号の入力有無の判定等である。
【０２２３】
第一の場合には、次候補ニューロンの一つを前述した方法で選択して次の注視位置等を設定する。第二の場合は、最新の近傍領域外の任意の未設定位置(又は近傍領域に隣接する任意の未設定位置など)に次の注視位置を設定する。第三の場合は、例えばユーザがシャッタボタンを押す動作信号を制御信号として検知しない場合、ユーザが更新を促す指示を与え、その更新指示の信号が制御信号として検知される場合である。
【０２２４】
ステップS2707で、更新の結果、前述した準最大フィードバック量を受ける注視制御ニューロンを活性化して、当該ニューロンから特徴統合層へ（図２０の場合）、またはゲーティング層へ（図２１の場合）次の注視領域に関する設定信号が出力される。ステップS2708で、特定処理チャネルの一部がオープンされることにより、更新された注視領域に該当する特徴統合層ニューロンから特徴検出層(1,1)への信号の伝播が行われる。一方、注視更新判定の結果、更新を行わない場合(上記判定の３つのケースを参照)には、注視領域の更新制御動作を終了する。
【０２２５】
ネットワークその他構成上の変形例
入力パルスは空間ドメインの各位置での特徴（或いは、特徴要素の空間的配置関係）に対応するものであるから、時空間的ＲＢＦを構成することも可能である。
【０２２６】
具体的には、各ニューロン出力値に対して更に重み付けを行って加算を行うことにより、十分な数の予め定められた特徴要素のセット（特徴検出細胞）および十分な数のサブ時間窓(タイムスロット）での重み付き総和（荷重和）の演算とから任意の図形パターンに対応するパルスパターンの時空間関数を表現することができる。認識対象のカテゴリ及びその形状の変化がある程度限られていれば、必要な特徴検出細胞やサブ時間窓(タイムスロット）の数を少なくすることができる。
【０２２７】
本実施形態では、共通バスは同一受容野に対して一つ割り当てられるような局所的なバスラインとしたが、これに限らず、ある層から次の層への層間結合は同一バスラインで行うように、時間軸上でパルス位相遅延量を分割設定してもよい。また、重なり割合が比較的大きい隣接受容野間では、共通のバスラインを用いるように構成しても良い。
【０２２８】
なお、上述した時空間的ＲＢＦによらずに、各サブ時間窓(タイムスロット）内での重み付き積和演算の結果が非線形なsquashing関数値となるように処理（或いは、閾値処理）して、それらの積をとってもよい。例えば、不図示の回路構成により、閾値処理結果(２値)を各サブ時間窓ごとに得て、一時記憶手段に格納するとともに、順次求まる閾値処理結果の論理積を時系列的に求めるようにすればよい。
【０２２９】
閾値処理して積をとる場合には、パターンの欠損や低コントラスト条件下での特徴検出の許容度が小さくなることは言うまでもない。
【０２３０】
また、上述した処理（時空間的ＲＢＦによる図形パターンの検出）は、連想記憶の想起過程に類似する動作として実現することもできる。即ち、ある局所領域（または全体領域）で検出されるべき低次（または中次）の特徴要素の欠損が生じても、他の幾つかの特徴要素が検出され、上記総和値（式（１３））が閾値を上回れば、時空間ＲＢＦネットワーク全体としては、中次（または高次）の特徴要素の検出（該当するニューロンの発火）が行われる様にすることができる。
【０２３１】
ネットワークの構成としては、図１に示したものに限定される必要はなく、所定の幾何学的特徴要素を検出する層を含む構成であればＭＬＰその他のものであってもよいことはいうまでもない。
【０２３２】
本実施形態では、低次特徴抽出のためにGabor wavelet変換を用いたが、他の多重スケール特徴(例えば、スケールに比例するサイズで求めた局所自己相関係数など)を用いてもよいことは言うまでもない。
【０２３３】
なお、図１に示すようなネットワーク構成のもとで、パルス幅(アナログ値)変調動作を行うシナプス素子とintegrate-and-fireニューロンで構成されるネットワークにより、図形パターン等の認識を行ってもよい。この場合、シナプスによる変調はシナプス前信号のパルス幅とシナプス後のパルス幅をそれぞれ、W_b,W_aとするとW_a = S_ijW_bで与えられる。ここに、S_ijは結合強度（式（10））と同じ意味である。変調のダイナミックレンジを大きくとる為には、パルス信号の基本パルス幅を周期（基本パルス間隔）と比べて十分に小さくとる必要がある。
【０２３４】
ニューロンの発火（パルス出力）は、所定の特徴要素を表す複数のパルス電流の流入に伴う電荷の蓄積により、電位が所定の閾値を越したときに生じる。パルス幅変調等の場合においては、サブ時間窓ごとの到着パルスの重み付き加算は特に要しないが、所定の幅の時間窓での積分は実行される。この場合、検出されるべき特徴要素（図形パターン）は、特徴検出層ニューロンに入力される信号の時間的総和（パルス電流値の総和）のみに依存する。また、入力パルスの幅は重み関数の値に相当するものである。
【０２３５】
なお、スケール不変な特徴表現を先に得る構成により、複数の処理チャネルを中次、高次まで有する構成を用いずにスケール不変な認識性能を保持しながら、選択的注視処理の効率が向上し、回路構成の簡素化、規模の小型化、更には低消費電力化がもたらす構成として、以下のようなものでもよい。
【０２３６】
即ち、前述した基本構成では、注視領域の設定制御層を低次特徴に関する集団的符号化の後で行い、かつ集団的符号化を各層レベルで行ったが、集団的符号化スケールレベルの異なる特徴表現及び前述したような集団的符号化を低次特徴に限って行い、後述するように各特徴に関するパルスの位相変調などによりスケール不変な特徴表現を得て（スケール不変なパルス情報変換）、その後前述した注視領域の設定制御を行い、中次および高次の特徴検出はこのスケール不変な特徴表現ドメインで行ってもよい。注視領域の設定制御を集団的符号化の前に行ってもよいが、後に行う場合に比べて処理効率が低下する。
【０２３７】
上述したスケール不変なパルス情報への変換を行うには、同一特徴カテゴリであってスケールレベル(サイズ)が異なる特徴は同じパルス間隔により表現されるような変換として、例えば、ある図形特徴を検出する特徴検出ニューロンへの複数パルスの到着パターンの位相オフセット量が、どの処理チャネルからのパルスであっても一定値となるような変換を行えばよい。パルス幅変調により情報表現を行う場合にも、パルス幅の伸縮又はオフセット量に関して同様の処理を行えばよい。
【０２３８】
更に、互いに異なるスケールレベル(処理チャネル)に属する特徴検出ニューロンにおいては、同一カテゴリの図形的特徴(例えば、Ｌ字パターン)に対応するパルスの到着時間の間隔（またはパルス到着の時間パターン）が、スケールレベルにより異なり時分割されるように学習規則を定めてもよい。
【０２３９】
集団的符号化処理は、時分割されたパルス信号全体にわたる重み付き加算による線形結合等により行う。選択的注視処理は、集団的符号化の前に特定部分領域に対応する特徴統合層(2,0)からの出力データを注視領域として選択的に抽出し、集団的符号化処理は選択された出力データについて時間軸上で行われる。特徴検出層(1,1)以降の層においては、処理チャネルごとに異なる回路を設けることなく、同一回路で多重スケール処理を行うことができ、経済的な回路構成となる。即ち、(1,1)層以降では処理チャネルの違いは回路構成上は物理的に区別を無くすることができる。
【０２４０】
特徴検出層(1,1)から特徴統合層(2,1)層への出力（及び、それ以降の層につき同様とする）は、各処理チャネル出力ごと（スケールレベルごと）に時分割で行われる。
【０２４１】
撮像装置に搭載した応用例
次に、本実施形態の構成に係るパターン検出（認識）装置を撮像装置に搭載させることにより、特定被写体へのフォーカシングや特定被写体の色補正、露出制御を行う場合について、図１１を参照して説明する。図１１は、実施形態に係るパターン検出（認識）装置を撮像装置に用いた例の構成を示す図である。
【０２４２】
図１１の撮像装置1101は、撮影レンズおよびズーム撮影用駆動制御機構を含む結像光学系1102、CCD又はＣＭＯＳイメージセンサー1103、撮像パラメータの計測部1104、映像信号処理回路1105、記憶部1106、撮像動作の制御、撮像条件の制御などの制御用信号を発生する制御信号発生部1107、EVFなどファインダーを兼ねた表示ディスプレイ1108、ストロボ発光部1109、記録媒体1110などを具備し、更に上述したパターン検出装置を、選択的注視機構を有する被写体検出（認識）装置1111として備える。
【０２４３】
この撮像装置1101は、例えば撮影前のファインダー映像中から、予め登録された人物の顔画像の検出(存在位置、サイズの検出)又は認識を被写体検出(認識)装置1111により行う。そして、その人物の位置、サイズ情報が被写体検出(認識)装置1111から制御信号発生部1107に入力されると、同制御信号発生部1107は、撮像パラメータ計測部1104からの出力に基づき、その人物に対するピント制御（ＡＦ）、露出条件制御（ＡＥ）、ホワイトバランス制御（ＡＷ）などを最適に行う制御信号を発生する。
【０２４４】
図２８に、撮像装置において選択的注視を行いながら、撮影を行う場合の処理フローの概要を示す。
【０２４５】
先ず、ステップＳ２８０１で、検出・認識の対象を予め特定するために、撮影対象（例えば、人物の撮影を行う場合には対象人物の顔など）についてのモデルデータを記憶部１１０６又は撮像装置に内蔵される通信部（不図示）を介して一時記憶部（不図示）にローディングする。次に、ステップＳ２８０２で、撮影待機状態（シャッター半押し状態など）において注視制御処理の初期化（例えば、注視領域を画面中央位置、画面全体サイズにするなど）を行う。
【０２４６】
続けて、ステップS2803で、前述したような注視領域更新処理を起動して、所定の基準(例えば、最上位層出力に基づき撮影対象の「検出」を判定した場合)に合致する注視領域を設定し、ステップS2804で注視領域更新処理を一旦停止し、ステップS2805で、選択された注視領域を中心とする撮影条件の最適化制御（ＡＦ、ＡＥ，ＡＷ及びズーミングなど）を行う。このとき、更に、ユーザが撮影対象の確認を行えるように、ステップS2806で、撮影対象位置を十字マーク等のマーカー表示をファインダーディスプレイ上で行う。
【０２４７】
次に誤検出判定処理（ステップS2807）として、例えば、一定時間範囲内でシャッタボタンが押されたか否か、或いはユーザが他の対象の探索指示を出したか否か(例えば、シャッタ半押し状態解除の状態にした場合など)を判定する処理を行う。そこで誤検出と判定された場合には、ステップS2803に戻って、再び注視領域更新処理を起動する。また、誤検出なしと判定された場合には、その時の撮影条件で撮影がなされる。
【０２４８】
上述した実施形態に係るパターン検出(認識)装置を、このように撮像装置に用いた結果、複数の被写体が入力画像中に存在する場合、予め被写体の存在位置や画面内サイズが分からない場合でも、当該被写体を確実かつ効率的に検出(認識)することができ、そのような機能を低消費電力かつ高速（リアルタイム）に実現して、人物等の検出とそれに基づく撮影の最適制御（ＡＦ、ＡＥなど）を行うことができる。
【０２４９】
＜第２の実施形態＞
本実施形態では、予め選択的注視を行う場所(画面内位置)等に関する優先順位(優先度)を求めることにより、選択的注視の更新処理そのものを高速に行う。本実施形態に特有の効果として、後で定義する優先度の設定部2401により、予め(検出動作などを開始する前に)優先順位を設定しておくことにより、処理効率（注視点更新のスピード）が大きく向上する。また、更新可能な位置を制限するために優先度の許容範囲を設け、その範囲にある優先度の注視制御ニューロンのみに注視位置の更新を行うことにより処理の更なる高速化がもたらされる。
【０２５０】
本実施形態の注視領域設定制御層108を中心とした要部構成を図２４に示す。低次特徴の顕著度マップ(特徴統合層(2,0)出力)と上位層からのフィードバック量に基づき、注視制御ニューロンを選択する優先順位の設定を行う優先度設定部2401を設けてある。これは注視位置更新制御回路1901とともに注視領域設定制御層108に近接して設定する(注視領域設定制御層108上に設定してもよい)のが良い。なお、優先度設定部2401と注視位置更新制御回路1901とは、本実施形態ではデジタル信号処理回路（または論理ゲートアレイ）である。前実施形態と同様に注視領域設定制御層108には、入力データ上で低次特徴検出を行う各位置に対応する注視制御ニューロン（処理チャネルの数 ｘ 特徴カテゴリの数だけ図８の楕円で示された同一位置に存在する）が存在する。
【０２５１】
ここで優先度を示す量は、式（５)に示すような特徴統合層出力（顕著度の値）と上位層からのフィードバック量の線形和（又はその順位）に相当する。この優先度の高い順に対応する注視制御ニューロンを活性化する制御信号が注視位置更新制御回路1901から特定の(更新位置の)注視制御ニューロンに対して送出される。注視位置更新制御回路1901は、優先度の高い注視制御ニューロンの位置(アドレス)を求めるために、後述する所定の方法で各注視制御ニューロンを逐次アクセスして優先度を算出し、かつソーティングを行って一次記憶部(不図示)に優先度の高い順にニューロンのアドレス情報を格納する。但し、予め設定してある優先度の許容範囲にある優先度の注視制御ニューロンのアドレスのみを格納する。
【０２５２】
優先度算出のための注視制御ニューロンへのアクセス方法としては、例えば、初期注視位置(前実施形態と同様に画面中央とする)から螺旋状にサンプリングして行う。また、撮影条件（被写体距離、倍率など）に基づいて探索すべき処理チャネルを決定し（被写体サイズが予め分かっているとすると撮影条件に応じた画面内の対象のサイズも分かり、その結果スケールレベルも絞られることによる）、対応する注視制御ニューロン群のみを探索してもよい。
【０２５３】
また注視位置更新制御回路1901は、登録された注視制御ニューロンアドレスの全てを順次選択するのではなく、予め設定された優先度範囲にある注視制御ニューロンを選択する。例えば、視覚探索（選択的注視制御）を行う初めの段階では、優先度の許容範囲を高めに設定しておき、その範囲で一巡するたびに（これを注視位置探索更新の回数にカウントし、その回数に応じて）優先度の許容範囲を変化させてもよい。例えば、その回数が増すたびに優先度の許容範囲を低くするか、或いは許容範囲を拡大すればよい。
【０２５４】
＜第３の実施形態＞
本実施形態の注視領域設定制御層108を中心とした構成を、図２０、２１に示す。本実施形態では注視制御ニューロン1801は、認識対象カテゴリに属する対象の位置と存在確率に関する情報を出力する上位層(例えば、特徴位置検出層(3,2)または特徴統合層(2,2))からのフィードバック結合と、当該認識カテゴリの対象が有する中次特徴の位置と存在確率(集団的符号化処理の説明を参照)または検出レベルに関する情報を出力する中間層(例えば、特徴位置検出層(3,1)または特徴統合層(2,1))からのフィードバック結合を受け、外部(例えば、図１で示される最上位層より更に上位の層)からの制御信号などにより、当該対象の探索時(検出モード)には上位層からのフィードバック入力を、当該対象の認識時(認識モード)には中間層からのフィードバック入力を優先する。
【０２５５】
ここで、検出モードでの対象の探索とは、単に認識対象と同一カテゴリの対象の検出(例えば、顔の検出)を行うことを意味し、認識とは、注視位置の設定制御をより詳細な特徴に基づいて行うことにより、当該対象が認識対象であるか否か（例えば、特定人物の顔か否か）の判定を行うことを意味する。後者の認識時は前者の探索時よりも、いわゆる注視度が高い状態である。
【０２５６】
フィードバック結合の重み付けによる優先の仕方は、図２６に示すフィードバック量変調部2601により設定される。このフィードバック量変調部2601を介した処理の流れを図２５に示す。フィードバック量変調部2601は、先ず各注視制御ニューロンに対する上位層からのフィードバック量と中間層からのフィードバック量をそれぞれ入力する（2501）。
【０２５７】
検出モードか認識モードかのモード制御信号の入力を行い（2502）、検出モードの場合には、上位層からのフィードバック量のみ、または両フィードバック量を適切な重み付けした線形和(αF₁ + βF₂：F₁は上位層から、F₂は中間層からのフィードバック量）をとり、上位層からのフィードバック量に関する寄与が大となるような(α ＞ β ≧ ０)結合フィードバック量の算出を行い、当該フィードバック量が出力となるような変調（増幅）を行う（2503）。一方、認識モードの場合には、中間層からのフィードバック量のみ、または両フィードバック量の線形和による中間層からのフィードバック量寄与が大となるような(０ ≦ α ＜ β)結合フィードバック量を算出し、同様な変調を与える（2504）。
【０２５８】
本実施形態では、どのフィードバック結合を優先するかは別として、注視位置の設定制御を実施形態１と同様に行うことができるが、実施形態１に係る方法に加えて、注視点位置に関するランダムな時間的変動を与えながら行ってもよい。このように注視位置にゆらぎを与えることにより、探索対象の検出をより効率良く行うことができる場合がある。即ち、実施形態１では、注視位置更新の際、常に近傍領域内での次候補探索処理を要していた（最新の注視位置の近傍領域において次候補となる注視制御ニューロンが存在しないとき、当該近傍領域の外部または外部の隣接位置に次の注視位置を設定した）が、注視位置のゆらぎ付与により、次のような特有の効果を得ることができる。
【０２５９】
（１）探索すべき近傍領域サイズを（ゆらぎの付与無しの場合より）小さくしても、探索に要する時間を同等に保ちながら、近傍領域内での探索に要する処理負荷を軽減することができる。何故ならば、注視位置のランダムなゆらぎは、近傍領域内での注視制御ニューロンへのフィードバック量等の比較処理を行わずに、注意位置の探索を行うことと等価な作用を与えるからである。
【０２６０】
（２）ゆらぎの幅が小さい場合には、所定の注視点を中心とする特徴検出層出力の時間的平均化による認識（検出）率を向上させることができる。
【０２６１】
注視位置のゆらぎを与える場合には、その変動幅は注視度に応じて変化させることができる。ここで、注視度とは、認識・検出対象の全体のパターンを構成する特定パターンの検出、またはそのような構成要素となる特定パターン間の配置の検出を行なう層からのフィードバック量を重視する度合いであり、例えば当該フィードバック量の注視制御ニューロンでの検出レベルを、全体パターン（高次特徴）の検出を行う層(上位層)からのフィードバック入力の検出レベルを基準として求めた値、即ち上位層からのフィードバック量F1に対する中間層からのフィードバック量F₂の比(F₂/F₁)で表される。
【０２６２】
注視度が高いときには変動幅を小さくする要領で、注視位置の変動幅を制御する。注視度は上位層からのフィードバック量の総和の単調増加関数とするか、或いは複数の注視制御ニューロン間でフィードバック量の差が小さいほど注視度（当該ニューロンへのフィードバック量）を大きくするフィードバック量の増幅を行うことによって定めてもよい。後者のフィードバック量の増幅は、注視領域設定制御層108において、図２６に示すフィードバック量変調部2601により該当する各注視制御ニューロン1801に対して行われる。
【０２６３】
注視点位置に時間的変動を与える方法としては、例えば最新の注視点位置を中心とする実施形態１と同様な近傍領域において、前述した変調後のフィードバック量に基づいて、実施形態１と同様に更新後の注視点を設定し、更にその位置のランダムな変動を与えることにより、最終的な更新後の注視制御ニューロン(注視位置)を設定する。このときランダムな変動の幅を注視度に応じて前述したように制御すればよい。
【０２６４】
＜第４の実施形態＞
本実施形態では、図２９に示すように、画像入力装置（カメラ、ビデオカメラ等）内部において、ユーザ（撮影者）が意図する画像入力（撮影）対象の位置・サイズ等の情報を検出するアシスト情報検出部2902（以下、本実施形態では視線を例に説明する）、および前述した実施形態に係る注視領域設定制御部2901を内蔵した被写体検出（認識）装置1111を設ける。
【０２６５】
アシスト情報（視線）検出部2902と注視領域設定制御部2901とが連動して注視位置の設定制御を行うことにより、画面中の特定対象に適し、かつユーザの意図を反映することのできる高速自動撮影を行う。なお、アシスト情報としては、視線の他にユーザにより明示的に設定してもよい。以下、アシスト情報検出部2902を視線検出部2902として記述する。
【０２６６】
図２９において、撮像装置1101は、撮影レンズおよびズーム撮影用駆動制御機構を含む結像光学系1102、CCD又はＣＭＯＳイメージセンサー1103、撮像パラメータの計測部1104、映像信号処理回路1105、記憶部1106、撮像動作の制御、撮像条件の制御などの制御用信号を発生する制御信号発生部1107、EVFなどファインダーを兼ねた表示ディスプレイ1108、ストロボ発光部1109、記録媒体1110などを具備する。
【０２６７】
更に、上述した視線検出部2901、視線検出用の接眼部光学系2903、注視領域設定制御部2901を内蔵した被写体検出（認識）手段1111を備える。接眼部光学系2903には、接眼レンズ、ハーフミラーの様な光分割器、集光レンズ、赤外光を発するＬＥＤなどの照明光源などから構成され、視線検出部2901は、ミラー、ピント板、ペンタ・ダハプリズム、光電変換器、信号処理手段などから構成され、視線位置検知信号は、撮像パラメータの計測部1104する出力する。
【０２６８】
なお、視線検出部2901の構成としては、本出願人による特許第２５０５８５４号公報、特許第２７６３２９６号公報、特許第２９４１８４７号公報などに開示された機構その他を用いることができ、説明を省略する。
【０２６９】
注視制御の具体的手順としては、まず、予めユーザが注目する場所（領域）を視線検出部2902により抽出し、その情報を一次記憶部に格納しておく。次に、注視領域設定制御部2901が起動して、予め記憶された注視候補位置（複数可）を優先的に探索する。ここで、優先的に探索するとは、実施形態２で説明したような優先順位を用いて注視位置を設定したのと同様に、例えば、ユーザが注視した位置の順番に注視位置を設定し、その都度、実施形態１などに示したような近傍領域の探索を一定時間範囲で行い、その後ユーザ注視位置への更新、近傍領域探索を交互に繰り返することを意味する。その理由は後に記す。
【０２７０】
一方、注視領域設定制御部2901の動作中に視線検出部2902からの信号を一定時間間隔で入力し、その時得られるユーザの注視する位置周辺を優先的に探索してもよい。具体的には、視線検出部2902からの信号により特定される画面内の注視位置に最も近い位置にある注視制御ニューロンを選択し、当該制御ニューロンを活性化する（或いは、図２１のゲーティング層2101の一定範囲のゲートに対してゲートのオープン信号を送る）ことにより、ユーザの注視位置を反映した認識（検出）処理を行う。
【０２７１】
以上のように、ユーザの注視する（した）位置に関する情報と注視位置設定制御処理により自動的に更新される注視位置情報とを組み合わせて注視領域の設定制御を行う主な理由は以下のとおりである。
【０２７２】
１．ユーザの注視している位置が常に撮影対象を正確に表す（の検出に役立つ）とは限らない。
【０２７３】
２．実施形態１、２、及び３に示すような注視位置設定制御の処理単独よりもユーザの意図する撮影対象の位置情報を補助的に用いることにより探索範囲を狭めることができ、より効率的な探索を行うことができる。
【０２７４】
３．注視領域設定制御部により設定された注視位置の誤り検出が容易となる。
【０２７５】
以上のように、ユーザの注視位置検出結果を援用することにより、確実かつ高速に被写体の検出と認識を行うことができた。
【０２７６】
以上説明した実施形態によれば、低次特徴（例えば、当該対象の検出には意味のないエッジなど）による擾乱を受けずに、注視すべき領域の設定制御を小規模の回路で高効率に行うことができる。特に、多重解像処理と集団的符号化処理メカニズムを、上位層からのフィードバック量が関与する注視制御に組み込んだことにより、複数の同一カテゴリに属する対象が、異なるサイズで任意の位置に存在している場合でも、高次特徴の検出レベルを用いてフィードバック制御する機構を設けたことにより、複数の対象間を効率良く探索することができる。
【０２７７】
また、特徴検出信号であるパルス信号について時間窓内での重み付き荷重和の閾値処理することにより、複雑多様な背景下において、検出（認識）すべき対称が複数存在しそれらの配置関係が事前にわからなくても、かつその変形（位置変動、回転等を含む）、特にサイズの変化や照明、ノイズの影響等による特徴検出の欠損等が生じても、確実に所望のパターンを効率よく検出することができる。この効果は、特定のネットワーク構造によらず実現することができるものである。
【０２７８】
更に、注視領域の設定更新をユーザからのアシスト情報（視線方向など）と注視領域設定制御処理とを用いて行うことにより、高速かつ確実に行う事ができた。
【０２７９】
また、高次特徴の検出レベルに応じた注視領域の探索を高効率に行い、所定のカテゴリの対象の検出及び認識を高速かつコンパクトな構成で行うことができる。
【０２８０】
また、注視領域の設定を低次特徴または入力データについてのみ行うことにより、従来技術（選択的チューニング法、及び特公平6-34236号公報）で行われていたような低次から高次までの設定制御を不要とし、処理効率の向上と高速化がもたらされる。
【０２８１】
また、低次等の特徴顕著度とフィードバック信号の双方を混合的に用いることにより、詳細なパターンの分析を行う様な認識モードでは、認識対象を構成する要素となるパターンや局所的な特徴配置に関する情報を優先的に活用し、単にある特徴カテゴリに属するパターンを検出する様な検出モードでは全体的な特徴（高次特徴、或いは上位層からのフィードバック信号）を優先的に扱うなど適応的な処理ができる。
【０２８２】
また、注視位置に関する優先度が予め求められ、その結果に基づいて注視位置が制御されるので注視領域の探索制御を極めて高速に行うことができる。
【０２８３】
また、注視位置探索回数に応じて注視位置に関する優先度の許容範囲を変化させることにより、認識対象の探索過程が巡回してしまう（ほぼ同じ探索位置を繰り返し探索する）ような場合には許容優先度を変化させて、実質的な探索範囲を変更することができる。
【０２８４】
また、優先度の分布から優先度の高い順に注視位置を設定し、優先度に基づいて選択された特徴の属する処理チャネルに基づき注視領域のサイズを制御することにより、認識検出対象のサイズが予め分からない場合でもその対象のサイズに応じた注視領域の設定を自動的に行うことが可能になる。
【０２８５】
また、注視領域を低次特徴検出層に属する特徴検出素子のアクティブな受容野として設定制御することにより、注視領域設定のための特別なゲーティング素子を設定しなくても注視領域の設定が可能になる。
【０２８６】
また、複数の解像度又はスケールレベルごとに複数の特徴を抽出することにより、任意サイズの対象を高効率に探索することができる。
【０２８７】
また、対象の探索時には上位層からのフィードバック入力を、当該対象の認識時には中間層からのフィードバック入力を優先することにより、所定のカテゴリに属する対象の検出のみを行うときは、高次の特徴（パターンの全体的な特徴）に基づいて探索を行い、類似物体間の識別や認識を行う場合には中次の特徴（全体の一部をなすパターンや特徴の配置関係に関する情報など）に基づいた詳細にわたる処理が可能となる。
【０２８８】
また、所定の注視度が大の時には注視領域の中心位置の時間的変動を小さくしたことにより、視覚探索時の注視位置のゆらぎを可変とし、注視度に応じた探索効率の向上と探索時間の短縮を実現する。
【０２８９】
また、注視領域のサイズを認識対象カテゴリに属するパターンに関する検出されたスケールレベルに基づいて設定することを特徴とする。これにより、予め対象のサイズがわからなくても処理チャネルにより予め対応づけられたサイズを推定サイズとして用いることができ、高効率な注視領域サイズの設定をすることができる。
【０２９０】
また注視度は、上位層からのフィードバック信号レベルの大きさの単調増加関数であるすることにより、高次特徴の検出レベルが高いほど注視度が高いものとして、その高次特徴に応じた自動処理を行うことができる。
【０２９１】
更に、上述したパターン検出装置からの出力信号に基づき、動作を制御することにより、低消費電力かつ高速に特定被写体をターゲットとした画像入力が任意の被写体距離で可能となる。この画像入力機器として、いわゆる静止画像、動画像その他立体画像などの撮影装置、及び複写機、ファクシミリ、プリンタその他の画像入力部を含む機器に適用できる。
【０２９２】
また、所定の基準に合致する注視領域を設定し、設定された注視領域を中心とする撮影条件の最適化制御を行うことにより、撮影対象を高効率に探索し、検出された対象に応じた最適自動撮影が可能となる。
【０２９３】
更に、検出した視線などのユーザからのアシスト情報に基づき注視領域を更新又は設定することにより、注視領域の設定制御を高速かつ確実に行う事ができる。
【０２９４】
【発明の効果】
以上説明したように、本発明によれば、注視領域の設定を高効率に行ないながら、所定のパターンの検出を高速に行うことができる。
【図面の簡単な説明】
【図１】 本発明に係る一実施形態のネットワーク構成を示すブロック図である。
【図２】 シナプス部とニューロン素子部の構成を示す図である。
【図３】 実施形態１において特徴統合層または入力層から特徴検出層ニューロンへの複数パルス伝播の様子を示す図である。
【図４】 シナプス回路の構成図を示す図である。
【図５】 シナプス結合小回路の構成、及び実施形態１で用いるパルス位相遅延回路の構成を示す図である。
【図６】 特徴検出層ニューロンにペースメーカニューロンからの入力がある場合のネットワーク構成を示す図である。
【図７】 特徴検出ニューロンに入力される異なる特徴要素に対応する複数パルスを処理する際の時間窓の構成、重み関数分布の例、特徴要素の例を示す図である。
【図８】 各層の処理手順を示すフローチャートである。
【図９】 各特徴検出ニューロンの処理手順を示すフローチャートである。
【図１０】 各特徴統合ニューロンの処理手順を示すフローチャートである。
【図１１】 実施形態に係るパターン検出（認識）装置を撮像装置に用いた例の構成を示す図である。
【図１２】 特徴統合層の回路構成を示す図である。
【図１３】 特徴統合層の回路構成を示す図である。
【図１４】 正規化回路の構成を示す図である。
【図１５】 チャネル活性度制御回路の構成を示す図である。
【図１６】 ゲーティング回路の構成を示す図である。
【図１７】 実施形態１のネットワーク構成を示すブロック図である。
【図１８】 注視制御層内の注視制御ニューロンを中心とした結合模式図である。
【図１９】 注視位置制御回路の構成を示す図である。
【図２０】 注視領域設定制御層を中心とするネットワーク構成を示す図である。
【図２１】 注視領域設定制御層を中心とするネットワーク構成を示す図である。
【図２２】 注視制御ニューロンへの下位層入力と上位層フィードバック入力の配分制御回路を示す図である。
【図２３】 スケール選択性の異なる複数処理チャネル出力を集団的符号化により統合した場合の出力例を示す図である。
【図２４】 実施形態２で用いるネットワーク構成を示す図である。
【図２５】 フィードバック量変調回路での処理の流れを示す図である。
【図２６】 実施形態３の注視制御層を中心とした構成を示す図である。
【図２７】 注視位置の設定制御に関する処理の流れを示すフローチャートである。
【図２８】 選択的注視機構を撮影装置に内蔵させた場合の制御の流れを示すフローチャートである。
【図２９】 被写体認識機構を備えた画像入力装置を示す図である。

Claims (9)

1. パターンを入力する入力手段と、
   前記入力手段より入力されたパターンを所定の方法によりサンプリングして得られる各点に対応して、それぞれ複数の特徴を検出する複数個の特徴検出素子と、特徴顕著度を検出する顕著度検出素子と、前記素子間を結合し信号を伝達する結合手段とを備え、低次から高次までの特徴に関する複数の素子層を形成し、所定パターンの検出を行なう検出処理手段と、
   注視領域設定制御手段とを有し、
   前記結合手段は、高次の特徴に関する素子層からそれより低次の特徴に関する素子層への信号伝達を行うフィードバック結合手段を備え、
   前記注視領域設定制御手段は、前記特徴顕著度と前記フィードバック結合手段より得られる信号伝達量とに基づいて、低次の特徴データ又は入力データに関する注視領域の設定を制御することを特徴とするパターン検出装置。
2. 前記注視領域設定制御手段は、注視領域の位置及びサイズの設定を更新することを特徴とする請求項１に記載のパターン検出装置。
3. 前記注視領域設定制御手段が、
   注視領域の位置を前記フィードバック結合手段からの信号伝達量と低次特徴の顕著度とに基づき注視位置優先度を各入力データ上のサンプリング点位置で求める優先度算出手段と
   前記優先度の分布から優先度の高い順に注視位置を設定する注視位置設定手段とを有することを特徴とする請求項１に記載のパターン検出装置。
4. 前記注視領域設定制御手段が、
   注視位置探索回数をカウントするカウント手段と、
   前記注視位置探索回数に応じて、前記注視位置設定手段により注視位置を設定可能な優先度の許容範囲を制御する制御手段とを有することを特徴とする請求項３に記載のパターン検出装置。
5. 前記検出手段は、複数のスケールレベル又は解像度に対応する複数の処理チャネルを有し、
   前記注視領域設定制御手段は、前記優先度に基づいて選択された特徴の属する処理チャネルに基づき注視領域のサイズを制御することを特徴とする請求項３に記載のパターン検出装置。
6. 前記注視領域設定制御手段は、注視領域を低次特徴検出層に属する特徴検出素子のアクティブな受容野として設定制御することを特徴とする請求項１に記載のパターン検出装置。
7. 前記注視領域設定制御手段は、認識対象カテゴリに属する対象の位置と存在確率に関する情報を出力する上位層からのフィードバック結合と当該認識カテゴリの対象が有する中次特徴の位置と存在確率に関する情報を出力する中間層からのフィードバック結合を受け、当該対象の探索時には前記上位層からのフィードバック入力を、当該対象の認識時には前記中間層からのフィードバック入力を優先することを特徴とする請求項１に記載のパターン検出装置。
8. 前記注視領域設定制御手段は、所定の注視度が大の時には注視領域の中心位置の時間的変動を小さくしたことを特徴とする請求項７に記載のパターン検出装置。
9. 前記注視度は、前記上位層からのフィードバック信号レベルの大きさの単調増加関数値であることを特徴とする請求項８に記載のパターン検出装置。

Images