JP4478296B2

JP4478296B2 - パターン検出装置及び方法、画像入力装置及び方法、ニューラルネットワーク回路

Info

Publication number: JP4478296B2
Application number: JP2000181487A
Authority: JP
Inventors: 優和真継
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-06-16
Filing date: 2000-06-16
Publication date: 2010-06-09
Anticipated expiration: 2020-06-16
Also published as: JP2002008032A

Description

【０００１】
【発明の属する技術分野】
本発明は、神経回路網などの並列演算デバイスにより、パターン認識、特定被写体の検出等を行うパターン検出装置及び方法、ニューラルネットワーク回路に関するものである。
【０００２】
【従来の技術】
従来より、画像認識や音声認識の分野においては、特定の認識対象に特化した認識処理アルゴリズムをコンピュータソフトとして逐次演算して実行するタイプ、或いは専用並列画像処理プロセッサ（ＳＩＭＤ、ＭＩＭＤマシン等）により実行するタイプに大別される。
【０００３】
画像認識アルゴリズムを例として、その代表例を以下に挙げる。先ず、認識対象モデルとの類似度に関する特徴量を算出して行うものとしては、認識対象のモデルデータをテンプレートモデルとして表現しておき、入力画像（或いはその特徴ベクトル）とのテンプレートマッチング等による類似度算出や、高次相関係数の算出などによる方法、対象のモデル画像を主成分分析して得られる固有画像関数空間へ入力パターンを写像してモデルとの特徴空間内での距離を算出する方法(Sirovich, et al., 1987, Low-dimensional procedure for the characterization of human faces, J. Opt. Soc. Am. [A], vol. 3, pp.519-524)、複数の特徴抽出結果（特徴ベクトル）およびその空間配置関係をグラフ表現し、弾性的グラフマッチングによる類似度算出を行う方法（Lades et al. 1993, Distortion Invariant Object Recognition in the Dynamic Link Architecture, IEEE Trans. on Computers, vol.42, pp.300-311）、入力画像に所定の変換を行って位置、回転、スケール不変な表現を得た後にモデルとの照合を行う方法（Seibert, et al. 1992, Learning and recognizing 3D objects from multiple views in a neural system, in Neural Networks for Perception, vol. 1 Human and Machine Perception(H. Wechsler Ed.) Academic Press, pp.427-444）等がある。
【０００４】
生体の情報処理機構にヒントを得た神経回路網モデルによるパターン認識方法としては、階層的テンプレートマッチングを行う方法（特公昭60-712号公報、Fukushima & Miyake, 1982 Neocognitron: A new algorithm for pattern recognition tolerant of deformation and shifts in position, Pattern Recognition, vol.15, pp.455-469）、ダイナミックルーティング神経回路網により対象中心のスケール、位置不変な表現を得て行う方法(Anderson, et al. 1995, Routing Networks in Visual Cortex, in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press, pp.823-826)、その他多層パーセプトロン、動径基底関数(Radial Basis Function)ネットワークなどを用いる方法がある。
【０００５】
一方、生体の神経回路網による情報処理機構をより忠実に取り入れようとする試みとして、アクションポテンシャルに相当するパルス列による情報の伝達表現を行う神経回路網モデル回路が提案されている(Murray et al., 1991 Pulse-Stream VLSI Neural Networks Mixing Analog and Digital Techniques, IEEE Trans. on Neural Networks, vol.2, pp.193-204.；特開平7-262157号公報、特開平7-334478号公報、特開平8-153148号公報、特許２８７９６７０号公報など)。
【０００６】
パルス列生成ニューロンからなる神経回路網により特定対象の認識、検出を行う方法としては、結合入力(linking inputs)と供給入力(feeding inputs)を前提としたEckhornらによる高次（２次以上）のモデル（Eckhorn, et al. 1990, Feature linking via synchronization among distributed assemblies: Simulation of results from cat cortex, Neural Computation, Vol.2, pp.293-307)、即ち、パルス結合神経回路網(以下、ＰＣＮＮと略す) を用いた方式がある（USP5,664,065、及び、Broussard, et al. 1999, Physiologically Motivated Image Fusion for Object Detection using a Pulse Coupled Neural Network, IEEE Trans. on Neural Networks, vol. 10, pp.554-563、など）。
【０００７】
また、ニューラルネットワークにおける配線問題を軽減する方法として、いわゆるパルス出力ニューロンのアドレスをイベント駆動型で符号化する方法（Address Event Representation：以下、ＡＥＲという）がある(Lazzaro, et al. 1993, Silicon Auditory Processors as Computer Peripherals, In Tourestzky, D. (ed), Advances in Neural Information Processing Systems 5. San Mateo, CA:Morgan Kaufmann Publishers)。この方法では、パルス列出力側のニューロンのＩＤをアドレスとして２値で符号化することにより、異なるニューロンからの出力信号を共通バス上に時間的に配列しても、それを入力する側のニューロンでは元のニューロンのアドレスを自動的にデコードすることができる。
【０００８】
【発明が解決しようとする課題】
前述した従来方法を回路等により実現する場合(特に画像認識への応用に関して)、各処理単位をなす機能（例えば、特徴抽出など）を構成する、特に演算素子レベル、モジュールレベル、或いはシステムレベルのいずれにおいても、時間軸での動的特性を活用して２次元パターンに関する情報の表現を行い、かつこれを認識等に活用する方法がなかった。
【０００９】
即ち、多くの場合、空間的なパターン情報を空間的に配置された演算素子（モジュール）のある時刻での有限の状態数からなる遷移（典型的には発火、非発火の２値）パターンにより処理が進行することを前提とし、デジタルな情報表現のドメインでの処理に限られていた。
【００１０】
このために情報処理能力が限られ、回路として実現する際、その規模が過大かつ高コストになりがちであった。特に、ニューロン間の結線に伴う膨大な数の配線が占める面積の全体に占める割合が少なからず大きく、問題となっていた。
【００１１】
そこで、上記の問題を軽減すべく、前述のＡＥＲが提案されたが、この方法では、ニューロンのアドレスを逐次符号化、復号化する機構が必要となり、回路構成が煩雑であるという問題点があった。
【００１２】
一方、スパイク列の入出力、伝達により所定の処理を行う神経回路網モデルにおいて、スパイク列の時間軸ドメインでのアナログ情報（スパイク間の間隔など）を画像情報の符号化などに活用して認識機能を実現する方法について、上記PCNNに係る文献を含めて、神経回路網による具体的な構成が示されていなかった。
【００１３】
更に、アナログ回路素子による構成では、デジタル方式に比べ、回路構成の簡素化（少ない素子数）、高速化、低消費電力化がもたらされることが一般に知られているが、その一方で、個々の素子特性のばらつきによる入出力特性の信頼性、ノイズに対する耐性が少なからず問題となっていた。
【００１４】
本発明は上述した課題を解決するためになされたものであり、パターンの検出に関する情報処理能力を飛躍的に向上させ、所定のパターンの検出を、従来より小さい回路規模で、高精度に実現可能なパターン検出装置を提供することを目的とする。
【００１５】
また、他の目的は、ニューロン間の結線に伴う配線の数を低減させ、簡単な構成で低コストのニューラルネットワーク回路を提供することである。
【００１６】
【課題を解決するための手段】
上述した課題を解決するために、本発明によれば、パターン検出装置に、パターンを入力する入力手段と、複数の信号処理素子を備え、前記入力手段より入力されたパターンに対して所定の複数の特徴に関する検出を行なって、当該パターンに含まれる所定のパターンを検出するパターン検出手段とを有し、前記複数の信号処理素子の各々が、前記入力手段または他の信号処理素子からの入力に応じて、更に他の信号処理素子または外部にパルス信号を出力し、前記複数の信号処理素子の所定の一部が、所定時間範囲内に入力された複数のパルス信号の到着時間パターンに応じた出力レベルでパルス信号を出力することを特徴とする。
【００１９】
また、本発明の他の態様によれば、入力部よりパターンを入力し、複数の信号処理素子を用いて、入力された前記パターンに対して所定の複数の特徴に関する検出を行なって、当該パターンに含まれる所定のパターンを検出するパターン検出方法において、前記複数の信号処理素子の各々が、前記入力部または他の信号処理素子からの入力に応じて、更に他の信号処理素子または外部にパルス信号を出力し、前記複数の信号処理素子の所定の一部が、所定時間範囲内に入力された複数のパルス信号の到着時間パターンに応じた出力レベルでパルス信号を出力することを特徴とする。
【００２１】
【発明の実施の形態】
＜第１の実施形態＞
以下、図面を用いて本発明の１実施形態を詳細に説明する。
【００２２】
本実施形態では、神経回路網によりパターン認識を行う場合に、空間的なパターン情報の表現を、構成要素であるニューロンの時間軸ドメインでの動的特性（例えば、スパイクトレインの時空間発火特性、ニューロンの時空間的積算による入力特性、スパイクトレインのスパイク間隔など）を活用して行うことにより、空間的なパターンの認識に関する情報処理能力を飛躍的に向上させ、従来より小さい回路規模で、高精度に実現可能なパターン検出装置を提供する。
【００２３】
図１は本実施形態のパターン検出・認識装置の全体構成を示す図である。ここで、パターン情報はＷｈａｔ経路とＷｈｅｒｅ経路により処理される。Ｗｈａｔ経路は対象または幾何学的特徴などの認識(検出)に関与する情報を、Ｗｈｅｒｅ経路は対象または特徴の位置(配置)に関する情報を主として扱う。
【００２４】
Ｗｈａｔ経路はいわゆるConvolutionalネットワーク構造(LeCun, Y. and Bengio, Y., 1995, “Convolutional Networks for Images Speech, and Time Series” in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press, pp.255-258)を有している。但し、同経路内の層間結合は相互結合をなし得る点(後述)が、従来と異なる。Ｗｈａｔ経路の最終出力は認識結果、即ち認識された対象のカテゴリに相当する。また、Ｗｈｅｒｅ経路の最終出力は、認識結果に対応する場所を表す。
【００２５】
データ入力層101は、画像の検出認識などを行う場合は、ＣＭＯＳセンサー或いはＣＣＤ素子等の光電変換素子であり、音声の検出認識などを行う場合には音声入力センサーである。また、所定データ解析部の解析結果（例えば、主成分分析、ベクトル量子化など）から得られる高次元のデータを入力するものであってもよい。データ入力層101は、上記２経路に共通のデータ入力を行う。
【００２６】
以下、画像を入力する場合について説明する。Ｗｈａｔ経路には、特徴検出層102（(１,０）、(１,１)、…、(１,N)）と特徴統合層103（(２,０)、(２,１)、…、(２,N)）とがある。
【００２７】
最初の特徴検出層(１,０)は、Gabor wavelet変換などにより、データ入力層101より入力された画像パターンの局所的な低次の特徴（幾何学的特徴のほか色成分特徴を含んでもよい）を、全画面の各位置(或いは、全画面にわたる所定のサンプリング点の各点)において同一箇所で複数個(種類)検出する。そのために、各々が受容野105を有し、それぞれ異なる特徴を検出する検出モジュール104を複数備えている。各検出モジュール104は、特徴量の種類（例えば、幾何学的特徴として所定方向の線分を抽出する場合には、その幾何学的構造である線分の傾き）に応じた受容野構造を有し、その程度に応じたパルス列を発生するニューロン素子から構成される。
【００２８】
特徴統合層103(２,０)は、複数の特徴統合モジュール106を有する。各特徴統合モジュール106は、所定の受容野構造を有し、パルス列を発生するニューロン素子からなり、特徴検出層102(１,０)からの同一受容野内の複数のニューロン素子出力の統合（局所平均化等の演算）を行う。また、各受容野は同一層内のニューロン間で共通の構造を有している。
【００２９】
後続の層である各特徴検出層102（(１,１）、(１,２)、…、(１,N)）及び各特徴統合層103（(２,１)、(２,２)、…、(２,N)）は、それぞれ学習により獲得した所定の受容野構造を持ち、上述した各層と同様に前者（(１,１)、…）は、各特徴検出モジュール104において複数の異なる特徴の検出を行い、後者（(２,１)、…）は、前段の特徴検出層102からの複数特徴に関する検出結果の統合を行うもので、特徴統合層103(２,０)と同様の機能と構造を有する。
【００３０】
一方、Where経路には、特徴位置検出層107（(３,０)、…、(３,ｋ)）があり、What経路上の所定の（全てである必要はない）特徴統合層103の出力を受け、低次、中次、高次特徴の位置の出力に関与する。以下では、Where経路の各層については、更に詳しい説明を省略する。
【００３１】
各層間のニューロン素子201間を結合する構造は、図２の（Ａ）に示すように、神経細胞の軸索または樹状突起に相当する信号伝達部203（配線または遅延線）、及びシナプス回路Ｓ202である。図２の（Ａ）では、ある特徴検出（統合）細胞（Ｎ）に対する受容野を形成する特徴統合(検出)細胞のニューロン群（ni）からの出力（当該細胞Ｎから見ると入力）に関与する結合の構成を示している。太線で示している信号伝達部203は共通バスラインを構成し、この信号伝達ライン上に複数のニューロンからのパルス信号が時系列に並んで伝達される。出力先の細胞（Ｎ）からの入力を受ける場合も同様の構成がとられる。この場合には、全く同じ構成において時間軸上で入力信号と出力信号とを分割して処理してもよいし、或いは入力用（樹状突起側）と出力用（軸索側）の２系統で、図２の（Ａ）と同様の構成を与えて処理してもよい。
【００３２】
シナプス回路Ｓ202としては、層間結合（特徴検出層102上のニューロンと特徴統合層103上のニューロン間の結合であって、各層ごとにその後続の層及び前段の層への結合が存在しうる）に関与するものと、同一層内ニューロン間結合に関与するものとがある。後者は必要に応じて、主に、後述するペースメーカーニューロンと特徴検出または特徴統合ニューロンとの結合に用いられる。
【００３３】
シナプス回路Ｓ202において、いわゆる興奮性結合はパルス信号の増幅を行い、抑制性結合は逆に減衰を与えるものである。パルス信号により情報の伝達を行う場合、増幅及び減衰はパルス信号の振幅変調、パルス幅変調、位相変調、周波数変調のいずれによっても実現することができる。本実施形態においては、シナプス結合回路Ｓ202を、主にパルスの位相変調素子として用い、信号の増幅は、パルス到着時間の実質的な進み、減衰は実質的な遅れとして変換される。
【００３４】
図２の（Ａ）において、各ニューロン素子n_jは、パルス信号（スパイクトレイン）を出力し、後述する様な、いわゆるintegrate-and-fire型のニューロン素子を用いている。なお、図２の（C）に示すように、シナプス回路とニューロン素子とを、それぞれまとめて回路ブロックを構成してもよい。
【００３５】
Ｗｈｅｒｅ経路内の各特徴位置検出層107は、Ｗｈａｔ経路の特徴統合層103の出力を受けて、データ入力層101上の位置関係を保持し、粗くサンプリングされた格子点上の各点で、Ｗｈａｔ経路上の特徴抽出結果のうち認識に有用な成分（認識カテゴリのパターンから予め登録してあるもの）に対応するニューロンのみが、フィルタリングなどにより応答する。例えば、Ｗｈｅｒｅ経路内の最上位層では、認識対象のカテゴリに対応するニューロンが格子上に配列され、どの位置に該当する対象が存在するかを表現する。また、Ｗｈｅｒｅ経路内の中間層のニューロンは、上位層からのトップダウンの入力を受けて、対応する認識対象の存在位置を中心として配置しうる特徴が検出された場合にのみ応答するように感度調整等が行われるようにすることができる。
【００３６】
位置関係が保持される階層的特徴検出をＷｈｅｒｅ経路で行う際には、受容野構造が局所的（例えば、楕円形状）であってサイズが上位層ほど徐々に大きくなる（または、中間層から上位層にかけてはセンサー面上の１画素より大きいサイズであって一定である）ように構成すれば、特徴要素（図形要素、図形パターン）間の位置関係は、センサー面上での位置関係をある程度保存しつつ、各層において各特徴要素（図形要素）が検出されるようにすることができる。
【００３７】
なお、Ｗｈｅｒｅ経路の他の出力形態としては、特徴検出層(１,０)の出力結果に基づいて得られる特徴の顕著度マップから、データ入力層上での所定サイズの注視領域を設定し、当該領域の位置とサイズ及びその中での認識対象カテゴリの有無を出力するものであってもよい。更に他の形態としては、階層的に上位層ほど受容野サイズが大きくなり、最上位層では検出された対象のカテゴリに対応するニューロンのうち、最大値を出力するものだけが発火するように構成された神経回路網でもよい。このような系では、データ入力層での配置関係（空間的位相）に関する情報を、最上位層（及び中間の各層）においてもある程度保存するようになっている。
【００３８】
次に各層を構成するニューロンについて説明する。各ニューロン素子は、いわゆるintegrate-and-fireニューロンを基本として拡張モデル化したもので、入力信号（アクションポテンシャルに相当するパルス列）を時空間的に線形加算した結果が閾値を越したら発火し、パルス状信号を出力する点では、いわゆるintegrate-and-fireニューロンと同じである。
【００３９】
図２の（Ｂ）はニューロン素子としてのパルス発生回路（ＣＭＯＳ回路）の動作原理を表す基本構成の一例を示している。これは、公知の回路(IEEE Trans. on Neural Networks Vol. 10, pp.540)を拡張したものである。ここでは、入力として興奮性と抑制性の入力を受けるものとして構成されている。
【００４０】
以下、このパルス発生回路の動作原理について説明する。興奮性入力側のキャパシタC1及び抵抗Ｒ１回路の時定数は、キャパシタＣ２及び抵抗Ｒ２回路の時定数より小さく、定常状態では、トランジスタＴ１、Ｔ２、Ｔ３は遮断されている。なお、抵抗は実際には、ダイオードモードで結合するトランジスタで構成される。
【００４１】
キャパシタC1の電位が増加し、キャパシタC2のそれよりトランジスタＴ１の閾値だけ上回ると、トランジスタＴ１はアクティブになり、更にトランジスタＴ２，Ｔ３をアクティブにする。トランジスタＴ２，Ｔ３は、電流ミラー回路を構成し、図２の（Ｂ）の回路の出力は、不図示の出力回路によりキャパシタC1側から出力される。キャパシタＣ２の電荷蓄積量が最大となると、トランジスタＴ１は遮断され、その結果としてトランジスタＴ２及びＴ３も遮断され、上記正のフィードバックは０となる様に構成されている。
【００４２】
いわゆる不応期には、キャパシタＣ２は放電し、キャパシタＣ１の電位がキャパシタＣ２の電位よりも大で、その差がトランジスタＴ１の閾値分を超えない限り、ニューロンは応答しない。キャパシタＣ１、Ｃ２の交互充放電の繰り返しにより周期的なパルスが出力され、その周波数は一般的には興奮性入力のレベルに対応して定まる。但し、不応期が存在することにより、最大値で制限されるようにすることもできるし、一定周波数を出力するようにもできる。
【００４３】
キャパシタの電位、従って電荷蓄積量は、基準電圧制御回路（時間窓重み関数発生回路）204により時間的に制御される。この制御特性を反映するのが、入力パルスに対する後述の時間窓内での重み付き加算である（図７参照）。この基準電圧制御回路204は、後述するペースメーカニューロンからの入力タイミング（又は、後続層のニューロンとの相互結合入力）に基づき、基準電圧信号（図７の（Ｂ）の重み関数に相当）を発生する。
【００４４】
抑制性の入力は、本実施形態においては必ずしも要しない場合があるが、後述するペースメーカニューロンから特徴検出層ニューロンへの入力を抑制性とすることにより、出力の発散（飽和）を防ぐことができる。
【００４５】
一般的に、入力信号の上記総和と出力レベル（パルス位相、パルス周波数、パルス幅など）との関係は、そのニューロンの感度特性によって変化し、また、その感度特性は、上位層からのトップダウンの入力により変化させることができる。以下では、説明の便宜上、入力信号総和値に応じたパルス出力の周波数は、急峻に立ち上がるように回路パラメータが設定されているものとし（従って周波数ドメインでは殆ど２値）、パルス位相変調により、出力レベル（位相変調を加えたタイミングなど）が変動するものとする。
【００４６】
また、パルス位相の変調部としては、後述する図５に示すような回路を付加して用いてもよい。これにより、時間窓内の重み関数が上記基準電圧により制御される結果、このニューロンからのパルス出力の位相が変化し、この位相をニューロンの出力レベルとして用いることができる。
【００４７】
また、窓関数などを用いることにより得られる入力の総和値が閾値を越えたときに、所定タイミング遅れて発振出力を出すような公知の回路構成を用いてもよい。
【００４８】
ニューロン素子の構成としては、特徴検出層102または特徴統合層103に属するニューロンであって、後述するペースメーカニューロンの出力タイミングに基づき発火パターンが制御される場合には、ペースメーカーニューロンからのパルス出力を受けた後、当該ニューロンが、前段の層の受容野から受ける入力レベル（上記の入力の単純または重み付き総和値）に応じた位相遅れをもって、パルス出力するような回路構成であればよい。この場合、ペースメーカーニューロンからのパルス信号が入力される前では、入力レベルに応じて各ニューロンは互いにランダムな位相でパルス出力する過渡的な遷移状態が存在する。
【００４９】
また、後述するようにペースメーカニューロンを用いない場合には、ニューロン間（特徴検出層102と特徴統合層103の間）の相互結合とネットワークダイナミックスによりもたらされる同期発火信号を基準とし、上述したような入力レベルに応じた特徴検出ニューロンの出力パルスの発火タイミングの制御がなされるような回路構成であってもよい。
【００５０】
特徴検出層102のニューロンは、前述したように特徴カテゴリに応じた受容野構造を有し、前段の層（入力層101または特徴統合層103）のニューロンからの入力パルス信号（電流値または電位）の時間窓関数による荷重総和値（後述）が閾値以上となったとき、その総和値に応じて、例えばシグモイド関数等の一定レベルに漸近的に飽和するような非減少かつ非線形な関数、即ちいわゆるsquashing関数値をとるような出力レベル（ここでは位相変化で与えるが、周波数、振幅、パルス幅基準での変化となる構成でもよい）でパルス出力を行う。
【００５１】
特徴検出層(１,０)には、局所的な、ある大きさの領域で所定の空間周波数を持ち、方向成分が垂直であるようなパターンの構造（低次特徴）を検出するニューロンN1があるとすると、データ入力層101上のニューロンN1の受容野内に該当する構造が存在すれば、その顕著度(コントラスト)に応じた位相でパルス出力する。このような機能はGabor filterにより実現することができる。以下、特徴検出層(１,０)の各ニューロンが行う特徴検出フィルタ機能について説明する。
【００５２】
特徴検出層(１,０)では、多重スケール、多重方向成分のフィルタセットで表されるGaborウエーブレット変換を行うものとし、層内の各ニューロン（または複数ニューロンからなる各グループ）は、所定の Gaborフィルタ機能を有する。
【００５３】
Gaborウエーブレットは、以下の式（１）で与えられるように、一定の方向成分と空間周波数とを有する正弦波をガウシアン関数で変調した形状を有し、スケーリングレベルのインデックスmと方向成分のインデックスｎで特定される。ウエーブレットとしてこのフィルタのセットは互いに相似の関数形状を有し、また主方向と大きさが互いに異なる。このウエーブレットは空間周波数ドメインと実空間ドメインで関数形が局在していること、位置と空間周波数に関する同時不確定性が最小となり、実空間でも周波数空間でも最も局在した関数であることが知られている（J,G.Daugman (1985), Uncertainty relation for resolution in space, spatial frequency, and orientation optimized by two-dimensional visual cortical filters, Journal of Optical Society of America A, vol.2, pp. 1160-1169）。
【００５４】
【外１】

【００５５】
ここで、(x,y)が画像中の位置、aはスケーリングファクター、θ_nはフィルタの方向成分を表し、Wは基本空間周波数、σ_x, σ_yはフィルタ関数のｘ方向、ｙ方向の広がりの大きさを与えるパラメータである。本実施形態ではθ_nは６方向で０度、３０度、６０度、９０度、１２０度、１５０度の値をとり、aは２とし、mは１から４までの値をとる整数として与える。
【００５６】
フィルタの特性を定めるパラメータσ_x, σ_y、および、aはフーリエドメインで互いに適切に均質に重なり合うことにより、特定の空間周波数及び方向への偏り(感度)がないように設定されるのが望ましい。そのために例えば、フーリエ変換後の振幅最大値に対する半値レベルがフーリエドメインで互いに接するように設計すると、
【００５７】
【外２】

となる。ここに、U_H, U_Lはウエーブレット変換でカバーする空間周波数帯域の最大値、最小値であり、Mはその範囲でのスケーリングレベル数を与える。
【００５８】
各フィルタg_mn(x,y)と入力濃淡画像との２次元畳み込み演算を行うことにより、Gaborウエーブレット変換が行われる。即ち、
【００５９】
【外３】

【００６０】
ここにIは入力画像、W_mnはGaborウエーブレット変換係数である。W_mn (m=1,..,4; n=1,..., 6)のセットを特徴ベクトルとして各点で求める。'^*'は複素共役をとることを示す。このようにして特徴検出層(１,０)の各ニューロンは、gmnに対応する受容野構造を有し、分布重み係数と画像データとの積和入力を行って得られるウエーブレット変換係数値の非線型squashing関数となる出力レベル（ここでは位相基準とするが、周波数、振幅、パルス幅基準となる構成でもよい）でパルス出力を行う。この結果、この層（１,０）全体の出力として、式（４）のGabor wavelet変換が行われたことになる。
【００６１】
一方、後続の特徴検出層（(１,１）、(１,２)、…、(１,ｎ)）の各ニューロンは、上記検出層とは異なり、認識対象のパターンに固有の特徴を検出する受容野構造をいわゆるHebb学習則等により形成する。後の層ほど特徴検出を行う局所的な領域のサイズが認識対象全体のサイズに段階的に近くなり、幾何学的には中次または高次の特徴を検出する。例えば、顔の検出認識を行う場合には中次（または高次）の特徴とは顔を構成する目、鼻、口等の図形要素のレベルでの特徴を表す。なお、特徴検出層ニューロンは、出力の安定化のために抑制性（分流型抑制：shunting inhibition）の結合を前段の層出力に基づいて受けるような機構を有してもよい。
【００６２】
次に、特徴統合層103（(２,０)、(２,１)、…）のニューロンについて説明する。図１に示す如く特徴検出層102（例えば(１,０)）から特徴統合層103(例えば(２,０))への結合は、当該特徴統合ニューロンの受容野内にある前段の特徴検出層の同一特徴要素（タイプ）のニューロンから興奮性結合の入力を受けるように構成され、統合層の各ニューロンは各特徴カテゴリごとの局所平均化（特徴検出ニューロンの受容野を形成するニューロンからの入力の平均値算出等）などによるサブサンプリングを行う。
【００６３】
即ち、特徴統合において、複数の同一種類の特徴のパルスを入力し、それらを局所的な領域（受容野）で統合して平均化などすることにより、その特徴の位置のゆらぎ、変形に対しても確実に検出することができる。このため、特徴統合層ニューロンの受容野構造は、特徴カテゴリによらず一様（例えば、いずれも所定サイズの矩形領域であって、かつ感度または重み係数がその中で一様分布するなど）となるように構成してよい。
【００６４】
次に、２次元図形パターンのパルス符号化と検出方法について説明する。図３は、特徴統合層103から特徴検出層102への（例えば、図１の層(２,０)から層(１,１)への）パルス信号の伝播の様子を模式的に示した図である。
【００６５】
特徴統合層103側の各ニューロンn_i（n₁〜n₄）は、それぞれ異なる特徴量（或いは特徴要素）に対応しており、特徴検出層102側のニューロンn'_jは、同一受容野内の各特徴を組み合わせて得られる、より高次の特徴（図形要素）の検出に関与する。
【００６６】
各ニューロン間結合には、パルスの伝播時間とニューロンn_iからニューロンn'_jへのシナプス結合（S_ij）での時間遅れ等による固有（特徴に固有）の遅延が生じ、その結果として、共通バスライン301を介してニューロンn'_jに到着するパルス列P_iは、特徴統合層103の各ニューロンからパルス出力がなされる限り、学習によって決まるシナプス結合での遅延量により、所定の順序（及び間隔）になっている（図３の（Ａ）では、P₄,P₃,P₂,P₁の順に到着することが示されている）。
【００６７】
図３の（Ｂ）は、ペースメーカニューロンからのタイミング信号を用いて時間窓の同期制御を行う場合において、層番号（2,k）上の特徴統合細胞n₁、n₂、n₃（それぞれ異なる種類の特徴を表す）から、層番号（1,k+1）上のある特徴検出細胞(n'_j)（より上位の特徴検出を行う）へのパルス伝播のタイミング等を示している。
【００６８】
図６は、特徴検出層ニューロンにペースメーカニューロンからの入力がある場合のネットワーク構成を示す図である。図６において、ペースメーカニューロン603（n_p)は、同一の受容野を形成し、かつ異なる種類の特徴を検出する特徴検出ニューロン602（n_j,n_k等）に付随し、それらと同一の受容野を形成して、特徴統合層（または入力層）上のニューロン601からの興奮性結合を受ける。そして、その入力の総和値（或いは受容野全体の活動度レベル平均値など、受容野全体に固有の活動特性を表す状態に依存するように制御するため）によって決まる所定のタイミング（または周波数）でパルス出力を特徴検出ニューロン602及び特徴統合ニューロンに対して行う。
【００６９】
また、各特徴検出ニューロン602では、その入力をトリガー信号として互いに時間窓が位相ロックする様に構成されているが、前述したようにペースメーカニューロン入力がある前は、位相ロックされず、各ニューロンはランダムな位相でパルス出力する。また、特徴検出ニューロン602では、ペースメーカニューロン603からの入力がある前は後述する時間窓積分は行われず、ペースメーカニューロン603からのパルス入力をトリガーとして、同積分が行われる。
【００７０】
ここに、時間窓は特徴検出細胞(n'_i)ごとに定められ、当該細胞に関して同一受容野を形成する特徴統合層内の各ニューロンおよび、ペースメーカニューロン603に対して共通であり、時間窓積分の時間範囲を与える。
【００７１】
層番号(1,k)にあるペースメーカニューロン603は（ｋは０以上の整数）、パルス出力を、層番号(2,k-1)の各特徴統合細胞、及びそのペースメーカニューロン603が属する特徴検出細胞（層番号(1,k)）に出力することにより、特徴検出細胞が時間的に入力を加算する際の時間窓発生のタイミング信号を与えている。この時間窓の開始時刻が各特徴統合細胞から出力されるパルスの到着時間を図る基準時となる。即ち、ペースメーカニューロン603は特徴統合細胞からのパルス出力時刻、及び特徴検出細胞での時間窓積分の基準パルスを与える。
【００７２】
層番号(2,k)の各特徴統合細胞(n₁,n₂,n₃)は、層番号(1,k+1)の特徴検出層のペースメーカニューロンからのパルス入力を受け、かつ前段の特徴検出層またはセンサー入力層（層番号(1,k）)からの入力により十分なレベルに活動電位が上昇している場合（例えば、ある時間範囲または時間窓での平均入力パルス数が閾値より大）には、ペースメーカからのパルスの立ち下がり時に出力を行う。
【００７３】
本実施形態では、この特徴統合細胞は、その前の層番号(1,k)の特徴検出層上のペースメーカニューロンからのタイミング制御は受けるようには、構成していない。なぜならば、特徴統合細胞においては、入力パルスの到着時間パターンではなく、むしろ一定の時間範囲での入力レベル（入力パルスの時間的総和値など）によって決まる位相（周波数、パルス幅、振幅のいずれに依存してもよいが、本実施形態では位相とした）でのパルス出力をするため、時間窓の発生タイミングは余り重要ではないからである。なお、このことは、特徴統合細胞が前段の特徴検出層のペースメーカニューロンからのタイミング制御を受ける構成を排除する趣旨ではなく、そのような構成も可能であることはいうまでもない。
【００７４】
各パルスは、シナプス回路を通過すると所定量の位相遅延が与えられ、更に共通バスラインなどの信号伝達線を通って特徴検出細胞に到着する。この時のパルスの時間軸上の並びを、特徴検出細胞の時間軸上において点線で表したパルス（Ｐ₁，Ｐ₂，Ｐ₃）により示す。
【００７５】
特徴検出細胞において各パルス（Ｐ₁，Ｐ₂，Ｐ₃）の時間窓積分(通常、一回の積分とする；但し、多数回に渡る時間窓積分による電荷蓄積、または多数回に渡る時間窓積分の平均化処理を行ってもよい)の結果、閾値より大となった場合には、時間窓の終了時刻を基準としてパルス出力（Ｐ_d）がなされる。なお、図３の（B）に示した学習時の時間窓とは、後で説明する学習則を実行する際に参照されるものである。
【００７６】
図４は、シナプス回路S_iの構成を示す図である。図４の（Ａ）は、シナプス回路202(S_i)において、ニューロンn_iの結合先である各ニューロンn'_jへのシナプス結合強度（位相遅延）を与える各小回路401が、マトリクス的に配置されていることを示している。このようにすると、シナプス回路から結合先ニューロンへの配線を各受容野に対応する同一ライン（局所的な共通バス301）上で行う事ができ（ニューロン間の配線を仮想的に行うことができ）、従来から問題となっていた配線問題の軽減（除去）が図られる。
【００７７】
また、結合先のニューロンでは、同一受容野からの複数パルス入力を受けた際に、それぞれがどのニューロンから発せられたものかを時間窓基準でのパルスの到着時間（特徴検出細胞が検出する特徴に対応し、それを構成する低次特徴に固有の位相遅延）により、時間軸上で識別することができる。
【００７８】
図４の（Ｂ）に示すように、各シナプス結合小回路401は、学習回路402と位相遅延回路403とからなる。学習回路402は、位相遅延回路403の特性を変化させることにより、上記遅延量を調整し、また、その特性値（或いはその制御値）を浮遊ゲート素子、或いは浮遊ゲート素子と結合したキャパシタ上に記憶するものである。
【００７９】
図５は、シナプス結合小回路の詳細構成を示す図である。位相遅延回路403はパルス位相変調回路であり、例えば、図５の（Ａ）に示すように、単安定マルチバイブレータ506、507、抵抗501、504、キャパシタ503、505、トランジスター502を用いて構成できる。図５の（Ｂ）は、単安定マルチバイブレータ506へ入力された方形波P1(図５の（Ｂ）の[1])、単安定マルチバイブレータ506から出力される方形波P2(同[2])、単安定マルチバイブレータ507から出力される方形波P3(同[3])の各タイミングを表している。
【００８０】
位相遅延回路403の動作機構の詳細については説明を省略するが、Ｐ１のパルス幅は、充電電流によるキャパシタ503の電圧が予め定められた閾値に達するまでの時間で決まり、Ｐ２の幅は抵抗504とキャパシタ505による時定数で決まる。Ｐ２のパルス幅が（図５の（Ｂ）の点線方形波のように）広がって、その立ち下がり時点が後にずれるとＰ３の立ち上がり時点も同じ量ずれるが、Ｐ３のパルス幅は変わらないので、結果的に入力パルスの位相だけが変調されて出力されたことになる。
【００８１】
制御電圧Ecを基準電圧のリフレッシュ回路509と結合荷重を与えるキャパシタ508への電荷蓄積量制御を行う学習回路402で変化させることにより、パルス位相（遅延量）を制御することができる。この結合荷重の長期保持のためには、学習動作後に図５の（Ａ）の回路の外側に付加される浮遊ゲート素子（図示せず）のチャージとして、或いはデジタルメモリへの書き込み等を行って結合荷重を格納してもよい。その他回路規模を小さくなるように工夫した構成（例えば、特開平5-37317号公報、特開平10-327054号公報参照）など周知の回路構成を用いることができる。
【００８２】
ネットワークが結合荷重の共有結合形式（１個の重み係数でシナプス結合を表す）になるような構成をとる場合には、各シナプスでの遅延量（下記の式（５）のＰ_ij）を同一受容野内で一様とすることができる。特に、特徴検出層102から特徴統合層103への結合は、特徴統合層103がその前段の層である特徴検出層102出力の局所平均化その他によるサブサンプリングに関与するため、検出対象によらず（即ち、課題によらず）このように構成することができる。
【００８３】
この場合、図４の（Ａ）の各小回路は、図４の（Ｂ）に示すように、局所共通バスライン401で結合される単一の回路S_k,iで済み、特に経済的な回路構成となる。一方、特徴統合層103（またはセンサー入力層101）から特徴検出層102への結合がこのようになっている場合、特徴検出ニューロンが検出するのは、複数の異なる特徴要素を表すパルスの同時到着（或いは、略同時到着）という、イベントである。
【００８４】
なお、結合が対称性を有する場合には、同一荷重（位相遅延）量を与える結合を同一のシナプス結合用小回路で代表させることにより、相当数のシナプス結合が少数の回路で代表されるように構成することができる。特に幾何学的特徴量の検出においては、受容野内での結合荷重の分布が対称性を有する場合が多いので、シナプス結合回路を減少させ回路規模を大幅に縮小にすることが可能である。
【００８５】
パルスの同時到着、或いは所定の位相変調量を実現するシナプスでの学習回路の例としては、図５の（Ｃ）に示すような回路要素を有するものを用いればよい。即ち、学習回路402をパルス伝播時間計測回路510（ここで、伝播時間とは、ある層のニューロンの前シナプスでのパルス出力時刻と次の層上にある出力先ニューロンでの当該パルスの到着時刻との時間差をさす）、時間窓発生回路511、及び伝播時間が一定値となるようにシナプス部でのパルス位相変調量を調整するパルス位相変調量調整回路512から構成できる。
【００８６】
伝播時間計測回路510としては、後述するような同一局所受容野を形成するペースメーカーニューロンからのクロックパルスを入力し、所定の時間幅（時間窓：図３の（Ｂ）参照）において、そのクロックパルスのカウンター回路からの出力に基づき伝播時間を求めるような構成などが用いられる。なお、時間窓は出力先ニューロンの発火時点を基準として設定することにより、以下に示すような拡張されたHebbの学習則が適用される。
【００８７】
また、学習回路402は、同じカテゴリの物体が提示される頻度が大きくなるほど上記時間窓の幅が狭くなるようにしてもよい。このようにすることにより、見慣れた（すなわち呈示回数、学習回数の多い）カテゴリのパターンであるほど、複数パルスの同時到着の検出(coincidence detection)モードに近づく様な動作をすることになる。このようにすることにより、特徴検出に要する時間を短縮できる(瞬時検出の動作が可能となる)が、特徴要素の空間配置の細かな比較分析や、類似するパターン間の識別等を行うことには適さなくなる。
【００８８】
遅延量の学習過程は、例えば、複素数ドメインに拡張することにより、特徴検出層のニューロンn_iと特徴統合層のニューロンn_jとの間の複素結合荷重Ｃ_ijは、
Ｃ_ij＝Ｓ_ijexp(iP_ij) （5）
のように与えられる。ここに、S_ijは結合強度、P_ijは位相、その前のｉは純虚数を表し、所定周波数でニューロンjからニューロンiに出力されるパルス信号の時間遅れに相当する位相である。S_ijはニューロンiの受容野構造を反映し、認識検出する対象に応じて一般に異なる構造を有する。これは学習（教師付き学習または自己組織化）により別途形成されるか、或いは予め決められた構造として形成される。
【００８９】
一方、遅延量に関する自己組織化のための学習則は、
【００９０】
【外４】

で与えられる。但し、
【００９１】
【外５】

はＣの時間微分、τ_ijは上記時間遅れ（予め設定された量）、β（〜１）は定数を示す。
【００９２】
上式を解くと、Ｃ_ijはβexp(-2πiτ_ij)に収束し、従って、P_ijは−τ_ijに収束する。学習則適用の例を図３の（Ｂ）に示した学習時の時間窓を参照して説明すると、シナプス結合の前側ニューロン（n1,n2,n3）と後側ニューロン(特徴検出細胞)とが、その学習時間窓の時間範囲において、ともに発火しているときにだけ、式（６）に従って結合荷重が更新される。なお、図３の（Ｂ）において、特徴検出細胞は時間窓の経過後に発火しているが、同図の時間窓経過前に発火してもよい。
【００９３】
学習則としては、他の方式を用いてもよい。また、競争学習の原理を導入することにより、互いに所定間隔以上離れてパルスが到着する（時間遅れの差が所定値以上となる）ようにしてもよい。
【００９４】
各特徴検出層102においては、前述したように同一受容野からの複数の異なる特徴に関するパルス信号を入力し、時空間的重み付き総和（荷重和）演算と閾値処理を行う。各特徴量に対応するパルスは予め学習により定められた遅延量（位相）により、所定の時間間隔で到着する。
【００９５】
このパルス到着時間パターンの学習制御は、本願の主眼ではないので詳しくは説明しないが、例えば、ある図形パターンを構成する特徴要素がその図形の検出に最も寄与する顕著な特徴であるほど先に到着し、そのような顕著度がほぼ等しい特徴要素間では、互いに一定量だけ時間的に離れて到着するような競争学習を導入する。或いは、予め決められた特徴要素（認識対象を構成する特徴要素であって、特に重要と考えられるもの：例えば、平均曲率の大きい特徴、直線性の高い特徴など）間で異なる時間間隔で到着する様に設計してもよい。
【００９６】
顕著度は、当該図形が検出されるときの特徴要素の検出細胞の反応強度（ここでは、パルス遅延量）等が該当する。この場合、前段の層である特徴統合層上の同一受容野内の各低次特徴要素に相当するニューロンは、それぞれ所定の位相で同期発火（パルス出力）することになる。特徴統合層103の同一ニューロンであって位置が異なるが同一の高次の特徴を検出する特徴検出ニューロンへの結合を有する場合（この場合、受容野は異なるが、高次の同じ特徴を構成する結合を有する）も、同一ニューロンである限り同期発火することはいうまでもない。
【００９７】
但し、その出力レベル（ここでは位相基準とするが、周波数、振幅、パルス幅基準となる構成でもよい）は、受容野ごとに与えられる複数ペースメーカニューロンからの寄与の総和（或いは平均など）によって決まる。また、特徴検出層102上の各ニューロンにおいては、入力パルスの時空間的重み付き総和（荷重和）の演算は、ニューロンに到着したパルス列について所定幅の時間窓においてのみ行われる。時間窓内の重み付き加算を実現する手段は、図２に示したニューロン素子回路に限らず、他の方法で実現してもよいことは言うまでもない。
【００９８】
この時間窓は、実際のニューロンの不応期(refractory period)以外の時間帯にある程度対応している。即ち、不応期(時間窓以外の時間範囲)にはどのような入力を受けてもニューロンからの出力はないが、その時間範囲以外の時間窓では入力レベルに応じた発火を行うという点が実際のニューロンと類似している。
【００９９】
図３の（Ｂ）に示す不応期は、特徴検出細胞の発火直後から次の時間窓開始時刻までの時間帯である。不応期の長さと時間窓の幅は任意に設定可能であることはいうまでもなく、同図に示したように、時間窓に比べて不応期を短くとらなくてもよい。ペースメーカニューロンを使わなくても、時間窓の開始時刻は、特徴検出層と特徴統合層のニューロン間で、ニューロン間の弱相互結合と所定の結合条件などにより同期発火するメカニズム（E.M.Izhikevich, 1999 'Weakly Pulse-Coupled Oscillation, FM Interactions, Synchronization, and Oscillatory Associative Memory' IEEE Trans. on Neural Networks, vol.10. pp.508-526.）を導入することにより、これらニューロン間で同一となる。この同期発火は、一般的にニューロン間での相互結合と引き込み現象によりもたらされることが知られている。
【０１００】
従って、本実施形態においても、ニューロン間の弱相互結合と所定のシナプス結合条件を満たすように構成することにより、ペースメーカニューロンなしで、このような効果をもたらすことができる。
【０１０１】
本実施形態では、図６に模式的に示すように、既に説明したメカニズムとして、例えば各特徴検出層ニューロンごとに、その同一受容野からの入力を受けるようなペースメーカニューロン（固定周波数でパルス出力）によるタイミング情報（クロックパルス）の入力により、上述した開始時期の共通化をもたらすようにしてもよい。
【０１０２】
このように構成した場合には、時間窓の同期制御は（仮に必要であったとしても）ネットワーク全体にわたって行なう必要が無く、また、上記したようなクロックパルスの揺らぎ、変動があっても、局所的な同一受容野からの出力に対して一様にその影響を受ける（窓関数の時間軸上での位置の揺らぎは同一受容野を形成するニューロン間で同一となる）ので、特徴検出の信頼性は劣化することはない。このような局所的な回路制御により信頼度の高い同期動作を可能にするため、回路素子パラメータに関するばらつきの許容度も高くなる。
【０１０３】
以下、簡単のために、三角形を特徴として検出する特徴検出ニューロンについて説明する。その前段の特徴統合層103は、図７の（Ｃ）に示すような各種向きを持ったL字パターン(f₁₁, f₁₂, …, )、Ｌ字パターンとの連続性（連結性）を有する線分の組み合わせパターン(f₂₁, f₂₂,…)、三角形を構成する２辺の一部の組み合わせ(f₃₁,…)、などのような図形的特徴（特徴要素）に反応するものとする。
【０１０４】
また、同図のf₄₁,f₄₂,f₄₃は、向きの異なる三角形を構成する特徴であって、f₁₁,f₁₂,f₁₃に対応する特徴を示している。学習により層間結合をなすニューロン間に固有の遅延量が設定された結果、三角形の特徴検出ニューロンにおいては、時間窓を分割して得られる各サブ時間窓(タイムスロット）(w₁,w₂,…)において、三角形を構成する主要かつ異なる特徴に対応するパルスが到着するように予め設定がなされる。
【０１０５】
例えば、時間窓をｎ分割した後のw₁, w₂, …、w_nには、図７の(A)に示す如く、全体として三角形を構成するような特徴のセットの組み合わせに対応するパルスが初めに到着する。ここに、Ｌ字パターン(f₁₁, f₁₂, f₁₃)は、それぞれw₁,w₂,w₃内に到着し、特徴要素(f₂₁,f₂₂,f₂₃)に対応するパルスは、それぞれw₁, w₂, w₃内に到着するように学習により遅延量が設定されている。
【０１０６】
特徴要素(f₃₁,f₃₂,f₃₃)に対応するパルスも同様の順序で到着する。図７の(A)の場合、一つのサブ時間窓(タイムスロット）にそれぞれ一つの特徴要素に対応するパルスが到着する。サブ時間窓に分割する意味は、各サブ時間窓で時間軸上に展開表現された異なる特徴要素に対応するパルスの検出（特徴要素の検出）を個別にかつ確実に行うことにより、それらの特徴を統合する際の統合の仕方、例えば、すべての特徴要素の検出を条件とするか、或いは一定割合の特徴検出を条件とするか等の処理モードの変更可能性や適応性を高めることにある。例えば、認識（検出）対象が顔であり、それを構成するパーツである目の探索（検出）が重要であるような状況（目のパターン検出の優先度を視覚探索において高く設定したい場合）においては、高次の特徴検出層からのフィードバック結合を導入することにより、選択的に目を構成する特徴要素パターンに対応する反応選択性（特定の特徴の検出感度）を高めたりすることができる。このようにすることにより、高次の特徴要素（パターン）を構成する低次の特徴要素により高い重要度を与えて検出することができる。
【０１０７】
また、重要な特徴ほど早いサブ時間窓にパルスが到着するように、予め設定されているとすると、当該サブ時間窓での重み関数値を他のサブ時間窓での値より大きくすることにより、重要度の高い特徴ほど検出されやすくすることができる。この重要度（特徴間の検出優先度）は、学習により獲得されるか、予め定義しておくこともできる。
【０１０８】
従って、一定割合の特徴要素の検出という事象さえ起きればよいのであれば、サブ時間窓への分割は殆ど意味が無くなり、一つの時間窓において行えばよい。なお、複数（３つ）の異なる特徴要素に対応するパルスがそれぞれ到着して加算されるようにしてもよい(図７の（Ｄ）参照)。即ち、一つのサブ時間窓(タイムスロット）に複数の特徴要素(図７の（Ｄ）)、或いは任意の数の特徴要素に対応するパルスが入力されることを前提としてもよい。この場合、図７の（Ｄ）では、初めのサブ時間窓では、三角形の頂角部分ｆ₁₁の検出を支持する他の特徴要素ｆ₂₁、ｆ₂₃に対応するパルスが到着し、同様に２番目のサブ時間窓には頂角部分ｆ₁₂の検出を支持するような他の特徴要素ｆ₂₂、ｆ₃₁のパルスが到着している。
【０１０９】
なお、サブ時間窓（タイムスロット）への分割数、各サブ時間窓（タイムスロット）の幅および特徴のクラスおよび特徴に対応するパルスの時間間隔の割り当てなどは上述した説明に限らず、変更可能であることはいうまでもない。例えば、上述した特徴要素の他に'Ｘ'，'＋'等の特徴要素に対応するサブ時間窓を設定してもよい。三角形の図形検出にはこのような特徴要素は冗長(又は不要)ともいえるが、逆に、これらが存在しないことを検出することにより、三角形という図形パターンの検出確度を高めることができる。
【０１１０】
また、これら特徴要素の組み合わせでは表されないような変形を加えた場合（例えば、一定範囲内の回転を与えた場合）に対しても、上記特徴要素を表す特徴統合層のニューロンの出力パルスは、理想的なパターンからのずれの程度に応じた連続的な位相遅れ（遅延量：但し、予め定めたサブ時間窓（タイムスロット）にパルスが到着する範囲）をもって反応する（いわゆるgraceful degradation）ため、検出される図形特徴の変形に対する許容範囲が一定レベル以上になるよう出力の安定化が図られている。例えば、図７（Ｃ）に示す特徴ｆ₁₁、ｆ₁₂、ｆ₁₃に対応する特徴により形成される三角形（Ｑ１）とｆ₄₁、ｆ₄₂、ｆ₄₃に対応する特徴により形成される三角形（Ｑ２）とでは、少なくとも向きが互いに異なっている筈である。
【０１１１】
この場合、各特徴に対応する検出（統合）細胞が存在するとき、両三角形の中間的な向きに相当する三角形（Ｑ３）に対しては、ｆ₁₁、ｆ₁₂、ｆ₁₃に対応する検出(統合)細胞とｆ₄₁、ｆ₄₂、ｆ₄₃に対応する検出（細胞）とは、いずれも最大応答出力より低く、直接的には特徴の種類に応じて決まる受容野構造としてのフィルタカーネルとの畳み込み演算値に応じた出力レベルとなり、これら全ての細胞からの出力としてのベクトル量は、中間的な図形に固有なものとして統合すると、２つの三角形の状態の中間的な図形（回転を与えた場合）の検出が可能になる。
【０１１２】
例えば、定性的には、回転角度が小さく、Ｑ１に近いほどｆ₁₁、ｆ₁₂、ｆ₁₃に対応する細胞からの出力が相対的に大きく、逆にＱ２に近いほどｆ₄₁、ｆ₄₂、ｆ₄₃に対応する細胞からの出力が大きくなる。
【０１１３】
次に入力パルスの時空間的重み付き総和（荷重和）の演算について説明する。図７の（B）に示す如く、各ニューロンでは、上記サブ時間窓（タイムスロット）毎に所定の重み関数（例えばGaussian）で入力パルスの荷重和がとられ、各荷重和の総和が閾値と比較される。τ_jはサブ時間窓ｊの重み関数の中心位置を表し、時間窓の開始時刻基準（開始時間からの経過時間）で表す。重み関数は一般に所定の中心位置（検出予定の特徴が検出された場合のパルス到着時間を表す）からの距離(時間軸上でのずれ)の関数としてもよいが、関数形状としては他の非対称関数としてもよい。
【０１１４】
重み関数が上述した距離の関数の場合、ニューロンの各サブ時間窓(タイムスロット）の重み関数の中心位置τが、ニューロン間の学習後の時間遅れとすると、入力パルスの時空間的重み付き総和（荷重和）を行う神経回路網は一種の時間軸ドメインの動径基底関数ネットワーク（Radial Basis Function Network；以下ＲＢＦと略す）とみなすことができる。Gaussian関数を重み関数に用いたニューロンn_iの時間窓F_Tiは、各サブ時間窓毎の広がりをσ、係数因子をb_ijで表すと、
【０１１５】
【外６】

となる。
【０１１６】
なお、重み関数としては、負の値をとるものであってもよい。例えば、ある特徴検出層のニューロンが三角形を最終的に検出することが予定されている場合に、その図形パターンの構成要素でないことが明らかな特徴（Ｆ_faulse）（例えば、前述した'Ｘ'，'＋'等）が検出された場合には、他の特徴要素からの寄与が大きくても三角形の検出出力が最終的になされないように、入力の総和値算出処理において、当該特徴（Ｆ_faulse）に対応するパルスからは、負の寄与を与えるような重み関数及び特徴検出(統合)細胞からの結合を与えておくことができる。
【０１１７】
特徴検出層のニューロンn_iへの入力信号の時空間和X_i(t)は、
【０１１８】
【外７】

と表せる。ここに、ε_jは、ニューロンn_jからの出力パルスの初期位相であり、ニューロンn_iとの同期発火により、０に収束するか、又はペースメーカニューロンからのタイミングパルス入力により、時間窓の位相を０に強制同期する場合には、ε_jは常に０としてよい。図７の（Ａ）のパルス入力と同（Ｂ）に示す重み関数による荷重和とを実行すると、図７の（E）に示すような荷重和値の時間的遷移が得られる。特徴検出ニューロンは、この荷重和値が閾値(Vt)に達するとパルス出力を行う。
【０１１９】
ニューロンn_iからの出力パルス信号は、前述したように、入力信号の時空間和（いわゆる総入力和）のsquashing非線形関数となる出力レベルと学習により与えられた時間遅れ（位相）をもって上位層のニューロンに出力される（パルス出力は固定周波数(２値)とし、学習によって決まる固定遅延量に相当する位相に入力信号の時空間和についてのsquashing非線形関数となる位相変調量を加えて出力される）。
【０１２０】
図８は、上述した各層の処理手順を示すフローチャートである。低次特徴検出から高次特徴検出までの処理の流れをまとめて示すと、同図のようになる。先ず、ステップS801で、低次特徴検出（例えば、各位置でのGabor wavelet変換係数の算出など）を行なう。次に、ステップS802で、それらの特徴の局所平均化等を行う低次特徴の統合処理を行う。更に、ステップS803〜804で中次特徴の検出と統合、ステップS805〜806で高次特徴の検出と統合を行う。そして、ステップS807では、最終層の出力として、認識(検出)対象の有無またはその検出位置出力が行われる。ステップS803〜804とS805〜806に割り当てる層数は、課題（認識対象など）に応じて任意に設定又は変更することができる。
【０１２１】
図９は、各特徴検出ニューロン602の処理の手順を示すフローチャートである。まず、ステップS901で、複数の特徴カテゴリに応じたパルスを、前層である入力層101または特徴統合層103において同一受容野105を形成するニューロン601から入力を受け、ステップS902で、ペースメーカニューロン603から入力される（又は前層ニューロンとの相互作用により得られる）局所同期信号に基づき、時間窓及び重み関数を発生させ、ステップS903で、それぞれについての所定の時間的重み関数による荷重和をとり、ステップS904で、閾値に達したか否かの判定を行い、閾値に達した場合には、ステップS905で、パルス出力を行う。なお、ステップS902と903は時系列的に示したが、実際にはほぼ同時に行われる。
【０１２２】
また、各特徴統合ニューロンの処理の手順は、図１０のフローチャートに示す通りである。すなわち、ステップS1001において、同一カテゴリをなす特徴検出の処理モジュール104であって、当該ニューロンに固有の局所受容野をなす特徴検出ニューロンからのパルス入力を受け、ステップS1002で、所定の時間幅（不応期以外の時間範囲）において入力パルスの加算を行う。ステップS1003で、入力パルスの総和値（例えば、電位基準で測る）が閾値に達したか否かの判定を行ない、閾値に達した場合、ステップS1004で、その総和値に応じた位相でパルス出力をする。
【０１２３】
入力パルスは空間ドメインの各位置での特徴（或いは、特徴要素の空間的配置関係）に対応するものであるから、時空間的ＲＢＦを構成することも可能である。
【０１２４】
具体的には、各ニューロン出力値に対して更に重み付けを行って加算を行うことにより、十分な数の予め定められた特徴要素のセット（特徴検出細胞）および十分な数のサブ時間窓（タイムスロット）での重み付き総和（荷重和）の演算とから任意の図形パターンに対応するパルスパターンの時空間関数を表現することができる。認識対称のカテゴリ及びその形状の変化がある程度限られていれば、必要な特徴検出細胞やサブ時間窓(タイムスロット）の数を少なくすることができる。
【０１２５】
本実施形態では、共通バスは同一受容野に対して一つ割り当てられるような局所的なバスラインとしたが、これに限らずある層から次の層への層間結合は同一バスラインで行うように時間軸上でパルス位相遅延量を分割設定してもよい。また、重なり割合が比較的大きい隣接受容野間では共通のバスラインを用いるように構成しても良い。
【０１２６】
なお、上述した時空間的ＲＢＦによらずに、各サブ時間窓(タイムスロット）内での重み付き積和演算の結果が非線形なsquashing関数値となるように処理（或いは、閾値処理）して、それらの積をとってもよい。例えば、不図示の回路構成により、閾値処理結果（２値）を各サブ時間窓ごとに得て、一時記憶部に格納するとともに、順次求まる閾値処理結果の論理積を時系列的に求めるようにすればよい。
【０１２７】
閾値処理して積をとる場合には、パターンの欠損や低コントラスト条件下での特徴検出の許容度が小さくなることは言うまでもない。
【０１２８】
また、上述した処理（時空間的ＲＢＦによる図形パターンの検出）は、連想記憶の想起過程に類似する動作として実現することもできる。即ち、ある局所領域（または全体領域）で検出されるべき低次（または中次）の特徴要素の欠損が生じても、他の幾つかの特徴要素が検出され、上記総和値（８）が閾値を上回れば、時空間ＲＢＦネットワーク全体としては中次（または高次）の特徴要素の検出（該当するニューロンの発火）が行われる様にすることができる。
【０１２９】
なお、ネットワークの構成としては、図１に示したものに限定される必要はなく、所定の幾何学的特徴要素を検出する層を含む構成であればＭＬＰその他のものであってもよいことはいうまでもない。
【０１３０】
次に、本実施形態の構成に係るパターン検出（認識）装置を撮像装置に搭載させることにより、特定被写体へのフォーカシングや特定被写体の色補正、露出制御を行う場合について、図１１を参照して説明する。図１１は、実施形態に係るパターン検出（認識）装置を撮像装置に用いた例の構成を示す図である。
【０１３１】
図１１の撮像装置1101は、撮影レンズおよびズーム撮影用駆動制御機構を含む結像光学系1102、CCD又はＣＭＯＳイメージセンサー1103、撮像パラメータの計測部1104、映像信号処理回路1105、記憶部1106、撮像動作の制御、撮像条件の制御などの制御用信号を発生する制御信号発生部1107、EVFなどファインダーを兼ねた表示ディスプレイ1108、ストロボ発光部1109、記録媒体1110などを具備し、更に上述したパターン検出装置を被写体検出（認識）装置1111として備える。
【０１３２】
この撮像装置1101は、例えば撮影された映像中から予め登録された人物の顔画像の検出(存在位置、サイズの検出)を被写体検出(認識)装置1111により行う。そして、その人物の位置、サイズ情報が被写体検出(認識)装置1111から制御信号発生部1107に入力されると、同制御信号発生部1107は、撮像パラメータ計測部1104からの出力に基づき、その人物に対するピント制御、露出条件制御、ホワイトバランス制御などを最適に行う制御信号を発生する。
【０１３３】
上述したパターン検出(認識)装置を、このように撮像装置に用いた結果、低消費電力で、かつ高速（リアルタイム）に人物検出とそれに基づく撮影の最適制御を行うことができるようになる。
【０１３４】
（第２の実施形態）
実施形態１では、シナプスは位相変調を行なうように構成したが、本実施形態では、図１に示すようなネットワーク構成のもとで、パルス幅(アナログ値)変調動作を行うシナプス素子と実施形態１に示したようなintegrate-and-fireニューロンで構成されるネットワークにより、図形パターン等の認識を行う。
【０１３５】
シナプスによる変調はシナプス前信号のパルス幅とシナプス後のパルス幅をそれぞれ、W_b,W_aとするとW_a = S_ijW_bで与えられる。ここに、S_ijは実施形態１の結合強度（式（５））と同じ意味である。変調のダイナミックレンジを大きくとる為には、パルス信号の基本パルス幅を周期（基本パルス間隔）と比べて十分に小さくとる必要がある。
【０１３６】
ニューロンの発火（パルス出力）は、所定の特徴要素を表す複数のパルス電流の流入に伴う電荷の蓄積により、電位が所定の閾値を越したときに生じる。本実施形態においては、サブ時間窓ごとの到着パルスの重み付き加算（実施形態１参照）は特に要しないが、所定の幅の時間窓での積分は実行される。この場合、検出されるべき特徴要素（図形パターン）は、特徴検出層ニューロンに入力される信号の時間的総和（パルス電流値の総和）のみに依存する。また、入力パルスの幅は実施形態１における重み関数の値に相当するものである。なお、サブ時間窓ごとの到着パルス重み付き加算を行う場合には、実施形態１と同様、到着パルスの時間間隔、到着時間パターン自体に検出される特徴の有無、変形などの情報が表されている。
【０１３７】
ここで、特徴検出層ニューロンの出力特性は、該当する特徴の顕著度（実施形態１参照）が大きいほど、その周波数が大となるようにしてもよいし、そのパルス幅或いは振幅が大となる特性を有してもよい。
【０１３８】
図１２の（Ａ）は本実施形態で用いるシナプス素子401の構成単位を示す。実施形態１と同様の学習回路402と、パルス幅変調回路1201とを有する。後者は周知の回路(例えば、本出願人による特許２７１７６６２号公報)を用いることができる。
【０１３９】
また、上述したパルス幅変調に代えて、パルス周波数の変調を各シナプス素子で行ってもよい。この場合、上記構成に対応するシナプス素子401の構成は、図１２の（Ｂ）のように、学習回路402とパルス周波数変調回路1202から構成される。パルス周波数変調回路1202としては公知の構成を用いることができる。また、シナプスによる変調は、シナプス前のパルス周波数とシナプス後のパルス周波数をそれぞれf_b、f_aとするとf_a = S_ijf_bで与えられる。
【０１４０】
なお、ニューロン出力が周波数変調又はパルス幅変調による変調を伴う場合には、パルス幅が最大で上限値（パルス周期）に飽和するような制御機構をパルス変調回路等が備えることは言うまでもない。
【０１４１】
（第３の実施形態）
本実施形態で用いる特徴検出ニューロンは、パルス到着の時間間隔(アナログ値)、順序に基づき図形特徴及びその変形量の検出を行い、或いは、重要度（後述）に応じた図形特徴の検出を行う。
【０１４２】
ネットワーク構成は図１に示したものと同様とする。但し、各受容野内の位置に応じた位相オフセット（変調量）が各層間シナプス結合に付与される。図１３は、本実施形態で用いる特徴検出ニューロンの受容野内でのサンプリング構造を示す図である。例えば、図１３に示すように受容野の形状が楕円であるとすると、その中心位置からスパイラル状にサンプリングした格子点（S₁,S₂,...）位置での位相変調量が漸増するように構成する（任意の点での位相変調量はその最近傍格子点での位相変調量とする）。
【０１４３】
図１４は、特徴要素の受容野内での位置に応じた位相変調量の例を示す図である。このように、受容野内の位置に応じた位相変調量(p₁,p₂, ...)が、該当する特徴が所属すべきサブ時間窓の範囲の変調範囲で与えられるので、特徴の配置情報をスパイク列の各サブ時間窓内での位置から抽出することができる。なお、サンプリングの仕方は、スパイラル状以外の方法によっても良いことはいうまでもない。
【０１４４】
また、実施形態１のようなニューロン内での時間窓関数による重み付け加算、或いは実施形態２のようなパルス幅変調信号の所定時間窓内の時間的積分を行うものとし、各特徴要素ごとに対応するサブ時間窓が存在するものと仮定する。このようにすることにより、各サブ時間窓内のスパイクの位置が特徴要素の同一受容野内での空間的位置を示し、その結果として複数のスパイクの時間的間隔のパターンが特徴要素（或いは高次の図形パターン）の配置を表すようににすることが可能となる。
【０１４５】
更に、特徴の重要度に応じた窓関数、或いは位相変調を与えることができる。ここで、重要度とは、検出（認識）されるべきパターンと他のパターンとの識別を容易にする「顕著な」特徴要素（又は図形パターン）であり、パターンのカテゴリごとに異なる。これは、学習により経験的に獲得され、例えば、その特徴検出の寄与を大きく評価するようなパラメータの摂動を与えたとき（対応する特徴のサブ窓関数値を大にする、または位相変調量を変化させるなど）に、より検出（認識）の信頼度が高くなる方向にパラメータを更新する等により実現することができる。
【０１４６】
以上説明した実施形態では、同一受容野内からの複数の異なる特徴に対応するスパイク列を２次元パターン情報の表現、検出、認識などの目的に用いる方法を示した。ここで、低次または高次の特徴要素（または図形パターン要素）の検出をパルス列の時間窓内での重み付き荷重和の閾値処理により行うことにより、複雑多様な背景下において、検出（認識）すべき対象の変形（位置変動、回転等を含む）や照明、ノイズの影響等による特徴検出の欠損等が生じても、確実に所望のパターンを検出することができる。この効果は、特定のネットワーク構造によらず実現することができるものである。
【０１４７】
更に、検出(認識)対象周囲に存在するパターンに応じた処理、検出認識対象の特定部分に優先度を与えるような処理、検出されない筈のパターンが検出された場合の対応など、いわゆる文脈に依存した処理が可能となる。一方、見慣れたパターンほど瞬時に検出(識別)するように構成することもできる。
【０１４８】
また、特徴の検出の有無を、所定ニューロンからの所定時間範囲内でのパルスの到着（デジタル情報）により検出することができるとともに、その特徴の理想的なパターンからのずれ（変形）の度合いに応じたアナログ情報（パルス遅延量、パルス幅、周波数など）により明示的にネットワーク中で内部表現したことにより、類似度の高いパターン間の識別精度とその処理時間を飛躍的に向上させることができる。
【０１４９】
更に、上述した構成では、所定ニューロンの単一の入力線上に時間的に配列されるパルス列の時間窓内での各位置が、所定のパターンの特徴に相当するようにしたことにより、ニューロン素子間の配線問題を軽減することができ、信頼性を高い程度に保ちながら、２次元パターン処理により所定物体の認識検出を行う回路の規模、消費電力が従来より格段に抑えることができるという効果がある。
【０１５０】
【発明の効果】
以上説明したように、本発明のパターン検出装置によれば、検出すべき対象について、特徴の欠損等が生じても、確実に所望のパターンを検出することができる。
【０１５１】
また、類似度の高いパターン間の識別精度とその処理時間を飛躍的に向上させることができる。
【０１５２】
更に、本発明のニューラルネットワーク回路によれば、ニューロン素子間の配線を低減でき、信頼性を高い程度に保ちながら、回路の規模及び消費電力を従来より格段に抑えることができるという効果がある。
【図面の簡単な説明】
【図１】本発明に係る一実施形態のネットワーク構成を示すブロック図である。
【図２】シナプス部とニューロン素子部の構成を示す図である。
【図３】実施形態１において特徴統合層または入力層から特徴検出層ニューロンへの複数パルス伝播の様子を示す図である。
【図４】シナプス回路の構成図を示す図である。
【図５】シナプス結合小回路の構成図、及び実施形態１で用いるパルス位相遅延回路の構成図を示す図である。
【図６】特徴検出層ニューロンにペースメーカニューロンからの入力がある場合のネットワーク構成を示す図である。
【図７】特徴検出ニューロンに入力される異なる特徴要素に対応する複数パルスを処理する際の時間窓の構成、重み関数分布の例、特徴要素の例を示す図である。
【図８】各層の処理手順を示すフローチャートである。
【図９】各特徴検出ニューロンの処理手順を示すフローチャートである。
【図１０】各特徴統合ニューロンの処理手順を示すフローチャートである。
【図１１】実施形態に係るパターン検出（認識）装置を撮像装置に用いた例の構成を示す図である。
【図１２】実施形態２で用いるシナプス小回路の構成を示す図である。
【図１３】実施形態３で用いる特徴検出ニューロンの受容野内でのサンプリング構造を示す図である。
【図１４】特徴要素の受容野内での位置に応じた位相変調量の例を示す図である。

Claims

パターンを入力する入力手段と、
複数の信号処理素子を備え、前記入力手段より入力されたパターンに対して所定の複数の特徴に関する検出を行なって、当該パターンに含まれる所定のパターンを検出するパターン検出手段とを有し、
前記複数の信号処理素子の各々が、前記入力手段または他の信号処理素子からの入力に応じて、更に他の信号処理素子または外部にパルス信号を出力し、
前記複数の信号処理素子の所定の一部が、所定時間範囲内に入力された複数のパルス信号を時間的に変化する所定の重み係数値を乗じて加算した荷重和に応じた出力レベルでパルス信号を出力することを特徴とするパターン検出装置。
前記複数の信号処理素子は、
所定の特徴を抽出する特徴検出層に属する特徴検出素子と、当該特徴検出層からの出力を所定の方法で統合して出力する特徴統合層に属する特徴統合素子とを有し、
前記所定の一部の信号処理素子は、複数の前記特徴統合素子からの入力を受ける前記特徴検出素子であることを特徴とする請求項１に記載のパターン検出装置。
前記特徴検出素子は、前記特徴の顕著度又は特徴の配置に応じた出力レベルでパルス信号を出力することを特徴とする請求項２に記載のパターン検出装置。
前記特徴統合素子は、所定時間範囲内に同一の特徴に対応する複数の前記特徴検出素子からの入力の総和に応じた出力レベルでパルス信号を出力することを特徴とする請求項２に記載のパターン検出装置。
前記特徴検出層と前記特徴統合層とが交互にカスケード的にそれぞれ複数接続されていることを特徴とする請求項２に記載のパターン検出装置。
前記特徴統合層の各特徴統合素子は、当該層内の位置に応じた前段の特徴検出層内の局所的範囲に存在し、それぞれが同一の特徴を検出する複数の特徴検出素子からの信号を入力する局所受容野構造を有することを特徴とする請求項５に記載のパターン検出装置。
前記特徴検出層の各特徴検出素子は、前段の特徴統合層内の異なる特徴に対応する特徴統合素子からの信号を入力して、より高次の特徴を検出することを特徴とする請求項５に記載のパターン検出装置。
前記パターンは画像のパターンであり、少なくとも一部の前記特徴検出層は、複数の方向成分に関して複数のスケールで特徴検出を行う複数のフィルタを備えることを特徴とする請求項２に記載のパターン検出装置。
前記複数のフィルタは、Ｇａｂｏｒｗａｖｅｌｅｔ変換を行うことを特徴とする請求項７に記載のパターン検出装置。
前記特徴統合素子の同一受容野にある複数の前記特徴検出素子は、所定のパターンに対して互いに位相同期してパルス出力することを特徴とする請求項２に記載のパターン検出装置。
前記特徴検出素子は、前記複数のパルス信号の到着時間パターンにおいて、各パルス信号に固有の所定時間窓範囲内に該当パルス信号が存在するか否かにより、対応する所定の特徴の有無を検出することを特徴とする請求項２に記載のパターン検出装置。
前記特徴検出層は、当該層内の各特徴検出素子に付随して前段の層上の特徴統合素子であって同一受容野上にある素子からの総出力に基づいて、所定のパルス間隔でパルスを出力して前記特徴検出演算素子の位相同期信号を与えるタイミング素子を備えていることを特徴とする請求項２に記載のパターン検出装置。
前記タイミング素子は、当該タイミング素子が備えられた前記特徴検出層内の特徴検出素子と、当該特徴検出素子の同一受容野内にある前段の前記特徴統合層内の特徴統合素子とに所定のタイミングパルスを出力することを特徴とする請求項１２に記載のパターン検出装置。
前記特徴統合層内の各特徴統合素子は、それぞれの対応する特徴に固有の遅延量でパルス信号を出力することを特徴とする請求項２に記載のパターン検出装置。
複数の前記特徴検出層及び前記特徴検出層を備え、最終層の信号処理素子より前記所定パターンの検出結果を表わす信号を出力することを特徴とする請求項２に記載のパターン検出装置。
前記複数の信号処理素子同士は結合手段を介して結合されており、当該結合手段が一方の前記信号処理素子の出力パルス信号に所定の変調を施して他方の前記信号処理素子へ伝達することを特徴とする請求項１に記載のパターン検出装置。
前記変調は、パルス位相の遅延であることを特徴とする請求項１６に記載のパターン検出装置。
前記結合手段は同一カテゴリのパターンを表わすパルスの入力回数が増すほど、前記パルス位相の遅延量を小さくすることを特徴とする請求項１７に記載のパターン検出装置。
前記パルス位相の遅延量は特徴の種類によらず略一定であることを特徴とする請求項１７に記載のパターン検出装置。
前記変調は、パルス幅変調であることを特徴とする請求項１６に記載のパターン検出装置。
前記変調は、周波数変調であることを特徴とする請求項１６に記載のパターン検出装置。
前記出力レベルは、前記パルス信号の位相、周波数、振幅またはパルス幅であることを特徴とする請求項１に記載のパターン検出装置。
請求項１に記載のパターン検出装置によって処理対象画像のパターンより所定のパターンを検出した結果に基づき、当該処理対象画像の処理動作を制御することを特徴とする画像処理装置。
入力部よりパターンを入力し、
複数の信号処理素子を用いて、入力された前記パターンに対して所定の複数の特徴に関する検出を行なって、当該パターンに含まれる所定のパターンを検出するパターン検出方法であって、
前記複数の信号処理素子の各々が、前記入力部または他の信号処理素子からの入力に応じて、更に他の信号処理素子または外部にパルス信号を出力し、
前記複数の信号処理素子の所定の一部が、所定時間範囲内に入力された複数のパルス信号を時間的に変化する所定の重み係数値を乗じて加算した荷重和に応じた出力レベルでパルス信号を出力することを特徴とするパターン検出方法。
請求項２４に記載のパターン検出方法によって処理対象画像のパターンより所定のパターンを検出した結果に基づき、当該処理対象画像の処理動作を制御することを特徴とする画像処理方法。