JP4208485B2 - パルス信号処理回路、並列処理回路、パターン認識装置、及び画像入力装置 - Google Patents
パルス信号処理回路、並列処理回路、パターン認識装置、及び画像入力装置 Download PDFInfo
- Publication number
- JP4208485B2 JP4208485B2 JP2002153997A JP2002153997A JP4208485B2 JP 4208485 B2 JP4208485 B2 JP 4208485B2 JP 2002153997 A JP2002153997 A JP 2002153997A JP 2002153997 A JP2002153997 A JP 2002153997A JP 4208485 B2 JP4208485 B2 JP 4208485B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- neuron
- pulse
- circuit
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biodiversity & Conservation Biology (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、パルス信号回路に関し、更には、このパルス信号回路を用いた並列処理回路、パターン認識装置、パターン認識装置を用いて特定被写体の検出等を行う画像入力装置に関するものである。
【０００２】
【従来の技術】
画像認識や音声認識の実行方式は、特定の認識対象に特化した認識処理アルゴリズムをコンピュータソフトとして逐次演算して実行するタイプ、或いは専用並列画像処理プロセッサ（ＳＩＭＤ、ＭＩＭＤマシン等）により実行するタイプに大別される。
【０００３】
画像認識アルゴリズムを例としてその代表例を以下に挙げる。先ず、認識対象モデルとの類似度に関する特徴量を算出して行うものとしては、認識対象のモデルデータをテンプレートモデルとして表現しておき、入力画像（或いはその特徴ベクトル）とのテンプレートマッチング等による類似度算出や、高次相関係数の算出などによる方法、対象のモデル画像を主成分分析して得られる固有画像関数空間へ入力パターンを写像してモデルとの特徴空間内での距離を算出する方法（Ｓｉｒｏｖｉｃｈ，ｅｔ ａｌ．， １９８７， Ｌｏｗ−ｄｉｍｅｎｓｉｏｎａｌ ｐｒｏｃｅｄｕｒｅ ｆｏｒ ｔｈｅ ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ ｈｕｍａｎ ｆａｃｅｓ，Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ．［Ａ］，ｖｏｌ．３，ｐｐ．５１９−５２４）、複数の特徴抽出結果（特徴ベクトル）およびその空間配置関係をグラフ表現し、弾性的グラフマッチングによる類似度算出を行う方法（Ｌａｄｅｓ ｅｔ ａｌ．１９９３， Ｄｉｓｔｏｒｔｉｏｎ Ｉｎｖａｒｉａｎｔ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ ｔｈｅ Ｄｙｎａｍｉｃ Ｌｉｎｋ Ａｒｃｈｉｔｅｃｔｕｒｅ，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｃｏｍｐｕｔｅｒｓ，ｖｏｌ．４２，ｐｐ．３００−３１１）、入力画像に所定の変換を行って位置、回転、スケール不変な表現を得た後にモデルとの照合を行う方法（Ｓｅｉｂｅｒｔ，ｅｔ ａｌ．１９９２，Ｌｅａｒｎｉｎｇ ａｎｄ ｒｅｃｏｇｎｉｚｉｎｇ ３Ｄ ｏｂｊｅｃｔｓ ｆｒｏｍ ｍｕｌｔｉｐｌｅ ｖｉｅｗｓ ｉｎ ａ ｎｅｕｒａｌ ｓｙｓｔｅｍ，ｉｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｐｅｒｃｅｐｔｉｏｎ，ｖｏｌ．１ Ｈｕｍａｎ ａｎｄ Ｍａｃｈｉｎｅ Ｐｅｒｃｅｐｔｉｏｎ（Ｈ．Ｗｅｃｈｓｌｅｒ Ｅｄ．）Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ，ｐｐ．４２７−４４４）等がある。
【０００４】
生体の情報処理機構にヒントを得た神経回路網モデルによるパターン認識方法としては、階層的テンプレートマッチングを行う方法（特公昭６０−７１２、Ｆｕｋｕｓｈｉｍａ＆Ｍｉｙａｋｅ，１９８２ Ｎｅｏｃｏｇｎｉｔｒｏｎ：Ａ ｎｅｗ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ ｔｏｌｅｒａｎｔ ｏｆ ｄｅｆｏｒｍａｔｉｏｎ ａｎｄ ｓｈｉｆｔｓｉｎ ｐｏｓｉｔｉｏｎ，Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｖｏｌ．１５，ｐｐ．４５５−４６９）、ダイナミックルーティング神経回路網により対象中心のスケール、位置不変な表現を得て行う方法（Ａｎｄｅｒｓｏｎ，ｅｔａｌ．１９９５，Ｒｏｕｔｉｎｇ Ｎｅｔｗｏｒｋｓ ｉｎ Ｖｉｓｕａｌ Ｃｏｒｔｅｘ，ｉｎ Ｈａｎｄｂｏｏｋ ｏｆ Ｂｒａｉｎ Ｔｈｅｏｒｙ ａｎｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（Ｍ．Ａｒｂｉｂ，Ｅｄ．），ＭＩＴ Ｐｒｅｓｓ，ｐｐ．８２３−８２６）、その他多層パーセプトロン、動径基底関数（Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）ネットワークなどを用いる方法がある。
【０００５】
一方、生体の神経回路網による情報処理機構をより忠実に取り入れようとする試みとして、アクションポテンシャルに相当するパルス列による情報の伝達表現を行う神経回路網モデル回路が提案されている（Ｍｕｒｒａｙ ｅｔ ａｌ．，１９９１ Ｐｕｌｓｅ−Ｓｔｒｅａｍ ＶＬＳＩ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ Ｍｉｘｉｎｇ Ａｎａｌｏｇ ａｎｄ Ｄｉｇｉｔａｌ Ｔｅｃｈｎｉｑｕｅｓ，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ｖｏｌ．２，ｐｐ．１９３−２０４．；特開平７−２６２１５７号公報、特開平７−３３４４７８号公報、特開平８−１５３１４８号公報、特許２８７９６７０号公報など）。
【０００６】
パルス列生成ニューロンからなる神経回路網により特定対象の認識、検出を行う方法としては、結合入力（ｌｉｎｋｉｎｇ ｉｎｐｕｔｓ）と供給入力（ｆｅｅｄｉｎｇ ｉｎｐｕｔｓ）を前提としたＥｃｋｈｏｒｎらによる高次（２次以上）のモデル（Ｅｃｋｈｏｒｎ，ｅｔ ａｌ． １９９０， Ｆｅａｔｕｒｅ ｌｉｎｋｉｎｇ ｖｉａ ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ ａｍｏｎｇ ｄｉｓｔｒｉｂｕｔｅｄ ａｓｓｅｍｂｌｉｅｓ：Ｓｉｍｕｌａｔｉｏｎ ｏｆ ｒｅｓｕｌｔｓ ｆｒｏｍ ｃａｔ ｃｏｒｔｅｘ，Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ，Ｖｏｌ．２，ｐｐ．２９３−３０７）、即ち、パルス結合神経回路網（以下、ＰＣＮＮと略す）を用いた方式がある（ＵＳＰ５６６４０６５、及び、Ｂｒｏｕｓｓａｒｄ，ｅｔ ａｌ．１９９９，Ｐｈｙｓｉｏｌｏｇｉｃａｌｌｙ Ｍｏｔｉｖａｔｅｄ Ｉｍａｇｅ Ｆｕｓｉｏｎ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｐｕｌｓｅ Ｃｏｕｐｌｅｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ， ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ｖｏｌ．１０，ｐｐ．５５４−５６３、など）。
【０００７】
また、ニューラルネットワークにおける配線問題を軽減する方法として、いわゆるパルス出力ニューロンのアドレスをイベント駆動型で符号化する方法（Ａｄｄｒｅｓｓ Ｅｖｅｎｔ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ：以下、ＡＥＲという）がある（Ｌａｚｚａｒｏ，ｅｔ ａｌ．１９９３，Ｓｉｌｉｃｏｎ Ａｕｄｉｔｏｒｙ Ｐｒｏｃｅｓｓｏｒｓ ａｓ Ｃｏｍｐｕｔｅｒ Ｐｅｒｉｐｈｅｒａｌｓ，Ｉｎ Ｔｏｕｒｅｔｚｋｙ，Ｄ．（ｅｄ），Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ５． Ｓａｎ Ｍａｔｅｏ，ＣＡ：Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ Ｐｕｂｌｉｓｈｅｒｓ）。この場合、パルス列出力側のニューロンのＩＤがアドレスとして２値で符号化されることにより、異なるニューロンからの出力信号が共通バス上に時間的に配列しても、それを入力する側のニューロンでは元のニューロンのアドレスを自動的にデコードすることができる。
【０００８】
一方、特許２７４１７９３号公報に係るニューラルネットワークプロセッサでは、シストリックアレイのアーキテクチャにおいて多層のフィードフォワード型ネットワークを構成することにより、ニューロン数の減少と回路規模の縮小を図っている。
【０００９】
【発明が解決しようとする課題】
しかしながら上記従来例では、いずれもニューロン間の結合に関与する配線部分およびニューロン数より遥かに多いシナプス結合回路による回路規模の縮小が困難であり、また各構成要素の配置を一般的なパターン認識に適用することが困難であるという問題を少なからず残している。
【００１０】
本発明は上述した課題を解決するためになされたものであり、シナプス結合回路の共有化を図ることにより、従来より小さい回路規模で同等性能を実現することを目的とする。
【００１１】
【課題を解決するための手段】
上述した目的を達成するための一手段として、本発明によれば、パルス信号処理回路に、タイミング信号を発生する発生回路と、異なる演算素子から前記タイミング信号に基づいて出力される複数のパルス信号を入力し、当該複数のパルス信号のうち所定の複数のパルス信号に対して共通する変調を与える変調回路と、該変調回路により変調された前記所定の複数のパルス信号の各々を入力し、前記タイミング信号の基準時刻から当該パルス信号の入力までの経過時間に応じて、それぞれ対応する信号線に分岐出力する分岐回路とを備える。
【００１６】
本発明の他の態様によれば、パルス信号処理回路に、タイミング信号発生回路と、パルス信号を出力する複数の演算素子と、当該演算素子間を結合する結合手段とを備え、前記結合手段は、所定の前記演算素子からのパルス信号を入力して所定の重み付き時間窓積分を施し、前記演算素子は、前記結合手段により並列配置され、前記タイミング信号発生回路からのタイミング信号に基づき、前記結合手段からのパルス変調信号を統合する。
【００１７】
【発明の実施の形態】
＜第１の実施形態＞
以下、図面を用いて本発明の１実施形態を詳細に説明する。
【００１８】
全体構成概要
図１は本実施形態におけるパターン検出・認識装置のためのネットワークの全体構成を示す図である。この装置では、対象または幾何学的特徴などの認識（検出）に関与する情報を主として扱う。
【００１９】
図１は、いわゆるＣｏｎｖｏｌｕｔｉｏｎａｌネットワーク構造（ＬｅＣｕｎ，Ｙ．ａｎｄ Ｂｅｎｇｉｏ，Ｙ．，１９９５，“ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋｓ ｆｏｒ Ｉｍａｇｅｓ Ｓｐｅｅｃｈ，ａｎｄ ＴｉｍｅＳｅｒｉｅｓ”ｉｎ Ｈａｎｄｂｏｏｋ ｏｆ Ｂｒａｉｎ Ｔｈｅｏｒｙ ａｎｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ （Ｍ．Ａｒｂｉｂ，Ｅｄ．），ＭＩＴ Ｐｒｅｓｓ，ｐｐ．２５５−２５８）を表している。但し、同経路内の層間結合は局所的に相互結合をなし得る点（後述）が、従来と異なる。最終出力は認識結果、即ち認識された対象のカテゴリに相当する。
【００２０】
データ入力層１０１は、画像の検出認識などを行う場合はＣＭＯＳセンサー、或いはＣＣＤ素子等の光電変換素子であり、音声の検出認識などを行う場合には音声入力センサーである。また、所定データ解析手段の解析結果（例えば、主成分分析、ベクトル量子化、など）から得られる高次元のデータを入力するものであってもよい。
【００２１】
以下、画像を入力する場合について説明する。特徴検出層（１，０）は、Ｇａｂｏｒ ｗａｖｅｌｅｔ変換その他による多重解像度処理により、画像パターンの局所的な低次の特徴（幾何学的特徴のほか色成分特徴を含んでもよい）を全画面の各位置（或いは、全画面にわたる所定のサンプリング点の各点）において同一箇所で複数のスケールレベル又は解像度で複数の特徴カテゴリの数だけ検出し、特徴量の種類（例えば、幾何学的特徴として所定方向の線分を抽出する場合にはその幾何学的構造である線分の傾き）に応じた受容野構造を有し、その程度に応じたパルス列を発生するニューロン素子から構成される。
【００２２】
特徴検出層（１，ｋ）は全体として、複数の解像度（又はスケールレベル）での処理チャネルを形成する（但し ｋ≧０）。即ち、Ｇａｂｏｒ ｗａｖｅｌｅｔ変換を特徴検出層（１，０）で行う場合を例にとると、スケールレベルが同一で方向選択性の異なるＧａｂｏｒフィルタカーネルを受容野構造に持つ特徴検出細胞のセットは特徴検出層（１，０）において同一の処理チャネルを形成し、後続の層（１，１）においても、それら特徴検出細胞からの出力を受ける特徴検出細胞（より高次の特徴を検出する）は、当該処理チャネルと同一のチャネルに属する。更に後続の層（１，ｋ）（但しｋ＞１）においても、同様に（２，ｋ−１）層において同一チャネルを形成する複数の特徴統合細胞からの出力を受ける特徴検出細胞は、当該チャネルに属するように構成される。各処理チャネルは、同一スケールレベル（又は解像度）での処理が進行していくものであり、階層的並列処理により低次特徴から高次特徴までの検出及び認識を行う。
【００２３】
特徴統合層（２，０）は、所定の受容野構造（以下、受容野１０５とは直前の層の出力素子との結合範囲を、受容野構造とはその結合荷重の分布を意味する）を有し、パルス列を発生するニューロン素子からなり、特徴検出層（１，０）からの同一受容野内の複数のニューロン素子出力の統合（局所平均化、最大出力抽出等によるサブサンプリングなどの演算）を行う。また、特徴統合層内のニューロンの各受容野は同一層内のニューロン間で共通の構造を有している。各特徴検出層１０２（（１，１）、（１，２）、・・・、（１，Ｎ））及び各特徴統合層１０３（（２，１）、（２，２）、・・・、（２，Ｎ））は、それぞれ所定の受容野構造を持ち、上述した各層と同様に前者（（１，１）、・・・）は、各特徴検出モジュールにおいて複数の異なる特徴の検出を行い、後者（（２，１）、・・・）は、前段の特徴検出層からの複数特徴に関する検出結果の統合を行う。但し、前者の特徴検出層は同一チャネルに属する前段の特徴統合層の細胞素子出力を受けるように結合（配線）されている。特徴統合層で行う処理であるサブサンプリングは、同一特徴カテゴリの特徴検出細胞集団からの局所的な領域（当該特徴統合層ニューロンの局所受容野）からの出力についての平均化などを行うものである。
【００２４】
図２は、シナプス回路とニューロン素子の構成を示す図である。各層間のニューロン素子２０１間を結合する構造は、図２の（Ａ）に示すように、神経細胞の軸索または樹状突起に相当する信号伝達部２０３（配線または遅延線）、及びシナプス回路Ｓ２０２である。図２の（Ａ）では、ある特徴検出（統合）細胞（Ｎ）に対する受容野を形成する特徴統合（検出）細胞のニューロン群（ｎｉ）からの出力（当該細胞Ｎから見ると入力）に関与する結合の構成を示している。太線で示している信号伝達部２０３は共通バスラインを構成し、この信号伝達ライン上に複数のニューロンからのパルス信号が時系列に並んで伝達される。出力先の細胞（Ｎ）からの入力を受ける場合も同様の構成がとられる。この場合には、全く同じ構成において時間軸上で入力信号と出力信号とを分割して処理してもよいし、或いは入力用（樹状突起側）と出力用（軸索側）の２系統で、図２の（Ａ）と同様の構成を与えて処理してもよい。
【００２５】
シナプス回路Ｓ２０２としては、層間結合（特徴検出層１０２上のニューロンと特徴統合層１０３上のニューロン間の結合であって、各層ごとにその後続の層及び前段の層への結合が存在しうる）に関与するものと、同一層内ニューロン間結合に関与するものとがある。後者は必要に応じて、主に、後述するペースメーカニューロンと特徴検出または特徴統合ニューロンとの結合に用いられる。
【００２６】
シナプス回路Ｓ２０２において、いわゆる興奮性結合はパルス信号の増幅を行い、抑制性結合は逆に減衰を与えるものである。パルス信号により情報の伝達を行う場合、増幅及び減衰はパルス信号の振幅変調、パルス幅変調、位相変調、周波数変調のいずれによっても実現することができる。
【００２７】
本実施形態においては、シナプス回路Ｓ２０２は、主にパルスの位相変調素子として用い、信号の増幅は、特徴に固有な量としてのパルス到着時間の実質的な進み、減衰は実質的な遅れとして変換される。即ち、シナプス結合は後述するように出力先のニューロンでの特徴に固有な時間軸上の到着位置（位相）を与え、定性的には興奮性結合はある基準位相に対しての到着パルスの位相の進みを、抑制性結合では同様に遅れを与えるものである。
【００２８】
図２の（Ａ）において、各ニューロン素子ｎｊは、パルス信号（スパイクトレイン）を出力し、後述する様な、いわゆるｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅ型のニューロン素子を用いている。なお、図２の（Ｃ）に示すように、シナプス回路とニューロン素子とを、それぞれまとめて回路ブロックを構成してもよい。
【００２９】
ニューロン素子
次に各層を構成するニューロンについて説明する。各ニューロン素子はいわゆるｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンを基本として拡張モデル化したもので、入力信号（アクションポテンシャルに相当するパルス列）を時空間的に線形加算した結果が閾値を越したら発火し、パルス状信号を出力する点ではいわゆるｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンと同じである。
【００３０】
図２（Ｂ）はニューロン素子としてのパルス発生回路（ＣＭＯＳ回路）の動作原理を表す基本構成の一例を示し、公知の回路（ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ Ｖｏｌ．１０，ｐｐ．５４０）を拡張したものである。ここでは、入力として興奮性と抑制性の入力を受けるものとして構成されている。
【００３１】
以下、このパルス発生回路の動作原理について説明する。興奮性入力側のキャパシタＣ１及び抵抗Ｒ１回路の時定数は、キャパシタＣ２及び抵抗Ｒ２回路の時定数より小さく、定常状態では、トランジスタＴ１、Ｔ２、Ｔ３は遮断されている。なお、抵抗は実際には、ダイオードモードで結合するトランジスタで構成される。
【００３２】
キャパシタＣ１の電位が増加し、キャパシタＣ２のそれよりトランジスタＴ１の閾値だけ上回ると、トランジスタＴ１はアクティブになり、更にトランジスタＴ２，Ｔ３をアクティブにする。トランジスタＴ２，Ｔ３は、電流ミラー回路を構成し、図２の（Ｂ）の回路の出力は、不図示の出力回路によりキャパシタＣ１側から出力される。キャパシタＣ２の電荷蓄積量が最大となると、トランジスタＴ１は遮断され、その結果としてトランジスタＴ２及びＴ３も遮断され、上記正のフィードバックは０となる様に構成されている。
【００３３】
いわゆる不応期には、キャパシタＣ２は放電し、キャパシタＣ１の電位がキャパシタＣ２の電位よりも大で、その差がトランジスタＴ１の閾値分を超えない限り、ニューロンは応答しない。キャパシタＣ１、Ｃ２の交互充放電の繰り返しにより周期的なパルスが出力され、その周波数は一般的には興奮性入力のレベルに対応して定まる。但し、不応期が存在することにより、最大値で制限されるようにすることもできるし、一定周波数を出力するようにもできる。
【００３４】
キャパシタの電位、従って電荷蓄積量は、基準電圧制御回路（時間窓重み関数発生回路）２０４により時間的に制御される。この制御特性を反映するのが、入力パルスに対する後述の時間窓内での重み付き加算である（図７参照）。この基準電圧制御回路２０４は、後述するペースメーカニューロンからの入力タイミング（又は、後続層のニューロンとの相互結合入力）に基づき、基準電圧信号（図７の（Ｂ）の重み関数に相当）を発生する。
【００３５】
抑制性の入力は、本実施形態においては必ずしも要しない場合があるが、後述するペースメーカニューロンから特徴検出層ニューロンへの入力を抑制性とすることにより、出力の発散（飽和）を防ぐことができる。
【００３６】
一般的に、入力信号の上記総和と出力レベル（パルス位相、パルス周波数、パルス幅など）との関係は、そのニューロンの感度特性によって変化し、また、その感度特性は、上位層からのトップダウンの入力により変化させることができる。以下では、説明の便宜上、入力信号総和値に応じたパルス出力の周波数は、急峻に立ち上がるように回路パラメータが設定されているものとし（従って周波数ドメインでは殆ど２値）、パルス位相変調により、出力レベル（位相変調を加えたタイミングなど）が変動するものとする。
【００３７】
また、パルス位相の変調部としては、後述する図５に示すような回路を付加して用いてもよい。これにより、時間窓内の重み関数が上記基準電圧により制御される結果、このニューロンからのパルス出力の位相が変化し、この位相をニューロンの出力レベルとして用いることができる。
【００３８】
シナプス結合でパルス位相変調を受けたパルスについての時間的積分特性（受信感度特性）を与える図７の（Ｂ）に示すような重み関数の極大値に相当する時刻τｗ１は、一般的にシナプス結合で与えられる特徴に固有なパルスの到着予定時刻τｓ１より時間的に早く設定される。その結果、到着予定時刻より一定範囲で早く（図７（Ｂ）の例では、到着の早すぎるパルスは減衰される）到着するパルスは、それを受け取るニューロンでは、高い出力レベルを持ったパルス信号として時間的に積分される。重み関数の形状はガウシアン等の対称形に限らず、非対称形状であってもよい。なお、上述した趣旨より、図７の（Ｂ）の各重み関数の中心は、パルス到着予定時刻ではないことを注記しておく。
【００３９】
また、ニューロン出力（シナプス前）の位相は、後述するように時間窓の始期を基準とし、その基準時からの遅れ（位相）は基準パルス（ペースメーカ出力その他による）を受けた時の電荷蓄積量により決まるような出力特性を有する。このような出力特性を与える回路構成の詳細については、本発明の主眼とする所ではないので省略する。シナプス後のパルス位相は当該シナプスにより与えられる固有の位相変調量にシナプス前の位相を加算したものとなる。
【００４０】
また、窓関数などを用いることにより得られる入力の総和値が閾値を越えたときに、所定タイミング遅れて発振出力を出すような公知の回路構成を用いてもよい。
【００４１】
ニューロン素子の構成としては、特徴検出層１０２または特徴統合層１０３に属するニューロンであって、後述するペースメーカニューロンの出力タイミングに基づき発火パターンが制御される場合には、ペースメーカニューロンからのパルス出力を受けた後、当該ニューロンが、前段の層の受容野から受ける入力レベル（上記の入力の単純または重み付き総和値）に応じた位相遅れをもって、パルス出力するような回路構成であればよい。この場合、ペースメーカニューロンからのパルス信号が入力される前では、入力レベルに応じて各ニューロンは互いにランダムな位相でパルス出力する過渡的な遷移状態が存在する。
【００４２】
特徴検出層１０２のニューロンは、前述したように特徴カテゴリに応じた受容野構造を有し、前段の層（入力層１０１または特徴統合層１０３）のニューロンからの入力パルス信号（電流値または電位）の時間窓関数による荷重総和値（後述）が閾値以上となったとき、その総和値に応じて、例えばシグモイド関数等の一定レベルに漸近的に飽和するような非減少かつ非線形な関数、即ちいわゆるｓｑｕａｓｈｉｎｇ関数値をとるような出力レベル（ここでは位相変化で与えるが、周波数、振幅、パルス幅基準での変化となる構成でもよい）でパルス出力を行う。
【００４３】
シナプス回路等
図４は、シナプス回路２０２（Ｓｉ）においてニューロンｎｉの結合先である各ニューロンｎ’ｊへのシナプス結合強度（位相遅延等に関する変調の大きさを意味する）を与える各小回路がマトリクス的に配置されていることを示す。
【００４４】
前述したように、特徴検出層１０２の各ニューロンは検出すべきパターンの構造に応じた局所受容野構造（前層との局所的なシナプス結合構造）を有し、一般的にはその構造には対称性、或いは共通する結合強度を与えるような複数のシナプスが存在する。結合構造の対称性に関しては、信号の入力側（受信側）のニューロンから見た結合強度分布パターンの対称性以外に、出力側（送信側）のニューロンから見た結合強度分布パターンに対称性（或いは、複数の結合強度が同一値）が存在する場合がある。
【００４５】
前者は典型的には、ある特徴カテゴリを検出する特徴検出層ニューロンが複数の異なる下位レベル特徴カテゴリ（又は入力画素位置）の特徴統合層ニューロン（入力層画素）からのパルス出力（強度レベル）を部分的又は全面的に同じ結合強度で入力する場合である。例えば、Ｇａｂｏｒ ｗａｖｅｌｅｔ変換を行う特徴検出層ニューロンの受容野構造はいずれも対称性を有し、受容野の複数位置で同一の感度レベル（結合強度）を有する。
【００４６】
後者は例えば、ある特徴カテゴリを表す特徴統合層ニューロンから後続層である特徴検出層に異なる特徴カテゴリを検出する複数のニューロンにそれぞれシナプス結合素子で固有の変調を受けた複数のパルス信号が出力される場合であって、そのシナプス結合パターンが分布対称性を有する（又は複数のシナプス結合において同一の変調量を与える）場合である。
【００４７】
一方、前者の構造のうち低次または中次の特徴統合層１０３から中次または高次の特徴検出層１０２のニューロンへの結合は、一般的には非局所的な受容野構造（結合パターン）とすること（図１参照）もできるが、図８、図９の（Ａ）、（Ｂ）のように配置すれば局所的な構造を得て局所受容野構造に関する同様な対称性（或いは同一受容野内の複数の同一レベルの結合分布）を与えることができる。
【００４８】
即ち、上述した非局所的な受容野構造とは、図１に示す構造において、互いに異なる特徴カテゴリに属する複数の特徴統合モジュール（図１の例えば、（２，０）層において小さい矩形領域で示す）の特徴統合層ニューロンが、入力データ上の同一位置に関する特徴であっても、そのニューロンが属する特徴統合モジュールが異なると互いに空間的に大きく離れた位置に配列されるため、特徴統合層から特徴検出層への結合は、そのような複数の特徴統合層ニューロンからの出力が特徴検出層ニューロンへ入力されるために、入力データ上の位置の近さ（或いは同一性）が必ずしも配線上の近さとはならない非局所的配線構造をとることを意味する。
【００４９】
以下、図８、図９の（Ａ）、（Ｂ）に示す構造について説明する。入力データ上の所定位置（或いはその位置を中心とする局所領域）での複数の幾何学的特徴に関する特徴統合層ニューロンは互いに隣接して配置され、各ニューロンは、より上位の特徴検出層のニューロンへの結合をなしている。図８で特徴検出細胞ＦＤ（ｒ，ｆｋ，ｉ）は入力データ上の場所ｒに該当する位置においての特徴検出ｋ層でのｉ番めの特徴カテゴリを検出する細胞である。また、特徴統合細胞ＦＩ（ｒ，ｆｋ，ｉ）は同様に入力データ上の場所ｒに該当する位置においての特徴統合ｋ層でのｉ番めの特徴カテゴリに関する細胞である。同図において低次特徴に関する層間で特徴検出層から特徴統合層への結合を局所受容野とともに示した部分は、図１と異なり、各層間結合がいずれも局所受容野構造を有することを模式的に示す。
【００５０】
例えば、抽出すべき特徴カテゴリの数が４つであれば各入力データ位置に対応して図９（Ａ）の左側のように各特徴カテゴリ（Ｆ１，Ｆ２，Ｆ３，Ｆ４）に対応するニューロン素子を局所的にまとめて配列する。ここに、まとめて配列された各素子は、入力データ上の同一位置での異なる幾何学的特徴に関する特徴統合層ニューロンを表す。本実施例では特徴統合層は図９（Ａ）の左側に示すような配列構造を用いる。また、図９の（Ａ）は特徴統合層のあるニューロンからその上位の（ネットワーク全体では中間レベルの）特徴検出層への配線を模式的に表している。
【００５１】
特徴検出層では上位の特徴カテゴリ（ここでは、Ｇ１，Ｇ２の２つ）を入力データの所定位置ごとに検出するものであり、Ｇ１のカテゴリに関するニューロンは特徴統合層のＦ１及びＦ２に関するニューロン（図９の（Ａ）において点線の楕円で囲まれた部分に属し、かつ入力データ上の局所領域中の複数箇所に相当する位置での当該カテゴリの存在有無に関するニューロンをいう）からの出力を受けている。同様にしてＧ２カテゴリに関するニューロンは特徴統合層のＦ３及びＦ４に関するニューロンからの出力を受けている。図９では、特徴検出層の隣接するニューロンは特徴統合層の重複した領域にあるニューロン（同図において点線の楕円が重複した部分に属するもの）からの出力を受けている。
【００５２】
図９の（Ｂ）では更に、特徴検出層からその上位層である特徴統合層への配線構造の一部、及び対応する特徴統合層のニューロン素子の配列を模式的に表している。ここに、特徴統合層の各ニューロンの特徴カテゴリ（ｇ１、ｇ２）は、特徴検出層の特徴カテゴリ（Ｇ１、Ｇ２）にそれぞれ対応し、幾何学的特徴としては同一カテゴリを表している（便宜上、表記を区別している）。各特徴統合層ニューロンは、特徴検出層上の局所領域にある複数ニューロンからの出力を受けている。
【００５３】
マトリックス状の回路配置においては、シナプス結合強度（位相遅延量）が共通となるものについては、共通シナプス結合強度ごとに単一のシナプス小回路でまとめて構成している。具体的には、ある特徴検出層ニューロンへの入力側にあるべき共有化されるシナプス小回路には複数の異なるニューロンからの入力信号線が結合し、更に当該ニューロンからの出力先（特徴統合層）への信号線として複数の異なるニューロンへの出力信号線または単一のニューロンへの信号線が結合する。
【００５４】
以下図１０、１１を参照して、特徴統合層ニューロン（Ｎ１，・・・，Ｎ９）から特徴検出層ニューロン（Ｍ１，Ｍ２，Ｍ３）への結合において、各特徴検出層ニューロンへの結合パターン（シナプス変調分布）が対称性を有するか、或いは複数のシナプス結合が同一の変調量を与える場合に行われるシナプス結合回路の共有化について説明する。
【００５５】
各図に共通して、特徴検出層ニューロンＭ１，Ｍ２，Ｍ３は、それぞれ順に特徴統合層のＮ３を中心としたニューロン群（Ｎ１・・・Ｎ５）、Ｎ５を中心としたニューロン群（Ｎ３・・・Ｎ７）、Ｎ７を中心としたニューロン群（Ｎ５・・・Ｎ９）からの結合をシナプス回路（＋スイッチ回路）群を介して形成している。シナプス回路（＋スイッチ回路）に示すＤ１、Ｄ２、Ｄ３は、各シナプスでのパルス遅延量を表す。ここでは単純な例として各特徴検出層ニューロンへの結合において中心ニューロンからの出力は遅延量Ｄ２、中心ニューロンの最近傍（両隣にある）ニューロンからの出力は遅延量Ｄ１、中心ニューロンから２番目の距離にあるニューロンからの出力は遅延量Ｄ３を受けるように構成されている。
【００５６】
図１０の（Ａ）では、シナプス＋分岐回路を用いて同一回路において複数ニューロンからのパルス信号出力にそれぞれ一定の遅延を与え、入力側のニューロンに応じて異なるニューロンに分岐出力する。分岐出力とは、所定遅延量の変調を受けたパルスが複数の特徴検出ニューロンへ出力されることであり、図１０の（Ａ）において、各分岐線は、例えば、遅延量Ｄ１を与えるシナプス回路内では同図の（Ｂ）に示すように配線されている。
【００５７】
例えば、特徴統合層ニューロンＮ２からのパルス出力は、シナプス回路で遅延量Ｄ１を与えられた後、特徴検出層Ｍ１ニューロンのみに分岐出力される。ここで、図１０の（Ｂ）に示すように、遅延素子後の分岐配線上にダイオードを設定することにより、特定ニューロンからの出力が分岐構造によって特定ニューロンに出力されるように構成されている。ニューロンＮ４からの出力は、遅延Ｄ１を受けて特徴検出層のＭ１及びＭ２ニューロンへ出力される。これは、ニューロンＭ１及びＭ２の受容野がＮ４で重複しているためである。また、Ｎ５からのパルス出力は、遅延Ｄ２を受けてＭ２へ出力される信号と遅延Ｄ３を受けてＭ１に出力される信号とがある。各ニューロンからの出力の遅延及び分岐出力構造の詳細は図１１（Ａ）に示したものと同じである。
【００５８】
図１１（Ａ）においては、各シナプス回路内の小回路Ｄｉｊは、遅延量としてＤｉを与えてＭｊニューロンへ出力することを表す。また、遅延量Ｄｉを与える各シナプス回路への入力は分岐出力先に応じて異なる小回路に結線するため図１０より多くの配線を要している。
【００５９】
ある特徴統合層ニューロンへの入力信号線としては、後述するように、そのニューロンに対するサブサンプリングのための一様な重み付けの局所平均化を行う場合には、途中に所定のパルス遅延等を与えるシナプス回路は不要である。しかしながら、非一様な局所平均化等の処理を行う場合には、上記特徴検出層ニューロンへのシナプス結合回路と同様に構成すればよい。
【００６０】
これら出力信号線は所定のシナプス回路に結合してもよいし、単なる分岐線（遅延線または配線）として出力先ニューロンへ結合してもよい。なお、信号としては電圧モードでのパルス信号が入出力されるものとする。
【００６１】
ネットワークが結合荷重の共有結合形式（１の重み係数分布で複数ニューロンのシナプス結合構造を同一に表す場合）になるような構成をとる場合には、各シナプスでの遅延量（下記（１）式のＰｉｊ）が図３の場合と違って同一受容野内で一様とすることができる場合がある。例えば、特徴検出層から特徴統合層への結合は、特徴統合層がその前段の層である特徴検出層出力の局所平均化（ただし、一様重み付けとする）によるサブサンプリングを行う場合には、検出対象によらず（即ち、課題によらず）このように構成することができる。
【００６２】
この場合、図４の（Ａ）の各小回路４０１は、図４の（Ｃ）のように、単一の回路Ｓｋ，ｉで済み、特に経済的な回路構成となる。一方、特徴統合層（またはセンサ入力層）から特徴検出層への結合がこのようになっている場合、特徴検出ニューロンが検出するのは、複数の異なる特徴要素を表すパルスの同時到着（或いは、略同時到着）という、イベントである。
【００６３】
図４の（Ｂ）に示すように各シナプス結合小回路４０１は、学習回路４０２と位相遅延回路４０３とからなる。学習回路４０２は、位相遅延回路４０３の特性を変化させることにより、上記遅延量を調整し、また、その特性値（或いはその制御値）を浮遊ゲート素子、或いは浮遊ゲート素子と結合したキャパシタ上に記憶するものである。位相遅延回路４０３はパルス位相変調回路であり、例えば、図５（Ａ）に示すような単安定マルチバイブレータ５０６、５０７及び、抵抗５０１、５０４、キャパシタ５０３、５０５、トランジスター５０２を用いた構成がある。図５（Ｂ）は単安定マルチバイブレータ５０６へ入力された方形波Ｐ１（図５（Ｂ）［１］）、単安定マルチバイブレータ５０６から出力される方形波Ｐ２（同［２］）、単安定マルチバイブレータ５０７から出力される方形波Ｐ３（同［３］）の各タイミングを表している。
【００６４】
位相遅延回路４０３の動作機構の詳細については説明を省略するが、Ｐ１のパルス幅は、充電電流によるキャパシタ５０３の電圧が予め定められた閾値に達するまでの時間で決まり、Ｐ２の幅は抵抗５０４とキャパシタ５０５による時定数で決まる。Ｐ２のパルス幅が（図５の（Ｂ）の点線方形波のように）広がって、その立ち下がり時点が後にずれるとＰ３の立ち上がり時点も同じ量ずれるが、Ｐ３のパルス幅は変わらないので、結果的に入力パルスの位相だけが変調されて出力されたことになる。
【００６５】
制御電圧Ｅｃを基準電圧のリフレッシュ回路５０９と結合荷重を与えるキャパシタ５０８への電荷蓄積量制御を行う学習回路４０２で変化させることにより、パルス位相（遅延量）を制御することができる。この結合荷重の長期保持のためには、学習動作後に図５の（Ａ）の回路の外側に付加される浮遊ゲート素子（図示せず）のチャージとして、或いはデジタルメモリへの書き込み等を行って結合荷重を格納してもよい。その他回路規模を小さくなるように工夫した構成（例えば、特開平５−３７３１７号公報、特開平１０−３２７０５４号公報参照）など周知の回路構成を用いることができる。
【００６６】
パルスの同時到着、或いは所定の位相変調量を実現するシナプスでの学習回路の例としては、図５の（Ｃ）に示すような回路要素を有するものを用いればよい。即ち、学習回路４０２をパルス伝播時間計測回路５１０（ここで、伝播時間とは、ある層のニューロンの前シナプスでのパルス出力時刻と次の層上にある出力先ニューロンでの当該パルスの到着時刻との時間差をさす）、時間窓発生回路５１１、及び伝播時間が一定値となるようにシナプス部でのパルス位相変調量を調整するパルス位相変調量調整回路５１２から構成できる。
【００６７】
伝播時間計測回路５１０としては、後述するような同一局所受容野を形成するペースメーカーニューロンからのクロックパルスを入力し、所定の時間幅（時間窓：図３の（Ｂ）参照）において、そのクロックパルスのカウンター回路からの出力に基づき伝播時間を求めるような構成などが用いられる。なお、時間窓は出力先ニューロンの発火時点を基準として設定することにより、以下に示すような拡張されたＨｅｂｂの学習則が適用される。
【００６８】
特徴検出層（１，０）での処理（Ｇａｂｏｒ ｗａｖｅｌｅｔ変換等による低次特徴抽出）
特徴検出層（１，０）には、局所的な、ある大きさの領域で所定の空間周波数を持ち、方向成分が垂直であるようなパターンの構造（低次特徴）を検出するニューロンがあるとすると、データ入力層１上のＮ１の受容野内に該当する構造が存在すれば、そのコントラストに応じた位相でパルス出力する。このような機能はＧａｂｏｒ ｆｉｌｔｅｒにより実現することができる。以下、特徴検出層（１，０）の各ニューロンが行う特徴検出フィルタ機能について説明する。
【００６９】
特徴検出層（１，０）では、多重スケール、多重方向成分のフィルタセットで表されるＧａｂｏｒウエーブレット変換を行うものとし、層内の各ニューロン（または複数ニューロンからなる各グループ）は、所定のＧａｂｏｒフィルタ機能を有する。特徴検出層では、スケールレベル（解像度）が一定で方向選択性の異なる複数のＧａｂｏｒ関数の畳み込み演算カーネルに対応する受容野構造を有するニューロンからなる複数のニューロン集団を一まとめにして一つのチャネルを形成する。
【００７０】
その際、同一チャネルを形成するニューロン群は方向選択性が異なり、サイズ選択性が同一のニューロン群どうしを互いに近接した位置に配置してもよいし、同一の特徴カテゴリに属し、異なる処理チャネルに属するニューロン群どうしが互いに近接配置されるようにしてもよい。これは、集団的符号化における後述する結合処理の都合上各図に示すような配置構成にした方が、回路構成上実現しやすいことによる。
【００７１】
なお、Ｇａｂｏｒ ｗａｖｅｌｅｔ変換を神経回路網で行う方法の詳細については、Ｄａｕｇｍａｎ（１９８８）による文献（ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．３６，ｐｐ．１１６９−１１７９）を参照されたい。
【００７２】
特徴検出層（１，０）の各ニューロンは、ｇｍｎに対応する受容野構造を有する。同じスケールインデックスｍを有するｇｍｎは同じサイズの受容野を有し、演算上は対応するカーネルｇｍｎサイズもスケールインデックスに応じた大きさを有するようにしてある。ここでは、最も粗いスケールから順に入力画像上の３０×３０、１５×１５、７×７のサイズとした。各ニューロンは、分布重み係数と画像データとの積和入力を行って得られるウエーブレット変換係数値の非線型ｓｑｕａｓｈｉｎｇ関数となる出力レベル（ここでは位相基準とする；但し、周波数、振幅、パルス幅基準となる構成でもよい）でパルス出力を行う。この結果、この層（１，０）全体の出力として、Ｇａｂｏｒ ｗａｖｅｌｅｔ変換が行われたことになる。
【００７３】
特徴検出層での処理（中次、高次特徴抽出）
後続の特徴検出層（（１，１）、（１，２）、・・・）の各ニューロンは、上記特徴検出層（１，０）とは異なり、認識対象のパターンに固有の特徴を検出する受容野構造をいわゆるＨｅｂｂ学習則等により形成する。後の層ほど特徴検出を行う局所的な領域のサイズが認識対象全体のサイズに段階的に近くなり、幾何学的には中次または高次の特徴を検出する。
【００７４】
例えば、顔の検出認識を行う場合には中次（または高次）の特徴とは顔を構成する目、鼻、口等の図形要素のレベルでの特徴を表す。異なる処理チャネル間では、同じ階層レベル（検出される特徴の複雑さが同レベル）であれば、検出される特徴の違いは、同一カテゴリであるが、互いに異なるスケールで検出されたものに対応する。例えば、中次の特徴としての「目」は異なる処理チャネルでは、サイズの異なる「目」として検出を行う。即ち、画像中の与えられたサイズの「目」に対してスケールレベル選択性の異なる複数の処理チャネルにおいて検出が試みられる。
【００７５】
なお、特徴検出層ニューロンは一般的に（低次、高次特徴抽出に依らず）、出力の安定化のために抑制性（分流型抑制：ｓｈｕｎｔｉｎｇ ｉｎｈｉｂｉｔｉｏｎ）の結合を前段の層出力に基づいて受けるような機構を有してもよい。
【００７６】
特徴統合層での処理
特徴統合層（（２，０）、（２，１）、・・・）のニューロンについて説明する。図１に示すごとく特徴検出層（例えば（１，０））から特徴統合層（例えば（２，０））への結合は、当該特徴統合ニューロンの受容野内にある前段の特徴検出層の同一特徴要素（タイプ）のニューロンから興奮性結合の入力を受けるように構成され、統合層のニューロンの機能は前述したごとく、各特徴カテゴリごとの局所平均化、最大値検出によるサブサンプリング等である。
【００７７】
前者によれば、複数の同一種類の特徴のパルスを入力し、それらを局所的な領域（受容野）で統合して平均化する（或いは、受容野内での最大値等の代表値を算出する）ことにより、その特徴の位置のゆらぎ、変形に対しても確実に検出することができる。このため、特徴統合層ニューロンの受容野構造は、特徴カテゴリによらず一様（例えば、いずれも所定サイズの矩形領域であって、かつ感度または重み係数がその中で一様分布するなど）となるように構成してよい。
【００７８】
特徴統合層でのパルス信号処理
このように本実施形態では、特徴統合細胞は、その前の層番号（１，ｋ）の特徴検出層上のペースメーカニューロンからのタイミング制御は受けるようには、構成していない。なぜならば、特徴統合細胞においては、入力パルスの到着時間パターンではなく、むしろ一定の時間範囲での入力レベル（入力パルスの時間的総和値など）によって決まる位相（周波数、パルス幅、振幅のいずれかが依存してもよいが、本実施形態では位相とした）でのパルス出力をするため、時間窓の発生タイミングは余り重要ではないからである。なお、このことは、特徴統合細胞が前段の層の特徴検出層のペースメーカニューロンからのタイミング制御を受ける構成を排除する趣旨ではなく、そのような構成も可能であることはいうまでもない。
【００７９】
パターン検出の動作原理
次に、２次元図形パターンのパルス符号化と検出方法について説明する。図３は、特徴統合層から特徴検出層への（例えば、図１の層（２，０）から層（１，１）への）パルス信号の伝播の様子を模式的に示したものである。特徴統合層側の各ニューロンｎｉは、それぞれ異なる特徴量（或いは特徴要素）に対応し、特徴検出層側のニューロンｎ’ｊは、同一受容野内の各特徴を組み合わせて得られる、より高次の特徴（図形要素）の検出に関与する。
【００８０】
各ニューロン間結合には、パルスの伝播時間とニューロンｎｉからニューロンｎ’ｊへのシナプス結合（Ｓｊ，ｉ）での時間遅れ等による固有（特徴に固有）の遅延が生じ、その結果としてニューロンｎ’ｊに到着するパルス列Ｐｉは、特徴統合層の各ニューロンからパルス出力がなされる限り、学習によって決まるシナプス結合での遅延量により、所定の順序（及び間隔）になっている（図３（Ａ）では、Ｐ４，Ｐ３，Ｐ２，Ｐ１の順に到着するように示されている）。
【００８１】
図３（Ｂ）は、後述するペースメーカニューロンからのタイミング信号を用いて時間窓の同期制御を行う場合において、層番号（２，ｋ）上の特徴統合細胞ｎ１、ｎ２、ｎ３（それぞれ異なる種類の特徴を表す）から、層番号（１，ｋ＋１）上のある特徴検出細胞（ｎ’ｊ）（より上位の特徴検出を行う）へのパルス伝播のタイミング等を示す。
【００８２】
図６において、ペースメーカニューロンｎｐは、同一の受容野を形成し、かつ異なる種類の特徴を検出する特徴検出ニューロン（ｎｊ，ｎｋ等）に付随し、それらと同一の受容野を形成して、特徴統合層（または入力層）からの興奮性結合を受ける。そして、その入力の総和値（或いは受容野全体の活動度レベル平均値など、受容野全体に固有の活動特性を表す状態に依存するように制御するため）によって決まる所定のタイミング（または周波数）でパルス出力を特徴検出ニューロン及び特徴統合ニューロンに対して行う。
【００８３】
また、各特徴検出ニューロンでは、その入力をトリガー信号として互いに時間窓が位相ロックする様に構成されているが、前記したようにペースメーカニューロン入力がある前は、位相ロックされず、各ニューロンはランダムな位相でパルス出力する。また、特徴検出ニューロンでは、ペースメーカニューロンからの入力がある前は後述する時間窓積分は行われず、ペースメーカニューロンからのパルス入力をトリガーとして、同積分が行われる。
【００８４】
ここに、時間窓は特徴検出細胞（ｎ’ｉ）ごとに定められ、当該細胞に関して同一受容野を形成する特徴統合層内の各ニューロンおよび、ペースメーカニューロンに対して共通であり、時間窓積分の時間範囲を与える。
【００８５】
層番号（１，ｋ）にあるペースメーカニューロンは（ｋは自然数）、パルス出力を層番号（２，ｋ−１）の各特徴統合細胞、及びそのペースメーカニューロンが属する特徴検出細胞（層番号（１，ｋ））に出力することにより、特徴検出細胞が時間的に入力を加算する際の時間窓発生のタイミング信号を与えている。この時間窓の開始時刻が各特徴統合細胞から出力されるパルスの到着時間を図る基準時となる。即ち、ペースメーカニューロンは特徴統合細胞からのパルス出力時刻、及び特徴検出細胞での時間窓積分の基準パルスを与える。
【００８６】
各パルスは、シナプス回路を通過すると所定量の位相遅延が与えられ、更に共通バスなどの信号伝達線を通って特徴検出細胞に到着する。この時のパルスの時間軸上の並びを、特徴検出細胞の時間軸上において点線で表したパルス（Ｐ１，Ｐ２，Ｐ３）により示す。
【００８７】
特徴検出細胞において各パルス（Ｐ１，Ｐ２，Ｐ３）の時間窓積分（通常、一回の積分とする；但し、多数回に渡る時間窓積分による電荷蓄積、または多数回に渡る時間窓積分の平均化処理を行ってもよい）の結果、閾値より大となった場合には、時間窓の終了時刻を基準としてパルス出力（Ｐｄ）がなされる。なお、同図に示した学習時の時間窓とは、後で説明する学習則を実行する際に参照されるものである。
【００８８】
パルス出力の時空間的統合及びネットワーク特性
次に入力パルスの時空間的重み付き総和（荷重和）の演算について説明する。図７（Ｂ）に示すごとく、各ニューロンでは、上記サブ時間窓（タイムスロット）毎に所定の重み関数（例えばＧａｕｓｓｉａｎ）で入力パルスの荷重和がとられ、各荷重和の総和が閾値と比較される。τｊはサブ時間窓ｊの重み関数の中心若しくはピーク位置を表し、時間窓の開始時刻基準（開始時間からの経過時間）で表す。重み関数は一般に所定の中心位置（検出予定の特徴が検出された場合のパルス到着時間を表す）からの距離（時間軸上でのずれ）の関数になり、対称形である。従って、ニューロンの各サブ時間窓（タイムスロット）の重み関数の中心位置τが、ニューロン間の学習後の時間遅れとすると、入力パルスの時空間的重み付き総和（荷重和）を行う神経回路網は一種の時間軸ドメインの動径基底関数ネットワーク（Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ Ｎｅｔｗｏｒｋ；以下ＲＢＦと略す）とみなすことができる。Ｇａｕｓｓｉａｎ関数の重み関数を用いたニューロンｎｉの時間窓ＦＴｉは、各サブ時間窓毎の広がりをσ、係数因子をｂｉｊで表すと、
【外１】
【００８９】
となる。
【００９０】
なお、重み関数としては、負の値をとるものであってもよい。例えば、ある特徴検出層のニューロンが三角形を最終的に検出することが予定されている場合に、その図形パターンの構成要素でないことが明らかな特徴（Ｆｆａｌｓｅ）が検出された場合には、他の特徴要素からの寄与が大きくても三角形の検出出力が最終的になされないように、入力の総和値算出処理において、当該特徴（Ｆｆａｕｌｓｅ）に対応するパルスからは、負の寄与を与えるような重み関数及び特徴検出（統合）細胞からの結合を与えておくことができる。
【００９１】
特徴検出層のニューロンｎｉへの入力信号の時空間和Ｘｉ（ｔ）は、
【外２】
【００９２】
となる。ここに、εｊは、ニューロンｎｊからの出力パルスの初期位相であり、ニューロンｎｉとの同期発火により、０に収束するか、又はペースメーカニューロンからのタイミングパルス入力により、時間窓の位相を０に強制同期する場合には、εｊは常に０としてよい。図７（Ａ）のパルス入力と同（Ｂ）に示す重み関数による荷重和を実行すると、図７（Ｅ）に示すような荷重和値の時間的遷移が得られる。特徴検出ニューロンは、この荷重和値が閾値（Ｖｔ）に達するとパルス出力を行う。
【００９３】
ニューロンｎｉからの出力パルス信号は、前述したように、入力信号の時空間和（いわゆる総入力和）のｓｑｕａｓｈｉｎｇ非線形関数となる出力レベルと学習により与えられた時間遅れ（位相）をもって上位層のニューロンに出力される（パルス出力は固定周波数（２値）とし、学習によって決まる固定遅延量に相当する位相に入力信号の時空間和についてのｓｑｕａｓｈｉｎｇ非線形関数となる位相変調量を加えて出力される）。
【００９４】
学習則
学習回路４０２は、同じカテゴリの物体が提示される頻度が大きくなるほど上記時間窓の幅が狭くなるようにしてもよい。このようにすることにより、見慣れた（呈示回数、学習回数の多い）カテゴリのパターンであるほど、複数パルスの同時到着の検出（ｃｏｉｎｃｉｄｅｎｃｅ ｄｅｔｅｃｔｉｏｎ）モードに近づく様な動作をすることになる。このようにすることにより、特徴検出に要する時間を短縮できる（瞬時検出の動作が可能となる）が、特徴要素の空間配置の細かな比較分析や、類似するパターン間の識別等を行うことには適さなくなる。
【００９５】
遅延量の学習過程は、例えば、複素数ドメインに拡張することにより、特徴検出層のニューロンｎｉと特徴統合層のニューロンｎｊとの間の複素結合荷重Ｃｉｊは、
Ｃｉｊ＝Ｓｉｊ ｅｘｐ（ｉＰｉｊ） （３）
のように与えられる。ここに、関数ｅｘｐ内の最初のｉは虚数単位を表し、Ｓｉｊは結合強度、Ｐｉｊは位相を表し、所定周波数でニューロンｊからニューロンｉに出力されるパルス信号の時間遅れに相当する位相である。Ｓｉｊはニューロンｉの受容野構造を反映し、認識検出する対象に応じて一般に異なる構造を有する。これは学習（教師付き学習または自己組織化）により別途形成されるか、或いは予め決められた構造として形成される。
【００９６】
一方、遅延量に関する自己組織化のための学習則は、
【外３】
【００９７】
で与えられる。但し、
【外４】
【００９８】
はＣの時間微分、τｉｊは上記時間遅れ（予め設定された量）、β（〜１）は定数を示す。上式を解くと、Ｃｉｊはβｅｘｐ（−２πｉτｉｊ）に収束し、従って、Ｐｉｊは−τｉｊに収束する。学習則適用の例を図３（Ｂ）に示した学習時の時間窓を参照して説明すると、シナプス結合の前側ニューロン（ｎ１，ｎ２，ｎ３）と後側ニューロン（特徴検出細胞）とが、その学習時間窓の時間範囲において、ともに発火しているときにだけ、（４）式に従って結合荷重が更新される。なお、図３（Ｂ）において、特徴検出細胞は時間窓の経過後に発火しているが、同図の時間窓経過前に発火してもよい。
【００９９】
特徴検出層処理
以下、特徴検出層で主に行われる処理（学習時、認識時）について説明する。各特徴検出層においては、前述したように各スケールレベルごとに設定される処理チャネル内において同一受容野からの複数の異なる特徴に関するパルス信号を入力し、時空間的重み付き総和（荷重和）演算と閾値処理を行う。
【０１００】
各特徴量に対応するパルスは予め学習により定められた遅延量（位相） により、所定の時間間隔で到着する。このパルス到着時間パターンの学習制御は、本発明の主眼ではないので詳しくは説明しないが、例えば、ある図形パターンを構成する特徴要素がその図形の検出に最も寄与する特徴であるほど先に到着し、そのままでは、パルス到着時間がほぼ等しくなる特徴要素間では、互いに一定量だけ時間的に離れて到着するような競争学習を導入する。或いは、予め決められた特徴要素（認識対象を構成する特徴要素であって、特に重要と考えられるもの：例えば、平均曲率の大きい特徴、直線性の高い特徴など）間で異なる時間間隔で到着する様に設計してもよい。
【０１０１】
本実施形態では、前段の層である特徴統合層上の同一受容野内の各低次特徴要素に相当するニューロンは、それぞれ所定の位相で同期発火（パルス出力）することになる。一般的に特徴統合層のニューロンであって位置が異なるが同一の高次の特徴を検出する特徴検出ニューロンへの結合が存在する（この場合、受容野は異なるが、高次の同じ特徴を構成する結合を有する）。この時、これら特徴検出ニューロンとの間でも同期発火することはいうまでもない。但し、その出力レベル（ここでは位相基準とする；但し、周波数、振幅、パルス幅基準となる構成でもよい）は特徴検出ニューロンの受容野ごとに与えられる複数ペースメーカニューロンからの寄与の総和（或いは平均など）によって決まる。
【０１０２】
また、特徴検出層上の各ニューロンにおいては入力パルスの時空間的重み付き総和（荷重和）の演算は、ニューロンに到着したパルス列について所定幅の時間窓においてのみ行われる。時間窓内部において重み関数の形状は、ピーク値がシナプス荷重値に相当し、また、ピーク値をとる時間窓内の重み付き加算を実現する手段は、図２に示したニューロン素子回路に限らず、他の方法で実現してもよいことは言うまでもない。
【０１０３】
この時間窓は、実際のニューロンの不応期（ｒｅｆｒａｃｔｏｒｙ ｐｅｒｉｏｄ）以外の時間帯にある程度対応している。即ち、不応期（時間窓以外の時間範囲）にはどのような入力を受けてもニューロンからの出力はないが、その時間範囲以外の時間窓では入力レベルに応じた発火を行うという点が実際のニューロンと類似している。図３（Ｂ）に示す不応期は、特徴検出細胞の発火直後から次の時間窓開始時刻までの時間帯である。不応期の長さと時間窓の幅は任意に設定可能であることはいうまでもなく、同図に示したように時間窓に比べて不応期を短くとらなくてもよい。
【０１０４】
本実施形態では、図６に模式的に示すように、既に説明したメカニズムとして、例えば各特徴検出層ニューロンごとに、その同一受容野からの入力を受けるようなペースメーカニューロン（固定周波数でパルス出力）によるタイミング情報（クロックパルス）の入力により、上述した開始時期の共通化をもたらすようにしている。
【０１０５】
このように構成した場合には、時間窓の同期制御は（仮に必要であったとしても）ネットワーク全体にわたって行う必要が無く、また、上記したようなクロックパルスの揺らぎ、変動があっても、局所的な同一受容野からの出力に対して一様にその影響を受ける（窓関数の時間軸上での位置の揺らぎは同一受容野を形成するニューロン間で同一となる）ので、特徴検出の信頼性は劣化することはない。このような局所的な回路制御により信頼度の高い同期動作を可能にするため、回路素子パラメータに関するばらつきの許容度も高くなる。
【０１０６】
以下、簡単のために三角形を特徴として検出する特徴検出ニューロンについて説明する。その前段の特徴統合層は、図７（Ｃ）に示すような各種向きを持ったＬ字パターン（ｆ１１，ｆ１２，・・・，）、Ｌ字パターンとの連続性（連結性）を有する線分の組み合わせパターン（ｆ２１，ｆ２２，・・・）、三角形を構成する２辺の一部の組み合わせ（ｆ３１，・・・）、などのような図形的特徴（特徴要素）に反応するものとする。
【０１０７】
また、同図のｆ４１，ｆ４２，ｆ４３は向きの異なる三角形を構成する特徴であって、ｆ１１，ｆ１２，ｆ１３に対応する特徴を示している。学習により層間結合をなすニューロン間に固有の遅延量が設定された結果、三角形の特徴検出ニューロンにおいては、時間窓を分割して得られる各サブ時間窓（タイムスロット）（ｗ１，ｗ２，・・・）において、三角形を構成する主要かつ異なる特徴に対応するパルスが到着するように予め設定がなされる。
【０１０８】
例えば、時間窓をｎ分割した後のｗ１，ｗ２，・・・、ｗｎには、図７（Ａ）に示すごとく、全体として三角形を構成するような特徴のセットの組み合わせに対応するパルスが初めに到着する。ここに、Ｌ字パターン（ｆ１１，ｆ１２，ｆ１３）は、それぞれｗ１，ｗ２，ｗ３内に到着し、特徴要素（ｆ２１，ｆ２２，ｆ２３）に対応するパルスは、それぞれｗ１，ｗ２，ｗ３内に到着するように学習により遅延量が設定されている。
【０１０９】
特徴要素（ｆ３１，ｆ３２，ｆ３３）対応のパルスも同様の順序で到着する。図７（Ａ）の場合、一つのサブ時間窓（タイムスロット）にそれぞれ一つの特徴要素に対応するパルスが到着する。サブ時間窓に分割する意味は、各サブ時間窓で時間軸上に展開表現された異なる特徴要素に対応するパルスの検出（特徴要素の検出）を個別にかつ確実に行うことにより、それらの特徴を統合する際の統合の仕方、例えば、すべての特徴要素の検出を条件とするか、或いは一定割合の特徴検出を条件とするか等の処理モードの変更可能性や適応性を高めることにある。
【０１１０】
例えば、認識（検出）対象が顔であり、それを構成するパーツである目の探索（検出）が重要であるような状況においては（目のパターン検出の優先度を視覚探索において高く設定したい場合）、高次の特徴検出層からのフィードバック結合を導入することにより、選択的に目を構成する特徴要素パターンに対応する反応選択性（特定の特徴の検出感度）を高めたりすることができる。このようにすることにより、高次の特徴要素（パターン）を構成する低次の特徴要素により高い重要度を与えて検出することができる。
【０１１１】
また、重要な特徴ほど早いサブ時間窓にパルスが到着するように予め設定されているとすると、当該サブ時間窓での重み関数値が他のサブ時間窓での値より大きくすることにより、重要度の高い特徴ほど検出されやすくすることができる。この重要度（特徴間の検出優先度）は学習により獲得されるか、予め定義しておくこともできる。
【０１１２】
従って、一定割合の特徴要素の検出という事象さえ起きればよいのであれば、一つの時間窓において行ってもよい。
【０１１３】
なお、複数（３つ）の異なる特徴要素に対応するパルスがそれぞれ到着して加算されるようにしてもよい（図７（Ｄ））。即ち、一つのサブ時間窓（タイムスロット）に複数の特徴要素（図７（Ｄ））、或いは任意の数の特徴要素に対応するパルスが入力されることを前提としてもよい。この場合、図７（Ｄ）では、初めのサブ時間窓では、三角形の頂角部分ｆ１１の検出を支持する他の特徴要素ｆ２１、ｆ２３に対応するパルスが到着し、同様に２番目のサブ時間窓には頂角部分ｆ１２の検出を支持するような他の特徴要素ｆ２２、ｆ３１のパルスが到着している。
【０１１４】
なお、サブ時間窓（タイムスロット）への分割数、各サブ時間窓（タイムスロット）の幅および特徴のクラスおよび特徴に対応するパルスの時間間隔の割り当てなどは上述した説明に限らず、変更可能であることはいうまでもない。
【０１１５】
＜第２の実施形態＞
本実施形態では、図１１の（Ｂ）に示すように局所タイミング発生素子（或いはペースメーカニューロン）ＰＮを用い、またシナプス回路からの出力を所定タイミングで分岐出力する分岐回路を特徴的な構成要素とする。分岐回路は、後の実施形態で示すようなデマルチプレクサ的機能を有し、局所タイミング発生素子からのタイミング信号に応じて各シナプス回路からの出力を異なる各特徴検出層ニューロンへ出力する。このようにすることにより、実施形態１の構成と比べてシナプス回路から先の配線を簡略化することができる。
【０１１６】
例えば、タイミング発生素子は、パルス列の周期と比べてパルス幅が小さい低周波数パルス信号を発生するものとすると、分岐回路は、各パルス信号の立ち上がりを基準時刻として次のパルスの立ち上がりまでの時間幅を出力先ニューロン数で等分割して得られるタイムスロット内に入力されるシナプス回路からのパルス信号を、そのタイムスロットに固有の特徴統合層ニューロンに出力するように構成する。そのためには、分岐回路としては、例えば各タイムスロットごとに異なるラインへの接続を行うスイッチ素子を有し、デマルチプレクサとしての機能を有すればよい（第３の実施形態参照）。なお、シナプス回路での変調を受けた信号を受ける側のニューロンでの処理は実施形態１と同様である。
【０１１７】
＜第３の実施形態＞
本実施形態では、シナプス回路の遅延要素での変調量を可変とし、局所タイミング素子からのタイミング信号に基づき、パルス信号の変調（遅延）量を制御し、かつ出力パルスをスイッチしながら分岐するデマルチプレクサ機能を併せ持つ回路をシナプス回路として用いている。このように構成することにより、上記実施形態では、異なる遅延量を与えるシナプス回路は、少なくとも物理的に異なる回路として独立して構成していたのに対し、そのようなシナプス回路までをも時分割的に共有化し、更なる回路規模の縮小を図ったものである。なお、シナプス回路での変調を受けた信号を受ける側のニューロンでの処理は実施形態１と同様である。
【０１１８】
図１２に示すように、図１１の（Ｂ）の構成を更に簡素化したものとし、シナプス回路Ｓは、局所タイミング素子からのタイミングパルスの立ち上がりを基準時刻とし、次のタイミングパルスまでの間を時分割して得られる各タイムスロット（図８参照）毎に、異なる変調量（遅延量）と変調後の信号の分岐出力先を与えるものである。
【０１１９】
シナプス回路の構成は、図１３に示すように、タイムスロットパルス発生回路１３０１と、遅延量変調回路１３０２と、スイッチアレイとそのアクティベート回路等から構成されるデマルチプレクサ回路１３０３とを有する。
【０１２０】
デマルチプレクサ回路１３０３は、マスタークロックパルスを基準時刻として、入力されるデータパルス信号を各タイムスロット（Ｔ１，Ｔ２，・・・，Ｔｎ）に固有のスイッチがｏｎ状態となることにより、所定順序で異なる分岐線に出力する特有の機能を有する。
【０１２１】
図１４に、デマルチプレクサ回路１３０３が４つのスイッチアレイと４つの出力線を有する場合のシナプス回路Ｓの各要素の動作例を模式的にタイミングチャートにより示す。同図において各遅延量（Ｄ１，Ｄ２，Ｄ３）は、前実施形態での各シナプス回路での変調量に相当し、各スイッチがｏｎ状態となることにより、出力先の分岐線に変調後のパルス信号が出力される。
【０１２２】
タイムスロットパルス発生回路１３０１４は、上記局所タイミング素子からの基準タイミングパルス入力後、それをマスタークロックとして同期させながら、マスタークロックの間隔より短い所定時間間隔でパルス信号を発生し（図１４のタイムスロットパルス発生素子の出力参照）、各パルス間の時間幅がタイムスロットに相当する。
【０１２３】
遅延量変調回路１３０２は、先の局所タイミング素子からのマスタークロックを入力し、これを基準として、タイムスロットパルス発生素子からのパルス信号の入力タイミング順に予め設定した複数の遅延時間のうちの一つを選択するセレクタを有する。即ち、時間的に変化する遅延量は、図８に示すようにそれぞれ量子化されたある大きさを持っており、遅延量変調回路１３０２は、ここでは、予め設定された複数の固定遅延回路のうちの一つを各タイムスロットごとに選択することにより、遅延量を時間的に制御している。そして、各タイムスロット毎に遅延変調を受けたパルス信号は、デマルチプレクサ回路１３０３によりそれぞれ異なるニューロンに分岐出力される。なお、遅延量を時間的に制御する方法としては他の方法を用いてもよいことは言うまでもない。
【０１２４】
以上説明した実施形態によれば、パルス信号処理回路は、異なる演算素子からの複数のパルス状信号を入力し、当該複数パルス信号のうち所定の信号に対して共通する変調を与える変調回路を有し、変調された当該各パルス信号を異なる信号線に分岐出力させるようにしたので、これにより、複数の演算素子間でパルス状信号を所定の変調を与えて伝達する信号処理系において、複数のパルス状信号に対して所定の変調量を与えるべき変調回路をパルスごと（入力側信号線ごと）に設定する必要が無く、回路規模を縮小できるという効果がある。
【０１２５】
また、複数ニューロン素子とニューロン素子間を結合するシナプス結合素子とを備える並列処理回路において、シナプス結合素子を上記パルス信号処理回路を用いて構成することにより、パルス信号を用いる並列信号処理回路を簡素化できる。
【０１２６】
また、所定次元のデータ入力手段と、複数のデータ処理モジュールと、パターン認識結果の出力手段とを備えたパターン認識装置において、データ処理モジュールは、複数の特徴を検出する特徴検出層を有し、データ処理モジュールは、所定のシナプス結合手段により互いに結合する複数の演算素子とからなり、データ処理モジュール内の演算素子は、所定時間窓内での複数パルスの到着時間パターンに応じた周波数又はタイミングでパルス状の信号を出力し、出力手段は、処理層の各演算素子出力に基づき、所定のパターンの検出結果又は認識結果を出力し、シナプス結合手段は、異なる演算素子からの複数のパルス状信号を入力し、各パルスのうち所定の信号に共通する変調を与える変調回路を有し、変調された当該各パルス信号を異なる信号線に分岐出力することにより、パルス信号の時空間分布に基づき特徴抽出等を行う階層的信号処理系において、回路規模の縮小および簡素化が実現される。
【０１２７】
また、並列処理回路において、所定のニューロン素子へのシナプス結合の分布対称性に基づき、複数のシナプス結合を一つの回路として共有した構造を有することにより、回路規模の縮小がシナプス結合分布の対称性の度合いに応じて達成される。
【０１２８】
また、変調回路を、パルス信号に所定の遅延を与える遅延回路とすることにより、個々のシナプス結合荷重を共通のパルス信号遅延回路によって実現することができる。
【０１２９】
また、パルス信号処理回路に、異なる演算素子からの複数のパルス状信号を入力し、各パルスに所定の変調を与える変調回路を有し、変調された各パルス信号を所定の順序でそれぞれ異なる信号線に所定の遅延を与えて分岐出力する分岐回路を備えることにより、ある演算素子（ニューロン）から空間的に異なるパルス伝播距離にある複数の演算素子（ニューロン）に対して、共通する変調を与えられたパルス信号を同一タイミング、或いは所定の規則に従ったタイミングで到着させることができる。
【０１３０】
＜第４の実施形態＞
本実施形態では、既に説明したＣｏｎｖｏｌｕｔｉｏｎａｌ ネットワーク構造において、特徴統合層ニューロンそれぞれからの出力パルス信号に対して、シナプス回路ブロックで時間窓積分を含むパルス信号処理を並列的に行う。これまでの実施形態は、時間窓積分をニューロン側で行っていたが、本実施形態ではシナプス側で並列的に行う点が対照的である。
【０１３１】
図１５（Ａ）では、シナプス回路ブロック（Ｄ１，・・・，Ｄ４）が、統合層ニューロン（Ｎ１，・・・，Ｎ４）からの出力パルスに対して、シナプス荷重値に対応付けられる重み係数を用いた時間窓積分を行った結果としての信号を出力し、特徴検出層のニューロン（Ｍ１）では、その積分後の信号を加算することにより、ニューロンの内部状態を形成するように構成した。
【０１３２】
図１５（Ｂ）は、各シナプス回路Ｄｊの構成を示している。各シナプス回路Ｄｊは、前段の階層からのパルス信号、重み係数関数信号、及び層間で同期をとるためのタイミング信号を入力し、時間窓積分回路１５０１で入力パルス信号と重み係数関数との時間窓積分を行い、出力信号生成回路１５０２で時間窓積分結果に相当する信号を生成して出力するように構成した。なお、出力信号生成回路１５０２は時間窓積分結果をそのまま出力してもよい。
【０１３３】
各シナプス回路で行う重み付き時間窓積分の重み係数値は、第１の実施形態と同様に時間の関数として与えられるが、本実施形態では、そのピーク値が、実施形態１の式（４）のＳｉｊに相当する点が特徴である。なお、これまでの実施形態においても、時間窓積分の重み係数の関数形状をそのように設定してもよいことはいうまでもない。
【０１３４】
この重み係数関数のピーク値は、所定の下位レベルの局所特徴（例えば、特徴検出層ニューロンが三角形を検出する場合には図７（Ｃ）に示すような局所特徴）が特徴検出層ニューロンの検出する特徴を構成するように適正な空間配置関係を持っていることを検出するのに必要な受容野構造を構成するシナプス結合荷重値である。
【０１３５】
重み係数関数は、特徴統合層ニューロンからの出力が位相変調パルスである場合、若しくはパルス幅変調信号である場合のいずれにも対応させることができるが、前者の場合、その値の分布は図７（Ｂ）に示すものと異なり、各サブ時間窓内で非対称である。後者の場合は、時間によらずシナプス結合荷重値に相当する一定値であればよい。
【０１３６】
例えば、位相変調パルス信号を入力する場合、重み係数関数は、該当する局所特徴の検出レベルが最大の場合の到着予定時刻からの遅れ時間に対応して線形に減少する。パルス位相変調信号の場合には、特徴統合層ニューロンの出力の大きさと対応する位相遅延（パルス到着時間のタイミング信号で与えられる基準時刻からの遅延）に応じたレベルの重み係数値が乗算されるようになっている。例えば、パルス信号到着時間の遅れに応じて線形に重み係数値を降下させることにより、シナプス荷重値とニューロン出力との実質的な積和演算を行うようにする。
【０１３７】
また、シナプス回路にニューロン出力に対応するパルス幅変調信号が入力される場合、時間的に変化する重み係数の関数とパルス幅変調信号との時間積分結果が、統合層ニューロン出力とシナプス結合荷重値の乗算結果に対応するように、重み係数関数の形状を設定すればよい。
【０１３８】
時間窓積分を実行する際には、通常、特徴検出層ニューロンとその受容野内にある特徴統合層ニューロン、及びシナプス回路は、所定のタイミング信号に同期してパルス信号の入出力を行う。このタイミング信号としては、第１の実施形態と同様にペースメーカニューロンからの信号を用いるか、或いは外部から供給されるクロック信号を用いても良い。
【０１３９】
重み係数信号の波形は、外部から関数波形生成器などにより供給してもよいし、デジタル回路でルックアップテーブル法や関数生成法によりデジタル波形を生成し、その後Ｄ／Ａ変換によりアナログ波形にして供給してもよい（森江、他 『ＡＤ融合方式画像特徴抽出ＬＳＩとそれを用いた自然画像認識システムの研究開発』：平成１２年度特定領域研究 知的瞬時処理複合化集積システム ｐｐ．４１−４７）。なお、時間の関数としての高精度な電圧波形の生成は容易である。
【０１４０】
本実施形態のように、ニューロンからのパルス変調出力信号に対する時間窓積分によりシナプス荷重との積を算出することにより、高精度な積和演算をコンパクトな回路構成で実現することができる。
【０１４１】
外部から供給される、またはチップ内部で高精度に生成される任意のアナログ非線形関数（時間の関数）信号を用い、図１６に示すように重み係数信号発生回路１６０１を用いて、同じ特徴クラスに関する各特徴検出層ニューロンのシナプス回路ブロック内の各シナプス結合回路に、重み係数信号として分配する。
【０１４２】
シナプス回路ブロック内で時間窓積分を受けた後、出力される各信号（パルス信号）は、ニューロン回路ブロック内部の所定のニューロン回路に分岐出力され、そこで総和がとられる。図１６において、シナプス回路ブロック内の行ごとのシナプス回路ブロックは、この重み係数信号を特徴検出層ニューロンのシナプス結合回路ごとに与えることにより、１受容野内の任意のシナプス結合荷重分布を時空間関数として生成することができる。
【０１４３】
図１７は、図１５に示した構成を基本要素とする並列パルス信号処理によるパターン認識装置を被写体検出（認識）装置として搭載した画像入力装置（例えば、カメラ、ビデオカメラ、スキャナーなど）の構成の概要を示す。
【０１４４】
図１７の撮像装置１７０１は、撮影レンズおよびズーム撮影用駆動制御機構を含む結像光学系１７０２、ＣＣＤ又はＣＭＯＳイメージセンサー１７０３、撮像パラメータの計測部１７０４、映像信号処理回路１７０５、記憶部１７０６、撮像動作の制御、撮像条件の制御などの制御用信号を発生する制御信号発生部１７０７、ＥＶＦなどファインダーを兼ねた表示ディスプレイ１７０８、ストロボ発光部１７０９、記録媒体１７１０、更に被写体検出（認識）装置１７１１（上述した実施形態における階層構造を持った並列パルス信号処理回路からなるパターン認識装置）などを具備する。
【０１４５】
この撮像装置１７０１は、例えば撮影された映像中から予め登録された人物の顔画像の検出（存在位置、サイズの検出）を被写体検出（認識）装置１７１１により行う。その人物の位置、サイズ情報が制御信号発生部１７０７に入力されると、制御信号発生部１７０７は、撮像パラメータ計測部１７０４からの出力に基づき、その人物に対するピント制御、露出条件制御、ホワイトバランス制御などを最適に行う制御信号を発生する。
【０１４６】
本発明に係るパターン検出（認識）装置を、このように撮像装置に用いた結果、当該被写体を確実に検出（認識）する機能を低消費電力かつ高速（リアルタイム）に実現して、人物等の検出とそれに基づく撮影の最適制御（ＡＦ、ＡＥなど）を行うことができるようになった。
【０１４７】
【発明の効果】
以上説明したように、本発明によれば、パルス信号処理回路は、異なる演算素子からの複数のパルス状信号を入力し、当該複数パルス信号のうち所定の信号に対して共通する変調を与える変調回路を有し、変調された当該各パルス信号を異なる信号線に分岐出力させるようにしたので、これにより、複数の演算素子間でパルス状信号に所定の変調を与えて伝達する信号処理系において、複数のパルス状信号に対して所定の変調量を与えるべき変調回路をパルスごと（入力側信号線ごと）に設定する必要が無く、回路規模を縮小できるという効果がある。
【図面の簡単な説明】
【図１】本発明に係る一実施形態のパターン検出・認識装置のためのネットワークの全体構成を示すブロック図である。
【図２】シナプス部とニューロン素子部の構成を示す図である。
【図３】特徴統合層または入力層から特徴検出層ニューロンへの複数パルス伝播の様子を示す図である。
【図４】シナプス回路の構成を示す図である。
【図５】シナプス結合小回路の構成、及びパルス位相遅延回路の構成を示す図である。
【図６】特徴検出層ニューロンにペースメーカニューロンからの入力がある場合のネットワーク構成を示す図である。
【図７】特徴検出ニューロンに入力される異なる特徴要素に対応する複数パルスを処理する際の時間窓の構成、重み関数分布の例、特徴要素の例を示す図である。
【図８】各層の細胞を示す図である。
【図９】ニューロン配列の例を示す図である。
【図１０】シナプス結合回路の共有化構造を表わす図である。
【図１１】シナプス結合回路の共有化構造を表わす図である。
【図１２】シナプス結合回路の共有化構造を表わす図である。
【図１３】シナプス回路の詳細構成を表わす図である。
【図１４】実施形態３におけるシナプス回路の各要素の動作タイミングを表わす図である。
【図１５】実施形態４におけるネットワーク基本構成を模式的に示した図である。
【図１６】重み係数信号が重み係数発生回路から各シナプス回路に分配される様子を模式的に示す図である。
【図１７】実施形態４の並列パルス信号処理回路を用いた被写体認識装置を搭載した画像入力装置の構成を模式的に示す図である。
【発明の属する技術分野】
本発明は、パルス信号回路に関し、更には、このパルス信号回路を用いた並列処理回路、パターン認識装置、パターン認識装置を用いて特定被写体の検出等を行う画像入力装置に関するものである。
【０００２】
【従来の技術】
画像認識や音声認識の実行方式は、特定の認識対象に特化した認識処理アルゴリズムをコンピュータソフトとして逐次演算して実行するタイプ、或いは専用並列画像処理プロセッサ（ＳＩＭＤ、ＭＩＭＤマシン等）により実行するタイプに大別される。
【０００３】
画像認識アルゴリズムを例としてその代表例を以下に挙げる。先ず、認識対象モデルとの類似度に関する特徴量を算出して行うものとしては、認識対象のモデルデータをテンプレートモデルとして表現しておき、入力画像（或いはその特徴ベクトル）とのテンプレートマッチング等による類似度算出や、高次相関係数の算出などによる方法、対象のモデル画像を主成分分析して得られる固有画像関数空間へ入力パターンを写像してモデルとの特徴空間内での距離を算出する方法（Ｓｉｒｏｖｉｃｈ，ｅｔ ａｌ．， １９８７， Ｌｏｗ−ｄｉｍｅｎｓｉｏｎａｌ ｐｒｏｃｅｄｕｒｅ ｆｏｒ ｔｈｅ ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ ｈｕｍａｎ ｆａｃｅｓ，Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ．［Ａ］，ｖｏｌ．３，ｐｐ．５１９−５２４）、複数の特徴抽出結果（特徴ベクトル）およびその空間配置関係をグラフ表現し、弾性的グラフマッチングによる類似度算出を行う方法（Ｌａｄｅｓ ｅｔ ａｌ．１９９３， Ｄｉｓｔｏｒｔｉｏｎ Ｉｎｖａｒｉａｎｔ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ ｔｈｅ Ｄｙｎａｍｉｃ Ｌｉｎｋ Ａｒｃｈｉｔｅｃｔｕｒｅ，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｃｏｍｐｕｔｅｒｓ，ｖｏｌ．４２，ｐｐ．３００−３１１）、入力画像に所定の変換を行って位置、回転、スケール不変な表現を得た後にモデルとの照合を行う方法（Ｓｅｉｂｅｒｔ，ｅｔ ａｌ．１９９２，Ｌｅａｒｎｉｎｇ ａｎｄ ｒｅｃｏｇｎｉｚｉｎｇ ３Ｄ ｏｂｊｅｃｔｓ ｆｒｏｍ ｍｕｌｔｉｐｌｅ ｖｉｅｗｓ ｉｎ ａ ｎｅｕｒａｌ ｓｙｓｔｅｍ，ｉｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｐｅｒｃｅｐｔｉｏｎ，ｖｏｌ．１ Ｈｕｍａｎ ａｎｄ Ｍａｃｈｉｎｅ Ｐｅｒｃｅｐｔｉｏｎ（Ｈ．Ｗｅｃｈｓｌｅｒ Ｅｄ．）Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ，ｐｐ．４２７−４４４）等がある。
【０００４】
生体の情報処理機構にヒントを得た神経回路網モデルによるパターン認識方法としては、階層的テンプレートマッチングを行う方法（特公昭６０−７１２、Ｆｕｋｕｓｈｉｍａ＆Ｍｉｙａｋｅ，１９８２ Ｎｅｏｃｏｇｎｉｔｒｏｎ：Ａ ｎｅｗ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ ｔｏｌｅｒａｎｔ ｏｆ ｄｅｆｏｒｍａｔｉｏｎ ａｎｄ ｓｈｉｆｔｓｉｎ ｐｏｓｉｔｉｏｎ，Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｖｏｌ．１５，ｐｐ．４５５−４６９）、ダイナミックルーティング神経回路網により対象中心のスケール、位置不変な表現を得て行う方法（Ａｎｄｅｒｓｏｎ，ｅｔａｌ．１９９５，Ｒｏｕｔｉｎｇ Ｎｅｔｗｏｒｋｓ ｉｎ Ｖｉｓｕａｌ Ｃｏｒｔｅｘ，ｉｎ Ｈａｎｄｂｏｏｋ ｏｆ Ｂｒａｉｎ Ｔｈｅｏｒｙ ａｎｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（Ｍ．Ａｒｂｉｂ，Ｅｄ．），ＭＩＴ Ｐｒｅｓｓ，ｐｐ．８２３−８２６）、その他多層パーセプトロン、動径基底関数（Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）ネットワークなどを用いる方法がある。
【０００５】
一方、生体の神経回路網による情報処理機構をより忠実に取り入れようとする試みとして、アクションポテンシャルに相当するパルス列による情報の伝達表現を行う神経回路網モデル回路が提案されている（Ｍｕｒｒａｙ ｅｔ ａｌ．，１９９１ Ｐｕｌｓｅ−Ｓｔｒｅａｍ ＶＬＳＩ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ Ｍｉｘｉｎｇ Ａｎａｌｏｇ ａｎｄ Ｄｉｇｉｔａｌ Ｔｅｃｈｎｉｑｕｅｓ，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ｖｏｌ．２，ｐｐ．１９３−２０４．；特開平７−２６２１５７号公報、特開平７−３３４４７８号公報、特開平８−１５３１４８号公報、特許２８７９６７０号公報など）。
【０００６】
パルス列生成ニューロンからなる神経回路網により特定対象の認識、検出を行う方法としては、結合入力（ｌｉｎｋｉｎｇ ｉｎｐｕｔｓ）と供給入力（ｆｅｅｄｉｎｇ ｉｎｐｕｔｓ）を前提としたＥｃｋｈｏｒｎらによる高次（２次以上）のモデル（Ｅｃｋｈｏｒｎ，ｅｔ ａｌ． １９９０， Ｆｅａｔｕｒｅ ｌｉｎｋｉｎｇ ｖｉａ ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ ａｍｏｎｇ ｄｉｓｔｒｉｂｕｔｅｄ ａｓｓｅｍｂｌｉｅｓ：Ｓｉｍｕｌａｔｉｏｎ ｏｆ ｒｅｓｕｌｔｓ ｆｒｏｍ ｃａｔ ｃｏｒｔｅｘ，Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ，Ｖｏｌ．２，ｐｐ．２９３−３０７）、即ち、パルス結合神経回路網（以下、ＰＣＮＮと略す）を用いた方式がある（ＵＳＰ５６６４０６５、及び、Ｂｒｏｕｓｓａｒｄ，ｅｔ ａｌ．１９９９，Ｐｈｙｓｉｏｌｏｇｉｃａｌｌｙ Ｍｏｔｉｖａｔｅｄ Ｉｍａｇｅ Ｆｕｓｉｏｎ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｐｕｌｓｅ Ｃｏｕｐｌｅｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ， ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ｖｏｌ．１０，ｐｐ．５５４−５６３、など）。
【０００７】
また、ニューラルネットワークにおける配線問題を軽減する方法として、いわゆるパルス出力ニューロンのアドレスをイベント駆動型で符号化する方法（Ａｄｄｒｅｓｓ Ｅｖｅｎｔ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ：以下、ＡＥＲという）がある（Ｌａｚｚａｒｏ，ｅｔ ａｌ．１９９３，Ｓｉｌｉｃｏｎ Ａｕｄｉｔｏｒｙ Ｐｒｏｃｅｓｓｏｒｓ ａｓ Ｃｏｍｐｕｔｅｒ Ｐｅｒｉｐｈｅｒａｌｓ，Ｉｎ Ｔｏｕｒｅｔｚｋｙ，Ｄ．（ｅｄ），Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ５． Ｓａｎ Ｍａｔｅｏ，ＣＡ：Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ Ｐｕｂｌｉｓｈｅｒｓ）。この場合、パルス列出力側のニューロンのＩＤがアドレスとして２値で符号化されることにより、異なるニューロンからの出力信号が共通バス上に時間的に配列しても、それを入力する側のニューロンでは元のニューロンのアドレスを自動的にデコードすることができる。
【０００８】
一方、特許２７４１７９３号公報に係るニューラルネットワークプロセッサでは、シストリックアレイのアーキテクチャにおいて多層のフィードフォワード型ネットワークを構成することにより、ニューロン数の減少と回路規模の縮小を図っている。
【０００９】
【発明が解決しようとする課題】
しかしながら上記従来例では、いずれもニューロン間の結合に関与する配線部分およびニューロン数より遥かに多いシナプス結合回路による回路規模の縮小が困難であり、また各構成要素の配置を一般的なパターン認識に適用することが困難であるという問題を少なからず残している。
【００１０】
本発明は上述した課題を解決するためになされたものであり、シナプス結合回路の共有化を図ることにより、従来より小さい回路規模で同等性能を実現することを目的とする。
【００１１】
【課題を解決するための手段】
上述した目的を達成するための一手段として、本発明によれば、パルス信号処理回路に、タイミング信号を発生する発生回路と、異なる演算素子から前記タイミング信号に基づいて出力される複数のパルス信号を入力し、当該複数のパルス信号のうち所定の複数のパルス信号に対して共通する変調を与える変調回路と、該変調回路により変調された前記所定の複数のパルス信号の各々を入力し、前記タイミング信号の基準時刻から当該パルス信号の入力までの経過時間に応じて、それぞれ対応する信号線に分岐出力する分岐回路とを備える。
【００１６】
本発明の他の態様によれば、パルス信号処理回路に、タイミング信号発生回路と、パルス信号を出力する複数の演算素子と、当該演算素子間を結合する結合手段とを備え、前記結合手段は、所定の前記演算素子からのパルス信号を入力して所定の重み付き時間窓積分を施し、前記演算素子は、前記結合手段により並列配置され、前記タイミング信号発生回路からのタイミング信号に基づき、前記結合手段からのパルス変調信号を統合する。
【００１７】
【発明の実施の形態】
＜第１の実施形態＞
以下、図面を用いて本発明の１実施形態を詳細に説明する。
【００１８】
全体構成概要
図１は本実施形態におけるパターン検出・認識装置のためのネットワークの全体構成を示す図である。この装置では、対象または幾何学的特徴などの認識（検出）に関与する情報を主として扱う。
【００１９】
図１は、いわゆるＣｏｎｖｏｌｕｔｉｏｎａｌネットワーク構造（ＬｅＣｕｎ，Ｙ．ａｎｄ Ｂｅｎｇｉｏ，Ｙ．，１９９５，“ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋｓ ｆｏｒ Ｉｍａｇｅｓ Ｓｐｅｅｃｈ，ａｎｄ ＴｉｍｅＳｅｒｉｅｓ”ｉｎ Ｈａｎｄｂｏｏｋ ｏｆ Ｂｒａｉｎ Ｔｈｅｏｒｙ ａｎｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ （Ｍ．Ａｒｂｉｂ，Ｅｄ．），ＭＩＴ Ｐｒｅｓｓ，ｐｐ．２５５−２５８）を表している。但し、同経路内の層間結合は局所的に相互結合をなし得る点（後述）が、従来と異なる。最終出力は認識結果、即ち認識された対象のカテゴリに相当する。
【００２０】
データ入力層１０１は、画像の検出認識などを行う場合はＣＭＯＳセンサー、或いはＣＣＤ素子等の光電変換素子であり、音声の検出認識などを行う場合には音声入力センサーである。また、所定データ解析手段の解析結果（例えば、主成分分析、ベクトル量子化、など）から得られる高次元のデータを入力するものであってもよい。
【００２１】
以下、画像を入力する場合について説明する。特徴検出層（１，０）は、Ｇａｂｏｒ ｗａｖｅｌｅｔ変換その他による多重解像度処理により、画像パターンの局所的な低次の特徴（幾何学的特徴のほか色成分特徴を含んでもよい）を全画面の各位置（或いは、全画面にわたる所定のサンプリング点の各点）において同一箇所で複数のスケールレベル又は解像度で複数の特徴カテゴリの数だけ検出し、特徴量の種類（例えば、幾何学的特徴として所定方向の線分を抽出する場合にはその幾何学的構造である線分の傾き）に応じた受容野構造を有し、その程度に応じたパルス列を発生するニューロン素子から構成される。
【００２２】
特徴検出層（１，ｋ）は全体として、複数の解像度（又はスケールレベル）での処理チャネルを形成する（但し ｋ≧０）。即ち、Ｇａｂｏｒ ｗａｖｅｌｅｔ変換を特徴検出層（１，０）で行う場合を例にとると、スケールレベルが同一で方向選択性の異なるＧａｂｏｒフィルタカーネルを受容野構造に持つ特徴検出細胞のセットは特徴検出層（１，０）において同一の処理チャネルを形成し、後続の層（１，１）においても、それら特徴検出細胞からの出力を受ける特徴検出細胞（より高次の特徴を検出する）は、当該処理チャネルと同一のチャネルに属する。更に後続の層（１，ｋ）（但しｋ＞１）においても、同様に（２，ｋ−１）層において同一チャネルを形成する複数の特徴統合細胞からの出力を受ける特徴検出細胞は、当該チャネルに属するように構成される。各処理チャネルは、同一スケールレベル（又は解像度）での処理が進行していくものであり、階層的並列処理により低次特徴から高次特徴までの検出及び認識を行う。
【００２３】
特徴統合層（２，０）は、所定の受容野構造（以下、受容野１０５とは直前の層の出力素子との結合範囲を、受容野構造とはその結合荷重の分布を意味する）を有し、パルス列を発生するニューロン素子からなり、特徴検出層（１，０）からの同一受容野内の複数のニューロン素子出力の統合（局所平均化、最大出力抽出等によるサブサンプリングなどの演算）を行う。また、特徴統合層内のニューロンの各受容野は同一層内のニューロン間で共通の構造を有している。各特徴検出層１０２（（１，１）、（１，２）、・・・、（１，Ｎ））及び各特徴統合層１０３（（２，１）、（２，２）、・・・、（２，Ｎ））は、それぞれ所定の受容野構造を持ち、上述した各層と同様に前者（（１，１）、・・・）は、各特徴検出モジュールにおいて複数の異なる特徴の検出を行い、後者（（２，１）、・・・）は、前段の特徴検出層からの複数特徴に関する検出結果の統合を行う。但し、前者の特徴検出層は同一チャネルに属する前段の特徴統合層の細胞素子出力を受けるように結合（配線）されている。特徴統合層で行う処理であるサブサンプリングは、同一特徴カテゴリの特徴検出細胞集団からの局所的な領域（当該特徴統合層ニューロンの局所受容野）からの出力についての平均化などを行うものである。
【００２４】
図２は、シナプス回路とニューロン素子の構成を示す図である。各層間のニューロン素子２０１間を結合する構造は、図２の（Ａ）に示すように、神経細胞の軸索または樹状突起に相当する信号伝達部２０３（配線または遅延線）、及びシナプス回路Ｓ２０２である。図２の（Ａ）では、ある特徴検出（統合）細胞（Ｎ）に対する受容野を形成する特徴統合（検出）細胞のニューロン群（ｎｉ）からの出力（当該細胞Ｎから見ると入力）に関与する結合の構成を示している。太線で示している信号伝達部２０３は共通バスラインを構成し、この信号伝達ライン上に複数のニューロンからのパルス信号が時系列に並んで伝達される。出力先の細胞（Ｎ）からの入力を受ける場合も同様の構成がとられる。この場合には、全く同じ構成において時間軸上で入力信号と出力信号とを分割して処理してもよいし、或いは入力用（樹状突起側）と出力用（軸索側）の２系統で、図２の（Ａ）と同様の構成を与えて処理してもよい。
【００２５】
シナプス回路Ｓ２０２としては、層間結合（特徴検出層１０２上のニューロンと特徴統合層１０３上のニューロン間の結合であって、各層ごとにその後続の層及び前段の層への結合が存在しうる）に関与するものと、同一層内ニューロン間結合に関与するものとがある。後者は必要に応じて、主に、後述するペースメーカニューロンと特徴検出または特徴統合ニューロンとの結合に用いられる。
【００２６】
シナプス回路Ｓ２０２において、いわゆる興奮性結合はパルス信号の増幅を行い、抑制性結合は逆に減衰を与えるものである。パルス信号により情報の伝達を行う場合、増幅及び減衰はパルス信号の振幅変調、パルス幅変調、位相変調、周波数変調のいずれによっても実現することができる。
【００２７】
本実施形態においては、シナプス回路Ｓ２０２は、主にパルスの位相変調素子として用い、信号の増幅は、特徴に固有な量としてのパルス到着時間の実質的な進み、減衰は実質的な遅れとして変換される。即ち、シナプス結合は後述するように出力先のニューロンでの特徴に固有な時間軸上の到着位置（位相）を与え、定性的には興奮性結合はある基準位相に対しての到着パルスの位相の進みを、抑制性結合では同様に遅れを与えるものである。
【００２８】
図２の（Ａ）において、各ニューロン素子ｎｊは、パルス信号（スパイクトレイン）を出力し、後述する様な、いわゆるｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅ型のニューロン素子を用いている。なお、図２の（Ｃ）に示すように、シナプス回路とニューロン素子とを、それぞれまとめて回路ブロックを構成してもよい。
【００２９】
ニューロン素子
次に各層を構成するニューロンについて説明する。各ニューロン素子はいわゆるｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンを基本として拡張モデル化したもので、入力信号（アクションポテンシャルに相当するパルス列）を時空間的に線形加算した結果が閾値を越したら発火し、パルス状信号を出力する点ではいわゆるｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンと同じである。
【００３０】
図２（Ｂ）はニューロン素子としてのパルス発生回路（ＣＭＯＳ回路）の動作原理を表す基本構成の一例を示し、公知の回路（ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ Ｖｏｌ．１０，ｐｐ．５４０）を拡張したものである。ここでは、入力として興奮性と抑制性の入力を受けるものとして構成されている。
【００３１】
以下、このパルス発生回路の動作原理について説明する。興奮性入力側のキャパシタＣ１及び抵抗Ｒ１回路の時定数は、キャパシタＣ２及び抵抗Ｒ２回路の時定数より小さく、定常状態では、トランジスタＴ１、Ｔ２、Ｔ３は遮断されている。なお、抵抗は実際には、ダイオードモードで結合するトランジスタで構成される。
【００３２】
キャパシタＣ１の電位が増加し、キャパシタＣ２のそれよりトランジスタＴ１の閾値だけ上回ると、トランジスタＴ１はアクティブになり、更にトランジスタＴ２，Ｔ３をアクティブにする。トランジスタＴ２，Ｔ３は、電流ミラー回路を構成し、図２の（Ｂ）の回路の出力は、不図示の出力回路によりキャパシタＣ１側から出力される。キャパシタＣ２の電荷蓄積量が最大となると、トランジスタＴ１は遮断され、その結果としてトランジスタＴ２及びＴ３も遮断され、上記正のフィードバックは０となる様に構成されている。
【００３３】
いわゆる不応期には、キャパシタＣ２は放電し、キャパシタＣ１の電位がキャパシタＣ２の電位よりも大で、その差がトランジスタＴ１の閾値分を超えない限り、ニューロンは応答しない。キャパシタＣ１、Ｃ２の交互充放電の繰り返しにより周期的なパルスが出力され、その周波数は一般的には興奮性入力のレベルに対応して定まる。但し、不応期が存在することにより、最大値で制限されるようにすることもできるし、一定周波数を出力するようにもできる。
【００３４】
キャパシタの電位、従って電荷蓄積量は、基準電圧制御回路（時間窓重み関数発生回路）２０４により時間的に制御される。この制御特性を反映するのが、入力パルスに対する後述の時間窓内での重み付き加算である（図７参照）。この基準電圧制御回路２０４は、後述するペースメーカニューロンからの入力タイミング（又は、後続層のニューロンとの相互結合入力）に基づき、基準電圧信号（図７の（Ｂ）の重み関数に相当）を発生する。
【００３５】
抑制性の入力は、本実施形態においては必ずしも要しない場合があるが、後述するペースメーカニューロンから特徴検出層ニューロンへの入力を抑制性とすることにより、出力の発散（飽和）を防ぐことができる。
【００３６】
一般的に、入力信号の上記総和と出力レベル（パルス位相、パルス周波数、パルス幅など）との関係は、そのニューロンの感度特性によって変化し、また、その感度特性は、上位層からのトップダウンの入力により変化させることができる。以下では、説明の便宜上、入力信号総和値に応じたパルス出力の周波数は、急峻に立ち上がるように回路パラメータが設定されているものとし（従って周波数ドメインでは殆ど２値）、パルス位相変調により、出力レベル（位相変調を加えたタイミングなど）が変動するものとする。
【００３７】
また、パルス位相の変調部としては、後述する図５に示すような回路を付加して用いてもよい。これにより、時間窓内の重み関数が上記基準電圧により制御される結果、このニューロンからのパルス出力の位相が変化し、この位相をニューロンの出力レベルとして用いることができる。
【００３８】
シナプス結合でパルス位相変調を受けたパルスについての時間的積分特性（受信感度特性）を与える図７の（Ｂ）に示すような重み関数の極大値に相当する時刻τｗ１は、一般的にシナプス結合で与えられる特徴に固有なパルスの到着予定時刻τｓ１より時間的に早く設定される。その結果、到着予定時刻より一定範囲で早く（図７（Ｂ）の例では、到着の早すぎるパルスは減衰される）到着するパルスは、それを受け取るニューロンでは、高い出力レベルを持ったパルス信号として時間的に積分される。重み関数の形状はガウシアン等の対称形に限らず、非対称形状であってもよい。なお、上述した趣旨より、図７の（Ｂ）の各重み関数の中心は、パルス到着予定時刻ではないことを注記しておく。
【００３９】
また、ニューロン出力（シナプス前）の位相は、後述するように時間窓の始期を基準とし、その基準時からの遅れ（位相）は基準パルス（ペースメーカ出力その他による）を受けた時の電荷蓄積量により決まるような出力特性を有する。このような出力特性を与える回路構成の詳細については、本発明の主眼とする所ではないので省略する。シナプス後のパルス位相は当該シナプスにより与えられる固有の位相変調量にシナプス前の位相を加算したものとなる。
【００４０】
また、窓関数などを用いることにより得られる入力の総和値が閾値を越えたときに、所定タイミング遅れて発振出力を出すような公知の回路構成を用いてもよい。
【００４１】
ニューロン素子の構成としては、特徴検出層１０２または特徴統合層１０３に属するニューロンであって、後述するペースメーカニューロンの出力タイミングに基づき発火パターンが制御される場合には、ペースメーカニューロンからのパルス出力を受けた後、当該ニューロンが、前段の層の受容野から受ける入力レベル（上記の入力の単純または重み付き総和値）に応じた位相遅れをもって、パルス出力するような回路構成であればよい。この場合、ペースメーカニューロンからのパルス信号が入力される前では、入力レベルに応じて各ニューロンは互いにランダムな位相でパルス出力する過渡的な遷移状態が存在する。
【００４２】
特徴検出層１０２のニューロンは、前述したように特徴カテゴリに応じた受容野構造を有し、前段の層（入力層１０１または特徴統合層１０３）のニューロンからの入力パルス信号（電流値または電位）の時間窓関数による荷重総和値（後述）が閾値以上となったとき、その総和値に応じて、例えばシグモイド関数等の一定レベルに漸近的に飽和するような非減少かつ非線形な関数、即ちいわゆるｓｑｕａｓｈｉｎｇ関数値をとるような出力レベル（ここでは位相変化で与えるが、周波数、振幅、パルス幅基準での変化となる構成でもよい）でパルス出力を行う。
【００４３】
シナプス回路等
図４は、シナプス回路２０２（Ｓｉ）においてニューロンｎｉの結合先である各ニューロンｎ’ｊへのシナプス結合強度（位相遅延等に関する変調の大きさを意味する）を与える各小回路がマトリクス的に配置されていることを示す。
【００４４】
前述したように、特徴検出層１０２の各ニューロンは検出すべきパターンの構造に応じた局所受容野構造（前層との局所的なシナプス結合構造）を有し、一般的にはその構造には対称性、或いは共通する結合強度を与えるような複数のシナプスが存在する。結合構造の対称性に関しては、信号の入力側（受信側）のニューロンから見た結合強度分布パターンの対称性以外に、出力側（送信側）のニューロンから見た結合強度分布パターンに対称性（或いは、複数の結合強度が同一値）が存在する場合がある。
【００４５】
前者は典型的には、ある特徴カテゴリを検出する特徴検出層ニューロンが複数の異なる下位レベル特徴カテゴリ（又は入力画素位置）の特徴統合層ニューロン（入力層画素）からのパルス出力（強度レベル）を部分的又は全面的に同じ結合強度で入力する場合である。例えば、Ｇａｂｏｒ ｗａｖｅｌｅｔ変換を行う特徴検出層ニューロンの受容野構造はいずれも対称性を有し、受容野の複数位置で同一の感度レベル（結合強度）を有する。
【００４６】
後者は例えば、ある特徴カテゴリを表す特徴統合層ニューロンから後続層である特徴検出層に異なる特徴カテゴリを検出する複数のニューロンにそれぞれシナプス結合素子で固有の変調を受けた複数のパルス信号が出力される場合であって、そのシナプス結合パターンが分布対称性を有する（又は複数のシナプス結合において同一の変調量を与える）場合である。
【００４７】
一方、前者の構造のうち低次または中次の特徴統合層１０３から中次または高次の特徴検出層１０２のニューロンへの結合は、一般的には非局所的な受容野構造（結合パターン）とすること（図１参照）もできるが、図８、図９の（Ａ）、（Ｂ）のように配置すれば局所的な構造を得て局所受容野構造に関する同様な対称性（或いは同一受容野内の複数の同一レベルの結合分布）を与えることができる。
【００４８】
即ち、上述した非局所的な受容野構造とは、図１に示す構造において、互いに異なる特徴カテゴリに属する複数の特徴統合モジュール（図１の例えば、（２，０）層において小さい矩形領域で示す）の特徴統合層ニューロンが、入力データ上の同一位置に関する特徴であっても、そのニューロンが属する特徴統合モジュールが異なると互いに空間的に大きく離れた位置に配列されるため、特徴統合層から特徴検出層への結合は、そのような複数の特徴統合層ニューロンからの出力が特徴検出層ニューロンへ入力されるために、入力データ上の位置の近さ（或いは同一性）が必ずしも配線上の近さとはならない非局所的配線構造をとることを意味する。
【００４９】
以下、図８、図９の（Ａ）、（Ｂ）に示す構造について説明する。入力データ上の所定位置（或いはその位置を中心とする局所領域）での複数の幾何学的特徴に関する特徴統合層ニューロンは互いに隣接して配置され、各ニューロンは、より上位の特徴検出層のニューロンへの結合をなしている。図８で特徴検出細胞ＦＤ（ｒ，ｆｋ，ｉ）は入力データ上の場所ｒに該当する位置においての特徴検出ｋ層でのｉ番めの特徴カテゴリを検出する細胞である。また、特徴統合細胞ＦＩ（ｒ，ｆｋ，ｉ）は同様に入力データ上の場所ｒに該当する位置においての特徴統合ｋ層でのｉ番めの特徴カテゴリに関する細胞である。同図において低次特徴に関する層間で特徴検出層から特徴統合層への結合を局所受容野とともに示した部分は、図１と異なり、各層間結合がいずれも局所受容野構造を有することを模式的に示す。
【００５０】
例えば、抽出すべき特徴カテゴリの数が４つであれば各入力データ位置に対応して図９（Ａ）の左側のように各特徴カテゴリ（Ｆ１，Ｆ２，Ｆ３，Ｆ４）に対応するニューロン素子を局所的にまとめて配列する。ここに、まとめて配列された各素子は、入力データ上の同一位置での異なる幾何学的特徴に関する特徴統合層ニューロンを表す。本実施例では特徴統合層は図９（Ａ）の左側に示すような配列構造を用いる。また、図９の（Ａ）は特徴統合層のあるニューロンからその上位の（ネットワーク全体では中間レベルの）特徴検出層への配線を模式的に表している。
【００５１】
特徴検出層では上位の特徴カテゴリ（ここでは、Ｇ１，Ｇ２の２つ）を入力データの所定位置ごとに検出するものであり、Ｇ１のカテゴリに関するニューロンは特徴統合層のＦ１及びＦ２に関するニューロン（図９の（Ａ）において点線の楕円で囲まれた部分に属し、かつ入力データ上の局所領域中の複数箇所に相当する位置での当該カテゴリの存在有無に関するニューロンをいう）からの出力を受けている。同様にしてＧ２カテゴリに関するニューロンは特徴統合層のＦ３及びＦ４に関するニューロンからの出力を受けている。図９では、特徴検出層の隣接するニューロンは特徴統合層の重複した領域にあるニューロン（同図において点線の楕円が重複した部分に属するもの）からの出力を受けている。
【００５２】
図９の（Ｂ）では更に、特徴検出層からその上位層である特徴統合層への配線構造の一部、及び対応する特徴統合層のニューロン素子の配列を模式的に表している。ここに、特徴統合層の各ニューロンの特徴カテゴリ（ｇ１、ｇ２）は、特徴検出層の特徴カテゴリ（Ｇ１、Ｇ２）にそれぞれ対応し、幾何学的特徴としては同一カテゴリを表している（便宜上、表記を区別している）。各特徴統合層ニューロンは、特徴検出層上の局所領域にある複数ニューロンからの出力を受けている。
【００５３】
マトリックス状の回路配置においては、シナプス結合強度（位相遅延量）が共通となるものについては、共通シナプス結合強度ごとに単一のシナプス小回路でまとめて構成している。具体的には、ある特徴検出層ニューロンへの入力側にあるべき共有化されるシナプス小回路には複数の異なるニューロンからの入力信号線が結合し、更に当該ニューロンからの出力先（特徴統合層）への信号線として複数の異なるニューロンへの出力信号線または単一のニューロンへの信号線が結合する。
【００５４】
以下図１０、１１を参照して、特徴統合層ニューロン（Ｎ１，・・・，Ｎ９）から特徴検出層ニューロン（Ｍ１，Ｍ２，Ｍ３）への結合において、各特徴検出層ニューロンへの結合パターン（シナプス変調分布）が対称性を有するか、或いは複数のシナプス結合が同一の変調量を与える場合に行われるシナプス結合回路の共有化について説明する。
【００５５】
各図に共通して、特徴検出層ニューロンＭ１，Ｍ２，Ｍ３は、それぞれ順に特徴統合層のＮ３を中心としたニューロン群（Ｎ１・・・Ｎ５）、Ｎ５を中心としたニューロン群（Ｎ３・・・Ｎ７）、Ｎ７を中心としたニューロン群（Ｎ５・・・Ｎ９）からの結合をシナプス回路（＋スイッチ回路）群を介して形成している。シナプス回路（＋スイッチ回路）に示すＤ１、Ｄ２、Ｄ３は、各シナプスでのパルス遅延量を表す。ここでは単純な例として各特徴検出層ニューロンへの結合において中心ニューロンからの出力は遅延量Ｄ２、中心ニューロンの最近傍（両隣にある）ニューロンからの出力は遅延量Ｄ１、中心ニューロンから２番目の距離にあるニューロンからの出力は遅延量Ｄ３を受けるように構成されている。
【００５６】
図１０の（Ａ）では、シナプス＋分岐回路を用いて同一回路において複数ニューロンからのパルス信号出力にそれぞれ一定の遅延を与え、入力側のニューロンに応じて異なるニューロンに分岐出力する。分岐出力とは、所定遅延量の変調を受けたパルスが複数の特徴検出ニューロンへ出力されることであり、図１０の（Ａ）において、各分岐線は、例えば、遅延量Ｄ１を与えるシナプス回路内では同図の（Ｂ）に示すように配線されている。
【００５７】
例えば、特徴統合層ニューロンＮ２からのパルス出力は、シナプス回路で遅延量Ｄ１を与えられた後、特徴検出層Ｍ１ニューロンのみに分岐出力される。ここで、図１０の（Ｂ）に示すように、遅延素子後の分岐配線上にダイオードを設定することにより、特定ニューロンからの出力が分岐構造によって特定ニューロンに出力されるように構成されている。ニューロンＮ４からの出力は、遅延Ｄ１を受けて特徴検出層のＭ１及びＭ２ニューロンへ出力される。これは、ニューロンＭ１及びＭ２の受容野がＮ４で重複しているためである。また、Ｎ５からのパルス出力は、遅延Ｄ２を受けてＭ２へ出力される信号と遅延Ｄ３を受けてＭ１に出力される信号とがある。各ニューロンからの出力の遅延及び分岐出力構造の詳細は図１１（Ａ）に示したものと同じである。
【００５８】
図１１（Ａ）においては、各シナプス回路内の小回路Ｄｉｊは、遅延量としてＤｉを与えてＭｊニューロンへ出力することを表す。また、遅延量Ｄｉを与える各シナプス回路への入力は分岐出力先に応じて異なる小回路に結線するため図１０より多くの配線を要している。
【００５９】
ある特徴統合層ニューロンへの入力信号線としては、後述するように、そのニューロンに対するサブサンプリングのための一様な重み付けの局所平均化を行う場合には、途中に所定のパルス遅延等を与えるシナプス回路は不要である。しかしながら、非一様な局所平均化等の処理を行う場合には、上記特徴検出層ニューロンへのシナプス結合回路と同様に構成すればよい。
【００６０】
これら出力信号線は所定のシナプス回路に結合してもよいし、単なる分岐線（遅延線または配線）として出力先ニューロンへ結合してもよい。なお、信号としては電圧モードでのパルス信号が入出力されるものとする。
【００６１】
ネットワークが結合荷重の共有結合形式（１の重み係数分布で複数ニューロンのシナプス結合構造を同一に表す場合）になるような構成をとる場合には、各シナプスでの遅延量（下記（１）式のＰｉｊ）が図３の場合と違って同一受容野内で一様とすることができる場合がある。例えば、特徴検出層から特徴統合層への結合は、特徴統合層がその前段の層である特徴検出層出力の局所平均化（ただし、一様重み付けとする）によるサブサンプリングを行う場合には、検出対象によらず（即ち、課題によらず）このように構成することができる。
【００６２】
この場合、図４の（Ａ）の各小回路４０１は、図４の（Ｃ）のように、単一の回路Ｓｋ，ｉで済み、特に経済的な回路構成となる。一方、特徴統合層（またはセンサ入力層）から特徴検出層への結合がこのようになっている場合、特徴検出ニューロンが検出するのは、複数の異なる特徴要素を表すパルスの同時到着（或いは、略同時到着）という、イベントである。
【００６３】
図４の（Ｂ）に示すように各シナプス結合小回路４０１は、学習回路４０２と位相遅延回路４０３とからなる。学習回路４０２は、位相遅延回路４０３の特性を変化させることにより、上記遅延量を調整し、また、その特性値（或いはその制御値）を浮遊ゲート素子、或いは浮遊ゲート素子と結合したキャパシタ上に記憶するものである。位相遅延回路４０３はパルス位相変調回路であり、例えば、図５（Ａ）に示すような単安定マルチバイブレータ５０６、５０７及び、抵抗５０１、５０４、キャパシタ５０３、５０５、トランジスター５０２を用いた構成がある。図５（Ｂ）は単安定マルチバイブレータ５０６へ入力された方形波Ｐ１（図５（Ｂ）［１］）、単安定マルチバイブレータ５０６から出力される方形波Ｐ２（同［２］）、単安定マルチバイブレータ５０７から出力される方形波Ｐ３（同［３］）の各タイミングを表している。
【００６４】
位相遅延回路４０３の動作機構の詳細については説明を省略するが、Ｐ１のパルス幅は、充電電流によるキャパシタ５０３の電圧が予め定められた閾値に達するまでの時間で決まり、Ｐ２の幅は抵抗５０４とキャパシタ５０５による時定数で決まる。Ｐ２のパルス幅が（図５の（Ｂ）の点線方形波のように）広がって、その立ち下がり時点が後にずれるとＰ３の立ち上がり時点も同じ量ずれるが、Ｐ３のパルス幅は変わらないので、結果的に入力パルスの位相だけが変調されて出力されたことになる。
【００６５】
制御電圧Ｅｃを基準電圧のリフレッシュ回路５０９と結合荷重を与えるキャパシタ５０８への電荷蓄積量制御を行う学習回路４０２で変化させることにより、パルス位相（遅延量）を制御することができる。この結合荷重の長期保持のためには、学習動作後に図５の（Ａ）の回路の外側に付加される浮遊ゲート素子（図示せず）のチャージとして、或いはデジタルメモリへの書き込み等を行って結合荷重を格納してもよい。その他回路規模を小さくなるように工夫した構成（例えば、特開平５−３７３１７号公報、特開平１０−３２７０５４号公報参照）など周知の回路構成を用いることができる。
【００６６】
パルスの同時到着、或いは所定の位相変調量を実現するシナプスでの学習回路の例としては、図５の（Ｃ）に示すような回路要素を有するものを用いればよい。即ち、学習回路４０２をパルス伝播時間計測回路５１０（ここで、伝播時間とは、ある層のニューロンの前シナプスでのパルス出力時刻と次の層上にある出力先ニューロンでの当該パルスの到着時刻との時間差をさす）、時間窓発生回路５１１、及び伝播時間が一定値となるようにシナプス部でのパルス位相変調量を調整するパルス位相変調量調整回路５１２から構成できる。
【００６７】
伝播時間計測回路５１０としては、後述するような同一局所受容野を形成するペースメーカーニューロンからのクロックパルスを入力し、所定の時間幅（時間窓：図３の（Ｂ）参照）において、そのクロックパルスのカウンター回路からの出力に基づき伝播時間を求めるような構成などが用いられる。なお、時間窓は出力先ニューロンの発火時点を基準として設定することにより、以下に示すような拡張されたＨｅｂｂの学習則が適用される。
【００６８】
特徴検出層（１，０）での処理（Ｇａｂｏｒ ｗａｖｅｌｅｔ変換等による低次特徴抽出）
特徴検出層（１，０）には、局所的な、ある大きさの領域で所定の空間周波数を持ち、方向成分が垂直であるようなパターンの構造（低次特徴）を検出するニューロンがあるとすると、データ入力層１上のＮ１の受容野内に該当する構造が存在すれば、そのコントラストに応じた位相でパルス出力する。このような機能はＧａｂｏｒ ｆｉｌｔｅｒにより実現することができる。以下、特徴検出層（１，０）の各ニューロンが行う特徴検出フィルタ機能について説明する。
【００６９】
特徴検出層（１，０）では、多重スケール、多重方向成分のフィルタセットで表されるＧａｂｏｒウエーブレット変換を行うものとし、層内の各ニューロン（または複数ニューロンからなる各グループ）は、所定のＧａｂｏｒフィルタ機能を有する。特徴検出層では、スケールレベル（解像度）が一定で方向選択性の異なる複数のＧａｂｏｒ関数の畳み込み演算カーネルに対応する受容野構造を有するニューロンからなる複数のニューロン集団を一まとめにして一つのチャネルを形成する。
【００７０】
その際、同一チャネルを形成するニューロン群は方向選択性が異なり、サイズ選択性が同一のニューロン群どうしを互いに近接した位置に配置してもよいし、同一の特徴カテゴリに属し、異なる処理チャネルに属するニューロン群どうしが互いに近接配置されるようにしてもよい。これは、集団的符号化における後述する結合処理の都合上各図に示すような配置構成にした方が、回路構成上実現しやすいことによる。
【００７１】
なお、Ｇａｂｏｒ ｗａｖｅｌｅｔ変換を神経回路網で行う方法の詳細については、Ｄａｕｇｍａｎ（１９８８）による文献（ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．３６，ｐｐ．１１６９−１１７９）を参照されたい。
【００７２】
特徴検出層（１，０）の各ニューロンは、ｇｍｎに対応する受容野構造を有する。同じスケールインデックスｍを有するｇｍｎは同じサイズの受容野を有し、演算上は対応するカーネルｇｍｎサイズもスケールインデックスに応じた大きさを有するようにしてある。ここでは、最も粗いスケールから順に入力画像上の３０×３０、１５×１５、７×７のサイズとした。各ニューロンは、分布重み係数と画像データとの積和入力を行って得られるウエーブレット変換係数値の非線型ｓｑｕａｓｈｉｎｇ関数となる出力レベル（ここでは位相基準とする；但し、周波数、振幅、パルス幅基準となる構成でもよい）でパルス出力を行う。この結果、この層（１，０）全体の出力として、Ｇａｂｏｒ ｗａｖｅｌｅｔ変換が行われたことになる。
【００７３】
特徴検出層での処理（中次、高次特徴抽出）
後続の特徴検出層（（１，１）、（１，２）、・・・）の各ニューロンは、上記特徴検出層（１，０）とは異なり、認識対象のパターンに固有の特徴を検出する受容野構造をいわゆるＨｅｂｂ学習則等により形成する。後の層ほど特徴検出を行う局所的な領域のサイズが認識対象全体のサイズに段階的に近くなり、幾何学的には中次または高次の特徴を検出する。
【００７４】
例えば、顔の検出認識を行う場合には中次（または高次）の特徴とは顔を構成する目、鼻、口等の図形要素のレベルでの特徴を表す。異なる処理チャネル間では、同じ階層レベル（検出される特徴の複雑さが同レベル）であれば、検出される特徴の違いは、同一カテゴリであるが、互いに異なるスケールで検出されたものに対応する。例えば、中次の特徴としての「目」は異なる処理チャネルでは、サイズの異なる「目」として検出を行う。即ち、画像中の与えられたサイズの「目」に対してスケールレベル選択性の異なる複数の処理チャネルにおいて検出が試みられる。
【００７５】
なお、特徴検出層ニューロンは一般的に（低次、高次特徴抽出に依らず）、出力の安定化のために抑制性（分流型抑制：ｓｈｕｎｔｉｎｇ ｉｎｈｉｂｉｔｉｏｎ）の結合を前段の層出力に基づいて受けるような機構を有してもよい。
【００７６】
特徴統合層での処理
特徴統合層（（２，０）、（２，１）、・・・）のニューロンについて説明する。図１に示すごとく特徴検出層（例えば（１，０））から特徴統合層（例えば（２，０））への結合は、当該特徴統合ニューロンの受容野内にある前段の特徴検出層の同一特徴要素（タイプ）のニューロンから興奮性結合の入力を受けるように構成され、統合層のニューロンの機能は前述したごとく、各特徴カテゴリごとの局所平均化、最大値検出によるサブサンプリング等である。
【００７７】
前者によれば、複数の同一種類の特徴のパルスを入力し、それらを局所的な領域（受容野）で統合して平均化する（或いは、受容野内での最大値等の代表値を算出する）ことにより、その特徴の位置のゆらぎ、変形に対しても確実に検出することができる。このため、特徴統合層ニューロンの受容野構造は、特徴カテゴリによらず一様（例えば、いずれも所定サイズの矩形領域であって、かつ感度または重み係数がその中で一様分布するなど）となるように構成してよい。
【００７８】
特徴統合層でのパルス信号処理
このように本実施形態では、特徴統合細胞は、その前の層番号（１，ｋ）の特徴検出層上のペースメーカニューロンからのタイミング制御は受けるようには、構成していない。なぜならば、特徴統合細胞においては、入力パルスの到着時間パターンではなく、むしろ一定の時間範囲での入力レベル（入力パルスの時間的総和値など）によって決まる位相（周波数、パルス幅、振幅のいずれかが依存してもよいが、本実施形態では位相とした）でのパルス出力をするため、時間窓の発生タイミングは余り重要ではないからである。なお、このことは、特徴統合細胞が前段の層の特徴検出層のペースメーカニューロンからのタイミング制御を受ける構成を排除する趣旨ではなく、そのような構成も可能であることはいうまでもない。
【００７９】
パターン検出の動作原理
次に、２次元図形パターンのパルス符号化と検出方法について説明する。図３は、特徴統合層から特徴検出層への（例えば、図１の層（２，０）から層（１，１）への）パルス信号の伝播の様子を模式的に示したものである。特徴統合層側の各ニューロンｎｉは、それぞれ異なる特徴量（或いは特徴要素）に対応し、特徴検出層側のニューロンｎ’ｊは、同一受容野内の各特徴を組み合わせて得られる、より高次の特徴（図形要素）の検出に関与する。
【００８０】
各ニューロン間結合には、パルスの伝播時間とニューロンｎｉからニューロンｎ’ｊへのシナプス結合（Ｓｊ，ｉ）での時間遅れ等による固有（特徴に固有）の遅延が生じ、その結果としてニューロンｎ’ｊに到着するパルス列Ｐｉは、特徴統合層の各ニューロンからパルス出力がなされる限り、学習によって決まるシナプス結合での遅延量により、所定の順序（及び間隔）になっている（図３（Ａ）では、Ｐ４，Ｐ３，Ｐ２，Ｐ１の順に到着するように示されている）。
【００８１】
図３（Ｂ）は、後述するペースメーカニューロンからのタイミング信号を用いて時間窓の同期制御を行う場合において、層番号（２，ｋ）上の特徴統合細胞ｎ１、ｎ２、ｎ３（それぞれ異なる種類の特徴を表す）から、層番号（１，ｋ＋１）上のある特徴検出細胞（ｎ’ｊ）（より上位の特徴検出を行う）へのパルス伝播のタイミング等を示す。
【００８２】
図６において、ペースメーカニューロンｎｐは、同一の受容野を形成し、かつ異なる種類の特徴を検出する特徴検出ニューロン（ｎｊ，ｎｋ等）に付随し、それらと同一の受容野を形成して、特徴統合層（または入力層）からの興奮性結合を受ける。そして、その入力の総和値（或いは受容野全体の活動度レベル平均値など、受容野全体に固有の活動特性を表す状態に依存するように制御するため）によって決まる所定のタイミング（または周波数）でパルス出力を特徴検出ニューロン及び特徴統合ニューロンに対して行う。
【００８３】
また、各特徴検出ニューロンでは、その入力をトリガー信号として互いに時間窓が位相ロックする様に構成されているが、前記したようにペースメーカニューロン入力がある前は、位相ロックされず、各ニューロンはランダムな位相でパルス出力する。また、特徴検出ニューロンでは、ペースメーカニューロンからの入力がある前は後述する時間窓積分は行われず、ペースメーカニューロンからのパルス入力をトリガーとして、同積分が行われる。
【００８４】
ここに、時間窓は特徴検出細胞（ｎ’ｉ）ごとに定められ、当該細胞に関して同一受容野を形成する特徴統合層内の各ニューロンおよび、ペースメーカニューロンに対して共通であり、時間窓積分の時間範囲を与える。
【００８５】
層番号（１，ｋ）にあるペースメーカニューロンは（ｋは自然数）、パルス出力を層番号（２，ｋ−１）の各特徴統合細胞、及びそのペースメーカニューロンが属する特徴検出細胞（層番号（１，ｋ））に出力することにより、特徴検出細胞が時間的に入力を加算する際の時間窓発生のタイミング信号を与えている。この時間窓の開始時刻が各特徴統合細胞から出力されるパルスの到着時間を図る基準時となる。即ち、ペースメーカニューロンは特徴統合細胞からのパルス出力時刻、及び特徴検出細胞での時間窓積分の基準パルスを与える。
【００８６】
各パルスは、シナプス回路を通過すると所定量の位相遅延が与えられ、更に共通バスなどの信号伝達線を通って特徴検出細胞に到着する。この時のパルスの時間軸上の並びを、特徴検出細胞の時間軸上において点線で表したパルス（Ｐ１，Ｐ２，Ｐ３）により示す。
【００８７】
特徴検出細胞において各パルス（Ｐ１，Ｐ２，Ｐ３）の時間窓積分（通常、一回の積分とする；但し、多数回に渡る時間窓積分による電荷蓄積、または多数回に渡る時間窓積分の平均化処理を行ってもよい）の結果、閾値より大となった場合には、時間窓の終了時刻を基準としてパルス出力（Ｐｄ）がなされる。なお、同図に示した学習時の時間窓とは、後で説明する学習則を実行する際に参照されるものである。
【００８８】
パルス出力の時空間的統合及びネットワーク特性
次に入力パルスの時空間的重み付き総和（荷重和）の演算について説明する。図７（Ｂ）に示すごとく、各ニューロンでは、上記サブ時間窓（タイムスロット）毎に所定の重み関数（例えばＧａｕｓｓｉａｎ）で入力パルスの荷重和がとられ、各荷重和の総和が閾値と比較される。τｊはサブ時間窓ｊの重み関数の中心若しくはピーク位置を表し、時間窓の開始時刻基準（開始時間からの経過時間）で表す。重み関数は一般に所定の中心位置（検出予定の特徴が検出された場合のパルス到着時間を表す）からの距離（時間軸上でのずれ）の関数になり、対称形である。従って、ニューロンの各サブ時間窓（タイムスロット）の重み関数の中心位置τが、ニューロン間の学習後の時間遅れとすると、入力パルスの時空間的重み付き総和（荷重和）を行う神経回路網は一種の時間軸ドメインの動径基底関数ネットワーク（Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ Ｎｅｔｗｏｒｋ；以下ＲＢＦと略す）とみなすことができる。Ｇａｕｓｓｉａｎ関数の重み関数を用いたニューロンｎｉの時間窓ＦＴｉは、各サブ時間窓毎の広がりをσ、係数因子をｂｉｊで表すと、
【外１】
となる。
【００９０】
なお、重み関数としては、負の値をとるものであってもよい。例えば、ある特徴検出層のニューロンが三角形を最終的に検出することが予定されている場合に、その図形パターンの構成要素でないことが明らかな特徴（Ｆｆａｌｓｅ）が検出された場合には、他の特徴要素からの寄与が大きくても三角形の検出出力が最終的になされないように、入力の総和値算出処理において、当該特徴（Ｆｆａｕｌｓｅ）に対応するパルスからは、負の寄与を与えるような重み関数及び特徴検出（統合）細胞からの結合を与えておくことができる。
【００９１】
特徴検出層のニューロンｎｉへの入力信号の時空間和Ｘｉ（ｔ）は、
【外２】
となる。ここに、εｊは、ニューロンｎｊからの出力パルスの初期位相であり、ニューロンｎｉとの同期発火により、０に収束するか、又はペースメーカニューロンからのタイミングパルス入力により、時間窓の位相を０に強制同期する場合には、εｊは常に０としてよい。図７（Ａ）のパルス入力と同（Ｂ）に示す重み関数による荷重和を実行すると、図７（Ｅ）に示すような荷重和値の時間的遷移が得られる。特徴検出ニューロンは、この荷重和値が閾値（Ｖｔ）に達するとパルス出力を行う。
【００９３】
ニューロンｎｉからの出力パルス信号は、前述したように、入力信号の時空間和（いわゆる総入力和）のｓｑｕａｓｈｉｎｇ非線形関数となる出力レベルと学習により与えられた時間遅れ（位相）をもって上位層のニューロンに出力される（パルス出力は固定周波数（２値）とし、学習によって決まる固定遅延量に相当する位相に入力信号の時空間和についてのｓｑｕａｓｈｉｎｇ非線形関数となる位相変調量を加えて出力される）。
【００９４】
学習則
学習回路４０２は、同じカテゴリの物体が提示される頻度が大きくなるほど上記時間窓の幅が狭くなるようにしてもよい。このようにすることにより、見慣れた（呈示回数、学習回数の多い）カテゴリのパターンであるほど、複数パルスの同時到着の検出（ｃｏｉｎｃｉｄｅｎｃｅ ｄｅｔｅｃｔｉｏｎ）モードに近づく様な動作をすることになる。このようにすることにより、特徴検出に要する時間を短縮できる（瞬時検出の動作が可能となる）が、特徴要素の空間配置の細かな比較分析や、類似するパターン間の識別等を行うことには適さなくなる。
【００９５】
遅延量の学習過程は、例えば、複素数ドメインに拡張することにより、特徴検出層のニューロンｎｉと特徴統合層のニューロンｎｊとの間の複素結合荷重Ｃｉｊは、
Ｃｉｊ＝Ｓｉｊ ｅｘｐ（ｉＰｉｊ） （３）
のように与えられる。ここに、関数ｅｘｐ内の最初のｉは虚数単位を表し、Ｓｉｊは結合強度、Ｐｉｊは位相を表し、所定周波数でニューロンｊからニューロンｉに出力されるパルス信号の時間遅れに相当する位相である。Ｓｉｊはニューロンｉの受容野構造を反映し、認識検出する対象に応じて一般に異なる構造を有する。これは学習（教師付き学習または自己組織化）により別途形成されるか、或いは予め決められた構造として形成される。
【００９６】
一方、遅延量に関する自己組織化のための学習則は、
【外３】
で与えられる。但し、
【外４】
はＣの時間微分、τｉｊは上記時間遅れ（予め設定された量）、β（〜１）は定数を示す。上式を解くと、Ｃｉｊはβｅｘｐ（−２πｉτｉｊ）に収束し、従って、Ｐｉｊは−τｉｊに収束する。学習則適用の例を図３（Ｂ）に示した学習時の時間窓を参照して説明すると、シナプス結合の前側ニューロン（ｎ１，ｎ２，ｎ３）と後側ニューロン（特徴検出細胞）とが、その学習時間窓の時間範囲において、ともに発火しているときにだけ、（４）式に従って結合荷重が更新される。なお、図３（Ｂ）において、特徴検出細胞は時間窓の経過後に発火しているが、同図の時間窓経過前に発火してもよい。
【００９９】
特徴検出層処理
以下、特徴検出層で主に行われる処理（学習時、認識時）について説明する。各特徴検出層においては、前述したように各スケールレベルごとに設定される処理チャネル内において同一受容野からの複数の異なる特徴に関するパルス信号を入力し、時空間的重み付き総和（荷重和）演算と閾値処理を行う。
【０１００】
各特徴量に対応するパルスは予め学習により定められた遅延量（位相） により、所定の時間間隔で到着する。このパルス到着時間パターンの学習制御は、本発明の主眼ではないので詳しくは説明しないが、例えば、ある図形パターンを構成する特徴要素がその図形の検出に最も寄与する特徴であるほど先に到着し、そのままでは、パルス到着時間がほぼ等しくなる特徴要素間では、互いに一定量だけ時間的に離れて到着するような競争学習を導入する。或いは、予め決められた特徴要素（認識対象を構成する特徴要素であって、特に重要と考えられるもの：例えば、平均曲率の大きい特徴、直線性の高い特徴など）間で異なる時間間隔で到着する様に設計してもよい。
【０１０１】
本実施形態では、前段の層である特徴統合層上の同一受容野内の各低次特徴要素に相当するニューロンは、それぞれ所定の位相で同期発火（パルス出力）することになる。一般的に特徴統合層のニューロンであって位置が異なるが同一の高次の特徴を検出する特徴検出ニューロンへの結合が存在する（この場合、受容野は異なるが、高次の同じ特徴を構成する結合を有する）。この時、これら特徴検出ニューロンとの間でも同期発火することはいうまでもない。但し、その出力レベル（ここでは位相基準とする；但し、周波数、振幅、パルス幅基準となる構成でもよい）は特徴検出ニューロンの受容野ごとに与えられる複数ペースメーカニューロンからの寄与の総和（或いは平均など）によって決まる。
【０１０２】
また、特徴検出層上の各ニューロンにおいては入力パルスの時空間的重み付き総和（荷重和）の演算は、ニューロンに到着したパルス列について所定幅の時間窓においてのみ行われる。時間窓内部において重み関数の形状は、ピーク値がシナプス荷重値に相当し、また、ピーク値をとる時間窓内の重み付き加算を実現する手段は、図２に示したニューロン素子回路に限らず、他の方法で実現してもよいことは言うまでもない。
【０１０３】
この時間窓は、実際のニューロンの不応期（ｒｅｆｒａｃｔｏｒｙ ｐｅｒｉｏｄ）以外の時間帯にある程度対応している。即ち、不応期（時間窓以外の時間範囲）にはどのような入力を受けてもニューロンからの出力はないが、その時間範囲以外の時間窓では入力レベルに応じた発火を行うという点が実際のニューロンと類似している。図３（Ｂ）に示す不応期は、特徴検出細胞の発火直後から次の時間窓開始時刻までの時間帯である。不応期の長さと時間窓の幅は任意に設定可能であることはいうまでもなく、同図に示したように時間窓に比べて不応期を短くとらなくてもよい。
【０１０４】
本実施形態では、図６に模式的に示すように、既に説明したメカニズムとして、例えば各特徴検出層ニューロンごとに、その同一受容野からの入力を受けるようなペースメーカニューロン（固定周波数でパルス出力）によるタイミング情報（クロックパルス）の入力により、上述した開始時期の共通化をもたらすようにしている。
【０１０５】
このように構成した場合には、時間窓の同期制御は（仮に必要であったとしても）ネットワーク全体にわたって行う必要が無く、また、上記したようなクロックパルスの揺らぎ、変動があっても、局所的な同一受容野からの出力に対して一様にその影響を受ける（窓関数の時間軸上での位置の揺らぎは同一受容野を形成するニューロン間で同一となる）ので、特徴検出の信頼性は劣化することはない。このような局所的な回路制御により信頼度の高い同期動作を可能にするため、回路素子パラメータに関するばらつきの許容度も高くなる。
【０１０６】
以下、簡単のために三角形を特徴として検出する特徴検出ニューロンについて説明する。その前段の特徴統合層は、図７（Ｃ）に示すような各種向きを持ったＬ字パターン（ｆ１１，ｆ１２，・・・，）、Ｌ字パターンとの連続性（連結性）を有する線分の組み合わせパターン（ｆ２１，ｆ２２，・・・）、三角形を構成する２辺の一部の組み合わせ（ｆ３１，・・・）、などのような図形的特徴（特徴要素）に反応するものとする。
【０１０７】
また、同図のｆ４１，ｆ４２，ｆ４３は向きの異なる三角形を構成する特徴であって、ｆ１１，ｆ１２，ｆ１３に対応する特徴を示している。学習により層間結合をなすニューロン間に固有の遅延量が設定された結果、三角形の特徴検出ニューロンにおいては、時間窓を分割して得られる各サブ時間窓（タイムスロット）（ｗ１，ｗ２，・・・）において、三角形を構成する主要かつ異なる特徴に対応するパルスが到着するように予め設定がなされる。
【０１０８】
例えば、時間窓をｎ分割した後のｗ１，ｗ２，・・・、ｗｎには、図７（Ａ）に示すごとく、全体として三角形を構成するような特徴のセットの組み合わせに対応するパルスが初めに到着する。ここに、Ｌ字パターン（ｆ１１，ｆ１２，ｆ１３）は、それぞれｗ１，ｗ２，ｗ３内に到着し、特徴要素（ｆ２１，ｆ２２，ｆ２３）に対応するパルスは、それぞれｗ１，ｗ２，ｗ３内に到着するように学習により遅延量が設定されている。
【０１０９】
特徴要素（ｆ３１，ｆ３２，ｆ３３）対応のパルスも同様の順序で到着する。図７（Ａ）の場合、一つのサブ時間窓（タイムスロット）にそれぞれ一つの特徴要素に対応するパルスが到着する。サブ時間窓に分割する意味は、各サブ時間窓で時間軸上に展開表現された異なる特徴要素に対応するパルスの検出（特徴要素の検出）を個別にかつ確実に行うことにより、それらの特徴を統合する際の統合の仕方、例えば、すべての特徴要素の検出を条件とするか、或いは一定割合の特徴検出を条件とするか等の処理モードの変更可能性や適応性を高めることにある。
【０１１０】
例えば、認識（検出）対象が顔であり、それを構成するパーツである目の探索（検出）が重要であるような状況においては（目のパターン検出の優先度を視覚探索において高く設定したい場合）、高次の特徴検出層からのフィードバック結合を導入することにより、選択的に目を構成する特徴要素パターンに対応する反応選択性（特定の特徴の検出感度）を高めたりすることができる。このようにすることにより、高次の特徴要素（パターン）を構成する低次の特徴要素により高い重要度を与えて検出することができる。
【０１１１】
また、重要な特徴ほど早いサブ時間窓にパルスが到着するように予め設定されているとすると、当該サブ時間窓での重み関数値が他のサブ時間窓での値より大きくすることにより、重要度の高い特徴ほど検出されやすくすることができる。この重要度（特徴間の検出優先度）は学習により獲得されるか、予め定義しておくこともできる。
【０１１２】
従って、一定割合の特徴要素の検出という事象さえ起きればよいのであれば、一つの時間窓において行ってもよい。
【０１１３】
なお、複数（３つ）の異なる特徴要素に対応するパルスがそれぞれ到着して加算されるようにしてもよい（図７（Ｄ））。即ち、一つのサブ時間窓（タイムスロット）に複数の特徴要素（図７（Ｄ））、或いは任意の数の特徴要素に対応するパルスが入力されることを前提としてもよい。この場合、図７（Ｄ）では、初めのサブ時間窓では、三角形の頂角部分ｆ１１の検出を支持する他の特徴要素ｆ２１、ｆ２３に対応するパルスが到着し、同様に２番目のサブ時間窓には頂角部分ｆ１２の検出を支持するような他の特徴要素ｆ２２、ｆ３１のパルスが到着している。
【０１１４】
なお、サブ時間窓（タイムスロット）への分割数、各サブ時間窓（タイムスロット）の幅および特徴のクラスおよび特徴に対応するパルスの時間間隔の割り当てなどは上述した説明に限らず、変更可能であることはいうまでもない。
【０１１５】
＜第２の実施形態＞
本実施形態では、図１１の（Ｂ）に示すように局所タイミング発生素子（或いはペースメーカニューロン）ＰＮを用い、またシナプス回路からの出力を所定タイミングで分岐出力する分岐回路を特徴的な構成要素とする。分岐回路は、後の実施形態で示すようなデマルチプレクサ的機能を有し、局所タイミング発生素子からのタイミング信号に応じて各シナプス回路からの出力を異なる各特徴検出層ニューロンへ出力する。このようにすることにより、実施形態１の構成と比べてシナプス回路から先の配線を簡略化することができる。
【０１１６】
例えば、タイミング発生素子は、パルス列の周期と比べてパルス幅が小さい低周波数パルス信号を発生するものとすると、分岐回路は、各パルス信号の立ち上がりを基準時刻として次のパルスの立ち上がりまでの時間幅を出力先ニューロン数で等分割して得られるタイムスロット内に入力されるシナプス回路からのパルス信号を、そのタイムスロットに固有の特徴統合層ニューロンに出力するように構成する。そのためには、分岐回路としては、例えば各タイムスロットごとに異なるラインへの接続を行うスイッチ素子を有し、デマルチプレクサとしての機能を有すればよい（第３の実施形態参照）。なお、シナプス回路での変調を受けた信号を受ける側のニューロンでの処理は実施形態１と同様である。
【０１１７】
＜第３の実施形態＞
本実施形態では、シナプス回路の遅延要素での変調量を可変とし、局所タイミング素子からのタイミング信号に基づき、パルス信号の変調（遅延）量を制御し、かつ出力パルスをスイッチしながら分岐するデマルチプレクサ機能を併せ持つ回路をシナプス回路として用いている。このように構成することにより、上記実施形態では、異なる遅延量を与えるシナプス回路は、少なくとも物理的に異なる回路として独立して構成していたのに対し、そのようなシナプス回路までをも時分割的に共有化し、更なる回路規模の縮小を図ったものである。なお、シナプス回路での変調を受けた信号を受ける側のニューロンでの処理は実施形態１と同様である。
【０１１８】
図１２に示すように、図１１の（Ｂ）の構成を更に簡素化したものとし、シナプス回路Ｓは、局所タイミング素子からのタイミングパルスの立ち上がりを基準時刻とし、次のタイミングパルスまでの間を時分割して得られる各タイムスロット（図８参照）毎に、異なる変調量（遅延量）と変調後の信号の分岐出力先を与えるものである。
【０１１９】
シナプス回路の構成は、図１３に示すように、タイムスロットパルス発生回路１３０１と、遅延量変調回路１３０２と、スイッチアレイとそのアクティベート回路等から構成されるデマルチプレクサ回路１３０３とを有する。
【０１２０】
デマルチプレクサ回路１３０３は、マスタークロックパルスを基準時刻として、入力されるデータパルス信号を各タイムスロット（Ｔ１，Ｔ２，・・・，Ｔｎ）に固有のスイッチがｏｎ状態となることにより、所定順序で異なる分岐線に出力する特有の機能を有する。
【０１２１】
図１４に、デマルチプレクサ回路１３０３が４つのスイッチアレイと４つの出力線を有する場合のシナプス回路Ｓの各要素の動作例を模式的にタイミングチャートにより示す。同図において各遅延量（Ｄ１，Ｄ２，Ｄ３）は、前実施形態での各シナプス回路での変調量に相当し、各スイッチがｏｎ状態となることにより、出力先の分岐線に変調後のパルス信号が出力される。
【０１２２】
タイムスロットパルス発生回路１３０１４は、上記局所タイミング素子からの基準タイミングパルス入力後、それをマスタークロックとして同期させながら、マスタークロックの間隔より短い所定時間間隔でパルス信号を発生し（図１４のタイムスロットパルス発生素子の出力参照）、各パルス間の時間幅がタイムスロットに相当する。
【０１２３】
遅延量変調回路１３０２は、先の局所タイミング素子からのマスタークロックを入力し、これを基準として、タイムスロットパルス発生素子からのパルス信号の入力タイミング順に予め設定した複数の遅延時間のうちの一つを選択するセレクタを有する。即ち、時間的に変化する遅延量は、図８に示すようにそれぞれ量子化されたある大きさを持っており、遅延量変調回路１３０２は、ここでは、予め設定された複数の固定遅延回路のうちの一つを各タイムスロットごとに選択することにより、遅延量を時間的に制御している。そして、各タイムスロット毎に遅延変調を受けたパルス信号は、デマルチプレクサ回路１３０３によりそれぞれ異なるニューロンに分岐出力される。なお、遅延量を時間的に制御する方法としては他の方法を用いてもよいことは言うまでもない。
【０１２４】
以上説明した実施形態によれば、パルス信号処理回路は、異なる演算素子からの複数のパルス状信号を入力し、当該複数パルス信号のうち所定の信号に対して共通する変調を与える変調回路を有し、変調された当該各パルス信号を異なる信号線に分岐出力させるようにしたので、これにより、複数の演算素子間でパルス状信号を所定の変調を与えて伝達する信号処理系において、複数のパルス状信号に対して所定の変調量を与えるべき変調回路をパルスごと（入力側信号線ごと）に設定する必要が無く、回路規模を縮小できるという効果がある。
【０１２５】
また、複数ニューロン素子とニューロン素子間を結合するシナプス結合素子とを備える並列処理回路において、シナプス結合素子を上記パルス信号処理回路を用いて構成することにより、パルス信号を用いる並列信号処理回路を簡素化できる。
【０１２６】
また、所定次元のデータ入力手段と、複数のデータ処理モジュールと、パターン認識結果の出力手段とを備えたパターン認識装置において、データ処理モジュールは、複数の特徴を検出する特徴検出層を有し、データ処理モジュールは、所定のシナプス結合手段により互いに結合する複数の演算素子とからなり、データ処理モジュール内の演算素子は、所定時間窓内での複数パルスの到着時間パターンに応じた周波数又はタイミングでパルス状の信号を出力し、出力手段は、処理層の各演算素子出力に基づき、所定のパターンの検出結果又は認識結果を出力し、シナプス結合手段は、異なる演算素子からの複数のパルス状信号を入力し、各パルスのうち所定の信号に共通する変調を与える変調回路を有し、変調された当該各パルス信号を異なる信号線に分岐出力することにより、パルス信号の時空間分布に基づき特徴抽出等を行う階層的信号処理系において、回路規模の縮小および簡素化が実現される。
【０１２７】
また、並列処理回路において、所定のニューロン素子へのシナプス結合の分布対称性に基づき、複数のシナプス結合を一つの回路として共有した構造を有することにより、回路規模の縮小がシナプス結合分布の対称性の度合いに応じて達成される。
【０１２８】
また、変調回路を、パルス信号に所定の遅延を与える遅延回路とすることにより、個々のシナプス結合荷重を共通のパルス信号遅延回路によって実現することができる。
【０１２９】
また、パルス信号処理回路に、異なる演算素子からの複数のパルス状信号を入力し、各パルスに所定の変調を与える変調回路を有し、変調された各パルス信号を所定の順序でそれぞれ異なる信号線に所定の遅延を与えて分岐出力する分岐回路を備えることにより、ある演算素子（ニューロン）から空間的に異なるパルス伝播距離にある複数の演算素子（ニューロン）に対して、共通する変調を与えられたパルス信号を同一タイミング、或いは所定の規則に従ったタイミングで到着させることができる。
【０１３０】
＜第４の実施形態＞
本実施形態では、既に説明したＣｏｎｖｏｌｕｔｉｏｎａｌ ネットワーク構造において、特徴統合層ニューロンそれぞれからの出力パルス信号に対して、シナプス回路ブロックで時間窓積分を含むパルス信号処理を並列的に行う。これまでの実施形態は、時間窓積分をニューロン側で行っていたが、本実施形態ではシナプス側で並列的に行う点が対照的である。
【０１３１】
図１５（Ａ）では、シナプス回路ブロック（Ｄ１，・・・，Ｄ４）が、統合層ニューロン（Ｎ１，・・・，Ｎ４）からの出力パルスに対して、シナプス荷重値に対応付けられる重み係数を用いた時間窓積分を行った結果としての信号を出力し、特徴検出層のニューロン（Ｍ１）では、その積分後の信号を加算することにより、ニューロンの内部状態を形成するように構成した。
【０１３２】
図１５（Ｂ）は、各シナプス回路Ｄｊの構成を示している。各シナプス回路Ｄｊは、前段の階層からのパルス信号、重み係数関数信号、及び層間で同期をとるためのタイミング信号を入力し、時間窓積分回路１５０１で入力パルス信号と重み係数関数との時間窓積分を行い、出力信号生成回路１５０２で時間窓積分結果に相当する信号を生成して出力するように構成した。なお、出力信号生成回路１５０２は時間窓積分結果をそのまま出力してもよい。
【０１３３】
各シナプス回路で行う重み付き時間窓積分の重み係数値は、第１の実施形態と同様に時間の関数として与えられるが、本実施形態では、そのピーク値が、実施形態１の式（４）のＳｉｊに相当する点が特徴である。なお、これまでの実施形態においても、時間窓積分の重み係数の関数形状をそのように設定してもよいことはいうまでもない。
【０１３４】
この重み係数関数のピーク値は、所定の下位レベルの局所特徴（例えば、特徴検出層ニューロンが三角形を検出する場合には図７（Ｃ）に示すような局所特徴）が特徴検出層ニューロンの検出する特徴を構成するように適正な空間配置関係を持っていることを検出するのに必要な受容野構造を構成するシナプス結合荷重値である。
【０１３５】
重み係数関数は、特徴統合層ニューロンからの出力が位相変調パルスである場合、若しくはパルス幅変調信号である場合のいずれにも対応させることができるが、前者の場合、その値の分布は図７（Ｂ）に示すものと異なり、各サブ時間窓内で非対称である。後者の場合は、時間によらずシナプス結合荷重値に相当する一定値であればよい。
【０１３６】
例えば、位相変調パルス信号を入力する場合、重み係数関数は、該当する局所特徴の検出レベルが最大の場合の到着予定時刻からの遅れ時間に対応して線形に減少する。パルス位相変調信号の場合には、特徴統合層ニューロンの出力の大きさと対応する位相遅延（パルス到着時間のタイミング信号で与えられる基準時刻からの遅延）に応じたレベルの重み係数値が乗算されるようになっている。例えば、パルス信号到着時間の遅れに応じて線形に重み係数値を降下させることにより、シナプス荷重値とニューロン出力との実質的な積和演算を行うようにする。
【０１３７】
また、シナプス回路にニューロン出力に対応するパルス幅変調信号が入力される場合、時間的に変化する重み係数の関数とパルス幅変調信号との時間積分結果が、統合層ニューロン出力とシナプス結合荷重値の乗算結果に対応するように、重み係数関数の形状を設定すればよい。
【０１３８】
時間窓積分を実行する際には、通常、特徴検出層ニューロンとその受容野内にある特徴統合層ニューロン、及びシナプス回路は、所定のタイミング信号に同期してパルス信号の入出力を行う。このタイミング信号としては、第１の実施形態と同様にペースメーカニューロンからの信号を用いるか、或いは外部から供給されるクロック信号を用いても良い。
【０１３９】
重み係数信号の波形は、外部から関数波形生成器などにより供給してもよいし、デジタル回路でルックアップテーブル法や関数生成法によりデジタル波形を生成し、その後Ｄ／Ａ変換によりアナログ波形にして供給してもよい（森江、他 『ＡＤ融合方式画像特徴抽出ＬＳＩとそれを用いた自然画像認識システムの研究開発』：平成１２年度特定領域研究 知的瞬時処理複合化集積システム ｐｐ．４１−４７）。なお、時間の関数としての高精度な電圧波形の生成は容易である。
【０１４０】
本実施形態のように、ニューロンからのパルス変調出力信号に対する時間窓積分によりシナプス荷重との積を算出することにより、高精度な積和演算をコンパクトな回路構成で実現することができる。
【０１４１】
外部から供給される、またはチップ内部で高精度に生成される任意のアナログ非線形関数（時間の関数）信号を用い、図１６に示すように重み係数信号発生回路１６０１を用いて、同じ特徴クラスに関する各特徴検出層ニューロンのシナプス回路ブロック内の各シナプス結合回路に、重み係数信号として分配する。
【０１４２】
シナプス回路ブロック内で時間窓積分を受けた後、出力される各信号（パルス信号）は、ニューロン回路ブロック内部の所定のニューロン回路に分岐出力され、そこで総和がとられる。図１６において、シナプス回路ブロック内の行ごとのシナプス回路ブロックは、この重み係数信号を特徴検出層ニューロンのシナプス結合回路ごとに与えることにより、１受容野内の任意のシナプス結合荷重分布を時空間関数として生成することができる。
【０１４３】
図１７は、図１５に示した構成を基本要素とする並列パルス信号処理によるパターン認識装置を被写体検出（認識）装置として搭載した画像入力装置（例えば、カメラ、ビデオカメラ、スキャナーなど）の構成の概要を示す。
【０１４４】
図１７の撮像装置１７０１は、撮影レンズおよびズーム撮影用駆動制御機構を含む結像光学系１７０２、ＣＣＤ又はＣＭＯＳイメージセンサー１７０３、撮像パラメータの計測部１７０４、映像信号処理回路１７０５、記憶部１７０６、撮像動作の制御、撮像条件の制御などの制御用信号を発生する制御信号発生部１７０７、ＥＶＦなどファインダーを兼ねた表示ディスプレイ１７０８、ストロボ発光部１７０９、記録媒体１７１０、更に被写体検出（認識）装置１７１１（上述した実施形態における階層構造を持った並列パルス信号処理回路からなるパターン認識装置）などを具備する。
【０１４５】
この撮像装置１７０１は、例えば撮影された映像中から予め登録された人物の顔画像の検出（存在位置、サイズの検出）を被写体検出（認識）装置１７１１により行う。その人物の位置、サイズ情報が制御信号発生部１７０７に入力されると、制御信号発生部１７０７は、撮像パラメータ計測部１７０４からの出力に基づき、その人物に対するピント制御、露出条件制御、ホワイトバランス制御などを最適に行う制御信号を発生する。
【０１４６】
本発明に係るパターン検出（認識）装置を、このように撮像装置に用いた結果、当該被写体を確実に検出（認識）する機能を低消費電力かつ高速（リアルタイム）に実現して、人物等の検出とそれに基づく撮影の最適制御（ＡＦ、ＡＥなど）を行うことができるようになった。
【０１４７】
【発明の効果】
以上説明したように、本発明によれば、パルス信号処理回路は、異なる演算素子からの複数のパルス状信号を入力し、当該複数パルス信号のうち所定の信号に対して共通する変調を与える変調回路を有し、変調された当該各パルス信号を異なる信号線に分岐出力させるようにしたので、これにより、複数の演算素子間でパルス状信号に所定の変調を与えて伝達する信号処理系において、複数のパルス状信号に対して所定の変調量を与えるべき変調回路をパルスごと（入力側信号線ごと）に設定する必要が無く、回路規模を縮小できるという効果がある。
【図面の簡単な説明】
【図１】本発明に係る一実施形態のパターン検出・認識装置のためのネットワークの全体構成を示すブロック図である。
【図２】シナプス部とニューロン素子部の構成を示す図である。
【図３】特徴統合層または入力層から特徴検出層ニューロンへの複数パルス伝播の様子を示す図である。
【図４】シナプス回路の構成を示す図である。
【図５】シナプス結合小回路の構成、及びパルス位相遅延回路の構成を示す図である。
【図６】特徴検出層ニューロンにペースメーカニューロンからの入力がある場合のネットワーク構成を示す図である。
【図７】特徴検出ニューロンに入力される異なる特徴要素に対応する複数パルスを処理する際の時間窓の構成、重み関数分布の例、特徴要素の例を示す図である。
【図８】各層の細胞を示す図である。
【図９】ニューロン配列の例を示す図である。
【図１０】シナプス結合回路の共有化構造を表わす図である。
【図１１】シナプス結合回路の共有化構造を表わす図である。
【図１２】シナプス結合回路の共有化構造を表わす図である。
【図１３】シナプス回路の詳細構成を表わす図である。
【図１４】実施形態３におけるシナプス回路の各要素の動作タイミングを表わす図である。
【図１５】実施形態４におけるネットワーク基本構成を模式的に示した図である。
【図１６】重み係数信号が重み係数発生回路から各シナプス回路に分配される様子を模式的に示す図である。
【図１７】実施形態４の並列パルス信号処理回路を用いた被写体認識装置を搭載した画像入力装置の構成を模式的に示す図である。
Claims (5)
- タイミング信号を発生する発生回路と、
異なる演算素子から前記タイミング信号に基づいて出力される複数のパルス信号を入力し、当該複数のパルス信号のうち所定の複数のパルス信号に対して共通する変調を与える変調回路と、
該変調回路により変調された前記所定の複数のパルス信号の各々を入力し、前記タイミング信号の基準時刻から当該パルス信号の入力までの経過時間に応じて、それぞれ対応する信号線に分岐出力する分岐回路とを有することを特徴とするパルス信号処理回路。 - 前記変調回路は、パルス信号に所定の遅延を与える遅延回路であることを特徴とする請求項１に記載のパルス信号処理回路。
- 前記変調回路は、同一入力データの処理について時間的に異なる変調特性を与えることを特徴とする請求項１に記載のパルス信号処理回路。
- 複数ニューロン素子と該ニューロン素子間を結合するシナプス結合素子とを備え、当該シナプス結合素子を請求項１に記載のパルス信号処理回路を用いて構成したことを特徴とする並列処理回路。
- 前記シナプス結合素子が、所定のニューロン素子へのシナプス結合の分布対称性に基づき、複数のシナプス結合を一つの回路として共有した構造を有することを特徴とする請求項４に記載の並列処理回路。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002153997A JP4208485B2 (ja) | 2001-05-31 | 2002-05-28 | パルス信号処理回路、並列処理回路、パターン認識装置、及び画像入力装置 |
| US10/155,478 US7085749B2 (en) | 2001-05-31 | 2002-05-28 | Pulse signal circuit, parallel processing circuit, pattern recognition system, and image input system |
| US11/430,133 US7437339B2 (en) | 2001-05-31 | 2006-05-09 | Pulse signal circuit, parallel processing circuit, pattern recognition system, and image input system |
| US12/164,719 US7743004B2 (en) | 2001-05-31 | 2008-06-30 | Pulse signal circuit, parallel processing circuit, and pattern recognition system |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001164508 | 2001-05-31 | ||
| JP2001-164508 | 2001-05-31 | ||
| JP2002153997A JP4208485B2 (ja) | 2001-05-31 | 2002-05-28 | パルス信号処理回路、並列処理回路、パターン認識装置、及び画像入力装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003058862A JP2003058862A (ja) | 2003-02-28 |
| JP2003058862A5 JP2003058862A5 (ja) | 2005-10-06 |
| JP4208485B2 true JP4208485B2 (ja) | 2009-01-14 |
Family
ID=26616078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002153997A Expired - Lifetime JP4208485B2 (ja) | 2001-05-31 | 2002-05-28 | パルス信号処理回路、並列処理回路、パターン認識装置、及び画像入力装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (3) | US7085749B2 (ja) |
| JP (1) | JP4208485B2 (ja) |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7290154B2 (en) * | 2004-04-27 | 2007-10-30 | Georgia Tech Research Corporation | Probabilistic and introverted switching to conserve energy in a digital system |
| US8190542B2 (en) * | 2005-10-07 | 2012-05-29 | Comdys Holding B.V. | Neural network, a device for processing information, a method of operating a neural network, a program element and a computer-readable medium |
| US9542642B2 (en) * | 2006-04-06 | 2017-01-10 | Samuel F. Wood | Packet data neural network system and method |
| US10462039B2 (en) * | 2006-04-06 | 2019-10-29 | Samuel Frederick Wood | Data neural network system and method |
| US8484144B2 (en) * | 2007-03-16 | 2013-07-09 | Evolved Machines, Inc. | Activity-dependent generation of simulated neural circuits |
| US8224759B2 (en) * | 2007-05-01 | 2012-07-17 | Evolved Machines, Inc. | Regulating activation threshold levels in a simulated neural circuit |
| US8755515B1 (en) | 2008-09-29 | 2014-06-17 | Wai Wu | Parallel signal processing system and method |
| US9053562B1 (en) | 2010-06-24 | 2015-06-09 | Gregory S. Rabin | Two dimensional to three dimensional moving image converter |
| KR101838560B1 (ko) | 2011-07-27 | 2018-03-15 | 삼성전자주식회사 | 뉴로모픽 칩에서 스파이크 이벤트를 송수신하는 송수신 장치 및 방법 |
| US8977583B2 (en) * | 2012-03-29 | 2015-03-10 | International Business Machines Corporation | Synaptic, dendritic, somatic, and axonal plasticity in a network of neural cores using a plastic multi-stage crossbar switching |
| EP2849083A4 (en) * | 2012-05-10 | 2017-05-03 | Consejo Superior De Investigaciones Científicas (CSIC) | Method and system for converting pulsed-processing neural network with instantaneous integration synapses into dynamic integration synapses |
| US9992021B1 (en) | 2013-03-14 | 2018-06-05 | GoTenna, Inc. | System and method for private and point-to-point communication between computing devices |
| US9542643B2 (en) | 2013-05-21 | 2017-01-10 | Qualcomm Incorporated | Efficient hardware implementation of spiking networks |
| JP5659361B1 (ja) * | 2013-07-04 | 2015-01-28 | パナソニックＩｐマネジメント株式会社 | ニューラルネットワーク回路、およびその学習方法 |
| US9330355B2 (en) | 2013-08-06 | 2016-05-03 | Qualcomm Incorporated | Computed synapses for neuromorphic systems |
| WO2015084802A1 (en) * | 2013-12-02 | 2015-06-11 | Regents Of The University Of Minnesota | Rna amplification and oligonucleotide library preparation |
| JP6501146B2 (ja) * | 2014-03-18 | 2019-04-17 | パナソニックＩｐマネジメント株式会社 | ニューラルネットワーク回路およびその学習方法 |
| US20150278680A1 (en) * | 2014-03-26 | 2015-10-01 | Qualcomm Incorporated | Training, recognition, and generation in a spiking deep belief network (dbn) |
| US9489618B2 (en) * | 2014-05-27 | 2016-11-08 | Purdue Research Foudation | Electronic comparison systems |
| US10242313B2 (en) * | 2014-07-18 | 2019-03-26 | James LaRue | Joint proximity association template for neural networks |
| JP6365258B2 (ja) * | 2014-11-19 | 2018-08-01 | 株式会社デンソー | 演算処理装置 |
| US11037054B2 (en) * | 2016-12-20 | 2021-06-15 | Intel Corporation | Trace-based neuromorphic architecture for advanced learning |
| JP6791800B2 (ja) * | 2017-04-05 | 2020-11-25 | 株式会社日立製作所 | 計算機システム及び再帰型ニューラルネットワークを用いた演算方法 |
| KR20180116637A (ko) * | 2017-04-17 | 2018-10-25 | 에스케이하이닉스 주식회사 | 듀얼 멤리스터들을 가진 시냅스 및 상기 시냅스를 포함하는 뉴로모픽 소자의 시냅스 어레이 |
| JP6923645B2 (ja) | 2017-05-18 | 2021-08-25 | 株式会社半導体エネルギー研究所 | 画像検出モジュール |
| CN107316288B (zh) * | 2017-06-13 | 2018-06-29 | 西安科技大学 | 一种悬臂式掘进机截割头位姿视觉测量方法 |
| US11270198B2 (en) | 2017-07-31 | 2022-03-08 | Syntiant | Microcontroller interface for audio signal processing |
| CN107767387B (zh) * | 2017-11-09 | 2020-05-05 | 广西科技大学 | 基于可变感受野尺度全局调制的轮廓检测方法 |
| CN108090492B (zh) * | 2017-11-09 | 2019-12-31 | 广西科技大学 | 基于尺度线索抑制的轮廓检测方法 |
| CN110008792B (zh) * | 2018-01-05 | 2021-10-22 | 比亚迪股份有限公司 | 图像检测方法、装置、计算机设备及存储介质 |
| US11164072B2 (en) | 2018-02-08 | 2021-11-02 | Western Digital Technologies, Inc. | Convolution engines for systolic neural network processor |
| US10796198B2 (en) | 2018-02-08 | 2020-10-06 | Western Digital Technologies, Inc. | Adjusting enhancement coefficients for neural network engine |
| CN109190757B (zh) * | 2018-08-07 | 2021-05-04 | 百度在线网络技术（北京）有限公司 | 任务处理方法、装置、设备及计算机可读存储介质 |
| US11487702B2 (en) | 2018-11-02 | 2022-11-01 | International Business Machines Corporation | Object mining and recognition system |
| CN109948700B (zh) * | 2019-03-19 | 2020-07-24 | 北京字节跳动网络技术有限公司 | 用于生成特征图的方法和装置 |
| US11783176B2 (en) | 2019-03-25 | 2023-10-10 | Western Digital Technologies, Inc. | Enhanced storage device memory architecture for machine learning |
| US10929058B2 (en) | 2019-03-25 | 2021-02-23 | Western Digital Technologies, Inc. | Enhanced memory device architecture for machine learning |
| CN110400327B (zh) * | 2019-07-23 | 2021-07-02 | 中国计量大学 | 一种基于改进pcnn的番茄植株夜间图像分割方法 |
| CN111242211B (zh) * | 2020-01-13 | 2020-10-09 | 中南民族大学 | 一种田野文物保护***中的地下入侵信号识别方法和*** |
| CN112633425B (zh) * | 2021-03-11 | 2021-05-11 | 腾讯科技（深圳）有限公司 | 图像分类方法和装置 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6032322B2 (ja) | 1984-05-28 | 1985-07-27 | 松下電器産業株式会社 | 高圧用可変抵抗器 |
| US5251269A (en) * | 1987-07-15 | 1993-10-05 | Research Development Corporation Of Japan | Multi-layer neural network modelled after the striate cortex for recognizing visual patterns |
| DE69032680T2 (de) * | 1989-01-06 | 1999-06-02 | Hitachi Ltd | Neuronaler Rechner |
| DE69231481T2 (de) * | 1991-07-10 | 2001-02-08 | Fujitsu Ltd | Bilderzeugungsgerät |
| JPH0537317A (ja) | 1991-07-30 | 1993-02-12 | Nec Corp | パルス位相変調回路 |
| US5519811A (en) | 1991-10-17 | 1996-05-21 | Kawasaki Steel Corporation | Neural network, processor, and pattern recognition apparatus |
| JP2741793B2 (ja) | 1991-10-17 | 1998-04-22 | 川崎製鉄株式会社 | ニューラルネットワークプロセッサ |
| US5627943A (en) | 1993-02-17 | 1997-05-06 | Kawasaki Steel Corporation | Neural network processor including systolic array of two-dimensional layers |
| US5542054A (en) * | 1993-12-22 | 1996-07-30 | Batten, Jr.; George W. | Artificial neurons using delta-sigma modulation |
| JPH07262157A (ja) | 1994-03-17 | 1995-10-13 | Kumamoto Techno Porisu Zaidan | ニューラルネットワークおよびそのための回路 |
| JP3508783B2 (ja) | 1994-06-13 | 2004-03-22 | 株式会社リコー | パルス密度型信号処理回路網における結合係数更新方法並びに結合係数更新装置 |
| JPH08153148A (ja) | 1994-11-29 | 1996-06-11 | Nippon Telegr & Teleph Corp <Ntt> | アナログニューラルネットワーク学習回路 |
| US5764858A (en) * | 1995-09-14 | 1998-06-09 | University Of Southern California | One-dimensional signal processor with optimized solution capability |
| CA2166247A1 (en) * | 1995-12-28 | 1997-06-29 | Ravi Shankar Ananth | Supervisory circuit |
| US5664065A (en) | 1996-06-17 | 1997-09-02 | The United States Of America As Represented By The Secretary Of The Army | Pulse-coupled automatic object recognition system dedicatory clause |
| JP3558476B2 (ja) | 1996-12-27 | 2004-08-25 | 株式会社光電製作所 | レーダ装置 |
| JP2879670B2 (ja) | 1997-03-28 | 1999-04-05 | 広島大学長 | ２次元情報処理装置 |
| JPH10327054A (ja) | 1997-05-21 | 1998-12-08 | Victor Co Of Japan Ltd | パルス位相変調回路 |
| JP2001188767A (ja) * | 1999-12-28 | 2001-07-10 | Fuji Xerox Co Ltd | ニューラルネットワーク演算装置及びニューラルネットワークの演算方法 |
| US7054850B2 (en) * | 2000-06-16 | 2006-05-30 | Canon Kabushiki Kaisha | Apparatus and method for detecting or recognizing pattern by employing a plurality of feature detecting elements |
-
2002
- 2002-05-28 JP JP2002153997A patent/JP4208485B2/ja not_active Expired - Lifetime
- 2002-05-28 US US10/155,478 patent/US7085749B2/en not_active Expired - Lifetime
-
2006
- 2006-05-09 US US11/430,133 patent/US7437339B2/en not_active Expired - Fee Related
-
2008
- 2008-06-30 US US12/164,719 patent/US7743004B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7743004B2 (en) | 2010-06-22 |
| US20080270335A1 (en) | 2008-10-30 |
| US20070011120A1 (en) | 2007-01-11 |
| US7085749B2 (en) | 2006-08-01 |
| US20030004907A1 (en) | 2003-01-02 |
| JP2003058862A (ja) | 2003-02-28 |
| US7437339B2 (en) | 2008-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4208485B2 (ja) | パルス信号処理回路、並列処理回路、パターン認識装置、及び画像入力装置 | |
| US7707128B2 (en) | Parallel pulse signal processing apparatus with pulse signal pulse counting gate, pattern recognition apparatus, and image input apparatus | |
| JP4478296B2 (ja) | パターン検出装置及び方法、画像入力装置及び方法、ニューラルネットワーク回路 | |
| US7054850B2 (en) | Apparatus and method for detecting or recognizing pattern by employing a plurality of feature detecting elements | |
| Schliebs et al. | Evolving spiking neural network—a survey | |
| US7274819B2 (en) | Pattern recognition apparatus using parallel operation | |
| US7028271B2 (en) | Hierarchical processing apparatus | |
| US5003490A (en) | Neural network signal processor | |
| Meftah et al. | Segmentation and edge detection based on spiking neural network model | |
| JP2005352900A (ja) | 情報処理装置、情報処理方法、パターン認識装置、及びパターン認識方法 | |
| US20170337469A1 (en) | Anomaly detection using spiking neural networks | |
| JPH0296707A (ja) | 焦点検出装置 | |
| US7007002B2 (en) | Signal processing circuit involving local synchronous behavior | |
| JP4510237B2 (ja) | パターン検出装置及び方法、画像処理装置及び方法 | |
| JP4898018B2 (ja) | 信号処理回路及びパターン認識装置 | |
| JP4532678B2 (ja) | パターン検出装置及び方法、画像処理装置及び方法、ニューラルネットワーク装置 | |
| JP4314017B2 (ja) | 階層処理装置 | |
| JP2002358501A (ja) | 信号処理回路 | |
| JP2002358502A (ja) | 並列パルス信号処理装置、パルス出力素子、及びパターン認識装置 | |
| McDonald et al. | Modelling retinal ganglion cells using self-organising fuzzy neural networks | |
| Gruel et al. | Simultaneous neuromorphic selection of multiple salient objects for event vision | |
| Yeuseyenka et al. | Objects Movement Detection Based on Impulsed Neural Network of the Analogue of the Biological Retinal Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050530 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080701 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080901 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080930 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081021 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4208485 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
| EXPY | Cancellation because of completion of term |