【発明の詳細な説明】[Detailed description of the invention]
神経ネットワーク技法を用いた連続ベイズ推定技術分野
この発明は一般に神経ネットワーク技法に関し、詳しくは事前調査分析されない
広範囲のデータに対し、適応性のある、連続ベイズ推定を実行するよう設計され
た技法に関する。
技術前景
人工的神経ネットワークは、有益情報処理を、初期入力または連続入力に応答す
るシステムの状態によって実行する動的システムの研究である。当初、人口的神
経システムの目標の一つは、脳が実行する情報処理の種類を実行することのでき
る人造システムの開発および応用であっｒ二。これらの技術は、リアルタイム高
性能認識、不正確な知識分野のための知識認識およびロボット作動機構の高速、
精密制御のような処理能力を開発しようとした。したがって、この技術は人工知
能に関するものであった。
人工的神経システムは概して°相互接続°と呼ばれろ情報チャンネルを介して接
続される、処理要素すなわち神経細胞のネットワークからなる神経ネットワーク
の使用して研究されてきた。
これらの神経細胞のそれぞれは、多数の入力信号を持つことができるが、一つの
信号のみを出力する。各神経細胞の作用は、一般に出力信号変化における一次常
微分方程式によって決定される。ネットワーク内のいくつかの神経細胞に、それ
らを支配するの微分方程式のいくつかの係数を一次常欺分方程式によって自己調
整するための能力を備えることによって、ネットワークを°適応性のある°と呼
ぶことができる。ここ；ま、不ブトワークが学習し、人工神経システムの茅！Ｓ
つ目標の一つに到達したことになる。
神経ネットワークが供給される認知システムは、センサとモータ変換器とに接続
される監視システムおよびネットワークに関して考察され得る。神経ネットワー
クは、一般的に監視システムに影響する出力をもたらす入力の影響下で、現在の
状態を次の状態へ移行させる動的システムである。認知システムは一般に、外部
力学（ｄｙｎａｍｉｃｓ）の内部モデルを構築することによって知覚入カバター
ンを、予想するとともに、予想エラー較正技法を利用することによって、そのモ
デルの改良によって、また、監視システムの発展の感化によって、あるいはそれ
らのすべてによって予想エラーを減少させる。数学上ではこれは３つの重要かつ
公知の問題の混成である。すなわち、システム識別、推定および制御である。こ
れらに対する理論的解決はここ数十年間知られている。システム識別は、“モデ
ル規範”方法のような多くの方法によって分解的に達成される。しかしながら、
実際には、常に現象モデリングの技術によって達成されていた。 １推定は、例
えば、動的方程式が前取て確認されていると仮定して、カルマン（Ｉａｌ＊ａｎ
）フィルタによって処理される。この推定は、本質的に複合装置の状態をモニタ
する。カルマンフィルタはガウスノイズの線形装置を反復推定するが、別のフィ
ルタリングアプローチであるカルマン・ブーノー（Ｂｕｃｙ）フィルタは、連結
して発展的推定を行なう。非ガウスノイズの非線形装置には、多段ベイズ推定器
または連結ベイズ推定器が利用できろ。ハミルトン・ヤコビ理論およびポントリ
エイシャン（Ｐｏｎｔｒｙａｇｉａｎ）法を含むいくつかの手段によって制御が
開始される。
あいにく、これらの解決策は、がなり小さい次元の観測結果およびシステムを除
いては、適応して計算することができない。
生物学的システムは、多くの点でかなり優れているが、たとえ子供が、数百の信
号からなる視覚イメージでフリスビーの軌道を推定できるとしても・・・またフ
リスビーを捕える位置に手を差出すことができるとしても・・・学習過程（シス
テム識別）は今まで通り時間がかかり、かつ困難なものであることを指摘しなけ
ればならない。概して、実際の観測結果の次元が高いため、また克服できない計
算上の負担を共に課する推定を行うのに必要なサンプリング速度により、理想的
なアプローチは；よとんど不可能である。
発明の要約
ここに開示され、かつ請求された本発明は、神経ネットワークからなる。神経ネ
ットワークは、観測結果の時系列を受取るための観測入力を含む０次に、新規な
フィルタリングアルゴリズムに従って、内部に生成された予想と、観測結果とを
比較するための新規な装置が設けられる。新規なフィルタ装置は、受取られた観
測結果および予想に関連する次善の新方式過程を出力に与える。出力は、予想エ
ラーを表わす。新規な装置に出力するための予想を形成するｆ二めに、予想装置
が設けられる。この予想装置；よ、ノードの幾何学格子を含む。ノードは各々、
観１１１１Ｉ結果の時系列の空間的歴史を表示す空間パターンを記憶するにめの
メモリか結合されている。新規−装置から予想エラーを受取るｒ二めに、慣敗備
の信号入力が設けられており、この受取られｆ二予想エラー：よ、記憶された空
間パターンによってフィルタリングされ、記憶されたパターンと予想エラーとの
類似点を表わす相関係数を生じる。選択された他のノードからしきい値出力レベ
ルを受取るために、各ノードに蹟数個のしきい値入力が設けられている。記憶さ
れた空間パターンを受取るために前に、記憶された空間パターンの発生に対する
先行の確率を表わすしきい値レベルを記憶するために、しきい値メモリが設けら
れている。ノードの各々のＣＰＵは、記憶されｒ二しきい値レベル、受取られｒ
ニしきい値レベルおよび相関関係に関して演算をおこなう微分差方程式に従って
、更新しきい値レベルを計算し、量子力学波粒子を定め、ノードの幾何学格子を
積切ってそれを伝搬し、さらに、更新しきい値をしきい値メモリに記憶する。
各ノードから池のノード更新しきい値を出力するために、しきい値出力が設けら
れている。ＣＰＵ！よ、そのしきい値レベルが更新しきい値レベルからなるノグ
マ関数を介して相関係数を通過させることによって、内部に生成される予想を計
算する。この予想は、記憶しきい値レベルで表わされる先行の確率に基づいて条
件付けられた、記憶空間パターンの発生の確率を表わす。
波粒子の位置と予想エラーとを相関３せるように、記憶された空間パターンを更
新することにより、学習するにめに動作ができるようにされる。この学習：よ、
ヘビアノ（Ｈｅｂｂｉａｎ）学習法に従って達成される。
本発明のさらに他の面では、新規な装置がノードのアレイを含み、各ノードは、
観測入力を受取る複数個の信号入力と、予想装置の予想出力を受取るための複数
−の予想入力とを有する。
観測結果の時系列の時間的歴史を表わす時間パターンを記憶するために、メモリ
が設けられる。予想＆！測大入力その時、記憶された時間パターンを利用して予
想エラーを与える予め定めら°れたアルゴリズムに基づいて動作する。
本発明のさらに池の面では、新規な装置も適応性がある。これ：よ、予想エラー
を最小にするために、記憶されに時間パターンを更新することによって学習する
。学習アルゴリズムは、逆ヘビアン学習法を利用する。
図面の簡単な説明
本発明およびその利点をより完璧に理解するために、系図面図に関連した以下の
説明を参照する。
第１図は、本発明の神経ネットワークのブロック図である。
第２図は別個の神経細胞のアレイとしてのノブム（ｎｏｖｕｓ）】４および別個
の神経細胞のアレイとてのｌＧ１６を例示するＦＡＩ２のブロック図である。
第３λ〜３０図は、ＩＧＬきい値フィールドにおける移動波パケットの使用を示
す。
第４図：よ、ロタイミングチェーノ、にお、する連結神経細＠の各々に属する画
素アレイからのインスター（１ｎｓｔａｒｓ）からζるガンマ・アウトスター（
ｏｕｔｓｔａｒ）アバランシｓ （ａｖａｌａｎｃｈａ）の二重構造を示す。
第５図は、多くの神経モデラによって利用されるものと類似の再現２層神経ネッ
トワークを示す。
第６図は、確率フィルタリングへの新方式（１ｎｎｏｖａｔｉｏｎｓ）アプロー
チを表すパラメータアバランシェのブロック図である。
第７図は、ＦＡのノブムおよびｒＧが、いかにして新方式過程を生成し、かつ利
用するかを示す。
第８ａおよび８ｂ図は、ノブム神経細胞及びＩＧ神経細胞の概略図である。
第９図は、二次元格子のためのノブムおよびＩＧを介する、観測ブロックにおけ
る焦点面からより詳細なフローを示す。
第１Ｏ図はＩＧ格子の上面図である。
第１１図は、トラッキングシステムを示す。
第１２図は、状態推定関数のための２つのＰＡカルマンフィルタを採用する制御
モジュールのブロック図である。
第１３図は、ルームバーガー（Ｌｕｅ鳳ｂｅｒｇｅｒ）観測器を例示する。
第１４図は、好ましいＰＡＣＭ投計を示す。
第１５図はおよび第１６図は、ＰＡの一例のグラフを示す。
第１７図は、ＩＧにおけるシナプス重みの応答を示す。
第１８図は、ノブムの各神経細胞に関するシナプス重みの値を示す。
第１９図は、ＩＧにおける神経細胞の１つのブロック図である。
第２０図：よ、ノブムにおける神経細胞の１つのブロック図である。
第２１図：よ、パラメータアバランシェの適用の例を示す。
第２２図はおよび：ｔｌ！２３図は、第２１図の例の、垂直面からの角度の時間
展開および対応するノブム出力を示す。
第２４図は、本発明の神経ネットワークの使用のｎめのプログラム情報を示す。
発明の詳細な説明
第１図には、本発明の神経ネットワークのブロック図が示されている。いずれの
システムにも、観測システムｌＯと呼ばれる複合装置が設けられている。観測シ
ステムｌＯは、制御信号μ（１）を入力で受取る。この観測システム１０の状態
をモニタするために、観測システム１２が設けられている。観測システム１２は
、本質的には神経ネットワークである。本発明においては、神経ネットワークは
２層再現ネットワークからなる。
ブロック１４で示されるノブムと呼ばれる入力層が設けられている。第２の層は
分類層を設けられており、ＩＧと呼ばれ、ブロック！６で示されている。省略形
■Ｇは無限小発生器に関連する。２つのブロック１４および１６は、共に動作し
て、連続的に情報を処理し、分類された観測の展開を回顧して分類し、かつ予想
（推定）する。
ノプム１４は、観測システムの予想アセスメントを擾供し、観１則システムｌＯ
の出力をその入力で受取る。ノブム１４の出カニよ、予想エラーを与える。ノブ
ム１４：よ、ｌＧ１６の出力うその入力で受取り、［Ｇ１６の出力；よ、条件付
き確率分散関数の形の状態推定を提供する。ノブム１４は、本質的には、以下で
より詳細に述べる新方式過程を抽出する。これ：ま、ｒｃｔ６から受取る分頂結
巣（状態推定）をデコードし、その後、実際に受取られた信号から、デコードさ
れｆこ変形を差し引き、新にな剰余を生じる。ノブム１４は、遷移の内部モデル
を含み、それによって、システムｔｏｈ＜ｉ！測されｌＧ１６によって推定され
た状態出力を、観測システムｌＯから受取られた観測信号の予想に変形するよう
に動作できる。以下でより詳細に述べるように、ノブム１４ｉよ、間車な学習法
に基づいて動作する。その学習法において：よ、新規性が存在しない時、出力は
ゼロである。
すなわち、内部モデルが観測信号を正確に予想する時、観測信号に新規性はない
、つまり予想エラーが存在しない。従って、ノブム１４は、その′ホメオスター
ノス（ｈｏｍｅｏｓｔａｓｉｓ） Ｊ状態からなる、出力のエントロピーを最大
にするように駆動される。ｌＣｌ６は、予想発生器として動作し、カルマン利得
マトリックスの機能、状態遷移機能および推定手順を行う。ｌＣｌ６の出力は、
先の歴史および現在の観測を仮定して、先の事象が生じた確率を示す。
ノブム１４およびｌＣｌ６は共に、処理要素すなわち「神経細胞」のネットワー
クからなる。しかし、ノブム１４の神経細胞は、観測システムがそれに直接マツ
ピングされるように、観測マトリックスに従って配列されているが、同様に神経
細胞のネットワークからするｌＣｌ６は、幾何学格子として配ソリされ、ｌＣｌ
６の神経細胞は、抽象的確率空間にお；土る点を示す、ｌＣｌ６の各神経細胞は
、活性化レベルを有し、この活性化レベルは、現在の測定結果のみを仮定して、
各々の特定の神経細胞が表わす事象または状態が生じ几可能性を示す。これらの
神経細胞の出力は、下記の出力ングマ関数のしきい値レベルで与えられる観測結
果の先行きの歴史および動的レベルによって付加的に条件付けられた場合に上記
事象が生じた可能性を示す、１Ｇ神経細胞のノナプス重みは、ヘビアン（Ｈｅｂ
ｂｉａｎ）学習によって学習する。
観測システム１２で示された、本発明の神経ネットワークは、：バラメータアバ
ラノシエ（Ｐ、Ａ）ｊと呼ばれ、動的パターンを記憶し、かつ同時に動的パター
ンを涜出すように動作することができる。また、時間変化データの最適圧縮を行
い、その新規な分解によって移動ターゲットインノケータを組入れる。さらに、
検出を宣言するのに十分な可能性を累算する前に、無ｔ、！！のうちに非線形動
的なシステムをトラッキングすることができる。
従って、ＰＡ１２は、それ自体の内部慣性動力学を所宵しており、学習法によっ
て、外部動力学がそれに関連する。この内部動力学は、量子神経動力学（ＱＮＤ
）理論によって定められる。
第２８ｉ０は、別個の神経細胞のアレイとしてのノブム１４お上び別個の神経細
胞のアレイとしてのｌＣｌ６を示すＰＡ１２のブロック図である。ノブム１４：
よ、装置の観測結果を、ｕ ｉｉｌ＋システム１０から入力ベクトル１８を介し
て受取る。ノブム１４は出力ベクトル２０を介して新規性を出力し、その出力ベ
クトル２０は、ｌＣｌ６に入力される。ＩＣ＋６は、出力ベクトル２２を介して
ノブム１４に入力する几めの装置の状態推定結果を生成する。
観測システム１０は、焦点面の形で示されており、そこでは、ロケット２６で示
された物体が、予め定められた経路で焦点面を横切る。これによって、観測が行
われる。これは、システム慣性を所宵する動的システムの観測である。観測シス
テム１０の焦点面は、ノブム１４にマツピングされる。ｌＧ１６は、各１４に入
力される。予想が正しい場合、ノブム１４の新しい出力はゼロになる。ロケット
２６は、各時点で、その予め定められた経路を横切り、ＰＡ１２の内部システム
モデルが正確である場合、出力ベクトル２２に関する状態推定結果が、ゼロの状
態で、ノブム１４の新しい出力が維持する。
ノブム１４の各神経細胞は、神経細胞２８で表される。゛各神経細胞２８は、観
測システム！Ｏからライン３０を介して単一の入力を受取り、かつｌＧ１６の各
神経細胞からライン３２を介して複数個の入力を受取り、それらがｌＧ１６から
の状態推定結果を構成する。以下に述べられるように、神経細胞２８は、経細胞
に向かう。
上記のように、ｌＧ１６は、神経細胞の幾何学格子からなる。
ｌＣｌ６の各神経細胞は、神経細胞３４で示される。各神経細胞３４：よ、ノブ
ム１４の神経細胞２８から、入力ライン３６を介して入力を受取る。各神経細胞
３４は、独立非同期プロセッサであり、各入力ライン３６に対する重み因子を発
生し、活性化レベルを内部に発生することができる。貢み因子は、記憶テンプレ
ートを与え、活性化レベルは、入力信号ベクトル（すなわちノブム出力）とこの
記憶テンプレートとの相関関係を生じる。これによって、入力信号が、ｌＧ１６
を横切る記憶テンプレートのように見える度合が示される。
活性化レベルがゼロの場合、入力ベクトルが記憶テンプレートと整合しないこと
が示される。しかし整合する場合、活性化レベルは比較的高い。この活性化レベ
ルは、以下により詳細に述べられるしきい値フィールドによって変更され、これ
によって、ノブム１４の各神経細胞２８への入力である出力を発生する。
１Ｇ１６の各神経細胞３４は、しきい値フィールド全体がｌＣｌ６の格子上に設
けられるように、それに関連するしきい値を有する。ＩＧＬきい値フィールドの
しきい値レベルは、非線形格子微分方程式によって定められる。しきい値フィー
ルドの波伝搬の「自然モード」がコンパクトである場合、フィールド内に、しき
い値フィールドディプレッジ躍ン（ＴＦＤ）と呼ばれる粒子状ディプレッジ蓼ン
が生じる。これらの伝搬ＴＦＤは、軌道を開始し、かつ後に変調できる神経細胞
３４の近隣のものの活性化によってわずかな相互作用を受ける。これらの相互作
用は、嗜子上のＴＦＤの位置を変えて連続的に更新され、新規性を軌道推定の修
正に変形させる際に、カルマン利得の効果を実施する。しきい値フィールド動作
は以下でより詳細に述べることにするが、ｌ＠以上の粒子状波デイプレツシヨン
かｌＧ１６の幾何学格子を噴切って搬さることに注目できる。この伝搬は、観測
システム１０の焦点面に示されるように、装置の慣性を「トラッキングするＪ、
ＴＦＤが、しきい値フィールドディプレッシプンの一般領域内の多数の神経細胞
にわたって動作することに注目することが重要である。従って、ＴＰＤＯ伝搬を
制御するのは近隣の神経細胞の相互作用である。実際の波伝搬は、ｌＧ１６の表
面上の出力波３８によって示される。波３８は、ピークと、指示され１こ移動経
路を育する。この経路は、事実上弧状であるとして注目されるが、比較的復電で
あり、またこれについては以下でより詳細に述べることにする。
ＩＧＩ６の波運動をさらに例示するために、男３λないし３ｃ図を参照する。第
３１図では、ＩＧＩ６は、ＩＣ’４２としきい値平面４３とからなる。ＩＣ’
層４２は、ノブム２０からの出力をその入力で受取る神経細胞の幾何学格子を表
し、ＩＧ゛層４２の各神経細胞は、それに応答して活性化レベルを与える。上記
のように、各神経綿ｖ！１３４は、学習法に従って、ノブム１４からの各入力ラ
インに対する重み因数を生じる。これによって、入力１号が記憶テンプレートに
似る度合を示す、各神経細胞３４に対する活性化レベルを生じる。
記憶テンプレートは、重み因数が得られに先行の動作で学習されていることに戸
る。第３λ図に示すように、所与の時点ｔｐで、ＩＣ’層４２の幾何学格子を横
切る活性化は活性化レベル４４の分散として現れる二とになる。当然、ＩＧＩ６
による正確な予想によってノブム１４からの出力がない場合、活性化レベル：よ
事実上ゼロになる。この分散（孟、たとえゼロの値であっても、上記波状運動の
結果である慣性を有する。しかし、ｔｐ時点では、活性化レベルの分散が、第３
ａ図に示されたように出現する。本実施例の目的として、予想エラーは存在しな
い。従って、ノブム１４の出力はゼロであり、その結果生じた活性化レベル：よ
ゼロである。 TECHNICAL FIELD This invention relates generally to neural network techniques, and specifically to techniques designed to perform adaptive continuous Bayesian inference on a wide range of data that has not been studied and analyzed in detail. Technology Foreground Artificial neural networks perform useful information processing in response to initial or continuous input.
This is the study of dynamic systems that execute depending on the state of the system. Initially, the artificial god
One of the goals of the neural system is to improve its ability to perform the types of information processing that the brain performs.
The development and application of artificial systems. These technologies sought to develop processing capabilities such as real-time high-performance recognition, knowledge recognition for imprecise knowledge fields, and high-speed, precision control of robot actuation mechanisms. Therefore, this technology
It was about Noh. Artificial neural systems generally connect through information channels called 'interconnections'.
It has been studied using neural networks, which consist of a network of processing elements, or neurons, that are connected to each other. Each of these neurons can have multiple input signals, but outputs only one signal. The action of each neuron is generally determined by a first-order ordinary differential equation in output signal changes. it to some neurons in the network.
Some coefficients of the differential equation governing
By having the ability to adapt, networks are called adaptive.
can run. Here; well, the fubutu work is learning, and the artificial nervous system is the grass! This means that you have reached one of your goals. Cognitive systems supplied with neural networks can be considered in terms of monitoring systems and networks connected to sensors and motor transducers. neural network
A monitor is a dynamic system that transitions from its current state to the next state under the influence of inputs that typically result in outputs that affect the monitoring system. Cognitive systems generally address perceptual input by building internal models of external dynamics.
By predicting the model and using predictive error calibration techniques,
through improvements in the Dell, and through the influence of developments in surveillance systems;
all of which reduce prediction errors. Mathematically, this is a hybrid of three important and well-known problems. namely, system identification, estimation and control. child
Theoretical solutions to these have been known for several decades. System identification is
However, in practice it has always been achieved by techniques of phenomenological modeling.
For example, assuming that the dynamic equations are pre-checked, they are processed by a Kalman (Ial*an) filter. This estimation essentially monitors the state of the complex device. The Kalman filter iteratively estimates a linear device of Gaussian noise, but it
The Kalman-Bucy filter, a filtering approach, concatenates and performs evolutionary estimation. Multistage Bayes estimators or coupled Bayes estimators can be used as nonlinear devices for non-Gaussian noise. Hamilton-Jacobi theory and Pontoli
Control is initiated by several means, including the Pontryagian method. Unfortunately, these solutions exclude observations and systems with small dimensions.
Therefore, it is not possible to calculate adaptively. Biological systems are pretty good at many things, but even if a child
Even if it is possible to estimate the trajectory of a Frisbee using a visual image consisting of
Even if you can put your hand out in a position to catch Lisbee...the learning process (system)
It must be pointed out that system identification (system identification) remains time-consuming and difficult.
Must be. In general, due to the high dimensionality of the actual observation results and the insurmountable
The sampling speed required to make the estimates, which also imposes a computational burden, makes the ideal approach almost impossible. SUMMARY OF THE INVENTION The invention disclosed and claimed herein consists of a neural network. nerve
The network will be of order 0 containing an observation input for receiving a time series of observations, and will be equipped with a novel device for comparing observations with internally generated predictions according to a novel filtering algorithm. The new filter device
The next best new method process related to the measurement results and predictions is given to the output. The output is the expected error
Represents ra. Second, a prediction device is provided for forming predictions for output to the new device. This prediction device; contains a geometric grid of nodes. Each node is associated with a memory for storing spatial patterns representing the chronological spatial history of the results. New - Receiving an expected error from the device Second, a signal input for failure is provided, and this received expected error:
is filtered by the intervening pattern to produce a correlation coefficient representing the similarity between the stored pattern and the expected error. Threshold output level from other selected nodes
Each node is provided with several threshold inputs to receive the signal. remember
Prior to receiving the stored spatial pattern, a threshold memory is provided for storing a threshold level representing a prior probability for the occurrence of the stored spatial pattern.
It is. The CPU of each of the nodes calculates the updated threshold level and updates the quantum mechanical wave particle according to a differential equation that operates on the stored threshold levels, the received threshold levels, and the correlation. , integrate the geometric grid of nodes, propagate it, and store the updated threshold in the threshold memory. A threshold output is provided to output the pond node update threshold from each node.
It is. CPU! , whose threshold level consists of the updated threshold level
Calculate the internally generated predictions by passing the correlation coefficients through the
Calculate. This prediction is conditioned based on prior probabilities expressed at memory threshold levels.
represents the probability of occurrence of a given memory space pattern. The stored spatial pattern is updated to correlate3 the position of the wave particle with the predicted error.
By learning new things, you will be able to perform the movements in order to learn them. This learning: is accomplished according to the Hebbian learning method. In yet another aspect of the invention, a novel apparatus includes an array of nodes, each node having a plurality of signal inputs for receiving observation inputs and a plurality of -prediction inputs for receiving predicted outputs of a prediction device. have A memory is provided to store time patterns representing the time history of the time series of observation results. prediction&! At the time of measurement input, the memorized time pattern is used to make a prediction.
It operates based on a predetermined algorithm that gives the expected error. Further aspects of the invention include novel devices. This: learns by updating the memorized patterns over time to minimize the expected error. The learning algorithm uses the inverse Hevian learning method. BRIEF DESCRIPTION OF THE DRAWINGS For a more complete understanding of the invention and its advantages, reference is made to the following description in conjunction with the genealogical drawing figures. FIG. 1 is a block diagram of the neural network of the present invention. FIG. 2 is a block diagram of FAI2 illustrating novus 4 as a discrete neuronal array and IG16 as a discrete neuronal array. Figures 3λ-30 illustrate the use of mobile wave packets in the IGL threshold field.
vinegar. Figure 4: Pictures belonging to each of the connected nerve cells
The dual structure of gamma outstar avalanches s (avalanchas) from instars (1 nstars) from an elementary array is shown. Figure 5 shows a reproducible two-layer neural network similar to that utilized by many neural modellers.
indicates the network. Figure 6 shows a new approach to probabilistic filtering.
FIG. 2 is a block diagram of a parameter avalanche representing Figure 7 shows how FA's Nobum and rG generate and utilize new method processes.
Indicates whether it is used. Figures 8a and 8b are schematic diagrams of Nobum neurons and IG neurons. Figure 9 shows the observation block via the knob and IG for the two-dimensional grid.
A more detailed flow is shown from the focal plane. FIG. 1O is a top view of the IG grating. FIG. 11 shows the tracking system. FIG. 12 is a block diagram of a control module that employs two PA Kalman filters for the state estimation function. FIG. 13 illustrates a Lueberger observation device. Figure 14 shows a preferred PACM projection. FIGS. 15 and 16 show graphs of an example of PA. FIG. 17 shows the response of synaptic weights in IG. FIG. 18 shows the synaptic weight values for each neuron of Nobum. FIG. 19 is a block diagram of one neuron in the IG. Figure 20: A block diagram of one of the neurons in Nobum. FIG. 21: An example of application of parameter avalanche is shown. Figure 22 is and: tl! Figure 23 shows the time evolution of the angle from the vertical plane and the corresponding knobum output for the example of Figure 21. FIG. 24 shows the nth program information for using the neural network of the present invention. DETAILED DESCRIPTION OF THE INVENTION FIG. 1 shows a block diagram of the neural network of the present invention. Both systems are equipped with a complex device called the observation system IO. Observation
Stem IO receives the control signal μ(1) at its input. An observation system 12 is provided to monitor the state of this observation system 10. Observation system 12 is essentially a neural network. In the present invention, the neural network consists of a two-layer reproduction network. An input layer called a knob is provided, indicated by block 14. The second layer has a classification layer, called IG, and blocks! 6. The abbreviation G relates to an infinitesimal generator. The two blocks 14 and 16 operate together to continuously process information, retrospectively classify and predict (estimate) the development of classified observations. Nopum 14 provides a predictive assessment of the observation system and receives at its input the output of the observation system lO. Nobum 14's appearance crab, give a prediction error. Knob
M14: Receive the output of lG16 as a lie input, [Output of G16;
provides a state estimate in the form of a probability variance function. Nobum 14 essentially abstracts the new method process described in more detail below. This: Well, decode the branch node nest (state estimation) received from rct6, and then decode it from the actually received signal.
By subtracting this deformation, a new remainder is generated. The nobum 14 contains an internal model of the transition, so that the system toh<i! It is operable to transform the state output measured and estimated by lG16 into an estimate of the observed signal received from observation system lO. As described in more detail below, Nobum 14i operates based on a slow learning method. In that learning method: When there is no novelty, the output is zero. That is, when the internal model accurately predicts the observed signal, there is no novelty in the observed signal, that is, there is no prediction error. The knob 14 is therefore driven to maximize the entropy of its output, consisting of its 'homeostasis' J state. lCl6 acts as a prediction generator and performs Kalman gain matrix functions, state transition functions and estimation procedures. The output of lCl6 indicates the probability that the previous event occurred, given the previous history and current observations. Both Novum14 and lCl6 are part of a network of processing elements or "neurons".
Consists of ku. However, the observation system can directly detect the nerve cells of Nobum 14.
Similarly, lCl6 from a network of neurons is arranged as a geometric grid, and the neurons of lCl6 are arranged in an abstract probability space; Each neuron in ICl6, which indicates a point, has an activation level that determines the likelihood that the event or state represented by each particular neuron will occur, assuming only the current measurements. shows. The output of these neurons is the observation result given by the threshold level of the output ngamma function below.
The nonaptic weights of the 1G neurons, which indicate the likelihood that the event occurred when additionally conditioned by the fruit's future history and dynamic level, are learned by Hebbian learning. The neural network of the present invention shown in the observation system 12 includes: Parameter Availability
It is called La Nosier (P, A)j, and it memorizes dynamic patterns and simultaneously emits dynamic patterns.
It is possible to act in such a way as to reveal the meaning of the message. It also performs optimal compression of time-varying data.
, and incorporates a moving target indicator through its novel decomposition. Moreover, before accumulating enough probability to declare a detection, no t,! ! It is possible to track nonlinear dynamic systems within a short period of time. Therefore, PA12 has its own internal inertial dynamics and can be learned by learning methods.
Therefore, external dynamics are associated with it. This internal dynamics is defined by quantum neurodynamics (QND) theory. No. 28i0 is an array of distinct neural cells as well as distinct neural cells.
FIG. 2 is a block diagram of PA12 showing lCl6 as an array of cells. Nobum 14: Receives the observation results of the device from the u ill+ system 10 via the input vector 18. Novum 14 outputs the novelty via output vector 20 and
vector 20 is input to lCl6. IC+6 generates a refined device state estimation result that is input to knob 14 via output vector 22. The observation system 10 is shown in the form of a focal plane, where an object, indicated as a rocket 26, traverses the focal plane in a predetermined path. Observations are made by this. This is an observation of a dynamic system that exhibits system inertia. observation system
The focal plane of system 10 is mapped to knob 14. lG16 enters each 14
Powered. If the prediction is correct, the new output of knob 14 will be zero. At each point in time, the rocket 26 traverses its predetermined path, and if the internal system model of the PA 12 is accurate, the state estimate for the output vector 22 will be in the zero state.
In this state, the new output of knob 14 is maintained. Each neuron of knob 14 is represented by a neuron 28.゛Each nerve cell 28
Measurement system! It receives a single input from IG16 via line 30 and multiple inputs from each neuron of IG16 via line 32, which constitute the state estimate from IG16. As discussed below, neuronal cells 28 are directed to transnectional cells. As mentioned above, 1G16 consists of a geometric lattice of neurons. Each neuron of lCl6 is indicated by neuron 34. Each neuron 34: Yo, knob.
Input is received via input line 36 from neuron 28 of system 14 . Each neuron 34 is an independent asynchronous processor that generates a weighting factor for each input line 36.
and activation levels can be generated internally. Tribute factors are memory templates
The activation level results in a correlation between the input signal vector (ie, the Novum output) and this stored template. This indicates the degree to which the input signal looks like a memory template across lG16. An activation level of zero indicates that the input vector does not match the stored template. However, when there is a match, the activation level is relatively high. This activation level
is modified by a threshold field, described in more detail below, which produces an output that is an input to each neuron 28 of knob 14. Each neuron 34 of 1G16 has its entire threshold field set on a lattice of lCl6.
has a threshold associated with it so that it can be The threshold level of the IGL threshold field is defined by a nonlinear lattice differential equation. threshold fee
If the “natural mode” of wave propagation in the field is compact, then there is a threshold in the field.
A particulate depression called a low value field depression (TFD) occurs. These propagating TFDs undergo slight interactions by activation of neighbors of the neuronal cells 34 that can initiate and later modulate their trajectories. These interactions
The application is updated continuously by changing the position of the TFD on the fence, and the novelty is added to the trajectory estimation correction.
When deforming positively, the effect of Kalman gain is implemented. The threshold field operation will be described in more detail below, but it can be noted that a particle wave depreciation greater than or equal to 1 is carried through the geometric lattice of 1G16. This propagation "tracks" the inertia of the device as shown in the focal plane of the observation system 10. Note that the TFD operates over a large number of neurons in the general region of the threshold field depression. Therefore, it is the interaction of neighboring neurons that controls TPDO propagation.Actual wave propagation is
It is indicated by the output wave 38 on the surface. Wave 38 has a peak and an indicated movement history.
Cultivate the road. Although this path is notable for being arcuate in nature, it is relatively resilient and will be discussed in more detail below. To further illustrate the wave motion of IGI6, reference is made to Figures 3λ-3c. In FIG. 31, IGI 6 consists of IC' 42 and threshold plane 43. In FIG. The IC' layer 42 represents a geometric lattice of neurons whose inputs receive the output from the knob 20.
However, each neuron in the IG layer 42 provides an activation level in response. As mentioned above, each nerve cotton v! 134, each input label from the knob 14 according to the learning method.
yields a weight factor for in. This produces an activation level for each neuron 34 that indicates the degree to which Input 1 resembles the memory template. The memory template relies on the fact that the weighting factors have been learned in previous operations. As shown in FIG. 3, at a given time tp, the geometric grid of IC' layer 42 is
The activation that cuts off becomes two, which appears as a variance of the activation level 44. Naturally, if there is no output from the knob 14 due to accurate prediction by the IGI 6, the activation level will become virtually zero. This dispersion (Meng), even at zero value, has an inertia that is a result of the wave-like motion described above. However, at time tp, a dispersion of activation levels appears as shown in Figure 3a. .For the purpose of this example, it is assumed that there are no expected errors.
stomach. Therefore, the output of knob 14 is zero and the resulting activation level is zero.
【ｐ時点において、しきい値平面４４には、しきい値ディブレッノッ７４６も存
在する。ａｆ、Ｌきい値平面４４のしきい値レベルは、ハイのレベルである。し
かし、ＴＦＤがしきい値平面４４を嘴切って伝搬されると、関連の慣性を有する
しきい値フィールドディプレッシーンが存在することになる。第３λ図では、こ
れが、しきい値フィールドブイプレラン運ン（ＴＦＤ）４６で示されている。ノ
ブムの出力はゼロであるので、ｌＧ１６によって与えられる推定は正しい。従っ
て、ＴＦ’Ｄ４６は、活性化レベル４４の分散に関して直接整列されることにな
る。しきい値ディプレッジロン４６の最低点には、ゼロの活性化レベルに対して
さえも、ｌＧ１６からのハイの出力信号レベルが存在することになり、これは、
しきい値ディプレッジジン４６のレベルによって条件づけられ１；、める状態を
ソースが達成したという可能性がかなり高いことを示している。
予想過程にエラーがあり、所与の事象が発生しにという可能性が低いことを示す
場合、これによって、ノブム１４から出力が発生し、ＩＣ′層４２に活性化レベ
ルが生じることになる。
この場合、新たな観測を学習するために、またｊよｌＧ１４の幾何学格子の異な
る方向にしきい値ディプレッジタン４６を向けるために、システムを幾分調整し
なければならず、これはＩＧ′層４２の出力によって達成される。これについて
は、以下でより詳細に述べることにする。
ＴＦＤ４６動作および活性化レベル４４の分散について、より明確に述べるため
に、第３ｂおよび３０図を参照する。第３ｂ図には、ｔ、、１時点の開始点４８
とｊｐ＋＋時点の終点との間を移動する軌道が示されている。点４８ないし５０
間を通過する時、ｅｐ時点で、その中央の点５２を通過する。この観測は、時間
的に生じる一連の事象を示す。このように、これは慣性を有する動的システムで
あるｍ ｔｐ−１時点では、状態推定が正しいかどうかを決定するために、シス
テムがｌＧ１６の出力を検査しなければならない。これは、ノブム１４の新方式
過程によって行われる１次の一時点を表すｔｐ時点で、ＩＧＩ６は、システムの
ステータスがこの時点ではどうであるかを予想しなければならず、これらの状態
推定結果は再度ノブム１４に入力され、観測が正しいいかどうかを決定するため
に観測結果と比較される。もし正しいならば、ノブム１４の出力はゼロである。
これは、℃２．８時薇なε０次の時点まで続く。
最初に、点４８から点５０までの、しかも点５２を通過する軌道をシステムが学
習し几と仮定する。本発明の重要な局面によれば、ｌＧ１６によって達成される
のは、時空的に状態推定結果を生じることである。これは、第３図Ｃ図に示され
ている。
この例のＴＦＤは、既に開始されており、予め定められた経路内のＴＧｌＢの幾
何学格子を横切って伝搬している。この経路は、学習された径路と一致する。す
なわち、ＴＦＤが伝搬される神経細胞は、学習過程においてそれが伝搬されたの
と同じ神経細胞であり、これについては以下で述べることにする。各時点では、
例えば時間基準ｔｏから、ＴＦＤの領域においてのみ予想が行われ、その予想に
よって、ＴＦＤが、継続する経路に沿って伝搬されるか、またはＴＦＤの経路を
修正する。後者の状態は、例えば、同一経路を、より遅い速度で横切っている時
、生じる可能性がある。従って、ＴＦＤの伝搬はシステムの慣性に直接対応する
が、ＩＧの幾何学格子は、経路に沿った点が特定の時間に生じた確率に対応する
。
第３ｃ図では、ｔ、−１でＴＦＤが発生し、仮想線の同心円で示されたＴＦＤ５
４を生じる。同心円は、基本的にはＴＦＤのレベルを表し、その中心はディプレ
ッジロンの最低値を示す。
当然のことながら、■Ｇ″層４２の活性化レベルはＴＦ’Ｄの基礎となっている
。これら２つの屑は、共に重なった状態で示されている。ＴＦＤは、ｔ、−３時
のＩＧＩ ６の領域５４からｔｐ時の領域５６に伝搬する。この伝搬は、ｔ２．
４時に、領域５６から領域５８まで続く。
ノブム１４によってなされる観測が、ｔ２．３時の点４８に物体を置く場合、ノ
ブム１４からの出カニ！ゼロとする。ｔｐ時に、第３ｂ図の経路を横切る物体が
点５２にあると観測され乙場合、領域５６の神経：ａ胞の活性化レベルがゼロと
なり、その結果、ｒｃｔｓからハイの出力を生じることになる。同様に、ｔｐｚ
時に、物体か点５０にあると観測される場合、これによって、領域５８に、神経
細胞のゼロの活性化レベルを生じ、その結果、ＩＣｌ３からの出力がハイになる
。従って、領域５４かろ領域５６ないし５８まで通過するＴＦＤは、システムが
その状態を適当に推定するために、Ｉ！側システム内の点４８から点５２ないし
５０まで通過する物体の慣性または速Ｉをトラッキングする。システムの慣性が
ＴＦＤＤ伝搬の際に実施され、このＴＦＤが、基本的−神経：ａ胞にエンコード
されたモデルに関連して、状態推定を行うことに注目することが重要である。Ｉ
Ｃ層４２内のゼロ活性化レベルのため（ゼロの新しい出力による）、波伝搬に変
更されｔい。
観１＋１システム内の物体が、学習されたのと同じパターンで点４８から屯５２
ないし５０まで移動するが、システムの慣性が、点４８に刺違する前に幾分変化
する場合、システムの慣性は、しきい値平面４３におけるＴＦＤの伝搬によって
表されたものとは異なる。この場合ノブム１４は予想エラーを出力し、この予想
エラーは、ＴＦＤの「まには後ろの活性化レベルを上げて、しきい値ブイプレラ
ンランを本質的に変更し、しきい値ディプレッションの伝搬速度を増減する。例
えば、ｔｔ−１時より前の時間の観測システムの慣性か、しきい値フィールド４
３のＴＦＤの対応する慣性に等しいと仮定する。しかし、ｔ、−１時には、観測
システムの慣性が変化し、その結果、ノブムによって予想エラーを生じる。ノブ
ムの出力がゼロより大きいので、この出力は、ｌＧ１６の神経細胞の幾何学格子
を横切って分散され、これによって活性化レベルを高める。当然のことながら、
活性化レベルは、ＴＦＤの付近においてのみ重要である。なぜなら、しきい値平
面４３内の他の場所のしきい値が非常に高いので、ＴＦＤにあまり、または全く
影響を及ぼさないからである。しかしＴＦＤ付近では、この活性化レベルの増加
が、しきい値ディブレツノロンの伝搬を「進める」かまたは「変更する」。本実
施例においては、Ｕ測システムの慣性が減少しているので、ＴＦ、Ｄの伝搬の慣
性が減じるか、またはスローダウンすることが必要となる。従って、これによっ
て領域５４のすぐ後ろの活性化レベルが増加することになり、それによって、Ｔ
ＦＤの伝搬速度がスローダウンすることになる。これは、ノプムの出力がゼロに
なるまで続く、この点で、ＩＧの神経細胞によって出力された活性化レベルには
、その白色効果により、ノブム！４のゼロの出力の結果としてゼロになる。シス
テムの慣性がいったん一定値になると、ＴＦＤの慣性が強制されて、ノブム１４
の慣性および出力がゼロの値になるよう強いられる。
ＰＡ１２は一分、共に一体となった多数のネットワークからなる。これらについ
ては各々一般的に述べることにする。また、これらのネットワークおよび学習法
が統合される方法についても述べることにする。
グロスバーブ（Ｇ ｒｏｓｓｂｅｒｇ）アバランシェグロスバーブの口ガンマア
ウトスターアバラン７工：：よ、公知の神経ネットワークアキテクチャであり、
ヘビアン学習およびアウトスターン−ケンス！！溝を利用して、神経細、＠の焦
点面アレイの各画素のシナプスに連続イメージを記録する。これ：丈、グロスバ
ーブ・ニス著の「いくつかの複雑時空パターンを学習し、記憶し、再生すること
のできるネットワーク（Ｓｏｍｅ ＮｅｔｗｏｒｋｓＴｈａｔ Ｃａｎ Ｌｅａ
ｒｎ、Ｒｅｍｅｍｂｅｒ Ａｎｄ Ｒｅｐｒｏｄｕｃｅ ＡｎｙＮｕｓｅｂｅｒ
ｏｒ Ｃｏｍｐｌｉａｔｅｄ Ｓｐａｃｅ−Ｔｉｍｅ Ｐａｔｔｅｒｎｓ）
Ｉ ｊ 、 ジエイー？ス・アンド・メカ（Ｊ−Ｍａｔｈ、 ＆ Ｍｅｃｈ、
） Ｖｏｌ、１９、 Ｎｏ、１． １９６９年、およびグロスバーブ・ニス著の
「いくつかの複雑時空パターンを学習し、記憶し、再生することのできるネット
ワーク（Ｓｏｍｅ Ｎｅｔｗｏｒｋｓ Ｔｈａｔ Ｃａｎ Ｌｅａｒｎ。
Ｒｅａｅ諷ｂｅｒ ａｎｄ Ｒｅｐｒｏｄｕｃｅ Ａｎｙ Ｎｕ＋５ｂｅｒ ｏ
ｆ ＣｏｍｐｌｉｃａｔｅｄＳｐａｃｅ−Ｔ ｉｓｅ Ｐ ａｔｔｅｎｓ、■」
スタディズ・イン・アプリケーション−？ス（Ｓｔｕｄｉｅｓ ｉｎ ＡｐＰｌ
、Ｍａｔｈ、）Ｖｏｌ、ＸＬ Ｉ Ｘ Ｎｏ、２゜１９７０年６月に、述べられ
ている。グロスバーブのアバランシェにおいては、いったんイメージシーケンス
が学習されると、これは、イルミネーション（または学習法）をオフにして、画
素アレイに至るアウトスターストローブのシーケンスを再生することにより、読
出すことができ、そのシナプス重みによって元の運動画像を再生するように、画
素を活性化させる。学習が行われた後、アウトスターアバランンエに関する単−
画素神経細胞上のシナプスのベクトルを見る場合、時系列の空間コード化表示お
よびイルミネーション信号を見ることになり、それらは、トレーニングシーケン
ス中に、その画素に送られる。 「タイミングチェーン」で連続神経細胞の各々
に嘱する画素アレイからのインスターからなる、ガンマアウトスターアバランノ
エの二重構造を作ることが可能である。これは、第４図に示されている。画素ア
レイは、照明パターンを有するアレイ６０で表される。画素アレイ６０の出力は
、神経細胞のチェーン６２に入力され、パルス６４は、神経細胞のチェーンを移
動するものとして表わされる。この型式の「インスター」アバランシェの実施は
簡単な作業ではなく、また育益であるかどうかも明らかではない。このインスタ
ーアバランシェを開始する際に唯一困難な事は、時間アクセスをパラメータ化す
る神経細胞のチェーン６２に、コヒーレントコンパクト活性化パルスを送ること
が必要なことである。これは、活性化方程式においてグロスバーブが用いた一次
方程式では行えない。なぜなら、非線形性によって、最初に送り込まれたパルス
が変形され、隣接するイメージ間に「相互シンボル干渉」を生じるからである。
コンパクト非分散パルスは、簡単なシフトレジスタアルゴリズムを用いて伝搬す
ることができる。しかし、このようなアルゴリズムは、チェーンにおけるすべて
の神経細胞と通じることのできるグローバルスーパーバイザを必要とする。これ
は、チェーンが多次元に普遍化され、神経細胞の数が増えると、コンビエータで
扱えなくなる。従って、目的を１！成するために、一定の非線形微分差方湿式を
採用する。これら：よ、第２の標題−量子神経動力学−において述べる。
インスターアバランエは、非常に簡単を推定結果を用いて開始することもできる
。しかし、これらの推定結果は、２個以上のパルスが伝搬されるより高次元の神
経格子に向かう必要かめる時やや計算不可能となる。
ざらに第４図を参照すると、神経：ａ胞チェーン６２内の神経細胞の各々がパタ
ーンのコンパクト表示でエンコードされ、かつそのパターンが生じた因果的文脈
をその近隣のものがエンコードすることに注目している。さらに、神経細胞チェ
ーン６２内の側々の神経細胞のシナプスに空間パターンが集中されるくでコーデ
ィングは連合してアクセフできる。このように、その神経：ａ胞の活性化応答が
（以下で述べるように）しきい値動力学に結びつけられる場合、現任のパターン
に最ら相関する点から、連合的に時系列の再現を刺激することが可能である。グ
ロスパーグのアウトスターアバラノノヱは、これが不可能である。
インスターおよびアウトスターアバラ７ノ二の時空パターン表示には、二元性が
ある。アウトスターアバランンエにおいては、時間信号が各画素のシナプスでコ
ンパクトに表わされ、空間パターンが画素のアレイに分散される。一方、インス
ターアバランンエにおいては、空間パターンが各タイミング神経細胞のシナプス
でコンパクトに表され時間パターンがタイミング神２１１再現ネットワーク
第５図には、多くの神経モデラによって利用されるものと同じ再現２１神経ネツ
トワークが示されている。ネットワーク；よ、策１の層６６と箪２の層６８とか
らなる。第１の層：よ、複数個の神経細＠７０からなり、第２の層６８は、複数
個の神経細胞７２からｔろ。神経細胞７ｏの各々は、λ１ないしλ。に分散され
、ａｌ ＋ ａ ＋、およびλ１の神経細胞７ｏが示されており、＆１の神経細
？！１：ま中間神経細胞を表わす。同様に、層６８の神経細胞７２はｂｌ、ない
しｂｌｌに９頌され、ｂｌ、ｂ、、およびす、の神経細胞７２が示されており、
ｂＪの神経細胞７２は中間神経細胞モある。
第１の層６６の各神経細胞は、入力ベクトル７４から入力信号を受取る。第１の
層６６の各神経ａｌｌ胞もまた、第２の層６８の神経ａ胞７２の各々から人力信
号と、この人力信号に関連する重み値とを受取る。同様に、第２の１６８の各神
経細胞は、＄１の層６６の各神経細胞からの信号を入力として受取り、重み厘を
それと関連させる。第２の層６８の各神経細胞は、その中の他の神経細胞の各々
から入力を受取り、適当な重み因数をそれと関連づける。
この型式のネットワークの学習目的：よ、先のシステムで利用される時には、第
２の層６８のコンパクト（好ましくは単一神経細胞）コードを作り、第１の層６
６に与えられたパターンのクラスまたはクラスタを、必ずしもコンパクトで分散
された形では表されないことである。これらのネットワークの再現目的：よ、そ
の第１の層６６０入カバターンを代表とするクラスまたはクラスの組を識別する
、第２の層６８のコードのパターンを再活性化することである。時には、出力さ
れる目的物自体が、分散パターンであるが、先のシステムにおいてはし：よヒ：
ｆ、−デルタ関数」を作ることである。このデルタ関数表示；よ、活性化の低エ
ントロピー分散、すなわち偶然には現れそうにないものである。この活性化の低
エントロピー分散は、第２の層６８の唯一の活性神経細胞が表すパターンのクラ
スに入カバターンが嘱するということをはっきりと宣言することになる。このよ
うな表示は、人であるユーザにその判断を伝えるためのさらなるパターン処理を
必要としないが、第２の層６８の活性神経細胞からのアウトスターを他の層に採
用したい場合、ユーザのために分散画像を生成することが容易にできる。これは
本質的には、ヘクト−ニールセン（Ｈｅｃｈｔ −Ｎ １ｅｌｓｅｎ）逆伝搬ネ
ットワークで達成されていることである。この活性化の低エントロピー分散は、
本質的には先のシステムがいかに動作するかということである。
第５図に示されたネットワークにおいては、多くの学習方法が利用されている。
一般に、「望ましい出力」はネットワークに利用可能でなければならない。これ
は、明らかに、望ましい出力が分散出力である「異覆結合（ｈｅｔｅｒｏａｓｓ
ｏｃｉａｔｉｖｅ） Ｉｔ構」においてなされ、池のすべての場合は形を変えて
なされる。本質的には、すべての学習は「スーパバイズ」学習である。先のシス
テムにおけるある型式の学習であるコヒーネン（Ｋｏｈｅｎａｎ）自己組織化特
徴マツツブで；よ、入カバターンが第２の層６８に伝搬され、その場合、各神経
細胞７２は入カバターンへのその現在のシナプス−整合ヨに従って応答する。し
かしこの学習アルゴリズム：よ、第２の層６８のすべての要素に適用できるわけ
ではない。なぜなら、望ましい東２０層６８の出カバターンは、１つのパターン
化クラスタの要素の中心ま几は平均をそのシナプスが表わす神経細胞７２のうち
の唯一のらのに関するデルタ関数だからである。この望ましい出力を得るために
、入カバターンに対して最ら強く応答する神経細胞７２の直接近隣のものにおい
てのみ学習が許される。この型式の先のシステムにおいてトレーニングが進むに
つれてその近隣のものの半径がゼロまで縮小し、それによってデルタ関数の目的
が達せられる。
先の学習の他の型式であるカーペンタ−（Ｃａｒｐｅｎｔｅｒ）・グロスバーブ
適応共振ネットワークにおいては、望ましい出力らまたデルタ関数である。これ
は、入カバターンへの最も強い応答で第２の層６８の神経細胞７２を見つけ出し
、学習アルゴリズムが他のいかなる神経細胞７２にも適用されないようにするこ
とによって再度達成される。ただし、入カバターンへの「不良整合」を示す最強
の応答が神経細胞７２から得られない場合であり、この場合、学習アルゴリズム
は、第２の層６８の他の単一神経細胞７２についてのみ適用できる。
上記の従来のシステムと同じ学習効巣が、「マスキングフィールド」で達成され
る。しかし、ソフトウェアにおいてこれからの機構を実施することは非常にむず
かしい０本発明のＦＡＩ２は、スーパバイズされる学習アルゴリズムを、局部的
に計算できる神経形９で利用する。
量子神経動力学
上記のように、ＴＦＤは、ｌＧ１６を横切る波として伝搬される。ディスクリー
トな格子上のコンパクトコヒーレント波粒子の伝搬は、ファーミ（Ｆｅｒｍｉ）
パスタ（Ｐｏｓｔａ）およびウラン（Ｕｌａｎ）による固体の有限熱伝導率の研
究によって偶然にも発見された。彼等の研究していた微分（時間）差（空間）方
程式は、現在ではファーミ・パスタ・ウラン（ＦＰＵ）方程式と呼ばれている。
ＦＰＵ方程式が空間座標の連結体として書かれる場合、コーチウェブ・デブリー
ズ（Ｋｏｒｔｅｖｅｇ−ｄｅＶｒｉｅｓ） （Ｋ ｄ Ｖ）方程式の形であり、
これはある期間、ラッセル（Ｒｕｓｓｅｌｌ ）の５ｈｏｌｌｏｖ ｖａＬｅｒ
５ｏｌｉｔａｒｙ ｗａｖｅｓを形作るしのとして知られてぃに。最近まで、
非線形波分散において行われる作業は、二次元空間以上の孤立波の形成にほとん
ど適用されてぃながっ几。
しかし、最近では、プラズマのラッグミュア（Ｌ ａｎｇ＠ｕｉｒ）波の形成に
関するものとして非線形ノユレーディンガ−（Ｓｃｈｒａｅｄｉｎｑｅｒ）（Ｎ
Ｌ Ｓ ）方程式に関連して進められており、他の方程式が今や、より高い次
元にまで進みつつある。
ＮＬＳ方程式は、複合波方程式である。
ここでは、 はブランク定数、ｉは虚数単位、ｍ：よ粒子の算量と同定されたス
ケーリング定数、 はラプラス演算子、ｆ：よ波のばらつきをオフセットするｒ
二めに１択され几実数値関数、しは、伝搬媒体の屈折率と同定されるか、まｆ二
：よ外部に与えら孔た力の場と同定され得る実スカラ場である。開数ｆの形によ
って、ＮＬＳ方程式；よ、ビルラ（Ｂ １ｒｕｌａ） （物理学史、＋００６２
ないし９３ページ、１９７６年〕に述べられている［ガウスリング（Ｇ ａｕｓ
ｓｏｎｓ ） ｊのような孤立状波粒子によって解かれる。これらの粒子は、い
ったん開始すると、電位場Ｕ（ｘ、Ｃ）の勾配制御を受けて、粒子物理学の通常
の法則に従って伝搬する。
パラメータアバランノエにおいては、ｉＩ位場Ｕ（ｘ、ｔ）は、ｌＧ１６の神経
細胞の活性化レベルＬ（ｘ、ｔ）によって確立され、これらは、ノブム１４から
受取られる信号ベクトルｎ（ｔ）によって順に決定される。下記のように、Ｐ
、Ａが伴出された後、ｎ （ｔ）によって保持されｆ二予想エラーが、正しい１
！位場Ｕ（Ｘ、ｔ）を正確に発生し、その勾配ベクトルＵ（ｘ、ｔ）が誤った波
粒子を（最大エントロピーの意味で）最小エラー推定器に引き寄せることが容易
に示される。
パラメータアバランンエにおいては、解式Ｅ（ｘ、ｔ）をＮＬＳのディスクリー
トな影から直接に、局部的に計算するのが都合好い。というのは、ＩＧ洛子内の
各プロセッサが、その時、最も近隣のものとのみ通じて波を伝搬することを必要
とするからである。この解式はその後、方程式Ｔ（ｘ、ｔ）＝ｌ−ｉＥ（ｘ、ｔ
）ｉによってそれをＩＧＬきい値フィールドに結び付ける格子内の位置Ｘで神経
細胞を条件付けるか、または感化するために用いることができるので、ＩＥ（ｘ
、ｔ）：が、波粒子を見つけ出す可能性が高いことを示す付近を除いて、ベース
ラインしきい値レベルは！であり、そこではしきい値がベースラインレベル以下
となる。ｒＧ内の神経細胞からの出力信号を刺激するのには方法が２つあること
に注目されたい。１つは、入力信号をシナプステンプレートに供給する方法であ
り、それによってテンプレートと非常に強力に整合（相互に関連）し合うので、
その結果生じる活性化レベルはしきい値Ｔを超える。
もう１つは、条件付き波粒子を神経細胞上に通過させる方法であり、それによっ
て、しきい値Ｔは、その時点でのどの活性化レベルよりも低くなる。これらの方
法は、ビアリニッキービルラ（Ｂｉａｌｙｎｉｃｋｉ−Ｂｉｒｕｌａ）およびシ
ャーシー・ミシャルスキー（Ｊ ｅｒｚｙ Ｍｙｃｉａｌｇｋｅ）の論文「非線
形波力学（Ｎｏｎｌｉｎｅａｒ ＷａｖｅＭｅｃｈａｎｉｃｓ）Ｊ （物理学史
、１００．１９７６年）に述べられている非線形波力学のディスクリートな形を
用いて実施することができる。
以下で述べられるように、これらのＴＦＤもまた、カーマン・ブーシーフィルタ
リングに関連して考慮した場合、マーカーとして作用する。なぜなら、最大可能
性状！！（または特徴）推定の位置をマーキングするからである。
ＴＦＤでは、神経格子のどこに学習方法を適用するのかを指令する機構が存在し
、かつ同時に未完の推定器を利用することなく、インスターアバランシェが実行
可能である０例えば第５図の２層ネットワークのうちの第２の層６８の神経格子
がランダムに、すなわちＣ−１，−ＩＥ間で均一にシナプス重みを初期化し、現
時点でしきい値フィールドが格子内のある場所Ｘ′に単一のＴＦＤを示すと仮定
しよう。その時、現在のイメージは、ヌ２の層６８の活性化レベルでランダムな
応答を引出すが、Ｘ′の近隣以外の場所では、出力信号は；ｌぼゼロでめる。な
ぜならしきい値が非常に小さいため、（現在のパターンへの強力な不整合を除い
１こ）はとんどのものは、強力な出力を発生するからである。従って、信号ヘビ
アン学習法（すなわち、重み変化は、プレシナプス信号とポストシナプス神経細
胞の出力信号との積に比例するもの）は、入カバターンを捕え、Ｘ′およびＸ′
近くに記憶する。従って、入カバターンは、最も近くに記憶される。しきい値フ
ィールド４３のベースラインしきい値レベルが、静かなランダム応答を抑圧する
ので、学習は他の場所では行われない。
ＴＦＤは、ｌＧ１６の神経格子を憤切って測地線で粒子状に移動するので、通常
のアバランシェにおける時軸の単なるパラメーター化以上のことができる。この
ＴＦＤは、観測されたシーンの特徴部分のパラメータ軌道の理想的な内部モデル
としての働きをする。神経細胞のタイミングチェーンを二次元および三次元に拡
げることによって、実に多くの時空パターンをコード化された軌道の形で記憶し
、かつ再現する能力を得ることができ、その組の大きさは、共通のパターンが（
以下で述べられによって重複記憶が避けられる場合、よりずっと大きいものとす
る。また・・・この設計および池の従来の設計の記憶能力を迅速に削減する・・
・イメージシーケンスの、入って来るものすべてを、記憶するわけではなく、現
在の文脈に府もって記憶されているすべてのものがンーンから取除かれた後に残
る新しい残余物のみを記憶することができる。
ＴＦＤか空間デルタ関数である場合、そのピークが格子点間にある時、デルタ関
数が消失するため、単−ＴＦＤが、Ｎ神経格子内のその位置によってパラメータ
のＮ１１ｌのレベルをエンコードすることのみ可能であることに注目することが
大切である。
しかし一度に６個または７ｉ１Ｎの格子点に及ぶ分散されたＴＦＤは、隣接する
神経細胞間の位置の事実上の連続体を表すことができる。実際、補間法の量子化
は、所与のＴＦＤにおけるｍ（ｆｌＡの神経細胞の活性化のワード長量子化の２
Ｗ″倍のオーダでなければならない。すなわち、各神経細胞のＴＦＤ振幅がｎビ
ットワードにコード化され、ＴＦＤが一変にｍ個の神経細胞に及ぶ場合、神経細
胞間のＴＦＤのピークの補間能力はｎビットのｍ倍のオーダーでなければならな
い。
学習法
ヘビアン学習法および逆ヘビアン学習法の２つの比較的簡単を学習法がある。ヘ
ビアン学習法は、いわゆるスーババイズ学習法のほとんどすべての原型であるが
、元の形ではほとんど使用されない、というのは、動物の古典的調教態度を含む
因果的過程を特徴づけ時間的潜在性について説明していないからである。クロッ
プ・エイ・エイチ（Ｋｌｏｐｆ、Ａ、 Ｈ，）著「古典的調教の神経細胞モデル
（Ａ Ｎｅｕｒｏｏｍｌ Ｍｏｄｅｌ ｏｒ ＣｌａｓｓｉｃａｌＣｏｎｄｉｔ
ｉｏｎｉｎｇ） Ｊ 心理学、ｖｏ１１６．８２ないし１２５ページ、１９８ｇ
、に定められているように、クロップ駆動補強モデルのような、プレシナプスま
たはポストシナプス信号の１つまたは両方を片側分散して巻き込んで時間の方向
を説明している変形例もある。
他の変形例は、１個以上の信号が減少している時、学習を禁じる際のポジティブ
な変化を重要視している。利用される２つの学習法のうちの１つは、もとのヘビ
アン学習である。
δ％ｌ／ ｌ Ｊ １αｙＩＹＪ
ここでは、α〉０であり、Ｖｈ、 ５’Ｊは、シナプスの両側の「軸素２信号で
ある。プレスレッシジルデッドシナプス活性化を利用する他の共通の形態のうち
の１つが利用されていないことに特に注目され１；い。
逆ヘビアン学習法は、公知のデルタルールの特殊なケースである。デルタルール
は、ウィドロー（Ｗｉｄｒｏｖ）の確率勾配法に従ってノナプス重みを調製し、
実際の出力ｙ、が「望ましい」出力ｄ、になるように駆動する。デルタルールの
公式は以下の通りである。
δＷ Ｌ ４ ”αｙ＋（ｄＪ−）’Ｊ）ｄ、が０であるような特殊な場合、こ
れは正に、ヘビアンルールを否定するものであることに気付く。従って、この特
殊な場合を「逆ヘビアン、学習と呼ぶ。新型フィルタの構造に、これを使用する
ことは公知である。コーネン（Ｋ ｏｈｏｎｅｎ ）の書籍「自己組織イヒおよ
び連合メモリ（Ｓｅｌｆ ｏｒｇａｎｉｚａｔｉｏｎ ａｎｄ Ａｓ５ｏｃｉａ
ｔｉｖｅ Ｍｅｍｏｒｙ）−（スプリンガ−（Ｓ ｐｒｉｎｇｅｒ） Ｉ ９８
４年）を参照されｒ二い。パラメータアバランノエ１こおいて；ま、ＩＧから推
定結果を受取るノブ二のシナプスに逆ヘビアン学習が用いられる。また、ヘビア
ン学習：＊ Ｉ Ｇのンナブラスに用いらこる。
統合Ｐヘアーキテクチャ
フィルタリングのあらゆる問題の基本的目的：よ、できる限り異なる時間ｔ゛ま
ですべでの８測結果がＹ （ｔ′） ＝ （ｙ （ｓ）’ｔｏｓ≦【′ンである
場合、時間【に観測システムの状態、「特徴」まｆ；はこパラメーター冒こ対す
る条件付き確率密度Ｐ（Ｘ（ｔ）：Ｙ（ｔ’ ））を決定（すなわち推定）する
ことである。
ＰＡ１２は上記のように、ノブ二Ｉ４およびＩＧＩ ６からなる２層アーキテク
チャであり、このアーキテクチャは、ＩＧＩ６に対応する第２の層６８の出力も
また第１の層６６に送り戻され、それか付加的入力としてノブ二１４に対応する
ことを除いては、第５図に例示されたものと幾分同じところがある。ノブ二１４
は、入力されろ時系列の新方式過程に近似値を与えろ。
ｌＧ１６は、観測システムの微分モデルに記憶する。
第６図には、確率フィルタリングへの新方式アプローチのブロック図が示されて
おり、これは、カイラス・ティ（Ｋａ目ａｔｈ。
Ｔ、）の論文、「最小自乗法推定への新方式アプローチ第１部：付加的白色ノイ
ズの線形フィルタリング（Ａ ｎ Ｉ ｎｎｏｖａｔｉｏｎｓＡｐｐｒｏａｃｈ
ｔｏ Ｌｅａｓｔ −５ｑｕａｒｅｓ Ｅｓｔｉｍａｔｉｏｎ、ＰａｒｔＩ
： Ｌｉｎｅａｒ Ｆ ｉｌＬｅｒｉｎｇ ｉｎ Ａｄｄｉｔｉｖｅ Ｗｈｉｔ
ｅ Ｎｏ１ｓｅ ） Ｊ Ｉ ＥＥＥＴｒｅｎｓ、 Ａｕｔｏａ＋ａｔ Ｃｏｎ
ｔｒｏ、Ｖｏｌ ＡＣ−１３、６４６ないし６５５ページ、１９６８年１２月、
がらとみれたものである。
ノブ二１４およびＩＧによってどの関数が行われているかを示す区画が、このブ
ロック図に重ねられている。出願人の本発明以前には、カーマンフィルタのすべ
ての既知の実現化例が、公知の反復公式化およびその細分に基づいていた。これ
ら先行のシステムは、線形システムのガウス統計に基づく。大半の計算上の負担
は、第６図の（演算子ｒｂ」で示され几）カーマン利得マトリックスの動作のマ
トリックス演算によって取除かれる。
ノブ二１４は、装置の観測（すなわち入力）を受取り、ＩＣ１６は、装置の状態
推定結果を生成する。ＰＡ１２の「アルゴリズム」は、第６図に示されたものと
は全く異なる。これはホワイ・シー（Ｈｏ、Ｙ、Ｃ，）およびシー・アール・シ
ー・ケ−（Ｌｅｅ、Ｒ，Ｃ，に、）著「確率推定および制御の問題へのベイズア
プローチ（Ａ Ｂａｙｅｓｉａｎ Ａｐｐｒｏａｃｈ ｔｏ Ｐｒｏｂｌｅｍｓ
ｉｎ ５ｔｏｃｈａｓｔｉｃ Ｅｓｔｉ＋＊ａｔｉｏｎ ａｎｄ Ｃｏｎｔｒ
ｏｌＪ Ｉ 、 Ｅ、 Ｅ、 Ｅ。
トランザクションズ・オブ・オートメーシヨン・コントロール（Ｔ ｒａｎｔａ
ｃｈｔｉｏｒｕ＋ ｏｆ Ａｕｔｏｍａｔｉｏｎ Ｃｏｎｔｒｏｌ） 、Ｖｏｌ
、Ａ Ｃ−９，３３３ないし３３９ページ、１９６４年１０月、に述べられてい
る。より一般的な多段ベイズ推定器に基づ＜、ＰＡ１２がいかに動作するかを述
べるために、ホおよびり−の論文に述べられるように、手順を段階的に進めて行
き、ＰＡ１２かいかにして各段階を終えるかを示す、第６図および第７ｖｌ！：
Ｊの両方かられかるように、ＰＡｌＺ内の状態遷移演算子Ｆおよび観測演量子Ｈ
：よ、−ハツト（ｈａｔ ）−が、その上に配！さこている。これは、ＰＡ１２
が、これらの演算子の内部表示を１学習する−ことを示している。これ：よ、以
下でより詳細に遭べることにする。
ホおよびり−の論文で：よ、説明のにめにこれらの演算子が与えられることか仮
定されているので、これらの推定結果：よ−良一である。以下の説明で；よ、ホ
およびシーの論文が従う段階について述べる。
第１段階・・評価Ｐ （Ｘｈ、＋ ’、 Ｘｂ）しきい値フィールドに、時間を
ざらに１だけ増分させろ。新ｒ；なしきし・値フィールドＴ （ｘ、ｔｈ、＋）
：よ、状Ｑ（特徴）Ｘの先行の確率関数を仮定しｒ二場合の、その条件付き確
率関数を示す。
第２段階 評価Ｐ ＣＺ、、＋ Ｘｍ、Ｘｍ−＋）ホおよびり−の術語で：よ、
Ｚ ｍ−＋：よ新にな上滑１ベクトルであり、これ；よ、第７図において：よｙ
（【）で示されろ。この確率を評価する几めに、現在の活性化Ｌ （ｘ） ：よ
、しきい値フィールドＴ（ｘ、Ｃｈ、＋）を介して送られ、λ−優先（ｈ −ｐ
ｒｉｏｒｉ）状態推定Ｅ（ｘ Ｔ）を生じる。このＩＧ比出力その後、ノブム！
４のノナプスを通過し、それによって マトリックスか実施される。 は、ｉｌ
ｌ、ｆ１マトリックスＨの内部モデルを実施するので、その結果：よ、ｌＧ１６
で予想されるように観測の推定である。（Ｕ劇自体は受取り変換器に関する確率
関数として処理されるので、この推定自体が確率関数であることに注目されたい
。）ノブム１４はその後、この推定結果を現代の信号から差引き、新方式過程を
生成する。
第３段階・・評ｆｉｌ［ｉＰ （Ｘｈ−＋、 Ｚｈ＋＋ ：ｌ）これ；よ（大文
字Ｚ、で示された）時間℃、までと時間ｔ１を含むすべての観測の歴史を仮定し
ｆ二場合、ｆｒ？： ｒ、状態及び新几を観測の結合条件付き８ｉ率である。こ
れ；ま、ノブム１４からの新方式過程（７新規性−）を、ＩＣ，＋６の要素間の
共分散関係とと乙に用いて、しきい値フィールド波粒子の軌道を偏向させること
によって、ＰＡ１２において達成される。Ｖｒ方式過程としきい値数軌道との相
互作用は、その軌道が実現される方法に依るものである。この軌道が量子神経動
力学を用いて実現される場合、以下の第３・２項で述べられるよろに、伝搬「媒
体−の基礎となる屈折率フィールドを歪曲することによって達成することができ
ろ。これ：よ、装置軌道に対する接線のための修正ベクトルを得ろために、カー
マン利得マトリックスを新方式過程に通用することに性質上等しい。これは以下
のように定義される。
ｄｉ／ｄｔ＝Ｆ（ｔ）Ｒ−ｋ（ｔ）ｎ（ｔ）ここでは、Ｆ（ｔ）は状ジ遷移演算
子、Ｋ（【）はカーマン利得、ｎ （ｔ）は新方式過程である。
第４段階・・・評価Ｐ （Ｘ ｊ＋１ ’、 、Ｚ 、＋ｌ）新几な観測から生
じる新規性は、更新ＩＧノナプスを（再現ｒＧ傷信号ともに）通過し、ＩＧｌｅ
内の新たな活性化レベルＬ （ｘ）を生じ、その後、Ｌ （ｘ）は、しきい値フ
ィールドを通過して、駈たな組の観測のためのＰ （ｘ ｌ Ｔ）を得る。新方
式過程が新ｆ；戸情報を含まｔい場合、／ナプスに記憶されたパターンに直角で
めつ、しきい値フィールドを介して出力を一駆動する一１結果的に生じる活性化
フィールド：よ白色ノイズを含むことに注目されたい。このように、観測システ
ムの状態を推定するのに必要なすべての情報：ま、この場合、すでにしきい値フ
ィールドに含まれていることになる。
第５段階・・・最大確率推定に対応する状四の選択この時点で、池のすべての過
程が一定のままであったならば、ＦＡＩ２動力学を単に反復することによって、
シグマしきい値関数の効果により、■Ｇ要素の出力信号に含まれる確率関数のコ
ントラストエンハンスメントを生じることになる。これは、Ｌ（ｘ）の値がしき
い値レベルＴ （ｘ）を超えｒ；状態の組に対するインジケータ関数に向けてＰ
（ｘｉＴ）を駆動することによって、最大確率状態推定の選択に近似する。池の
過程は一定ではないので、コントラストエンハンスメントが生じても、一般に限
定状態には収束しない。
これらの段階は、ホおよびり−の説明においては順次行なわれるべきであるが、
ＰＡ１２内で並行して、非同期に行なうことができ、これによって真のカーマン
ブーシーフィルタを実施することができる。
システムの識別
上記５段階は、すべてＰＡ１２内で続行されるわけではない。これらは、ＰＡ１
２に推定アルゴリズムの「トラッキング」作用のみを構成する。「システム識別
」作用も続行される。上記の説明のＬめに、システムモデルＦおよび観測器モデ
ルＲは一良一であると仮定したが、実際に：よ、絶えず改良（すｔわち学習）さ
れｔ′すわばならｔい、ＰＡ１２において：末、Ｚｈから生じ几新規性：よ１０
１６のシナプスをリコードするｆ二めに利用されるので、最強出力を有する要素
に属するもの（よ、観測に向けて最も強力にベクトル化される。新規性自体；よ
、推定の状態から生じｆ二予乏観測と実観測とのエラーを最小限にするための共
役勾配ベクトルである。新１こなエンコーディングは、ｌＧ１６からノブム１４
まで、現在の信号をもたらさず、しきい値波粒子の物理的軌道を偏向させない。
しかし、しきい値波粒子が次に物理的軌道を横切る時、その見かけの軌道が偏向
されることになる。なぜなら、その経路内の処理要素が、異なる特ｒ１１部分を
エンコードするからである。これによって、観測システムの動力学の内部モデル
を改良する。これは、現在の推定作用には、影響を与えないが、同一軌道の次の
ｌＩ！廁に対する収束率には影響を与える。
観測器モデルＲは、ノブム！４のＩＧ対ノノブンナブスに含まれ、デルタルール
学習を利用して、非常に小さい時定数を用いて確立される。ノブム１４上のしき
い値レベルは一様であり、時間に伴っては変化しない。このレベルは、ノブム１
４の活性化のための最大情報レベル、すなわち最大エントロピーレベルを定める
。このレベルは、計算Ｖを簡単にするために、ゼロに等しくなるように選択され
たノブム１４の各処理要素（画素または神経細胞）に対する「望ましい出力」で
ある。
ＰＡ１２が受動的観測および推定のみに利用される時、ベクトル”１’ （ｔ
）の観測が、ハードワイヤ非学習シナプスを介してノブ二１４に適用され、１個
のＩＩＩ吸要素”ｒ、＋（ｔ）が各ノブム神経細抱２８に適用される。ｌＧ１６
からのフィードバック信号Ｐ（ｘ・Ｔ）は、入力ベクトル２２上の学習可能シナ
プスを介して入る。理想的な場合には、Ｐ （ｘ ’ Ｔ）は移動デルタ関数と
なかので、いかなる時にも、各画素のＩＧ入シカラインうち唯一のものはその上
に信号を育する。デルタ学習アルゴリズムは、その／ナブス重みを、同時に画素
に属する信号構成要素Ｙ Ｉ（ｔ ）のミラーイメージにモールドする。
ＰＡ１２が受動的観測および推定のみに用いられる時、観測ベクトルｙ（【）が
ハードワイヤ非学習シナプスを介してノブ二に与えられ、１個の構成要素ｙｊ（
ｔ）が各ノブ二神経細胞に与えられる。ｌＧ１６からのフィードバック信号Ｐ（
ｘ Ｔ）は、学習可能ノナプス（すなわち入カライノ３６）を介して入る。Ｂｉ
ｚ的ｔ″４合、Ｐ（ｘｌＴ）ｉｉ移動デルタ関数と戸るので、いかなる時にも、
各神経細胞３６上のＩＧ入カライン３６のうちの唯一のものが、その上に信号を
存する。デルタルール学習アルゴリズムは、そのシナプス重みを、同時に画素に
属する信号構成要素ｙ＋（ｔ）のミラーイメージにモールドする（ミラーはしき
い値レベルである）、このように、ソナプス重みは、信号波形の、空間的に記録
されたレプリカとなり、移動デルタ関数によって活性化された［Ｇ神経細胞３６
に関連しｒニンナプスのみが、実際に表示に加わる。池のものは、関連のない信
号パターンの観測をエンコードするために利用できる。
ビー・ウィドロー（Ｂ −１，Ｖ １ｄｒｏｖ）デルタルール学習法：よ、以下
の形をとる。
δｖ、、＝−αＸ ｉ（ｄ Ｊ−Ｘ Ｊ）ここで１よ、Ｘ Ｌはシナプス豐、Ｊ
への入力、Ｘ Ｊは（しきい値化の後の）神？ｉ細胞の出力、ｄＪは望ましい出
力である。従って、′望ましい出力Ｅ がゼロでめるとき、デルタルールは以下
の形をとる。
δ１．＝−αＸ ＩＸ Ｊ
これ：よ、負のヘビアン法でゐる。この特定の学習法は「逆へビアンー学習法と
呼ばれている。これは、パラメータアバランシェに用いられる時、以下の！要−
効果を有する。すなわち、学習の初期段階の間、内部モデルの入力予想が優れて
いない時、ノブ二１４の出力（新規性）か非常に協力になる・・−１まには−１
に近づく。ＩＣからノブ二への人カニよ、高確率の、かなり局部化され？＝２．
３の領域を除く池、）場所ではゼロであるので、学習は主として、予想エラーの
大きざによって制御される。これは。
？７］Ｉｇ！学習段階において（ま几は入力内に７驚くべきもの」が存在してい
る時）入って来るパターンにノブ二１４の重みを適合させることによって、非常
に小さい時定数を宵することになり、ＩＧモデルの予想が優れている時、重み１
合によって大きい時定数を育することになることを意味する。あらゆる場合、重
み変化は、各ＩＧＧ経細胞３４が活性化状態の時に存在した入カバターンの「平
均」をその！ＧＧ経細胞３４のｒこめに記録する傾向があるが、学習が改良され
ると、平均化母集団の分散が小さくなる。
観測システムの動的モデルに関連する波拉子の運動：よ、基本的には２つの方法
で達成することができる。これ：ま、別のレベルしきい値フィールドの適当なベ
ル形ディブレッンヨンを用いて、また、データアレイの指数を増分するか、ま几
：よこのようなディブレッノヨンか２つ以上同時に移動するへき場合、データ自
体をベクトル化して、このデイプレツシヨンを簡単に、望ましい方向に移すこと
によって達成できる。これ；ま、汎用計算装置ま几は専用ユニプロセッサ／ベク
トルプロセッサ装置でのＰＡ１２の実施に適する。
並列処理装置を利用する時、前述の方法は適さず、まｒ二値ましくない。なぜな
ら、その方法は７局部的」アルゴリズムではないからである。しかし、孤立波伝
搬の数学に基づいて局部アルゴリズムを有するこの波粒子運動を生成することが
さらに可能である。
非線形ンユレーディンガー（ＮＬＳ）方程式；よ、必要な動力学を二次元および
三次元に拡張するための１つのルートである。
この方程式は、プラズマのラングミュア波のような、分散媒体におけるフォトン
およびフすノンの運動を説明している。波粒子解式は、空間的に均一である必要
がなく、それゆえ波粒子の軌道の制御および変調に必要な特性を有する非線形屈
折率を特徴とする媒体内で伝搬する。上記のように、この屈折率は、ノブ二「エ
ラー」信号に対する！ＧＧ経細胞３４の応答に直接関連づけられ、それによって
、カーマンブーンフィルタによって要求されるように、孤立波軌道を偏向させる
屈折率フィールドの勾配を、エラーが少な（なるように導くことかできる。
これらの方程式によって得られる粒子運動：よまに、極めて有用を非線形相互作
用を有することに−り、これによってＰＡＩ２モジュールのネットワークが観測
システムの推定モデル、すなわちシステムの作用の先行の観測に基づかｔいモデ
ルを作ることができる。−空想！中に（すなわち現在の観測の結集としてではな
く）２つのＴＦＤが衝突すると、前衝突軌道セグメントへの観測後続物によって
はコード化されていない格子内の軌道に偏向されることになる。新たな経路に存
在するいかなる事象であっても、「ゲダンヘン（ｇｅｄａｎｈｅｎ ）実験」の
後に続くように導かれる。これは、同等の実験から同一事象が続くことを意味し
てないが、もしそうでない場合は、ＩＧモデルを改良しなければならない。これ
は、実世界事象の相互作用を伴う仮説的「生産ルール」に相当する。
Ａｌ１泉
第８ａおよび８ｂ図には、第２図に関して上で述べたように、ノブ二神経細胞２
８とＴＧＧ経細胞３４との概略図が示されている。第８λのノブ二神経細胞２８
は、ライン３２上で、ノブム格子内の他の神経：ａｌ！！Ｉから入力を受取る。
さらに、入力ライン３０上で、局部平面における各点から人力を受取る。重み因
数は、入力ライン３２の各々と、入力ライン３０の各々とに関連する。一般に、
外部入力ベクトルＹ （ｔ）は、各ノブム神経細胞２８かベクトルＹ Ｊ（ｔ）
の各構成要素を受取るように、扇形に広げられる。これは、学習に関して利用ざ
こるが、適応制御プログラムをアドレスしない場合、正に１＠のノブム神経細胞
を有する各構成要Ｘ： Ｙ （Ｌ）を考察し、（学習せずにハードワイヤされ１
；）シナプス重みを−１に定めるのが適当である。基本的には、人カライノ３０
上のシナプス重みをクロネッヵーデルタ関数６１Ｊに等しくなるように定める二
とによって達成される。
識別するために、ノブム神径細抱２８：よ整数指数（例えば「ｉ。
）と同定され、ｒＧ神経細抱３４は、幾何学烙子内の座標に対応するベクトル指
数（例えば７ｘ−）と同定される。
ノブム１４からｌＧ１６に至る信号シ）前方のフロー：まインスターアバランノ
エを実施する。すなわちノブム１４は画素アレイであるが、１０１６のしきい値
フィールドは二次元又は三次元ＩＧ格子上のＴＦＤＯ伝搬を支持する。特に、格
子位置ＸにおけるＩＧ？Ｉｌ経細胞３４に対するしきＬ・値関数：よ、以下のよ
うになる。
ａ ｒｃ （ａ （ｘ、ｔ）：Ｔ（ｘ、ｔ））−ＣＩ −ｅｘｐ（４５（Ｔ（ｘ
、ｔ） −＆ （ｘ、ｔ）））〕−’ここで：よ、ａ（ｘ、ｔ）はＸにおけるＩ
Ｃ神Ｆｉ細胞３４の活性化レベル、ｍはＴ（ｘ、ｔ）において生じる最乙急な勾
配であり、Ｔ（ｘ。
ｔ）はＴ（ｘ、ｔ）−１の通常のレベル以下の孤立波状ディプレラン１ンを認め
る非線形波方程式によって定められる。Ｔ （ｘ、ｔ）の“現在の°位置は、座
凛軸８０によって、ＩＧ？Ｉｌｌ経細胞３４の内部に概略的に示されている。上
記のように、ｌＧ１６の学習法；よヘビアン法である。ｌＧ１６の出力信号は、
先行の観測Ｙの文臓にお：する観測システムの状態に対する条件付き確率密亥ｐ
（ｘ Ｙ（ｔ））を示す。
ｌＧ１６からノブム１４に至る信号のフィードバラフッ＝−は、ノブム１４の学
習法か逆ヘビアン法でめることを除いて、アウトスターアバランノエを実施する
。ざらに、；一時間Ｅ領域が単する一次元領域になる代わりに、二次元又は三次
元ｌＣｌ６を介して因数分解される。この結果、「パターンコが再現されると、
負の観測パターンとなるので、もとのパターンがゼンサアレイに再生されろと同
時に再現され几場合、ノブム１４の出カニよ、すべての画素からゼロになる。ノ
ブム１４のしきい値関数：よ以下のようになり、これはノブム格子内の位置から
独立してしする。
σｓｃ ａ（Ｌ））−−１−２、、ｌ −ｅｘｐ（−２＠ａ（ｔ）Ｄ ”波形８
２．よ、神経細胞２８におけるノブム１４の出力応答を示す。
第９図には、二次元格子のためのノブム！４及びＩＣｌ３を介する観測ブロック
１０内の焦点面からのフローが、より詳細に示されている。ノブム１４は、入力
面８４と出力面８６とから成る。ｉ！測ジブロック１０内焦点面は、各画素がＦ
（ｔ、ｙ）で表された頃敗個の画素を有し、これがノブム入力面８４内の神経細
胞ｙ（参照番号８３）を表すものと考えられていた。従って、このノブムの１個
の人力は、ｕ（Ｋ）で示されたＩＣｌ３からのベクトル出力２２である。上記の
各ノブム神径細胞ｙは、各ＩＧ大入力関連する撲数個の重み因数を育するうこれ
ら；ま、各点が重み因数ｗｎ（ｙ、ｘ）を示すテンプレート８６て表５孔、この
重み因数Ｗ。（ｙ、ｘ）ノブム神経細抱ｙと、ＩＧ神経細抱Ｘからのシナプス入
力とを示す。ｕ（ｘ）とＷ。（ｙ、ｘ）とのドツト積がとられ、各シナプス入力
及び各ノブム神経細胞に対するＸに関して合計される出力アレイ９０を与える。
これはその後、追加ブコック９２内で、入力ベクトルｆ （ｙ）と合計される。
追加ブロック９２の出力はそれから、ブロック９４で表され几ノブム１４のしき
い値関数を通過する。これによって、ノブム出力面８６上の位置９６で表された
、ノブム１４内の特定の神経細胞８３に対するノブムｎ （ｙ）の出力が与えら
れる。ノブム１４の出力は上記！Ｇ［６は、活性化平面４２としきい値平面４３
とから成る。活性化平面は、ＩＧ’４２と呼ぶことにする。ＩＧ”４２は、入力
面９８と出力面１００とから成り、出力面１００はｌＧ１６の出力から成る。ｌ
Ｇ１６内の各神経細胞３４は、上記のように、幾何学格子に配置される。この例
に利用される神経細胞３４のうちの特定のものは、入力面９８における特定の神
経細胞！０２で示されている。神経細胞１０２は、テンプレート１０４が結合さ
れており、このテンプレート１０４に重み値が記憶される。ｌＧ１６内の各神経
細胞３４に対して、ノブム神径細胞２８の各々に１個の重みが関連付けられる。
従って、一点１０６が重み因数ｗｔａ（ｘ、ｙ）を表す状態でテンプレート１゜
０４が示されている。ノブムｎ （ｙ）に対する出力ベクトルと、関連の重みベ
クトルｗ ｒｃ（ｘ、ｙ）とのドツト積がとられ、テンプレート出力１０８を与
える。テンプレート／出カニよその後、しきい値ブロック１１０に入力される。
しきい値ブロック＋１０は、上記方程式によっノブム１４の出力で入力ベクトル
２ｏがら得られたしきい値関数Ｔ （ｘ）を、その池の入力で受け取る。
これによって、Ｉ（１，＋６からの出力に対する出力ｕ（ｘ）が得られる。
Ｐ 、Ａの階段関数応答
ＰＡ１２のネットワーク作用は、上記よりも幾分複雑である。
なぜなら、学習法とアーキテクチャの動力学とを分けることができないからであ
る。ネットワークの階段関数応答を説明するのが最も簡単である。時間【＝０で
は、ノブム１４が（ハードワイヤンナプスに与えられｒこ）イメージで照らされ
、単−ＴＦＤがＩＧ内の測地線に沿って移動しているものとする。さらに、ノブ
ムのハードワイヤ励起可能シナプス以外のすべてのシナプスの重みが、【＝０に
おいてゼロに等しくなると仮定しよう。
１＝０では、ノブムの各画素が、正、負又はゼロである一定の入力信号Ｙｎを受
け取る（後者の場合は関係ない）。この信号は、同一レベルの活性化を生じ、扇
形に広がってｌＧ１６に至る前にσ茸を通過する。はとんどすべてのＩＧ神経細
胞３４は、高いしきい値レベル及びゼロのシナプス重みにより、ゼロの出力を有
する。しかし、格子の重心がＸ （ｔ）にあるＴＦＤの付近では、しきい値が十
分に低いので、出力信号Ｐ （Ｘ （ｔ）＋δｘ ｌ Ｙ（ｔ））は、ヘビアン
学習法を活性化するのに十分な高さとなる。このように、ｔ−０で：孟、ｘ（０
）、及びその付近の神経細胞゛よ、入カバターン？３’ｎ’ｎεｎｏｖｕｍ；を
そのそのシナプスに吸収し、ｘ（０）自体：よ最強のコピーを受取る。
１、、カＬＰ （ｘ （０） ｌ Ｙ （０） ）もまたノブムに放出ぎわ、わ
ずかな時間の後・・・・・・ｔ−０−δｔで・・・・各ノブム画素上のシナプス
のグループが、パターンの負〜ｙｎの一部分αを吸収し、それを、’−ｙｎのま
まである入力に加え、（１−α）ｙｎをｌＧ１６に向かわせる。このように、１
Ｇ１６内のＸ（δｔ）におけるシナプスは、入カバターンのより弱い変形を吸収
し、フェーディングが指数関数で続けられ、しばろくしてノブム１４の出力が、
ゼロにちがい均衡レベルまで降下する。（ともにゼロになっｆこ場合には、シナ
プスをトレーニングし、ノブム１４の出力をゼロに向けて駆動し続・すること：
まできない。）この過程：よ、ｌＧ１６烙子上の独立波に子からなる口装置−の
内部モデルのｒニめのフィードバック制御機構の過程でめろ。
このモデルへの人力がＵ測であるが、ただしノブム１４内の１″レギユレータ」
によって捕られれｒこ後のみである。レギュレータ出力１よ装置を安定させるよ
うに構成されており、この場合には、ＴＦＤが、妨害を最小限に、すなわちそれ
自体の慣性で、測地線に沿って移動していることを意味する。
ノブムの出力が、階段関数入力の時導関数に近似するという効果があるので、Ｉ
Ｇ駆動Ｘ （ｔ）のノナブスに記憶されたパターンは、その時導関数を記録する
。ノブムを１４ノンに記憶されたパターンは、その時導関数の負を記録する。（
ＩＧ神経硼胞が空間パターンをエンコードし、ノプム神経細胞が時間信号をエン
コードする二とに注目されにい。）階段関数の時導関数らまた、階段関数の新方
式過程でもある。ここは、より一般的を信号に対して真ではない。
複合信号の再構成
ノブムに複合パターンが与えられる時はＺず、時間大味で与えられる。その文脈
の、現在の内部表示は、’ｒｃ、１ｓのしきい値フィールドの状態、すなわちＴ
ＦＤマーカーの位置および速Ｉのベクトルである。これらのＴＦＤは、入力内の
ある状ｔ！？／特徴を検出するにめに、ｌＧ１６を感化するか、または条件付け
る。ノブム１４の出力は、そのデータの内容のａ−ｐｒｉｏｒｉ （または「文
脈のない」）推定を表す活性化レベルに応答するすべてのＩＣ神経細胞３４のシ
ナプステンプレートを介してフィルタリングされる。これらの活性化レベルは、
均一でないＩＧＬきい値フィールド４３を介してフィルタリングされ、ＩＣ出力
分散を生じ、それによって人力内の状”Ｊ／特徴の存在の条件付き確率が示され
る。
ＩＣ出力分散は、ノブム１４にフィードバックされると、ノブムンナブス内に空
間分散影響で記憶されたパターンの直線状の組合わせを形成するために、スカラ
ー係数を集めたものとして処理される。この構成によって、現在の観測が、先行
の観測によって補わわれたパターン部分空間に投影される。（実際には「はっき
りしない」投影である。なぜなら、ＴＦＤは（Ｇ格子に関するデルタ関数でない
からである。）この構成は、抽象的なＩＣ推定のデコーディングら行い、ま、”
： Ｉ Ｇ Ｉ ６によって検出されに特徴か、実観測に対する比較りためにノ
ブム１４内のモデルを再構成するために用いられるという点で−モデルベースビ
ジョン二の方法と一致することが容易に理解ざζろ。この一致は、センサアレイ
からの各ｐ Ａモジュールの距離が増すにつれて、ますます多くの抽象的特徴の
組のネスティングをＰＡモジュールのネットワークが達成する二とができる場合
、階層的モデルベース機構にさえ反映する。
しかしモデルベースビジョンとの一致には限界がある。再構成され几モデルは、
現在の［６１の推定ではなく、むしろ信号をノブムからＩＧに、さらにもう一度
ノブムに向けて伝搬するのに必要を時間ｔ １ｏｏｐの後に到達する観測の推定
である（戸ぜｔら学習する間、いかにして記録が生じるかということだからであ
る）。さらに、特徴検出は、孤立したイメージに関するワンショットパターン認
識動作としてではＺ＜（これは明らかに、特殊なケースとして行われる）、カー
マンブーシーフィルタの時間利得を用いて積分された歴史的推定として行われて
いる。
推定観測がいったん構成されると、これは実観測と比較されてエラーパターンを
生成し、このエラーパターンは、（可変屈折率フィールドのカーマン利得演算に
よって）進行中の推定を修正し、（ヘビアン学習法の作用によって）エラー共分
散を将来的に削減するためにｉＧココ−ィングを改良するために用いられる。こ
のエラーパターンは、ノブムの唯一の出力であり、歴史的部分空間に観測を投影
した後の残余のものから成るので、正確には、観測され几確率過程の１新方式過
程−・と呼ばれる。
しかし技術的には、単に部分的ｔ、まに：よ次善の新方式過程にすぎない。なぜ
なら、どの単−ＰＡモジュールら、その人力の、かｔり異なる歴史全体を記憶す
る能力をしたないからである。
これは重要な専門的事項である。真の新方式過程は、制御またはエラー修正には
役に立たないブローニアン（Ｂ ｒｏｗｎｉａｎ）運動である。しかし、次善新
方式過程は、計算上処理できない形であっても、このように利用することかでき
る。
Ｐ Ａを用いた適応制御
現代の制御理論では、「基準信号」または望ましい軌道とともに、制御された「
装置」からの状態フィードバックを用いて、その軌道が基準に収束するように導
く装置への制御人力を発生する。装置の状態が、通常の場合のように、直接に利
用できない場合、制御問題が状態推定問題と「分けられ」、あたかも状態が利用
できたかのように、別個の解法を再度組合わせることが可能でめろことがよく知
られている。これは「分離特性」と呼ばれ、有効となるには、装置が「観測可能
」であることが必要である。これは、シー・ティー・チェノ（Ｃ，Ｔ、 Ｃｈｅ
ｎ）著「線形システム理論および設計（Ｌ １ｎｅａｒ Ｓ ｙｓｔｅａ Ｔｈ
ｅｏｒｙａｎｄ Ｄｅｓｉｇｎ） Ｊラインハート・アンド・ウィンストン（Ｒ
１ｎｅｈａｒｔ ａｎｄ Ｗｉｎｓｔｏｎ）、１９８４年、に述べられている。
ＰＡ１２は、システムの状態に対する（推定された）確率密度を構成するので、
観測可能性および制御可能性基準が満たされる限り、望ましい制御目標を達成す
るのに必要な情報すべてを含む。ノブム１４の出カニよすで、に、ｌＧ１６内に
含まれる、装置の内部モデルの発展を制御するのに適するので、装置自体を制御
する几めに利得変換を必要とするのみである。この利得変換の適応計算を神経ネ
ットワーク原理に従って行うために、ノブム、７）Ｋ、、シナプスにこの利？！
！変換を組入れる。この時点まで、これらのノナブスは、観測ｙ（【）をノブム
１４に通過さ仕るにめの識別マトリックスに見えるように１装備」されている。
今で：よ、ＩＣｌ３に直交化され、記録されると、装置の直接制御に適する新方
式過程を生成する形に観測を変換するという、より一般的な場合を深川する。す
なわち、トレーニング中に、ｉＧ内の装置の内部表示をご装備−するので、新方
式ｌＩ！Ｊ浬が装置へのフィードバック制御として適用されると、１Ｇ１６のＷ
変換推定に与えるのと同じ効果をに変換観測に与える。
例として、ＰＡか自動ターゲット認識およびパラメータ推定を実施することかで
きる機構と、システムのトレーニングおよび動作方法とを述べる。トレーニング
手順とその結果についてまず述べるが、これ：ｉ、このシステムにおいては、特
徴の組を定め、モデルベースピノ１ン機構のための特徴検出器を作ることに等し
い、その後で、ターゲット認識およびトラッキング機構を述べるが、この雫購：
よ、入力信号内の特徴を検出し、推定ターゲットの表示を作るｒこめにその特徴
を使用し、ターゲットを移動中にトラッキングするものである。
トレーニング
ＰＡ１２のトレーニングには、まず、重要なターゲットを識別するのに２要な１
組の基本的特徴を決定し、その特徴部分が豊富であり、混乱まｆ北よ矛盾特徴が
少ｔいトレーニングデータを選択することが必要である。ｌＧ１６サブネツトワ
ークは、１グランドマザーセル、で初期化され、そのシナプス重みの各々は、タ
ーゲットの１つの重要な特徴のうちの１つのサンプルと整合する。これらの特徴
のうちの階層的に第−位のものに幾分注意を払わなければならない。なぜなら、
最も根本的な特徴は、センサアレイに最も近いＰＡモジュール（このモジュール
については以下で述べることにする）にあり、最も抽象的な特徴は、より深いＰ
Ａモジュールにあるからである。
その後、ＰＡには、７グランドマザーー：イメージが豊富なトレーニングパター
ンで：刻印されるヨ。パラメータアバランシェの文脈においては、ある時間ｔ′
において重要な特徴のうちの１つがまず時空入カバターンに現こると、刻印が生
じる。ＴＦＤは、この時間以前にはＩＧ洛子内を移動していない。なぜなら、Ｉ
Ｃ神経細胞３４には、しきい値フィールドと相互作用するのに十分に高い活性化
レベルが存在しないので、しきい値フィールドは一様に均一である。しかし時間
ｔ′では、グランドマザーセルの１つが、それに対してコード化される通過イメ
ージに強く反応し、その反応が１しきい値フィールドを引き抜き」ＩＩの波運動
を開始する。
この結果生じる波運動は恐らく、最初は孤立波として伝搬するのではなく、池の
さざ波のように伝搬すると考えられる。なぜなら、その最初の応答は、しきい値
フィールド動力学方程式に対して、最ｖ′に）位置；よ与えるが、最初の方向は
与えないからである。これは、トレーニング手順にとってプラスであ侃マイナス
で；よない。しきい値フィールド内のく；王゛みの等方性伝搬によって今まで通
り、フィードバック信号がノブム１４に与えられ、発鳴パターンの時導関数を抜
き出すが、微分表示；よ、最初の刺激からすべての方向に向けて外側に記憶され
るにすぎない。（しきい値フィールドが真の解式によって定められる場合、広が
っていくさざ波は、いわゆる「自己集中」して、孤立波のスターバースト（Ｓ
ｔａｒｂｕｒｓｔ）に砕ける。）無限格子内にグランドマザーセルが１個しかな
い場合、１つの軌道を他のらのと区別するものがない。しかし、格子は無限では
ない。波がそこから反射するための境界線を有するか、または波がそれ自体を周
って戻るようにトロイダル状となるかのいずれかである。また、最初のエンコー
ディングでは、２個以上のグランドマザーセルが存在することになる。従って、
パターンＡに対して一度コード化されたセルが、後にパターンＢに対する他のＴ
ＦＤを通過する際にコード化される時、非対称となる。これらの非対称を展開す
ることは、優れた内部モデルを作成する手がかりとなる。
第１Ｏ図には、ｌＧ１６格子の上面図が示されている。また第１０図には、ｌＧ
１６格子内のＸ、およびＸ、にそれぞれ配置された２個のグランドマザーセルＧ
ｌおよびＧ２が例示されている。トレーニングデータにおいて、Ｇ２が常に時間
間隔δｔ１だけＧｌに続き、時間δを雪の後、他の特徴Ｆが常にＧ２に続くらの
とする。格子内のＧ１およびＧ２の距離：よ、しきい値妨害がその間を移動する
のに必要な時間がδｔｌよりも大きくζるのに十分な大きさでめろと仮定５れる
。Ｆを重要な最初の特徴０１つで：よｔいと仮定し、実際に（よ、システムが以
前、特徴Ｆには気付いてないものと仮定してもよい。
パターンＧｌが様々なトレーニングデータに出現する時Ｚず起こることは、観測
としての６１の出現がまず、Ｇ１セルを刺激し、それによってしきい値フィール
ドにおける妨害の等方性放射か開始されることである。これによって、δｔ＋秒
後に６２が出現する。その６℃２秒後に特徴Ｆがパターンに出現する。
すなわち、その時のパターンはＦＡＲからなり、ここではＲはランダムであり、
平均値がゼロである。（Ｒもいかなる部分もＧ１およびＧ２に一致して続いた場
合、Ｆに含まれていたことになる。）その時にも、２つのしきい値妨害は、超円
に交差すると思われる超球に集中する。超球の１つに存在する（またＴＦＤの下
にある）ことにより、低下したしきい値）を有するＩＣ神経細胞３４は、特徴Ｆ
対するシナプスコードを弱く吸収する。サンプルパターンのランダムな部分は、
学習法によって取消される。しかし、両方の超球のＩＣ神経細胞３４はＦを強く
吸収する。なぜなら、そのしきい値は、ＴＦＤの対の重なりにより低くなる（従
ってその出力は強くなる）からである。このように、いずれかの場所で学習され
るコードの強さは、データ内の一致する事象の集合によって決定される。
学習中には、多くの事が生じる。例えば、共に接近し過ぎた２＠のグランドマザ
ーセルＧ１およびＧ２を偶然にも初期化してしまっｆ二としよう。その時、Ｇ１
がらのＴＦＤ妨害；よ、Ｇ２以外の入力ノーン内のあるパターンか活性状態であ
る時、Ｇ２上に至り、グランドマザーセル：よコーディングし損ｔうことにする
。しかしＧ２がＧ１に一致して続く場合、こｉ：よ、Ｇｌがら適当ら雌れに距離
にある１組の神経ａ抱にリコードされる。
また、しきい値フィールド内の非線形波を利用することによって生じる、以下の
重要な現象ら考慮されｒこい。別個の明確な事象系列をトレーニングする間、あ
る特徴（状態〕が２つ以上の系列に共通することが望ましい。このようにトレー
ニングの後、（少なくとも）２つの系列に対する再現軌道が共通の状態で交差す
る。第３の系列が、その再現軌道が同時に共有状態に収束するように同期されｎ
最初の２つの系列を連合して構成されると仮定しよう。これに関し３つの場合が
考えられる。（１）この第３の系７りは一ゲタンヘ７実験（ｇｅｄｅｎｈｅｎ
ｅｘｐｅｒｉｍｅｎｔ） −でめる。すなわち、再現が、冥Ｕ剣によってで：よ
なく、恐らく一演量子二から、または恐らくネットワーク内の他の場所から発生
する不自然な信号によって刺激された。（２）これは実際の実験であり、観測シ
ステムが、サブシステムを同時に同−状態に重ねるという試みに対して非線形的
に反応する。（すなわち、衝突、または他の相互作用５樋か生じる）（３）これ
は実際の実験であるが、状態の明らかな重なりはトレーニングの人工物にすぎな
い、すなわち２つのサブシステムは、いかなる時する。
＝１の場合（−ゲタノヘン実験−・）、観測による軌道修正が行われないので、
軌道を再現している２つのＴＦＤ孤立波が、ｌＧ１６１＠子内の共有場所で衝突
するまで、それぞこの測地線に沿って移動する。衝突の後、その軌道は孤立波動
力学方程式に従って偏向される（これ：よ、とりわけ、多くの保存量が実際に保
存されることを意味する）、このように衝突後、いずれのＴＦＤら、２つの系列
が分離して活性化され１；場合（または相互作用が線形でめろ場合）に再現され
たのと同じ推定事象をノブムに：よ再現しない。再現されるもの：よ、ゲタンヘ
ン実験が観°測実験に変えられ１こ場合、何が観測されるかについての予想ま几
：よ−推定」でうる。これによって、ターゲットの出現および運動の差が、実験
的分１１ｇｆｒ・ら抽出され、実巳界相互作用に伴う時、それを説明する方法を
ＰＡ１２が提供する。
＝２；）場合、２つのＴ Ｆ Ｄ Ｌ’）運動は、実ｌｌ！側によって刺激され
、かつ制御される。カーマノ利得の継続エラー修正により、ＴＦＤは格子測地線
に沿って移動しないが、それにもかかわらず格子内のある共通状態に収束するも
のと仮定する。その衝突後、異なる時間に共通状０をａ！！ＪＬ ｒこ場合にと
られたものとは別の新几な軌道に沿って現れる。次の衝突軌道における神経細胞
が、観測を保証するために、府しって正しくコード化された場合、予想観測は正
しく、軌道修正；よ必要でないか、または生じない。別の方法では、ノブム１４
からのエラー信号が２つの事を行う、（１）屈折率フィールド（Ｒ［Ｆ）を歪曲
させ、より小さいエラーの方向にＴＦＤをさらに偏向させる。（２）二の実験を
その後繰返す際に、修正か必要なくなるように、（ヘビアノ学習法によって）Ｔ
ＦＤにならってノナプスパターンに修正を加える・・・すなわちモデルを改良す
る。
＝３の場合、衝突するＴＦＤの偏向された軌道が２つの観測システムの相互作用
を予想するが、観測においで；ｉ相互作用が証明されない。このように軌道偏向
は「偽り」であり、ＴＦＤは偏向しないで進行しているはずである。次の衝突軌
道が池のトレーニングによってコード化されない場合、最終的に測地線軌道のコ
ード化の写しを受け取る。別の方法では、不一致が生じ、この不一致はＩＣモデ
ルをより高い次元にすることによってのみ解決できる。実際、これは、四次元格
子上でＩＧを物理的に実施して行うことはできないが、第２のＰＡモジュールを
第１のＰＡモノニールにネットワークすることによって達成できる。
ターゲット認識およびトラッキングのためのネットワークトレーニングに対する
これらの現象には、環境の内部表示が、完全な表示ではないとしても、環境と一
致する形に駆動する調整機構を与えるという意味がある。この文脈における「一
致」は実際、ホモトビツクマツピングの点から、正確な数学的定義を有し、大脳
皮質格子における感覚領域のホモトビツク表示を動物と人間の脳が達成すること
がわかる。
これらの例は、ディスクリートな事象で構成されたが、含まれるすべての過程が
（多重ホストプロセッサの有効クロック速度を法として）連続して生じているこ
とを認めなければならない。学習手頃によって上で推定された特徴Ｆは、観測シ
ステムの作動中、絶えず展開する特徴の軌道Ｆ （ｔ）の一部にすぎない。さら
に、学習手順が特徴をその正しい因果的文脈に埋め込むので、観測におけるその
特徴が後に発生する二とによって、ＴＦＤに対する位置のみならず速度が与えら
れる（速度情報がいかにしてシミュレーションに現われるかについては、すでに
詳細に述べている）。これによって認識が、すαでの方向のさざ波としてよりも
むしろ方向づけられた粒子としてＴＦＤを出現させる。
認識およびトラッキング
学習、認識およびトラッキング：よ、パラメータアバランシェにおける別個の動
作としては行われない。すべての過程は事実上、連続して行われるので、現在の
試みにおいてトラッキングエラーが大きい場合、特徴が次の試みでより小さくな
るようにわずかにリコードされる。しかし以下の説明においては、１ｇ！ ｉｌ
ｌシステムの認識およびトラッキング機構に集中できるように学習が＝ファイン
チューニング（ｆｉｎｅ ｔｕｎｉｎｇ） ４段階にあると仮定される。
入力パターンが１個以上のパラメータ化特徴検出器をそのしきい値に関して駆動
する時、認識が生じる。すべての特徴装置の出力はノブム１４に送り返され、そ
こで、ノブム神経細胞２８のノナブスに記憶されｒこｌａ１以上の空間パターン
を線形的に組合わせたスカラー係数として処理される。ノブム１４において：よ
、このａ５組合わせによって次の観ｔ１の予想が行われ、この予想を行う際にわ
ずかな時間遅延が存在するので、次の入力が到達する時は活性状態である。タイ
ミングを正すことに問題はない。なぜなら、遅延がパターンを学習し始めた時と
同じでない場合、結果的に生じるエラーがカルマン利得変換の一部として時間ベ
ースを修正するからである。ニモデルベース」ビジラン技術に対する瞑似性にこ
こで注目されたい、Ｕ測は、ＩＣ神！１細胞３４にコード化される多数の抽象的
特徴への整合のために処理され、これらの特徴応答は、観測のモデルを再生する
ために用いられる。しかし、この場合、再生モデルは、見られたもののモデルで
はｔく、今後のわずかな時間段階に見られるしののモデルである。モデルが再生
されるまでに、次のＵ側が受取られ、エラーベクトルの比較および処理の！１！
備がなされている。
特徴検出器が観測によって刺激されると、しきい値フィールドを引っ張り、特徴
ＩＧ神経細胞３４の場所および（もしあれば）その特徴に関連する速度ベクトル
によって決定された軌道に沿ってＴＦＤマーカの運動を開始する（速度ベクトル
が観測によって生成された活性化パターンに関連する「屈折率」フィールドの勾
配によっていかに決定されるかは、以下に述べる）、。
このマーカは、それ自体の慣性で移動し、連続予想を行う。すなわち、そのしき
い値が活動マーカによって低下されるＩＧ神経ａ胞３４：よ、その強度がノナプ
ステンプレート整合としきい値の深さとの組合わせによって決定される出力信号
を発生する。
この信号は、扇形に広がってノブム１４に達し、そのデコードされたテンプレー
トを現在の予想に貢献させる。この予想１よ、実際の観測から差引かれ、残りの
エラーは、ノブム１４からｌＧ１６に戻される。
ＴＦＤの１つがわずかに誤った方向に移動中であるが、実際に受取られたパター
ンが最強の特徴応答の生じている場所に「近いＪＩＧ神経細胞にエンコードされ
る特徴を宵するという点で学習が優れていたと仮定しよう。Ｐは予想されたパタ
ーンベクトルとし、Ｐ′を実際に観測されたパターンとする。さらに、より簡単
にするために、各パターンか、ＩＣ神経細胞３４のシナプスにコード化されｒこ
特徴と同じであると仮定しよう。その時、エラー信号はδＰ−（Ｐ′−Ｆ）であ
る。ノブム１４からのエラー信号が２つのＩＣ神経細胞３４によって受取られる
時、Ｐ′の活性化がＰの活性よりも大きいことを示すことは自明である。
ａ（Ｐ′）＝（δＰ、Ｐ’）−（δＰ、Ｐ）十（δＰ、δＰ）≧（δＰ、Ｐ）−
λ（Ｐ）
δＰ＝Ｏである場合のみ、等式となる。従ってｌＧ１６のしきい値媒体の屈折率
がＩＣｌ３の活性化レベルに直接関係づけられるので、ＴＦＤマーカが移動して
いる活性化パターンは、正に右方向に媒体を歪曲させ、Ｕ測に従ってマーカを偏
向させる。
するものである。
定常ＤＳＰ方法およびモデルベースビジタンに関する連続推定器の主たる利点は
、これらの方法が「シングルシ璽ット」判定方法であるということである。すな
わち、これらの方法は、データの単一フレーム（これは多数のスキャンの積分の
結果となる）において利可可能な信号対ノイズ比を用いて、最善を尽くさなけれ
ばならない。一方、連続推定器はターゲットの観測の関連ある歴史すべてに含ま
れる情報に基づいて判定を行ない、これによって、ターゲットイメージ内の構成
運動を自動的に補償しながら（または無視しながら）大規模積分の利得を達成す
る。
パラメータアバランシェカルマンフィルタ（ＰＡＫＦ）に基づく神経ネットワー
クアーキテクチャは、頃合システムを観測し、制御信号を発行して、その７ステ
ムが望ましい基準軌道をトラッキングするように動作可能でるる。設計に：よ、
こ装置−の状態を推定し、サーボ補償器として作用するｒ二めのＰＡモジュール
が深川されている。このＰＡモジュールは、その状態推定を、必要な制御信号に
変換するための適応フィードバック利得マトリックスを有する。適応利得マトリ
ックスは、トラッキングエラーに関する制御信号の影響をモニタし、それを最小
にするように調整し、こうして、アクチュエータモータがクロスワイヤされる事
象においてさえ、適当な制御が展開される。
目的は、漸近的トラッキングおよび妨害拒絶の問題に対する神経ネットワーク解
決法を立案することである。この問題は、ＰＡに関するチェノ（Ｃｈｅｎ）の論
文に述べられている。漸近的トラッキング問題は、レギュレータの問題を一般化
したものである。レギュレータの問題においては、装置への制御入力がめられ、
この制御入力は装置を安定させる。通常これは、装置をゼロの状態に駆動するこ
とを意味する。トラッキングの問題においては、基準軌道と呼ばれる望ましい軌
道に向けて装置を駆動する制御がめられ、これはゼロおよび一定のいずれでなく
てもよい。
パラメータアバランシェの文脈においての安定性の意味に注意しなければならな
い、なぜなら、ＦＡは、いかなる状態も「ゼロ」の状態として見なさないからで
ある。ＰＡは、新たな観測を確立空間内の点と関連づけ、その後、そｎらの特徴
が後の観測に存在する確率を推定するのみである。ＰＡガ安定状態は、その軌道
がｌＧ１６洛子上の測地線である（恐らく空の）１組のＴＦＤ、すｔわち予想エ
ラーによる屈折率フィールドの歪曲、またはいかなる池の誘導加速度によっても
加速されていない１組のＴＦＤからなる。
漸近的トラッキングおよび妨害拒絶
第１０図には、チェノの文献の５０４ないし５０３ペーノに定義されている段階
的トラッキングおよび妨害拒絶の問題に対するしっかりし１こ解決策としての構
造か示されている。これは「状ジ空間」解決法であり、パラメータアバランンエ
を用いて実施するのに適する。これはｔ！測ソシステム連結された基帛信号発生
器および妨害発生器の内部モデル（サーボ補償器と呼ぶ）を採用している。
サーボ補償器（Ｓ／Ｃ）は、装置の出力と基準信号との差を受取り、その差は、
センサ入力がパラメータアバランノエにおけるｒＧ１６の状態を変調するのと同
じ櫟にサーボ補償器の状態を変調する。Ｓ／Ｃ状態は利得マトリックスに与えら
れ、この利得マトリックスはそれを、（もしあれば）状態フィードバック安定制
御への制御ＪｔＪ？ｉｌｉ足に変換する。装置が観測可能で、かつ制御可能であ
る隔り、状態推定器によって状態フィードバックを与えることができることは公
知であり、チェノの論文５０６ページに指摘されている。これは、状態推定量の
問題を制御の問題から切り離すことができるので、分離原則と呼ばれる。
装置の出力が基準信号にすでに整合している場合、Ｓ／ＣへのＶ制ｍ＝入力はゼ
ロになり、その状態：孟安定化され、それによって利得マトリックスに良質の信
号が与えられ二とに注目さ第１２図には、上記トラッカーに必要な状態推定関数
のための２つのＦＡカルマンフィルタ（ＰＡＫＦ）ｌ ｌ ６および１１８を採
用する制御モジュール１１４のブロック図が示されている。ＰＡＫＦ １１６お
よび１１８の各々は、状態推定を制御信号に変換するための利得マトリックス１
２０および１２２がそれぞれ、その後に続く。この図は、上に述べられ、かつ第
１１図に示されたトラッキングシステムと機能的に同じである。しかし、２つの
理由により、少し当てにならないところがある。
一つには、ＩＩｋｆｒ的状態推定状態用いられるＰＡＫＦが、その推定を改良す
るために、装ＷＬ１０に理由可能な制御入力が採用すべきであるのに採用してい
ないことでめる。またもう一つは、利得マトリックス！２０お上び１２２を図示
された位置において適応神経ネットワークとして実施できないことである。
茶１１２図のＰＡＣＭ設計において、フィードバック安定機能に対する状態推定
を行うＰＡＫＦ １１６は、装置ｌＯの出力のみに出会う、第１３図には、チェ
ノの文献の第７章からとられた、異なる漸近的状！！！定器の設計が示されてお
り、これは装置の出力と装置への制御人力の両方を受取る。図においては、推定
器１２４が装置１０とフィードバックして示されている。
第１２図と第１３図の設計の違いは、カルマンフィルタの設計において、装置１
０がノイズによって：駆動される」と仮定されていることである。すなわち、測
地線についての装置軌道の偏向すべてが以下の方程式によって決定される。
ｄｘ／ｄｔ＝Ａ（ｔ）ｘ
この方程式は、装置ノイズｑ （ｔ）によって説明される。すなわち以下のよう
になる。
ｄｘ／ｄｔ−Ａ（ｔ）ｘ十Ｂ′（ｔ）ｑ（ｔ）しかし、漸近的状態推定器の設計
において、このノイズはかなり決定論的な構成要素を宵するものとし、これは制
御信号μ（ｔ）の形態にするとユーザら理解しやすい。
ｄｘ／ｄ ｔ＝Ａ（ｔ）ｘ＋Ｂ（ｔ）ｕ（ｔ）〒Ｂ゛（ｔ）ｑ（ｔ）ＰＡＲＰは
、入って来るパターンを、ＴＦＤの経路内のＩＧ神経細胞３４と単に関連づける
だけなので、トレーニング中に制御のモデルを作ることになる。制御信号は装置
から独立して発生される傾向にあるので、１つの方法として、最初の試みで、あ
る点において、また別の方法として、次の試みで同一点において押し進められて
も上い観測軌道上のＰＡＫＦをトレーニングするための企ては、良質のモデルを
作る際に、大きな困難に遭遇する。しかし、その制御信号がる適当な機構を介し
てＰＡＫＦに近づきやすい場合、トレーニング中は新規性の「オーガナイザ」と
して、また再現中は推定量収束の加速器としての働きができる。
第１３図と第７図とを比較することによって、ＰＡＫＦとチェノの設計（第１１
図）との単なる機能上の差は、実際には、推定器に対する制御信号の接近可能性
であることがわかる。この制御信号；よ、スタビライザとサーボ補償器ＰＡ′と
を単一装置に組合せ、新方式過程自体が装置に対する制御として機能する上うに
準備することによって接近可能となる。
利得マトリックス＋２０および１２２に関し、その基本的機能は、コンポジット
システムの固有値を複合面の左半分に、しかもコントローラを飽和させることな
く、できるだけ左に移動させることである。ここで重要なことは、コンポジブト
システムが（上記の意味において）漸近的に安定している場合、利得が受け入れ
られることである。利得が基準信号に向けて、より早くシステムを駆動する場合
、その利得は別の利得よりも浸れている。
上記のように、新方式過程に続いて、というよりもむしろそれが生じる以前に利
得マトリックスを適用するための根本理由として、状態推定器と装置への制御人
力との間の通常の場所で利得を適用しようとした場合、この利得を適応して作る
のに必要な情報が、神経ネットワーク実施に適する形で利用できないということ
が示された。数学的には、マトリックスのこの移項は容易におこなえる。また実
用的見地から、固有値問題を解決しなげければならないというよりもむしろ、こ
のマトリックス移項を適応して計算することができる。適応計算の明らかな利点
のうち、例えば誰かがアクチニエータモータをクロスワイヤした場合、利得マト
リックスの学習法はその制御信号によってｕｌｌｌ、基準信号間のエラーの大き
さか増加するという事実を検出し、マトリックスを調整して、そのモータへ信号
を反転させるという事実がめる。第１４図に：よ、好ましいＰ ＡＣＭ設計が示
されており、そこで：よ、利得マトリックスが、ノブム１４内でＩＩＣ，して実
施されるｒ；め、すでになくなっている。ノブム神経細胞の各々は出力ｎ（１）
を有し、この出力ｎ （ｔ）はｌＧ１６に入力され、またライン１２６を介して
装！１０に入力される。装置出力ｙ（【）は、エラーブロック＋２８に入力され
る。このエラーブロック１２８は、外部入力ｒ （ｔ）かろｙ（ｔ）の値を差引
いて、人力値ｅ （ｔ）をノブム１４に与える。
１富、各／ナプス：よ、その入力と神経細胞２８の出力との積に従って調整され
る。しかしノブム神経細胞ｎＪ（Ｃ）の出力は、基準信号とＵ測二、つ差である
トラッキングエラー、ｅ＝ｒ−ｙに与えるＦＷ、このみｉｉ要となる。このエラ
ーの１番目０構成要素、ｉ、ノブム１４−″）うらゆる要素に入力されるｆ二め
、偶然にら利用可能となる。学習目的は、このエラーの絶対値を最小にすること
でのる。従って、←り得マトリックスを以下の学習法に適合させる。
δＫ 、、ｓｗ−βｅ、＋（ｔ ）（ｄ ／ ｄ ｔ ）（ｅ −Ｋ ＋）ｓｇ
＊ （Ｋ ＩＪ）これは、例えば、トラッキングエラーの１番目の構成要素が正
でめつ、入力ノナプスベクトルのエラーベクトルの投影が増加しつつある場合、
Ｋ Ｉ Ｊをゼロに向けて駆動することを意味している。一方、トラッキングエ
ラーが正であり、投影が減少しつつある場合、Ｋ ＩＪはゼロにから離れた方向
に駆動される。換言すれば、大きさか増大しつつあるエラー：よ不良であり、制
御の効果に関して誤っｆ二符号を有する重み：よ、ゼロを横切り、他方側へ押し
進められる必要がある。
制御が飽和しないようにするため、学習法をわずかに変更する必要かめる。ｎ＋
（ｔ）が、ノブムングマ関数の上方および下方の漸近線である−１または−１に
接近すると飽和が生じる。
ＫＩＪをゼロからさらに離れた方向に押し進めることによって、制御信号に対す
る影響は取るに足らないものとなり、シナプス重みの数値オーバフローを生じる
可能性がある。解決法として、速度定数βを大きさｎ＋（ｔ）に結合させること
によって学習を中止する方法かある。
ＰＡＣＭの作用をより詳細に示すために、簡単な例を段階毎に取り上げることに
する。この例では、観測；よ、移項プラント士−ムに据付けられた速射砲身の射
角の度量法である。オペレータに基準信号が与えられ、この例において：よ、そ
の基準信号か最初はゼロ（水平）であると仮定する。これは−次元の例でのるの
で、ノブム１４が１個の神経細胞を含んでいるとするが、ＩＣは一次元洛子に数
百の神経細胞を含んでもよいものとする。
適音の車の運転によって、また銃の発射中、安定することなく、観測し、射角を
推定するために、上記のようにすてにＰＡ１２がトレーニングされていたと仮定
する。このトレーニングの後、ｌＧ１６の神経細Ｍ！ｉ３４は、射角の範囲と関
連するようになる。上記のように、ＩＣ神経細胞３４がディスクリートな格子上
にあるとしても、その間で確立推定を捕間することができろので、ＩＧ推定：ｉ
、実際に連続している。
ノブム１４の出力；よその後、バーチカルアクチュエータに接続され、０亥の基
＠信号が与えろれ、そこによってノブム１４への入力が銃の実射角となる。様々
な場合の以下の説明においては、ｙ（ｔ）：ま観測され、を射角（正は上記のよ
うに水平でるる）、ｅ （ｔ） ＝ｒ−ｙ （ｔ） ＝−ｙ （ｔ）はトラッキ
ングニラ−１Ｐ（ｘ（ｔ）ｉＹ（ｔ））は、観測の歴史を仮定した場合のトラッ
キングエラーのＩＧ推定、ｎ （ｔ）は、アクチュエータへの制＠儒号ｕ （ｔ
）でもめるノブムの出力、Ｋ（ｔ）は、入力−（１）を受取るノブム１４内のシ
ナプス重みの（スカラー）値である。
ケースｌ： ｎ（ｔ）はアクチュエータに「適当に」接続されるので、銃の射角
の制御加速度はｎ （ｔ）に正比例する。Ｋ（０）＝＋ｌ、ｘ （０）＝０、ｙ
（０）＝ＯでありＰ （ｘ （０）：Ｙ （０） ）の最大確率は、ゼロの射
角をエンコードするＩＣ神経細胞以上である。ｔ＝１の時、銃の射角を高めるイ
ンパルス妨害が与えられる。
ケース２： アクチュエータがクロスワイヤされていることを除いては、ケース
ｌと同じでるので、統射角の垂直加速度はｎ（１）に反比例する、すなわち統は
ｎ （ｔ）が正である時、下がる。
ケースｌの説明
実験が開始される時、ＩＣ予想は正確であるのでｎ （０） −〇である。従っ
て、実験およびＴＦＤ孤立波は無力であり、ｌＧにおけるゼロの状態で静止して
いる。ｔ＝１の時、妨害（銃の発射）により、一定の上方射角率を銃が獲得する
と仮定する。
この力；よ、その速Ｉが負にｔす、水平に戻るまで銃を減速する。
しかし、その負の速度の観測によってｎ （ｔ）の符号が逆転し、基準のオーパ
シュートを防止する。上昇し、かつその後下降する入力へのＦＡ力応答ノブム出
力）はまずインパルスの方向へ（Ｋが正の場合）、次にその逆方向へのバイポー
ラスイングである。このように、制御作用は、基準レベルで装置を安定させる。
学習法が、あたかもその利得値を［信用！しなかったかのように、かなり重大な
エラーに反応することに注目されたい。なぜなら、制御作用が行われるまで、こ
のようなエラーが常に増大しつつあり、その間マトリックスが誤った方向に適合
されつつあるからである。しかし制御作用か正確声場合、エラーが減少し始め、
利得マトリックスがその信頼できる状態に戻る。学習速度定数βは適合のための
時定数を制御するので、フィードバックループの潜在性を許容するようにβを適
当に調整する必要がある。
ケース２の説明
ケース１からのトレーニングおよび利得適合がすべて行われたのち、ニレベーン
タンアクチュエータがクロスワイヤされると仮定する。その後、妨害が起きると
、制御作用が誤った方向に行く、このように、負のエラーに関する負の導関数が
修正されるというよりもむしろ拡大されるので、Ｋを＋１から、ある負の値まで
駆動するのに十分長く持続する。これ：よノブム出力を−だまして一符号を変え
させ、これによってアクチュエータのトルクを逆転させる。これによって類に銃
か減速されるだけでｔく、たとえフィードバック潜在性によって実際に：よｄｅ
／ｄｔが未だに負になっていないとしても、学習法がＫを（ゼロに戻すというよ
りもむしろ）負に押し続ける。これがすべて、装置への損傷を防止するのに十分
な速さで行われる場合、新ｒ二な適応利得Ｋかクロスワイヤアクチュエータをオ
フセットしシステムの安定化を再開する。
これらの例によって、基準信号の調整もまた、銃射角を制御することが明らかと
なる。なぜなら、ＰＡＣＭから言える限りでは、基準を高めることが銃身を低く
することに等しいがらである。この基準は、システムの（人間）オペレータによ
って、また：よ他のＰＡＣＭからの池の制御信号の杉で与えられていてら上い。
最終的に、ＩＩ！、帛（信号を入力するに：よ、第１４図に示されたちの（ここ
では基準がＵ測ｙ （ｔ）と比較できると仮定する）に加えて、さらに２つの方
法があることが容易に認められる。！０１６内の抽象的モデルのコーディングを
知った場合、望ましい方向と逆方向に孤立波を進めるかのように、屈折率媒体を
統合的に「歪曲ゴさせることができる。その結果生じる偽トラックがノブムにお
いてデコードされＵ測と比較される時、結果的に生じる推定量エラーｎ（【）が
統合的歪曲を打消すが、装置を望ましい方向に進める。茎３の方法は、ハードワ
イヤ励起ノナブスを介してノブム１４に直接制御信号を導入する方法である。た
だし、開ループ制御信号がすでに、どうにかして知られているものと仮定する。
３つの方法はすべて、その効果が明らかに同等でめる。
パラメータアバランシェ設計に欠くことのできない過程が、望み通りに、またＸ
１ｌｌ待通り実施されているかどうか確かめるために、多くの重要な実験が行わ
れた。これらの実験はすべて、ボッチイブな結果を生じｆ為
孤立波伝搬
ｒ簡単なｊ ＴＦＤ伝搬方法を用いて学習および再現実験が行われたが、ファー
ミーバスターウラノ（Ｆ ｅｒｌｉ −Ｐ ａｓｔａ −Ｕ １ａｎ）方程式の
ノミュレーン曽ンもまに、神経細胞の一次元格子に関して行われた。ノミュレー
ノタンには３つの型式の境界状態が用いられた。すｔわち、ディリクレ（格子終
点でゼロに維持されｒ二振幅）、ノイマン（格子Ｐ：屯でゼロに維持されｒこ一
次導関数）およびＪＩＩＯ！関数（共に結合された格子の終端）である。
ＦＰＵ方程式は異方性であるので、最初の妨害によって、左に移動する正のパル
スと、右に移動する負のパルスとが発生される。両方の非ＦＲＩｃＩｌ＃ｌ界状
態によって、格子の終端からある程度の波反射が生じた０周期＃Ｉｌ界状懸で：
よ、左右の波が衝突するまでノミュレーシッンを行うことができ、その波が衝突
後、完全にしで現れることを確認した。
第１５図および第！６図：よ、このような実験の結果を示す。
境界状態はｒＷＲＡＰｊであり、これによって神経細胞ｌないし５番に対する最
初の妨害が、℃。時に波形１２９から左右に伝搬される。左向きの妨害は、アレ
イを包み込み、わずかに遅れて、波形＋３１として右からアレイに再変人り込む
、波形１２９は、右に移動して、を時に波形１３３を形成し、波形１３１は、左
に移動して、℃時に波形１３５を形成する。右に移動する妨害が正であり、左に
移動する妨害が負であることに注目されたい。これはＦＰＵ方程式の非線形項に
関する通常の符号に対して生じるものの逆のものであるが、正の波が右に移動す
るのが望ましいので、符号は逆にした。
第１５図においては、ｔ１時に、左右の波１３５および１３３の衝突点まで、し
かし衝突点を越えないように実験が進められる。第１６図は、曲線＋３０でしめ
された衝突時と、曲線Ｉ３２で示された衝突後の２つの波１３３および１３５を
示しており、孤立波の重要な特性の１つを励磁し、パラメータアバランシェ設計
の最ら重要な要素の一つの実行可能性を証明している。
笠！
シェミレーシ揮ンは、学習アルゴリズムが、入つて来る信号の時間導関数を抽出
することを証明した。これらの学習実験においては、１０個の神経細胞に及ぶパ
ルスが一次元ＩＧ格子に下げられ、またその移動中に時系列のパターンがノブム
に入力された。ＩＣ格子に記憶されたシナプス重みのシーケンスは、入力の時間
導関数をエンコードし、ノブムに記憶されたシーケンス重みのシーケンスは時間
導関数の負をエンコードした。
第１７図および第１８図；よ、ノブムの画素５番（のみ）に入力されたボックス
カー（ｂｏｘｃａｒ）関数のオンセットおよびオフセットに対するＩＣ＋６およ
びノブム１４のシナプス重みの応答をそれぞれ示している。第１７図は、ＩＣ神
経細胞２５番で最も強力にオンセットが記録されたことを示し、ＩＣ神経細胞２
５番は、（ＩＣ神経細胞２０番に）信号がやって来た直後の移動孤立波の場所で
ある。オフセットは、ＩＣ神経細胞８８番で記録された（孤立波が８０番にある
時、信号はオフにされた）。第１２図のグラフは、１００個のＩＧ神経細胞の各
々のシナプス重み５番の値を示し、時間信号の新規性がＩＧの神経細胞上に空間
的に分散される方法をはっきりと示している。ボックスカーのオフセット直前の
均衡点のシナプス重みがゼロのレベルに到達しないことに注目されたい。この理
由は、第２．３゜１項に述べられている。
第１８図のグラフは、ノブム１４の各神経細胞２８（ｉ！ｉ素）に関するシナプ
ス重みの値を示す。曲線１３４は、ノブム１４の画素番号５に関する学習可能シ
ナプスをすべて示している。
入力を受取らなかった他の画素もまた示されており、そのシナプスがｒＧから入
力を受取っているとしても、その重みは、最初の値、はぼゼロ（Ｃ−，０１，十
、０１ ）間のランダム）のままであったことを示している。これらの重みが第
１７図の重みの負であり、ＩＣ内のように空間的に分散されているというよりも
むしろ単一神経細胞に部分的に集中していることに注目されたい。
これらの実験は、入射信号の新方式！ｌ！ｌ程を抽出するためのＰＡの能力を示
し、それによって、時間的に変化する入カバターンの内部表示を、はぼ最適に圧
縮することになる。
１見
新しいパターンの前縁が生じた時に対応するＴＦＤ軌道上の位置で、最初の新し
い入力を復製するパターンで、格子シナプス上にその前縁が空間的に９教される
ことをこの実験は示している。ＦＡ動力学の時間差効果がない場合、長引いた「
ボックスカー」信号の前縁が、ＴＦＤ軌道に沿って、広範囲にわたって複製され
る。その後、パターンが再現されると、最初に生じた位置だけでなく、トラック
全体を活性化する。これは明らかに、かなり望ましくない資源の浪費である。
入力パターンを連合的に識別するｆ二めのＰＡの能力を示すために、ノブム１４
のめらゆろ画素に幾分入力を与えることを除いて、こボックスカー−実験と同様
に学習実験がおこなわれた。
１２個の画素上の入力は「メキノカノノ＼ブドー関数の空間的外観およびボック
スカーの時間的影９を育した。７条件付けられていない工応答を邊るために、ｌ
Ｇ１６のしきい値フィールドに均一性（ＴＦＤ）を存在させないで再現すること
をテストした。メキノカノハット関数がオンになると、神経細胞２５番がそのノ
ナプスに、入力を整合させる最強のテンプレートが含まれるために、最大の正の
出力で応答することがわかった。神経細胞８８番は、そのシナプスが入力の負に
維持されるので、最強の負の出力を経験した。（実際、第１７図は、メキンカン
ノλツトのオンセクト時のＩＧの活性化レベルをほぼ正確に示している。垂直軸
は、再度スケーリングされ、その番号が水平軸上に現れる神経細胞の：活性化工
と再Ｉ呼ばれる。）メキノカンハットがオンになると、神経細胞８８番が、最大
の正の出力で応答した。なぜなら、そのテップレートがメキシカンハット関数の
負と整列したからである。
ＰＡのパターンおよび特徴認識能力は、しきい値フィールドのブリコンディンロ
ニング効果がオフにされると、いかなる池のテンプレート整合検出器とも同じに
なることを、この実験；よ証明している。しかし当然のことながら、ＦＡは、し
きい値フィールド動力学がバター７学習を制御するだけでなく、矛盾のない、増
大した観測史の存在下で再現にｊ得も制御するという利点を有する。
第１９図には、上記のように、単一の処理要素からなるｌＧ１６内の神経細胞３
４のうちの１つのブロック図が示されている。これらの処理ＩＸ：の各々は、例
えば、二次元システムまｒ二は、より高次元のシステムに対するＭＸＮアレイの
処理要素のアレイで配列されている。アレイ内の処理要素の各々は、第１９図に
例示されていたもので示されている。第１９図の処理要素は、ノブム１４から受
取られる信号ベクトル人力Ｎ（ｘ、ｔ）を１組の入力１４０で受取る。さらに、
入力１４２は、好ましい実施例では近隣のノードである選択されたノードから、
隣接するしきい値レベルを受取る。しかし、これらのしきい値レベルは、選択さ
れた他のノードまたはＩＧｉ子内の神経細胞から受取ることができることを理解
するべきである。
処理要素の各々は、ＩＧプロセッサ＋４４としきい値レベル１４６とからなる。
入力１４０はＩＧプロセッサ１４４に入力され、入力１４２はしきい値レベル１
４６に入力される。ｌＧプロセッサ１４４としきい値レベル１４６の両方と通じ
るように、双方向バス１５０を介して処理要素にインタフェースされるメモリ１
４８が設けられている。ブロック１５２には、活性化レベルを計算する処理要素
部分を表す。これは、ＩＣ平面１４４内にある。さらに、重み更新を計算する段
階を示すブロック１５４が設けられており、これもまた、ｌＧ１４４内にある。
しきい値平面１４６には、しきい値を更新するためのブロック１５６がもうけら
れている。さらに、第１９図の処理要素を作動するクロック１５８が設けられて
いる。上記のように、処理要素の各々は非同期し、かつそれ自体のクロックで動
作する。
これは、パラメータアバランシェの重要な局面である。
活性化ブロック１５２の出力は、しきい値関数ブロック１５８に入力され、この
しきい関数ブロック１５Ｂは、しきい値計算ブロック１５６によって生じられた
しきい値の関数として、ライン１６０上で出力を決定する。上記のように、しき
い値は、ＴＦＤ付近においてのみ、低い。ブロック１５８の出力は、第１９図の
ＩＣ神経細胞または処理要素の出力からなり、これもまた、計算重み更新ブロッ
ク１５４の入力にフィードバックされて、新たな重みを決定する。活性化ブロッ
ク】５２の出力もまた、しきい値レベル更新ブロック１５６に入力される。
ブロック１５２．１５４および＋５６の各々は、本質的にはマルチボートメモリ
であるメモリ１４８とインタフェースする。
これは、各々の過程が独立して動作することによる。すなわち、シナプス重みは
、更新中に、活性化計算ブロック１５２により、メモリ１４８からフェッチされ
る。
動作において、ライン１４０上で、ノブムから信号が受取られると、活性化計算
ブロック１５２は、活性化レベルを計算するために、メモリ１４８から重みをフ
ェッチしなければならない。これは、その後、しきい値ブロック１５８に入力さ
れる。
同時に、相互接続された（好ましくは隣接する）ノードの各々からのしきい値出
力レベルが受取られ、その処理要素またはノードで、しきい値レベルを生じる。
これは、ノードに入力されるしきい値レベルを設定するために利用され、これに
よって、出力レベルを決定する。上記のように、しきい値レベルが低い場合、た
とえ活性化レベルが非常に低くても出力が発生する。
しかし、しきい値レベルが高く、しかも活性化レベルが非常に高い場合にも、出
力が発生する可能性がある。
メモリ１４８に記憶された重みを更新するために、入力信号がどのような状態で
あるかを知り、また出力信号がどのような状態であるかを知る必要がある。これ
によって、現在、どの重み値がδＷ、、ｘαＩ ｎ＋０ｕｔＪであるかが指示さ
れる。
重みが更新される時は必ず、学習と見なされる。当然のことながら、重み更新が
計算されるために、ライン１６０上には出力が存在しなければならない、これは
、学習が主としてＴＦＤ領域内で生じるという事実による。学習アルゴリズムが
動作していないとは言えないが、重み値に対する更新は行われない。
しかし、出力信号が発生すると、メモリ１４８に現在記憶されているテンプレー
トは、現在の入カバターンのコピーを組入れるように変えられる。
３つの状態が生じ得る。第１の状態は、システムが学習しなければならないよう
に、システムが初期化され、テンプレートに何ら記憶されない時の状態である。
孤立波が処理要素を横切って移動し、しきい値レベルが下がると、誤整合および
しきい値レベルの存在により出力上の信号レベルが上がり、観測されたイメージ
がメモリ１４８のテンプレートに記憶される。第２の状態では、ＴＦＤが処理要
素を横切って移動するが、入力信号はメモリと誤整合し、その結果、活性化ブロ
ック１５２からハイの活性化出力を生じる。二の場合、誤整合は、出力を発生し
ないか、または発生するかのいずれかでめる。出力を発生しない場合、メモリテ
ップレートは現状のままである。出力を発生する場合は、メモリテンプレートは
、いかなる信号も活性化されるように見えるように変形される。第３の状態は、
孤立波が、特定の処理要素を横切って通過し、しきい値が低くなり、入って来る
信号が実際にテップレートと整合する時の状態である。
出力は、実際にはテンプレートと整合するのでハイになるが、テンプレートはす
でに、最初に記憶されたもののように見えるので、強化されるだけであり、形は
変わらない。
第２０図には、上記のように、単一処理要素からなる、ノブム１４内の神＠細胞
２８のうちの１つのブロック図が示されている。これらの処理要素の各々は、例
えば、二次元システムに対するＭＸＮアレイの処理要素のアレイで配列される。
アレイ内の処理要素の各々は、第２０図に例示され１こもので示される。
第２０図の処理要素は、観測マトリックスｌＯの出力から、信号ベクトル入力を
、１組の入力１７０上で受取る。第２０図の処理要素もまた、第２の組の入力１
７２上で、ｌＧ１６からの出力を受取る。
処理要素の各々は、計算装置とメモリ１７４とからなる。メモリ１７４は、双方
向バス１７６を介して計算装置とインターフェースされる。計算装置は、計算ブ
ロック１７８内の活性化エネルギーを計算する。さらに、計算装置は、計算ブロ
ック１８０で示されるように、重み更新も計算する。重み更新計算ブロック１８
０は、ノブムの学習部分を掛供する。ブロック１７８とブロック！８０の両方と
も、信号ベクトル人力とＩＧ出力の両方からの入力を受取る。
活性化計算ブロック１７８の出力は、上で述べられた、またバイポーラ関数から
なるしきい導関数ブロック１８２に入力される。しきい導関数ブロック１８２の
出力は、重み計算ブロック１８０に入力され、またライン１８４上にノブム出力
を与える。ノブムの計算装置を作動するクロック１８６が設けられている。
覗
叢２１図には、パラメータアバランシェの適用例・・・・・・古典的なｒブルー
ムバランソング（ｂｒｏｏｍ ｂａｌａｎｅｉｒ＋ｇ）−問題が示されている。
この問題においては、カート１８６がその上方面に直立部材１８８を設けており
、その部材１８８の下方端部のピボット点１９０に据え付けられている。部材１
８８の上方端部には、ウェイト１９２が配置されている。この問題の目的は、垂
直および直立方向に部材＋８８を維持することである。
この例のパラメータアバランシェは、ｌＧ１９４内の１００個の神経細胞と、単
一ノブム神経細胞１９６とからなる。ノブム神経細胞は、ｌＧ１９４内の１００
（Ｉの神経細胞の出力を入力として受取り、カート１８６に関して垂線からの角
度を示す単一観測入力も受取る。角度シータは合計ブロック１９８の負の入力に
入力され、その正の入力は信号ＲＥＦ Ｉ ＳＧに接続される。出力はブロック
２００に入力され、このブロック２００は、適応利得入力をその他の入力で受取
る。ブロック２００の出力は、観測入力をノブム神経細胞１９６に与える。カー
トへの制御入力は水平加速度であり、ネットワークによって供給される。ノブム
神経細１１１９６の出力は、出力ライン２０４上で、ＩＣ；１９４内の１００個
の神経細胞の各々に入力される。さらに、ノブム神経細胞１９６の出力は、カー
ト１８６内の利得スケーリングブロック２０６を介して入力され、制御入力を与
える。
しきい値フィールドは、ＩＧ神経細胞を左から右へ横切る移動ＴＦＤ２０２で示
される。このｒＧは、−次元ＩＧである。
ノブム出力は、（入力が全く新しい時）入力の導関数のスムーズな近似値である
ので、ノブムは“導関数コントローラ°として作用する。
第２２図には、垂直線からの角度の時間開方および対応するノブム出力が示され
ている。第２２図（よ、以下に述べるように、ランダムな妨害がシステムに導入
されていることを除いては、第２１図と同じである。この例では、こ新たな、パ
ラメータアバランシェが制御信号を発生し、この制御信号は、反転された振子の
ピボット点に水平加速度を適用することによって、振子をその直立位置に維持す
る。シミュレーションは、時間変量に関するループからなり、その各サイクルに
おいては、（垂線から離れたラジアンの）反転振子の実角度と、望ましいゼロラ
ジアン角とのエラー（差）に利得係数を掛けて、それを、パラメータアバランシ
ェモデルのノブム神経細胞１９６に入力として与える。パラメータアバランシェ
モデルは、その後、量子神経動力学と学習法に従って、その状態を時間の１増分
だけ進め、ピボット点１９０の運動に対する制御信号（水平加速度）として、ノ
ブム神経細胞１９６に出力を与えることをめられる。
（ノブム出力は、シグマしきい導関数によって、−１から＋１までの範囲に限定
されるので、それが振子モデルに到達する前に、一定の正の関数によりて増幅さ
れる。）次に、適応随伴行列利得係数に対する更新サブルーチンは、制御作用の
最適効果を得るために、この利得を調整する必要がある。最終的に振子モデルは
、第２のオーダの差分方程式の簡単な二重積分によって、時間の１増分だけその
状態を進め、これによって、ループの次のサイクルで使用するｆ二めの実振子角
Ｉを生じる二とが必要でめる。
このンミュレーノッンのために、ＦＡモデルの量子神経動力学か、非線しノユレ
ーディンガ一方程式の実際の積分よりもむしろ、−素朴な二方法で実意される。
すなわち、しきい値ディブレツノタン（ＴＦＤ）２０２は、グローバル型式のア
ルゴリズムにより、−次元１０ｍ子１９４に沿って伝搬され、このアルゴリズム
は、各対のＩＧ神経細胞内の１００個の、等間隔にあいｒ；位置にＴＦＤ２０２
を補間することができる。ＴＦ’Ｄ２０２は、運転時にオペレータによって特定
される速度で移動する。
「歪曲駆動、機構（屈折率フィールドの歪曲）によるこの速度の変調に備え：よ
ない、なぜなら、ＴＦＤ２０２が通過する前に、各ＴＧ神経ａ胞のノナプスがラ
ンダムに初期化されると仮定されているからである。当然のことながら、これら
のシナプスは、ＴＤＦ ２０２が学習法に従って通過するにつれて、プログラミ
ングされる。
ＴＦＤ２０２の＋ｓ’ｉｈ＜、ノブムおよび！Ｇシナプスの学習速度に関連して
大きすぎる場合、ノブムの出力は、単に、入力信号の騒々しい形にすぎず、ノイ
ズの分散は、ノナプス重みのランダムな初期化の分散に依存する。ンミ二し−ン
ヨン秒当たりおよそ２個以上のＩＧ？Ｉｌ経細胞の速度が、この覆の出力を発生
し、これが振子の制御には役に立たないことを実験は示している。速度が秒当た
り２個の神経細胞以下に減じられると、ノイズは消え、ノブム出力の位相角が入
力の位相角を導き始め、入力信号の時間導関数に向けて移動する。これによって
、ノブム出力が、振子の導関数コントローラとして作用する。（また、入力信号
の微分形態が、観測運動を再現および予想する際に、後に使用するために、ＩＧ
のシナプスに記憶されろ。しかし、このシミュレーンリンにおいては、うまく利
用されない。）さらに、秒当たり、およそ０．５個の神経細胞以下にＴＦＤ速変
を減じることによって、振子を安定させることのできない出力を生じることにな
る。これに対する理由は、まだはっきりしていない。
第２２図および茶２３図のグラフに示されたンミュレーノジンは、シミニレーノ
ヨン秒当ｒ；す１個のＩＣ神経細胞のＴＦＤ速度で作成された。プログラムソフ
トウェアリスティングは、以下に記載されている。第２２図のグラフを作成した
入力データ（を第１表に示されており、第２３図のグラフを作成した出力データ
は第２表に示されており、このリストはグラフと同じ名称を使用しているがｒ、
ＤＡＴ、Ｊ延長分を有する。この２つの主たる相違は、第２３図において、ＲＡ
ＮＧＥパラメータのノンゼロ値で示されるように、ピボツト点の速度に、ランダ
ムな妨害が加えられることであった。
第１表
第２表
３０ ５ＣＡＬＥ
ＯＲＥＦＳ工Ｇ
５工区５０Ｋ
Ｉ ＧＭ工Ｎ
２５ ＧＭＡＸ
Ｉ ＶＥＬ
Ｏ，１禮バ
通常、制御システムは、利得因数を介して状態推定を通過させて、装置の入力に
対して適当に推定を７示すコニとにより設計される。しかし、この設計では、利
得の随伴行列表示を、装置の出力と状態推定器（ＦＡ）の入力との間に置くこと
によって採用している。これにより、ＦＡは、装置の内部表示を変更することが
できるので、さらに変換することなく、あるいは正の増幅によるスケーリングを
除いて、状態推定が装置への制御入力と合致することになる。これは、ＦＡ出力
と装置入力との間に利得を置くと、適応利得調整に必要な情報が神経計算方法と
は合致しないが、利得を観測経路に置くと、その情報は神経計算方法と合致する
ためである。ＵＰＤＡＴＥサブルーチンは、ノブムへの入力（トラッキングエラ
ー）およびノブムの出力（制御）の逆の符号を付けるように利得を調整する。そ
の出力がトラッキングニラ−の時間導関数に近似すると、このような利得の結果
、いかなるトラッキングエラーも制御信号によってゼロまで駆動されることにな
る。当然のことながら、利得が偶然にも負である場合、ＰＡは、観測結果の反転
イメージを学習することになるが、それは、軌道制御の見地から、同じ意味を持
っノブムから装置および装置のＦＡモデルの両方に至る１個の信号を得るのに必
要なことである。
好ましい実施例を詳細に述べたが、添付の請求の範囲によって定められた発明の
精神および範囲を逸脱することなく、様々な変化、代用および変更を行ってもよ
いことを理解するべきである。
ＦＩＧ、ｉ
Ｆｌに、３ａ Ｆｌに、３ｂ
ＦＩＧ、３ｃ
ＦＩＣ；、７５
ＦＩＣ，１６
Ｊ二５’＋＝す１すＵ、；
＋ １２ ２３ ３４ ４５ ５６ ６７ ７８ ８９ １００Ｆｌに、１７
＋ １２ ２３ ３４ ４５ ５６ ６７ ７８ ８９ １００ＦＩＣ，１Ｂ
Ｆｌに、１９
ブ’Ｌ−ムＩ−１゛う）シ〉２＋
シ之１し−シ１ン
ＦＩＣ；、２７
Ｆｌに、２２
ＦＩＣ；、２３
００００１ ＰＲＯＧＲＡＭ ＢＲＯＯＭ Ｆｉｇｕｒｅ ２４ｏＯ口ｏ２
０００５４ ＥＲＲＯＲ−０゜
０００５６ ＤＥＬＴＡ −０゜
０００７１ ＥＮＤ １？
０００７４ ５１Ｇ −ＧＡＩＮ会！！ＲＩＩＯＲ０００８８ＣＡＬム υＰＤ
ＡＴｆＧＡＩＨ，ＥＲＲ０１’ｌ、Ｌｌ、ＡＬＰＩＩＡ、ＢＥＴＡ、ＣＭＩＮ、
ＧＮ＾Ｘ）００００１ ５ＵＩＩＲＯＵ？！Ｉｌｌ！ ＳＹＳＴＥＭ（？Ｍｔ？
Ａ、ＤＴＭＥ？Ａ、ＦＯＶＥＲＭ、Ｒ，Ｄ？１００００３ Ｃ５ＴＡＮＤＡＲＤ
”ＬＯＧＩ５ＴＺＣ−ＳＺＣＭＯＫＯＦＩＪＮＣＴＩＯＮｏｏｏｏフ ＢＭＡ
−Ｂ−Ａ
００００８ Ｋ −−４，會！’Ｘ／ＢＭＡ００００９ Ｙ −Ｉ ＭＡＸ（−
８８，、ＭＩＮ（８１１，、Ｅ））０００１ＯＳＸＧＭｋ −Ａ ＋ ＢＭＡハ
１．＋ＥＸＰ（Ｙ））０００１２ ＲＥ？ＵＲＮ
０００１３ ＥＮＤ
ＮＵＭＢＥＲＯｒ ＷＡＲＮＫＮＧＳ ＸＮ ＰＲＯＧＲＡＭ （［１エフ：
ＯＮＵＭＢＥＲＯＦ ＥＲＲＯＲ５ＸＮ ＰＲＯＧＲＡＭ ＣＦＮＺτ二 ＯＮ
ＵＭＢＥＲＯＦ ＷＡＲＮＫＮＧＳ 工Ｎ ＣＯＭＰ工ＬＡτ工ＯＮ ： 、Ｏ
ＮＵＭＢＥＲ５０Ｆ ＥＲＲＯＲ５ＸＮ ＣＯＭＰＩＬＡτ工ＯＮ：０００００
１ ５ＵＩＩＲＯＵτＬＮＥ ＴＲＡＭ！＋＋げに！ＬＤ、ＬＥＮ、！’０５１
ｏ００２
０００１１ ＣＸＨＸＴＤＬＸＺＥ ＴＲＩ！ ＰＯＬ！Ｅ ＡＲＲＡＹ０００
２１ ＣＰＯ５ＸＴＸＯＮ ＴＨＴ： ＰＩＪＬＳＥ ＯＮ ？ｆ４Ｅ ＦｒＥ
Ｌ（１゜００００４ ＣＮｏＴ！ｌ ＣＯＭＰｒＬ！ ＷＩＴＨ−５ｋＶｔ”
！Ｗ！ｒｃＨ−０Ｎ−ｏｏｏｏｓ
００００９ Ｇ ａ ＧＡＩ）１
０００１０ Ｒ＃ −５ＩＧＮ（ＲＡＴｆｆｉ、Ｃ１０００１５Ｇ −０４ＤＫ
ＬｒＡ
０００１７ ｒＦｉＡＢ！（Ｇ１．Ｌ？、ＧＭ！ＮＩ Ｇ −−Ｇ ＊ ２．−
ｆｆｉＥＬ？Ａ０００１９ ＧＡＩＮ −１ｕ！（−ＧＭＡＸ、ＭＩＮＪＧＭＡ
ｌ、Ｇ１１０００２２ ＥＮＤ
ＮＬＩＭＩＩＥＲＯＦ ＥＲＲＯＲ５ｒＮ ＣＯＭＰＩＬＡＴｒＯＮ ： ０国
際調査報告
ｍＡ紳−絢−”” ＰＣＴ／ＣＢ ９０１００９３２[At time point p, the threshold dibreno 746 also exists in the threshold plane 44.
Exists. The threshold level of the af,L threshold plane 44 is a high level. death
However, when the TFD is propagated across the threshold plane 44, it has an associated inertia.
There will be a threshold field depression scene. In Figure 3, this
This is indicated by the threshold field buoy pre-run (TFD) 46. of
Since the output of the boom is zero, the estimate given by lG16 is correct. follow
Thus, the TF'Ds 46 are to be directly aligned with respect to the distribution of activation levels 44.
Ru. At the lowest point of the threshold depression 46, for an activation level of zero,
Even then, there will be a high output signal level from lG16, which is
conditioned by the level of the threshold depression 46;
This indicates that it is highly likely that the source achieved this.
Indicates that there is an error in the prediction process that makes it unlikely that a given event will occur.
In this case, this causes an output to be generated from the knob 14 and an activation level to be applied to the IC' layer 42.
This will result in a
In this case, in order to learn new observations, we also need to use different geometric grids of
The system may be adjusted somewhat to orient the threshold depression tongue 46 in the direction that
This is accomplished by the output of IG' layer 42. about this
will be discussed in more detail below.
To more clearly state the TFD 46 operation and activation level 44 distribution
3b and 30. FIG. 3b shows the starting point 48 at time t, 1.
A trajectory is shown moving between and the end point at time jp++. points 48 to 50
When passing through the center, the center point 52 is passed at the time ep. This observation is based on time
It shows a series of events that occur. Thus, this is a dynamic system with inertia.
At a certain m tp-1 time point, the system must
system must check the output of lG16. This is the new method of Nobum 14
At time tp, which represents a first-order point in time performed by the process, IGI6
You have to anticipate what the status is at this point, and these states
The estimation results are input again to Nobum 14 to determine whether the observation is correct or not.
compared with the observed results. If correct, the output of knob 14 is zero.
This is ℃2. This continues until the next point in time.
First, the system learns the trajectory from point 48 to point 50 and passing through point 52.
Assume that it is a learning process. According to an important aspect of the invention, achieved by lG16
The key is to produce state estimation results spatiotemporally. This is shown in Figure 3C.
ing.
The TFD in this example has already been started and the number of TGlBs in a predetermined path is
It is propagating across the mathematical lattice. This route matches the learned route. vinegar
In other words, the neurons to which TFD is propagated are the ones to which it was propagated during the learning process.
This is the same neuron as , and we will discuss this below. At each time point,
For example, from the time reference to, predictions are made only in the TFD domain;
Thus, either the TFD is propagated along a continuing path or the path of the TFD is
Fix it. The latter situation occurs, for example, when traversing the same path at a slower speed.
, may occur. Therefore, the propagation of the TFD directly corresponds to the inertia of the system
However, the geometric grid of IG corresponds to the probability that a point along the path occurred at a particular time.
.
In Fig. 3c, TFD occurs at t, -1 and TFD5 is shown by concentric circles of imaginary lines.
yields 4. The concentric circles basically represent the TFD level, with the center at the depletion level.
Shows the lowest value in Jilong.
Naturally, the activation level of ■G'' layer 42 is the basis of TF'D.
. These two pieces of debris are shown stacked together. TFD is t, -3 o'clock
It propagates from the region 54 of IGI 6 to the region 56 at tp. This propagation occurs at t2.
At 4 o'clock, it continues from area 56 to area 58.
Observations made by Nobum 14 at t2. When placing an object at the 3 o'clock point 48, the no.
Crab from Bum 14! Set to zero. At time tp, an object crossing the path in Figure 3b
If it is observed to be at point 52, the activation level of the nerve: a cyst in area 56 is zero.
This will result in a high output from rcts. Similarly, tpz
Sometimes, if an object is observed to be at point 50, this causes area 58 to have a neural
causes zero activation level of the cell, resulting in high output from ICl3
. Therefore, the TFD passing from region 54 to regions 56 to 58 is
In order to appropriately estimate the state, I! From point 48 to point 52 in the side system
Track the inertia or speed I of an object passing up to 50. The inertia of the system
carried out during TFDD propagation, and this TFD is encoded in the basic-neuronal:a follicle.
It is important to note that state estimation is performed in conjunction with the model I
Due to the zero activation level in the C layer 42 (due to zero new output), the wave propagation changes.
Please be changed.
The objects in the view 1+1 system move from point 48 to tun 52 in the same pattern as learned.
50, but the inertia of the system changes somewhat before hitting point 48.
, the inertia of the system is due to the propagation of the TFD in the threshold plane 43.
Different from what is represented. In this case, Nobum 14 outputs a prediction error, and this prediction
The error is caused by raising the activation level behind the TFD and setting the threshold value.
essentially alters the run and increases or decreases the propagation speed of the threshold depression. example
For example, the inertia of the observing system at a time before tt-1 or the threshold field 4
Assume that the corresponding inertia of the TFD is equal to 3. However, at time t,−1, the observation
The inertia of the system changes, resulting in prediction errors due to knobs. Knob
Since the output of the gam is greater than zero, this output is
distributed across the body, thereby increasing activation levels. As a matter of course,
Activation level is only important in the vicinity of the TFD. Because the threshold level
Thresholds elsewhere in plane 43 are so high that there is little or no impact on the TFD.
This is because it has no effect. However, near the TFD, this activation level increases.
"advances" or "changes" the propagation of the threshold dibretonon. Real truth
In the example, since the inertia of the U measurement system is reduced, the propagation inertia of TF and D is reduced.
It becomes necessary to reduce or slow down. Therefore, this
will increase the activation level immediately behind region 54, thereby increasing T.
The propagation speed of the FD will slow down. This causes the output of nopum to be zero
At this point, the activation level output by the neurons of the IG is
, due to its white effect, Nobum! The zero output of 4 results in zero. Sith
Once the inertia of the system reaches a constant value, the inertia of the TFD is forced to
The inertia and power of are forced to zero values.
The PA 12 consists of multiple networks that are integrated together. About these
Each of these will be described in general terms. Also, these networks and learning methods
We will also discuss how these are integrated.
Gross Barb (G Rossberg) Avalanche Gross Barb's Mouth Gamma
Utstar Avalan 7 Engineering: Yes, it is a well-known neural network architecture.
Hebian Learning and Outstern-Kens! ! Using the groove, the nerve fines, @'s focus
A continuous image is recorded at the synapse of each pixel of the dot array. This: Length, gloss bar
``Learning, remembering, and reproducing some complex spatiotemporal patterns'' by B. Niss.
Some Networks That Can Lea
rn, Remember And Reproduce AnyNuseber
orCompliated Space-Time Patterns)
I j JEE? J-Math, & Mech
) Vol, 19, No, 1. 1969, and by Grossbarb Niss.
``A network that can learn, memorize, and reproduce some complex spatiotemporal patterns.
Work (Some Networks That Can Learn.
Reae bar and Reproduce Any Nu+5ber o
f ComplicatedSpace-T ise P attens,■"
Studies in Application? Studies in ApPl
, Math, ) Vol, XL IX No. 2, June 1970,
ing. In the gross barb avalanche, once the image sequence
is learned, this turns off the illumination (or learning method) and
By playing the sequence of outstar strobes leading to the elementary array,
the image so that the original motion image can be reproduced by its synaptic weights.
Activate the elements. After the learning has taken place, the unit about Outstar Avalanche will be completed.
When looking at synaptic vectors on pixel neurons, we use a time-series spatially encoded display and
and illumination signals, and they are part of the training sequence.
during the process, it is sent to that pixel. Each of the consecutive neurons in a “timing chain”
Gamma Outstar Avalanno, consisting of instars from pixel arrays that
It is possible to create a double structure. This is shown in FIG. pixel a
A ray is represented by an array 60 with an illumination pattern. The output of the pixel array 60 is
, is input to the chain of neurons 62, and the pulse 64 moves the chain of neurons.
It is expressed as something that moves. This type of “instar” avalanche implementation is
It is not an easy task, and it is not clear whether it is an educational benefit or not. this insta
-The only difficulty when starting an avalanche is to parameterize the time access.
sending a coherent compact activation pulse to a chain 62 of neurons that
is necessary. This is the first-order equation used by Grossbarb in the activation equation.
You can't do it with equations. This is because, due to nonlinearity, the first injected pulse
is distorted, causing "mutual symbol interference" between adjacent images.
Compact non-dispersive pulses are propagated using a simple shift register algorithm.
can be done. However, such an algorithm can handle everything in the chain
requires a global supervisor who can communicate with the neurons of the world. this
is a combinator when the chain becomes multidimensional and the number of neurons increases.
It becomes unmanageable. Therefore, aim 1! In order to achieve this, a constant nonlinear differential difference equation is
adopt. These are described in the second heading - Quantum Neurodynamics.
Instar Avalanche can also be started using the estimated results very easily.
. However, these estimation results do not apply to higher-dimensional gods where two or more pulses are propagated.
It becomes somewhat impossible to calculate when it is necessary to move towards the meridian lattice.
Roughly referring to FIG. 4, each of the nerve cells in the neuronal chain 62
the causal context in which the pattern occurred and is encoded in the compact representation of the pattern.
We are interested in what is encoded by its neighbors. In addition, neuronal cell check
The spatial pattern is concentrated at the synapses of the neurons on the sides within the cell 62.
ings can be accessed in conjunction. In this way, the activation response of the nerve: a.
If tied to threshold dynamics (as discussed below), the incumbent pattern
It is possible to stimulate reproduction of the time series in an associative manner from the point most correlated with the point. Group
This is impossible for Rosparg's Outstar Avalanonoe.
There is duality in the space-time pattern display of Instar and Outstar Abara 7 No.2.
be. In the Outstar Avalanche, the time signal is co-coordinated at the synapse of each pixel.
The spatial pattern is distributed into an array of pixels. On the other hand, Insu
In the taavarane, the spatial pattern is the synapse of each timing neuron.
The time pattern is compactly represented in the timing god 211 reproduction network.
Figure 5 shows the same reproduction 21 neural network used by many neural modellers.
network is shown. Network: Yo, layer 66 of plan 1 and layer 68 of counter 2, etc.
It will be. The first layer: consists of a plurality of nerve cells 70, and the second layer 68 consists of a plurality of nerve cells 70.
From the individual nerve cells 72. Each of the nerve cells 7o is λ1 to λ. distributed in
, al + a +, and λ1 neuron 7o are shown, and &1 neuron 7o is shown.
? ! 1: represents an intermediate neuron. Similarly, neurons 72 in layer 68 are bl, absent
72 neurons of BL, B, and S are shown.
Neuron 72 of bJ is an intermediate neuron.
Each neuron in first layer 66 receives an input signal from input vector 74 . first
Each neuronal follicle in layer 66 also receives human input from each neuronal follicle 72 in second layer 68.
and a weight value associated with this human input signal. Similarly, each of the second 168 gods
The neuron receives the signal from each neuron in layer 66 of $1 as input, and uses the weight as input.
Relate it to that. Each neuron in the second layer 68 is different from each other in the second layer 68.
and associate an appropriate weighting factor with it.
Learning objectives for this type of network: When used in the previous system, the
2 layers 68 of compact (preferably single neuron) cords, the first layer 6
class or cluster of patterns given in 6, not necessarily compact and distributed
It is something that cannot be expressed in a given form. Purpose of reproducing these networks: Yo, that's it.
Identify the class or set of classes represented by the first layer 660 of
, to reactivate the pattern of codes in the second layer 68. Sometimes the output
The object itself is a distributed pattern, but in the previous system:
f, -delta function. This delta function display;
entropy dispersion, i.e., something that is unlikely to appear by chance. This activation is low
The entropy dispersion is the cluster of patterns represented by the only active neuron in the second layer 68.
This clearly declares that the Iruka batan will be implemented in the future. This way
This display requires further pattern processing to convey the decision to the human user.
Although not required, outstars from active neurons in the second layer 68 can be adopted into other layers.
A distributed image can easily be generated for the user if desired. this is
Essentially, it is a Hecht-Nielsen backpropagation net.
This is what has been achieved through the network. This low entropy distribution of activation is
It's essentially how the system works.
Many learning methods are used in the network shown in FIG.
Generally, the "desired output" must be available to the network. this
Obviously, the desired output is a distributed output, ``heteroass coupling''.
ociative) It is done in the "It structure", and in all cases of the pond, it is changed in shape.
It will be done. Essentially, all learning is "supervised" learning. previous sis
The Kohenan self-organization feature is a type of learning in systems.
In this case, the input pattern is propagated to the second layer 68, in which case each nerve
Cell 72 responds according to its current synaptic alignment to the input pattern. death
Kashiko's learning algorithm: Yes, it can be applied to all elements of the second layer 68.
isn't it. This is because the desirable east 20 layer 68 output pattern is one pattern.
The center of the elements of the cluster is the average of the 72 neurons whose synapses represent
This is because it is a delta function with respect to the only r. To get this desired output
, those in the immediate vicinity of the neurons 72 that respond most strongly to the input pattern.
Learning is permitted only if Training progresses in systems beyond this model.
As the radius of its neighbors shrinks to zero, the purpose of the delta function is
can be achieved.
Carpenter gross barb, another type of previous study
In an adaptive resonant network, the desired output is also a delta function. this
locates the neuron 72 in the second layer 68 with the strongest response to the input pattern.
, ensuring that the learning algorithm is not applied to any other neurons 72.
achieved again by However, the strongest case showing "bad alignment" to the input cover pattern
This is the case when the response of is not obtained from the neuron 72, and in this case, the learning algorithm
is applicable only to the other single neuron 72 of the second layer 68.
The same learning effect as in the conventional system described above is achieved with a “masking field”.
Ru. However, it is extremely difficult to implement this mechanism in software.
The FAI2 of the present invention uses a supervised learning algorithm locally.
It is used in neural form 9, which can be calculated.
quantum neurodynamics
As mentioned above, the TFD is propagated as a wave across IG16. discree
The propagation of a compact coherent wave particle on a solid lattice is described by Fermi
Polishing of the finite thermal conductivity of solids by Posta and Ulan
It was discovered by chance during research. The differential (time) and difference (space) methods they were studying
The equation is now called the Fahmi Pasta Uranium (FPU) equation.
If the FPU equation is written as a concatenation of spatial coordinates, the Coachweb Debree
It is in the form of the Korteveg-deVries (K d V) equation,
For a certain period of time, this was Russell's 5hollov vaLer.
He is known as the creator of 5olitary waves. Until recently,
Most of the work done in nonlinear wave dispersion is concerned with the formation of solitary waves in two-dimensional space or more.
It has not been applied yet.
However, recently, the formation of L ang@uir waves in plasma has been
As a related matter, the nonlinear Schraedinger (N
LS) equation, and other equations are now of higher order.
It is progressing to its original state.
The NLS equation is a complex wave equation.
Here, is a blank constant, i is an imaginary unit, m is the arithmetic of the particle and the identified speed
Kering constant, is the Laplace operator, f: r that offsets the fluctuation of the wave
The second choice is a real-valued function, which is identified as the refractive index of the propagation medium, or
: It is a real scalar field that can be identified as a field of force applied externally. According to the form of the open number f
So, NLS equation; Yo, Birla (B1rula) (History of Physics, +0062
Pages 93 to 93, 1976].
sons) j is solved by a solitary wave particle such as j. These particles are
Once started, under gradient control of the potential field U(x,C), the normal
It propagates according to the law of
In the parameter Avalannoe, the iI position field U(x, t) is the nerve of lG16.
Established by the cell's activation level L(x,t), these are derived from Novum 14
determined in turn by the received signal vector n(t). As below, P
, A is entrained, then the f two prediction errors held by n(t) are the correct 1
! The position field U(X, t) is generated accurately, and its gradient vector U(x, t) is an erroneous wave.
Easy to attract particles to the minimum error estimator (in the sense of maximum entropy)
is shown.
In the parameter avalanche, the solution E(x, t) is
It is convenient to calculate locally directly from the shadow. That is, within IG Rakuko.
Requires each processor to propagate waves only through its closest neighbors at the time
This is because. This solution is then converted into the equation T(x,t)=l−iE(x,t
) the nerve at position X in the lattice connecting it to the IGL threshold field by i
Since it can be used to condition or sensitize cells, IE(x
, t): except near the base, where it is likely to find a wave particle.
What is the line threshold level? , where the threshold is below the baseline level.
becomes. There are two ways to stimulate output signals from neurons in the rG.
I want to be noticed. One method is to supply input signals to synaptic templates.
and thereby have a very strong alignment (correlation) with the template.
The resulting activation level exceeds the threshold T.
The other method is to pass conditional wave particles onto neurons, thereby
Thus, the threshold T will be lower than any activation level at that time. These people
The law is based on Bialynicki-Birula and Siri.
Jerzy Mycialgke's paper ``Nonlinear
Nonlinear Wave Mechanics J (History of Physics)
, 100. The discrete form of nonlinear wave mechanics described in (1976)
It can be implemented using
As discussed below, these TFDs also utilize Karman-Bouchy filters.
When considered in relation to a ring, it acts as a marker. Because the maximum possible
Characteristics! ! (or features) to mark the estimated position.
In TFD, there is a mechanism that directs where in the neural lattice a learning method is applied.
, and at the same time, the instar avalanche is executed without using any incomplete estimators.
For example, the neural lattice of the second layer 68 of the two-layer network of FIG.
initializes the synaptic weights randomly, that is, uniformly between C-1 and -IE, and
Assume that at time the threshold field indicates a single TFD at some location X' in the grid.
let's. At that time, the current image is randomly generated at the activation level of layer 68 of Nu2.
A response is elicited, but at locations other than in the neighborhood of X', the output signal is nearly zero. Na
This is because the threshold is very small (except for strong inconsistencies with the current pattern).
1) Most of them generate strong output. Therefore, the signal snake
unlearning method (i.e., weight changes are
X' and X'
Memorize it nearby. Therefore, the input pattern is stored closest. Threshold value
Baseline threshold level in field 43 suppresses quiet random responses
So learning doesn't happen anywhere else.
TFD moves in a geodesic manner in a particle-like manner through the neural lattice of lG16, so it usually
It is possible to do more than simply parameterize the time axis in the avalanche. this
TFD is an ideal internal model of parameter trajectories of observed scene features.
act as a Expanding neuronal timing chains into two and three dimensions
By doing so, we can memorize many spatiotemporal patterns in the form of encoded trajectories.
, and the size of the set is such that the common pattern is (
If duplicate storage is avoided as described below, it should be much larger.
Ru. It also quickly reduces the storage capacity of this design and previous designs of ponds...
・Does not remember everything that comes in the image sequence;
What remains after all that is remembered in the current context is removed from the
Only new residuals can be stored.
If it is a TFD or a spatial delta function, when its peak is between grid points, the delta function
Since the number vanishes, the single-TFD is parameterized by its position in the N neural lattice.
It may be noted that it is only possible to encode the level of N11l in
It's important.
However, distributed TFDs spanning 6 or 7i1N grid points at a time are
It can represent a virtual continuum of positions between neurons. In fact, the quantization of the interpolation method
is the wordlength quantization of the neuronal activation of m(flA) in a given TFD.
W″ times the order of magnitude. That is, the TFD amplitude of each neuron must be on the order of n bits.
If the TFD is encoded in a block word and the TFD uniformly spans m neurons, then
The intercell TFD peak interpolation ability must be on the order of m times n bits.
stomach.
learning method
There are two relatively simple learning methods: Hebbian learning method and inverse Hebbian learning method. F
The Bian learning method is the prototype of almost all so-called supervise learning methods.
, which is rarely used in its original form, includes the classical training behavior of animals.
This is because it does not characterize causal processes or explain temporal latency. Cloth
Klopf, A. H., “Neuron Model of Classical Training”
(A Neuroml Model or ClassicalCondit
ioning) J Psychology, vo116. Presynaptic or
There are also variations in which one or both post-synaptic signals are involved in a unilateral distribution to explain the direction of time. Other variations emphasize positive changes in inhibiting learning when one or more signals are decreasing. One of the two learning methods used is the original snake
It is unlearning. δ%l/l J 1αyIYJ where α〉0 and Vh, 5'J are the axonal 2 signals on both sides of the synapse.Other common forms that utilize prestressed dead synaptic activation It is particularly noteworthy that one of the . and drive it so that the actual output y becomes the "desired" output d. The formula for the delta rule is as follows. In the special case where δW L 4 ”αy+(dJ-)'J)d is 0, this
I realized that this truly negates the Hevian rule. Therefore, this feature
A special case is called ``reverse Hevian learning.'' It is well known that this is used in the structure of a new type of filter.
Self organization and associative memory (Springer I 984). Parameter Avalannoe 1; well, recommended from IG
Reverse Hevian learning is used at the synapse of Nobu 2 that receives the fixed result. Also, Hevia
Learning: *Used for IG's Nna Brass. Integrated P Architecture The basic objective of any problem of filtering is to
If the total 8 measurement results are Y (t') = (y (s)'tos≦['n), then the state of the observation system at time
The objective is to determine (that is, estimate) the conditional probability density P(X(t):Y(t')). As mentioned above, PA12 has a two-layer architecture consisting of knob 2 I4 and IGI 6.
This architecture is similar to the second layer 68, except that the output of the second layer 68 corresponding to the IGI 6 is also sent back to the first layer 66, or corresponds to the knob 2 14 as an additional input. There are some points similar to those illustrated in FIG. Knob 2 14 gives an approximation to the input time series new method process. lG16 is stored in the differential model of the observation system. Figure 6 shows a block diagram of a new method approach to probabilistic filtering, which is based on the paper by Kailash T., “A New Method Approach to Least Squares Estimation, Vol. Part 1: Additive white noise
Linear Filtering in Additive White No. 1: Linear Filtering in Additive White No. 1 ens, Autoa+at Contro, Vol AC-13, pages 646-655, December 1968, gar. This is what it seemed like. This block shows which function is performed by knob 214 and IG.
It is superimposed on the rock diagram. Prior to Applicant's invention, all Karman filters
All known implementations were based on the known iterative formulation and its subdivisions. this
Previous systems are based on Gaussian statistics for linear systems. Most of the computational burden lies in mapping the behavior of the Karman gain matrix (denoted by "operator rb" in Figure 6).
Removed by trix operation. Knob 2 14 receives device observations (ie, inputs) and IC 16 generates device state estimates. The "algorithm" of PA12 is completely different from that shown in FIG. This is Ho, Y, C, and C.R.C.
Lee, R.C., “Bayesian for Probability Estimation and Control Problems”
A Bayesian Approach to Problems in 5tochastic Esti+*ation and ControlJ I, E, E, E. Transactions of Automation Control tomation Control), Vol., AC-9, 333 to As stated on page 339, October 1964.
Ru. Based on the more general multistage Bayesian estimator, we describe how PA12 works.
In order to
Figures 6 and 7 show how PA12 completes each step! : As can be seen from both J, the state transition operator F and the observation operator H in PAlZ: yo, -hat- are placed on top of it! I'm standing here. This indicates that PA12 learns the internal representations of these operators. This: Yo, here
More details will be found below. In the paper by Ho and Tori: Okay, let's assume that these operators are given for the purpose of explanation.
Therefore, these estimation results are good. In the following discussion, we describe the steps followed by Yo, Ho and Shi's papers. First step: Roughly increment the time by 1 in the evaluation P (Xh, +', Xb) threshold field. New r; no threshold/value field T (x, th, +): Assuming a prior probability function of the shape Q (feature)
Show rate function. 2nd stage evaluation P CZ,, + yoy (indicated by [). To evaluate this probability, the current activation L(x) :yo is sent via a threshold field T(x, Ch, +) and the λ-priority (h-priori) state estimate E (x T). After this IG ratio output, Nobum! It passes through 4 nonapses, thereby implementing the Matrix. implements an internal model of the il l,f1 matrix H, so the result: yo, is an estimate of the observation as expected in lG16. (Note that this estimate is itself a probability function, since the U-play itself is processed as a probability function for the receiving transducer.) Nobum14 then subtracted this estimate from the modern signal and used the new method. Generate a process. 3rd stage... Review fil [iP (Xh-+, Zh++ :l) This; yo (Daibun
Assuming a history of all observations up to and including time t1 (Z, denoted by ) up to time ℃, if f2, then fr? : is the joint conditional 8i rate of observation of r, state and new value. child
Well, by using the new method process (7 novelty -) from Nobum 14 and the covariance relationship between the elements of IC, +6, and deflecting the trajectory of the threshold field wave particle, Achieved in PA12. Phase between Vr method process and threshold number trajectory
The interaction depends on the way the trajectory is realized. This trajectory is the quantum nerve movement
When realized using mechanics, the propagation “medium” is
This can be achieved by distorting the underlying refractive index field of the body. This: Yo, to get the correction vector for the tangent to the device trajectory,
This is essentially equivalent to applying the Mann gain matrix to the new method process. This is defined as below. di/dt=F(t)R−k(t)n(t) Here, F(t) is the state di-transition operator, K([) is the Karman gain, and n(t) is the new method process. . Fourth stage...Evaluation P (X j+1', , Z, +l) Based on new and rigorous observations
The novelty of
field to obtain P (x l T) for the diagonal set of observations. Shinkata
If the formula process does not contain new information, then the resulting activation field: Note that it includes white noise. In this way, the observation system
All the information needed to estimate the state of the system: well, in this case we already have a threshold value.
will be included in the field. Step 5: Selection of the shape corresponding to the maximum probability estimate At this point, all the excesses of the pond are
By simply repeating the FAI2 dynamics, the effect of the sigma threshold function is to obtain
This will result in contrast enhancement. This means that the value of L(x) is
We approximate the selection of maximum probability state estimates by driving P (xiT) towards an indicator function for the set of states r; Because the process is not constant, contrast enhancement, if it occurs, is generally limited.
It does not converge to a steady state. Although these steps should be performed sequentially in the description, they can be performed in parallel and asynchronously within PA 12, thereby implementing a true Karman-Boosie filter. System Identification The above five steps do not all continue within the PA 12. These constitute only the "tracking" effect of the estimation algorithm on PA12. The "system identification" operation also continues. For L in the above explanation, system model F and observer model
We assumed that R is one-of-a-kind, but in reality: it is constantly improving (i.e. learning).
If it is, then in PA12: Finally, it arises from Zh and the novelty: f is used second to recode the 10 16 synapses, so it belongs to the element with the strongest output (observed) Novelty itself; arises from the state of estimation and the commonality of f2 to minimize the error between the underserved and real observations
is the role gradient vector. The new encoding does not yield current signals from lG16 to Novum14 and does not deflect the physical trajectory of the threshold wave particles. However, the next time the threshold wave particle crosses its physical trajectory, its apparent trajectory will be deflected. This is because the processing elements in the path encode different special r11 parts. This improves the internal model of the dynamics of the observation system. This does not affect the current estimated action, but the next lI! on the same orbit. It affects the convergence rate for Liao. Observer model R is Nobum! 4 IG vs. Nonobunnubs and is established using delta rule learning with a very small time constant. Shiki on Nobum 14
The value level is uniform and does not change over time. This level defines the maximum information level, or maximum entropy level, for the activation of knob 14. This level is the "desired output" for each processing element (pixel or neuron) of the knob 14, chosen to be equal to zero to simplify the calculation V. When the PA 12 is used only for passive observation and estimation, the observation of the vector "1" (t) is applied to the knob 2 14 via a hard-wired unlearning synapse, and one III absorption element "r, + (t) is applied to each nobum nerve bundle 28. The feedback signal P(x・T) from lG16 is a learnable scenario on the input vector 22.
Enter through the bus. In the ideal case, P(x'T) is a moving delta function, so that at any given time, only one of each pixel's IG input lines will have a signal growing on it. The delta learning algorithm molds its /nubs weights into a mirror image of the signal component Y I(t ) that simultaneously belongs to pixel . When PA12 is used only for passive observation and estimation, the observation vector y([) is fed to Knob2 through hardwired non-learning synapses, and one component yj(t) is assigned to each Knob2 neuron. Given. The feedback signal P(xT) from lG16 enters via the learnable nonapse (ie, input caraino 36). Since, at any given time, only one of the IG input lines 36 on each neuron 36 has a signal on it, since P(xlT)ii is a moving delta function. The delta rule learning algorithm molds its synaptic weights into a mirror image of the signal component y+(t) belonging to the pixel at the same time (the mirror is
Thus, the sonapus weights become a spatially recorded replica of the signal waveform activated by the moving delta function [only the rninapse associated with the G neuron is actually will be added to the display. The pond thing is an unrelated belief.
It can be used to encode observations of signal patterns. B-widrow (B-1, V 1drov) delta rule learning method: Yo, it takes the following form. δv,,=−αX i(d J−X J) Here, 1, X L is the synapse, input to J, and X J is God (after thresholding)? i cell output, dJ is the desired output
It is power. Therefore, when the desired output E is zero, the delta rule takes the form: δ1. =-αX IX J
This: Yes, it's a negative Hevian method. This particular learning method is called the “Reverse Hevian learning method”.
being called. When this is used for parameter avalanche, the following! Essential-
have an effect. That is, during the initial stages of learning, the internal model's input predictions are very good.
When not, the output of knob 2 14 (novelty) is very helpful... -1 by -1
approach. Human crab from IC to Nobuji, high probability, quite localized? =2.
Since it is zero at locations 3 and 3, except for the region 3, learning is mainly based on the predicted error.
Controlled by size. this is.
? 7] Ig! During the learning stage, there are 7 amazing things in the input.
by adapting the weight of knob 214 to the incoming pattern).
When the prediction of the IG model is good because it has a small time constant, the weight 1
This means that a large time constant will develop depending on the combination. In all cases heavy
Changes in the appearance of the incoming cutata that existed when each IGG mesenocyte 34 was in the activated state
That's Hitoshi! There is a tendency to record in the r temple of GG mesenchyme 34, but learning has been improved.
As a result, the variance of the averaged population becomes smaller.
Wave motion related to the dynamic model of the observation system: There are basically two methods.
can be achieved with. This: Well, another level threshold field with a suitable base.
You can also increment the exponent of the data array or
:If you want to move two or more diversions at the same time, the data itself
Vectorize your body to easily shift this depression in the desired direction.
This can be achieved by This; well, a general-purpose computing device is a dedicated uniprocessor/vector.
It is suitable for implementing PA12 in a torque processor device.
When utilizing parallel processing devices, the above-mentioned method is not suitable and is not very binary. Why
This is because the method is not a 7-local algorithm. However, solitary waves
It is possible to generate this wave-particle motion with a local algorithm based on the mathematics of
Even more possible.
Nonlinear Nürödinger (NLS) equation;
This is one route for expanding into three dimensions.
This equation describes how photons in a dispersive medium, such as Langmuir waves in a plasma,
and explains the movement of Fusunon. The wave-particle solution must be spatially uniform.
is free and therefore has the necessary properties for controlling and modulating wave-particle trajectories.
Propagates in a medium characterized by a refractive index. As mentioned above, this refractive index is
Ra” against the signal! directly related to the response of GG transectal cells 34, thereby
, deflecting the solitary wave trajectory as required by the Karman-Boon filter
The slope of the refractive index field can be guided to have a low error.
Particle motion obtained by these equations:
This allows the network of PAI2 modules to be observed.
An estimated model of the system, i.e. a model based on prior observations of the behavior of the system.
You can create a file. -Fantasy! within (i.e., not as a culmination of current observations)
h) When two TFDs collide, the observed follow-on to the previous collision orbit segment causes
will be deflected to orbits within the grid that are not coded. existing on a new path
Any phenomenon that exists in the "gedanhen experiment"
be guided to follow. This means that the same event follows from equivalent experiments.
However, if this is not the case, the IG model must be improved. this
corresponds to a hypothetical "production rule" that involves the interaction of real-world events.
Al1 spring
Figures 8a and 8b show knob two neurons 2, as described above with respect to Figure 2.
A schematic diagram of 8 and TGG transneumocytes 34 is shown. 8th λ knob two neurons 28
is on line 32, the other nerve in the Nobum lattice: al! ! Receives input from I.
Additionally, on input line 30, human power is received from each point in the local plane. weight factor
A number is associated with each of the input lines 32 and each of the input lines 30. in general,
The external input vector Y (t) is the vector Y J (t) of each Nobum neuron 28
is fanned out to receive each component. This is not used for learning.
However, if it does not address the adaptive control program, it is exactly 1@'s Nobum neuron.
Consider each configuration element X:Y (L) with (hardwired without learning 1
;) It is appropriate to set the synaptic weight to -1. Basically, Karaino 30
The synaptic weights above are defined as equal to the Kronecker delta function 61J.
This is achieved by
In order to identify, the Nobum Shinkei Hui 28: Yo integer exponent (e.g. "i.
), and the rG nerve subtend 34 is a vector index corresponding to the coordinate in the geometrical axis.
number (e.g. 7x-).
Signal from Nobum 14 to lG16) Forward flow: Mainstar Avalanno
Implement d. In other words, the knob 14 is a pixel array, but has a threshold value of 1016.
The field supports TFDO propagation on a two-dimensional or three-dimensional IG grating. In particular,
IG at child position X? Threshold L value function for Il transectal cell 34: Yo, as below.
I'm going to growl.
a rc (a (x, t): T (x, t)) - CI - exp (45 (T (x, t))
, t) - & (x, t))) -' where: yo, a(x, t) is I at X
The activation level of C Fi cells 34, m is the steepest slope occurring at T(x, t).
and T(x.
t) recognizes an isolated wave-like dip run below the normal level of T(x, t)-1.
It is determined by the nonlinear wave equation. The “current ° position of T (x, t) is
By Rin Axis 80, IG? Ill shown schematically inside the cell 34. Up
As mentioned above, IG16's learning method is the Yohevian method. The output signal of lG16 is
The conditional probability density p for the state of the observation system is given by the previous observation Y:
(x Y(t)) is shown.
The feed balance of the signal from lG16 to Nobum 14 is determined by the science of Nobum 14.
Execute Outstar Avalannoe, except when using the customary method or reverse Hevian method.
. Roughly speaking; instead of the E area becoming just a one-dimensional area, it becomes a two-dimensional or three-dimensional area;
Factored through the original lCl6. As a result, "When the pattern code is reproduced,
Since the observation pattern is negative, it is necessary to reproduce the original pattern in the Zensa array.
If it is reproduced at a certain time, all pixels of Nobum 14 will become zero. of
Bum14's threshold function is as follows, which is calculated from the position in the Nobum lattice.
Do it independently.
σsc a(L))--1-2,, l-exp(-2@a(t)D" waveform 8
2. , the output response of the knob 14 in the neuron 28 is shown. Figure 9 shows the NOBUM! for a two-dimensional grid! The flow from the focal plane in the observation block 10 through 4 and ICl3 is shown in more detail. The knob 14 consists of an input surface 84 and an output surface 86. i! The focal plane in the measurement block 10 has a number of pixels, each pixel represented by F (t, y), which is connected to the neural fibers in the knob input surface 84.
It was thought to represent the cell y (reference number 83). Therefore, one human power of this knob is the vector output 22 from ICl3 denoted u(K). Each of the above-mentioned Nobum diameter cells y is used to develop several weight factors related to each IG input.
The template 86, in which each point indicates a weighting factor wn(y, x), is the weighting factor W. (y, x) Synaptic input from Nobum neurode y and IG neurode X
power and power. u(x) and W. The dot product with (y,x) is taken to give an output array 90 that is summed with respect to This is then summed with the input vector f (y) in an additional block 92 . The output of addition block 92 is then represented by block 94 and is added to the threshold of function 14.
pass through the new value function. This gives the output of Nobum n (y) to the specific neuron 83 in Nobum 14, represented by position 96 on Nobum output surface 86.
It will be done. The output of Nobumu 14 is shown above! G[6 consists of an activation plane 42 and a threshold plane 43. The activation plane will be referred to as IG'42. The IG"42 consists of an input surface 98 and an output surface 100, the output surface 100 consisting of the output of the IG16. Each neuron 34 in the IG16 is arranged in a geometric grid, as described above. For example, a specific one of the neurons 34 used in
Transcellular! It is indicated by 02. The nerve cell 102 is connected to the template 104.
The weight values are stored in this template 104. For each neuron 34 in lG 16, one weight is associated with each of the Nobum diameter cells 28. Accordingly, template 1°04 is shown with one point 106 representing the weighting factor wta(x,y). The output vector for knob n (y) and the associated weight vector
The dot product with the vector wrc(x,y) is taken to give the template output 108.
I can do it. The template/output crab is then input to threshold block 110. The threshold block +10 receives at its input the threshold function T (x) obtained from the input vector 2o at the output of the knob 14 according to the above equation. This gives the output u(x) for the output from I(1,+6. The step function response of P, A. The network action of PA12 is somewhat more complex than above, since the learning method and architecture This is because it cannot be separated from dynamics.
Ru. It is easiest to explain the step function response of the network. time [=0
Assume that the knob 14 is illuminated with an image (given to the hardwired napus) and that the single TFD is moving along a geodesic in the IG. Additionally, the knob
The weights of all synapses other than the hardwired excitable synapses in the system become [=0.
Let us assume that is equal to zero. 1=0, each pixel of the knob receives a constant input signal Yn that is positive, negative or zero.
(In the latter case, it doesn't matter). This signal produces the same level of activation and
It passes through the σ mushroom before expanding into a shape and reaching lG16. Almost every IG nerve detail
Cell 34 has zero output due to its high threshold level and zero synaptic weight.
do. However, near the TFD where the center of gravity of the grid is at X (t), the threshold is
, so the output signal P (X (t) + δx l Y(t)) will be high enough to activate the Hevian learning method. In this way, at t-0: x(0), and the neurons in its vicinity, the input pattern? 3'n'nεnovum; is absorbed into that synapse, and x(0) itself receives the strongest copy. 1, KaLP (x (0) l Y (0)) is also about to be released to Nobum.
After a short time...at t-0-δt...the group of synapses on each knobm pixel absorbs the negative~yn part α of the pattern and transfers it to the '-yn Ma
In addition to the inputs up to, (1-α)yn is directed to lG16. Thus, the synapse at descend to (Both become zero f In this case, the
It is not possible to train the knob 14 to continue driving the output of the knob 14 toward zero. ) This process: In the process of the feedback control mechanism of the internal model of the mouth device, which consists of independent waves on the lG16 heater. Human power to this model is U-measured, but only after it is captured by the 1'' regulator in knob 14. Regulator output 1 stabilizes the device.
This means that the TFD is moving along the geodesic line with minimal disturbance, i.e. with its own inertia. The effect is that the output of the nobum approximates the time derivative of the step function input, so that the pattern stored in the nonabs of the IG drive X(t) records the then derivative. A pattern stored in 14 nons will then record the negative of the derivative. (IG neurobleb encodes spatial patterns, nopum neurons encode temporal signals)
Don't get noticed by the second code. ) Time derivatives of step functions, etc. Also, new methods of step functions
It is also a formal process. This is not true for signals more generally. Reconstruction of a composite signal When a composite pattern is given to Nobum, it is given in terms of time, not Z. In that context, the current internal representation is the state of the threshold field of 'rc, 1s, ie the position of the TFD marker and the vector of velocity I. These TFDs have a certain state in the input t! ? / sensitize or condition lG16 to detect features
Ru. The output of the knob 14 is the a-priori (or "text") of the content of its data.
The simulation of all IC neurons 34 in response to activation levels representing the estimation
Filtered via naps template. These activation levels are filtered through a non-uniform IGL threshold field 43, resulting in an IC output variance, which indicates the conditional probability of the presence of the feature in the human force.
Ru. When the IC output dispersion is fed back to the knob 14, it becomes empty inside the knob.
To form a linear combination of memorized patterns with interdispersion effects, the scalar
- processed as a collection of coefficients. This configuration projects the current observation into a pattern subspace supplemented by previous observations. (Actually, ``Hakki''
It is a projection that does not reflect the real world. This is because the TFD is not a delta function with respect to the G lattice. This construction performs the decoding of abstract IC estimates, and the comparison with real observations. for the sake of
model-based model in that it is used to reconstruct the model within the system 14.
It is easy to understand that it is consistent with John II's method. This correspondence can be achieved even in hierarchical model-based mechanisms, where a network of PA modules can achieve nesting of increasingly larger sets of abstract features as the distance of each PA module from the sensor array increases. reflect. However, there are limits to the agreement with model-based vision. The reconstructed model is not an estimate of the current [61, but rather an estimate of the observations arriving after time t 1oop, which is required to propagate the signal from Nobum to IG and again towards Nobum. The question is how records are created during learning.
). Additionally, feature detection can be used for one-shot pattern recognition on isolated images.
As a cognitive action, Z< (this is obviously done as a special case), the car
This is done as a historical estimation integrated using the time gain of the Mamboushi filter. Once the estimated observation is constructed, it is compared with the actual observation to generate an error pattern, which is then applied to the Karman gain calculation of the variable index field.
Thus) we correct the ongoing estimation and (by the action of the Hevian learning method) we correct the error co-sharing.
used to improve iG cocoing to reduce dispersion in the future. child
The error pattern of is the only output of Nobum, and consists of the residual after projecting the observations onto the historical subspace, so it is precisely a new method error pattern of the observed stochastic process.
It is called Cheng-・. Technically, however, it is merely a partially suboptimal new method process. why
Then, which single-PA module remembers the entire history of its human power?
This is because they do not have the ability to This is an important technical matter. A truly novel process is a Brownian motion that is useless for control or error correction. However, suboptimal processes can be used in this way even if they are computationally intractable.
Ru. Adaptive control using P A Modern control theory uses state feedback from a controlled "apparatus" along with a "reference signal" or desired trajectory to guide its trajectory to converge to a reference.
Generates human power to control the equipment. The state of the device is directly accessible, as in the normal case.
It is well known that when the state is not available, the control problem can be ``separated'' from the state estimation problem and the separate solutions can be recombined as if the state were available. This is called the ``separation property,'' and to be effective it requires that the device be ``observable.'' This is based on C.T. Chen, “Linear Systems Theory and Design,” J. Reinhart and Winston, 1984. PA12 constitutes the (estimated) probability density for the state of the system, so that as long as the observability and controllability criteria are met, it is possible to achieve the desired control objective.
Contains all the information you need to With the advent of NOBUM 14, it is suitable for controlling the evolution of the internal model of the device contained within IG 16, and therefore only requires gain conversion to control the device itself. The adaptive calculation of this gain conversion is
In order to perform according to the network principle, Nobum, 7) K., Is this benefit to synapses? ! ! Incorporate transformations. Up to this point, these nonabs have been equipped to appear in the identification matrix for passing the observation y([) to the nobum 14. Now: once orthogonalized to ICl3 and recorded, the new method is suitable for direct control of the device.
Fukagawa considers the more general case of converting an observation into a form that generates an equation process. vinegar
In other words, during training, the iG equipment is equipped with an internal display, so new
Formula lI! When applied as a feedback control to the instrument, Jp has the same effect on the W transform observations as it has on the W transform estimates of 1G16. For example, by performing PA or automatic target recognition and parameter estimation.
We describe the mechanism by which this system can be used, and how to train and operate the system. First, I will explain the training procedure and its results.
This is equivalent to defining a set of features and creating a feature detector for the model-based Pino 1 mechanism.
We then describe the target recognition and tracking mechanism, but here we introduce the following: First, we detect features in the input signal, create a representation of the estimated target, and then use those features to track the target while it is moving. It is something to do. Training PA12 training involves first determining a set of basic features that are necessary to identify important targets, and then training to ensure that these features are abundant and that there are few confusing or contradictory features. It is necessary to select data. lG16 subnetwa
The market is initialized with one grand mother cell, and each of its synaptic weights is
Match one sample of one important feature of the target. Some attention must be paid to the hierarchical order of these features. This is because the most fundamental features reside in the PA module closest to the sensor array (this module will be discussed below), and the most abstract features reside in the deeper PA module. After that, PA has 7 Grand Mothers: Training putters with rich images.
In: engraved. In the context of parameter avalanche, an imprint is generated when one of the important features first appears in the space-time entry covert at some time t'.
Jiru. The TFD has not moved within IG Rakuko before this time. The threshold field is uniformly uniform because the IC neurons 34 do not have a sufficiently high activation level to interact with the threshold field. But at time t', one of the grandmother cells has a passing image encoded for it.
This reaction pulls out the first threshold field and initiates wave motion of ``II''. The resulting wave motion probably does not initially propagate as a solitary wave, but instead propagates like ripples in a pond. This is because its initial response gives the threshold value for the field dynamics equation at most v′), but not the initial direction. This is both a plus and a minus for the training procedure. Due to isotropic propagation of the peak in the threshold field,
Then, a feedback signal is given to the knob 14, which extracts the time derivative of the firing pattern.
However, it is only stored outwardly in all directions from the initial stimulus. (If the threshold field is defined by the true solution equation, then the spread
The ripples become so-called "self-focused" and break into a starburst of solitary waves. ) There is only one grand mother cell in the infinite lattice.
If it is not, there is nothing to distinguish one orbit from another. However, the lattice is not infinite. Either it has a boundary from which the wave reflects, or it is toroidal so that the wave circles back around itself. Also, the first encode
In this case, there will be more than one grand mother cell. Therefore, when a cell once coded for pattern A is later coded as it passes through another TFD for pattern B, it becomes asymmetric. Expanding these asymmetries
This will help you create a good internal model. FIG. 1O shows a top view of the lG16 grating. FIG. 10 also illustrates two grand mother cells G1 and G2 arranged at X and X in the IG16 lattice, respectively. In the training data, let G2 always follow Gl for a time interval δt1, and after time δ the snow, another feature F always follows G2. The distance of G1 and G2 in the lattice is assumed to be large enough that the time required for a threshold disturbance to travel between them is greater than δtl. Suppose that F has an important first characteristic of
It may be assumed that the user is not aware of the feature F beforehand. What happens when the pattern Gl appears in various training data is that the occurrence of 61 as an observation first stimulates the G1 cell, thereby increasing the threshold field.
The isotropic emission of disturbances at the source is initiated. As a result, 62 appears after δt+ seconds. After 2 seconds at 6°C, feature F appears on the pattern. That is, the pattern then consists of FAR, where R is random and the average value is zero. (If neither R nor any part follows G1 and G2 identically)
If so, it would have been included in F. ) At that time, the two threshold disturbances are also concentrated in the hypersphere that seems to intersect the hypercircle. An IC neuron 34 with a reduced threshold due to being in one of the hyperspheres (also under the TFD) weakly absorbs the synaptic code for feature F. Random parts of the sample pattern are canceled by the learning method. However, IC neurons 34 of both hyperspheres strongly absorb F. Because the threshold is lower due to the overlap of the TFD pairs (following
This is because the output becomes stronger). Thus, the strength of the code learned at any location is determined by the set of matching events in the data. Many things happen during learning. For example, 2 @ grand mothers who got too close together.
- Suppose we accidentally initialize cells G1 and G2 and call them f2. At that time, there is a TFD disturbance from G1; some pattern in the input node other than G2 is active.
When it arrives on G2, Grandmother Cell: decides to fail to code. But if G2 follows G1 in unison, it will be recoded into a set of nerves at a suitable distance from Gl. Also, consider the following important phenomena caused by the use of nonlinear waves in the threshold field: While training distinct distinct event sequences,
It is desirable for two or more series to have common characteristics (states).
After ning, the reproduction trajectories for (at least) two series intersect in common.
Ru. Let us assume that the third sequence is constructed by combining the first two sequences synchronized so that their reproducible trajectories simultaneously converge to a shared state. There are three possible cases regarding this. (1) This third system is determined by an experiment. That is, the reproduction was stimulated by an unnatural signal, perhaps originating from Ichigen Quantum 2, or perhaps from elsewhere in the network, rather than by Mei Uken. (2) This is an actual experiment and an observational system.
The stem responds nonlinearly to attempts to stack subsystems in the same state at the same time. (i.e., collisions or other interactions occur) (3) Although this is a real experiment, the apparent overlap in conditions may be just an artifact of training.
i.e., two subsystems at any given time. In the case of = 1 (-Getanohen experiment-), the orbit is not corrected by observation, so the two TFD solitary waves that are reproducing the orbits each follow this direction until they collide at a shared location within lG161@. Move along geodesics. After the collision, its trajectory is deflected according to the solitary wave mechanics equation (this: among other things, many conserved quantities are actually conserved).
Thus, after a collision, the two series are activated separately and are reproduced in the case (or when the interaction is linear and melodic). Do not reproduce the same presumed event again. What is reproduced: Yo, Getanhe
If an observational experiment is converted into an observational experiment, one can make predictions about what will be observed. This provides a way for PA12 to account for differences in target appearance and motion when extracted experimentally and accompanied by real-world interactions. =2;), then the two T F D L') motions are real! stimulated and controlled by the side. Due to the continuous error correction of the Kermano gain, the TFD does not move along the grid geodesics, but nevertheless converges to some common state within the grid.
Assume that. After that collision, a common state 0 at different times! ! JL appears along a new trajectory different from that taken in this case. If the neurons in the next collision trajectory are definitely coded correctly to guarantee observation, the expected observation will be correct.
change, course correction; is not necessary or does not occur. Alternatively, the error signal from knob 14 does two things: (1) distorts the refractive index field (R[F), further deflecting the TFD in the direction of smaller errors; (2) When repeating the second experiment, the nonapse pattern is modified (using the Heviano learning method) following TFD, so that no modification is necessary...in other words, the model is improved.
Ru. = 3, the deflected trajectory of the colliding TFD predicts an interaction of the two observing systems, but no interaction is proven in the observations. In this way, the orbit deflection is "false" and the TFD should be proceeding without deflection. next collision trajectory
If the path is not coded by pond training, the final code for the geodesic trajectory
Receive a copy of the code. Otherwise, there will be a mismatch, and this mismatch will
This can only be solved by taking the model to a higher dimension. In fact, this is a four-dimensional case
Although this cannot be done by physically implementing IG on the child, it can be accomplished by networking a second PA module to the first PA monolayer. For Network Training for Target Recognition and Tracking These phenomena include an internal representation of the environment that is consistent with, if not a complete representation of, the environment.
The meaning is to provide an adjustment mechanism that drives the vehicle in the desired shape. “One” in this context.
In fact, it has a precise mathematical definition in terms of homotopic mapping, and it can be seen that the animal and human brains achieve a homotopic representation of sensory areas in the cerebral cortical grid. Although these examples were composed of discrete events, it is important to note that all processes involved are occurring continuously (modulo the effective clock speed of the multihost processor).
must be acknowledged. The feature F estimated above by the learning model is
It is only part of the trajectory F (t) of the feature that constantly evolves during the operation of the stem. Sara
In addition, the learning procedure embeds a feature in its correct causal context so that the later occurrences of that feature in the observation give not only its position but also its velocity relative to the TFD.
(We have already discussed in detail how velocity information appears in the simulation). This recognition causes the TFD to appear as a oriented particle rather than as a directional ripple at α. Recognition and Tracking Learning, Recognition and Tracking: Distinct behavior in parameter avalanches
It is not performed as a work. The whole process is continuous in nature, so if the tracking error is large in the current attempt, the feature will be smaller in the next attempt.
slightly recoded to look like this. However, in the following explanation, 1g! It is assumed that the learning is in four stages of fine tuning so that we can focus on the recognition and tracking mechanisms of the system. Recognition occurs when an input pattern drives one or more parameterized feature detectors about their thresholds. The output of all feature devices is sent back to the knob 14, which
Here, it is stored in the nonabs of the knob neurons 28 and is processed as a scalar coefficient that is a linear combination of spatial patterns of 1 or more. In Nobum 14: Yo, the prediction of the next view t1 is made by this a5 combination, and when making this prediction, the
There is a small time delay so that it is active by the time the next input arrives. sea bream
There is nothing wrong with correcting the timing. This is because if the delay is not the same as when we started learning the pattern, the resulting error will be added to the time base as part of the Kalman gain transform.
This is because it modifies the base. “Nimodel Base” is a great way to meditate on the Vigilan technique.
I would like to draw attention to U measurement, which is an IC god! Processed for matching to a large number of abstract features encoded in one cell 34, these feature responses are used to reproduce a model of the observation. But in this case the reproduction model is a model of what was seen.
This is a model that will be seen at a very short time in the future. By the time the model is regenerated, the next U side has been received and the error vectors are compared and processed! 1! Preparations have been made. When the feature detector is stimulated by an observation, it pulls the threshold field and detects the movement of the TFD marker along the trajectory determined by the location of the feature IG neuron 34 and the velocity vector (if any) associated with that feature. (where the velocity vector is the slope of the “refractive index” field associated with the activation pattern generated by the observation).
How this is determined by the distribution is discussed below). This marker moves with its own inertia and makes continuous predictions. In other words, that tradition
IG neuronal ablast 34, whose intensity is reduced by activity markers:
Generates an output signal determined by a combination of template matching and threshold depth. This signal fans out to the knob 14, and its decoded template
contribute to the current forecast. This prediction 1 is subtracted from the actual observation and the remaining error is passed back from Nobum 14 to lG16. One of the TFDs is moving slightly in the wrong direction, but the putter actually received
Suppose that the learning was superior in that it learned the features that are encoded in JIG neurons near the location where the strongest feature response occurs.
Let P′ be the actually observed pattern. Furthermore, for the sake of simplicity, let us assume that each pattern is the same as the features encoded in the synapses of IC neurons 34. At that time, the error signal is δP-(P'-F).
Ru. It is obvious that when the error signal from the knob 14 is received by the two IC neurons 34, the activation of P' will be greater than the activation of P. a(P') = (δP, P') - (δP, P) 10 (δP, δP) ≧ (δP, P) - λ(P) It is an equation only if δP = O. Therefore, since the refractive index of the IG16 threshold medium is directly related to the activation level of ICl3, the activation pattern in which the TFD marker is moving will distort the medium exactly to the right, causing the marker to move according to the U measurement. side
to direct It is something to do. The main advantage of continuous estimators over stationary DSP methods and model-based visitors is that these methods are "single-shit" decision methods. sand
That is, these methods must do their best with the available signal-to-noise ratio in a single frame of data (which results in the integration of many scans). Continuous estimators, on the other hand, base their decisions on information contained in all relevant histories of observations of the target, thereby automatically compensating for (or ignoring) constituent motion in the target image while performing large-scale integration. achieve a gain of
Ru. Neural network based on parametric avalanche Kalman filter (PAKF)
The architecture observes the system in time, issues control signals, and
The system is operable to track a desired reference trajectory. In the design: a second PA module is included that estimates the state of the device and acts as a servo compensator. This PA module has an adaptive feedback gain matrix to convert its state estimates into the necessary control signals. adaptive gain matrix
The control signal monitors the effect of the control signal on tracking error and adjusts to minimize it, thus ensuring that the actuator motor is cross-wired.
Appropriate controls are deployed even in elephants. The objective is to develop a neural network solution for asymptotic tracking and disturbance rejection problems.
The goal is to devise a solution. This problem is related to Chen's theory regarding PA.
stated in the text. The asymptotic tracking problem is a generalization of the regulator problem. In the regulator problem, a control input to the device is required, and this control input stabilizes the device. Typically this is to drive the device to the zero condition.
means. In tracking problems, the desired trajectory, called the reference trajectory, is
A control is provided to drive the device toward the road, which may not be zero or constant. One must be careful about the meaning of stability in the context of parameter avalanches.
Yes, because FA does not consider any state to be a "zero" state. PA only associates new observations with points in the probability space and then estimates the probability that those features are present in later observations. The PA stable state consists of a set of (presumably empty) TFDs whose orbits are geodesic on IG16 Rakuji, i.e. the predicted error.
It consists of a set of TFDs that are not accelerated by distortion of the refractive index field due to rays or induced accelerations of any ponds. Asymptotic Tracking and Disturbance Rejection Figure 10 shows the structure as a solid solution to the gradual tracking and disturb rejection problem defined in pages 504 to 503 of the Cheno paper.
The construction is shown. This is a ``shape-space'' solution and is suitable for implementation using a parameter avalanche. This is t! It employs an internal model (called a servo compensator) of a basic signal generator and a disturbance generator that are connected to the measurement and measurement system. The servo compensator (S/C) receives the difference between the output of the device and the reference signal, which is the same as the sensor input modulating the state of rG16 in the parameter Avalannoe.
Modulate the state of the servo compensator accordingly. The S/C state is given to the gain matrix.
, this gain matrix transforms it into a state feedback stability control (if any).
Control JtJ? Convert to ili foot. The equipment is observable and controllable.
It is well known that state estimators can provide state feedback.
This is knowledge, and is pointed out on page 506 of Cheno's paper. This is called the separation principle because it allows us to separate the state estimator problem from the control problem. If the output of the device is already matched to the reference signal, the V control m= input to the S/C will be zero.
state: Meng is stabilized, thereby providing a good quality signal to the gain matrix.
Figure 12 shows that two FA Kalman filters (PAKF) 6 and 118 are adopted for the state estimation function required for the tracker.
A block diagram of a control module 114 for use is shown. PAKF 116
and 118 are each followed by a gain matrix 120 and 122, respectively, for converting the state estimate into a control signal. This diagram is functionally the same as the tracking system described above and shown in FIG. However, this is a bit unreliable for two reasons. For one thing, PAKF, which uses IIkfr-like state estimation, improves its estimation.
In order to achieve this, the WL10 should have adopted a control input that could be used for some reason, but it was not adopted. Another thing is the gain matrix! 20 and 122 cannot be implemented as an adaptive neural network in the locations shown. In the PACM design shown in Fig. 112, the PAKF 116 that performs the state estimation for the feedback stabilization function encounters only the output of the device lO;
Different asymptotic shapes taken from Chapter 7 of the literature on! ! ! The design of the meter is shown.
This receives both the output of the device and the control power to the device. In the figure, an estimator 124 is shown in feedback with the device 10. The difference between the designs of FIG. 12 and FIG. 13 is that in the design of the Kalman filter it is assumed that the device 10 is driven by noise. In other words, the measurement
All deflections of the device trajectory with respect to the ground line are determined by the following equations. dx/dt=A(t)x This equation is explained by the device noise q(t). In other words, it becomes as follows. However, in the design of an asymptotic state estimator, this noise introduces a fairly deterministic component, which is constrained by
It is easier for users to understand if it is in the form of a control signal μ(t). dx/d t=A (t) , will create a control model during training. Since control signals tend to be generated independently from the device, one method is to
Alternatively, attempts to train a PAKF on an observation orbit that could be pushed forward at the same point in subsequent attempts run into great difficulties in creating a good quality model. . However, if the control signal is accessible to the PAKF through an appropriate mechanism, it becomes the “organizer” of novelty during training.
It can also act as an accelerator for estimator convergence during reproduction. By comparing FIG. 13 and FIG. 7, it can be seen that the mere functional difference between the PAKF and Cheno's design (FIG. 11) is actually the accessibility of the control signal to the estimator. Recognize. This control signal is made accessible by combining the stabilizer and servo compensator PA' into a single device and providing for the novel process itself to function as a control for the device. Regarding the gain matrices +20 and 122, their basic function is to place the eigenvalues of the composite system in the left half of the composite surface without saturating the controller.
The goal is to move it as far to the left as possible. The important point here is that the gain is acceptable if the composite system is asymptotically stable (in the above sense). If a gain drives the system towards the reference signal faster, that gain is soaked more than another gain. As mentioned above, the use of new methods may occur following, or rather before, the process.
The fundamental reason for applying the gain matrix is the state estimator and the control person to the device.
It has been shown that when attempting to apply a gain at the usual locations between forces, the information necessary to adaptively create this gain is not available in a form suitable for neural network implementation. Mathematically, this transposition of the matrix is easy to perform. Also fruit
From a practical standpoint, rather than having to solve the eigenvalue problem,
can be calculated by adapting the matrix transposition term of . Among the obvious benefits of adaptive calculations is that, for example, if someone cross-wires an actiniator motor, the gain matrix
Rick's learning method detects the fact that the control signal increases the magnitude of the error between the reference signal and adjusts the matrix to invert the signal to the motor. In FIG. 14, a preferred PACM design is shown, where the gain matrix is implemented as IIC in the knob 14.
It's already gone. Each of the knob neurons has an output n(1), and this output n(t) is input to lG16 and via line 126 to the output! 10 is input. The device output y([) is input to the error block +28. This error block 128 subtracts the value of external input r(t) from y(t).
and gives the human power value e (t) to the knob 14. 1 wealth, each/napus: is adjusted according to the product of its input and the output of the neuron 28. However, the output of the Nobum neuron nJ(C) is the difference between the reference signal and the U measurement.The tracking error, FW given to e=ry, is the only important point. This error
The first 0 component of , i, nobum 14-''), which is input to every element, becomes available by chance.The learning objective is to minimize the absolute value of this error. Therefore, ← adapt the gain matrix to the following learning method. , if the first component of the tracking error is positive and the projection of the error vector of the input nonapse vector is increasing, it means driving K I J towards zero. On the other hand, Tracking
If L is positive and the projection is decreasing, K IJ is driven away from zero. In other words, an error that is increasing in size or increasing in size:
Weights that have the wrong f sign with respect to the effect of
It needs to be moved forward. In order to avoid control saturation, the learning method may need to be modified slightly. Saturation occurs when n+(t) approaches −1 or −1, which are the upper and lower asymptote of the Novmungma function. By pushing the KIJ further away from zero, the
The effect will be negligible and may result in numerical overflow of the synaptic weights. One solution is to stop learning by coupling the rate constant β to the size n+(t). To illustrate the workings of PACM in more detail, we will take a simple example step by step. In this example, the observation is a measurement of the firing angle of a rapid-fire gun barrel installed in a transfer plant system. The operator is given a reference signal and in this example:
Assume that the reference signal of is initially zero (horizontal). This is a −dimensional example.
Assume that the knob 14 contains one neuron, but the IC may contain several hundred neurons in a one-dimensional space. Assume that PA12 has already been trained as described above to observe and estimate the angle of fire without stabilizing by driving the car in a proper manner and while firing the gun. After this training, lG16's Nerve M! i34 is related to the range of angle of incidence.
It becomes connected. As mentioned above, even though the IC neurons 34 are on a discrete grid, the probability estimation can be captured between them, so the IG estimation:i is actually continuous. The output of the knob 14 is then connected to a vertical actuator and given a zero base @ signal, so that the input to the knob 14 becomes the actual shooting angle of the gun. In the following explanations of various cases, y(t): is observed, and is the angle of incidence (positive as above).
horizontal), e (t) = r-y (t) =-y (t) is track
Ngunilla-1P(x(t)iY(t)) is the track value assuming the observation history.
IG estimation of the king error, n (t) is the output of the knob which can be controlled by the actuator u (t ), and K(t) is the system in the knob 14 that receives the input -(1).
is the (scalar) value of the napus weight. Case l: n(t) is connected ``properly'' to the actuator, so the controlled acceleration of the gun's firing angle is directly proportional to n(t). K(0)=+l, x(0)=0, y(0)=O, and the maximum probability of P(x(0):Y(0)) is greater than or equal to the IC neuron encoding the zero angle of incidence. It is. When t=1, there is an action to increase the shooting angle of the gun.
impulse disturbance is applied. Case 2: Same as case l, except that the actuators are cross-wired, so the vertical acceleration of the ray angle is inversely proportional to n(1), i.e., when n(t) is positive. , go down. Explanation of Case l When the experiment starts, the IC prediction is accurate so n (0) −〇. follow
Therefore, the experimental and TFD solitary waves are powerless and rest at zero at lG. When t = 1, the gun obtains a constant upward firing angle rate due to interference (gun firing)
Assume that This force, whose velocity I becomes negative, slows the gun until it returns to horizontal. However, the observation of that negative velocity reverses the sign of n(t), preventing overshoot of the reference. FA force response knob output to input that rises and then falls
force) is first directed in the direction of the impulse (if K is positive), then bipolar in the opposite direction.
It's a last swing. In this way, the control action stabilizes the device at the reference level. The learning method calculates the payoff value as if [trust! Note that it reacts to fairly severe errors as if it had not. This is because until the control action takes place,
This is because errors such as But if the control action is accurate, the error will start to decrease and the gain matrix will return to its reliable state. Since the learning rate constant β controls the time constant for adaptation, β can be adjusted to allow for the potential for feedback loops.
It really needs to be adjusted. Case 2 Description Assume that after all training and gain adaptation from Case 1 is done, the elven tongue actuator is cross-wired. Then, when a disturbance occurs, the control action goes in the wrong direction, thus increasing K from +1 to some negative value, since the negative derivative with respect to the negative error is expanded rather than corrected. Lasts long enough to drive up to. This: Trick the knob output to change one sign, thereby reversing the actuator torque. This simply slows down the gun, even though the feedback potential does not actually cause /dt to become negative yet.
rather) continue to push negatively. If all this is done fast enough to prevent damage to the equipment, a new adaptive gain K or a cross-wire actuator can be turned on.
reset and resume stabilization of the system. These examples make it clear that adjustment of the reference signal also controls the firing angle. This is because, as far as PACM can tell, raising standards is equivalent to lowering gun barrels. This criterion is used by the (human) operator of the system to
Also: It would be great if the pond control signals from other PACMs were given in cedar. Finally, II! In addition to the signals shown in Figure 14 (assuming here that the reference can be compared with the U measurement y(t)), there are two additional methods.
It is easily recognized that there is a law. ! Knowing the abstract model coding in the Nii
When decoded and compared with the U measurement, the resulting estimator error n([) cancels out the integrated distortion but moves the device in the desired direction. Stem 3 method is hardwired
This is a method of directly introducing a control signal to the knob 14 via the ear excitation nonabs. Ta
However, it is assumed that the open loop control signal is already somehow known. All three methods are clearly equally effective. A number of important experiments have been carried out to verify that the processes essential to parametric avalanche design are implemented as desired and expected.
It was. All of these experiments produced erroneous results, so the training and reproduction experiments were performed using the simple TFD propagation method, but the Fermi Buster Urano (Ferli-Pasta-U 1an) The nomulanes of the equations were also performed on a one-dimensional lattice of neurons. Nomule
Three types of boundary states were used in Notan. That is, Dirichlet (lattice termination)
Neumann (lattice P: held zero at point r2 amplitude), Neumann (lattice P: held zero at point r2 amplitude)
derivative) and JIIO! functions (terminals of the lattice connected together). Since the FPU equation is anisotropic, the first disturbance causes a positive pulse moving to the left.
A negative pulse moving to the right is generated. Both non-FRIcIl#l boundaries
In the 0-period #Il boundary state in which some wave reflection occurs from the end of the grating depending on the state of the lattice, we can perform nomulation until the left and right waves collide, and after the collision, the waves appear completely at the end. It was confirmed. Figure 15 and Figure 15! Figure 6: Shows the results of such an experiment. The boundary state is rWRAPj, which determines the maximum
The first disturbance was ℃. At times, the waveform 129 is propagated left and right. The obstruction to the left is that
Waveform 129 moves to the right and forms waveform 133, and waveform 131 moves to the left and reenters the array from the right with a slight delay as waveform +31. At times, a waveform 135 is formed. Note that disturbances moving to the right are positive and disturbances moving to the left are negative. This is the nonlinear term in the FPU equation.
The opposite of what occurs for the normal sign of
Since it is desirable that In FIG. 15, at time t1, the left and right waves 135 and 133 reach the collision point.
The experiment will proceed without exceeding the collision point. Figure 16 shows two waves 133 and 135 during the collision, shown by curve +30, and after the collision, shown by curve I32, which excite one of the important properties of a solitary wave, and the parameter avalanche. This proves the feasibility of one of the most important elements of the design. Kasa! Chemiresi showed that a learning algorithm extracts the time derivative of an incoming signal. In these learning experiments, parameters covering 10 neurons were
The Luz was lowered into a one-dimensional IG grid, and during its movement, the time-series pattern was input into the Nobum. The sequence of synaptic weights stored in the IC lattice encoded the time derivative of the input, and the sequence of sequence weights stored in the knob encoded the negative of the time derivative. Figures 17 and 18; IC+6 and offset for the onset and offset of the boxcar function input to pixel 5 of the knob
The responses of the synaptic weights of the synaptic knobs 14 and 14 are respectively shown. Figure 17 shows the IC God
This shows that the onset was most strongly recorded in transneumn cell number 25, and IC neuron number 25 is the location of the moving solitary wave immediately after the signal arrives (to IC neuron number 20). The offset was recorded at IC neuron number 88 (signal was turned off when the solitary wave was at number 80). The graph in Figure 12 shows each of the 100 IG neurons.
The values of synaptic weight #5 for each are shown clearly showing how the novelty of the temporal signal is spatially distributed over the neurons of the IG. Note that the synaptic weights at the equilibrium point just before the boxcar offset do not reach the zero level. This principle
The reason is the second. It is stated in Section 3.1.
The graph in FIG. 18 shows synapses regarding each neuron 28 (i!i element) of the knob 14.
Indicates the value of the space weight. Curve 134 is the learnable system for pixel number 5 of knob 14.
All naps are shown.
Other pixels that received no input are also shown and their synapses receive input from rG.
Even though it is receiving a force, its weight is at its initial value, which is approximately zero (C-,01,
, 01). These weights
The weights in Figure 17 are negative, rather than being spatially distributed as in the IC.
Rather, it should be noted that it is partially concentrated in single neurons.
These experiments are a new method for incident signals! l! The ability of PA to extract
As a result, the internal display of the input pattern, which changes over time, can be optimally compressed.
It will shrink.
1 view
At the position on the TFD trajectory that corresponds to when the leading edge of the new pattern occurs, the first new
The leading edge is spatially taught on the lattice synapse in a pattern that reproduces the input.
This experiment shows that. In the absence of time-lag effects on FA dynamics, prolonged “
The leading edge of the "Boxcar" signal is replicated extensively along the TFD trajectory.
Ru. Then, when the pattern is reproduced, the track
Activate the whole. This is clearly a rather undesirable waste of resources.
To demonstrate the ability of the second PA to identify input patterns associatively, Nobum 14
Similar to this boxcar experiment, except giving some input to the square pixel.
A learning experiment was conducted.
The input on 12 pixels is ``Mekinokanono\Budeau function spatial appearance and box
Raised Scar's temporal shadow 9. 7. To avoid unconditioned responses, l
To reproduce without the presence of uniformity (TFD) in the threshold field of G16
was tested. When the Mekinoka hat function is turned on, neuron number 25
Naps has the largest positive
I found that it responds with the output. Neuron number 88 has a synapse that receives negative input.
Maintained because the strongest negative output was experienced. (Actually, Figure 17 shows Mekinkan
It almost accurately shows the activation level of IG at the onset of the note λ. vertical axis
is rescaled and its number appears on the horizontal axis: activation factor
It is called Re-I. ) When the Mexican hat is turned on, neuron number 88 reaches maximum
responded with a positive output. This is because the tip rate is the Mexican hat function.
This is because it is aligned with negative.
The pattern and feature recognition ability of PA is based on the bricondin locus of the threshold field.
When the matching effect is turned off, it is the same as any pond template matching detector.
This experiment proves that. But of course, the FA
Threshold field dynamics not only control butter 7 learning, but also
It has the advantage of controlling reproduction in the presence of a large observation history.
FIG. 19 shows neuron 3 within IG16, which consists of a single processing element, as described above.
A block diagram of one of four is shown. Each of these treatments IX:
For example, a two-dimensional system or two is a
Arranged in an array of processing elements. Each of the processing elements in the array is shown in FIG.
Illustrated as an example. The processing elements in FIG.
The signal vector input N(x,t) is received at a set of inputs 140. moreover,
Input 142 is from the selected node, which in the preferred embodiment is a neighboring node.
Receive adjacent threshold levels. However, these threshold levels are
understand that it can be received from other nodes or neurons within the IGi child.
should.
Each processing element consists of an IG processor +44 and a threshold level 146.
Input 140 is input to IG processor 144 and input 142 is input to threshold level 1.
46. in communication with both the IG processor 144 and the threshold level 146.
A memory 1 interfaced to the processing elements via a bidirectional bus 150, as shown in FIG.
48 are provided. Block 152 includes a processing element that calculates the activation level.
represents a part. This is within the IC plane 144. Furthermore, the stage to calculate the weight updates is
A block 154 indicating floors is provided, also within the IG 144.
The threshold plane 146 also includes a block 156 for updating the threshold.
It is. Additionally, a clock 158 is provided for operating the processing elements of FIG.
There is. As mentioned above, each of the processing elements is asynchronous and runs on its own clock.
make
This is an important aspect of parameter avalanche.
The output of activation block 152 is input to threshold function block 158, which
Threshold function block 15B is generated by threshold calculation block 156.
Determine the output on line 160 as a function of the threshold. As above, Shiki
The low value is low only near the TFD. The output of block 158 is shown in FIG.
consists of the output of an IC neuron or processing element, which is also a computational weight update block.
154 to determine new weights. activation block
The output of 52 is also input to threshold level update block 156.
Block 152. 154 and +56 are essentially multi-board memories.
memory 148.
This is because each process operates independently. That is, the synaptic weight is
, fetched from memory 148 by activation computation block 152 during the update.
Ru.
In operation, when a signal is received from Nobum on line 140, the activation computation
Block 152 loads the weights from memory 148 to calculate activation levels.
I have to play fetch. This is then input into threshold block 158.
It will be done.
At the same time, the threshold output from each of the interconnected (preferably adjacent) nodes
A force level is received and produces a threshold level at the processing element or node.
This is used to set the threshold level that is input to the node, and
Therefore, the output level is determined. As mentioned above, if the threshold level is low,
Output is generated even if the activation level is very low.
However, even when the threshold level is high and the activation level is very high,
force may be generated.
In order to update the weights stored in memory 148, the input signal is
It is necessary to know whether the output signal is present and what state the output signal is in. this
indicates which weight value is currently δW,,xαI n+0utJ.
It will be done.
Whenever the weights are updated, it is considered learning. Naturally, the weight update
In order to be computed, there must be an output on line 160, which is
, due to the fact that learning occurs primarily within the TFD domain. The learning algorithm
Although it cannot be said that it is not working, no updates are made to the weight values.
However, when an output signal occurs, the template currently stored in memory 148 is
The target is changed to include a copy of the current input pattern.
Three situations can occur. The first state is such that the system has to learn
This is the state when the system is initialized and nothing is stored in the template.
As the solitary wave moves across the processing element and the threshold level decreases, misalignment and
The presence of the threshold level increases the signal level on the output and the observed image
is stored in a template in memory 148. In the second state, the TFD requires processing.
However, the input signal misaligns with the memory, resulting in an activation block.
produces a high activation output from block 152. In the second case, a mismatch will cause the output
Either it doesn't happen or it happens. If no output is generated, the memory
The upgrade rate remains the same. If you want to generate output, the memory template should be
, any signal is transformed to appear activated. The third state is
Solitary waves pass across certain processing elements, thresholds are lowered, and incoming
This is the state when the signal actually matches the tip rate.
The output actually goes high because it matches the template, but the template is
Since it looks like what was first memorized, it is only strengthened, and the shape is
does not change.
FIG. 20 shows a God@cell in Nobum 14, which consists of a single processing element, as described above.
A block diagram of one of the 28 is shown. Each of these processing elements is an example
For example, an array of processing elements may be arranged in an MXN array for a two-dimensional system.
Each of the processing elements in the array is illustrated in FIG. 20 and is indicated by one.
The processing element in FIG. 20 receives a signal vector input from the output of the observation matrix lO.
, received on a set of inputs 170. The processing element of FIG. 20 also processes input 1 of the second set.
On 72, it receives the output from lG16.
Each processing element consists of a computing device and memory 174. The memory 174 is
It is interfaced with computing devices via a communication bus 176. The computing device is a computing block.
Calculate the activation energy within lock 178. In addition, the computing device
Weight updates are also calculated, as shown at block 180. Weight update calculation block 18
0 multiplies the learning part of Nobum. Block 178 and block! Both 80 and
It also receives input from both the signal vector input and the IG output.
The output of activation calculation block 178 is as described above and also from the bipolar function.
is input to a threshold derivative block 182. of the threshold derivative block 182.
The output is input to the weight calculation block 180 and also to the Novum output on line 184.
give. A clock 186 is provided to operate the Nobum computing device.
peek
Figure 21 shows an example of application of parameter avalanche...classical r blue.
Mbalane song (broom balaneir+g) - problem is shown.
In this problem, a cart 186 has an upright member 188 on its upper surface.
, mounted at a pivot point 190 at the lower end of member 188. Part 1
A weight 192 is arranged at the upper end of 88 . The purpose of this problem is to
The purpose is to maintain member +88 in an upright and upright orientation.
The parameter avalanche in this example consists of 100 neurons in lG194 and a single
It consists of 196 monobum neurons. Nobum neurons are 100 in lG194
(receives as input the output of the neuron I, and the angle from the perpendicular with respect to the cart 186
It also receives a single observation input indicating the degree. The angle theta is input to the negative input of summation block 198.
and its positive input is connected to the signal REF ISG. output is block
200, which block 200 receives an adaptive gain input at its other input.
Ru. The output of block 200 provides observation input to knob neuron 196. car
The control input to the target is horizontal acceleration, which is provided by the network. Nobum
The output of the nerve wire 11196 is on the output line 204.
input to each of the neurons. Furthermore, the output of Nobum neuron 196 is
gain scaling block 206 in port 186 and provides a control input.
I can do it.
The threshold field is shown by a moving TFD 202 across the IG neuron from left to right.
be done. This rG is a -dimensional IG.
The Knobum output is a smooth approximation of the derivative of the input (when the input is completely new)
Therefore, the knob acts as a “derivative controller”.
Figure 22 shows the time spread of the angle from the vertical and the corresponding knobm output.
ing. Figure 22 (A random disturbance is introduced into the system as described below.
It is the same as FIG. 21 except that it is In this example, a new
The lameter avalanche generates a control signal that is
Maintain the pendulum in its upright position by applying a horizontal acceleration to the pivot point.
Ru. The simulation consists of a loop over time variables, each cycle of which
, the real angle of the reversing pendulum (in radians away from the perpendicular) and the desired zero angle.
Multiply the error (difference) with the Gian angle by the gain coefficient and calculate it as the parameter avalanche.
It is given as an input to the Nobum neuron 196 of the model. parameter avalanche
The model then changes its state one increment in time according to quantum neurodynamics and learning methods.
as the control signal (horizontal acceleration) for the movement of the pivot point 190.
It is recommended to give an output to the Bum neuron 196.
(Nobum output is limited to the range -1 to +1 by the sigma threshold derivative.
Therefore, before it reaches the pendulum model, it is amplified by a constant positive function.
It will be done. ) Next, the update subroutine for the adaptive adjoint matrix gain coefficient
This gain needs to be adjusted for optimal effect. Finally, the pendulum model
, by a simple double integration of the second order difference equation, by one increment of time.
advances the state, thereby determining the f second real pendulum angle to use in the next cycle of the loop.
It is necessary to have two and two to produce I.
For this purpose, quantum neurodynamics of the FA model or nonlinear
-Rather than the actual integration of the Dinga equation, it is realized in two naive ways.
That is, the threshold value dibretsunotan (TFD) 202 is a global type application.
The algorithm propagates along the -dimensional 10m child 194, and this algorithm
are 100 equally spaced TFDs in each pair of IG neurons.
can be interpolated. TF’D202 is specified by the operator during operation.
move at the same speed.
“Providing for the modulation of this velocity by a distortion-driven, mechanism (distortion of the refractive index field):
No, because before the TFD202 passes, the nonaps of each TG nerve a vesicle is laminated.
This is because it is assumed that they are initialized randomly. Naturally, these
As the TDF 202 passes according to the learning method, the synapses of the program
will be processed.
TFD202's +s'ih<, Nobum and! In relation to the learning speed of G synapses
If it's too loud, the output of the knob is simply a noisy version of the input signal, noisy.
The variance of the values depends on the variance of the random initialization of the nonapse weights. Minimum
Approximately 2 or more IGs per second? The velocity of the Il transducer generates this overlapping output.
However, experiments have shown that this is not useful for controlling the pendulum. speed per second
When the number of neurons is reduced to less than two neurons, the noise disappears and the phase angle of the Nobum output becomes
Start deriving the phase angle of the force and move towards the time derivative of the input signal. by this
, the knobum output acts as a derivative controller for the pendulum. (Also, the input signal
The differential form of IG
be memorized in the synapses of However, in this simulation link, it can be used successfully.
Not used. ) Furthermore, approximately 0. TFD changes rapidly to less than 5 neurons
By reducing the
Ru. The reason for this is not yet clear.
Cimini Reno Gin shown in the graphs of Figures 22 and 23 is Cimini Reno Gin.
The TFD rate of one IC neuron per second was created. program software
Software listings are listed below. I created the graph shown in Figure 22.
The input data (shown in Table 1 and the output data that created the graph in Figure 23)
are shown in Table 2, and this list uses the same names as the graph, but r,
It has DAT and J extensions. The main difference between the two is that in Figure 23, RA
The velocity of the pivot point has a random
This meant that there was a lot of interference.
Table 1
Table 2
30 5CALE
OREFS Engineering G
5 sections 50K
I GM Engineering N
25 GMAX
I VEL
O,1 ba
Typically, a control system passes the state estimate through a gain factor to the input of the device.
It is designed by Koni, who gives an appropriate estimate of 7. However, this design
placing the adjoint matrix representation of the result between the output of the device and the input of the state estimator (FA)
It is adopted by This allows FA to change the internal display of the device.
without further conversion or scaling by positive amplification.
The state estimate will match the control input to the device. This is the FA output
By placing a gain between
does not match, but if we put the gain in the observation path, the information matches the neural calculation method
It's for a reason. The UPDATE subroutine inputs the input to the knob (tracking error).
) and the gain is adjusted to have the opposite sign of the knob's output (control). So
If the output of is approximated to the time derivative of the tracking niller, such a gain results
, any tracking error will be driven to zero by the control signal.
Ru. Of course, if the gain happens to be negative, then PA is the inverse of the observed result.
image, which has the same meaning from an orbit control standpoint.
necessary to obtain one signal from the knob to both the device and the FA model of the device.
This is important.
Having described the preferred embodiment in detail, the invention is defined by the appended claims.
Various changes, substitutions, and modifications may be made without departing from the spirit and scope.
You should understand that.
FIG.i
Fl, 3a Fl, 3b
FIG, 3c
FIC;, 75
FIC, 16
J25'+=su1suU,;
+ 12 23 34 45 56 67 78 89 100Fl, 17
+ 12 23 34 45 56 67 78 89 100FIC, 1B
On Fl, 19
Boom I-1゛u)shi〉2+
Shi no 1 - Shi 1
FIC;, 27
Fl, 22
FIC;, 23
00001 PROGRAM BROOM Figure 24oO mouth o2
00054 ERROR-0゜
00056 DELTA -0°
00071 END 1?
00074 51G - GAIN meeting! ! RIIOR00088CALmu υPD
ATfGAIH, ERR01'l, Ll, ALPIIA, BETA, CMIN,
GN^X)00001 5UIIROU? ! Ill! SYSTEM(?Mt?
A.DTME? A, FOVERM, R, D? 100003 C5TANDARD
“LOGI5TZC-SZCMOKOFIJNCTIONNoooo BMA
-B-A
00008 K --4, Meeting! 'X/BMA00009 Y-I MAX(-
88,, MIN (811,, E)) 0001OSXGMk -A + BMA Ha
1. +EXP(Y))00012 RE? URN
00013 END
NUMBEROr WARNKNGS XN PROGRAM ([1F:
ONUMBEROF ERROR5XN PROGRAM CFNZτ2 ON
UMBEROF WARNKNGS Engineering N COMP Engineering LAτ Engineering ON: , O
NUMBER50F ERROR5XN COMPILAτ ON:00000
1 5UIIROUτLNE TRAM! ++Gini! LD, LEN,! '051
o002
00011 CXHXTDLXZE TRI! POL! E ARRAY000
21 CPO5XTXON THT: PIJLSE ON? f4E FrE
L (1゜00004 CNoT!l COMPrL! WITH-5kVt”
! W! rcH-0N-oooos
00009 G a GAI)1
00010 R# -5IGN (RATffi, C100015G -04DK
LrA
00017 rFiAB! (G1. L? , GM! NI G --G ＊ 2. −
ffiEL? A00019 GAIN -1u! (-GMAX, MINJGMA
l, G1100022 END
NLIMIIEROF ERROR5rN COMPILATrON: 0 countries
international investigation report
mA Gen-Aya-"" PCT/CB 90100932