JPH06509670A - 差分ニューロンを包含したニューラルネットワーク - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】

発明の名称 差分ニューロンを包含した二二−ラルネットワーク発明の技術分野 本発明は、人工神経細胞および二１−ラルネットワーク（人工神経細胞網）に関 するもので、これらは、大部分が並列的であり、且つ高度に相互接続された非線 形演算ノードを利用することができる。 発明の背景 人工神経細胞網（以下、ニューラル本ブトワークと称す）の歴史は、７１クロー チ（ＭｃＣｕｌｌｏｅｈ）およびビッツ（Ｐｌｔｔｓ）によるパイオニア的な仕 事により開始される。両者の著者１数学的生物物理学プリテン”　（１９４３年 発行、ｖｏｌ、５．第１１３〜ＩＩｓ頁）の記事“神経作用における切迫した考 えの論理的演算”によれば、簡単なスレッシュホールドデバイスとしてモデル化 された神経細胞（二ニーロン）は、論理機能を実行することによって演算可能で あることが開示されていた。　１９６２年にローゼンブラート（Ｒｏｓｅｎｂｌ ａｔｔ）は、′ニューロダイナミックの基Ｉｌ！″にコーヨーク州の５ｐａｒｔ ａｎ　Ｂｏｏｋｓ社より発行）を書き、単一の神経細胞層を持った適合性（学習 ）神経細胞網“パーセプトロン（ｐｅｒｃｅｐｔ　ｒｏｎどを定義したその後す ぐに、これら単一層神経細胞構造は限定された有用なものであることが確認され た。演算上、更に大規模な多層適合性二コーラルネットワークが研究され、以下 の書籍が発行されるようになった。即ち、１９８６年、ディ・ランメルハート（ Ｄ、　Ｒｕ■ｅｌｈａｒｔ）およびジェ・ンー・マツクセランド（Ｊ、Ｃ，Ｍｅ Ｃｌｅｌｌａｎｄ、　Ｅｄｓ、、）により“並列分配型処理”　（ＭＩ７プレス 社、ケンブリッジＭＡ）が発行され、これには、多層適合性学習手順が記載され ており、この手順には、広く知られたく周知の）バックブロパゲーン曹ンアルゴ リズムが包含されている。 従来のニューラル本ブトワークは、主として、前述のマブクローチおよびビッツ （以下、単に畦と称す）の神経細胞モデルに基づいたものである。このＭＰニュ ーロン（神経細胞）は、非線形、通常はＳ字形状のスレッシュホールド関数に供 給された入力の加重総和によって決められた出力を発生するモデルに基づいて予 測されるものである。本発明の神経細胞モデルは、非ＭＰ神経細胞に基づくもの で、局部的受容性・フィールド、即ち差分二ニーロンと称される非畦ニューロン に基づくもので１、−の二、ｓ０７モデルは、差の測定四重を利用し、て推測さ れるものである。、二の差の測定規準は、差分ニューロンに供給される、入力ベ クトルと変更可能な基準ベクトルとの間の差の測定規準を表す。６二】−ロンの 出力は、これら２つのベクトル間の距離の測定規準と、この測定規準に与えられ たオフセットと、更に、差分二ｊ−はンの非線形出力とによって制御される。 ニューラル本ブトワークに対する代表的な４つの適用分野としては以下のものが 包含されている。 （１）ノイズで汚染された、または不完全なパターンの分類。 （２）入カバターンからクラス見本を発生ずる、組合わせまたは内容をアドレス できるメモリ。 （３）イメー／′オよびスピーチデータの帯域幅圧縮に対するベクトル量子化。 （４）多変量非線形関数の近似法および補間法。 これらの応用の各々において、デ・−夕のかたまり（集合）を識別する能力は、 １１要な属性である。単一のＭＰニューロンは、Ｎ−空間における超平面、即ち 、２−空間における直線によって決定空間を分割できるだけである。この特性の ために、このＭＰ：′−コーロンは、直線的分割可能な識別子として知られてお り、この識別子はデータ空間を２つの半部に三等分することに限定されてしまう 。また、ＭＰニューロンの三層ネットワークでは、信号ベクトル空間内の閉鎖領 域を超平面手段によっで隔離する必要がある。 Ｎ−空間内の一回転楕円面状領域を、それの中心部を基準ベクトルによって規定 された点に配置することによって隔離すること、その半径（または選択度）をオ フセットによって制御すること、適当な差分の測定規準を選択することによっで そ第１．形状を制御できる能力を有する単一の差分ニューロンを実現することが 本発明の目的である。 差分ニューロンに関する従来技術の文献が種々に存在しており、例えば、ポギイ オ（Ｔ、　Ｐｏｇｇｌｏ）およびギイロ／（Ｆ、　Ｇｌｒｏｓｌ）著の−Ｒｅｇ ｕｌｉｒｌｚａｔｉｏｎ　Ａｌｇｏｒｉｔｈｍｓ　ｒｏｒ　Ｌｅａｒｎｉｎｇ　 Ｔｈａｔ　Ａｒｅ　Ｅｑｕｌｖａｌｅｎｔ　ｔｏ　ＭｕｌＬＩｌａｙｅｒ　Ｎｅ ｔｗｏｒｋｓ−（１９９０年２月Q３日発行 のサイエンス、ｖｏｌ、　２４７．第９７８〜９８２１’りには、多層ニューラ ルネットワークが記載されている。この二ｊ−ラルネットワークは、入力値の加 重総和を構成するりニア（直線性）ネットワークと乎行なニューロンの単一層よ り構成され、これの出力は、単一の共通の加算接点と組合わされている。これら ニューロンの各々によって、重み付けされた半径バイアス関数が生成され、これ には、入力ベクトルと基準ベクトルとの間の差のニークリ・ｙドノルム上に非線 形演算子が利用される。 しかし乍ら、この文献において、著者達は、半径をコントロールするための差分 ノルムに対するオフセットの応用について教示しないと共に、超楕円形状のコン トロールのためのノルムを選択することにも教示しなか７た。 また、ハートスティン（＾、　Ｈａｒｔｓｔｅｌｎ）およびコーチ（Ｒ，１１， Ｋｏｃｈ）による二ａ−ラルネットワーク会議（１９８８年７月号ンディエゴ） 　ＩＥＥＥ刊行物”＾Ｓｅｌｆ−Ｌｅａｒｎｉｎｇ　Ｔｈｒｅｇｈｏｌｄ　Ｃｏ ｎｔｒｏｌｌｅｄ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ”（第１−４２５〜１−４３ ０頁）には以下の従来技術が記載されている。即ち、ポツプフィールド型のネッ トワークで、入力ベクトルと基準ベクトルとの間の差を表すための一次のミンコ ウスキー距離測定規準を利用している。これら入力ベクトルと出力ベクトルとの 間の差から生成される絶対誤差に基づいて、リニアヘビアン学習ルールが成り立 つ。しかし乍ら、この従来技術の文献には、選択制御におけるオフセットの有用 性について何ら教示しないばかりか、一回転楕円面形状の制御の目的のために差 分ノルムの選択についても何ら教示していないものである。 本発明の差分二）−ラルネブトワークは学習アルゴリズムによってサポートされ ており、このアルゴリズムによって、基準ベクトル重みおよびオフセット値が適 用され、これによって所定の入力ベクトルに対する所望の出力応答を近似するこ とができる。これらのアルゴリズムは基準ベクトルに関する誤差傾斜に基づくも のである。また、基準ベクトルは調整可能な重みより構成されており、入力ベク トルの各成分に対する１つの重みが各二ニーロンセルに対するものである。この オフセット値は、超回転楕円形の解像度、即ち、半径を制御する。 発明の概要 人工神経細胞にとって良好な弁別特性が要求される観点から、本発明の目的の１ つとしては、制御可能な超回転楕円面状弁別特性を有する差分二１−ロン（神経 細胞）を提供することである。 他の目的としては、ユーザによって超回転楕円の半径を制御することにより弁別 特性を選択的に調整できる人工神経細胞を提供することである。 また、他の目的と１．では、ユーザによって、一回転楕円体の表面影状を選択的 に制御して変数を提供することである。 また、他の目的としては、強調された弁別特性用の差分二ニーロンを包含したニ ューラルネットワークを提供することである。 また、他の目的としては、すべてのニー−ロンが差分二）−ロンである多層ニュ ーラルネットワークを提供することである。 更に、他の目的としては、差分ニューラルネットワークをディジタル的に実現で きることであり、この結果、標準の畦ニューロンと比較してより濃密なネットワ ークが実現できる。 従って、距離の測定規準を利用した人工神経細胞が記載されている。従来のマツ クローチ・ピラノ（ＭＰ）ニューロンとは異なり、即ちこの畦二ニーロンによっ て、入力信号ベクトルと加重ベクトルとのベクトルドツト積の非線形関数を生成 するニューロンとは翼なり、本発明の差分二講−ロンにより、入力信号ベクトル と基準ベクトルとの間のベクトル差分の非線形関数を生成するものである。これ ら距離の測定規準および非線形関数の種々のものについて以下詳述する。距離の 測定規準には、一般化されたミンコスキー距離関数（Ｍｉｎｋｏｗｓｋｉ　ｄｉ ｓｔａｎｃｅ　ｆｕｎｃｔｌｏｎｓ）が包含されており、この距離関数によって 、通常、一般化された超回転楕円形状弁別関数が導出される。また、出力弁別関 数を生成するに先立って、距離の測定基準に対するオフセット手段によって、弁 別式を選択的に制御する方法が記載されている。また、偶数および奇数対称性を 有する出力非線形関数についても記載されている。差分タイプ二二−口ンがマル チニューロンネットワーク中に組込まれている。 一好適実施例によれば、正方向送り二二−ラルネｙトワークを、少な（とも一層 の平行な差分ニューロンより構成する。一般に、この第１層の各ニューロンを入 力信号ベクトルと十分に相互接続すると共に、それ自身の基準ベクトルと十分に 相互接続する。この第１層の差分ニューロンの各々の出力の組によって、出力ベ クトルが構成される、この出力ベクトルを入力信号ベクトルとして第２のニュー ラル層に対して利用するか、または最終出力ベクトルとして利用できる。第２１ を利用した場合に、それのニューロンセルの各々は、組合わされた基準ベクトル を有している。このような方法において、多層ネットワークを構成することがで き、継続した層の各々は、それより前の層出力ベクトルをそれ自身の入力ベクト ルとして利用４−る。この最終層の出力がネットワーク出力層となる。 適合蟹正方向送り差分ニューラルネットワークが記載されており、このネットワ ークによって、これに組合わされた基準ベクトルの構成要素値を学習（適合）す ることかぐきるので、適合したネットワークの出力は、統＝１学的な観点で振舞 う。これの振舞いは、ネットワークの“１・１／−ユング１中に利用したターゲ ットバター二ノに従って行われるものである。このトレーニングまたは適合動作 は、所定の入力ベクトル（パターン）によって発生したトライアルの出力を、目 Ｉ！（所望）のパターンと比較すること、およびエラー測定規準を発生させるこ と、ならびに適切な調整値をこれと組合わせた基部ベクトルに与えて応答エラー を最小化することにより実行できる。従って、このトレーニング手順に基づいて 基準ベクトル値を調整する適合制御方法および装置が記載されている。同一の制 御システムを利用してこの二二−ラルネブトワークの動作を構築すると共に制御 することができる。 また、正方向送り二１−ラルネットワークを採用した帰還盟ニューラル本フトワ ークも記述されている。 図面の簡単な説明 本発明の特性部分である新規な特徴が付帯された請求の範囲に規定されている。 しかし乍ら、発明そのものならびに、これの特徴および利点は、以下の記載を添 付の図面を参照し乍ら理解できるものである。以下これら図面について簡単に説 明する。 図１は、従来の代表的なマツクローチ・ビ１ソ（ＭＰ）二二−ラルセルを示す線 図。 図２は、この計ニューロン中に利用される３つの代表的な非直線性（線形）を表 す線図。 図３は、種々の２次元の識別関数を表す線図。 図４は、差分ニューロンの機能ブロック線図。 図５は、一般化された２次元の超回転楕円（円形）のパラメータ処理された組合 わせを示す線図。 図６は、表示的差分二ニーロン出力の非線形およびそれに対応する識別関数を表 す線図。 図７は、２層の差分ニューラルネットワークのブロック線図。 図８は、マルチプレックス処理したアナログの差分ニューラルネットワークを示 す線図。 図９は、差分タイプのマルチプレックス処理したアナログニューロンの最新にお ける好適実施例を示す線図。 図１０は、マルチプレックス処理したディジタル差分ニューラルネｙトヮークを 示す線図。 図１１は、差分タイプのマルチプレックス処理したディノタルニューロンの最新 における好適実施例を示す線図。 図１２は、適合型ニューラルネットワークおよびフントロールシステムの機能ブ ロック線図。 図１３は、適合方法を説明するフローチャート。 図１４は、差分タイプの二ニーロンを利用した帰還ネットワークを示す線図。 図１５は、帰還ネットワーク用の基準ベクトルを発生する方法を示すフローチャ ート。 詳細な説明 ！、序文（ＭＰニコーロン） ７１クローチおよびビｌノ（ＭＰ）の二ニーロン（神経細胞）モデルは、人工ニ ューラルセルおよび人工ニューラルネットワークの従来例としては卓越したもの である□図１は、代表的なＭＰセルを示す機能ブロック線図である。入力信号ベ クトル”Ｕｏは、信号レベル（Ｕ３．・・・、ＬＩＮ）の並列組により構成され 、これら信号レベルは入力ターミナルＩ−Ｎへ供給されている。これら入力信号 の各々が加重帽み付け）手段ＩＯに供給されて、この結果、積Ｗ＋Ｌｌ＋＋Ｗ山 ＋”’、Ｗ＊ｕ、ｂ’表す一組の信号値をこれら加重手段の出力に発生する。こ れら積の項が加算１１１２で加算されて、以下のようなベクトルドツト積を表す 加算器が得られる：ｗ”ｕｗ　ＸＷＰＪｉ 更に、スーパースクリプトのＴは転置演算子である。この加算器１０の出力にも 、オフセット項一〇が念まれでおり、これを加算器１Ｇの入力に供給する。この オフセット項を、スレ１ンユホールド値とも称する。この加算器ｌＯの完全出力 、即ち、を、非線形変換手段１６に供給することによって、出力信号−ｙ’を得 る。ここで、ｙ＝　ｆ　（ｖ’ｕ−θ）　である。 この畦タイプの二二一うルセルで使用された代表的な非線形転送特性を図２に示 す。これら転送特性として、図２ａの符号関数、即ち、バー　ドリミブタと、図 ２ｂの線形スレッシ１ホールド論理演算子と、図２ｃの５字関数、即ち“ソフト リミッタ”とが含才れる。概念的な表示によって、これら加算器１２、オフセッ ト１４、非線形変換手段１６を、単一の非線形演算または処理エレメント（ＰＥ ）１８に組込むことができる。 人工ニコーロンの品質を向上させる有用な方法は、ベクトル空間を論理的に分離 または分類できる能力によるものである。例えば、図１に示した代表的な２次元 ＭＰニューロンについ°Ｃ考察する。この加算器１２の出力は以下のものである ：ｖ”ｕ−θ＝Ｊ１１１＋Ｗ−ＬＩｔ−７？この合計値を非線形出力１６に与え ると、図２３に示したような非線形の符号関数となる。この出力°ｙ”は以下の ようになるｙ＝ｓｇｎ　（ｗ＋ｕ＋＋マ５ｕｅ−θ）更に、　ｙ＝　＋　ｌ　、 Ｗ１１１１＋Ｗ１Ｌ１１−〇〉０の場合−１，それ以外の場合 これは、Ｕ、、Ｕ、面の２つの領域を弁別できる能力を意味する。これら２つの 領域間のボーダーラインは、以下の条件を満足するラインによって表される。即 ち、ｙ−ｏ　または Ｏ＝１＋ｕ＋　４−ｗ、む−θ ｕｌについて解くことによって、以下が得られる：・ノまり、−（Ｗ、／豐ハの 傾きを有する、ｕｌ、ｕ、平面内の線形方程式および図３１に示したθ／９１の 縦座標オフセットが得られる。陰影の付いた準平面は、Ｌｌ＋、ｕｔの値に対応 するのア、この結果として、符号関数の偏角は、０より小さいものである。即ち 、 曹ｔｕｔ＋マ１ｕｌ−θく０ まｔこは、　Ｗ＋Ｌ＋＋＋Ｗ＊ＬＩｍ＜　０図２ｂおよび図２Ｃの非線形特性は 、同様に、この平面を、“ぼやけた（ファジィな）′転移領域を除いて２つの領 域に分割するようになる。図２ｂのスレ１シ１ホールド論理非綿形特性は、２状 態出力および線形転移領域を有するリミ’？夕である。図２ｃの５字関数は、小 さな（〜Ｏ）入力に対してほぼ線形領域を有するソフトリミＩ夕である。しかし 、これは、時として、非線形特性の選択となってしまう。 その理由は、この５字関数の′滑らかさ“によつて、微分可能性が保証されるか らである。即ち、周知のバックブロジエクンＪンアルゴリズムのような適合戦略 にとって重要な特性である。 一上述した分析を三次元まで展開した場合に、境界条件は以下のようになる：ｗ ｌｕ、→−曹＋ｕｗ＋１１ｕｈ＝θ これは３空間における線形方程式であり、この３空間は空間を２分する平面を表 １０更に追加の次元、例えばＮ空間を導入するとこれは、これに適用される空間 を２分するＮ−１次元の超甲面となる。 ２、差分二ニーロン 図４は本発明の一好適実施例の機能ブロック線図である。ベクトルドツト積”豐 Ｔ、−に基づいた従来のＭＩ’二ニーロンとは異なり、本例の二ニーロンは、入 力ベクトル゛１１−と基準ベクトル°Ｗ−との間のベクトル差、ならびにこの差 分を表す測定規準、即ち、距離関数ｓ（ｕ、ｗ）に基づくものである（　Ｗｏｒ ｎ／Ｗｏｒｎ共著−Ｍａｔｈｅ＋＋ａｔｌｅａｌ　Ｈａｎｄｂｏｏｋ　ｆｏｒ　 ５ｅｉｅｎｔｌｓｔｓ　ａｎｄ　Ｅｎｇｌｎｅｅｒｓ−マグロウヒル社刊、１９ ６１年３４５頁、セフシーン１２．５−２）。 図４に戻り、入力ライン２１によって、入力ベクトルｕ”’（１１＋、ｕｓ、・ ・・、Ｕ＋＋）の各エレメントを、一般に２５で表示される差分ユニットへ供給 する。また、入力ライン２３によって、基準ベクトルマ；（マ１．”ｌ＋・・・ 、！、）の各エレメントを、これら差分ユニブト２５の対応のターミナルへ供給 して、ベクトル差分を形成する、即ち、ｕ−＋＋＝　［（ｕｌ−ｗｔ）、　（ｕ −−ｗ−）、　−、（ｕ−−ｖ−）］が得られ、これが距離関数発生１１　（Ｄ ＦＧ）　２Ｇへの入力に現れる。 この発生器ＤＦ０２Ｇは、選択した特定距離測定規準に依存して、種々の非線形 転送特性を持つことができる。 これら測定規準ｓ（ａ、ｂ）のすべては、以下の条件を満すようになる。 ｓ（ａ、ａ）−０ ｓ（ａ、　ｂ）≦ｓ（ａ、　ｅ）　＋　ｓ（ｂ、　ｃｌ、　（三角形特性）、こ れは更に、以下を意味する：ｓ（ａ、　ｂ）　＞　Ｏ；および ｓ（ａ、　ｂ）　＝　ｓ（ｂ、　ａ） 一般化された距離関数は、以下の式で与えられたミンコフスキー（Ｍｉｎｋｏｗ ｓｋｉ）の０次の測定規準である： ’ｎ（ａ、ｂ）−［ｐａｋ−ｂ、１？ ここで、ベクトルは　！＝［！１，１１．・・・、ｉ］１ｂ−［ｂ＋、　ｂｓ、 ・・・、ｂ１１］”　である。 興味を引（特別なケースには、第１次のミンコフスキー距離関ｕｓ＋（ｔｂ）、 また“シティブロブク（ｃＨｙ　ｂｌｏｃｋど測定規準としＣ知られている関数 ８＋（ａ、ｂ）：および、ユークリッド距離としても知られている第２次の関数 １ｓ（ａ、ｂ）　：を包含している。 ここで、ミンコフスキー距離規準の整数および分数のべき、例え＋ｉ　ｓ”、（ ａ、ｂ）謀１１ａ、　−ｂ了　は、距離測定規準を規定する」二連の条件を満足 するものである。 従って、発生ｇＩＤＦ０２６の目的は、差分エレメント２５によって発生したベ クトル差５）（ｉｔ−ｗ）を適当な距離関数に変換することであり、この距離関 数１１、入力ベクトル″１１と７ｊｉ準ベクトル−Ｗ′との間の分離の絶対値の 測定を表してＬ１２゜この出力Ｓ（Ｕ。 Ｗ）を加算器２７で１フセｙ）ｉ（［−０に加算して、出力非線形手段（ＯＷＬ ）２８１こ供給する。 、−の差分ニューロンおよび従来の畦二、−ｏンの利点を比較すると共：こ識別 するために、空間を分離するための差分二ニーロンの能力の検査方法１こつ−１ で考察す”る。ｉｒｔ述のように２次元空間を考察する。出力非線形手段（ＯＮ Ｌ）２１１への入力としか尋人られ、０．による、１ｎ番目の１ｎべき数のミン フフスキータイプの距離測定規準オフセｙ＋・となる。更に、この０旧８を図２ ａに示したような、、ｐｌＪミ・ット型ｌト線影のままとする。甲面（ｕｌ、　 ｕｎ）を以下に示したように２つの領域１こ分離する：これら２つの領域間の境 界を形成する軌跡が以下のように与えられる：ｌ　Ｌｌ＋−Ｗ＋　１　”＋　ｌ 　ｕｓ　ｖｗ　ｌ−−θ−もＬｍ＝２ならば、−［述の式は、以下のような二次 方程式を生成する：ｌ　ｕｌ−Ｗ＋ビＮＩＩｍＷ＊じ−θ。 この方程式は、図３ｂで示ｊ、たように、ｆθ、の半（￥を有する中心が１１． ！、である円を表す。陰影の１１いた部分はｔｕｔ−マ、ビ＋ｌ　ｕｓ−９１１ ’（θ、を表す。もし、■＝ｌ＋、にらば、以下のようになる； ｌ　ｕｌ　Ｗ＋　ｌ　＋　ｌ　ｕｌＷ＋　ｌ　＝０１これは、図３ｃ中にプロッ トされている。２つの領域間の境界を表す方程式を、θ−−００で割算すること によって正規した場合に、次式が境界を規定する：この方程式を、整数用の一般 化されたｍ次の円であると考えられると共に、ｍの分数値であるとも考えられる 。ｍ　＝　１／３．１／２．１．２．３．４に対するｍ次の円が図５にプロット されている。 一１述したように、この二次元の例を展開して、それより高次元の空間を包含さ せることができるので、この結果として、測定規準のクラスのために、選択され た汎用の円は汎用の球面になり、次に、これが一般化されたＮ次元の超球面とな る。 ここで重要なことは、前述したように、この差分二コーａンは、極めて改良さ４ また弁別能力を有するようになることで、この弁別能力は、オフセットθを用い て超球面の半径を調整できると共に、基準の重み（ベクトル要素）１マ、１の選 択によってこの球面の中心に配置できるようになる。これに加えて、超空間の“ 形状”を、適当な距離測定規準を選ぶことによって調整することができる。 図３ｂおよび図３０は、方程式ｓ、（ｕ、ｖ）ｘ（＋−を満足する点の軌跡によ って５Ｓ（Ｕ、マ）＝θ０く０に１する負の値の領域が包囲されていることを表 している。従って、図４の出力非線形手段（ＯＮ＋、）２６を適切に選択するこ とによって、必須のｍ次の放射状に女１ｆトな弁別関数が得られる。例えば、図 ６に示した３つの例について考察する。 ６例は、その左側に非線形転送特性および、その右側にこれに対応した二次元の 弁別表面から構成される。図６３は二次元の八−ドリミッタの場合を表し、図６ ｂはガウスベルの場合を表し、更に図６ｃは２個の環の場合を表す。これらの例 は厳密なものでなく、多大な選択可能なものを連想するためのものである。 ３、差分二ｊ−ラルネノトワーク 図１に示した前述のタイプの差分ニューロンを相互接続して、一層または多層の 差う）二、−ラルネットワークを構成する。図７は、完全に相互接続された二層 の７５）二、１−ラルネノトワークの例である。Ｎ個の構成成分（Ｕ、Ｕ、、・ ・・、ｕ、）をｅする入力ベクトル゛Ｕ−を人力ライン３１に供給する。これら 入力ライン３１の各々を、第１層の差分ニューロン２０の各々におけるＮ本の入 力ライン２１に接続する。ニューロ７ＯＮ−１１からＤＮ−Ｎｌによってこの第 １層を構成する。更に、二ニーロンｐト１１の各々は、７＆準ベクトルマ＋ｌ　 Ｉ＋を入力として受信すると共に、出力、＋ｌｌ＋を形成する。 組合わせられた出力（、＋１１１．、＋１１１．・・・、ｙ“ｌ）によって第１ 層の出力ベクトル１１０が形成され、ここでこの出力ベクトルは以下のものであ る：、Ｉｌ＋　＝　（，１１１１，、＋ｌｌ＋、・・・、、＋ｌ１ｌｌ）また、 この出力ベクトルを第２のニューラル層へ供給し、この第２のニューラル層は、 ニューロンＤト１２からＤＮ−Ｎ２までを、これらの対応の組の差分ベクトル（ Ｗ″１１、、＋１１１．・・・、１Ｎｔｌｌと一緒に有しこれによ７て、以下の 第２層の出力ベクトルが形成される： 、＋１１　＝　（，１Ｉ１１．ｙ′ｔｗ１．、、、％＃ｊｌ）明らかに、追加の 層を図７に示したネットワークに追加することができ、これは、ｋ番目の層の出 力ベクトル、ｎｌを入力として、（ｋ−１）番目のニューラル層に対して処理す ることによって実現する。また、Ｎｌ４のニューロンを各層内に表示したが、特 定の実施によって各層中にＮｌ４のニューロンより多いまたは少ない二ｊ−ワン を利用できる。同様に、何れか特定の二ｊ−口ンを、すべて利用できる入力およ び基準ベクトル″ｌ’素に対して、これより少ない個数で接続することができる 。この観点から考えて、ニューラル出力が無いことは、入力ベクトルか基準ベク トルのいずれかの接続が欠如していることに等しくなる。 あらゆる入力ベクトル°Ｕ°に対するこのネットワークの応答は、基準ベクトル ｗ″′１中に保存された饋ならびに、前述したように図４で示したＰＥユニット ２９で用いたｎｖａ形タイプのものとによって制御される。２＆準ベクトルマ′ １１の要素に対して値を当てはめる、即ち割当てる方法が後述の第４車に説明さ れている。 図８に示す差分ニューラルネットワークの一実施例は、マルチプレツクス動作を 、コンポーネントの数量を減少させたり、コストや物理的寸法を縮減する手段と して利用する特徴を有している。図９は図８のネットワークで使用するためのマ ルチプレックス型の差分二ニーロン構成を示す。 図８において、入力ベクトル”Ｕ”をマルチブレ１クサＭＵＸ４Ｇの人力に供給 する。 このマルチプレックサＭＬＩス４０を用いてＮ個の人力レベルのルベル°Ｌｌｌ −を以下の方法によって選択する。即ち、選択コントロール４１を用いると共に 、この選択したレベルを、番号４２で代表された第一層のニューラル入力の各々 に供給することによって選択する。、適当な基準ベクトル、、ｏｎの対応する値 を３番目のニューロンの払準入ツバ４に供給する。ここでＪ＝１．２．・・・、 ｎである。ベクトル１Ｎ１１．１１１１１の３番目の値を、Ｄ／Ａフンバータ（ ＤＡＣ）４♂によってそれの入力４９に供給したディジタルコードに基づいて発 生ずる。この方法にわいて、第１層の出力ベクトルの１番目の値がＭＩＩＸｌ＋ Ｏで利用できるようになり、このＭＵＸ６０によって第１層出力ベクトルｙ（１ ）のＮ個の値の１つの選択を制御して、第２二１−チル層への入力とする。 図９にわいて、人力ライン４２および４δ上のベクトルエレメントｕ、、、　１ １ｍ１を、エレメント５４によっ゛〔差分処理して、差分ベクトルコンポーネン ト、　、　−ｖ　、　＋　Ｉ　ｍ　ｌを影成ケる。叶Ｇ２Ｇによって、図４に関 連して前述したように、距離の測定規準を生成する。このＤＦＧ！６の出力を積 分器５６で累積する。この積分器ユニ１トｓ６のクリアコントロールＳ７を用い るので、この結果、差分値ｕ、−ｗＩ″″′に相当する第１　ＤＦＧ２６の出力 値を累積するｎ；１に、積分器５６をクリアする（零にする）。このような方法 によって、所望の加ｎ値を得るために、ＤＦ０２６のＮ個の出力を累積する。例 えば、この累積値は、以下に示したに次のミンコプスキー距離測定規準（ｋ”　 ｏｒｄｅｒ　Ｍｌｎｋｏｗｓｋｉ　ｄｉｓＬａｎｅｅ　ｍｅｔｒｉｃ）に相当す る。 また、１１　）ｔ　４１Σ１ｕ１−マ１″″ｌｌｋは、ｋ次のミンコフスキー距 離測定規準のに番］」のべき数に相当する１、積分′ｒ４Ｓ６の出力を加算器５ ３によってオフセット“−θ°に加算すると共に、０８１．２８まで通過させる 。このＯＮＬ２ｇによって、あらゆる追加的に要求された非線形変換を実行して 、一般に第に二−ラルネブトワーク層の１番目のコンポーネントに相当する出力 値ｙ′Ｉ１１を生成する。 ニューロン６４、ＤＡ（Ｊ８と入力６９、ＤＡＣ７０と入カフェとは、層番号１ の動作中に、ニューロン４４、Ｉ）ＡＣ４１１、入力４９、ＤＡＣ５Ｏおよび入 力５１として層番号２において、それぞれ？１　（Ｅｌの没スリを果し、この結 果として、所望の出力ベクトルＩ　ｍ　ｌ−（、Ｌ　Ｉ　Ｉ　ｌ　、　ｙ　Ｌ　 ＋１、・・、　＋＊１＋　）を生成する。明らかに、この構造を、所望の多くの 層まで展開することができる。また、例えば０＾Ｃユニツトの追加のマルチプレ ックス動作を利用して、更に動車的使用が考えられる。 図１０および図１１は、それぞれ、図８のマルチプレ１クス壓のアナログネット ワークに対するディジタル方式わよび図９のマルチプレックス型の差分ニューロ ンに対するディジタル方式のものである。 図１Ｏにおいて、アナログ入力ベクトルＵをマルチプレックスＭＵＸ８０に供給 し、それの個々のエレメント＜”＋＋ｕ＊＋・・・、ＬＩＮ）が選択コントロー ル８１によって、＾／Ｄコン／イータ（＾ＤＣ１８２に順次供給される。この八 ＤＣ６３の出力ｕ１をラッチ６４（こ一時的！ごストアして、更に、一般にユニ ット８６として表示されているマルチプレブクスニューロンの第１層へ平行に供 給する。基準ベクトルエレメントマ″・ｌｌＧ人力９０に順次供給する。 代表的ｊｊマルチブレｙクス型のディジタルニューロン８６の構成が図１１１ご 表示されている。ベクトルＵと豐＋ｌｓｌの対応する３番目のエレメントを、ユ ニット９４の入力ライン８８と９０とに、それぞれ供給して、差分項Ｕ、−マＩ ′＋１１を生成する。この差分填をユニブト９６に（１（給し、このユニット９ ６によって、例えば、以下に示した１次のミノコツスキー測定規準をその出力に 発生する：ユニノ）９６は以下のように動作する。即ち、差分ユニット９４の出 力をラッチ９ｇ１こ一時、ストアし、ＤＥＭＵＸユニｙト１００によってネゲー トユニット１０２に対するラッチ９８の内容を、このラブ４９８の輿ｓｂ（最上 位ビット）が負の値を表した場合ｇこ、ライン１０１丁段により切換えるように する。それ以外では、このラッチ９８をアキエムレータ（累積器）１０４に直１ 妾接続する。このアキ講ムレータ１０４によって、結果として１１ら４ｔ６Ｌの ｔ６を、最？刀１こ、クリアコントロール１０６によってクリアして、加算Ｃる と共に、この合８１値を、ライフ９２上に得られるオフセット−〇にアダー１０ ８でＩＪ＋ｒＩｔル。ＯＮ＋、　ＲＯＭｌｌ０１１、ＲＯＭ’ｔ’　ア’ｌ、コ ４Ｌ（７）　ｌ　モ’Ｊ　内容カフ　！　１０８ニＪ−ｑ　で７ドレス処叩され 、これの出力はベクトルｙＩｌ＋のエレメントｙ　Ｌ　Ｉ　１　’および１番目 のフン１′−ネントにり１応する。同様に、第１層のＮ個のニューロンの各々に よってｙ（１）の対応のエレメントを発生する。ニューロンδＧの出力をラッチ ＋１２にストアすると共に、次のコンポーネント値が演算されている間にＭＵＸ １＋４で得られる。 Ｎ（ｌ！］のベクトルコンポーネントは、ＭｔｌＫＬ１４およびセレクトコント ローｌし＄１５１こよって選択することが可能であり、これは第２二ニーロンに 対して応用されるものであり、二、−ロン１１６は、第２層中のニューロンを表 している。このニューロン１１６は、ユニット８６のような構成を１丁しており 、ライン＋１１１上の入力ベクトルとして、Ｉｌ＋を受信すると共に、基準ベク トルに対応するものとしてｗ　Ｉ　ｌ−を受信する。 これの出力がうｙチ１２４に保持されて、このラッチからディジタル値として、 まｔ二は、アナログ出力用の０ＡＣＩＺ６を介して出力される。明らかに、追加 の層を、この第２層の構成を繰返すことによって追加することが可能である。 ４、ニューラルネットワークコントロールおよびその適用図１２は、ニューラル ネットワークを制御、構築および適用するためのシステムである。このシステム には、ニューラル才ｆトワーク１０２とフンノｆレータ＋０６とが設けられてい る。このニューラルネットワーク１０２は、セレクタ＋１ｌｕＸ）１０３によっ て選択的に入力ライン２１へ供相された入力ベクトルを有しており、このセレク タ１０３を入力ライン＋０５および入力ベクトル発生器■８へ接続する。このコ ンｌ（レータ１０６によって、ライン１１Ｏ」二の二１−ラルネットワーク＋０ ２の出力ベクトル−，１ｍ１−と、ライン！０１として供給された出力ターゲッ トベクトル゛１とを比較する。この基準ベクトルは、出ブぴ−ゲメト発生１ＣＨ １ｚによって得られるフントロールプロセッサ＋０４は、ライン１０７上のコン パレータｌ０Ｉｉによって発生されたエラー信号を受信すると共に、二〉−ラル ネットワーク１０２によって利用される基準賃みおよびオフセットの新しい組を 演算する。ｇ１１！懐手段をこのプロセッサ中に設けて、入力発生器１０８ｋｊ よび出力発生器１１２をそれぞれドライブするための見本人力ベクトルおよび見 本ターゲットベクトルをストアする。 また、コントロールプロセッサ１０４を利用して、人力ターミナル１０５の手段 による構築を行う。一般に、構築パラメータには、基準ベクトルとオフセット用 の初Ｎ１値と、入力／出力ラインの数ｍと、ネットワーク中の層の数量とが含ま れている。 最小２乗法や最急降下法を含んだ差分ニューラルネットワークに対して、数橿類 の適用アルゴリズムを採用できる。 最小２乗法は、−組の変数パラメータに対する２次コスト関数（ｑｕａｄｒ為Ｌ ｉｅ　ｃｏ＠＋　ＦＵＮＣＴＩＯＮＥＤを最小化することに基づいている。本例 の場合に、これらｔ４ラメータの組は、基準ベクトル重みとオフセツトである。 例えば、このコスト関数をエラーベクトルの内（ドツト）積に採用することがで き、即ち、ｏ＝（ｙ”’−ｔ）’（ｙ”’−ｔ） ここで、ｙ　ｌ″１は二５−ラルネットワーク出力ベクトルであり、ｔはターゲ ットベクトルである。もし、出力およびターゲットベクトルの種々のものを利用 した場合に、Ｐ（集団指標）上の総和を利用できるので、この結果、以下のコス ト関数Ｉ）が１得られる： ここで、ｒ、″は、ｐ番目の入力ベクトルに対するニューラルネットワーク応答 であり、ＰＩは、ｐ番目のターゲットベクトルである。 このコスト関数を、ｑ番の層パラメータベクトルｖ１１に対して、このコスト関 数は傾きを変えることによって最小化する。ここで層パラメータベクトルｖ　Ｉ 　＠ｌは以Ｆの通りである。 ｖｌ・＋　−ｒｖｌｌ＠１．ｖｌｆｓｌ、、、、ｖ　（−嶋）］！および　ｖ＋ ｍｓ＋−［、＋’″１．θ１ａｅｌ］　？、　（、ＩＣｓ＊１．、．１ａｐ１． 、、、、、％″１．θｌｓ＠ｌ］　？ベクトルｖ１ｍ＠ｌは、基準ベクトルと、 ｑ′ｔｉ目の層内のｍ番目のニューロンの組合わされＩ、−オフセットＯ１″ｌ ｌ′を表す。従って、コスト関数りの傾きをゼロに設定して規定されｔ一方程式 の系、即ち、 によ、）で、パラメータ選択処理に幻ψ−る最小２乗法解法が暗黙の内に規定さ れる。 、これリニｊ−Ｉｊノの人力／出力関係がＩ］線形であるために、ベクトルｖ″ １に対４る汎用の分析解法がｒｒ在しない。更に、反１（近似技術を、例えば、 共通に用いられる最２降ト法を適用する必要がある。バックブロパゲー／ロンと 呼ばれているニューラルネットワークトレーニングアルゴリズムは、このような 方法の一例である。 最急降下法は以下のステ１プより構成されている：（１）初期値をパラメータに 割当てるステップ。 （２）　コスト関数りの概数的に傾きを演算するステップ。 （３）　この傾きの方向に沿って、係数εによって増加するようにパラメータを 変化させるステップ。 （４）　コスト関数が最小化されると、または、池の収束基準（大きさりのテス トのような基準）が達成されると、この処理を停止するか、またはステ１ブ（２ ）に戻るステップ。 このコスト関数の収束を確実に行うために、εとηとを降下手順の反復と一緒に 変化させる。この限定値を、成功したｌ・レイμの後に減少させることもできる 。 図１３は、好適な適用プロセス２００のフローダイヤグラムである。このプロセ ス２００を、６値をε＝ε、、ηばη、に設定すると共に符号計数値誼０に設定 することによって、イニシャライズする。ｐ番目の見本ベクトル対をステップ２ ０４で選択する。 ステップ２０６は、（ｙ−１）のビークエラーがη、より小さいかどうかをチェ ックして収束性をテストする。もし、小さければ、このプロセスはテスト２１０ へ進む、これ以外であれば、ステップ２０８の符合計数値をインクレメントする と共に、ステップ２１０でベクトル■、のベクトル基準値を調整することによっ て、失敗を明記する。ステップ２１２において、人力／出力集合指［ｐをチェ・ １りして、すべての見本ケースが利用されてしまったかどうかを決定する。もし 、利用されてしまった場合には、ステップ２１６へ進み、逆ならば、指１ｐをス テップ２１４でインクレメントすると共に、ステップ２０４へ戻る。 ステップ２Ｈでは、コスト関ＭＤを用いて、すべての見本（標本）における累積 １’　）Ｊ　誤ｍを演算することによって、ターゲットベクトルに対するベクト ルｙ　ｌ　ｓ　ｌの収束を監視する。この１）とコスト関数最小［Ｄ、、、とを 比較する。この結果、処理又テップの反ｔＷ中にこのようにして得られる。この ＤがＤｌｌｌをある決められた基準だけ、例えば１７の係数だけ超過した場合に 、この処理ステップはステシブ２１８・＼移動する。このステップにおいて、ε およびηを一定の係数、例えば２／３でデイクレメントすると共に、Ｄｌ、にお ける重みｖ′″″を復元する。このコントロールがステップ２０２へ進む。関数 りにおける基準を満足しない場合には、この処理手順はステシブ２２０へ移る。 テストステップ２０６で失敗が起らなかった場合には、符合数−〇となると共に 、この処理手順がテストステップ２２２へ進む。このステップ２２２では、εお よびηがディクレメントされる。ステップ２０６で失敗が起ると、符合数〉口と なり、コノトロールがステップ２２０から２２４へ移る。ここでは、関数りの全 体の収束が測定される。関数りの減少率が、成るユーザのプリセット値、例えば 、−反１ｖ動作当りｌ／＋０００パートの場合に、この降下手順は収束したもの と見なされると共に、この処理が終了したことになる。それ以外では、ステップ ２０２へ戻る。 ５　ニューラルネットワークの帰還 図４の差分ニューロンを、前述したフィードバック（帰還）ネットワークは元よ り、フィー１′フオワード（正方向送り）ネットワーク内に組込むことができる 。 二】−ラルフイードバックネ・！トワークの例が図１４に示されており、このネ ットワ−クは、ｌ１ｏｐｆｌｅｌｄのネットワーク（Ｊ、　Ｊ、　１ＩｏｐＮｅ ｌｄ著の−ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　ａｎｄ　Ｐｈｙｓｉｃａｌ　Ｓｙｓ Ｌｃｍｓ　マロｈ　Ｅｍｅｒｇｅｎｔ　Ｃｏ１１ｅｃｔｉｖｅ　Ｃｏｍｐｕｔａ ｔｉｏｎａｌ　＾ｂｌｌｌＬｌｅｓ−PＰｒｏｃｅｅ ｄｉｎｇｓ　ｏｒ　Ｎａ１ｉｏｎｓｌ　Ａｃａｄｅｍｙ　５ｃｉｅｎｃｌｌｌ、 　ＩＩｓ＾、第８１＠、１９８４年５月、第３０１８−３０X２頁） と

【η用学的に！Ｊ′Ｉ似している。しかし、この本発明のネットワークは、１ ｌｏｐｆｉｅｌｄの才ｙ）ワークとは異なるものである。その理由は、このネッ トワークは、マアクＵ　−チ・ピッｙ　（ＭＩ’１タイプの二ニーロンの代わり に、むしろ差分ニューロン動作Ｉｌｌ　しているからである。このタイプのフィ ードバック構成のものは、特に以下の使用においてＴｆ用なものである。即ち、 ノイズで汚染された、または不完全な入カバターフのｉｌｌ生のための結合メモ リまたはメモリ内容にアドレス可能なメモリとして、このタイプのフィードパ、 り構成のものを利用することが特に有益である。 図１４に戻り、このオｙトワーク実施例は、Ｎ個のディノタルタイプの差分ニュ ーロンＤＮ、〜ＤＮ１．の１ｉｔ−Ｒを有しており、これらは差分ニューロン３ ０２で代表される。 また、基準およびオフセットベクトルυ１を入力ターミナル３１０へ供給する。 各ニューロンの出力は二進数（０，１）であり、この出力をｊ番目二ニーロン３ ０２の出力におけるラッチ３０４のような出力ラッチに一時的にストアする。例 えば、３０４で示した出力ラッチによって、各ニューロン入力ベクトルｕ　ｌ　 １１　（＞　）のコンポーネントエレメントが与えられ、ここで、この人力ベク トルは以下のように規定される：ｕ”’（ｋ）＝　［ｙ＋（ｋ）、ｙ＋（ｋ）、 ・−・、ｙ＋−＋（ｋ）、ｙ＋＋＋（ｋ）、・”、ｙｗ（ｋ）］　’ここでｋは 時間または反復指標である。このネットワークは、初期出力ベクトルｙ（０）を 出力ラッチの組合わせ中にストアすることによってイニシャライズされ、このラ ッチ３０４が表示される。 晶二ニーロンによって、以下の式で規定された出力を演算する＝ここでＮはニュ ーロンの数■を示し、ｖｌ　＋＋１は基準ベクトルの１番目のコンポ−ネットで あり、θ、はこれと組合わされたオフセット値である。関数ｇ（・）は、図４の 出力非線形（ＯＮＬ）手段２８によって実行される動作を表す。この特別な実施 例において、通常、このＯＮＬ手段２８は、ハードリミッティング特性または５ 字関数転送特性を有するように選択される。オフセット、即ち半径パラメータθ 、をＮ／２にセットする。 多数回の反１！の後で、出力ベクトル”ｙ”は、汚れていないと共に完全な入カ バターンの組を表す一組の安定なフオーム（形態）の１つに収束する。このよう な決定は、予め得られた２！準ベクトルの組に基づいて成されるものである。図 １５のフローダイヤグラムは、基準ベクトルの組を、Ｎ１１ＭのエレメントのＰ 個の二値見本ベクトルｌ、　ＩＰＩ　ｌの一組から決定する方法を表している。 各ベクトルエレメントは■または０である。 上述の動作についての記載は、ディジタルネットワークの同期動作を意味するが 、独立のクロックに関連したニューロン動作の各々と組合わされた非同期動作に よらて同様の結果が導出される。 処理４００を標本指標ｐ−＝＝１にセットすることによってイニシャライズする 。ステップ４０２においてｐ番目の標本【ゞ″をＰの組から選択すると共に、ス テップ４０４に移動し、ここでは、エレメノトハ、を有するＩＩＸＩＩ相関マト リックスＪを、最初に、以下に示した種本平均値を除去することによって演算す る：ここで、ｔ％ｒｌはｐ番目の標本ベクトルの１番目エレメントである。テス トステップ４０６において、Ｐ個の標本をすべて利用してマトリ１クスＪを形成 したかどうかをテストすると共に、もし形成した場合には、この処理はステップ ４１０へ移る。もし形成されなければ、ＩＷｔｌＤをインクレメントすると共に 次の標本をステ、ブ４０２で選択する。 ステップ４０２において、マトリックスＪのエレメントが最大値ＩＪ１．−に対 して探索され、次にこれをステップ４１２で利用して以下に示したような適当な フォーマ、トテペクトルフノボーネント豐、＋′を演算する：ｖ＋”’＝ｌ／２ ［１−Ｊ、／Ｈｍａｘｌ］ここで、！！＋１は」番目の基準ベクトルの１番目の コンポーネントを表す。これら一連の処理が完了すると共にこれら結果を記憶す ると、この処理がステップ４１４で終了する。 上述したように、Ｉ〜−ドリミブティングＯＮＬ手段２８、即ち、ｇ（ｘ）−２ ｓｉｇｎｕｍ　（ｘｉ−１を利用したフィードバックネットワークは、本来のＨ ｏｐＮｅｌｄモデルと一致した検索特性を有している。この代わりに、以下に示 したようなＳ字状転送特性を採用した場合、即ち、 を採ｒＩＩ　Ｌだ場合、この検索特性は、γの正の値を減少させ乍ら低下してし まう。 前述した明細書においては、本発明が、特定の見本的な実施例を参照し乍ら記載 されている。しかし乍ら、添付された特許請求の範囲に規定された本発明の広範 な技術的υ悲から逸脱することなく、種々の変形および変更を実施できることは 明らかである。従って、これら明細書および図面は、本発明を限定するためでな く雫に表現するものであると見なすことができる。 浄書（内容に変更なし） ＦＩＧ、１ ＦＩＧ、　５ ＦＩＧ、　８ 浄書（内容に変更なし） ４食を重文Ｉ−曵１ｙなし） 浄書（内容；二変更なし） 補正書の写しくｎ訳文）提出書（特許法第１８４条の８）７１’　雷（）”Ｊ　 ｅ　１−　＆ノーφｖＩ補正請求の範囲 １．ｓ）入力信号ベクトルと基準信号ベクトルとの間の距離を表す距離信号を発 生する以下の１）〜ＩＩ＋＞を備えた距離値発生器と：ｉ）前記人力ベクトル信 号および前記基準ベクトル信号の対応のエレメント間の距離を表す差分ベクトル 信号を形成する引算回路：１ｉ）この引算回路の出力に接続され、前記差分ベク トル信号のエレメントから、差分距離ベクトルの大きさを表す一組の単一極性信 号を形成する大きさ回路：１ｌｌ）この絶対値回路の出力からの単一極性信号を 累積して、それ自身の出力から距離信号値を形成する累積回路と；ｂ）それ自身 の出力から組合わせ信号を形成し、前記累積回路出力に接続された第１人力と、 オフセット値信号に接続された第２人力とを有し、前記組合わせ信号を前記距離 信号値から前！【３オフセッ；値を減算することによって形成し、更に、二二− ロノセル超回転楕円形弁別関数表面の半径を制御する減算回路と；Ｃ）前記組合 わせ信号値を予め決められた弁別関数を表す値に対してマブピングする非線形回 路とを具備したことを特徴とする差分型人工ニューラルセル回路。 ２、前記大きさ回路が絶対値回路であることを特徴とする請求項１記載のニュー ラル回路。 ３、前記大きさ回路が二乗検波器であることを特徴とする請求項！記載の二３− ラル回路。 ４、前記大きさ回路が、その大きさのｎ番目のべき数に比例した単一極性ベクト ルエレメントを発生する０次転送特性デバイスであることを特徴とする請求項！ 記載の二１−ラル回路。 ５、前記距離値発生回路に、更に、ｍ次逆転送特性を有する回路を設け、この回 路の入力を前記累積器の出力に接続し１．二の回路の出力を前記減算回路の第２ 人力に接続し、この出力から、ｍ次のミンコフスキー距離信号値を表す信号を得 るようにしたことを特徴とする請求項４記載のニューラル回路。 ６、前記距離値発生回路と、減算回路と７１４綿形回路とをディジタル回路とし たことを特徴とする請求項５紀載のニューラル回路。 ７、前記距離値発生回路と、減算回路と非線形回路とをディジタル回路としたこ とを特徴とする請求項ｌ記載のニューラル回路。 ８、前記非線形回路の転送特性がＳ字状関数であることを特徴とする請求項ｌ記 載のニューラル回路。 ９、前記非線形回路の転送特性が線形スレブシコボールド論理演算子であること を特徴とする請求項ｌ記載のニューラル回路。 ｌＯ前記非線形回路の転送特性がガウスベル関数であることを特徴とする請求項 ｌ記載の二１−ラル回路。 比第１ニコーラルセル層と、追加的に設けられた高次のニューラルセル層とを有 する正方向送りタイブニューラルネ・ブトワークにおいて、ａ）少なくとも１つ の下記の１）〜…）を備えたニューラルセル層と：五）データベクトルを受信す る一組の入力データターミナル；＋ｔ）予め決められた基準ベクトルと、これと 組合わされたオフセット値信号とを受信し、前記二コーラルセル層内の各二ニー ロンに対する、−組の基準ベクトル入力用ターミナル； ｉｌｌニコーロンの各々を前記−組の入力データターミナルおよび予め割当てら れた組の基準ベクトル入力ターミナルに選択的に接続し、かつ出方ターミナルお よび出力データベクトルを出方する一組のニューロン出方ターミナルを有する、 −組の下記のａａＬ　ｂｂＬ　ｃｅ）を備えた差分タイプ二二−ロン；ａａｌ入 力信号ベクトルと基準信号ベクトルとの間の距離を表す距離信号値を発生する下 記の１）〜３）を備えた距離値発生器、１）前記人力ベクトル信号および前記基 準ベクトル信号の対応エレメント間の差を表す差分ベクトル信号を形成する減算 回路；２）この減算回路の出方に接続され、前記差分距離ベクトルの大きさを表 す差分ベクトル信号のエレメントから、−組の単一極性信号を形成する大きさ回 路；３）この絶対値回路の出力から得られ、前記−組の単一極性信号に属する信 号を累積して、前記距離信号値を形成する累積回路；ｂｂ）この累積回路出力に 接続された第１人力と、前記基準ベクトル信号と組合わされたオフセット値信号 に接続された第２人力とを有し、それ自身の出方に組合わせ信号を発生させ、こ の距離信号値からオフセ・ノド値を減算することによってこの組合わせ信号を形 成１５、二１−ロノセル超回転楕円形弁別関数の表面の半径を制御する減算回路 と、更に ｃｃ）この組合わせ信号値を予め決められた弁別関数を表す値に対してマブビン グする非線形回路とを設け、 ｂ）第１二１−ラルセル層の一組の入力データターミナルに接続された、−組の ニューラルネットワークデータ入力ターミナルと；Ｃ）次の低次のニューラルセ ル層の出力ターミナル組に接続された入力データターミナルを有する高次のニュ ーラルネットワーク層と、ｄ）、−の高次の二２１−ラルネブ１ワーク層の出力 ターミナルに対応した一組の出力ターミナルとを具備したことを特徴とする正方 向送りタイプニューラルネットワーク。 １２、前記差分二１−ロンの各々を、前記入力ベクトルの各エレメントに完全に 接続したことを特徴とする請求項１１記載のニューラルネットワーク。 １３、請求項ＩＩ紀記載差分ニューラル本、・１ワークへ適用する装置で、前記 −組の基準ベクトルと、これと組合わされたオフセットとのエレメントを初期化 すると共に調整するコントロールフンビュー夕によって利用された手順において ：み）各オフセフトを、これと組合わされた基準ベクトルに追加することによっ て、差分ニュー　ロンパラメータを形成するステップと；ｂ）、：の差分二ニー ロンパラメータベクトル回路値を任意の値で初期化するステ１ブと； ｅ）＋１本人力ベクトルを前記差分二コーラルネ・ブトワークの第一層入カデー タベクトルターミナルに接続するステップと；ｄ）結果として得られる出力ベク トルと、対応する標本出力ベクトルとを比較して誤差値を得るステｔプと： Ｃ）この誤差値からコスト関数の値を演算するステップと：「）これら差分ニュ ーロンパラメータベクトルの各に対して、これらコスト関数の傾きを予測するス テップと； ｇ）前記パラメータベクトルエレメントを、予測した傾きの方向に沿って増加的 に変化させるステップと： ｈ）この誤差値と予め決められた値とを比較し、この誤差値がこの値より小さい 場合には、この処理手順を終了させ、それ以外の場合には、新しい反復動作のた めにステップｂ）へ戻るようなステップとを具備したことを特徴とする差分ニュ ーラルネットワーク適用装置。 ＋４．前記傾きの分数部分を前記差分二ニーロンパラメータベクトルエレメント に与えたことを特徴とする請求項１３記載の方法。 １５、前記コスト関数の演算ステップに、更に、み）コスト関数値を記憶するス テップと；ｂ）エラーコストが増加しているかどうかを決定するために、コスト 関数の値を順次比較し、もし増加しているならば、最新のパラメータベクトル回 路値を以前のベクトル回路値で置換し、更に、与えた傾きの分数部分の値を減少 させるステップとを設けたことを特徴とする請求項１３記載の方法。 ＋６．更に、 ａ）前記誤差値が特定の限界値を超えるような標本の数を計数するステップと； ｂ）このＩｌｌ数値がゼロの場合に、前記傾きの分数部分と限界値とを減少させ るステップとを設けたことを特徴とする請求項１４紀載の方法。 １７、前記コスト関数の減少率を比較し、この比較結果が予め決められた値より 少ない場合には、この処理手順を終了するようにするステップを更に設けたこと を特徴とする請求項１４記載の方法。 １δ、少なくとも１つの差分タイブニｊ−ロンの層を有する差分タイプニー１− ラルネツトワークを調整するための適用装置において、このニスーロン層は、入 力データベクトルターミナルと、−組の基準ベクトルターミナルとを有し、これ ら基準ベクトルターミナルの各々によって予め決められた基準ベクトルとこれと 組合わされ、弁別差分ニューロン用のオフセット値を受信するようにし、少な（ とも１つの差分エコーロンは、入力データベクトルと基準ベクトルとの間の距離 を表す距離信号値をそれ自身の出方から発生する距離値発生器を有し、この距離 値発生器には、前記入力データベクトルターミナルに接続された第１ベクトル入 方と、前記基準ベクトルターミナルの組の予め決められた基準ベクトルターミナ ルに接続された第２ベクトル入力と、前記距離値発生器の出力に接続された第１ 人力および前記予め決められた基準ベクトルと組合わされたオフセット値に接続 された第２人力を有し、（れ自身の出力から前記距離値信号値と前記オフセット 値との間の差分を表す組合Ｉ〕せ信号を生成する減算回路と、この減算回路の出 力にｔｌ読され、予め決められた弁別関数を表す値に対して前記組合わせ信号を マツピングする非線形回路とが設けられ、前記第１層入力データベクトルターミ ナルに供給された外部Ｉ・−タベクトルによって得られた第１層入力データベク トルと、次の低位層出力ベクトルによっ′Ｃ供給されたあらゆる高位層入力デー タベクトルと、最高０層出力ベクトルとが、差分タイプ二一−ラルネットワーク 出力であると共に、これらベクトルがニエーラルネブトヮーク出力ターミナルで 利用でき、。 前記適用装置は； ３）標本データベクトルを前記入力差分タイプニューラルネプトワークを供給す る入力データベクトルターミナルと； ｂ＞＊別基準ベクトル七これと組合わ甘た、各差分ニューロン用のオフセットと を供給する、前記差分タイブニ、−ラルネットワーク中の差分二１−ロン用を一 つは含む一組の基準ベクトルターミナルと：Ｃ）このニューラルネットワーク出 力ターミナルからニューラルネットワーク出力ベクトルを受信するニューラルネ ットワークレスポンスベクトルターミナルとｄ）前記人力データベクトルターミ ナルに接続され、少なくともｌっの標本人力ベクトルを前記二５−ラルネ１ト１ ノーク入方データベクトルターミナルに供給するコノピユータ制御可能な標本デ ータベクトル発生器と；ｅ）前記ニューラルネットワークデータベクトルターミ ナルに供給された各標本人力ベクトルに対応した所望のニューラルネットワーク 応答ベクトルを発生するコノピユータ制御可能な標本出力ベクトル発生器と；ｒ ）このニコーラルネブトワーク応答ベクトルターミナルに接続された第１人力と 、このコンピュータ制御可能な出力ベクトル発生器の出方に接続された第２人力 とをｆｆＬ、これ自身の出力に、前記第１および第２ベクトルターミナルに供給 したベクレレ間のベクトル差分を表す信号を発生するベクトルコンパレータと； ｇ）このベクトルコンパレータの出方に接続され、このベクトルボンパレータ出 力を利用して、予め決められた手順に従って前記＝１−チルネットワークに供給 すべき基準ベクトルおよびこれと組合わせたオフセット値の各エレメントを初期 化すると共にｉＩ整するコントロールコンピュータとを具備し、このコントロー ルフンピユータを、前記コンピュータ制御可能な標本データベクトル発生器と前 記標本出力ベクトル発生器とに接続して、対応する標本データベクトルと出方ベ クトルとの一対のベクトルの発生器よび選択を制御し、および、前記コントロー ルコンビュータを一組の基準ターミナルに結合して、初期／ｍ整済み基準ベクト ルおよびこれと組合わされたオフセット値を前記二１−ラルネットワークに供給 することを特徴とする適用装置。 ＋ｓ−ＧＥコントロールプロセッサによって前記入力および出カ標本ベクトル発 生器を制御したことを特徴とする請求項１８記載の装置。 ２０、前記フントロールフンピユータに、構成および初期化制御用の入力手段を 更に設けたことを特徴とする請求項１ｇ記載の装ｕ０２１、　ｉｆｌ記コントロ ールコンビ二一夕に、標本ベクトルを記憶するメモリを更に設けたことを特徴と する請求項２ｏ記載の装置。 ２２、　ｆｆ１Ｉ記コントロールコンピユータに、前述のコスト関数値ゎよび、 検索用にこれに組合わされた基準／オフセットデータを記憶するメモリを更に設 けたことを特徴とする請求項２１記載の装Ｍ。 ２３、帰還差分↑ニューラルネプトヮークにおいて、３）下記のＩ）〜■ンを＊ 、また、少な（とも１つの二１−ラルセル層を有する正方向送り差分型ニューラ ルネットワークと；ｉ）データベクトルを受信する一組の入カデータターミナル ；ｉｌｌ予め決められた基準ベクトルと、これと組合わされたオフセット値信号 とを受信し、前記ニューラルセル層内の各二ｊ−ロンに対する、−組の基準ベク トル入力用ターミナル： ■）ニューロンの各々を前記−組の入力データターミナルおよび予め割当てられ た組の基準ベクトル入力ターミナルに選択的に接続１５、各ニー−ロンは出方タ ーミナルおよび出方データベクトルを出方する一組のニューロン出力ターミナル を口する下記のａａ）、ｂｂ）、ｃｅ）を備えた一組の差分タイプニューロン； ａａ）入力信号ベクトルと基準信号ベクトルとの間の距離を表す距離信号値を発 生するＦ記の１）〜３）を備えた距離値発生器；】）前記入力ベクトルｆ３号お よび前記基準ベクトル信号の対応エレメント間の差を表す差分ベクトル信号を形 成するベクトル減算回路；２）この鎮ｎ回路の出力に接続され、前記差分距離ベ クトルの大きさを表す差分ベクトル（５号のニレメンｔから、−組の単一極性１ ３号を形成する大きさ回路；３）前記絶対値回路の出力から得られた単一極性（ ３号を累積して前記距離ｆΔ号値を生成する累積回路； ｂｂ）この累積回路出力に接続された第１人力と、前記基準ベクトル信号と組合 わされたオフセット値信号に接続された第２人力とを有し、それ自身の出力の組 合わせず５号を発生させ、この距離信号値からオフセット値を減算することによ っ−にの組合わせ信号を杉成し、−瓢一〇ノセル超回転楕円形弁別関数の表面の 半径を制御する減算回路： ｅｃ）この組合え）せ信号値を予め決められた弁別関数を表す値に対してマツピ ングする非線形回路と； ｂ）第１ニューラルセル層の一組の入力データターミプルに接続された、−組の フィードバックニ１−ラルネテトワークデータ入力ターミナルと；Ｃ）次の低次 の二４−ラルセル層の出力ターミナル組に接続された入力データターミナルを有 する高次の二二−ラルネッｌワーク層；ｄ）この高次のニューラルネットワーク 層の出力ターミナルに対応した一組の出力ターミナルと、前記正方向送り差分型 ニューラルネットワークが、そのニューラルネ１１ワークの入力ターミナルの少 なくとも１つのターミナルに接続された、少なくと６１つの出力ターミナルを有 し；Ｃ）前記正方向送り差分型ニコーラルネｙトヮークの入力ターミナルの組に 結合され、前記人力ベクトルの状態を初期化する信号記憶回路とを具備したこと を特徴とする帰ｙｌ差分４２二ｊ−ラルネットワーク。 ２４、前記正方向送りニコーラルネ！トワークを、第１ニューラル層を有するマ ルチチャネル人力ベクトルを受信するように構成し、この第１二１−チル層を、 人力ベクトルの信号エレメントに選択された少なくとも１つの差分型二１−ロン から構成し、これによって、出方ベクトルを得るようにし、この出方ベクトルの 構成要素を前記ニューラル出力の組の少なくとも一組であることを特徴とする請 求項２３記載の帰還差分型ニューラルネットワーク。 ２５、前記正方向送り二ｊ−ラルネットワークを前記入力ベクトルの各エレメン トに完全に接続したことを特徴とする請求項２４記載の帰還差分ヤニューラルネ ットワーク。 ２６、帰ｊｗヤニ１〜ラルネブ倉ワークに対して０．基準ベクトルフンボーネン トｉおよびオフセット値を調整することによつて、基準ベクトルおよびこれと組 合わされたオフセットを決定する方法および装置において；ａ）下記の１）を備 えた帰Ｒ差分型ニューラルネットワークと；１）ニューラルセル層のそれぞれが 下記のａｍ）、ｂｂ）、、ｅｅ）、ｄｄ）、ｅｅ）、ｎ）を償えた、少なくとも １つのニューラルセル層を有する正方向送り差分型ニューラルネットワーク： ａａ）データベクトルを受信する一組の入力データターミナル；ｂｂ）予め決め られた基準ベクトルと、これと組合わされたオフセットとを受信し、前記ニュー ラルセル層内の各二ニーロンに対する、−組の基準ベクトル入力用ターミナル； ｅｃ）下記の１）〜３）を備えたニューロンの各々を前記−組の入力データター ミナルおよび予め割当てられた組の基準ベクトル入力ターミナルに選択的に接続 し、かつ出力ターミナルおよび出方データベクトルを出方する一組のニニーロン 出カターミナルを有する一組の差分タイブニエーロン：１）人力信号ベクトルと 基準信号ベクトルとの間の距離を表す距離信号値を発生ずる下記のａａａ）、ｂ ｂｂ）、ｅｅｃ）を備えた距離値発生器；ａｓａ）前記入力ベクトル信号および 前記基準ベクトル信号の対応エレメント間の差を表す差分ベクトル信号を生成す る減算回路；ｂｂｂ）この引算回路の出力に接続され、前記差分ベクトル信号の エレメントから、差分距離ベクトルの大きさを表す一組の単一極性信号を形成す る大きさ回路ｃｃｅ）この絶対値回路の出力からの単一極性信号を累積して、距 離信号値を形成する累積回路； ２）それ自身の出力から組合わせ信号を形成し、前記累積回路出力に接続された 第１入力と、予め決められた基準ベクトルと組合わされたオフセット値信号に接 続される第２人力とを有し、前記組合わせ信号を前記距離信号値から前記オフセ ット値を減算することによって形成し、更に、二ニーロンセル超回転楕円形弁別 関数表面の半径を制御する減算回路；３）前記組合わせ１８号値を予め決められ た弁別関数を表す値に対してマフピングする非線形回路； ｄｄ）ｍｌ二１−ラルセル層の−・組の入力データターミナルに接続された、− 組のニエーラルネットワークデータ入カターミナル；ｅｅ）次の低次のニューラ ルセル層の出力ターミナル組に接続された入力データターミナルを有する高次の 二１−ラルネプトワーク層；Ｕ）前記正方回送り差分型二二一うルネプトヮーク が、そのニューラルネットワークの少なくとも１つの入力ターミナルに接続され た少な（とも１つの出力ターミナルを備え、前記高次のニューラルネットワーク 層の出力ターミナルに対応した一組の出力ターミナル： ｂ）この二二−ラルネットワークの入力ターミナルの組に結合され、前記入力ベ クトルの状萼を初期化する信号記憶回路と；Ｃ）−組の予め決められた応答出力 標本ベクトルから相関マトリックスを演算し、このマトリックス内て最大相関値 を用いてマトリックスのコンポーネントを正規化するコントロールコンピュータ とを具備し、マトリックスの各行が、それと組合わせたオフセツトを所定の基準 ベクトルに付加することによって形成した弁別パラメータベクトルであり、この コントロールコンピュータを前記差分型ニューラルネットワークに結合させてパ ラメータベクトルコンポーネント値の各々を調整した。′：、とを特徴とする基 準ベクレレおよびこれと組合わせた］フセ１トを決定する方法および装置。 ２７、前記コントロールコンピュータを駆使して前記標本出力ベクトルの平均値 のＩ１１算処理を更に具備したことを特徴とする請求項２６記載の基準ベクトル コンポーネント値およびオフセットを決定する方法および装置。 ２８、前記非＃ｌ杉回路がＲＯ鷲であることを特徴とする請求項７記載の二１− ロン。 ２９、　ａ）順番に配置された入力データベクトルを受信する入力コネクタと： ｂ）前記入力ベクトルエレメントの順序に対応させて配置された基準ベクトルと それと組合わされたオフセット値信号とを受信する入力コネクタと；Ｃ）前記入 力ベクトルとこれに対応した基準ベクトルとのエレメント間の差を生成するベク トル差分形成回路と； ｄ）この差分形成回路に接続され、前記入力ベクトルと基準ベクトルとの間の距 離を表す出力値を生成する距離値発生回路と；ｅ）前記距離値発生回路の出力お よび前記オフセット値人力信号に接続され、このオフセット値入力信号を距離値 信号から減算することによって組合わせ出力信号値を形成し、これによって、二 ｘｏンセルの超回転楕円形弁別関数面の半径を制御する減算回路と； ｒ）この組合わせ値信号を、予め決められた弁別関数を表す値に対してマフピン グする非線形回路とを具備したことを特徴とするマルチプレックス差分タイプ二 二−ロン。 ３０、　ａ）前記ベクトル差分回路がデジタル減算回路であり、ｂ）前記距１ｌ ｌＩ１１発生回路には、前記差分回路の出力に接続された絶対値入力を有するデ ジタル絶対値回路と、この絶対値回路の出力が、これの入力信号の絶対値を表す デジタル信号であり、更に、この絶対値回路の出力にそれ自身の入力が接続され 、前記入力ベクトルと前記基準ベクトルとの間の距離を表す信号値を累積する累 積回路とが設けられ； Ｃ）前記減算回路はデジタル減算ネットワークを有し；ｄ）前記非線形回路は、 非線形転送特性を記憶すると共に、メモリ内のアドレスからその出力に値を供給 するＲＯＭを設け、このアドレスが前記減算回路の出力信号値であることを特徴 とする請求項２９記載の二重−クン。 ３１、　ａ）入力データベクトルを受信すると共にラッチするネットワーク入力 データコネクタ詰よびラッチと、これら人カデークどクトルフンボーネント値の 各々は、予め決められた到来間隔で連続的に到来し；ｂ）少なくとも１つのマル チブレ・ツクス差分望二ツーロンを有する第１ニコーロノネツトワーク層と、こ のマルチプレックス差分二ｘ＊ンは、入力ベクトルデータコネクタと、基準ベク トル人力コネクタと、オフセットコネクタとを有し、第菫層入カデータコネクタ を、前記ネットワーク入力データコネクタに接続して、連続入力データベクレト コンポーネントを受信するように［７、基準ベクトル入力コネクタを、前記入力 データラップ入力ベクトルコンポーネント値に対応した基準ベクトルエレメント を連続的に供給する基準ベクトルコンポーネント値のソースに接続し、オフセッ トコネクタの各々を前記第１ニス−ロン層のマルチブレブクス差分ヤニューロン 用のオフ上１ト値ソースにｔｌｌＥし；Ｃ）−組の第１層出力ラッチと、これら ラッチの各々を、前記第１層マルチプレックス差分タイプ二二−ロンの出力に接 続して、この第１層マルチプレックス差分型：ｊ−ロンから値を受信１７、記憶 し、更に、連続的に出力するようにし：ｄ）前記第１層出力ラッチ用の１つの入 力接続部と、マルチプレ・ソクサ出力ター１”ルトに出力するための入力接続部 の１つを連続的に選択する選択フントロール手段とを有し、マルチプレックス処 理さ１また第１層出力信号を供給する次層人力マルチプレックサネットワークと を具備したことを特徴とするマルチブレプクサ差分型ニューラルネメトワークサ ブアノセンブ嘗几３２　連続的に接続したマルチプレックス差分Ｈ２二ｊ−ラル ネットワークサブアブセ／ブリを有し、これらサブアッセンブリの各々が弁別ニ ューラルネットワーク層に対応し、これらサブアノセンブリの各々は：ａ）入力 データベクトルを受信すると共にラッチするネットワーク入力データコネクタお よびうＹチと、これら入力データベクトルコンポーネント値の各りは、予め決め られた到来間隔で連続的に到来し；ｂ）少なくとも１つのマルチブレックス差分 梨ニ二一ロンを有する第１ニューロンネットリーク層と、このマルチブレプクス 差分二コーロンは、入力ベクトルデータコネクタと、基準ベクトル入力コネクタ と、オフセットコネクタとを有し、第１層人力データコネクタを、ｎｑ記ネット ワーク入力データコネクタに接続して、連続入力データベクトルコンポーネント を受信するようにし、基準ベクトル入力コネクタを、前記入力データラッチ入力 ベクトルコンポーネント値に対応した基準ベクトルエレメントを連続的に供給す る基準ベクトルコンポーネント値のソースに接続し、オフセットコネクタの各々 を前記第１二ニーロン層のマルチプレブクス差分型二５−ロン用のオフセット値 ソースに接続し；Ｃ）−組の第１層出力ラッチと、これらラッチの各々を、前記 第１層マルチブレ１クス差分タイプニ講−ロンの出力に接続して、この第１層マ ルチプレックス差分型二ニーロンから値を受信し、記憶し、更に、連続的に出力 するようにし；ｄ）前記第１層出力ラッチ用の１つの入力接続部と、マルチブレ ブクサ出力ターミナル上に出力するための入力接続部の１つを連続的に選択する 選択コントロール手段とを有し、マルチプレックス処理された第１層出力信号を 供給する次層入力マルチプレ１クサネブトワークとを具備したことを特徴とする マルチブレγクサ差分室二二一うルネブトワーク。 手続補正帯（方式） 平成６年６月２３８ 特許＋ｉ長官　殿 １、事件の表示 平成４年特許願　第５１１４５１号 （国際出願番号）ＰＣＴ／ＵＳ９２１０３５０９２、発明の名称・ 差分ニューロンを包含したニューラルネットワーク３、補正をする者 事件との関係　特許出願人 名称　インテル・コーボレーン、ン ４、代理人 居　所　〒１００　東京都千代田区永田町２丁目４番２号秀和溜池ビル８階 山川国際特許事務所内 ６、補ＩＩ−の対象 口）特許法第１８４条の５第１項の規定にＪる書面の特許出願人の欄（２）ｔ！ 、４面の翻訳文 （３）委任状Φ同訳文 ７、補正の内容 国際調査報告 １１ゞ１”１２１１１１′−ｔ’ｓ４＜ａフＩｎＫｒａフロントページの続き ＤＫ、　ＥＳ、　ＦＲ，ＧＢ、　ＧＲ，ＩＴ、　ＬＵ、　ＭＣ，ＮＬ、　ＳＥ） 、　０Ａ（ＢＦ、　ＢＪ、　ＣＦ、　ＣＧ、　ＣＩ、　ＣＭ、　ＧＡ、　ＧＮ、 　ＭＬ、　ＭＲ，ＳＮ、　ＴＤ、　ＴＧ）、　ＡＴ、　ＡＵ、　ＢＢ、　ＢＧ、 　ＢＲ，ＣＡ、　ＣＨ，ＤＥ、　ＤＫ。 ＥＳ、　ＦＩ、　ＧＢ、　ＨＵ、　ＪＰ、　ＫＰ、　ＫＲ，ＬＫ、　ＬＵ、　Ｍ Ｇ、　ＭＷ、　ＮＬ、　Ｎｏ、　ＲＯ，ＲＵ、　ＳＤ、　ＳＥ

Claims (1)

1. 【特許請求の範囲】 １．ａ）入力信号ベクトルと基準ベクトルとの間の距離を表す信号値を発生する 手段と； ｂ）弁別解像度を制御する前記距離信号からオフセット値を減算することによっ て組合わせ信号を形成する手段と； ｃ）前記組合わせ信号値を規定された弁別関数を表す値に対してマッピングする 第１の非線形手段とを具備したことを特徴とする差分タイプ人工神経細胞（ニュ ーロン）セル。 ２．前記距離値発生手段は、 ａ）前記入力信号の対応のエレメントと、前記標本ベクトルの対応のエレメント との開の距離を表す差分ベクトルを形成する差分回路と；ｂ）前記差の大きさを 表す前記差分ベクトルの構成要素（エレメント）から、一組の単極性信号を形成 する第２の非線形手段と；ｃ）この一組の単極性信号を加算することによって、 前記距離値を表す総和を生成するアキュムレータ（累積器）手段とを有したこと を特徴とする請求項１記載のニューロン。 ３．前記第２の非線形手段が絶対値回路であることを特徴とする請求項２記載の ４．前記第２の非線形手段が二乗検波器であることを特徴とする請求項２記載の ５．前記第２の非線形手段がｎ次デバイスであることを特徴とする請求項２記載 のニューロン。 ６．前記第２の非線形手段が指数関数デバイスであることを特徴とする請求項２ 記載のニューロン。 ７．前記距離値発生手段がミンコフスキーノルム発生器であることを特徴とする 請求項１記載のニューロン。 ８．前記距離値発生手段および前記第１の非線形手段がディジタル回路であるこ とを特徴とする請求項１記載のニューロン。 ９．前記第１の非線形手段がＳ字状関数を表したことを特徴とする請求項１記載 のニューロン。 １０．前記第１の非線形手段がリニアスレッシュホールド論理演算子を表したこ とを特徴とする請求項１記載のニューロン。 １１．前記第１の非線形手段が、ガウスベル関数を表すことを特徴とする請求項 １記載のニューロン。 １２．マルチチャネル入力ベクトルを受信するように構成された正方向送り式人 工神経細胞網（ニューラルネットワーク）において、入力ベクトルの信号エレメ ントに、選択的に接続された少なくとも１つの差分タイプニューロンから成る第 １のニューラル層を具え、出力ベクトルを生残し、この出力ベクトルの構成要素 が、ニューラル出力の組の少なくとも１つであることを特徴とするニューラルネ ットワーク。 １３．前記差分ニューロンの各々を、前記入力ベクトルの各エレメントに完全に 接続したことを特徴とする請求項１２記載のニューラルネットワーク。 １４．更に、 ａ）少なくとも１つの追加の層を具え、この層内では、前記第１層の出力ベクト ルを前記第２層の入力に選択的に接続し；ｂ）次のニューロン層入力を先行のニ ューロン層出力に選択的に接続したことを特徴とする請求項１３記載のニューラ ルネットワーク。 １５．差分ニューラルネットワークにおける各ニューロン（神経細胞）に対して 、オフセットを含む基準ベクトルコンポーネント値を適切に調整するに当たり、 ａ）任意の値でニューラル基準ベクトルとオフセットコンポーネント値とを初期 化し； ｂ）標本入力ベクトルを供給し； ｏ）結果として得られる出力ベクトルと、対応する標本出力ベクトルとを比較し て、誤差値を得るようにし； ｄ）これら比較動作からコスト関数の値を演算し；８）前記ニューラル基準ベク トルとオフセットとの各々に関して、前記コスト関数の傾きを予測し； ｆ）前記基準ベクトルと前記オフセット値をこの傾きの方向に向かって増加させ ながら変化させ；および ｇ）前記誤差値と予め決められた値とを比較し、もし、この誤差値が予め決めら れた値より小さい場合にこの処理ステップを終了させ、それ以外の場合には、上 記ステップ（ｂ）まで戻って新たに反復処理動作するステップを具備したことを 特徴とする差分ニューラルネットワークにおける基準ベクトルコンポーネント値 調整方法。 １６．前記傾斜の分数部分を前記基準ベクトルと前記オフセット値に与えたこと を特徴とする請求項１５記載の処理方法。 １７．前記処理ステップ（４）に、 ａ）前記コスト関数値を記憶するステップと；ｂ）順次存在する値を比較してエ ラーコストが増大しているかどうかを決定し、もし増大しているならば、最新の 基準ベクトルおよびオフセット値を先行するこれら値の組によって更新させ、な らびに、前記与えた傾斜の分数部分の値を減少させるステップとを更に具備した ことを特徴とする請求項１６記載の処理方法。 １８．更に、 ａ）前記誤差値が特定の限度値を超過するような標本の個数を計数するステップ と； ｂ）この計数値がゼロの場合に、前記傾きの分数部分および前記限度値を減少さ せるステップとを具備したことを特徴とする請求項１６記載の処理方法。 １９．更に、 前記コスト関数の減少率を比較するステップおよび、この比較値が予め決められ た値より小さい場合に、この処理プロセスを終了させるステップを具備したこと を特徴とする請求項１６記載の処理方法。 ２０．差分ニューラルネットワークおよび適用装置において、ａ）差分ニューラ ルネットワークと； ｂ）この差分ニューラルネットワーク入力に接続された、制御可能な入力標本ベ クトル発生器と； ｃ）対応する人標本ベクトルに対して所望のネットワークレスポンスを発生する 、制御可能な出力標本ベクトル発生器と；ｄ）第１および第２入力ポートと、ベ クトル差分を表す信号をその出力に発生するベクトル比較手段と、この第１入力 を前記ニューラルネットワークに接続し、この第２入力を前記標本ベクトル発生 器の出力に接続し；ｅ）前記比較器の出力に接続され、一組の基準ベクトルとオ フセット（前記ニューラルネットワークの各ニューロンに対して一組）のエレメ ントを、前記比較器の出力を利用して予め決められた手順に従って初期化すると 共に調整するコントロールプロセッサとを具備したことを特徴とする差分ニュー ラルネットワークコントロールおよび適用装置。 ２１．前記コントロールプロセッサによって、前記入力および出力標本ベクトル 発生器を制御したことを特徴とする請求項２０記載の装置。 ２２．前記コントロールプロセッサに、構成および初期化をコントロールする入 力手段を更に設けたことを特徴とする請求項２１記載の装置。 ２３前記コントロールプロセッサに、標本ベクトルを記憶するメモリを更に設け たことを特徴とする請求項２２記載の装置。 ２４．前記コントロールプロセッサに、所望に応じて、先行するコスト関数の値 と、これと組合わされ、検索用の基準およびオフセットデータとを記憶するメモ リを更に設けたことを特徴とする請求項２３記載の装置。 ２５．ａ）正方向送り差分タイプのニューラルネットワークと；ｂ）この正方向 送り差分タイプのニューラルネットワークの入力にその出力を選択的に結合させ る手段と； ｃ）前記正方向送りニューラルネットワークヘのこの入力ベクトルの状態を初期 化する手段とを具備することを特徴とする帰還型人工ニューラルネットワーク。 ２５．前記正方向送りニューラルネットワークを、第１ニューラル層を有するマ ルチチャネル入力ベクトルを受信するように構成し、この第１ニューラル層を、 人力ベクトルの信号エレメントに選択された少なくとも１つの差分型ニューロン から構成し、これによって、出力ベクトルを得るようにし、この出力ベクトルの 構成要素を前記ニューラル出力の組の少なくとも一組であることを特徴とする請 求項２５記載の帰還型人工ニューラルネットワーク。 ２７．前記正方向送りニューラルネットワークを前記入力ベクトルの各エレメン トに完全に接続したことを特徴とする請求項２６記載の帰還型人工ニューラルネ ットワーク。 ２８．ａ）前記第１層出力ベクトルが前記第２層の入力に選択的に接続されるよ うな、少なくとも１つの追加のニューロン層と；ｂ）先行するニューロン層出力 に選択的に接続された後続のニューロン層とを更に具備したことを特徴とする請 求項２７記載の帰還型人工ニユーラルネットワーク。 ２９．帰還差分型ニューラルネットワーク用の基準ベクトルコンポーネント値お よびオフセットを決定するに当たり、 ａ）一組の出力標本ベクトルから相関マトリックス（行列）を演算するステップ と： ｂ）このマトリックス内の最大相関値を利用して、前記マトリックス内のコンポ ーネント値を正規化するステップとを具備したことを特徴とする基準ベクトルコ ンポーネント値およびオフセットを決定する方法。 ３０．前記標本ベクトルの平均値を移動するステップを更に設けたことを特徴と する請求項２９記載の基準ベクトルコンポーネント値およびオフセットを決定す る方法。 ３１．所望のニューラルセルフォーマットとの互換性のために、前記器機ベクト ルをフォーマットするステップを更に設けたことを特徴とする請求項２９記載の 基準ベクトルコンポーネント値およびオフセットを決定する方法。