JPH04507026A - 学習機械シナプス・プロセッサ・システム装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 学習機械シナプス・プロセッサ・システム装置［関連出願に対する相互参照］ 本出願は優先権を主張し、以下の関連同時係属特許出願の一部継続出願である。

１９９０年５月２２ヨ出願のＡＰＰＡＲＡＴＵＳ　ＡＮＤ　ＭＥＴＨＯＤ　ＦＯ ＲＮＥＵＲＡＬ　ＰＲＯＣＥＳＳＯＲ”と題するＳ、ヴアッシリアディス（Ｖａ ｓｓｉｌｉａｄｉｓ）及びＧ、Ｇ。ペチャネク（Ｐｅｃｈａｎｅｋ）の米国特許 畠願第０７１５２６８６６号（ＩＢＭドヶット番号ＥＮ９−９０−０４５）（” ５ＮＡＰ”と呼ぶことがある）。

１９９１年４月８日出願の”Ａ　ＴＲＩＡＮＧＵＬＡＲ５ＣＡＬＡＢＬＥＮＥＵ Ｒ，ＡＬ　ＡＲＲＡＹ　ＰＲＯＣＥＳＳＯＲ”と題するＧ、Ｇ、ペチャネク及び Ｓ。

ヴアッシリアディスの米国特許出願第０７／６８２７８５号ＣＩ　ＢＭＦケッ） 一番％ＥＮ９−９１−０１８）（”Ｔ−３ＮＡＰ”と呼ぶことがある）、。

１９９１年４月８日出願（７）　”５ＰＩＮ：Ａ　５ＥＱＵＥＮＴＩＡＬＰＩＰ ＥＬＩＮＥＤ　ＮＥＵＲＯＣＯＭＰＵＴＥＲ”と題するＳ、ヴアッシリアディス 、Ｇ、　Ｇ、ペチャネク及びＪ、　Ｇ、デルガードエフリアス（Ｄｅｌｇａｄｏ −Ｆｒｉａｓ）の米国特許出願第０７／６８１８４２号（ＩＢＭドケット番号Ｅ Ｎ９−９１−０２６）（”５ＰＩＮ’と呼ぶことがある）。

さらに、以下の関連出願が同時に出°願されている。

１９９１年５月１７日出願の”ＶＩＲＴＵＡＬ　ＮＥＵＲＯＣＯＭＰＵＴＥＲＡ ＲＣＨＩＴＥＣＴＵＲＥＳ　ＦＯＲＮＥＵＲＡＬ　ＮＥＴＷＯＲＫＳ”と題すル Ｇ、Ｇ、ヘチャネク、Ｊ、Ｇ、デルガードエフリアス及びＳ、ヴアッシリアディ スの米国特許出願筒０７７７０２２６０号（ＩＢＭドケット番号ＥＮ９−９１− ０５３）（”ＶＩＲＴＵＡＬ”と呼ぶことがある）。

１９９１年５月１７日出願の”ＰＬＡＮ：ＰＹＲＡＭＩＤ　ＬＥＡＲＮＩＮＧＡ ＲＣＨＩＴＥＣＴＵＲＥ　ＮＥＵＲＯＣＯＭＰＵＴＥＲ”と題するＧ、Ｇ、ペチ ャネク、Ｓ、ヴアッシリアディス及びＪ、　Ｇ、デルガードエフリアスの米国特 許出願第０７／７０２２６３号（ＩＢＭドケット番号ＥＮ９−９１．−０５５） 　（”ＰＬＡＮ”と呼ぶことがある）。

１９９１年５月１７日出願の“Ｓ（１：ＡＬＡＢＬＥ　ＦＬＯＷ　ＶＩＲＴＵＡ ＬＬＥＡＲＮＩＮＧ　ＮＥＵＲＯＣＯＭＰＵＴＥＲ”と題するＧ、Ｇ、ペチャネ ク、Ｓ、ヴアッシリアディス及びＪ、　Ｇ、デルガードエフリアスの米国特許出 願第０７／７０２２６２号（ＩＢＭドケット番号ＥＮ９−９１−０５４）　（” ＳＶＬＭ″と呼ぶコトカアル）。

これらの同時係属出願及び本出願は同じ譲受人、すなわち、米国ニューヨーク州 アーモンクのインターナショナル・ビジネス・マシーンズ・コーポレーションに よって所有されている。

これらの同時係属出願に記載の記述を、この引用によって本明細書に合体する。

［技術分野］ 本発明はコンピュータ・システムに関し、具体的には記載されたコンピュータ・ システムによって実施できる例によって例示される後方伝播、ボルツマン様機械 、及びマトリックス処理を提供できる学習機械シナプス・プロセッサ・システム ・アーキテクチャに関する。

［発明の検討で使用する参照文献コ 本発明者等の諸発明の詳細な検討では、従来技術ではないが議論を理解する助け となる本発明者等自身の未発表研究を含む他の研究を引用する。このような追加 の文献には以下のものがある。

Ｄ、Ｅ、ルーメルハルト（Ｒｕｍｅｌｈａｒｔ）　、Ｊ、Ｌ、　マツフレランド （ＭｃＣｌｅｌ　１ａｎｄ）及びＰＤＭリサーチ・グループ（ｔｈｅ　ＰＤＰＲ ｅｓｅａｒｃｈ　Ｇｒｏｕｐ）の著書″Ｐａｒａｌｌｅｌ　Ｄｉｓｔｒｉｂｕｔ ｅｄＰｒｏｃｅｓｓｉｎｇ　Ｖｏｌ、１：　Ｆｏｕｎｄａｔｉｏｎｓ”、米国マ サチューセッツ州ケンブリッジ、ＭＩＴ　Ｐｒｅｓｓ、　１９８６年刊（以下で は”Ｒｕｍｅｌｈａｒｔ８６”と呼ぶ）。

Ｊ、　Ｎ、ホワン（Ｈｗａｎｇ）　、Ｊ、Ａ、ヴロンツォス（Ｖｌｏｎｔｚｏｓ ）及びＳ、Ｙ、クング（Ｋｕｎｇ）の論文”Ａ　５ｙｓｔｏｌｉｃ　Ｎｅｕｒａ ｌＮｅｔｗｏｒｋ　Ａｒｃｈｉｔｅｃｔｕｒｅ　ｆｏｒ　Ｈｉｄｄｅｎ　Ｍａｒ ｋｏｖ　Ｍｏｄｅｌｓ”、　ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ａｃｏ ｕｓｔｉｃｓＳＳｐｅｅｃｈ、ａｎｄ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｉｎｇ。

Ｖｏｌ、３７．　Ｎｏ１２．　ｐｐ、１９６７−１９７９．１９８９年（以下で は”Ｈｗａｎｇ８９’と呼ぶ）。

Ｍ、コープイル（Ｃａｕｄｉｌｌ）の論文”Ｎｅｕｒａ、Ｉ　Ｎｅｔｗｏｒｋｓ Ｐｒｉｍｅｒ−Ｐａｒｔ　”、　ＡＴＥｘｐｅｒｔ、　ｐｐ、５３−５９．１９ ８８年６月刊（以下では”Ｃａｕｄｉｌｌ　８８”と呼ぶ。）１９９０年５月１ ８日出願の”ＡＰＰＡＲＡＴＵＳ　ＡＮＤ　ＭＥＴＨＯＤ　ＦＯＲＮＥＵＲＡＬ 　ＰＲＯＣＥＳＳＯＲ”と題するＳ、ヴアッシリアディス及びＧ。

Ｇ、ペチャネクの米国特許出願第０７１５２６８６６号（ＩＢＭドケット番号Ｅ Ｎ９−９０−０４５）（以下では”５ＮＡＰ″または’ｆｆａｓｓｉｌｉａｄｉ ｓ　Ｓ　Ｎ　Ａ　Ｐ　９０”と呼ぶことがある）、。

１９９１年４月８日出願の”Ａ　ＴＲＩＡＮＧＵＬＡＲ５ＣＡＬＡＢＬＥＮＥＵ ＲＡＬ　ＡＲＲＡＹ　ＰＲＯＣＥＳＳＯＲ”と題するＧ、Ｇ、ベチャネク及びＳ 。

ヴアッシリアディスの米国特許出願第０７／６８２７８５号（ＩＢＭドケット番 号ＥＮ９−９１−０１８）　（以下では”Ｔ−３ＮＡＰ”と呼ぶことがある）。

１９９１年４月８日出願の”５ＰＩＮ：　Ａ　５ＥＱＵＥＮＴＩＡＬＰＩＰＥＬ ＩＮＥＤ　ＮＥＵＲＯＣＯＭＰＵＴＥＲ”と題するＳ、ヴアッシリアディス、Ｇ 、　Ｇ、ペチャネク及びＪ、　Ｇ、デルガードエフリアスの米国特許出願第０７ ／６８１８４２号（Ｉ　ＢＭドケット番号ＥＮ９−９１−０２６）（以下Ｑは’ ５ＰＩＮ’Ｊたは”Ｖａｓｓｉｌｉａｄｉｓ　９１”と呼ぶことがある）。

Ｂ、ウィドロウ（Ｗｉｄｒｏｗ）及びＭ、Ｅ、ホップ（Ｈｏｆｆ）の論文”Ａｄ ａｐｔｉｖｓ　Ｓｗｊ、ｔｃｈｉｎｇ　Ｃ１ｒｃｕｉｔｓ”、　ＩＲＥ　ＷＥＳ ＣＯＮ　ＣｏｎｖｅｎｔｉｏｎＲ，ｅｃｏｒｄ、　ｐｐ、９６−１０４．１９６ ０年（以下では”Ｗｉｄｒｏｗ　６０”と呼ぶ）。

Ｓ、グロスベルブ（Ｇｒｏｓｓｂｅｒｇ）の論文”ＣｏｍｐｅｔｉｔｉｖｅＬｅ ａｒｎｉｎｇ：　Ｆｒｏｍ　Ｉｎｔｅｒａｃｔｉｖｅ　Ａｃｔｉｖａｔｉｏｎ　 ｔｏ　ＡｄａｐｔｉｖｅＲｅｓｏｎａｎｃｅ’、　Ｃｏｇｎｉｔｉｖｅ　５ｃｉ ｅｎｃｅ　１１．　ｐｐ、２３−６３．１９８７年（以下ではＧｒｏｓｓｂｅｒ ｇ　８７’と呼ぶ。）Ｅ、Ｂ、アイヒエルベルガー（Ｅｉｃｈｅｌｂｅｒｇｅｒ ）及びＴ、Ｗ、ウィリアムス（Ｗｉｌｌｊ、ａｍｓ）の論文”Ａ　Ｌｏｇｉｃ　 Ｄｅｓｉｇｎ　５ｔｒｕｃｔｕｒｅｆｏｒ　Ｔｅ５ｔａｂｉｌｉｔｙ”、　Ｐｒ ｏｃｅｅｄｉｎｇｓ　１４ｔｈ　Ｄｅｓｉｇｎ　ＡｕｔｏｍａｔｉｏｎＣｏｎｆ ｅｒｅｎｃｅ、　ＩＥＥＥ、１９７７年（以下では”Ｅｉｃｈｅｌｂｅｒｇｅｒ 　７７’と呼ぶ）。

Ｊ、Ｊ、ホップフィールド（Ｉ（ｏｐｆｉｅＬｄ）の論文”ＮｅｕｒｏｎｓＷｉ ｔｈ　Ｇｒａｄｅｄ　Ｒｅ５ｐｏｎｓｅ　Ｈａｖｅ　Ｃｏ１１ｅｃｔｉｖｅ　Ｃ ｏｍｐｕｔａｔｉｏｎａｌＰｒｏｐｅｒｔｉｅｓ　Ｌｉｋｅ　Ｔｈｏｓｅ　ｏｆ 　Ｔｗｏ−５ｔａｔｅ　Ｎｅｕｒｏｎｓ”。

Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　Ｎａｔｉｏｎａｌ　Ａｃａｄｅｍｙ　 ｏｆ　５ｃｉｅｎｃｅｓ　８１．　ｐｐ。

３０８８−３０９２．１９８４年５月（以下では”Ｈｏｐｆｉｅｌｄ　８４”と 呼ぶ）。

Ｄ、Ｈ，アクレイ（Ａｃｋｌｅｙ）　、Ｇ、Ｅ、ヒントン（Ｈｉｎｔｏｎ）及び Ｔ、Ｊ、セイノフスキ（Ｓｅｊｎｏｗｓｋｉ）の論文“Ａ　ＬｅａｒｎｉｎｇＡ ｌｇｏｒｉｔｈｍ　ｆｏｒ　Ｂｏｌｔｚｍａｎｎ　Ｍａｃｈｉｎｅｓ”、　Ｃｏ ｇｎｉｔｉｖｅ　５ｃｉｅｎｃｅ　９゜ｐｐ、１４７−１６９．１９８５年（以 下では”Ａｃｋｌｅｙ　８５’と呼ぶ）。

Ｊ、Ｌ、マツフレランド及びり、　Ｅ、ルーメルハルトの著書“Ｅｘｐｌｏｒａ ｔｉｏｎｓ　ｉｎ　Ｐａｒａｌｌｅｌ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｐｒｏｃｅｓ ｓｉｎｇ：　ＡＨａｎｄｂｏｏｋ　ｏｆ　Ｍｏｄｅｌｓ、Ｐｒｏｇｒａｍｓ　ａ ｎｄ　Ｅｘｅｒｃｉｓｅｓ”、米国マサチューセッツ州ケンブリッジ、ＨＩＴ　 Ｐｒｅｓｓ、　１９８８年刊（以下では”ＭｃＣｌｅｌｌａｎｄ　８８”と呼ぶ ）。

Ｊ、　Ｊ、ホップフィールドの論文“Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ　ａｎｄ Ｐｈｙｓｉｃａｌ　Ｓｙｓｔｅｍｓ　ｗｉｔｈ　Ｅｍｅｒｇｅｎｔ　Ｃｏ１．１ ｅｃｔｉｖｅＣｏｍｐｕｔａｔｉｏｎａｌ　Ａｂｉｌｉｔｉｅｓ“、　Ｐｒｏｃ ｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　ＮａｔｉｏｎａｌＡｃａｄｅｍｙ　ｏｆ　５ｃ ｉｅｎｃｅｓ　７９．　ｐｐ、２５５４−２５５８．１９８２年（以下では”Ｈ ｏｐｆ　１ｅｌｄ　８２”と呼ぶ）。

［背景技術］ Ｗｅｂｓｔｅｒ’ｓ　Ｎｅｗ　ＣＯｌｌｅＣｏｌｌｅ　Ｄｉｃｔｉｏｎａｒｙに よれば、″学習する（ｌｅａｒｎ）“という単語は、「勉強、教育、または経験 によって知識または理解または技能を得ること」を意味する。ニューラル・ネッ トワークの知識は、ニューロン間の相互接続の強度または重みによって符号化さ れる。Ｎ個のニューロンからなる完全に接続されたネットワークでは、学習規則 によって修正可能なＮ２個の相互結合重みが使用可能である。ネットワークが経 験するといわれる「ｔ−習」過程は、Ｗｅｂｓｔｅｒの定義と類似の意味で、相 互結合重み値の修正を支配する機構または規則を意味する。このような学習規則 の１つは、Ｄ、Ｅ。

ルーメルハルト、Ｊ、Ｌ、マツフレランド及びＦＤＰリサーチ・グループの著書 ”Ｐａｒａｌｌｅｌ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｐｒｏｃｅｓｓｉｎｇ　Ｖｏｌ 、１：Ｆｏｕｎｄａｔｉｏｎｓ”、米国マサチューセッツ州ケンブリッジ、ＭＩ ＴＰｒ６ｓｓ、　１９８６年刊（以下では”Ｒｕｍｅｌｈａｒｔ　８６ｎと呼ぶ ）によって示されるように後方伝播と呼ばれる。後方伝播学習規則についてまず 説明し、その後で学習機械の実施態様に使用されるシナプス・プロセッサ・アー キテクチャについて論じる。

次に、入出力エンコーダ・ニューラル・ネットワークを使用する後方伝播の例を 示す。本発明の主題であるこのシナプス・プロセッサ・アーキテクチャは、他の ニューラル・ネットワークのモデル化、及びより一般的なりラスの並列データ・ アルゴリズムの実行に連層できるので、以後の一連の例で、この新しいシステム を用いたボルツマン様機械及びマトリックス処理の実施態様を示すことにする。

本発明者等の諸発明の詳細な考察の際、上述したように、我々自身の未発表研究 を含む他の研究を引用する。これらの背景文献は、引用によって本明細書に合体 する。

［発明の開示］ 本発明者等の新しく開発したコンピュータ・システムは、シナプス処理要素用の 新しいアーキテクチャを有するニューラル・シナプス・プロセッサ装置として記 述することができる。好ましい装置は、命令及びデータ記憶ユニットを含み、命 令及びデータを受け取り、命令を実行する、シナプス処理ユニットを有するＮニ ューロン構造をもつ。二〇Ｎニューロン構造は、通信加算器ツリー、ニューロン 活動化関数ユニット、及び通信加算器ツリーによって命令、データ、及びニュー ロン活動化関数ユニットの出力をすべて入力シナプス処理ユニットに返送するた めの配置を含むべきである。

以下で説明する好ましい装置は、Ｎ２個のシナプス処理ユニットを含む。各ユニ ットは、エミュレートされるＮニューラル・ネットワーク内の結合重みと関連づ けられ、対角線セル及び一般セルから構成される対角線に沿って折り畳まれたＮ ×Ｎマトリックスの形に配置されている。

好ましいシステムでは、対角線セルは、それぞれ単一のシナプス処理ユニットを 利用し、折り畳まれたＮＸＮ結合重みマトリックスの対角線結合重みと関連づけ られ、一般セルは、それぞれ合併された２つのシナプス処理ユニットをもち、折 り畳まれたＮＸＮ結合重みマトリックスの対称結合重みと関連づけられている。

これらの改良を実施するために我々が知っている最良の形で以下に記述するシナ プス処理要素用の本発明者等の新しいアーキテクチャを使用すると、後方伝播及 びボルツマン様機械アルゴリズムが利用でき、入出力エンコーダ・ニューラル・ ネットワークの例について考察するように、本発明者等の「汎用学習機械Ｊ　（ Ｇ　Ｐ　ＬＭ）上で後方伝播及びボルツマン機械が共に実施でき、かつマトリッ クス乗算、加算、及びプール演算用のデータ並列アルゴリズムがＧＰＬＭで実施 できる。

上記及びその他の改良は、以下の詳細な説明に記載されている。これらの発明な らびにその利点と特徴をよく理解するには、本発明者等がこの分野で行った他の 開発に関する同時係属の特許出願を参照しなければならないこともあろう。しか し、特に本明細書に記載する改良、利点及び特徴に関しては、添付の図面に沿っ た説明中で参照を行なう。

口図面の簡単な説明］ 第１図は、多層後方伝播ネットワークの概略図である。

第２図は、３層後方伝播ネットワークの概略図である。

第３図は、重み／Ｙ値乗算構造を２つの部分に分けて示した概略図である。

第３Ａ図は対角線セルについて、第３Ｂ図は一般セルについての概略図である。

第４図は、本発明の好ましいシナプス・プロセッサ・アーキテクチャを２つの部 分に分けて示した概略図である。

第４Ａ［ｌは対角線シナプス・プロセッサＤＳＹＰ、第４Ｂ図は一般シナプス・ プロセッサＧＳＹＰの概略図である。

第５図は、好ましい通信加算器ツリーの概略図である。

第６図は、シナプス・プロセッサ・アーキテクチャを有する４ニユ一ロン汎用学 習機械の概略図である。

第７図は、シナプス・プロセッサによってタグ付けされた命令／データ形式を示 す図である。

第８図は、入出力コード化問題用のニューラル・ネットワークの概略図である。

第９図は、ＧＰＬＭ上で実施された本発明のシナプス・プロセッサ・アーキテク チャの概略図である。

（注：　図示の都合上、第９−２０図は分割することがある。

何枚も使用する場合は、慣例に従って、図の上端を１枚目とし、以下上から順に 並べることにする。）第１０図は、本発明のシステムでの初期設定及び第１層実 行の概略図である。

第１１図は、本発明のシステムでの第２層実行の概略図である。

第１２図は、本発明のシステムでの第３層実行の概略図である。

第１３図は、本発明のシステムでの第４層実行の概略図である。

第１４図は、学習モード−逆通信Ｅ８、Ｅ９、ＥＩＯＳＥｌｌの概略図である。

第１５図は、学習モード−重み付き誤差総和作成ＥＲ４、ＥＲＡ、ＥＲ６、ＥＲ ７の概略図である。

第１６図は、学習モード−逆通信Ｅ４、Ｅ５、Ｅ６、Ｅ７、及び誤差総和作成Ｅ Ｒ２の概略図である。

第１７図は、学習モード−逆通信Ｅ３の概略図である。

第１８図は、学習モード−ステップ１重み更新の概略図である。

第１９図は、学習モード−ステップ２重み更新（ｐ＝ρ）の概略図である。

第２０図は、学習モード−ステップ３重み更新の概略図である。

第２１図は、マトリックス演算としてのニューロン計算の概略図である。

第２２図は、一般マトリックス乗算の概略図である。

［発明の好ましい実施例コ この詳細な説明は、例によって提供される本発明者等の諸発明の好ましい実施例 を説明する一部分である。

後方伝播学習の背景 後方伝播学習アルゴリズムは、通常、フィードフォワード多層ニューラル・ネッ トワーク上で実施されるが、再帰的ネットワークへの適用もすでに試みられてい る。たとえば、”Ｒ，ｕｕｅｌｈａｒｔ　８６”及び’８ｗａｎｇ　８９”を参 照されたい。ここでは、フィードフォワード・ネットワークだけを考察する。フ ィードフォワード・ネットワークは、パターン分類機構またはパターン・マツプ 機構として機能し、入カバターンが加えられたとき、フィードフォワード・ネッ トワークはこれらの入カバターンからパターンの出力セットへのマツピングまた は分類を学習する。ネットワークの「教師」として機能する分類または入出力マ ツピングのサブセットは最初に既知であると仮定する。分類のサブセットを学習 した後は、ネットワークは、見えないパターンに応答して、それらのパターンを すでに学習した分類にマツプすることができる。以前に見たことのないパターン を正しく分類できるネットワークの能力は、「−膜化」と呼ばれる。ネットワー クは、ニューロンの入力層、出力層、及び１つまたは複数の隠れ層からなり、入 カバターン内の各文字については入力ニューロン・ユニットによって、出カバタ ーン内の各分類または文字については出力ニューロン・ユニットによってセット アツプされる（第１図）。

隠れニューロン層の数、及び各隠れ層内のニューロンの数はさらに決定が難しい 。コルモゴロフの定理（”Ｃａｕｄｉｌｌ　８８”参照）は、ｍ個の入力ニュー ロン、ｎ個の出力ニューロン、及び２ｍ＋１個の隠れ層ニューロンからなる３層 ニューラル・ネットワークが、ｍ個の文字からなる入カバターンをｎ個の文字か らなる出カバターンにマツプできることを示している。

ここで、入力文字はＯ≦値≦１に制約される。しかし、コルモゴロフの定理は、 マツピング問題に対するニューラル・ネットワークの最小解を保証しない（Ｃａ ｕｄｉｌｌ　８８”参照）。最適解を得るための隠れユニットの最小数を選択す る方法は知られていない。隠れユニットの数を選択するには通常、経験、常識、 コルモゴロフ定理の使用、または実験的方法が使用される。層の数と層当たりの ニューロンの数が選択されると、次に接続構造が決定される。フィードフォワー ド・ネットワークは通常、隣接する層同士の間で完全な接続が可能であり、また 非隣接層間で接続をもつこともできるが、すべての接続はフィードフォワード方 向だけである。このフィードフォワード接続の制限は、フィードバック結合重み がないこと、及び層内のニューロン同士の間に接続がないことを意味すると思わ れる。この接続構造では、’Ｒ，ｕｍｅｌｈａｒｔ　８６″におけるように、通 常、重みは訓練の前にランダムに決定される。

第１図及びその他の図で、以下の記号を使用する。

・全ネットワーク内にＮ個のニューロン。

・添え字りはに個の層を番号付けするのに使用する。ただし、１≦Ｌ≦に０ ・各層内にはＭＬ個のニューロンがあり、したがってＭ１＋Ｍ２＋、、、＋ＭＫ ＝Ｎ。

・重みは二重添え字を付けて示す。Ｗｌ、は接続されたユニットｊからユニット ｉへの接続の重みを示す。

・外部入力は新しい変数Ｅｘｌで表す。ただし、１≦ｉ≦Ｎ。

各ニューロンは外部人力Ｅｘ、をもつことができる。

・すべてのニューロン出力はＹｌで表す。

・ニューロンは以下のように順次番号付けするニー　層Ｌ＝１のニューロン：Ｙ ｔ、Ｙｌ、、、、、Ｙ減１−　層Ｌ＝２のニューロン：Ｙ酩１＋１＊　Ｙば１＋ ２ｔ　ａ　６．ｔＹＭ１十堕２ −　層Ｌ＝にのニューコン：ＹＮ−ッに十、、　ＹＮ−にに＋２ｐ　ｍ　＋　＋ 　ｔＮ ニューロン・シグモイド関数を、以前に採用した形から式１の形に変形する　（ たとえば”Ｖａｓｓｉｌｉａｄｉｓ　Ｓ　ＮＡ　Ｐ　９０“、”Ｔ−３ＮＡＰ” 、及び”Ｖａｓｓｉｌｉａｄｉｓ　Ｓ　Ｐ　Ｉ　Ｎ　９１”参照）。変更点は、 ニューロン処理要素への外部入力を表す項Ｅｘ１を追加したことである。

多（のフィードフォワード・ニューラル・ネットワークでは、入力ニューロン層 だけが外部入力を使用する。文献、たとえば”Ｒｕｍｅｌｈａｒｔ　８６”では 、フィードフォワード・ネットワークの入力ニューロンは、ニューラル・ネット ワーク内の他のニューロンが使用するシグモイド関数ではなく、識別活動化／出 力関数を使用する。この場合、Ｙ１＝Ｅｘ１゜その代わり、シグモイド関数が入 力ニューロンに使用でき、Ｅｘｌの範囲を−Ａ≦Ｅｘ、≦＋Ａにまで拡大するこ とによって、すべてのニューロンが同じ活動化関数をもつことができる。ただし 、Ｅｘ、が１つのニューロンへの唯一の入力であると仮定すると、−八はＹ、＝ Ｏに等しく、＋ＡはＹ、≦１に等しい。許容可能な誤差範囲内で、外部人力ＥＸ 、の使用によって、入力ニューロンを０”状態または”１″′状態に強制するこ とができる。ネットワーク内のその他のニューロンのＥｘ、は、必要でなければ 、Ｏに等しくすることができる。

ニューロン活動化関数Ｆ（Ｚｌ）をシグモイド関数に等しく決定する。その形は 、たとえば次の通りである。

−ｅ＝自然対数（２，７１８２８，、、）−関数ｒ（ｚｌ）について、 −〇≦Ｆ（ｚ＋）　≦１ −　Ｔは、所与の１組の２．値に対するシグモイド関数の勾配を変更するために 使用する大域制御パラメータである。

既知の１組の入力／教師パターンが与えられた場合、既知入力が後方伝播ネット ワークに加えられ、そのネットワークは実行モードで実行しである出力を生ずる 。次にネットワークは学習モードに置かれ、ある規則に従って重みが調整される 。教師パターンと実際に生じた出カバターンの不一致度が誤差である。後方伝播 学習規則の背後にある基本概念は、全ネットワーク誤差Ｅ　（Ｗ）を調整可能な 重みの関数としてすべての入力／教師パターンについて最小化することである。

ネットワーク誤差Ｅ　（Ｗ）は、教師入力及びネットワーク出力の２次関数とし て選択される（”Ｒｕｍｅｌｈａｒｔ　８６″の後方伝播／デルタ規則方程式） ニ ーＱはパターンｐの数に等しい。

−出カニニット上に教師入力しＰｌがある。

特定のパターンｐについて、　Ｅ　（Ｗ）’は、ウィドロウとホフ（”Ｗｉｄｒ ｏｗ　６０”）の研究によれば、連続値出力をもつユニットのシステムではなく 単一層線形しきい値ユニット・システムでは、２次誤差関数をある範囲のネット ワーク重みの値に対してプロットした曲線は、１つの最小値をもつ滑らかな関数 となる。平均２乗誤差を最小化する手順を使用することによって、ネットワーク は、誤差面に沿って単一の最小値に達するまで勾配を下げる。言い替えると、誤 差関数が最小になるように重みが変更される。より具体的には、重み変化を誤差 関数の導関数の負数に比例させることによって勾配降下が達成される。線形しき い値ニューロンに使用されたこの勾配降下の概念が、シグモイド型応答を有する ニューロンに拡張される。

式１及び式２で定義された活動化関数を有するニューロンで平均２乗誤差を最小 にするには、重み変化に対する誤差関数の導関数を計算しなければならない。重 みは、勾配降下方程式に従って変化しなければならない。

（上式で、ρは比例定数である。） 連鎖体を使用して重みに対する誤差関数（式５）の導関数をとると、 式７の最初の部分（ｄ　Ｅ’）　／　（ｄ　ｚ’、）は、第ｉユニットの入力の 変化に対して誤差Ｅ′がどのように変化するかを表す。

式７の第２の部分（ｄ　ｚ’ｚ）　／　（ｄＷｔＪ）は、特定の重みＷｌＪの変 化に対して第ｉ入力がどのように変化するかを表す。

外部人力Ｅｘ、はネットワーク実行中一定と仮定されるので、式７の第２の部分 の導関数は次のようになる。

式７の第１部分の導関数は、”Ｒｕｍｅｌｈａｒｔ　８６”によって解釈された 線形ニューロンで使用される元のデルタ規則アルゴリズムに基づいている。ニュ ーロンが線形であるなら、Ｙ′、は入力ｚＰ、またはその定数倍に等しくなるは ずである。この線形式と「一貫性」をもつようにするため、第１の導関数は、” Ｒｕｍｅｌｈａｒｔ　８６”に従って次のように定義する。

誤差面Ｅ上で勾配降下を実施するため、弐６に基づくこの学習規則に従って重み を変化させる。

ΔＷ、、＝ρδ’１Ｙ’、　（１０） （上式で、ρは学習速度（比例定数）を表す。）多層ネットワーク内のすべての ニューロンについてδ′、を決定することが、後方伝播アルゴリズムの核心であ る。式９に対して微分連鎖規則を適用すると、次式が得られる。

第１項（ｄＥ’）／　（ｄＹ’りは、ニューロンの出力の関数としての誤差の変 化を表し、第２項（ｄ　Ｙ’＋）　／　（ｄ　Ｚ’＋）は入力の変化の関数とし ての出力の変化を表す。第２項は出力ニューロンと隠れニューロンの両方に有効 である。活動化関数（式２）の導関数は次の通りである。

式１１の第１項の計算は、ユニットが出力ニューロンであるか、それとも隠れニ ューロンの１つであるかによって変わる。

出カニニットの場合は、教育入力が使用可能なので、出力ニューロンに関する式 １２を式１４に代入すると二δへ＝　（ｔ’！−ｙｐ、）ＹＰｌ（１−Ｙ’１） 　（１５）従って、出力ニューロンについては、式１０は次のようになる。

ΔＷ１．＝ρＹ’Ｊ　（ｕ’＋　Ｙ’ｚ）Ｙ’＋（Ｉ　Ｙ’、）　（１６）出力 Ｙ、をもちＹ、がフィードフォワード層に接続されている層り内の第１の隠れユ ニットについて、連鎖体を使用して（ｄ　Ｅ’）／（ｄ　Ｙ’１）を書き直すと 、上式で、ｍ＝Ｍ１＋Ｍ２＋、、、＋ＭＬ式１７は、ニューロンのフィードラオ ワ−１’層Ｙｔ＋ｉ？Ｙ　ｍ＋２＋　Ｉ　Ｔ　−＃　ｙＮに対する層り内のＹ、 の効果を表す。続は調べている唯一の効果はＹ、によるものなので、フィードフ ォワード層内のすべての入力のＹｌに対する導関数は次のように式９を式１９に 代入すると： Ｗｃ、は、１つのフィードフォワード層内における隠れユニットｉからニューロ ン・ユニットＣへの結合重みであると解釈される。式１１を整理すると、 式１２及び２０を式１１に代入すると：次に、式１０に基づいて、 ΔＷ、Ｊ＝ρｙ　Ｐ　Ｊｙ　’　、（Ｉ　Ｙ　’　＋　）Σ　δＰｃＷｃ、（２ ２）Ｃ１１口十１ 層りの隠れユニットの誤差信号δ′１を、Ｌより前の層に後方伝播させて、重み 修正プロセスを続行することができる。

多層ニューラル・ネットワークでは、式１６及び２２が後方伝播学習規則を構成 する。すべての重みが、下記の一般規則に従って更新される。

新しいＷ１ｊ＝古いＷ、＋ΔＷｉ、（２３）いま図を詳細に参照すると、後方伝 播は、高水準からは第２図に示すように見える。第２図は、３層後方伝播ネット ワークを示している。　’Ｇｒｏｓｓｂｅｒｇ　８７”参照。第１図は、３層Ｆ １、Ｆ２、Ｆ３の後方伝播ネットワーク内に含まれる主要な計算ブロックの概略 を示す。このネットワークへの入力は、３つの層Ｆｌ、Ｆ２、Ｆ３を通過して、 Ｆ３層から実際のネットワーク出力を発生する。ユニットのＦ１層、Ｆ２層、Ｆ ３層は、各層内でニューロンの出力を直接生成する、非線形で、微分可能な、非 減少の活動化関数をもつ。これらの活動化関数は、微分器ブロックＦ６、Ｆ７、 及び誤差信号ブロックＦ４、Ｆ５に送られる。ブロックＦ６及びＦ７は、それぞ れ層Ｆ３及びＦ２からの活動化関数を微分し、対応する誤差ブロックＦ４及びＦ ５に信号を供給する。またブロックＦ４は、層Ｆ３からの直接出力と、予想出力 と記された教育入力とを受け取る。ブロックＦ４は、予想出力と実際の出力Ｆ３ の差に実際の出力Ｆ３の導関数を掛けた積に基づ（学習信号を作成する（式１５ ）。次に、Ｆ３とＦ２の間の重みが、学習信号によって修正される（式１６及び ２３）。隠れ層とも呼ばれる層Ｆ２への重みは、多少異なる規則によって修正さ れる。というのは、教師、すなわちＦ２層に対する予想出力が存在しないからで ある。Ｆ５ブロックからの学習信号は式２１に等しく、重みは式２２及び２３に 基づいて更新される。

このネットワークは、２つのフェーズ、すなわち実行または順方向伝播フェーズ と、Ｆ３層から出発して重みを修正し入力層へ後方伝播する、ネットワークを介 する後方伝播である学習フェーズで働（。このサイクル、すなわち新しい出力を 発生する順方向伝播フェーズと、その後に続く重みを更新する後方伝播フェーズ は、実際値と目標値が一致する、または許容範囲内に入るまで続く。

学習機械シナプス・プロセッサ・アーキテクチャ”Ｔ−３ＮＡＰ″に記述された ＴＳＮＡＰ構造は、ＴＳＮＡＰが重み修正機構を提供しなかったので、ホスト・ プロセッサが、ニューラル・ネットワーク・モデルが必要とする学習機能を提供 することを必要とした。さらに、Ｔ　Ｓ　ＮＡ　Ｐは、式１で記述されるニュー ロン実行機能も提供しない。複数の学習アルゴリズム及び新しいニューロン定義 （式１）に対応するには、ＴＳＮＡＰアーキテクチャの大きな変更が必要である 。これらの変更は、ニューラル・ネットワーク・パラダイムに通常付随する能力 を超える能力をもたらすものである。

ＴＳＮＡＰで提供された固定乗算機能の代わりに、命令を受け取って実行する新 しいタイプの計算要素で乗算要素を置き換えた、より一般的なプロセッサ・アー キテクチャが使用される。この新しいアーキテクチャをシナプス・プロセッサ・ アーキテクチャ（ＳＰＡ）と呼ぶ。ビット直列通信が、システム装置の好ましい 実施例によって実施される以下のアーキテクチャの議論の基礎となる仮定である が、このビット直列のＳＰＡ実施例は、ビット直列の実施態様だけに限定される ものではな（、このアーキテクチャはやはり以下で詳細に説明するワード並列形 式にも適用できる。

重み／Ｙ値乗算機能は、式１及び２で定義されるように、生物ニューロンとの粗 い機能的類推では、入力シナプス処理に対応する。拡張された乗算セルまたは［ シナプスコプロセッサ・アーキテクチャは、重み／Ｙ値乗算機能及び以下で説明 する追加の機能を含む。学習なしのニューラル実行能力、一般セル構造及び対角 線セル構造を実施するには、２つのタイプのプロセッサ「セル」構造が必要であ る。

学習なしの基本実行構造、及び学習をサポートする新しいプロセッサ構造は、第 ３図及び第４図に示されている。以下の説明で使用する「要素」という用語は、 重み変更能力なしのシナプス処理に必要な最小のアーキテクチャ機能ユ・ニット 、すなわち重みレジスタ、Ｙ値しジスタ、及びＷ、ｊＹ、で象徴的に示される乗 算器を意味する。第１の「セル」　（第３Ａ図）は、対角線要素ｗ、ｘｙ、と関 連し、第２の「セルＪ、Ｇセル（第３Ｂ図）は残りの要素Ｗ１．Ｙ、と関連し、 上端及び下端配置で示された、Ｇセル内に置かれた２つの要素を含む。基本的ニ ューラル実行構造（第３Ａ図及び第３Ｂ図）に対する変更点は、第４Ａ図及び第 ４Ｂ図に示されており、タグ比較機能、コマンド（ＣＭＤ）レジスタ、一時（Ｔ ＥＭＰ）レジスタ、各データ・レジスタ内の条件付き実行ビット（ＣＥＢ）、デ ータ経路レジスタ、コマンド経路ビット、セレクタ及びディストリビュータ制御 構造、及び実行ユニット（ＥＸＵ）ブロックで表される乗算以外の拡張機能を追 加したことである。

簡潔に言うと、タグ比較機能により、同報通信Ｂビットを用いて個々のシナプス ・プロセッサ「要素」またはすべてのプロセッサを選択することが可能になる。

コマンド制御命令とデータ経路、ならびに拡張ＥＸＵ機能、データ経路レジスタ 、コマンド経路ビットはプログラマブルな記憶要素である。一時レジスタは、各 要素内で追加の記憶能力を提供し、セレクタ及びディストリビュータ制御構造は 、記憶されたデータ／コマンド経路とコマンドのソース・アドレス及び宛先アド レスとに基づく内部要素経路の選択を制御する。この新しい形のプロセッサ・セ ルは、シナプス・プロセッサ（ＳＹＰ）と呼び、対角線セルはＤＳＹＰ、一般セ ル（Ｇセル）はＧＳＹＰと呼ぶ。第３Ａ［ｆｆｉ及び第３Ｂ図を検討して、ニュ ーラル・ネットワーク・モデルにおける完全な接続性をサポートするＳＹＰセル の本質的かつ新規なアーキテクチャ上の特徴を簡潔に考察する。たとえば、各処 理セル内での乗算を暗示する、実行モードにあるニューラル・ネットワーク・モ デルでは、対角線セルは、その記憶された重みにその記憶されたＹ値を掛け、乗 算結果を関連する加算器ツリーに供給する。対角線セルの逆通信モードでは、関 連する加算器ツリーからＹ値を受け取って、Ｙ値しジスタに記憶する。またこの 構造の「Ｇセル」は、重みとＹ値の積を生成し、この積を関連する加算器ツリー に供給する。これらの「Ｇセル」の逆通信モードでは、下端の乗数加算器ツリー から受け取ったＹ、値は、上端のＹ値しジスタに記憶され、同様に上端の乗数加 算器ツリーから受け取ったＹ１値は、下端のＹ値しジスタに記憶される。このＹ 値記憶の切替えは、完全な接続性をサポートする本質的特徴である。拡張された セル（第４Ａｊｌ及び第４Ｂ図）では、この経路切替えはプログラマブルであり 、そのために、処理のためのさらに別の独特のアーキテクチャ上の特徴が可能に なる。シナプス・プロセッサのプログラマブル性は、逆通信モードにある関連す る加算器ツリーからシナプス・プロセッサＣＭＤレジスタで受け取ったコマンド または命令を介して得られる。命令を受け取ると、各ＳＹＰ要素は、その命令で 指定される操作を実行する。命令のタイプには、データ及びコマンド経路命令、 算術命令、及び論理命令がある。各ＳＹＰは、ソース経路と宛先経路及びＥＸＵ 機能を指定する、各処理要素用のコマンド・レジスタを含む。ＤＳＹＰは、１つ のコマンド・レジスタを含み、ＧＳＹＰは２つのコマンド・レジスタを含む。こ こで、好ましい重み／ＹＹ値算構造については第３図を、このシナプス・プロセ ッサ・アーキテクチャの例については第４図を参照されたい。

第５図を参照して通信加算器ツリーの機能（”Ｔ−３ＮＡＰ″参照）について考 察する。象徴的加算器ツリーが第５図の左側に示され、各段の加算器は文字Ａで 表されている。パイプライン・ラッチは、わかりやすくするために省略した。使 用される通信加算器ツリー構造のより詳細な表現は第５図の右側に示されている 。３つの加算器要素が、２段パイプライン式ツリー配置で示されている。加算器 要素は、その出力上のブロックである１つのスイッチ１　（ＳＷＩ）、及び加算 器をバイパスするブロックである２つのスイッチ２　（ＳＷ２）をもつ。通信加 算器ツリーは、２つのモード、すなわち順方向加算モード及び逆通信モード（バ イパス・モードともいう）のうちの１つに置（ことができる。ツリーのすべての ノードが同じ関数を提供することを保証するために、各加算器要素で共通の制御 信号が使用される。ただし、一般的には、ツリー処理ノードは拡張機能能力のも のでよく、各ツリー・ノード内に別々の制御機構を設けることによって処理ノー ドの制御をより柔軟にすることができる。別々の制御線の使用、またはツリー処 理ノードへのタグ付けされたコマンドの使用は、ツリーの処理能力を拡張する機 構の２つの例である。ツリー・ノード機能ユニットのより拡張された機能は、機 能の定義によって必要とされる追加の記憶要素を含むことができる。

この説明では、通信加算器ツリー処理ノードはすべて、中心制御点からイネーブ ル／ディスエーブルされる共通のツリー制御信号を利用して、その入力データに 対して同じ機能、すなわち加算またはバイパス通信を提供する。ツリー制御信号 によって指定される機能の１つは加算器バイパスである。スイッチＳＷＩとＳＷ ２はともにオン／オフ制御機構をもち、「オフ」状態にあるときはスイッチを開 すなわち高インピーダンス状態に保ち、「オン」状態にあるときは加算器をバイ パスして低インピーダンス経路を通る。ＳＷＩがイネーブルされたとき、ＳＷ２ はディスエーブルされ、逆も同様である。

こうして、加算器ツリーは、たとえばＳＷＩがオン、ＳＷ２がオフの１方向で加 算機能を提供することができ、またＳＷｌがオフ、ＳＷ２がオンの加算器バイパ ス・モードでは本質的に通信経路として機能する。２−１加算器などの２−１機 能要素を使用する加算器ツリーは、ｌｏｇ２Ｎ個の段を必要とする。また、すべ て同じ要素タイプのまたは組み合わせた、３−１．４−１．、、、、Ｎ−１加算 器などの３−１．４−１、、、、、Ｎ−１機能要素及びそのバイパス・スイッチ を用いて、順方向加算器及び通信経路機能を実施して、指定された関数を生成す ることができる。通信加算器（第５図）はその論理関数を表すことに留意された い。というのは、たとえば、使用する技術に応じて、「オフ」が高インピーダン ス状態に等しいＳＷＩの機能を、各加算器要素の最終内部段で必要とされるゲー ト装置内に組み込むことができ、それによって加算機能への遅延を増大させない からである。また、別々の通信ツリー経路を設け、それによってたとえば加算機 能の進行中に通信を行なうことができる。

４ニユーロンの例を第６図に示す。これは、通信加算器ツリーとシグモイド生成 機構を接続して、汎用学習機械（ＧＰＬＭ）に使用される修正ＳＰＡ構造の全体 像を提供し、加算器ツリーの上端−下端結合を象徴的に示すことができる。第６ 図で、シグモイド生成機構ＳＩＧは、式２及び３で記述される関数を提供し、Ｙ 導関数生成機構Ｓ　Ｉ　Ｇ’は式１２で記述される関数を提供する。ネットワー クの外部人力Ｅｘ１は、最終加算器段に供給されてからシグモイド生成機構に供 給される。学習プロセッサは、シナプス・プロセッサのアレイの中心制御点であ り、ホスト・コンピュータとインターフェースする。ホスト・コンピュータは、 モデル化されたネットワークの結合重み、ニューロンＹ値、Ｙ導関数値、「教師 」値、及びトレース値を格納する学習プロセッサの内部記憶装置にアクセスでき る。学習プロセッサがもついくつかの機能は以下の通りである。

１、すべてのシナプス・プロセッサの初期設定２．０ＰＬＭの始動 ３、ＧＰＬＭの停止 ・モデル化されたネットワークの出力の、所望出力との比較による、収束検査 ・ホスト指定のＲ更新サイクルが完了した。

４０通信加算器ツリーの制御 ５、シナプス・プロセッサ命令の発行 ６、多層ネットワークのシーケンス制御７、シナプス・プロセッサ・データの発 行８、学習アルゴリズムにおけるすべてのδ、の計算ニューロン入力と関連する シナプス・プロセッサ・レジスタは、ＬＳＳＤ走査のためにシリアル・ディジー ・チェーン方式で互いに接続されている（’Ｅｉｃｈｅｌｂｅｒｇｓｒ　７７” 参照）、ＬＳＳＤ走査は、テスト及びレジスタの初期設定をサポートする。各ニ ューロンは、実施技術に応じて１つまたは複数の走査ストリングをもつことがで きる。たとえば、各ニューロンごとにただ１つの重みレジスタを含む１つの独立 の走査経路を設けて、学習プロセッサとインターフェースするＮ個の重みレジス タ走査経路を得ることができる。学習プロセッサは、走査経路を介して重みレジ スタを初期設定し、学習モードでの重み更新はＧＰＬＭ構造内で並列に実行され る。必要ならば、加算器ツリー構造を介してＹ値を逆通信することによって、Ｙ 値が初期設定される。ニューロン３に対するニューラル計算で必要な要素の記憶 の例を、ここに記述し、第６図に強調して示す。

Ｙ、＝Ｆ　（Ｗ、、１Ｙ工＋Ｊ、２Ｙ２＋Ｗ３．３Ｙ３＋Ｗ３，４Ｙ４）第６図 は、シナプス・プロセッサ・アーキテクチャをもつ４ニユ一ロン汎用学習機械を 示している。各ニューロン出力Ｙ、は、学習プロセッサに接続され、学習プロセ ッサは、加算器ツリーの逆通信経路を介してＹ、ニューロンのシナプス・プロセ ッサに命令を発行する。特定のシナプス・プロセッサ要素とグループ・シナプス ・プロセッサの制御は、すべての通信にタグ・ビットと同報通信”　Ｂ　”ビッ トを追加すること、及び各シナプス・プロセッサ内のタグ及び”Ｂ”ビット比較 機能によって得ることができる。第７図に、命令及びデータのフォーマットを示 す。”Ｂ”ビットは、フィールド内の第１ビツトとして追加され、Ｂ＝１の場合 は同報通信コマンド／データを示し、Ｂ＝Ｏの場合はタグ付きコマンド／データ を示す。

同報通信メツセージ／データは、ＴＡＧと独立な特定のＹ、ニューロンにリンク されたＮ個すべてのシナプス・プロセッサに行く。ＴＡＧフィールドは、少な（ ともｌｏｇ２Ｎビットの長さでなければならず、あるニューロンに属するすべて のシナプス・プロセッサの識別を可能にする。受は取ったタグは、各シナプス処 理要素内に記憶されたタグとビットごとに比較され、最終タグ・ビットの比較が 完了した後は、後続のコマンド／データが特定のシナプス・プロセッサ要素によ って受け取られるかどうかが既知となる。タグが一致すると、コマンドまたはデ ータが受け取られ、一致しないとコマンド／データの受取りが妨げられる。また 、エラー処理のために、第７図に示すように、Ｐで表されるパリティ・ビットま たはエラー訂正ビットをタグ・フィールドに含めることもできる。

また逆通信されたコマンドまたはデータは、ビット・ストリングがデータなのか それともコマンドなのかを示す単一のビット（ＣＭＤ）　、特別の自動実行モー ドを示すＡＵＴ○ビット、及びエラー訂正／検出ビット（ＥＣＣ）を含む。コマ ンド・ビットの長さ及びデータ・ビットの長さは等しいと仮定されている。表１ はシナプス・プロセッサ命令セットを含む。

一例として、ホップフィールド・ニューラル・ネットワーク・モデル（”Ｈｏｐ ｆｉｅｌｄ　８４”参照）を利用すると、ネットワーク操作のために自動モード を指定することができる。この場合、次のネットワーク・サイクルを開始するた めに各ネットワーク実行サイクル後にＭＰＹ命令を繰り返し送ることを必要とせ ず、新しく計算されたＹ値を受け取った後に、自動モードで次の更新サイクルが 自動的に開始することになる。この自動モードは、所望のコマンド内のＡＵＴＯ ビットを”１′にセットすることによって開始される。たとえば、ホップフィー ルド・ネットワーク・モデルで使用するＭＰＹは、シナプス・プロセッサ内で自 動モード・フラグをセットする。この最初の操作は、ＡＵＴＯビットが１″にセ ットされた命令の受け取りによって開始される。新しい更新済みデータを受け取 る度にこの命令が繰り返され、ＮＯＰ命令の受け取りなど新しいコマンドを受け 取った時に処理が停止する。たとえばＭＰＹＡのように、大文字のＡが命令二− モニックに追加されると、自動ビットを”１″にセットすべきことを指示する。

ソース・アドレス及び宛先アドレスは、コマンド・レジスタに対する相対なもの である。この相対的アドレス指定を第４Ｂ図に示す。図では上端のコマンド・レ ジスタＣＭＤ　ＴＲＥＧの相対アドレスが、レジスタ・ブロックの右にある欄に 示され、下端のコマンド・レジスタＣＭＤ　ＢＲＥＧの相対アドレスはレジスタ ・ブロックの左にある欄に示されている。たとえば、下端のコマンド・レジスタ Ｒ２は上端のコマンド・レジスタＲ５と同じであることに留意されたい。加算器 ツリーから受け取ったビット・ストリングは、それがコマンドである場合、直列 化されて、各Ｇセル内の２個のＣＭＤレジスタのうちの１個、及び対角線セルの 単一〇ＭＤレジスタに入れられる。一方、加算器ツリーから受け取ったデータ・ ビット・ストリングは、直列化されて、Ｇセル内で使用可能な他の６個のレジス タのうちの１個、及び対角線セル内で使用可能な他の３個のレジスタのうちの１ 個に入れられる。

ＤＳＹＰでは、Ｒ４ないしＲ６及びＣ，Ｒ２のソース・アドレスまたは宛先アド レスは以下のようにマツプされる：たとえば、ソース・アドレスまたは宛先アド レスが３ビツトと仮定する。ＧＳＹＰに３ビツトすべてを使用させ、ＤＳＹＰに は２つの最下位ビットだけを使用させることによって、適切なマツピングを行な うことができる。

−０００→　ＣＲＩ 宛先レジスタ経路は、ＰＡＴＨ命令によって指定されたままとなり、データ経路 レジスタまたはコマンド経路ビット・レジスタに記憶される。異なる経路を希望 する場合は、ＰＡＴＨコマンドを再発行しなければならない。コマンドが指定さ れない場合、省略時のレジスタ経路は”Ｔ−３ＮＡＰ”に記述されているように なる。すべてのシナプス・プロセッサ・データ・レジスタは、各データ・レジス タ内に条件付き実行ビットがあるために、長さくＤ＋１）ビットである。命令及 びデータのフォーマットを示した第７図を参照のこと。ＣＥＢがある命令の宛先 レジスタ内で７ｊｏ″にセットされている場合、そのコマンドはＮＯＰ命令とし て扱われる、すなわち宛先レジスタの内容は変更されず、′○”が加算器ツリー に送られる。ＣＥＢが”１″にセットされている場合は、レジスタの内容を変更 することができる。たとえば、このビットを重みレジスタ上で使用して、結合の 有無を識別することができる。

というのは、後で提示するボルツマン様機械の例に見られるように、Ｏの重み値 は必ずしもこれを実施するのに十分ではないからである。加算器ツリーが宛先点 でない場合、あるいはＮＯＰ状況が発生している場合は、必ず″ゼロ″が加算器 ツリーに送られる。ＣＥＢは、初期設定時にチップの走査機能または経路コマン ドを用いてセットすることができる。

第１表は、本発明の好ましい命令セット機能を列挙する。

第１表　シナプス・プロセッサ命令セット第１表のように、ＰＡＴＨコマンドは 、加算器ツリー中を逆通信される情報用のシナプス・プロセッサ内部のデータ及 びコマンド経路をセットアツプし、この経路は、その経路を変更する新しいＰＡ ＴＨコマンドを受け取らない限り、同じままとなる。たとえば、ＧＰＬＭ上のホ ップフィールド・ネットワーク・モデルでは、省略時の経路が以前の処理のため に変更されていた場合、逆通信モードで、上端の加算器ツリーがその受け取った Ｙ値を下端のＹ値しジスタに結合し、下端加算器ツリーがその受け取ったＹ値を 上端のＹ値しジスタに結合することができるようになると、ＰＡＴＨコマンドが 発行されることになる。ホップフィールド・モデルでは、この経路コマンドは、 固定重み実行モードを仮定すると、ネットワーク実行中ずつと有効なままとなる 。また、ＰＡＴＨコマンドは、次のコマンドに対する経路の指定を可能にする。

これは、ニューロンが、２つの独特なモードで動作できるので、興味深い新しい 機能を意味する。Ｙ　ＩＮＭＯＤＥと呼ばれる第１のモードでは、すべてのニュ ーロンについて、下端の加算器ツリーから受け取ったコマンドはＣＭＤ　ＢＲＥ Ｇ（ＣＲＩ）に送られ、上端の加算器ツリーから受け取ったコマンドはＣＭＤ　 ＴＲＥＧ　（ＣＲＩ）に送られる。この場合、ＹＩＮＭＯＤＥでは、すべてのニ ューロン入力ＳＹＰがコマンド・フィールドで指定された通りに機能する。こう して、各ニューロンを、そのニューロンへのすべての入力に共通な、異なる入力 シナプス処理機能で指定することができる。たとえば、ニューロン８へのすべて の入力は、重みレジスタ値とニューロンＹ［の乗算によって指定でき、ニューロ ン７へのすべての入力は、一時レジスタ値とニューロンＹ値の乗算によって指定 できる。すべてのニューロン通信加算器ツリーは互いに独立なので、異なるニュ ーロンではＹＩＮＭＯＤＥで各ニューロン入力機能の実行回数が異なることがあ り得るが、このような場合、加算結果が異なる時に発生し、そのため、処理しな ければ学習プロセッサで同期の問題が発生する可能性があることに留意されたい 。ＹＩＮＭＯＤＥを使って、処理すべきニューロンを非同期的に選択することが できる。ＹＯＵＴＭＯＤＥと呼ばれる第２のモードでは、すべてのニューロンに ついて、下端の加算器ツリーから受け取ったコマンドは、ＣＭＤ　ＴＲＥＧ　（ ＣＲ２）に送られ、上端の加算器ツリーから受け取ったコマンドは、ＣＭＤ　Ｂ ＲＥＧ　（ＣＲ２）に送られる。この場合、ＹＯＵＴＭＯＤＥでは、すべてのニ ューロンＹ値出力は、その入力宛先ＳＹＰで適用されるのと同じシナプス関数を もつ。こうして、各ニューロンはその入力ＳＹＰで複数の関数をもつことができ る。たとえば、すべてのＹ８宛先ＳＹＰは、重みレジスタ値とニューロンＹ値の 乗算によって指定でき、すべてのＹ７宛先ＳＹＰは、一時レジスタ値とニューロ ンＹ値の乗算によって指定できる。

１つのニューロン入力で指定されたすべての関数は、それらの関数が異なってい ても同じ長さの時間で実行しなければならない。一般的ニ、ＹＩＮＭＯＤＥ、！ ：ＹＯＵＴＭＯＤＥ＋、ｔ、争奪が発生する可能性があるので、単一のネットワ ーク構造内で相互に交換できない。”Ｔ−３ＮＡＰ”におけるＴＳＮＡＰの最初 の記載では、これらのニューロンは、ＧＰＬＭにおけるＹＯＵＴＭＯＤＥに対応 する固定動作モードで機能し、すべてのニューロンは同じ関数によって指定され た。入出力エンコーダ問題及びボルツマン様機械の例では、Ｙ　Ｉ　ＮＭＯＤＥ を利用する。ボルツマン様機械の例は、この説明で提示する後方伝播の例の後に 挙げる。

多くの命令は、個々のシナプス・プロセッサにとって局所である宛先を指定する 。この局所処理は、正しく処理しない場合、同期の問題を発生し得る。ＧＰＬＭ 構造全体に同期機構を拡散させる代わりに、同期の問題が学習プロセッサのニュ ーロン出力点に局在することになる。シナプス・プロセッサからは局所処理完了 の通知は生成されない。そうではな（て、操作の安全を保証するために、ニュー ロン出力点に固定されたハードウェア機構が設けられる。また、この問題をシナ プス・プロセッサ位置にある待ち行列を使って「解決する」ことは望ましくない 。というのは、そうすると、シナプス・プロセッサのサイズが増大し、単一のチ ップ上に配置できるその数が制限されるからである。そうせずに、命令発行点で 問題を解決し、すべての危険を回避する。同じシナプス・プロセッサへのどの局 所処理コマンドも、その同じシナプス・プロセッサへの次のコマンドから指定さ れたシナプス・プロセッサ命令の実行時間だけ分離しなければならない。たとえ ば、ＭＰＹコマンドを完了するのに２Ｌクロツクを要する乗算は、第２のコマン ドが送られる前に完了しなければならない。こうする必要があるのは、コマンド ・バッファ・レジスタを必要としないためである。というのは、各コマンドは、 指令された機能の動作中、シナプス・プロセッサ内で一定のままでなければなら ないからである。非局所命令、すなわち、宛先が加算ツリーである命令は、収束 したツリー結果が学習プロセッサに届いたとき、動作完了の通知を提供する。非 局所命令では、学習プロセッサは、結果を受け取るまで待ってから、新しい命令 をそのツリーに接続されたシナプス・プロセッサに送る。次に、学習プロセッサ 内の各ニューロン出力点を同期機構でセットアツプして、各シナプスに命令を最 大速度で安全に発行することができる。

最後に、ここに記載した命令セットを使用してプログラム内で宛先争奪が起こら ないようにするために、ＧＰＬＭコンパイラが必要になる。

後方伝播学習の例 ＧＰＬＭ構造上で後方伝播がどのように使用されるかを実証するために入出力エ ンコーダ問題を使用する。第２表は、入カー出カバターンのコード化問題を示す 。”Ｒｕｍｅｌｈａｒｔ　８６”を参照のこと。

第２表　入出力コード化問題 この問題に使用するネットワーク構造を第８図に示す。第８図は、入出力コード 化問題のためのニューラル・ネットワークを図示している。すべてのニューロン 出力が学習プロセッサに使用可能なので、ＧＰＬＭ構造上にマツプされるとき、 多層ネットワークにおける隠れユニットのようなものはない、多層ネットワーク は、重みレジスタの条件付き実行ビットがＯにセットされることによって未使用 の接続経路がゼロの重み値に保たれた、完全に結合されたネットワーク構造上に マツプされる。１１ニユ一ロンＧＰＬＭ構造を必要とする入出力コード化問題で は１１個のニューロンが使用される。入出力エンコーダ問題は、１１ニユ一ロン ＧＰＬＭ構造で使用可能なすべての可能な結合を必要としない。たとえば、ニュ ーロン９に関する入出力エンコーダ・ネットワーク方程式は次のようになる。

Ｙ、＝Ｆ　（ｗ、、’ｙ、＋ｗ５．．ｙ、＋ｗ、、、ｙ６＋ｗ、、□ｙ　７　） 第９図は、一般の１１ニユ一ロンＧＰＬＭを、完全に結合された１１ニユーロン 構造の各ニューロンのコマンド、重み、Ｙ値、及び一時レジスタ値と共に示す。

学習プロセッサ、シグモイド、及び導関数ブロックはわかりやすいように省略し た。必要に応じて、加算器段遅延と等価な、遅延ブロックを伴うシーリング（ｌ 　ｏ　ｇ　２Ｎ）加算器段が使用される。シーリング関数は、オペランド値の次 に大きな整数をとる。すなわち、シーリング（ｌｏｇ２１１＝３．４５９．、、 ）＝４である。

実行モード中、Ｙ値は層ごとに計算される。すなわち、層ｌが最初に計算され、 そのＹ値結果が層２のために使用され、以下最後の層までこれを繰り返す。ニュ ーロンのに個の層がすべて処理された後、ネットワークは学習モードに置かれる 。

出力ニューロンは、出力層から誤差信号を計算し、次いで誤差信号値をツリーを 介してシナプス処理セルに逆通信する。

誤差信号の後方伝播は、出力層から開始し、入力層に向かって次々に層ごとに実 行される。様々なシナプス・プロセッサ内で適切な命令を実行することによって 、後方伝播アルゴリズムを実行することができる。

順序通り並べられた手順を用いる詳細な例で、ＧＰＬＭ上にマツプされたとき、 入出力エンコーダ学習問題が後方伝播アルゴリズムによってどのように実施され るかを説明する。

あるパターンｐ（一般に、肩付き文字ｐはわかりやすいように省略する）につい て、ＧＰＬＭニューロコンピュータ内で以下に箇条書きにする手順に従う。「無 結合」重みはわかりやす（するために省略する。コマンド・レジスタに対するレ ジスタの相対位置は、第９図に示されている。

１、ＧＰＬＭが、第１０図に示すように、重みレジスタのＣＥＢビットが１ｎに セットされている、重み値の初期セット内を走査することによって初期設定され る。その他の重み値及びすべてのＹ値しジスタはゼロ値で走査される。

２、初期設定後ＧＰＬＭが実行モードに置かれ、入カバターン（ＥＸＩ及びＥＸ ２）が加えられ、省略時経路が一般シナプス・プロセッサを通るものとして設定 される。具体的には、上端のＡＤＤツリーから受け取ったコマンドは下端のコマ ンド・レジスタＣＲ２に行き、下端のＡＤＤツリーから受け取ったコマンドは上 端のコマンド・レジスタＣＲ２に行く。

上端のＡＤＤツリーから受け取ったデータはＲ５Ｙルジスタに行き、下端のＡＤ Ｄツリーから受け取ったデータはＲ５Ｙ３レジスタに行り、（相対アドレス指定 を仮定する。）３、ニューロン１．２１．、、．１１がＭＰＹＡ　Ｒ１掌Ｒ２→ ＡＤＤ　ＴＲＥＥを発行する。（ＡＤＤツリーが加算用に指定される）。ネット ワーク実行の各層について乗算命令を再発行する必要なしに性能を向上させるた めに自動モードが使用される。ＧＰＬＭ構造内のＹ値しジスタは最初０なので、 すべての重み×Ｙ値は積０を生じ、したがって加算されるとＯの加算値を生ずる 。

４、ニューロンの第１層がＧＰＬＭ構造上で実行されて、第１層ニューロン出力 及びその導関数を生成する（第１０図）。

（学習プロセッサは、他のニューロン出力値、すなわちＹ３、Ｙ４１．、、、Ｙ ｌｌを無視する。） ５、第１層ニューロン出力が、ＧＰＬＭにフィードバックされ、ニューロンの第 ２層が実行されて、ニューロン出力の第２層及びその導関数を生成する（第１１ 図）。にニューロン３だけは、データなしとして応答する。あるいは、他のニュ ーロンではコマンドは逆通信され、ニューロン３だけは有効重み、重みレジスタ ＣＥＢ＝１、及びＹ値の積をもつ。）・Ｙｌ及びＹ２を逆通信する 、Ｙ３＝＝Ｆ　（Ｗ３．ＩＹ、＋Ｗ３．２Ｙ２）”　Ｄｒ　３＝Ｙ３　（１−Ｙ ３） ６、すべての層が実行されてネットワーク出力及びそれらの導関数が得られるま で上記のプロセスが繰り返される（第１２図及び第１３図）。

・Ｙ、を逆通信する ・Ｙ４”Ｆ　（Ｗ４．３Ｙ３） ・Ｙ５”Ｆ　（ｗ、、、ｙ、） ・Ｙ６＝Ｆ　（Ｗ、、３Ｙ、） ・Ｙ７＝Ｆ　（Ｗｔ、３Ｙ３） ・Ｙ４、Ｙ、ＡＹ６、及びＹ７を逆通信する一Ｙ８＝Ｆ　（ｗ８，４ｙ４＋ｗ８ ．ｙ、＋ｗ８，６ｙ、＋ｗ、、了Ｙ了）・Ｙ、＝Ｆ　（ｗ３．、ｙ、＋ｗ９．． ｙ、＋ｗ、、６ｙ、＋ｗ７，７ｙ７）・Ｙ１ｏ＝Ｆ　（ｗ、。、４ｙ４＋ｗ、。

、、ｙ、＋ｗ、０．．ｙ６＋ｗ、。、７’ｙ丁）−Ｙ　１１＝Ｆ　（Ｗｌｌ、４ Ｙ４＋Ｗ１１，５Ｙ５＋ＷＨ，６Ｙ６＋Ｗ１１，７Ｙ７）・Ｄｒ６＝Ｙ、、（１ −Ｙ８） ・Ｄｒ、＝Ｙ、（１−Ｙ、） ・Ｄｒ１０＝Ｙ１０（１’１’１０） ”　Ｄｒ１１＝Ｙ１１　（１−Ｙｌｌ）７．１１個のニューロン値及びその導関 数がすべて計算され、Ｙ値及びＹ導関数アレイに入れられた後、ＧＰＬＭは学習 モードに置かれる。

８、学習プロセッサが、最小指定誤差に収束するかどうかＹｌを検査する。到達 している場合、パターンｐについての学習プロセスを停止することができる。収 束に達していない場合は、パターンｐについての学習が続行される。

・収束テストＹｅ＝ｌ　（ｔｅ　Ｙｅ）ｌ≦最小誤差・収束テストＹ９＝　ｌ　 （ｔｇ　ｙ、）ｌ≦最小誤差・収束テストＹｔｏ＝ｌ（ｔｉ。−Ｙｌ。）Ｉ≦最 小誤差・収束テストＹｔｔ＝　ｌ　（ｔ　１１　Ｙｔｔ）　ｌ≦最小誤差９、学 習プロセッサは、出力ニューロンと前の層内のニューロンとの間の重みを更新す る際に使用するために出力ニューロンに関するδ′、を計算する。

δ’１＝　（ｔ’１−Ｙ’、）Ｄｒ’１・δ６＝Ｅ８＝　（ｔ６−ＹＢ）Ｄｒ６ ・δｇ＝　Ｅ　９　＝　（ｔ　ｇ　Ｙｇ）　Ｄ　ｒ９・　δｔｏ＝Ｅ１””　（ ｔ、。−Ｙｌｏ）Ｄｒｌ。

・δＬ１＝Ｅ１””　（ｔＩＬ−Ｙｌｌ）Ｄｒｌｌｌｏ、データ経路が変更され 、次に誤差信号が当該の各乗数入力セル一時レジスタに逆通信される（第１４図 ）。・ニューロン１．２１．、、．１１が、ＰＡＴＨＲ４を発行することによっ てデータ経路を変更する。ＰＡＴＨＲ４が発行されると、上記のステップ３で発 行されたＭＰＹＡによって指定される自動乗算モードが停止する。受は取り中の データは、ＧＳＹＰ内の相対アドレスＲ４及びＤＳＹＰ内のＲ３一時レジスタに 行く。コマンド経路は変更されないままとなる。

・Ｒ８、Ｒ９、Ｅｇｏ、及びＥｌｌが、Ｙ８、Ｙ３、Ｙｌ。、及びＹ工、ソース 点から逆通信される。

１１、誤差信号と適当な重みとを乗算するためのＭＰＹ命令を発行する。積が加 算されて、誤差水和合計ＥＲ’、を生成する。これは、次層後方重み修正プロセ スで使用される（第１５図）。コマンド経路、すなわち上端のＡＤＤツリー・コ マンドから下端のコマンド・レジスタ　（ＣＲ２）、及び下端のＡＤＤツリー・ コマンドから上端のコマンド・レジスタ（ＣＲ２）への経路は変更されなかった ので、誤差信号は受け取ったコマンドに関する一時レジスタ・アドレスＲ３内に ある。

上式でｍ＝＝Ｍ、＋Ｍ２＋−、、＋ＭＬ・ニューロン８．９．１０．及び１１が 、ＭＰＹ　Ｒ６”Ｒ３→ＡＤＤ　ＴＲＥＥを発行する。下端のコマンドＲ６重み レジスタ（下端のコマンドに関する重みレジスタ）のＣＥＢビットが０に等しい ので、有効な積の和は、ＧＳＹＰの上端ＡＤＤツリーを介してのみ得られる。

−ＥＲ，＝Ｗ、、４Ｅ８＋Ｗ９，４Ｅ９＋ＷｔＯ，４Ｅ１ｏ＋Ｗ１．．４Ｅ、１ −　Ｅ　Ｒ５＝Ｗ＋５．、Ｅ　、＋Ｗ９．５Ｅ　９＋ＷｔＱ、、Ｅ　１．＋Ｗ１ １，５Ｅ　１１−　Ｅ　Ｒ，＝Ｗ９．．Ｅ　、＋Ｗ９，６Ｅ　９＋ＷｔＯ，６Ｅ 　１０＋Ｗ１１．、Ｅ　ｔｔ−Ｅ　Ｒ７＝Ｗ、、７Ｅ　８＋Ｗ９，７Ｅ　９＋Ｗ ｔＯ，、Ｅ　１．＋Ｗ１１．．Ｅ　ｔｔ１２、層り内の誤差信号が計算される。

これは、新しく計算された導関数に関する式２１、式２４、及び誤差水和方程式 ２５を使用して、Ｌより前の次の層（が存在する場合、そこ）で使用される　（ 第１６図）。ニューロン３はＰＡＴＨＣＲＩを通ってＹＩＮＭＯＤＥに置かれ、 次にニューロン３に乗算コマンドが発行され、最後にニューロン３がＰＡＴＨＣ Ｒ２を通って￥ＯＵＴＭＯＤＥに置かれ、ＧＰＬＭ構造内の他のニューロンと一 貫性をもつようになる。

δ’、＝Ｄ　ｒ’、ＥＲ’１　（２６）・δ４＝Ｅ４＝Ｄｒ４ＥＲ４ ・δ５＝Ｅ５＝Ｄｒ５ＥＲ５ ・δ６＝Ｅ６＝Ｄｒ６ＥＲ６ ・δ、＝　Ｅ　７　＝Ｄ　ｒ７Ｅ　Ｒ７・Ｒ４、Ｒ５、Ｒ６、及びＲ７を当該の 各乗数入力セルに逆通信する。

・ＰＡＴＨＣＲＩ ・ニューロン３がＭＰＹ　Ｒ６”Ｒ３→ＡＤＤ　ＴＲＥＥを発行する。

・ＥＲ３＝Ｗ４，３Ｅ４＋Ｗ９．、Ｅ、＋Ｗ６，３Ｅ６＋Ｗ、、３Ｅ。

・ＰＡＴＨＣＲ２ １３、層２について誤差信号（Ｒ３）が計算され、構造内に逆通信される（第１ ７図）。

δ’ｉ　＝　Ｄ　ｒ　’ｓ　Ｅ　Ｒ’ｓ　（２６）・δ３＝Ｅ３＝Ｄｒ３ＥＲ３ ・Ｒ３を当該の乗数入力セルに逆通信する。

・第１層内では重みを調整する必要がないので、ここで後方伝播アルゴリズムを 停止することができる。

１４、このとき、ニューロンのΔＷ１Ｊは３つの命令ステップで計算することが できる。８．＝Ｅ、を代入すると、ΔＷ１．＝ρＹｐ、Ｅ１ｐ　（２７） ８、ステップ１−ニューロン１．２１．、、．１１が、ＭＰＹ　Ｒ５京Ｒ３→Ｒ ４を発行する（第１８図）。

・ＴＥＭＰＲＥＧ３，１＝Ｙ、Ｅ　３ ・ＴＥＭＰＲＥＧ、、２＝Ｙ２Ｅ　３ ・ＴＥＭＰＲＥＧ４，３＝Ｙ３Ｅ４ ・以下になるまで継続する ・Ｔ　ＥＭＰ　ＲＥＧｌｌ　、７＝Ｙ７Ｅ　１１ｂ、ステップ２−ニューロン１ ．２１０００．１１が、ＭＰＹ　Ｒ４“ＩＭ、Ｄ−４Ｒ４を発行する（第１９図 ）。ＩＭＤは学習速度ρを含んでいる。

・ΔＷ、、、＝ρＴＥＭＰＲＥＧ３，１・ΔＷ３．２＝ρＴＥＭＰＲＥＧ、、２ ・ΔＷ、、３＝ρＴＥＭＰＲＥＧ、、３・以下になるまで継続する ・ΔＷ１１．７＝ρＴＥＭＰＲＥＧ１．、。

ｃ、ステップ３−ニューロン１．２、・・・・　１１が・ＡＤＤ　Ｒ６＋Ｒ４→ Ｒ６を発行する（新しい重み値がこれで計算された）（第２０図）。新しい重み 値はｗ’　、ｊで示される。

新Ｗ、Ｊ＝旧Ｗ、Ｊ＋ΔＷ１．すべてのニューロンについての式２３ ％式％ ・以下になるまで継続するニ ーｗ’　１１．＝ｗ１１．７＋ΔＷ、、７１５、新しい経路コマンドが、次の学 習サイクルＰＡＴＨＲ２に備えて送られ、従って新しいＹ値が適切なレジスタに 送られる。

１６．０ＰＬＭが実行モードに置かれ、調整された重みによって出カバターンが 教育パターンと最小指定誤差で一致するまで既存のパターンｐが再び加えられる 。最小指定誤差に達するまで、ＧＰＬＭは実行モードと学習モードに交互に切り 替わる。最小指定誤差に収束した後、新しいパターンを加え、すべての教育パタ ーンが加えられるまでこのプロセスを繰り返すことができる。

フィードフォワード実行及び後方伝播の性能実行の各種モードのステップを以下 に示す。

実行モード： 第１層タイミング： ＭＰＹＡ命令発行：　（Ｌ−１）＋　（ｌｏｇｚＮ）δ６ＭＰＹプラスＡＤＤツ リー二δｗ＋　（ｌ　Ｏｇ　２Ｎ）　δ６＋６６シグモイド遅延：δ３ 第２層タイミング： シグモイド遅延とオーバーラツプさせたＹ値の逆通信＝（ｌｏｇｚＮ）δ６ ＭＰＹプラスＡ、ＤＤツリー二δに＋　（ｌ　ｏ　ｇ　２Ｎ　）　δ６＋６６シ グモイド遅延：６に れかに個の層すべてについて繰り返され、従って一般にに個の層の場合、フィー ドフォワード実行遅延は下記のようになる（各層は順次実行されることに留意さ れたい）。

（Ｌ−１）＋Ｋ　（δ）ＩＩ　＋　２　（ｌ　ｏ　ｇ　２Ｎ）　δ６＋６６＋６ ６）学習モード： 新しい定義は次のようになる。

・δＦ、、＝誤差信号計算遅延 ・δｃＴ＝収束テスト遅延 ・δ。や。／ＮＤ＝　（Ｌ　−１）　＋　（ｌ　ｏ　ｇ２Ｎ）　δ６コマンド（ ＣＭＤ）または別々のオーバーラツプしないデータ（ＮＤ）を通信する際の遅延 ・δＡＩ）Ｄ＝Ｌδ６＋ト データ・ワード及びコマンド・ワードの長さＬビット入出力エンコーダ・ニュー ラル・ネットワークと同様、第１層上に計算する必要のある重み付けされた入力 がな（、かつすべてのＹ値導関数が利用できるものと仮定すると、セットアツプ ： 収束テスト及びＰＡＴＨコマンド：δＣＴ＋δＣゎ第１後方伝播： 誤差信号を計算し、計算された誤差信号を逆通信する：δε１＋δＮＤ ＭＰＹ及び誤差信号加算： δ。、Ｄ＋δ、＋　（ｌ　ｏ　ｇ　２Ｎ）δ６第２後方伝播： 誤差信号を計算し、ＰＡＴＨを発行し、計算された誤差信号コδ５．＋δＮＤを 道通信し、ＰＡＴＨを発行する。

ＭＰＹ及び誤差信号加算：δ。ゎ＋δイ＋（ｌｏｇｚＮ）δにれを、Ｋ−２個の 類似の後方伝播について繰り返し、従って一般にに個の層の場合、（Ｋ−２）（ δ。１＋６．０＋δｃＭｒ）＋δ、！＋　２　（ｌ　ｏ　ｇ２Ｎ）δＡ）最終後 方伝播は前進加算を必要とせず、従って：δ訓＋δＮつ 最終重み更新は、３個の局所コマンド、すなわち２個のＭＰＹと１個のＡＤＤか らなる３つのステップで実行される：３δｃ、０＋２δＭ＋δ＾ｒ：ＩＤ δＣＮＩＤとδＮＤに代入し整理すると、一般にに個の層の場合の学習モード・ タイミング遅延が得られる：δＣ丁十　δｃｖｒｙ＋　（Ｋ　２　）（δ５１＋ δＮＤ＋　δＣＭＤ＋　δ、＋２（ｌｏｇｚＮ）δＡ）＋６５．＋δＮＤ＋３３ ｃ、Ｉ！。＋２６゜＋δＡＤＤδ６が１時間単位に等しいと仮定すると、学習モ ード・タイミング遅延は次式で与えられる： δ。ア＋（Ｋ−１，）δ８．十にδい＋２　（Ｋ＋　１　）Ｌ＋（４Ｋ　３）（ ｌｏｇｚＮ）　２Ｋ Ｎのサイズが増加するとき、学習遅延はｌｏｇｚＮ及び収束テスト時間及び誤差 信号計算遅延時間という小さな量だけ増加する。たとえば、Ｎ＝１２８ニューロ ン、Ｌ＝５２ビットと仮定すると、学習モード・タイミング遅延は次のようにな るδＣＴ（Ｎ−１２８）＋（Ｋ　１）δｖ、ｓ　＜Ｎ−１２ｅ、＋　Ｋ　５　Ｎ ！＋　１３０　Ｋ　＋Ｎ＝１０２４及びＬ＝５８ビットの場合、学習時間は次の ようになる： ６０丁（Ｎ−１０２４）＋　（Ｋ　−１）δシミ（Ｎ・１０２４）＋にδ閘＋　 １５４に＋ボルツマン様機械の学習の例 以下の考察は、ボルツマン機械（”Ａｃｋｌｅｙ　８５”参照）の紹介を意図し たものではなく、ボルツマン・アルゴリズムが（”Ａｃｋｌｅｙ　８５”、”Ｒ ｕｍｅｌｈａｒｔ　８６”、及び”ＭｃＣｌｅｌｌａｎｄ　８８’から）ＧＰＬ Ｍ上にどのようにマツプできるかを示すものである。

ボルツマン機械は、元のホップフィールド・ネットワーク（”Ｈｏｐｆｉｅｌｄ 　８２”）の場合と全く同様に、完全に結合された２進しきい値ニューラル・ユ ニットのネットワークから構成される。ホップフィールドが使用した決定論的更 新規則と組み合わせたランダム及び非同期ニューロン選択の代わりに、非同期的 に選択されたニューロン・ユニットに対しては確率論的更新規則が使用される。

さらに、ニューロンのホップフィールド単一層の代わりに、入カニニット、隠れ ユニット、及び出カニニットをもつ多層機械としてボルツマン機械を指定するこ とができる。ただし、入カニニット及び出カニニットは「クランプ」、すなわち 所望の値に設定できる。結合重みを修正するために、すべてのニューロン出力を 監視し、それらの活動化値の統計を記録しなければならない。というのは、結合 された２つのユニット間の結合重みの変化は、ネットワークが自由実行モードと 「クランプ」モードの双方でｒ平衡」を達成した後で、この両方のモードで同時 にこれらの結合されたユニットが「オン」となる確率の差に比例するからである 。ボルツマン機械では温度パラメータＴの使用を含むシミュレートされたアニー リングが重要な役割を演じ、温度の制御によって「平衡」が得られる。Ａｃｋｌ ｅｙ　８５ｎに記述された入出力エンコーダ問題では、使用された「平衡」手順 は「９．。

すべての未クランプ・ユニットが等しい確率でランダムに「オン」または「オフ 」にされ（温度を無限に上げることに対応する）、次いでネットワークが以下の 時間の間、以下の温度で（２＠２０，２＠１５．２＠１２、及び４＠１０）走行 させられる。このアニーリング・スケジュールの後、ネットワークは平衡に達し たと仮定され、１００時間単の間、１０種の温度で統計を収集する。（注）１時 間単位は、各ユニットに平均して１回その状態を変化させる機会を与えるのに必 要な時間と定義する。これは、ｎ個の未クランプ・ユニットがある場合、１時間 間隔にｎ回のランダム試行が行なわれ、その間にあるユニットがその状態を変化 させる機会を与えられることを意味する」というものであった。統計は、ユニッ ト同士の結合された対がどれだけ頻繁に「平衡」状態で一緒に「オン」になるか に関するものである。

次にＧＰＬＭ上でモデル化された入出力エンコーダ問題のボルツマン様機械によ る実施態様について説明する。ニューロンのネットワークは３層であり、層１、 層２、層３内にそれぞれＭ１個、Ｍ２個、Ｍ３個のニューロンがあると仮定する 。

層１と層３は、それぞれの層内で完全に結合されているが、互いには結合されて いない。その代わりに、層１と層３は共に隠れ層２に完全に結合されているが、 隠れ層２内では隠れユニット同士は互いに結合されていない。指示された結合の 重みはすべて、最初、Ｏにセットされ、すべての有効結合重みについて重みＣＥ Ｂビットが°′１”にセットされる。各ニューロンは２進型でＩＩ　Ｏ＋＋また は“１”の活動状態をとる。第１ニユーロンについてのｒオン」／「オフ」エネ ルギ差ΔＥ、は次のように定義される。

指定された結合重みをもつＮニューロン入出力エンコーダ・ネットワークがＧＰ ＬＭ上で初期設定され、教師として機能できる既知の１組の入出カバターンが存 在すると仮定すると、サイクルを反復可能にするためにランダム「シード」が指 定されている場合、 １、入カニニット及び出カニニットを入出力エンコーダ・パターンの１つに「ク ランプ」することによって、ネットワーク更新サイクルを開始する。

・ＧＰＬＭでは、これは、ネットワーク入力Ｙ値及びネットワーク出力Ｙ値を当 該の各シナプス・プロセッサに道通信し、上端のＡＤＤツリー値が下端のＹ値し ジスタに、及びその逆方向に行くように経路を切り替えることによって達成され る。隠れユニットについてはｒオン」または「オフ」になる確率が等しいランダ ムＹ値を選択し、入出力Ｙ値と同様に逆通信する。

２、入力／出カニニットがクランプされているとき、更新すベキ隠れユニット・ ニューロンをランダムに選択する。

・学習プロセッサは、１とＮの間で一様に分布する整数乱数を発生できる乱数発 生器を必要とする。

・選択されたニューロンにＰＡＴＨコマンドを発行して、切り替えが起こらない ように、すなわち上端のＡＤＤツリー・コマンドが上端コマンド・レジスタに、 及び逆方向に行くようにコマンド経路を変更する。（ＰＡＴＨＣＲＩ）（データ 経路は変更されない。） ・ＭＰＹ　Ｒ１本Ｒ２→ＡＤＤ　ＴＲＥＥを選択された二ニーロンに発行する。

３、選択された第１ニユーロンの「オン」状態確率ｏＳＰを決定する。

■ ・シグモイド生成機構は、学習プロセッサからロード可能なＴパラメータ入力を もたなければならない。

４．０ｓｐは、選択されたニューロンにＭＰＹ　Ｒ１ゞＲ２→ＡＤＤ　ＴＲＥＥ 命令が以前に発行されたことによる、選択されたニューロンに関するシグモイド 関数の出力である。

５、学習プロセッサは、選択されたニューロンの活動化値Ｙを決定する。

ＩＦ（乱数≦○ＳＰりＴＨＥＮ　Ｙ、＝１ＥＬＳＥ　Ｙ、＝０ ６、新しく更新されたＹ値がネットワーク内で逆通信される。

７、統計的に有意なニューロン活動度を得るのに十分なサイクルが走行され、ネ ットワークがアニーリング・スケジュールによって、すなわちパラメータＴを変 化させることによって「平衡」に達するまで、ニューロン選択及び更新プロセス を続ける。学習プロセッサは、結合されたニューロンについて、結合されたユニ ットがどれほど頻繁に同時に「オン」であったかを示す値を記録する。

８、走行すべきパターンがまだ他にある場合、次の入出力エンコーダ・パターン を選択し、それをネットワーク上で「クランプ」し、ステップ２から始めて、上 で定義したようにネットワークを走行させる。ネットワーク上で走行されたすべ てのパターンに関する統計を取り続ける。

９、すべてのパターンを走行した後、記録された統計値は、１対の結合されたニ ューロンが共に「オン」であった確率を表す。学習プロセッサは「クランプ」さ れた統計値のアレイを保持する。

１０、ネットワークは「未クランプ」であり、すべてのニューロン値はランダム 化されて「オン」または「オフ」である確率が等しくなり、ネットワークはアニ ーリング・スケジュールに従って「平衡Ｊに達することができる。

１１、「クランプ」動作モードの場合と同じ回数のアニーリングの間「オンＪの ユニットの対の統計が記録される。学習プロセッサは「未クランプ」統計のアレ イを保持する。

１２、ネットワーク構造内で結合重みを更新するための２つの方法は下記の通り である。

ａ・ΔＷ、＝ρ　（ｐｕ　ｐ’　１ｄ ｂ−ｐｘａ＞ｐ’　１３の場合 △Ｗ５．＝十固定重みステップ ｐｉａ＜ｐ’　ＩＪの場合 ΔＷ１．＝−固定重みステップ ・上式で、ｐｏｐは「クランプ」モードで対１、ｊが同時に「オン」となる平均 確率、ｐ’　ｓＪは自由走行動作モードで対ｉ、ｊが同時に「オン」となる平均 確率である。

たとえば、上記の第１の重み更新法は、シナプス・プロセッサＹと一時レジスタ 、及び以下のようなＰＡ　Ｓ　ＣＡ　Ｌ様擬似コード（括弧内は説明）に基づく 手順を使用することによって達成できる。ＦＯＲループは、Ｎ個のニューロンに またがるＮ個の並列操作に変換されることになる。

ａ、Ｆｏｒ　ｉ＝１　ｔｏ　Ｎ（次の操作がＮ個のニューロンすべてにわたって 並列に実行される。）ｂ、−Ｆｏｒ　ｊ＝１　ｔｏ　Ｎシフト・レジスタ、Ｐ、 ＪをニューロンｉのＹレジスタ内に走査する（Ｎ個のニューロンについてＮ個の 値が、並列に実行された１回の操作でＹレジスタ内に走査される） ｃ、　−−Ｆｏｒ　ｊ＝１　ｔｏ　Ｎシフト・レジスタ走査、ｐｒ、Ｊをニュー ロン１の一時レジスタ内に走査する（Ｎ個のニューコンについてＮ個の値が、並 列に実行された１回の操作で一時レジスタ内に走査される） ｄ、−−−ＡＤＤ　Ｒ２＋Ｒ３→Ｒ３？　（ＰＩＪ　Ｐ’　ＩＪ）→Ｒ３（Ｎ個 のＡＤＤ命令がニューロンごとに１個ずつ並列に発行される。） ｅ、−−−ＭＰＹ　Ｒ３を工ＭＤ１／２　→Ｒ３，Δ”ＪＪ　ｉ、　→Ｒ３（Ｎ 個のＭＰＹ命令がニューロンごとに１個ずつ並列に発行される。） ｆ、−−−ＡＤＤ　Ｒ１＋Ｒ３→Ｒ１，Ｗ’、Ｊ→Ｒ１（Ｎ個のＡＤＤ命令がニ ューロンごとに１個ずつ並列に発行される。）１３、差ｐｓｒＱ’ｓＪが指定さ れた最小誤差以下になるまで上記のプロセスを繰り返す。

並列データ・アルゴリズム マトリックス乗算 積計算のニューロン入力和は、第２１図に示すようなｉ列及び５行のマトリック ス乗算と見ることができる。ニューロン入力マトリックスＺｉは次のように定義 される。

ｚｌ＝Ｙ、Ｗ１□＋Ｙ２ＷＢ＋、、、＋Ｙ、Ｗ、Ｎマトリックス演算としてのニ ューロン計算ニューロン計算は第２１図に示されている。これは、一般のマトリ ックス乗算のサブセットである。第２２図に示すようなｉ列及び５行の２つのＮ ＸＮマトリックスを考える。

一般のマトリックス乗算 第２２図に一般のマトリックス乗算を示す。結果マトリックスＺの各結果第９行 に対してＹマトリックスの第５行を逆通信することにより、Ｙ値マトリックスの １行がＧＰＬＭにコードされると仮定すると、結果マトリックスＺのＮ個の値が 、ＰＡＳＣＡＬ様擬似コードに基づいて下記のような一般形で並列に計算される 。ＦＯＲループは、Ｎ個のニューロンにまたがるＮ個の並列操作に変換される。

１、ＦＯＲｉ＝１　ｔｏ　Ｎ ２、ＦＯＲｋ＝１　ｔｏ　Ｎ ３、ＥＮＤ　ＦＯＲ ４、ＥＮＤ　ＦＯＲ 以下の手順に従う：　（括弧内の遅延は、ＡＤＤツリ一段遅延δ６＝１を仮定す る。） １、Ｗマトリックスをロードする（１ニユーロンにつきＮ個のＷ値があり、Ｎ個 のニューロンのＮ個のＷ値を並列に走査するのに（ＮＬ）時間を要すると仮定す る）２、Ｙ値を逆通信することによって最初のＹ行をロードする（　（Ｌ　１　 ）　＋　ｌ　ｏ　ｇ２Ｎ）３、ＭＰＹＡ　Ｒ１本Ｒ２→ＡＤＤ　ＴＲＥＥ　（こ の場合、ＡＤＤツリーが水和プロセスのために初期設定されている。）（（Ｌ− １）＋ｌ　ｏｇ２Ｎ） ４、結果Ｚマトリックスの第１行を計算する。Ｙレジスタ及びＷレジスタを乗算 し、続いて加算器ツリーを乗算する（δＭ＋ｌｏｇ２Ｎ） ５、Ｎ個のＺ値を学習プロセッサに記憶する（δ６ア。８５）６、第２のＹ行を 逆通信する（（Ｌ　−１）＋　ｌ　ｏ　ｇ２Ｎ）７、新しいＹ値を受け取ったと き、結果Ｚマトリックスの第２行を計算する。Ｙレジスタ及びＷレジスタを乗算 し、続いて加算器ツリーを乗算する（δや＋ｌｏｇ２Ｎ）８、Ｎ個のＺ値を学習 プロセッサに記憶する（δ８ＴＯＲ１）９、最後まで行計算を続ける １０、第Ｎ番目のＹ行を逆通信する（（Ｌ　−１）＋　ｌ　ｏ　ｇ　２Ｎ）１１ 、新しいＹ値を受け取ったとき、結果Ｚマトリックスの第８行を計算する。Ｙレ ジスタ及びＷレジスタを乗算し、続いて加算器ツリーを乗算する（δ、４＋　ｌ 　ｏ　ｇ　２Ｎ）１２、結果Ｚマトリックスの最終行を学習プロセッサに記憶す る（δｌ５ＴＯＲ０） １３．終了 Ｗ値を走査し、記憶操作が次の行のＹ値の道通信とオーバーラツプできると仮定 することによって、Ｗマトリックスを初期設定した後、ＮＸＮ２計算の全処理時 間は次のようになる。

ＮＸＮマトリックス乗算＝　（Ｌ−１）＋ｌｏｇ２Ｎ＋Ｎ　（δＮ　＋　（Ｌ　 １　）　＋　２　ｌ　ｏ　ｇ　２Ｎ）＋δ５ＴＯＲＥマトリックス加算及びプー ル演算 第２２図に示したものと同じ形のマトリックスを仮定すると、Ｙマトリックスと Ｗマトリックスを共にＧＰＬＭ構造にロードすることができる。というのは、Ｇ ＰＬＭ構造内にはＮ２個の固有なＹレジスタ及びＷレジスタがあるからである。

Ｙレジスタ及びＷレジスタ上の局所加算またはプール演算は、ＧＰＬＭ構造内で 実行することができ、結果は一時レジスタに送られる。演算完了時に、元のＹマ トリックス及びＷマトリックスは、ＧＰＬＭ構造内にそのまま残り、一時レジス タは結果マトリックスを含むようになる。結果は、走査出力し、あるいはシナプ ス・プロセッサ・セルから個別に読み出し、あるいは以後の操作（命令の連鎖ま たはリンク）のために使用することができる。

駆上、本発明の好ましい実施例について説明したが、当業者ならこれらの論議を 理解すれば、現在でも将来でも下記の特許請求の範囲に含まれる様々な改良及び 機能強化をそれに加えるであろう。この特許請求の範囲は、最初に開示した諸発 明に対する適切な保護を維持するものと解釈すべきである。

シナプス・プロセッサのアーキテクチャ対角線シナプス・プロセッサ（ＤＳＹＰ ）遥宜加３１１４１ツリー ＦＩＧ、５ シナプス・プロセッサのタグ付き自令／データ形式＾　！！　腹 籾　嘲　嘲 Σ マトリックス演算としてのニコーロン計算ＦＩＧ、２１ Ｆ　Ｉ　Ｇ、２２ ［要約コ 装置のシナプス処理要素に対するニューロン・アーキテクチャを有するニューラ ル・シナプス・プロセッサ装置が開示される。好ましい装置は、命令およびデー タ記憶ユニットを含み、命令およびデータを受け取り、命令を実行する、シナプ ス処理ユニットを有するＮニューロン構造を有する。このＮニューロン構造は、 通信加算器ツリーと、ニューロン活動化関数ユニットと、通信加算器ツリーによ って命令、データ、及びニューロン活動化関数ユニットの出力をすべて入力シナ プス処理ユニットに戻し通信するための配置とを含むべきである。この装置は、 ビット直列システムまたはワード並列システムとして構築できる。好ましい構造 は、Ｎ２個のシナプス処理ユニットを含み、各シナプス処理ユニットは、エミュ レートすべきＮニューラル・ネットワーク内の結合重みと関連付けられ、対角線 セルおよび一般セルからなる対角線に沿って折り畳まれたＮＸＮマトリックスの 形に配置されている。

それぞれが単一のシナプス処理ユニットを利用する対角線セルは、折り畳まれた ＮＸＮ結合重みマトリックスの対角線結合重みと関連付けられ、それぞれが合併 された２つのシナプス処理ユニットを有する一般セルは、折り畳まれたＮＸＮ結 合重みマトリックスの対称結合重みと関連付けられる。後方伝播学習アルゴリズ ムを最初に検討し、続いて学習機械シナプス・プロセッサ・アーキテクチャを提 示する。次に、後方伝播学習アルゴリズムの実施態様の例を示す。続いてボルツ マン様機械の例および前記アーキテクチャ上にマツプされたデータ並列の例を示 す。

国際調査報告

Claims (36)

【特許請求の範囲】
1. １．命令及びデータ記憶ユニットを含み、命令及びデータを受け取り、命令を実 行する、シナプス処理ユニットを有するＮニューロン構造を含み、 前記Ｎニューロン構造が、 通信加算器ツリーと、 ニューロン活動化関数ユニットと、 前記通信加算器ツリーによって命令、データ、及びニューロン活動化関数ユニッ トの出力をすべて入力シナプス処理ユニットに戻し通信するための手段とを含む 、ニューラル・シナプス．プロセッサ・アーキテクチャを有するコンピュータ・ システム装置。
2. ２．さらに、対角線セル及び一般セルからなり、対角線に沿って折り畳まれたＮ ×Ｎマトリックスの形に配置された、エミュレートすべきＮニューラル・ネット ワーク内で結合重みとそれぞれ関連付けられているＮ２個のシナプス処理ユニッ トを含む、請求項１の装置。
3. ３．それぞれ単一のシナプス処理ユニットを含む前記の対角線セルが、折り畳ま れたＮ×Ｎ結合重みマトリックスの対角線結合重みと関連付けられ、それぞれ合 併された２つのシナプス処理ユニットを有する一般セルが、折り畳まれたＮ×Ｎ 結合重みマトリックスの対称結合重みと関連付けられている、請求項２の装置。
4. ４．対角線セルの単一のシナプス処理ユニットが、それぞれタグ突合せユニット と、命令／データ復号機構、データ経路記憶ユニット及び分配ユニットによる、 外部で受け取った命令及びデータ用の宛先経路制御機構と、１つの命令記憶ユニ ット、１つの重み値記憶ユニット、１つのニューロン活動化関数ユニット出力値 記憶ユニット（Ｙ値記憶ユニットと呼ぶ）及び１つの一時データ記憶ユニットか ら構成される命令及びデータ記憶ユニットと、命令復号機構、セレクタ・ユニッ ト及び命令記憶ユニットに関するアドレス指定手段によって制御される記憶ユニ ット・オペランド選択機構と、命令復号機構及び分配ユニットによって制御され る結果宛先経路制御機構と、プログラマブル実行ユニットとから構成される、請 求項３の装置。
5. ５．対角線セルのシナプス処理ユニットが、結果をＮニューロン構造の付属の通 信加算器ツリーに供給し、そこから命令及びデータを受け取る、請求項３の装置 。
6. ６．一般セルの合併された２つのシナプス処理ユニットが、２つのタグ突合せユ ニットと、２つの命令／データ復号機構、２つのデータ経路記憶ユニット、２つ のコマンド経路ビット及び共通の分配ユニットによる、外部で受け取った命令及 びデータ用の共通の宛先経路制御機構と、２つの命令記憶ユニット、２つの重み 値記憶ユニット、２つのＹ値記憶ユニット及び２つの一時データ記憶ユニットか ら構成される命令及びデータ記憶ユニットと、２つの命令復号機構、共通のセレ クタ・ユニット及び２つの命令記憶ユニットに関する２つのアドレス指定手段に よって制御される２つの記憶ユニット・オペランド選択機構と、２つの命令復号 機構及び共通の分配ユニットによって制御される２つの結果宛先経路制御機構と 、２つのプログラマブル実行ユニットとから構成される、請求項３の装置。
7. ７．一般セルの２つの合併されたシナプス処理ユニット構造が、象徴的に上端シ ナプス処理ユニット及び下端シナプス処理ユニットとして編成され、前記の各上 端シナプス処理ユニット及び下端シナプス処理ユニットがそれぞれＮニューロン 構造の付加された通信加算器ツリーに結果を供給し、そこから命令及びデータを 受け取る、請求項３の装置。
8. ８．シナプス・プロセッサのデータ記憶ユニットがデータ記憶ユニットごとに１ ビットの条件付き実行ビットを含み、前記ビットがデータの使用、及びデータが 重ね書きできるかどうかを制御する、請求項１の装置。
9. ９．ニューロン活動化関数ユニットが、Ｙ値出力を提供する非線形シグモイド生 成機構及びＹ（１−Ｙ）値出力を提供するシグモイド導関数生成機構である、請 求項１の装置。
10. １０．通信加算器ツリーがｌｏｇ２Ｎ個の２／１通信加算器段を含む、請求項１ の装置。
11. １１．通信加算器ツリーの各段が、２／１加算器からなる２／１通信加算器と、 加算から得られた方向とは逆方向に値を通信するための加算器バイパス経路と、 加算機能と逆通信経路の間で切り替えるための手段とを含む、請求項１０の装置 。
12. １２．各通信加算器ツリーがそれぞれ追加の加算段に接続され、外部入力値が通 信加算器ツリーの出力と加算され、前記の追加加算段が結果をニューロン活動化 関数ユニットに提供する、請求項１の装置。
13. １３．接続されたホスト・コンピュータ及びＮ個の通信加算器ツリーとインター フェースするプログラマブル・プロセッサ制御装置が、 ・通信加算器ツリーの制御 ・シナプス・プロセッサの初期設定 ・シナプス・プロセッサ命令の発行 ・アルゴリズムによるデータ計算 ・シナプス・プロセッサ・データの発行・ニューラル・ネットワーク・エミュレ ーションの開始多層ネットワークのシーケンス制御 ・ニューラル・ネットワーク・エミュレーションの停止−所望の結果への収束テ ストによる停止−ホストが指定した回数のエミュレーション・サイクルの完了に よる停止 の諸機能を提供する、請求項１の装置。
14. １４．重みアレイ、Ｙ値アレイ、Ｙ（１−Ｙ）アレイ、教師アレイ、及びトレー ス・アレイを含む、請求項１３の制御装置プログラマブル・プロセッサ。
15. １５．Ｎ２個のシナプス処理ユニットと、Ｎ個の通信加算器ツリーと、Ｎニュー ロン構造用のＮ個のニューロン活動化関数ユニットとがある、請求項１の装置。
16. １６．各通信加算器ツリーがそれぞれそのツリーのリーフ・ノードにあるＮ個の シナプス処理ユニットと、ツリーのルートに接続された１つのニューロン活動化 関数ユニットとに接続されて結果をプログラマブル・プロセッサ制御装置に提供 し、Ｎニューロン構造を構成する、前記の通信加算器ツリーと、シナプス処理ユ ニットと、ニューロン活動化関数ユニットとが、 ・重み及びデータ値を各シナプス処理ユニットに入力する手段と、 ・タグ付けされた命令、データ、及びニューロン出力値（Ｙ値と呼ぶ）を入力シ ナプス処理ユニットに戻し通信する手段と、 ・各シナプス処理ユニット内で命令、データ、及びＹ値の宛先を制御する手段と 、 ・各シナプス処理ユニット内で受け取った命令を実行する手段と、 ・自動モードで次の操作で使用されるデータを受け取ったとき、前に受け取った 命令を実行する手段と、結果を局所的に各シナプス処理ユニットに留まらせ、あ るいは付加された通信加算器ツリーに送らせる、オペランド選択及び宛先経路制 御手段と、 ・シナプス処理ユニットから受け取った値を加算する手段と、・外部入力値を各 ニューロン活動化関数ユニットに入力する手段と、 ・新しい命令、データ、及びニューロン活動化関数ユニットＹ値を生成する手段 と を有する、請求項１５の装置。
17. １７．重み及びデータ値を各シナプス処理ユニットに入力する手段が、各シナプ ス処理ユニット内の各重み及びデータ値記憶ユニットにアクセス可能なプログラ マブル・プロセッサ制御装置の形のホスト・インターフェース制御機構を含む、 請求項１６の装置。
18. １８．タグ付けされた命令、データ及びニューロン出力値（Ｙ値と呼ぶ）を入力 シナプス処理ユニットに逆通信する手段が、通信モードで動作する通信加算器ツ リーと、各シナプス処理ユニット内のタグ突合せユニットによるものであり、タ グが同報通信ビット及びタグ・アドレス・フィールドを含む、請求項１６の装置 。
19. １９．各シナプス処理ユニット内で命令、データ、及びＹ値の宛先を制御する手 段が、命令については、一般セル中では命令復号機構と、コマンド経路ビットと 、分配論理回路とにより、対角線セル中では命令復号機構と、Ｒ４→Ｒ３、Ｒ５ →Ｒ２、Ｒ６→Ｒ１、ＣＲ２→ＣＲ１のマッピングを行うレジスタ・マッピング 論理回路と、分配論理回路とにより、Ｙ値を含めたデータについては、対角線セ ル中でも一般セル中でも、データ復号機構と、データ経路記憶ユニットとによる ものである、請求項１６の装置。
20. ２０．ＹＩＮＭＯＤＥと呼ばれる一般セルの１つの動作モードでは、上端通信加 算器ツリーから受け取った命令が上端シナプス処理ユニットの命令記憶ユニット に送られ、下端通信加算器ツリーから受け取った命令が下端シナプス処理ユニッ トの命令記憶ユニットに送られ、上端通信加算器ツリーから受け取ったデータが 上端シナプス処理ユニットの指定されたデータ記憶ユニットに送られ、下端通信 加算器ツリーから受け取ったデータが下端シナプス処理ユニットの指定されたデ ータ記憶ユニットに送られるように、データ経路記憶ユニット及びコマンド経路 ビットがセットアップされる、請求項１９の装置。
21. ２１．ＹＯＵＴＭＯＤＥと呼ばれる一般セルの第２の動作モードでは、上端通信 加算器ツリーから受け取った命令が下端シナプス処理ユニットの命令記憶ユニッ トに送られ、下端通信加算器ツリーから受け取った命令が上端シナプス処理ユニ ットの命令記憶ユニットに送られ、上端通信加算器ツリーから受け取ったデータ が下端シナプス処理ユニットの指定されたデータ記憶ユニットに送られ、下端通 信加算器ツリーから受け取ったデータが上端シナプス処理ユニットの指定された データ記憶ユニットに送られるように、データ経路記憶ユニット及びコマンド経 路ビットがセットアップされる、請求項１９の装置。
22. ２２．各シナプス処理ユニット内で受け取った命令を実行する手段が、自動動作 モード、ソース・オペランド、結果の宛先、及び即値データの指定を含む、ＮＯ Ｐ、ＰＡＴＨ、算術命令、及び論理命令に応答するプログラマブル実行ユニット を介するものである、請求項１６の装置。
23. ２３．自動モードで次の操作で使用されるデータを受け取ったとき、前に受け取 った命令を実行する手段が、自動モードを設定する能力をもつ命令を受け取り、 かつ争奪が起こらないようにプログラマブルなプロセッサ制御装置内のタイムア ウト機構によって制御される、十分なタイミング遅延の後にだけ送られる有効デ ータを受け取ることによってセットされる、自動モード・フラグによるものであ る、請求項１６の装置。
24. ２４．結果を各シナプス処理ユニット内で局所に留まらせ、または付加された通 信加算器ツリーに送らせるオペランド選択及び宛先経路制御手段が、命令復号機 構及び分配論理回路によるものであり、シナプス処理ユニット内で局所に留まる 結果に対しては、接続されたプログラマブル・プロセッサ制御装置に操作完了指 示が与えられない、請求項１６の装置。
25. ２５．シナプス処理ユニットから受け取った値を加算する手段が、関数実行モー ドで活動する、付加された通信加算器ツリーを介するものである、請求項１６の 装置。
26. ２６．外部入力値を各ニューロン活動化関数ユニットに入力する手段が、外部か ら通信加算器ツリーの出力側にある最終加算段に印加された入力を介するもので ある、請求項１６の装置。
27. ２７．新しい命令、データ、及びニューロン活動化関数ユニットＹ値を生成する 手段が、ニューロン活動化関数ユニットと、接続されたホスト・コンピュータ及 びＮ個の通信加算器ツリーにインターフニースするプログラマブル・プロセッサ 制御装置とによるものである、請求項１６の装置。
28. ２８．構造に対する危険を避けるために、タイムアウト状態機械制御機構が命令 及びデータ発行機構上で使用される、請求項２７のプログラマブル・プロセッサ 制御装置。
29. ２９．データがビット直列形式であり、データに関して、ビットを対角線セルま たは一般セルで受け取る順序が、最初に同報通信ビット、次にタグ・フィールド 、次に誤差処理ビット、続いて非活動状態にセットされるとデータを指示するコ マンド・ビット、予備ビット、データ・フィールド、最後に誤差処理ビットであ る、請求項１６の装置。
30. ３０．命令がビット直列形式であり、命令に関して、ビットを対角線セルまたは 一般セルで受け取る順序が、最初に同報通信ビット、次にタグ・フィールド、次 に誤差処理ビット、続いて活動状態にセットされると命令を指示するコマンド・ ビット、自動ビット、命令のタイプを指示するコマンド・フィールド、第１オペ ランドを指示するソース１フィールド、第２オペランドを指示するソース２フィ ールド、結果の宛先を指示する宛先フィールド、即値データ・フィールド、最後 に誤差処理ビットである、請求項１６の装置。
31. ３１．完全に接続されたＮニューラル・ネットワークをエミュレートするために 、 ａ）Ｎ個の通信加算器ツリーを通信モードに置くステップと、ｂ）初期重み、Ｙ 値、一般セルのデータ経路、及びＹＯＵＴＭＯＤＥにセットされたコマンド経路 ビットを構造にロードするステップと、 ｃ）Ｎ個の通信加算器ツリーに乗算命令を発行するステップと、 ｄ）シナプス処理ユニットの命令記憶ユニット内で乗算命令を受け取るステップ と、 ｅ）Ｎ個の通信加算器ツリーを機能モードに置くステップと、ｆ）ニューロンＹ ｊ値と重みＷｉｊ値を乗算するステップと、ｇ）付加された通信加算器ツリーに Ｙ値×重みの積を送るステップと、 ｈ）機能モードの通信加算器ツリー上で送られてきた積値を加算するステップと 、 ｉ）外部入力値を印加し、それを通信加算器ツリーから送られてきた積値の求和 に加算するステップと、ｊ）ニューロン活動化関数ユニットからＮニューロンＹ 値を生成するステップと、 ｋ）通信加算器ツリーを通信モードに置くステップと、１）Ｎ個の通信加算器ツ リーにＮニューロンＹ値を発行し、それによって１つのニューラル・ネットワー ク更新サイクルを完了するステップと を順次実行するための手段が設けられている、請求項１６の装置。
32. ３２．第１層が外部入力をもつ２個のニューロンを含み、第２層が１個のニュー ロンを含み、第３層が４個のニューロンを含み、第４層が４個のニューロンを含 み、レジスタが記憶ユニットとして使用される、４層から構成されるＮ（＝１１ ）ニューロン構造からなる多層ニューラル・ネットワーク上で、入出力エンコー ダ問題のために、後方伝播学習をエミュレートするための順次実行手段が設けら れ、レジスタが記憶ユニットとして使用され、ＭＰＹが乗算命令を示すときこの 構造及び制御機構がプロセスをイネーブルし、ＡＤＤＴＲＥＥの宛先が結果を付 加された通信加算器ツリーに送る（プログラマブル・プロセッサ制御装置を学習 プロセッサと呼び、このＮニューロン構造をＧＰＬＭで示す）、請求項１６の装 置であって、 ａ）重みレジスタＣＥＢビット・セットが“１”にセットされた重み値の初期セ ットを走査入力することによってＧＰＬＭが初期設定され、その他の重み値及び すべてのＹ値レジスタが０値で走査入力され、 ｂ）初期設定後、ＧＰＬＭが実行モードに置かれ、入力パターンＥＸ１及びＥＸ ２が印加され、 ｃ）ニューロン１、２、・・・、１１がＭＰＹＡＲ１＊Ｒ２→ＡＤＤＴＲＥＥを 発行し（ＡＤＤツリーは加算のために指定されている）、 ｄ）ニューロンの第１層がＧＰＬＭ構造上で実行されて、第１層ニューロン出力 及びその導関数を生成し、第１層ニューロン出力がＧＰＬＭにフィードバックさ れ、ニューロンの第２層が実行されて第２層ニューロン出力及びその導関数を生 成し、 ｅ）すべての層が実行され、ネットワーク出力及びその導関数が得られるまで、 このプロセスを繰り返し、ｆ）１１個のニューロンの値及びその導関数がすべて 計算されてＹ値及びＹ導関数アレイに入れられた後、ＧＰＬＭが学習モードに置 かれ、 ｇ）Ｙｉが最小指定誤差に収束するかどうか学習プロセッサが検査し、到達しな い場合は、パターンｐに関する学習プロセスが停止できるが、収束に達成しない 場合は、パターンｐに関する学習を続行し、 ｈ）学習プロセッサが、出力ニューロンと前の層内のニューロンの間の結合重み を更新する際に使用される、出力ニューロンに関するδ■ｉを計算し、 ｉ）ニューロン１、２、・・・、１１がＰＡＴＨＲ４を発行することによってデ ータ経路が変更され、誤差信号が当該の各乗算器入力セル一時レジスタに逆通信 され、ｊ）誤差信号と適当な重みを乗算するためのＭＰＹ命令を発行するように システム装置が制御され、これらの積が加算されて次層後方伝播重み修正プロセ スで使用される誤差和ＥＲｐｉを生成し、 ｋ）ニューロン８、９、１０、１１がＭＰＹＲ６＊Ｒ３→ＡＤＤＴＲＥＥを発行 し、 １）層Ｌより前の次層（が存在する場合にその）内で使用される層Ｌ内の誤差信 号が計算され、ニューロン３がＰＡＴＨＣＲ１を介してＹＩＮＭＯＤＥに置かれ 、その結果ニューロン３に対して乗算コマンドが発行され、最後にニューロン３ がＰＡＴＨＣＲ２を介してＹＯＵＴＭＯＤＥに置かれて、ＧＰＬＭ構造内の他の ニューロンと一貫性をもつようになり、ｍ）ニューロン３がＭＰＹＲ６＊Ｒ３→ ＡＤＤＴＲＥＥを発行し、 ｎ）層２に対する誤差信号（Ｅ３）が計算され、構造内で逆通信され、 ｏ）ニューロンのΔＷｉｊが計算され、次いでｐ）ステップ１として、ニューロ ン１、２、・・・、１１がＭＰＹＲ５＊Ｒ３→Ｒ４を発行し、 ｑ）ステップ２として、ニューロン１、２、・・・、１１がＭＰＹＲ４＊ＩＭＤ →Ｒ４を発行し（ＩＭＤは学習速度ρを含む）、 ｒ）ステップ３として、ニューロン１、２、・・・、１１がＡＤＤＲ６＋Ｒ４→ Ｒ６を発行し、新しい重み値が計算され、 ｓ）次の学習サイクルＰＡＴＨＲ２の準備として新しい経路コマンドが送られ、 その結果新しいＹ値が適切なレジスタに送られ、 ｔ）ＧＰＬＭが実行モードに置かれ、調整された重みによって出力パターンが最 小指定誤差で教育パターンに一致するようになるまで、既存パターンｐが再び印 加され、最小指定誤差に収束した後、新しいパターンが印加され、すべての教育 パターンが印加されるまでこのプロセスが繰り返されるという、装置。
33. ３３．３層のニューロンから構成される、入出力エンコーダ問題のボルッマン様 機械をエミュレートするための順次実行手段が設けられ、レジスタが記憶ユニッ トとして使用され、ＭＰＹが乗算命令を示すときこのシステム装置用の構造及び 制御機構がプロセスをイネーブルし、ＡＤＤＴＲＥＥの宛先が結果を付加された 通信加算器ツリーに送る（プログラマブル・プロセス制御装置を学習プロセッサ と呼び、Ｎニューロン構造をＧＰＬＭで示す）、請求項１６の装置であって、シ ーケンスが ａ）入出力ユニットを１つの入出力エンコーダ・パターンに「クランプ（固定） 」することによってネットワーク更新サイクルを開始するステップと、 ｂ）入出力ユニットがクランプされているとき、更新のために隠れユニット・ニ ューロンをランダムに選択するステップと、 ｃ）選択された第ｉニューロンの「オン」状態確率（ＯＳＰ）を決定するステッ プと、 ｄ）学習プロセッサが選択されたニューロンの活動化値Ｙを決定するステップと 、 ｆ）新しく更新されたＹ値をネットワーク内で逆通信するステップと、 ｇ）学習プロセッサが、結合されたニューロンについて、結合されたユニットが どれだけ頻繁に同時に「オン」であったかを示す値を記録して、統計的に有意な ニューロン活動度を得るのに十分なサイクルが走行され、アニーリング・スケジ ュールによりパラメータＴを変えることによってネットワークが「平衡」に達す るまで、ニューロン選択及び更新プロセスを続行するステップと、 ｈ）実行すべきパターンが他にもまだある場合、次の入出力エンコーダ・パター ンを選択し、それをネットワーク上でクランプし、上記で定義されるようにネッ トワークをステップ２から走行させ、ネットワークで走行されるすべてのパター ンについて統計をとり続けるステップと、ｉ）すべてのパターンを走行させた後 、１対の結合されたニューロンがともに「オン」であった確率を表す統計を記録 し、その結果学習プロセッサが「クランプ」された統計のアレイを保持するステ ップと、 ｊ）ネットワークを「クランプせず」、すべてのニューロン値を「オン」または 「オフ」となる確率が等しくなるようにランダムにし、ネットワークがアニーリ ング・スケジュールに従って「平衡」に達することができるようにするステップ と、 ｋ）次いで「クランプ」操作モードで実行されたのと同数のアニーリングの間「 オン」ユニットの対の統計を記録して、学習プロセッサが「非クランプ」統計の アレイを保持するステップと、 １）得られた統計値を使用して、レジスタにＰｉｊ及び−ｐ′ｉｊをロードし、 次に記憶された値を加算し、続いて即値データとして記憶された学習速度ρを乗 算することによって、重みの変化ΔＷｉｊ＝ρ（Ｐｉｊ−ｐ′ｉｊ）を計算する ステップと、 ｍ）旧重み値にΔＷｉｊを加算し、結果を旧重みの代わりに記憶することによっ て、新重みを計算するステップとを含む、装置。
34. ３４．１つはＷマトリックスと呼ばれ、もう１つはＹマトリックスと呼ばれる２ つのＮ×Ｎマトリックスのマトリックス乗算を順次実行するための手段が設けら れており、この乗算によってｚマトリックスと呼ばれる第３のＮ×Ｎマトリック スが生成され、レジスタが記憶ユニットとして使用され、ＭＰＹが乗算命令を示 すときプロセスをイネーブルし、ＡＤＤＴＲＥＥの宛先が結果を付加された通信 加算器ツリーに送る（プログラマブル・プロセッサ制御装置を学習プロセスと呼 び、Ｎニューロン構造をＧＰＬＭで示す）、請求項１６の装置であって、処理ス テップが、 ａ）Ｗマトリックスをロードする（１ニューロンごとにＮ個のＷ値があると仮定 して値を走査する）ステップと、ｂ）Ｙ値を逆通信することによって最初のＹ行 をロードするステップと、 ｃ）ＭＰＹＡＲ１＊Ｒ２→ＡＤＤ　ＴＲＥＥを発行する（ＡＤＤツリーは加算プ ロセスのために初期設定されている）ステップと、 ｄ）結果のｚマトリックスの第１行を計算する、すなわちＹレジスタとＷレジス タを乗算し、続いて加算ツリーを棄算するステップと、 ｅ）Ｎ個のｚ値を学習プロセッサに記憶するステップと、ｆ）第２のＹ行を逆通 信するステップと、ｇ）新しいＹ値を受け取ったとき、結果ｚマトリックスの第 ２行を計算する、すなわちＹレジスタとＷレジスタを乗算し、続いて、加算器ツ リーを乗算するステップと、ｈ〕Ｎ個のｚ値を学習プロセッサに記憶するステッ プと、ｉ）最後まで行計算を続行するステップと、ｊ）Ｎ番目のＹ行を逆通信す るステップと、ｋ）新しいＹ値を受け取ったとき、結果ｚマトリックスの第Ｎ行 を計算する、すなわちＹレジスタとＷレジスタを乗算し、続いて、加算器ツリー を乗算するステップと１）結果ｚマトリックスの最終行を学習プロセッサに記憶 するステップと を含む、装置。
35. ３５．１つはＷマトリックスと呼ばれ、もう１つはＹマトリックスと呼ばれる２ つのＮ×Ｎマトリックスのマトリックス加算を順次実行するための手段が設けら れており、この乗算によってｚマトリックスと呼ばれる第３のＮ×Ｎマトリック スが生成されて一時記憶ユニット内のシナプス・プロセッサに内部記憶され、レ ジスタが記憶ユニットとして使用され、ＹマトリックスとＷマトリックスの両方 がＧＰＬＭ構造（Ｎニューロン構造をＧＰＬＭで示す）にロードされ、かつ前記 の構造内にＮ２個の固有なＹおよびＷ（重み）レジスタがあると仮定して、シス テムがＹおよびＷレジスタ上で局所加算を実行するようにイネーブルされ、この 加算が前記構造内で実行され、その結果がシナプス処理ユニットの一時レジスタ に送られ、加算完了後元のＹおよびＷマトリックスが前記構造内にそのまま残り 、一時レジスタが加算結果マトリックスを格納し、このマトリックスが走査出力 し、あるいはシナプス処理セルから個別に読み出し、あるいは以後の操作のため に使用することができる、請求項１６の装置。
36. ３６．１つはＷマトリックスと呼ばれ、もう１つはＹマトリックスと呼ばれる２ つのＮ×Ｎマトリックスのマトリックスブール演算を順次実行するための手段が 設けられており、このブール演算によってｚマトリックスと呼ばれる第３のＮ× Ｎマトリックスが生成されて一時記憶ユニット内のシナプス・プロセッサに内部 記憶され、レジスタが記憶ユニットとして使用され、ＹマトリックスとＷマトリ ックスの両方がＧＰＬＭ構造（Ｎニューロン構造をＧＰＬＭで示す）にロードさ れ、かつ前記の構造内にＮ２個の固有なＹおよびＷ（重み）レジスタがあると仮 定して、前記のＹおよびＷレジスタ上での局所ブール演算が前記の構造内で実行 され、その結果がシナプス処理ユニットの一時レジスタに送られ、ブール演算完 了後元のＹおよびＷマトリックスが前記構造内にそのまま残り、一時レジスタが ブール演算結果マトリックスを格納し、このマトリックスが走査出力し、あるい はシナプス処理セルから個別に読み出し、あるいは以後の操作のために使用する ことができる、請求項１６の装置。