JPH05505268A - デイジーチェーン制御付ニューラルネットワーク - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 ディジーチェーン制御付ニューラルネットワーク発明の背景 発明の分野 本発明は、いかなるユニ一うルネゾトワー夕においても、極めて単純なセグメン テーション、制御及び相互接続を提供しうる方法及び装置に関し、特にその相互 接続に基づきディジタルニューラルネットワークをセグメント化するシステムに 関し、各セグメントのノードに接続された時分割多重方式の通信バスと共に、そ のセグメントに対して、ディジーチェーン式の制御信号を供給するシステムに関 する。

関連技術の説明 ユニーラルネソトワーク計算構造は、非線形問題をモデル化する上で非常に有効 である。そのような構造は、多くの分野で幅広く応用されている。しかしなから 、ニューラルネットワークの現実使用は、それらの実現か困難なために制限され ている。ニューラルネットワークの動作をシミュレートできる汎用計算機及び専 用計算機は直ちに利用できる状況にあるが、しかしそれらは低性能のシステムに おいてのみ、満足に機能するものである。現状の計算機技術は、高速度ニューラ ルネットワークの機能の実現という要求に応しることができない。

ニューラルネットワーク構造を直接に構築する試みは（汎用計算機においてその ようなネットをシミュレートすることに比べて）、２つの根本的な問題、即ちサ イズと相互接続の問題に直面する。ニューラルネットワークは、非常に規模か大 きくまた非常に相互接続が多くなるという傾向を有している。従って、より完成 度の高いニューラルネットワークを実現するためには、ニューラルネットワーク 内の各ノードを非常に効率的に構築する方法、及びこれらノードを非常に２１７ ：Ｅ的に接続する方法を発見しなければならない。

ニューラルネットワーク内の各ノードは、多信号入力単一信号出力の伝達関数を 有している。伝達関数は次のように表される。

ここで、添字付きパラメータＸはそのノードへの人力値を表している。ある１個 のユニーラルネノトワータ内の各ノードは、同一関数を実現する必要がないが、 複数のニューラルネットワークの設計のためのアプローチとして一般的に知られ ているひとつのアプローチは、あるネット内のどのノードでも同じ関数を実現す る方法である。この関数は次のような形をとる。

である。その他のニューラルネットワークのノードは、次のような関数を実行す る。

−Ｎ Ｆ　（ｘｉ）　＝ｆ　（−ΣＸ１Ｗｉ）　（３）−Ｄ さらに他のそれのノードは、式（３）の右辺を、処理の結果を出力するかどうか を決定するためのしきい値と比較する。

ニューラルネットワーク２は、しばしば図］のように表される。谷内はひとつの ノードを表し、矢印はあるノードから他のノードへの入力及び出力の流れを示す 。入力ノードはいかなる数理演算も実施せず、単にデータの流れを示す役割を果 たしている。

もっとも一般的なニューラルネットワーク４の相互接続体系は、図２に示されて るようなものである。このアプローチにおいては、ネットは３つの層、即ち入力 層６、人力層からデータを受信する第２の層８（通常、隠れ層と呼ばれる）、及 び隠れ層８、よりデータを受信（５出力値を生成する出力層１０からなる。この アプローチは、伝統的には、呼れ層８のいずれのノードもすべての入力ノードか らデータを受信すること、及びいずれの出力ノードもすべての隠れノードからデ ー夕を受信することを要求する。各ノードは、同一の関数を実施している。この 伝統的なアプローチにおいては、相互接続の数が層の各逐次的ペアの積の和とな ることが容易にわかる。もし、各層が１．０００のノードを持っていれば、２０ ０万の相互接続が存在することになる。

すべてのニューラルネットワークが図２の形をとるのではないということを留意 することは重要である。ある種のネットワークは、さらにより包括的であって、 任意のセットの相互接続を任意のセットのノード間にも設けることを可能にし、 また任意のノードに対して任意の関数を持つことを可能にするものである。図３ は、同様構成のノードが完全に相互接続されているネットワーク１４（ホブフィ ールドネット）を示しており、図４は７つの任意の伝達関数を有し任意に接続さ れたネットワーク１６を示している。

上記の議論から、コンピュータ上にシミュレートされたニューラルネットワーク が、ニューラルネットワークシミュレーションのために特に設計されたコンピュ ータにおいてさえ、何故それほど多量の演算能力を要するかを容易に理解できる 。また、物理的に大規模のネットワークを実現する仕事が非常に困難であると　 ・いうことも明らかである。

直接的に実現されるニューラルネットワークは、物理プロセッサノードがニュー ラルネットワーク内の各ノードを実現し、従って物理プロセッサが各ノードに存 在するものである。相互接続の問題は、ニューラルネットワークの直接的実施が 構築される場合には必ず、扱われねばならない問題である。そのようなネットを 直接的に実現する場合には、本発明が克服ないし巧みに回避している４つの問題 に直面する。

最初の問題は、単純に相互接続のそれである。現状では、技術者たちはこの問題 に対して、例えば各ノードが他の１０のノードからのみデータを受信し得るよう に、ネットの相互接続を減少させることで対応している。これは、図２に示され た古典的なものを含む多くのネットワークを溝築不可能にする。

第２の問題は、柔軟性（フレキシビリティ）のそれである。ニューラルネットワ ークは構造内で非常に頻繁に又は大きく変化するため、また特定の問題を解決す るために必要とされるネットの構造が一般的には最初からは知ることができない （それがネットが「学習」しなければならない理由である）ために、いかなるハ ードウェア実現も、ネット構造において可変性を偏えることが重要である。

第３の問題は、構造のそれである。ニューラルネットワークが巨大なサイズにな るため、いかなる構造であっても非常に単純かつ規則正しい形でつくられること がまた非常に重要である。今日の実現手法のほとんどは、ネットがわずかに変化 した場合には、計算環が放棄されねばならず（もしノードが集積回路上に設けら れている場合には）、又は構造的な変化に適応するため物理的に大規模に配線し 直されねばならない。

第４の問題は、資源の効率的な利用のそれである。式（２）及び（３）は、積の 和をそのノード関数の一部として示している。アナログ実現においては、適切な 回路素子により多入力を同時に合計することができる。ディジタルロジックでは 、一般的には多入力を同時に合計するようには設計できず、そしてもしそのよう なことを試みた場合には、高価でかつ融通性のないものとなろう。ディジタル実 現が同時入力処理を行わないため、同時に入力を与えることは不適切となる。

従って、図１の直接実現手法は、ディジタルシステムにとっては適切でない。

発明の概要 本発明の目的は、ユニ一うルネノトワークのハードウェア実現の融通性を増加さ せることである。

本発明の他の目的は、ニューラルネットワークにおいて要求されるいかなる相互 接続をも具備することである。

さらに本発明の他の目的は、並列処理を最適化するためのニューラルネットワー クを構成する方法を提供することである。

本発明のさらなる目的は、ニューラルネットワーク全般に、単純で規則だった回 路構造を可能にすることである。

本発明の目的は、いかなるニューラルネットワークを実現するためにも必要とさ れる物理的な接続の数を減少させることである。

本発明のさらに別の目的は、ネットワーク内の計算資源を、効率的に利用するこ とである。

さらにまた本発明の別の目的は、先にふれた柔軟性と効率性を可能にする、多重 ノードの集積回路アーキテクチャを供給することである。

さらに本発明の別の目的は、実行、出力及びネットワーク内のデータ経路を、単 純で実現しやすい方法で制御することである。

上記の目的は、ネットワーク内の同じ宛先ノードに出力するニューラルノードが 同じチャネルを共用すると考えられるシステムにより達成することができる。

第２のセットのノードがデータを出力するノードのいずれに対しても、あるセッ トのノードがいかなるデータも出力しないならば、これらのセットは独立てあり ひとつのチャネルを共用していない。これにより、ネットワークは、複数の独立 セットにセグメント化される。ひとつの独立セット中の各ノードは逐次的に起動 され、ディジーチェーン制御信号により出力を行う。この出力は、従って、宛先 ノードへのチャネルに時分割多重される。各ノードのセットは集積回路上に実現 され、その出力はセグメントチャネルに接続される。各ノードはメモリアレイを 含み、メモリアレイは、乗算器を介して各入力に乗ぜられる重みを記憶する。お 揉みづけられた入力は集計され、しきい値比較又は伝達関数演算のためルックア ップテーブルに与えられる。ルックアップテーブルの出力は、ノードの独立セン トへのチャネルとして機能するコモンバス上に、ディジーチェーン制御信号によ り制御されるトライステートドライバにより送出される。

これらの目的は、他の目的及び後に明らかとなる利点と共に、この文書の一部を なす添付図面を参照しつつ、以下にさらに詳しく説明され請求される構成及び作 用の詳細から明らかである。なお、同一符号は同一の部分を示す。

図面の簡単な説明 図１は従来のニューラルネットワークを示す。

図２は古典的な３層ニューラルネットワークを示す。

図３は完全接続されたネットワークを示す。

図４は任意接続されたネットワークを示す。

図５は本発明が適用されるネットワークを示す。

図６は本発明を含む図５のネットワークを示す。

図７は本発明の出力回路である。

図８乃至図１２は本発明を含む別のネットワークを示す。

図１３は冗長ノードを付加することで改良されたネットワークを示す。

囚１４はノードの構成要素を示す。

図１５は集積回路の素子を示す。

図１６乃至図１８は集積回路の代替結合構成を示す。

そして図１９は複数の多重集積回路により実現されるネットワークを示す。

好ましい実施例の説明 本発明は、任意接続されたニューラルネットワーク用の装置及び方法に関する。

このニューラルネットワークは、好ましくはディジタル的に直接実現される。ネ ットワーク内の各ノードの出力はチャネルに接続される。ある共通のノードにデ ータを出力するノードは全である一つのチャネルを共有しなければならない。第 ２の出力ノードセットがデータを出力するノードにあるノードセットがデータを 出力しない場合には、この２つのノードセットは独立でありチャネルを共有して いない。各独立ノードセントを使用する際には、別個のチャネルが使用される。

あるセット中の各ノードは、出力制御信号線により接続される。ノードからの出 力は、出力制御信号がアクティブになるまでは禁止状、Ｉ！！とされる。出力制 御信号は、あるノードから次のノードへというように、同一の独立セット内でデ ィジーチェーン式に直列的に供給される。あるノードの出力がアクティブになる と、この信号は次のノードに伝播する。これは、各独立ノードセットを並行して 動作させると共に、ネットワーク内の他のノードから干渉を受けることなく、各 ノードのデータを共通チャネル上に自動的に多重させることを可能にする。

本発明をより広く捉えると、ノードは、入力機構と、処理機構と、出力機構の３ つの部分からなると考えることができる。データは入力機構により読み込まれ、 処理された後出力機構により書き出される。

先に述べたように、ネットワーク内のノードは、１組の通信チャネルを介して接 続される。各チャネルは、単一ノードセットの出力とのみ関連している。一群の ノードセットは相互に排他的であり、あるセットに見られるノード出力は他のセ ットには見られない。どのノードもいずれかのセットに属していなければならな い。各セットは、ネットワークの相互接続により確定される。同一のノードにデ ータを出力する２個のノードは、いずれも同一のセット内にある。更に、あるセ ット内の各ノードは、同一セット内の別のノードに、出力ディジーチェーン制御 信号を介して接続される。この信号は、ひとつのノードから次のノードに伝播し 、各ノードから対応するチャネルへのデータ出力が可能になる順序を制御する。

各チャネルは、独立して且つ他の全てのチャネルと並行して動作する。

通信チャネルは、ここで説明した入力及び出力機構と同様に、データンリアルで ある。個々の単一のデータは順次シリアルに読み書きされる。このように、デー タが読み書きされるチャネルは、時分割多重方式となっている。チャネルそれ自 体は１又は２以上のビット幅としても構わず、この場合単一のデータを１又は２ 以上のパケットで転送し得る。

図５に示すような２層５ノードの簡単なネットワーク２０を考える。ここには、 ノード２４．２６及び２８からノード２２に向かうデータの流れを表した矢印が ３本ある。ノード２４．２６及び２８は全てノード２２にデータを出力するので 、−それらは破線で示す同一の通信チャネル３０を共有する。図６は、ノード２ ４．２６及び２８により共有される実際の通信チャネル３０又はバスを示してい る。

ノード２４．２６及び２８より出力されたデータは、通信チャネルにンーケンン ヤルに書き込まれる。各ノードか出力を行う順序は、伝播される出力制御信号に 各ノードが接続される順序により決定されている。図６においては、各ノードは ２４．２６及び２８の順序で接続されており、この順序で、通信チャネル３０上 に各ノードがそのデータを出力する。実際の順序は、データを入力する各ノード が転送されたデータを：／リアル処理乃至格納する能力を有する限り、重要でな い。

図７は、このンーケンンヤル出力のための出力制御回路４０を示す。いずれのノ ードも、記憶レジスタ４４の内容を出力する出力部としてトライステートトライ バ４２を有している。制御信号（禁止）は、ひとつのノードから別のノードに、 シリアルに、すなわちディジーチェーン式に接続されている。システムコントロ ーラがシーケンスに従って最初のノードに信号を送ると、第一のノードはそのデ ータを出力し、フリップフロップレジスタ（ＦＦ）４６による１クロンク遅延の 後、第２のノードに信号が送られる。クロック遅延は、稼働中のノードがそのデ ータ値を出力し得る程度に大きなものでなければならない。このディジーチェー ン信号はチェーンに沿ってチェーンの最後まで進み、全データをひとつの層から 次の層に転送させる。

データ読込み側の全ノードは、必要であるか否かに拘らず、セ・ント内の全ての ノードの出力データにアクセスする。図５及び６のノード３２もまたチャネル３ ０に接続されており、ノード２２と同時にデータを読み込み、ノード２４及び２ ６からのデータを使用する。ノード３２はノード２８からのデータを必要とはし ないが、ノード２２がそのデータを必要としており人力部が共通に接続されてい るため、データはノード３２の入力上に現れる。ノード２８は同しチャネル３０ で接続されているため、ノード２４及びノード２６と同じセット内にあると定義 される。ノード３２におけるエラーを避けるために、ノード３２の処理機構は、 ノード２８より生成されたデータを無税することかできなければならない。式（ ２）をノード伝達オペレーションとして使用した場合には、このため、その人力 に対応する重みＷとしてゼロを設定する。

図５及び６において、ノード２２及び３２の出力は独立していると考えられる。

換言すれば、被制御装置等の出力ｇＬ置へのノード２２の出力経路は、ノード３ ２の出力装置への出力経路から独立で分離している。すなわち、本発明の制御体 系のもとては、ノード２２とノード３２は独立したセット内にある。その結果、 ノード２２及び３２は、独立して、並行な、そして非連鎖の出力制御信号を受信 する。もし、ノード２２及び３２の出力が、共通出力チャネル又はバスに接続さ れており従って同一の宛先に出力されるとすれば、本発明の構成体系のもとでは 、ノード２２及び３２による出力は、図６に破線で示されているように、ディジ ーチェーン式に接続される二とになる。

さらに複雑なネットワーク５０が、図８に示されている。このネットワーク５０ の第３の層５２は、第１の層５６に直接接続されている。物理接続を図９に示す 。このように、このネットワークは図５に示したネットワークに類のし７ている 。

層５２か層５４及び層５６の双方からデータを受信するため、層５４及び層５６ の出力部てが接続されている。最初にノード６０がデータを出力し、ノード６０ に続いて、６２．６４．６６．６８．７０及び７２が、順にデータを出力する。

ノード６８．７０及び７２は、データを送信しないノードの出力について０重み を使用すると共に、それ自体の出力に係る重みをＯとしなければならない。例え ばノード７２は、ノード６０．６２．６８．７０及び７２からの出力に、Ｏで重 みを付けることをＺ・要とする。同様に、ノード７４は、ノード６２．６４．６ ６．７０及び７２の出力にＯで重みを付けなければならない。ノード７６は、ノ ード６０．６２．６４及び６６の出力にＯで重みを付けなければならない。図５ の出力ノードか独立出力することと比較した場合、宛先を共有する出力ツードア ４及び７６は、従って同一独立セット内にありディジーチェーン制御信号により 制御されるということに留意されたい。

本発明に係るネットワークを実現した場合、このネットワークのデータ処理速度 は、データ転送に要する基本速度とノード間の相互接続に依存する。相互接続は 、各チャネル上に時分割多重化すべきデータ量を決定する。相互接続の程度か増 加するほど、ひとつのチャネルに沿って伝送すべきデータの量が増加し、ネット ワークのデータ処理速度が遅くなる。ネットワーク全体を独立した各セットに分 割し得るならば、データは各チャネルに沿って同時に転送可能になる。これによ り、各チャネル上を移動するデータの全体量及びその移動に要する時間が減少し 、全体のデータ転送速度か増加する。

図１０は、このように分割し得るネットワーク９０の一例である。図１１は、ネ ットワーク９０の単純な接続を示す。この構成において、ノード１００及び１０ ２は、受信はするか使用ｌ−ない入力、すなわちノード９６と９８又は９２と９ ４からの入力を無視しなければならない。ノード１００及び１０２は人力を共有 しないため、ネットワークは、図１２に示すように２個の独立部分に分割できる 。

４個の値の代わりに２個の値を通過させるために要する時間は、半分となること は明らかである。なお、各出力ドライバへの初期制御信号は、図１１の場合では ノード９２にだけ信号を送信すればよいが、この第２の場合においてはノード９ ２及び９６の双方に送信されねばならない。このようなパイプラインシステムに おいては、処理速度のもっとも遅いセクションの処理速度でのみ、機械全体か処 理を行うことができるということを理解しておくことか重要である。図１１は、 ２つの独立した出力相互接続ネット又はサイズ２の（すなわちノード１０４及び １０６並びにノード１００及び１０２を有する）でグメントと、サイズ４の（す なわちノード９２．９４．９６及び９８を有する）セグメントのひとつを有（、 ている。サイズ４のネットの全てのデータにクロックを与える時間を付与するた め、その他のセグメントは待機していなければならない。この場合でも、その他 のノードに０の重みを付けることにより、この要求を十分満足させることができ る。

図１１のネットワークを図１２のネットワークに再構成することは、サイズ２の ４個のセグメントにセグメント化する結果となり、それにより、ロスサイクルを 除去している。

上述した例では、ノードベア９２及び９４がノードベア９６及び９８と並行して 処理を行うため、図１２の方が図１１より効果的であるが、より効率的な・＜− ジョンのネットワークを作成するプロセスを以下、説明する。最初に、各ノード は、その宛先ノードによりセットにグループ分は乃至セグメント化される。共通 の要素を有するセット（交わるセット）は、１つの層内で共通セグメントと結合 される。独立した層内のセットが共通のノードを有するならば、その層のセ・ノ ドは結合される。あるセット内の各ノードは各セントの通信チャネルに接続され ており、チャネルはセット又はセグメントの要素からの出力を受信する各ノード に接続されている。チャネル割り当てプロセスの別の見方は、重複し或いは共通 の要素か結合されている１個のチャネル乃至複数のチャネルに、各セットが割り 当てられているということである。制御信号が任意の順序でセントの各要素にシ ーケンシャルに与えられるが、信号シーケンスの順序は宛先ノードに記憶されて し＼る重みの順序に一致していなｌ−１ればならない。この要求を満たすひとつ の順序は、ディジ・−チェーン制御信号が最下位の層から最上位の層の順で作用 させるものである。これにより、ネットワークの各ノードは、それが依存してい る全てのノードが出力を生成し終えるまで、出力を生成することができなくなる 。図１０のノード１０４及び１０６のような出力ノードは、全ての下位ノードカ 咄力を生成し終えるまで待たなければならないため、このようなパイプラインシ ステムは、全ての先行するノードが有効な出力を生成し終えてからのみ、有効な データを出力することになる。

図１０のネットワークについては、処理は以下のように行われる。最初にセ・ソ ト（９２，９４）、（９６，９８）、（１００，１０２）及び（１００，１０２ ）が生成される。共通要素を有するセットは、結合されてセット（９２，９４） 、（９６，９８）及び（１００，１０２）を生成する。ノード９２及び９４は、 共通通信チャネル１２０（図１２を参照）に接続されており、ノード９６及び９ ８は共通通信チャネル１２２に接続されており、またノード１００及び１０２は 共通通信チャネル１２４に接続されている。チャネル１２０は、ノード９２及び ９４より出力を受信する全てのノード即ちノード１００に接続されており、同様 のことが、チャネル１２２、及びノード１０４及び１０６の双方に接続されてい るチャネル１２４にも当てはまる。次に、各独立セットが、シーケンシャルに与 えられ図１２のネットワークを生成する出力制御信号により駆動される。

同様のプロセスを図８に適用して図９を生成すると、最初に第１の層セ・ント（ ６０，６２，６４）、（６２，６４）、（６４，６６）、第２の層セ・ント（６ ０，６８）及び（６８，７０，７２）、そして第３の層セ・ソト（７４，７６） が得られる。共通要素を有する層セントは結合され、第１の層セット（６０，６ ２、′６４．６６）、第２の層セット（６０，６８，７０，７２）、そして第３ の層セット（７４，７６）が生成される。いくつかの層力哄通要素を有するセ・ ノドを有するため、これらのセットは結合され、セット（６０，６２，６４，６ ６，６８，７０，７２）及びセット（７４，７６）が生成される。この場合、各 々・ントは、当該セットに対して全ての送信側ノードを全ての宛先ノードに接続 するチャネル７８及び８０を僅えている。各セットには、最初に最下位の層にあ る各ノードに転送された後火の最上位層等にある各ノードに転送される独立制御 信号が与えられ、図９に図示されているような構成を生成する。

ニューラルネットワーク設計へのセグメンテーションアプローチのひとつの有利 な特徴は、ネットワークに、はんの少しの冗長ノードを付加することで、ある場 合には、ユーザが処理速度を速め、結合を減少させることができる点にある。

冗長ノード１２５を図８のノード６０及び７４の間に付加した場合には、図９の ネットワークよりもむしろ図１３のネットワークが得られる。これにより、３つ のセグメント、即ちノード６０．６２．６４．６６、ノード１２５．６８．７０ ．７２、そしてノード７４．７６を有し、３つの通信チャネル１２６．１２７． １２８を有する一層効率的なネットワークを形成することができる。最大のセグ メントは７つのノードの代わりに４つのノードを有しており、従って、一つのノ ード及び一つの通信チャネルを付加するだけで、ネットワークの速度を改善する ことができる。

この点について、以上の説明は、あるノードから他のノードへ処理されたデータ を転送しネットワークによりデータ処理を実現することに焦点を当ててきた。

このノード制御型通信方法は、また、ニューラルネ・ノドワークの学習段階処理 もサポートする。しかしながら、制御においてひとつの重要な違０力（存在する 。データをネットワークの上方に転送する場合には、図１２に示されるよう（こ 、単一の値を複数のノードに出力することができる。学習の際に（よ、同じ値を 受信する多重ノードの各々が異なる学習値を渡し戻さなければならな（１ケース カ＜　Ｌ　ＩｉＬ　Ｒ生じる。従って、さらにより多くのデータが包含されるこ と１こなる。各ノード（よ学習ベクトルを受信することができる。ベクトルの各 要素は、各ノード力１ら、それが最初に値を渡した各ノードに戻される。出力制 御信号は、この状況を実現するために直ちに利用される。上位ノードは、それよ り下位のノードの各々ζこ値を渡さなければならない。従って、制御信号は、い ずれのノード力（データを受信すべきかを指示しているノードの各々にそって伝 播されること力くできる。セット内のいずれのノードもその適切なデータを受信 したのち、信号−１最初力・ら始動をし直す。同時に、上位ノードの制御信号は 次のノードに渡される。このよう１こ、下位の信号がそのセット全体にわたって 伝播される度毎に、上位の信号力（あるノードに伝播される。

ディジタルニューラルネットワークには、できうるかぎりの柔軟性を付与しなけ ればならない。特に、どのようなシステムも、異なるネ・ノドワークのサイズ及 び構成に適合すること力呵能でなければならない。関数変形１こお１する付加的 な柔軟性もまた、非常に有効なものとなろう。本発明のより望まし０実施例（＝ 、各層につき最大１０２４のノードを有するデイジタルフイードフオワードネ・ ノドワーク、特に光学文字読取り装置におけるイメージ認識のため１こ設計され 、各ノードに対して１０２４の入力を有するデイジタルフイードフオワードネ・ ノドワークの実現を指向している。しかしながら、非ディジタルのノードを含む 他のサイズのネットワークも実現されうる。上記望ましい実施例は、ネットワー クの学習を目か、重みにより指定された相互接続性が安定するよう終了するもの である。しかしながら、単一のネットワーク構造により複数のニューラルネット ワークを実現することも可能である。もし異なる態様で接続された２個のネット ワークを分解でき同じネットワーク構造にセグメント化できるならば、両ネット ワークは同しセグメント化されたネットワーク構造において実現できることにな る。この状況における重みは、各ニューラルネットワークのセグメント内部のノ ードの相互接続の間を差別化するために用いられることになろう。

各ノード１３０においては、図１４に図解されているように、経済性及び精密性 という理由から、８ビツト整数演算回路が、積和計算のための２６ビノトアキユ ムレータ１３２と共に使用されている。関数変形は、２５６バイトのルックアッ プテーブルＲＡＭメモリ１３４により行なわれ、それにより異なる関数を使用可 能になる。これが、式（２）乃至（３）の形をとらないいかなる関数も、あらか じめ排除しているということに留意されたい。そのネットワークは、本質的に、 同一要素のパイプライン接続された同期セットである。ニューラルネットワーク の各ノードは、対応する物理ノード１３０を有している。仮想ノードは存在しな い。バイブライン構造であるため、各層内の各ノード内部のパイプラインが、ま た層間の各ノード内部のバイブラインがフルになるまで、システムは無効なデー タを出力することになる。要求されるサイクル数は、当業者を有する人間であれ ば、各層内の最大幅のセット及びネットワークの最深部分の層の数から計算でき る。しカルながら、一旦バイブラインが完全になると、最大幅のセグメント乃至 セットの各サイクルに、有効な出力が生成される。

１にバイトのメモリアレイ１３６は、図１４に図解されているように、１０２４ 個の８ビット重みを保持する。８ビツト演算は、現状の集積回路技術において１ ０２４ノードシステムの実現に適当であり、適当な精密さを実現することから、 選択されている。異なるサイズのネットワーク乃至異なる精密さが要求されてい る場合、又は設計者がより多くの回路をより小さな領域に詰め込むことを可能に する技術が得られるならば、異なるビ・ソト幅の演算が適切となり得よう。レジ スタ１３８．１４０．１４２．１４４．１４６．１４８及び４４はデータを１ク ロツク遅延させる。下位の４つのレジスタ１３８．１４０，１４２及び１４４１ ４、好ましくは各々８ビットである。好ましくは、乗算器１５２に続くレジスタ １４６は１６ビツトであり、アキュムレータ１３２１こ続くレジスタ１４８ｆｔ ２６ビ・ントであり、モしてＬＵＴ　（ルックアップテーブル）１３４に続くレ ジスタ４４（よ８ビットである。データは矢印の方向に移動する。８ビ・ノド入 力データｉ１、最初１０ビツトアドレス値と共に、入力に現れる。これら２つの 値ζは、最下位レジスタ１３８及び１４０により第１クロ・ツクサイクルでクロ ・ツクされる。アドレスデータは、このとき、メモリアレイ１３６からの８ビッ ト重み出力を第２レジスタ１４２に格納させる。同時に、入力データは、対応す るレジスタ１４４１こ移動する。システム全体がパイプライン接続されているた め、新しいデータ及び入力アドレスは、この時点て第２レジスタ１４２及び１４ ０に現れる。重み及び入力データは、８ビツトマルチプライヤ１５２において乗 算され、得られる１６ビ・ノドは続くレジスタ１４６に格納される。２６ビ・ノ ドアキュムレータ１３２（よ、内蔵するレジスタの内容とマルチプライヤの結果 に加算し和を内蔵するレジスタ（こ：記憶する。全ての入力データがクロックさ れるまで、データは、この方法でアキュムレータ１３２に与えられ続ける。アキ ュムレータ１３２は、それ力・ら、左シフトにより上位８ビツトをレジスタ１４ ８に与える。これは、ネットワーク内の異なるポイントで生成されるさまざまな 振幅値に適合させるために必要である。アキュムレータ１４８の上位８ビツトは 、それから、ル・ツクアップテーブルメモ１］（ＬＵＴ）１３４に与えられる。

このテーブル１３４は、ロードされるデータ１こ依存しつつ、任意の関数変形を 実行する。典型的には、この変形は、シグモイド関数を実現する。テーブル１３ ４の８ビツト出力は、最終レジスタ４４１こ記憶され、禁止信号が解除されたと きに出力される。

明らかに、システム要求を１２ビツト演算に変化させると、メモ１ノ、アキュム レータ等がさらに大きくなる。同様に、ビット精度を４ビツト１こ減少させれ１ ｆノードサイズがかなり小さくなる。アキュムレータ１３２乃至マルチプライヤ １５２におけるデータ丸めは、また、ノードサイズを小さくし性能１こ関する効 果を低減させるだろう。全てのレジスタを所定の状態にリセットするため１こ消 去信号線（図示せず）が装備されており、そして、レジスタにデータをラッチす るためにタロツク信号線（示されていない）も装備されている。データはメモリ ・アレイ１３４及び１３６に、まさに処理が行なわれているときに、アドレス及 びデータを入力ラインにラッチすることにより、ロードされる。アドレスは、通 常、重みアレイ１３６に与えられるが、ロード操作を行なうときは、ＬＵＴ３４ にも与えられねばならない。これは、レジスタ１３８及び１４８から入力が行な われるアドレスマルチプレクサ１５０により達成される。ＬＵＴ１３４は、第１ のモードにおいてはそのアドレスをアキュムレータレジスタ１４ｇの出力から、 第２のモードにおいては入力アドレスレジスタ１３８から、受信することになる 。データをメモリ１３４及び１３６にローディングしている間、データは、ロー ド／ラン信号による制御のもと、トライステート１５２及び１５４の出力端に現 れる。ロード状態においては、ドライバ１５２及び１５４がターンオンし、メモ リ１３４及び１３６上のデータビンを、レジスタ１４０からの入力データ値に駆 動する。

ラン状態においては、ドライバ１５２及び１５４はオフされ、データが通常に出 力される。常に、メモリ１３４及び１３６が独立して走るので、それらは永続的 に選択されアクティブな状態にある。メモリへのロード制御は、対応するＲ／Ｗ 信号により実行する。

また、できるだけ多くのノードが各集積回路に配置されていることが望ましい。

しかしなから、実際には今日の集積回路技術の限界から、いくつかの、望ましく は８個のノード１３０が図１５に図示されるように１個のＶＬＳ１回路１５８に 配置されることか望ましい。その原、高密度化のためＣＭＯＳ等の技術を用いる 。

データ及び重みのアドレスを提供するノード間又は回路間の接続乃至チャネルは 、従来から知られているデータバスを使用して従来から知られているストレイト フォワード方式により実現される。クリア、クロック、ロード／ラン及びアドレ ス（低位１０ビツト）は、各ノード１３０に共通に渡される。Ｒ／Ｗ信号は、メ モリ１３４乃至１３６のロード制御のためのデコーダ１６２から与えられる上位 高アドレスビットのデコード結果と、ＡＮＤゲート１６０により、論理積をとら れる。ＶＬＳ１回路１５８内の各メモリブロックは、それ自身のためアドレス指 定を必要とする。ロードモードにおいては、アドレス指定されるメモリ・ブロッ クのみがアクセス可能状聾となり、ランモードにおいては、各ブロックはいずわ のブロックもアクセス可能となる。各回路もまた、それ自身のアドレスを有して いる。１０ビツトの重みのアドレスをカウンタ１６４によって内部的に生成する ことや、これを各回路１５８に供給することはいずれも可能である。この内部生 成は、入力ビン数を減少させ次々に渡されるデータ量を減少させるが、しかし、 制御の柔軟性をも減少させる。もし内部生成を用いた場合、カウンタ１６４は、 各データローディング操作の最初にクリアされるか、ラン操作を他の全てのレジ スタにより実行させるかしなければならない。

複数のノード回路１５８には、さらにもうひとつの問題が残っている。各ノード 入力においてデータが多重化されまた各ノードにアドレスか渡されるために、回 路のビンカウントが非常に低い。前述のネットワーク構成を参照すると、非常に しばしば、データ入力及び出力が図１６に図示されるように単純に一緒に接続さ れた状態になることが明らかである。複数ノード回路におけるノードの人力及び 出力は、また、図１７に示されるように、回路１５８に接続される。このことも また、ピンカウントを減少させ、それにより多くのビンが河川になり、また先に 議論されたネットワークのセグメンテーションが得られるようノードがグループ に配列される。もし、全てのノードか共通の入力及び出力を共有するならば、そ れらか適切な位置に接続されないことでノードか無駄になることもあり得る。

ノードを別個のグループに分割することで、回路１５８上の付加的な入力、出力 及び禁止ピンに係る無駄なノードを減少させることができる。入力及び出力ライ ンもまた、異なったやり方で共用されうるし、他の構成もまた容易に装備される 。

グルービングアプローチの拡張は、パッケージ内に十分なビンが装備されている 場合に用いられるべき図１８の回路という結果を生む。図１６に示されているよ うに各回路中のゲートの出力が全て一緒に結８されているか、又は全てが分離し ているかにかかわらず、セグメント内の全てのノードの出力は共通のチャネルに 全て一緒に結合されていなければならない。例えば、もしセグメントが６個のノ ード及び８個のノードを有する回路を有していて、図１６にあるように使用され るならば、回路の出力はセグメントチャネルに接続され、そして回路の２個のノ ードは無駄になる。しかしなから、セグメントか１２のノードを有していて図工 ６の回路か使用されるならば、両回路の出力か同しチャネルに接続されねばなら ず、それらの回路はシーケン７ャルにディジーチェーン信号を受信Ｌ、４個のノ ードが無駄になる。後者の状況において、図１７に示されるように４個のノード のセントか共通に出力を有する実現手法は、より効率的なものとなり得よう。従 って、効率性という目的からすると、各々が８つのノードを有し異なるタイプの ４個の回路を存することか、適切である。即ち、１番目の回路は全てのノードか 共通の入力及び出力に接合されている回路、２＠目の回路は４ノードのグループ を資し、３番目の回路は２ノートのグループを存し、そして４番目の回路は全て のノードが分離された出力をもつ構成である。しかしながら、大】生産にともな う懸念から、どのタイプの回路を製造するかの選択は、その回路において得られ るビンの数に依る。

図１９はシステムのより高いレベルの構成を示している。回路１５８が必要とさ れるネットワークを実現するよう接続されている場合には、シーケンサ１７０の タスクは、単純に、禁止信号の制御、またもし存在する場合には、アドレスカウ ンタ１６４を最も幅の広い層のサイクルの終了時にリセットするだけのものとな る。このシステムは、並行に走る各ノードによりそれ自身を走らせる二とかでき る。適切な値をロードするためには、シーケンサ１７０及びホストコンピュータ １７２が、適切なアドレス及びデータ値を生成し、ネットワークのアクション、 つまり技術的役割に係るタスクを制御（７なければならない。このネットワーク 実施例は、１層につき６４のノードを有する３層ネットワーク（入力バードウェ アを第１層として数える）を仮定し、間の相互接続を完了させる。入力はいくつ かの付加的なハードウェアにより多重化されていなければならず、ネットワーク クロックに同期していなければならない。シーケ；・す／制御回路１７０は、ア ドレスを生成し、両方の層の禁止信号のタイミングをとることによりシステム全 体を駆動する。二のネットワークにおいて、（それらか接続されているために） 出力はシーケン７ャルに得られることになり、各独立チップの出力が河川となる 。適切なテストポイントもまた備える必要かある。例えば、種々のレジスタがそ の出力を多重化させ、テスト中に試験のために回路をオフにするようにしなけれ ばならない。テスト入力を注意深く選択することにより、各ノードを完全にテス トすることも可能である。ＬＵＴ１３４かランプ関数を含み、人力乃至重みのい ずれかが１にセントされているならば、パイプライン中のいかなるポイントも直 ちに出力に接続される。このアプローチは容易に、全ての論理の正確さを証明す ることができる。

本発明は、以前の技術に勝るいくつかの長所を有する。第１に、その相互接続や 構成に関わりなく、本発明はいかなるニューラルネットワークをも実現すること かできる。第２に、その発明はその集積度の高さに関わりなく、どのネットワー クにおいても処理ノードの相互接続を行なう単純な方法を提供し、任意のサイズ のネットワーク乃至接続されたネットワークに拡張されうる。第３に、この発明 を用いて構成されるネットワークの性能は、その相互接続の複雑さが増すにつれ て、無理なく低下する。他方、もしネットワークが、より単純でより低い密度に 接続されうるならば、システムの性能は増加する。第４に、この発明のだめのシ ステム制御は非常に単純で、一度始動すればそのハード自身により、自動的に実 行される。二のことは複雑なシステムを容易に使用することを可能にする。第５ に、この発明は現状で利用できるかぎりの、非常に大規模の集積回路構成技術を 用いた実現に、適切なものである。第６に、１個又はそれ以上の冗長ノードの挿 入により、ネットワークの効率が８易に改良さねることを、このシステｌ、か可 能にしている。

この発明の多くの特徴及び長所は、細部にわたる詳述により明らかであり、従っ て本発明の真髄及び射程に含まれる、発明のそのような全ての特徴及び長所を、 添付請求の範囲により、包含することを意図するものである。さらにこのような 技術のスキルについて、数多くの修正及び変化が将来直ちに発生するので、発明 が図解、記述された構成及び操作に限られることは、望まない。また、それ故に 、本発明の範囲内の全ての適切な修正及びその等個物（Ｊ、本発明に含まれるも のとする。

図２ 図３ 図４ 図１０ 図１１ 図１２ 図】４ 図１５ 制御／シーケンサ 要約書 ディジーチェーン制御付ニューラルネットワーク発明の背景 開示の要約 本発明は、ネットワーク内の同じ宛先ノード２２に出力するニューラルノード２ ４．２６および２８が同しチャネル３０を共用するという、直接的なディジタル 式ネットワークンステムである。第２のノードのセットがデータを出力するノー ドには、あるノードのセットがデータを出力しない（この２つのノードセットは 、重複せず交わらない）場合には、その２つのセントのノードは独立していると 共に、一つのチャネルを共有せず別個のチャネル１２０及び１２２を有する。

そのネットワークは、並行処理非交差セグメント即ち各セグメントか、一つのセ グメント通信チャネル乃至バス３０を有する独立したセットとして構成されてい る。独立したセット又はセグメントにおける各ノードは、シーケンシャルに励起 され、ディジーチェーン制御信号により出力を生成する。出力は、それにより、 チャネル３０を通して、宛先ノード２２まで時分割多重される。冗長ノード１２ ５をネットワークに付加することにより、効率を改善することができる。各ノー ドは、各回路毎の多重ノードを用いて、集積回路１５８上で実現される。一つの セグメントの回路上で、ノードの出力部は、セグメントチャネルに接続されてい る。各ノードは、乗算器１５２を介して各人力に適用される重みを記憶するメモ リアレイ１３６を有する。多重化された入力は、積算され、しきい値比較処理を 実行するルックアップテーブル１３４に付与される。ルックアップテーブル１３ ４の出力部は、トライステートドライバ４４によりノードの独立したセットのチ ャネルとして働く共通バス上に配設される。トライステートドライバ４４は、デ ィジーチェーン制御信号により制御される。

国際調査報告 、　、ＰＣＴ／ＵＳ　９１１０９５０５、　、　ＰＣＴ／ＵＳ　９１１０９５０ ５

Claims (17)

【特許請求の範囲】
1. １．各ノードが第１の宛先に出力する第１のニューラルノードグループと、各ノ ードが第１の宛先と異なる第２の宛先に出力する第２のニューラルノードグルー プと、 前記第１のグループと第１の宛先との間に接続された第１のチャネルと、前記第 ２のグループと第２の宛先との間に接続された第２のチャネルと、を備えること を特徴とするニューラルネットワーク。
2. ２．請求の範囲第１項記載のネットワークにおいて、各ノードが制御信号に応答 する出力禁止回路を有し、前記第１のグループ内の禁止回路が、各禁止回路にシ ーケンシャルに制御信号を付与するよう直列接続されたことを特徴とするネット ワーク。
3. ３．請求の範囲第２項記載のネットワークにおいて、ノードの重みを記憶する重 みメモリアレイと、前記重みメモリアレイに接続された乗算器と、前記乗算器に 接続され累算出力を生成するアキュムレータと、前記アキュムレータ及び前記出 力禁止回路に接続され、アキュムレータ出力に応答してニューラルノード関数出 力を生成する関数メモリと、を備えることを特徴とするニューラルネットワーク 。
4. ４．第１の宛先に接続され第１の出力制御信号に応答して第１の宛先への出力を 生成する第１のノードと、 第１の宛先に接続されると共に前記第１のノードに接続され、前記第１のノード が出力を生成した後第１の出力制御信号を受信する第２のノードと、を備えるこ とを特徴とするニューラルネットワーク。
5. ５．請求の範囲第４項記載のニューラルネットワークにおいて、前記第１及び第 ２のノードに接続されると共に前記第１の宛先に接続された第１のバスと、 第１の宛先と異なる第２の宛先に接続された第２のバスと、前記第２のバスに接 続され各ノードが第２の宛先に出力するノードグループと、を備えることを特徴 とするニューラルネットワーク。
6. ６．ノードの重みを記憶する重みメモリアレイと、前記重みメモリアレイに接続 された乗算器と、前記乗算器に接続され累算出力を生成するアキュムレータと、 前記アキュムレータに接続されアキュムレータ出力に応答してニューラルノード 関数出力を生成する関数メモリと、 前記関数メモリに接続されデイジーチェーン制御信号に応答して関数出力を通過 させる出力禁止回路と、 を備えることを特徴とするニューラルネットワークノード。
7. ７．（ａ）共通の出力宛先のノードを当該共通の出力宛先に接続されたチャネル に割り当てる工程と、 （ｂ）同じチャネルのノードにデイジーチェーン制御信号を与え前記ノードによ り同じチャネルを時分割的使用させる工程と、を含むことを特徴とするニューラ ルネットワーク構成制御方法。
8. ８．請求の範囲第７項記載の方法において、前記工程（ａ）が、共通のノード宛 先を有するチャネルを結合する工程を備えることを特徴とする方法。
9. ９．請求の範囲第７項記載の方法において、ネットワークがノードの層を少なく とも２つ有するとと共に、同じチャネルに割り当てれられたノードが第１及び第 ２の層内にあり、更に、前記工程（ｂ）が、デイジーチェーン制御信号を第２の 層内のノードに与える前に、第１の層内のノードに与える工程を含むことを特徴 とする方法。
10. １０．請求の範囲第７項記載の方法において、デイジーチェーン制御信号が、共 通の出力宛先に基づく入力値に係るシーケンス重みにより決定されるシーケンス で、ノードに付与されることを特徴とする方法。
11. １１．（ａ）データ宛先に応じてネットワークをセグメント化する工程と、（ｂ ）各セグメント中のノードに制御信号がシーケンシャルに与えられる場合に、各 セグメントに対応する制御信号により各セグメント内の各ノードの出力を制御す る工程と、 を備えることを特徴とするニューラルネットワーク構成制御方法。
12. １２．対応するセグメントデータ宛先に応じてセグメントに分割され、各セグメ ント内の前記ノードが集積回路上に形成されると共に、前記回路の各々に前記ノ ードの出力部を有し、各セグメント内の前記各回路の出力部は互いに接続され、 前記各セグメントの前記ノードはそれぞれ、各セグメントに対応するセグメント デイジーチェーン制御信号により制御されるニューラルノードと、各セグメント に対して１つずつ設けられ、各セグメント内の前記回路のそれぞれの共通出力部 を、対応するセグメントデータ宛先に接続する通信チャネルと、を備えることを 特徴とするニューラルネットワーク。
13. １３．ノードの出力を格納するレジスタと、前記レジスタと共通バスとの間に接 続され共通バスへの出力の転送を禁止する禁止回路と、 を備え、 共通のバスに接続された二とを特徴とするニューラルネットワーク用出力制御回 路。
14. １４．請求の範囲第１３項記載の回路において、前記禁止回路がトライステート ドライバであり、このトライステートドライバがデイジーチェーン制御信号によ り制御されることを特徴とする回路。
15. １５．入力をノードに結合させ出力を生成する手段と、出力から関数関連値を生 成するための関数メモリと、を備えることを特徴とするニューラルネットワーク ノード。
16. １６．同一のノードに出力するノードが同一のセットにあり、異なるノードに出 力するノードが異なるセットにある如く、相互に排他的なセットにセグメント化 されたノードを備えることを特徴とするニューラルネットワーク。
17. １７．請求の範囲第１５項記載のネットワークにおいて、同一セットのノードが 、デイジーチェーン制御信号で制御されることにより、シーケンシャルに出力す ることを特徴とするネットワーク。