JPH05505268A - デイジーチェーン制御付ニューラルネットワーク - Google Patents
デイジーチェーン制御付ニューラルネットワークInfo
- Publication number
- JPH05505268A JPH05505268A JP92503730A JP50373092A JPH05505268A JP H05505268 A JPH05505268 A JP H05505268A JP 92503730 A JP92503730 A JP 92503730A JP 50373092 A JP50373092 A JP 50373092A JP H05505268 A JPH05505268 A JP H05505268A
- Authority
- JP
- Japan
- Prior art keywords
- node
- nodes
- output
- network
- destination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Multi Processors (AREA)
- Small-Scale Networks (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。
Description
【発明の詳細な説明】
ディジーチェーン制御付ニューラルネットワーク発明の背景
発明の分野
本発明は、いかなるユニ一うルネゾトワー夕においても、極めて単純なセグメン
テーション、制御及び相互接続を提供しうる方法及び装置に関し、特にその相互
接続に基づきディジタルニューラルネットワークをセグメント化するシステムに
関し、各セグメントのノードに接続された時分割多重方式の通信バスと共に、そ
のセグメントに対して、ディジーチェーン式の制御信号を供給するシステムに関
する。
関連技術の説明
ユニーラルネソトワーク計算構造は、非線形問題をモデル化する上で非常に有効
である。そのような構造は、多くの分野で幅広く応用されている。しかしなから
、ニューラルネットワークの現実使用は、それらの実現か困難なために制限され
ている。ニューラルネットワークの動作をシミュレートできる汎用計算機及び専
用計算機は直ちに利用できる状況にあるが、しかしそれらは低性能のシステムに
おいてのみ、満足に機能するものである。現状の計算機技術は、高速度ニューラ
ルネットワークの機能の実現という要求に応しることができない。
ニューラルネットワーク構造を直接に構築する試みは(汎用計算機においてその
ようなネットをシミュレートすることに比べて)、2つの根本的な問題、即ちサ
イズと相互接続の問題に直面する。ニューラルネットワークは、非常に規模か大
きくまた非常に相互接続が多くなるという傾向を有している。従って、より完成
度の高いニューラルネットワークを実現するためには、ニューラルネットワーク
内の各ノードを非常に効率的に構築する方法、及びこれらノードを非常に217
:E的に接続する方法を発見しなければならない。
ニューラルネットワーク内の各ノードは、多信号入力単一信号出力の伝達関数を
有している。伝達関数は次のように表される。
ここで、添字付きパラメータXはそのノードへの人力値を表している。ある1個
のユニーラルネノトワータ内の各ノードは、同一関数を実現する必要がないが、
複数のニューラルネットワークの設計のためのアプローチとして一般的に知られ
ているひとつのアプローチは、あるネット内のどのノードでも同じ関数を実現す
る方法である。この関数は次のような形をとる。
である。その他のニューラルネットワークのノードは、次のような関数を実行す
る。
−N
F (xi) =f (−ΣX1Wi) (3)−D
さらに他のそれのノードは、式(3)の右辺を、処理の結果を出力するかどうか
を決定するためのしきい値と比較する。
ニューラルネットワーク2は、しばしば図]のように表される。谷内はひとつの
ノードを表し、矢印はあるノードから他のノードへの入力及び出力の流れを示す
。入力ノードはいかなる数理演算も実施せず、単にデータの流れを示す役割を果
たしている。
もっとも一般的なニューラルネットワーク4の相互接続体系は、図2に示されて
るようなものである。このアプローチにおいては、ネットは3つの層、即ち入力
層6、人力層からデータを受信する第2の層8(通常、隠れ層と呼ばれる)、及
び隠れ層8、よりデータを受信(5出力値を生成する出力層10からなる。この
アプローチは、伝統的には、呼れ層8のいずれのノードもすべての入力ノードか
らデータを受信すること、及びいずれの出力ノードもすべての隠れノードからデ
ー夕を受信することを要求する。各ノードは、同一の関数を実施している。この
伝統的なアプローチにおいては、相互接続の数が層の各逐次的ペアの積の和とな
ることが容易にわかる。もし、各層が1.000のノードを持っていれば、20
0万の相互接続が存在することになる。
すべてのニューラルネットワークが図2の形をとるのではないということを留意
することは重要である。ある種のネットワークは、さらにより包括的であって、
任意のセットの相互接続を任意のセットのノード間にも設けることを可能にし、
また任意のノードに対して任意の関数を持つことを可能にするものである。図3
は、同様構成のノードが完全に相互接続されているネットワーク14(ホブフィ
ールドネット)を示しており、図4は7つの任意の伝達関数を有し任意に接続さ
れたネットワーク16を示している。
上記の議論から、コンピュータ上にシミュレートされたニューラルネットワーク
が、ニューラルネットワークシミュレーションのために特に設計されたコンピュ
ータにおいてさえ、何故それほど多量の演算能力を要するかを容易に理解できる
。また、物理的に大規模のネットワークを実現する仕事が非常に困難であると
・いうことも明らかである。
直接的に実現されるニューラルネットワークは、物理プロセッサノードがニュー
ラルネットワーク内の各ノードを実現し、従って物理プロセッサが各ノードに存
在するものである。相互接続の問題は、ニューラルネットワークの直接的実施が
構築される場合には必ず、扱われねばならない問題である。そのようなネットを
直接的に実現する場合には、本発明が克服ないし巧みに回避している4つの問題
に直面する。
最初の問題は、単純に相互接続のそれである。現状では、技術者たちはこの問題
に対して、例えば各ノードが他の10のノードからのみデータを受信し得るよう
に、ネットの相互接続を減少させることで対応している。これは、図2に示され
た古典的なものを含む多くのネットワークを溝築不可能にする。
第2の問題は、柔軟性(フレキシビリティ)のそれである。ニューラルネットワ
ークは構造内で非常に頻繁に又は大きく変化するため、また特定の問題を解決す
るために必要とされるネットの構造が一般的には最初からは知ることができない
(それがネットが「学習」しなければならない理由である)ために、いかなるハ
ードウェア実現も、ネット構造において可変性を偏えることが重要である。
第3の問題は、構造のそれである。ニューラルネットワークが巨大なサイズにな
るため、いかなる構造であっても非常に単純かつ規則正しい形でつくられること
がまた非常に重要である。今日の実現手法のほとんどは、ネットがわずかに変化
した場合には、計算環が放棄されねばならず(もしノードが集積回路上に設けら
れている場合には)、又は構造的な変化に適応するため物理的に大規模に配線し
直されねばならない。
第4の問題は、資源の効率的な利用のそれである。式(2)及び(3)は、積の
和をそのノード関数の一部として示している。アナログ実現においては、適切な
回路素子により多入力を同時に合計することができる。ディジタルロジックでは
、一般的には多入力を同時に合計するようには設計できず、そしてもしそのよう
なことを試みた場合には、高価でかつ融通性のないものとなろう。ディジタル実
現が同時入力処理を行わないため、同時に入力を与えることは不適切となる。
従って、図1の直接実現手法は、ディジタルシステムにとっては適切でない。
発明の概要
本発明の目的は、ユニ一うルネノトワークのハードウェア実現の融通性を増加さ
せることである。
本発明の他の目的は、ニューラルネットワークにおいて要求されるいかなる相互
接続をも具備することである。
さらに本発明の他の目的は、並列処理を最適化するためのニューラルネットワー
クを構成する方法を提供することである。
本発明のさらなる目的は、ニューラルネットワーク全般に、単純で規則だった回
路構造を可能にすることである。
本発明の目的は、いかなるニューラルネットワークを実現するためにも必要とさ
れる物理的な接続の数を減少させることである。
本発明のさらに別の目的は、ネットワーク内の計算資源を、効率的に利用するこ
とである。
さらにまた本発明の別の目的は、先にふれた柔軟性と効率性を可能にする、多重
ノードの集積回路アーキテクチャを供給することである。
さらに本発明の別の目的は、実行、出力及びネットワーク内のデータ経路を、単
純で実現しやすい方法で制御することである。
上記の目的は、ネットワーク内の同じ宛先ノードに出力するニューラルノードが
同じチャネルを共用すると考えられるシステムにより達成することができる。
第2のセットのノードがデータを出力するノードのいずれに対しても、あるセッ
トのノードがいかなるデータも出力しないならば、これらのセットは独立てあり
ひとつのチャネルを共用していない。これにより、ネットワークは、複数の独立
セットにセグメント化される。ひとつの独立セット中の各ノードは逐次的に起動
され、ディジーチェーン制御信号により出力を行う。この出力は、従って、宛先
ノードへのチャネルに時分割多重される。各ノードのセットは集積回路上に実現
され、その出力はセグメントチャネルに接続される。各ノードはメモリアレイを
含み、メモリアレイは、乗算器を介して各入力に乗ぜられる重みを記憶する。お
揉みづけられた入力は集計され、しきい値比較又は伝達関数演算のためルックア
ップテーブルに与えられる。ルックアップテーブルの出力は、ノードの独立セン
トへのチャネルとして機能するコモンバス上に、ディジーチェーン制御信号によ
り制御されるトライステートドライバにより送出される。
これらの目的は、他の目的及び後に明らかとなる利点と共に、この文書の一部を
なす添付図面を参照しつつ、以下にさらに詳しく説明され請求される構成及び作
用の詳細から明らかである。なお、同一符号は同一の部分を示す。
図面の簡単な説明
図1は従来のニューラルネットワークを示す。
図2は古典的な3層ニューラルネットワークを示す。
図3は完全接続されたネットワークを示す。
図4は任意接続されたネットワークを示す。
図5は本発明が適用されるネットワークを示す。
図6は本発明を含む図5のネットワークを示す。
図7は本発明の出力回路である。
図8乃至図12は本発明を含む別のネットワークを示す。
図13は冗長ノードを付加することで改良されたネットワークを示す。
囚14はノードの構成要素を示す。
図15は集積回路の素子を示す。
図16乃至図18は集積回路の代替結合構成を示す。
そして図19は複数の多重集積回路により実現されるネットワークを示す。
好ましい実施例の説明
本発明は、任意接続されたニューラルネットワーク用の装置及び方法に関する。
このニューラルネットワークは、好ましくはディジタル的に直接実現される。ネ
ットワーク内の各ノードの出力はチャネルに接続される。ある共通のノードにデ
ータを出力するノードは全である一つのチャネルを共有しなければならない。第
2の出力ノードセットがデータを出力するノードにあるノードセットがデータを
出力しない場合には、この2つのノードセットは独立でありチャネルを共有して
いない。各独立ノードセントを使用する際には、別個のチャネルが使用される。
あるセット中の各ノードは、出力制御信号線により接続される。ノードからの出
力は、出力制御信号がアクティブになるまでは禁止状、I!!とされる。出力制
御信号は、あるノードから次のノードへというように、同一の独立セット内でデ
ィジーチェーン式に直列的に供給される。あるノードの出力がアクティブになる
と、この信号は次のノードに伝播する。これは、各独立ノードセットを並行して
動作させると共に、ネットワーク内の他のノードから干渉を受けることなく、各
ノードのデータを共通チャネル上に自動的に多重させることを可能にする。
本発明をより広く捉えると、ノードは、入力機構と、処理機構と、出力機構の3
つの部分からなると考えることができる。データは入力機構により読み込まれ、
処理された後出力機構により書き出される。
先に述べたように、ネットワーク内のノードは、1組の通信チャネルを介して接
続される。各チャネルは、単一ノードセットの出力とのみ関連している。一群の
ノードセットは相互に排他的であり、あるセットに見られるノード出力は他のセ
ットには見られない。どのノードもいずれかのセットに属していなければならな
い。各セットは、ネットワークの相互接続により確定される。同一のノードにデ
ータを出力する2個のノードは、いずれも同一のセット内にある。更に、あるセ
ット内の各ノードは、同一セット内の別のノードに、出力ディジーチェーン制御
信号を介して接続される。この信号は、ひとつのノードから次のノードに伝播し
、各ノードから対応するチャネルへのデータ出力が可能になる順序を制御する。
各チャネルは、独立して且つ他の全てのチャネルと並行して動作する。
通信チャネルは、ここで説明した入力及び出力機構と同様に、データンリアルで
ある。個々の単一のデータは順次シリアルに読み書きされる。このように、デー
タが読み書きされるチャネルは、時分割多重方式となっている。チャネルそれ自
体は1又は2以上のビット幅としても構わず、この場合単一のデータを1又は2
以上のパケットで転送し得る。
図5に示すような2層5ノードの簡単なネットワーク20を考える。ここには、
ノード24.26及び28からノード22に向かうデータの流れを表した矢印が
3本ある。ノード24.26及び28は全てノード22にデータを出力するので
、−それらは破線で示す同一の通信チャネル30を共有する。図6は、ノード2
4.26及び28により共有される実際の通信チャネル30又はバスを示してい
る。
ノード24.26及び28より出力されたデータは、通信チャネルにンーケンン
ヤルに書き込まれる。各ノードか出力を行う順序は、伝播される出力制御信号に
各ノードが接続される順序により決定されている。図6においては、各ノードは
24.26及び28の順序で接続されており、この順序で、通信チャネル30上
に各ノードがそのデータを出力する。実際の順序は、データを入力する各ノード
が転送されたデータを:/リアル処理乃至格納する能力を有する限り、重要でな
い。
図7は、このンーケンンヤル出力のための出力制御回路40を示す。いずれのノ
ードも、記憶レジスタ44の内容を出力する出力部としてトライステートトライ
バ42を有している。制御信号(禁止)は、ひとつのノードから別のノードに、
シリアルに、すなわちディジーチェーン式に接続されている。システムコントロ
ーラがシーケンスに従って最初のノードに信号を送ると、第一のノードはそのデ
ータを出力し、フリップフロップレジスタ(FF)46による1クロンク遅延の
後、第2のノードに信号が送られる。クロック遅延は、稼働中のノードがそのデ
ータ値を出力し得る程度に大きなものでなければならない。このディジーチェー
ン信号はチェーンに沿ってチェーンの最後まで進み、全データをひとつの層から
次の層に転送させる。
データ読込み側の全ノードは、必要であるか否かに拘らず、セ・ント内の全ての
ノードの出力データにアクセスする。図5及び6のノード32もまたチャネル3
0に接続されており、ノード22と同時にデータを読み込み、ノード24及び2
6からのデータを使用する。ノード32はノード28からのデータを必要とはし
ないが、ノード22がそのデータを必要としており人力部が共通に接続されてい
るため、データはノード32の入力上に現れる。ノード28は同しチャネル30
で接続されているため、ノード24及びノード26と同じセット内にあると定義
される。ノード32におけるエラーを避けるために、ノード32の処理機構は、
ノード28より生成されたデータを無税することかできなければならない。式(
2)をノード伝達オペレーションとして使用した場合には、このため、その人力
に対応する重みWとしてゼロを設定する。
図5及び6において、ノード22及び32の出力は独立していると考えられる。
換言すれば、被制御装置等の出力gL置へのノード22の出力経路は、ノード3
2の出力装置への出力経路から独立で分離している。すなわち、本発明の制御体
系のもとては、ノード22とノード32は独立したセット内にある。その結果、
ノード22及び32は、独立して、並行な、そして非連鎖の出力制御信号を受信
する。もし、ノード22及び32の出力が、共通出力チャネル又はバスに接続さ
れており従って同一の宛先に出力されるとすれば、本発明の構成体系のもとでは
、ノード22及び32による出力は、図6に破線で示されているように、ディジ
ーチェーン式に接続される二とになる。
さらに複雑なネットワーク50が、図8に示されている。このネットワーク50
の第3の層52は、第1の層56に直接接続されている。物理接続を図9に示す
。このように、このネットワークは図5に示したネットワークに類のし7ている
。
層52か層54及び層56の双方からデータを受信するため、層54及び層56
の出力部てが接続されている。最初にノード60がデータを出力し、ノード60
に続いて、62.64.66.68.70及び72が、順にデータを出力する。
ノード68.70及び72は、データを送信しないノードの出力について0重み
を使用すると共に、それ自体の出力に係る重みをOとしなければならない。例え
ばノード72は、ノード60.62.68.70及び72からの出力に、Oで重
みを付けることをZ・要とする。同様に、ノード74は、ノード62.64.6
6.70及び72の出力にOで重みを付けなければならない。ノード76は、ノ
ード60.62.64及び66の出力にOで重みを付けなければならない。図5
の出力ノードか独立出力することと比較した場合、宛先を共有する出力ツードア
4及び76は、従って同一独立セット内にありディジーチェーン制御信号により
制御されるということに留意されたい。
本発明に係るネットワークを実現した場合、このネットワークのデータ処理速度
は、データ転送に要する基本速度とノード間の相互接続に依存する。相互接続は
、各チャネル上に時分割多重化すべきデータ量を決定する。相互接続の程度か増
加するほど、ひとつのチャネルに沿って伝送すべきデータの量が増加し、ネット
ワークのデータ処理速度が遅くなる。ネットワーク全体を独立した各セットに分
割し得るならば、データは各チャネルに沿って同時に転送可能になる。これによ
り、各チャネル上を移動するデータの全体量及びその移動に要する時間が減少し
、全体のデータ転送速度か増加する。
図10は、このように分割し得るネットワーク90の一例である。図11は、ネ
ットワーク90の単純な接続を示す。この構成において、ノード100及び10
2は、受信はするか使用l−ない入力、すなわちノード96と98又は92と9
4からの入力を無視しなければならない。ノード100及び102は人力を共有
しないため、ネットワークは、図12に示すように2個の独立部分に分割できる
。
4個の値の代わりに2個の値を通過させるために要する時間は、半分となること
は明らかである。なお、各出力ドライバへの初期制御信号は、図11の場合では
ノード92にだけ信号を送信すればよいが、この第2の場合においてはノード9
2及び96の双方に送信されねばならない。このようなパイプラインシステムに
おいては、処理速度のもっとも遅いセクションの処理速度でのみ、機械全体か処
理を行うことができるということを理解しておくことか重要である。図11は、
2つの独立した出力相互接続ネット又はサイズ2の(すなわちノード104及び
106並びにノード100及び102を有する)でグメントと、サイズ4の(す
なわちノード92.94.96及び98を有する)セグメントのひとつを有(、
ている。サイズ4のネットの全てのデータにクロックを与える時間を付与するた
め、その他のセグメントは待機していなければならない。この場合でも、その他
のノードに0の重みを付けることにより、この要求を十分満足させることができ
る。
図11のネットワークを図12のネットワークに再構成することは、サイズ2の
4個のセグメントにセグメント化する結果となり、それにより、ロスサイクルを
除去している。
上述した例では、ノードベア92及び94がノードベア96及び98と並行して
処理を行うため、図12の方が図11より効果的であるが、より効率的な・<−
ジョンのネットワークを作成するプロセスを以下、説明する。最初に、各ノード
は、その宛先ノードによりセットにグループ分は乃至セグメント化される。共通
の要素を有するセット(交わるセット)は、1つの層内で共通セグメントと結合
される。独立した層内のセットが共通のノードを有するならば、その層のセ・ノ
ドは結合される。あるセット内の各ノードは各セントの通信チャネルに接続され
ており、チャネルはセット又はセグメントの要素からの出力を受信する各ノード
に接続されている。チャネル割り当てプロセスの別の見方は、重複し或いは共通
の要素か結合されている1個のチャネル乃至複数のチャネルに、各セットが割り
当てられているということである。制御信号が任意の順序でセントの各要素にシ
ーケンシャルに与えられるが、信号シーケンスの順序は宛先ノードに記憶されて
し\る重みの順序に一致していなl−1ればならない。この要求を満たすひとつ
の順序は、ディジ・−チェーン制御信号が最下位の層から最上位の層の順で作用
させるものである。これにより、ネットワークの各ノードは、それが依存してい
る全てのノードが出力を生成し終えるまで、出力を生成することができなくなる
。図10のノード104及び106のような出力ノードは、全ての下位ノードカ
咄力を生成し終えるまで待たなければならないため、このようなパイプラインシ
ステムは、全ての先行するノードが有効な出力を生成し終えてからのみ、有効な
データを出力することになる。
図10のネットワークについては、処理は以下のように行われる。最初にセ・ソ
ト(92,94)、(96,98)、(100,102)及び(100,102
)が生成される。共通要素を有するセットは、結合されてセット(92,94)
、(96,98)及び(100,102)を生成する。ノード92及び94は、
共通通信チャネル120(図12を参照)に接続されており、ノード96及び9
8は共通通信チャネル122に接続されており、またノード100及び102は
共通通信チャネル124に接続されている。チャネル120は、ノード92及び
94より出力を受信する全てのノード即ちノード100に接続されており、同様
のことが、チャネル122、及びノード104及び106の双方に接続されてい
るチャネル124にも当てはまる。次に、各独立セットが、シーケンシャルに与
えられ図12のネットワークを生成する出力制御信号により駆動される。
同様のプロセスを図8に適用して図9を生成すると、最初に第1の層セ・ント(
60,62,64)、(62,64)、(64,66)、第2の層セ・ント(6
0,68)及び(68,70,72)、そして第3の層セ・ソト(74,76)
が得られる。共通要素を有する層セントは結合され、第1の層セット(60,6
2、′64.66)、第2の層セット(60,68,70,72)、そして第3
の層セット(74,76)が生成される。いくつかの層力哄通要素を有するセ・
ノドを有するため、これらのセットは結合され、セット(60,62,64,6
6,68,70,72)及びセット(74,76)が生成される。この場合、各
々・ントは、当該セットに対して全ての送信側ノードを全ての宛先ノードに接続
するチャネル78及び80を僅えている。各セットには、最初に最下位の層にあ
る各ノードに転送された後火の最上位層等にある各ノードに転送される独立制御
信号が与えられ、図9に図示されているような構成を生成する。
ニューラルネットワーク設計へのセグメンテーションアプローチのひとつの有利
な特徴は、ネットワークに、はんの少しの冗長ノードを付加することで、ある場
合には、ユーザが処理速度を速め、結合を減少させることができる点にある。
冗長ノード125を図8のノード60及び74の間に付加した場合には、図9の
ネットワークよりもむしろ図13のネットワークが得られる。これにより、3つ
のセグメント、即ちノード60.62.64.66、ノード125.68.70
.72、そしてノード74.76を有し、3つの通信チャネル126.127.
128を有する一層効率的なネットワークを形成することができる。最大のセグ
メントは7つのノードの代わりに4つのノードを有しており、従って、一つのノ
ード及び一つの通信チャネルを付加するだけで、ネットワークの速度を改善する
ことができる。
この点について、以上の説明は、あるノードから他のノードへ処理されたデータ
を転送しネットワークによりデータ処理を実現することに焦点を当ててきた。
このノード制御型通信方法は、また、ニューラルネ・ノドワークの学習段階処理
もサポートする。しかしながら、制御においてひとつの重要な違0力(存在する
。データをネットワークの上方に転送する場合には、図12に示されるよう(こ
、単一の値を複数のノードに出力することができる。学習の際に(よ、同じ値を
受信する多重ノードの各々が異なる学習値を渡し戻さなければならな(1ケース
カ< L IiL R生じる。従って、さらにより多くのデータが包含されるこ
と1こなる。各ノード(よ学習ベクトルを受信することができる。ベクトルの各
要素は、各ノード力1ら、それが最初に値を渡した各ノードに戻される。出力制
御信号は、この状況を実現するために直ちに利用される。上位ノードは、それよ
り下位のノードの各々ζこ値を渡さなければならない。従って、制御信号は、い
ずれのノード力(データを受信すべきかを指示しているノードの各々にそって伝
播されること力くできる。セット内のいずれのノードもその適切なデータを受信
したのち、信号−1最初力・ら始動をし直す。同時に、上位ノードの制御信号は
次のノードに渡される。このよう1こ、下位の信号がそのセット全体にわたって
伝播される度毎に、上位の信号力(あるノードに伝播される。
ディジタルニューラルネットワークには、できうるかぎりの柔軟性を付与しなけ
ればならない。特に、どのようなシステムも、異なるネ・ノドワークのサイズ及
び構成に適合すること力呵能でなければならない。関数変形1こお1する付加的
な柔軟性もまた、非常に有効なものとなろう。本発明のより望まし0実施例(=
、各層につき最大1024のノードを有するデイジタルフイードフオワードネ・
ノドワーク、特に光学文字読取り装置におけるイメージ認識のため1こ設計され
、各ノードに対して1024の入力を有するデイジタルフイードフオワードネ・
ノドワークの実現を指向している。しかしながら、非ディジタルのノードを含む
他のサイズのネットワークも実現されうる。上記望ましい実施例は、ネットワー
クの学習を目か、重みにより指定された相互接続性が安定するよう終了するもの
である。しかしながら、単一のネットワーク構造により複数のニューラルネット
ワークを実現することも可能である。もし異なる態様で接続された2個のネット
ワークを分解でき同じネットワーク構造にセグメント化できるならば、両ネット
ワークは同しセグメント化されたネットワーク構造において実現できることにな
る。この状況における重みは、各ニューラルネットワークのセグメント内部のノ
ードの相互接続の間を差別化するために用いられることになろう。
各ノード130においては、図14に図解されているように、経済性及び精密性
という理由から、8ビツト整数演算回路が、積和計算のための26ビノトアキユ
ムレータ132と共に使用されている。関数変形は、256バイトのルックアッ
プテーブルRAMメモリ134により行なわれ、それにより異なる関数を使用可
能になる。これが、式(2)乃至(3)の形をとらないいかなる関数も、あらか
じめ排除しているということに留意されたい。そのネットワークは、本質的に、
同一要素のパイプライン接続された同期セットである。ニューラルネットワーク
の各ノードは、対応する物理ノード130を有している。仮想ノードは存在しな
い。バイブライン構造であるため、各層内の各ノード内部のパイプラインが、ま
た層間の各ノード内部のバイブラインがフルになるまで、システムは無効なデー
タを出力することになる。要求されるサイクル数は、当業者を有する人間であれ
ば、各層内の最大幅のセット及びネットワークの最深部分の層の数から計算でき
る。しカルながら、一旦バイブラインが完全になると、最大幅のセグメント乃至
セットの各サイクルに、有効な出力が生成される。
1にバイトのメモリアレイ136は、図14に図解されているように、1024
個の8ビット重みを保持する。8ビツト演算は、現状の集積回路技術において1
024ノードシステムの実現に適当であり、適当な精密さを実現することから、
選択されている。異なるサイズのネットワーク乃至異なる精密さが要求されてい
る場合、又は設計者がより多くの回路をより小さな領域に詰め込むことを可能に
する技術が得られるならば、異なるビ・ソト幅の演算が適切となり得よう。レジ
スタ138.140.142.144.146.148及び44はデータを1ク
ロツク遅延させる。下位の4つのレジスタ138.140,142及び1441
4、好ましくは各々8ビットである。好ましくは、乗算器152に続くレジスタ
146は16ビツトであり、アキュムレータ1321こ続くレジスタ148ft
26ビ・ントであり、モしてLUT (ルックアップテーブル)134に続くレ
ジスタ44(よ8ビットである。データは矢印の方向に移動する。8ビ・ノド入
力データi1、最初10ビツトアドレス値と共に、入力に現れる。これら2つの
値ζは、最下位レジスタ138及び140により第1クロ・ツクサイクルでクロ
・ツクされる。アドレスデータは、このとき、メモリアレイ136からの8ビッ
ト重み出力を第2レジスタ142に格納させる。同時に、入力データは、対応す
るレジスタ1441こ移動する。システム全体がパイプライン接続されているた
め、新しいデータ及び入力アドレスは、この時点て第2レジスタ142及び14
0に現れる。重み及び入力データは、8ビツトマルチプライヤ152において乗
算され、得られる16ビ・ノドは続くレジスタ146に格納される。26ビ・ノ
ドアキュムレータ132(よ、内蔵するレジスタの内容とマルチプライヤの結果
に加算し和を内蔵するレジスタ(こ:記憶する。全ての入力データがクロックさ
れるまで、データは、この方法でアキュムレータ132に与えられ続ける。アキ
ュムレータ132は、それ力・ら、左シフトにより上位8ビツトをレジスタ14
8に与える。これは、ネットワーク内の異なるポイントで生成されるさまざまな
振幅値に適合させるために必要である。アキュムレータ148の上位8ビツトは
、それから、ル・ツクアップテーブルメモ1](LUT)134に与えられる。
このテーブル134は、ロードされるデータ1こ依存しつつ、任意の関数変形を
実行する。典型的には、この変形は、シグモイド関数を実現する。テーブル13
4の8ビツト出力は、最終レジスタ441こ記憶され、禁止信号が解除されたと
きに出力される。
明らかに、システム要求を12ビツト演算に変化させると、メモ1ノ、アキュム
レータ等がさらに大きくなる。同様に、ビット精度を4ビツト1こ減少させれ1
fノードサイズがかなり小さくなる。アキュムレータ132乃至マルチプライヤ
152におけるデータ丸めは、また、ノードサイズを小さくし性能1こ関する効
果を低減させるだろう。全てのレジスタを所定の状態にリセットするため1こ消
去信号線(図示せず)が装備されており、そして、レジスタにデータをラッチす
るためにタロツク信号線(示されていない)も装備されている。データはメモリ
・アレイ134及び136に、まさに処理が行なわれているときに、アドレス及
びデータを入力ラインにラッチすることにより、ロードされる。アドレスは、通
常、重みアレイ136に与えられるが、ロード操作を行なうときは、LUT34
にも与えられねばならない。これは、レジスタ138及び148から入力が行な
われるアドレスマルチプレクサ150により達成される。LUT134は、第1
のモードにおいてはそのアドレスをアキュムレータレジスタ14gの出力から、
第2のモードにおいては入力アドレスレジスタ138から、受信することになる
。データをメモリ134及び136にローディングしている間、データは、ロー
ド/ラン信号による制御のもと、トライステート152及び154の出力端に現
れる。ロード状態においては、ドライバ152及び154がターンオンし、メモ
リ134及び136上のデータビンを、レジスタ140からの入力データ値に駆
動する。
ラン状態においては、ドライバ152及び154はオフされ、データが通常に出
力される。常に、メモリ134及び136が独立して走るので、それらは永続的
に選択されアクティブな状態にある。メモリへのロード制御は、対応するR/W
信号により実行する。
また、できるだけ多くのノードが各集積回路に配置されていることが望ましい。
しかしなから、実際には今日の集積回路技術の限界から、いくつかの、望ましく
は8個のノード130が図15に図示されるように1個のVLS1回路158に
配置されることか望ましい。その原、高密度化のためCMOS等の技術を用いる
。
データ及び重みのアドレスを提供するノード間又は回路間の接続乃至チャネルは
、従来から知られているデータバスを使用して従来から知られているストレイト
フォワード方式により実現される。クリア、クロック、ロード/ラン及びアドレ
ス(低位10ビツト)は、各ノード130に共通に渡される。R/W信号は、メ
モリ134乃至136のロード制御のためのデコーダ162から与えられる上位
高アドレスビットのデコード結果と、ANDゲート160により、論理積をとら
れる。VLS1回路158内の各メモリブロックは、それ自身のためアドレス指
定を必要とする。ロードモードにおいては、アドレス指定されるメモリ・ブロッ
クのみがアクセス可能状聾となり、ランモードにおいては、各ブロックはいずわ
のブロックもアクセス可能となる。各回路もまた、それ自身のアドレスを有して
いる。10ビツトの重みのアドレスをカウンタ164によって内部的に生成する
ことや、これを各回路158に供給することはいずれも可能である。この内部生
成は、入力ビン数を減少させ次々に渡されるデータ量を減少させるが、しかし、
制御の柔軟性をも減少させる。もし内部生成を用いた場合、カウンタ164は、
各データローディング操作の最初にクリアされるか、ラン操作を他の全てのレジ
スタにより実行させるかしなければならない。
複数のノード回路158には、さらにもうひとつの問題が残っている。各ノード
入力においてデータが多重化されまた各ノードにアドレスか渡されるために、回
路のビンカウントが非常に低い。前述のネットワーク構成を参照すると、非常に
しばしば、データ入力及び出力が図16に図示されるように単純に一緒に接続さ
れた状態になることが明らかである。複数ノード回路におけるノードの人力及び
出力は、また、図17に示されるように、回路158に接続される。このことも
また、ピンカウントを減少させ、それにより多くのビンが河川になり、また先に
議論されたネットワークのセグメンテーションが得られるようノードがグループ
に配列される。もし、全てのノードか共通の入力及び出力を共有するならば、そ
れらか適切な位置に接続されないことでノードか無駄になることもあり得る。
ノードを別個のグループに分割することで、回路158上の付加的な入力、出力
及び禁止ピンに係る無駄なノードを減少させることができる。入力及び出力ライ
ンもまた、異なったやり方で共用されうるし、他の構成もまた容易に装備される
。
グルービングアプローチの拡張は、パッケージ内に十分なビンが装備されている
場合に用いられるべき図18の回路という結果を生む。図16に示されているよ
うに各回路中のゲートの出力が全て一緒に結8されているか、又は全てが分離し
ているかにかかわらず、セグメント内の全てのノードの出力は共通のチャネルに
全て一緒に結合されていなければならない。例えば、もしセグメントが6個のノ
ード及び8個のノードを有する回路を有していて、図16にあるように使用され
るならば、回路の出力はセグメントチャネルに接続され、そして回路の2個のノ
ードは無駄になる。しかしなから、セグメントか12のノードを有していて図工
6の回路か使用されるならば、両回路の出力か同しチャネルに接続されねばなら
ず、それらの回路はシーケン7ャルにディジーチェーン信号を受信L、4個のノ
ードが無駄になる。後者の状況において、図17に示されるように4個のノード
のセントか共通に出力を有する実現手法は、より効率的なものとなり得よう。従
って、効率性という目的からすると、各々が8つのノードを有し異なるタイプの
4個の回路を存することか、適切である。即ち、1番目の回路は全てのノードか
共通の入力及び出力に接合されている回路、2@目の回路は4ノードのグループ
を資し、3番目の回路は2ノートのグループを存し、そして4番目の回路は全て
のノードが分離された出力をもつ構成である。しかしながら、大】生産にともな
う懸念から、どのタイプの回路を製造するかの選択は、その回路において得られ
るビンの数に依る。
図19はシステムのより高いレベルの構成を示している。回路158が必要とさ
れるネットワークを実現するよう接続されている場合には、シーケンサ170の
タスクは、単純に、禁止信号の制御、またもし存在する場合には、アドレスカウ
ンタ164を最も幅の広い層のサイクルの終了時にリセットするだけのものとな
る。このシステムは、並行に走る各ノードによりそれ自身を走らせる二とかでき
る。適切な値をロードするためには、シーケンサ170及びホストコンピュータ
172が、適切なアドレス及びデータ値を生成し、ネットワークのアクション、
つまり技術的役割に係るタスクを制御(7なければならない。このネットワーク
実施例は、1層につき64のノードを有する3層ネットワーク(入力バードウェ
アを第1層として数える)を仮定し、間の相互接続を完了させる。入力はいくつ
かの付加的なハードウェアにより多重化されていなければならず、ネットワーク
クロックに同期していなければならない。シーケ;・す/制御回路170は、ア
ドレスを生成し、両方の層の禁止信号のタイミングをとることによりシステム全
体を駆動する。二のネットワークにおいて、(それらか接続されているために)
出力はシーケン7ャルに得られることになり、各独立チップの出力が河川となる
。適切なテストポイントもまた備える必要かある。例えば、種々のレジスタがそ
の出力を多重化させ、テスト中に試験のために回路をオフにするようにしなけれ
ばならない。テスト入力を注意深く選択することにより、各ノードを完全にテス
トすることも可能である。LUT134かランプ関数を含み、人力乃至重みのい
ずれかが1にセントされているならば、パイプライン中のいかなるポイントも直
ちに出力に接続される。このアプローチは容易に、全ての論理の正確さを証明す
ることができる。
本発明は、以前の技術に勝るいくつかの長所を有する。第1に、その相互接続や
構成に関わりなく、本発明はいかなるニューラルネットワークをも実現すること
かできる。第2に、その発明はその集積度の高さに関わりなく、どのネットワー
クにおいても処理ノードの相互接続を行なう単純な方法を提供し、任意のサイズ
のネットワーク乃至接続されたネットワークに拡張されうる。第3に、この発明
を用いて構成されるネットワークの性能は、その相互接続の複雑さが増すにつれ
て、無理なく低下する。他方、もしネットワークが、より単純でより低い密度に
接続されうるならば、システムの性能は増加する。第4に、この発明のだめのシ
ステム制御は非常に単純で、一度始動すればそのハード自身により、自動的に実
行される。二のことは複雑なシステムを容易に使用することを可能にする。第5
に、この発明は現状で利用できるかぎりの、非常に大規模の集積回路構成技術を
用いた実現に、適切なものである。第6に、1個又はそれ以上の冗長ノードの挿
入により、ネットワークの効率が8易に改良さねることを、このシステl、か可
能にしている。
この発明の多くの特徴及び長所は、細部にわたる詳述により明らかであり、従っ
て本発明の真髄及び射程に含まれる、発明のそのような全ての特徴及び長所を、
添付請求の範囲により、包含することを意図するものである。さらにこのような
技術のスキルについて、数多くの修正及び変化が将来直ちに発生するので、発明
が図解、記述された構成及び操作に限られることは、望まない。また、それ故に
、本発明の範囲内の全ての適切な修正及びその等個物(J、本発明に含まれるも
のとする。
図2
図3
図4
図10
図11
図12
図】4
図15
制御/シーケンサ
要約書
ディジーチェーン制御付ニューラルネットワーク発明の背景
開示の要約
本発明は、ネットワーク内の同じ宛先ノード22に出力するニューラルノード2
4.26および28が同しチャネル30を共用するという、直接的なディジタル
式ネットワークンステムである。第2のノードのセットがデータを出力するノー
ドには、あるノードのセットがデータを出力しない(この2つのノードセットは
、重複せず交わらない)場合には、その2つのセントのノードは独立していると
共に、一つのチャネルを共有せず別個のチャネル120及び122を有する。
そのネットワークは、並行処理非交差セグメント即ち各セグメントか、一つのセ
グメント通信チャネル乃至バス30を有する独立したセットとして構成されてい
る。独立したセット又はセグメントにおける各ノードは、シーケンシャルに励起
され、ディジーチェーン制御信号により出力を生成する。出力は、それにより、
チャネル30を通して、宛先ノード22まで時分割多重される。冗長ノード12
5をネットワークに付加することにより、効率を改善することができる。各ノー
ドは、各回路毎の多重ノードを用いて、集積回路158上で実現される。一つの
セグメントの回路上で、ノードの出力部は、セグメントチャネルに接続されてい
る。各ノードは、乗算器152を介して各人力に適用される重みを記憶するメモ
リアレイ136を有する。多重化された入力は、積算され、しきい値比較処理を
実行するルックアップテーブル134に付与される。ルックアップテーブル13
4の出力部は、トライステートドライバ44によりノードの独立したセットのチ
ャネルとして働く共通バス上に配設される。トライステートドライバ44は、デ
ィジーチェーン制御信号により制御される。
国際調査報告
、 、PCT/US 91109505、 、 PCT/US 9110950
5
Claims (17)
- 1.各ノードが第1の宛先に出力する第1のニューラルノードグループと、各ノ ードが第1の宛先と異なる第2の宛先に出力する第2のニューラルノードグルー プと、 前記第1のグループと第1の宛先との間に接続された第1のチャネルと、前記第 2のグループと第2の宛先との間に接続された第2のチャネルと、を備えること を特徴とするニューラルネットワーク。
- 2.請求の範囲第1項記載のネットワークにおいて、各ノードが制御信号に応答 する出力禁止回路を有し、前記第1のグループ内の禁止回路が、各禁止回路にシ ーケンシャルに制御信号を付与するよう直列接続されたことを特徴とするネット ワーク。
- 3.請求の範囲第2項記載のネットワークにおいて、ノードの重みを記憶する重 みメモリアレイと、前記重みメモリアレイに接続された乗算器と、前記乗算器に 接続され累算出力を生成するアキュムレータと、前記アキュムレータ及び前記出 力禁止回路に接続され、アキュムレータ出力に応答してニューラルノード関数出 力を生成する関数メモリと、を備えることを特徴とするニューラルネットワーク 。
- 4.第1の宛先に接続され第1の出力制御信号に応答して第1の宛先への出力を 生成する第1のノードと、 第1の宛先に接続されると共に前記第1のノードに接続され、前記第1のノード が出力を生成した後第1の出力制御信号を受信する第2のノードと、を備えるこ とを特徴とするニューラルネットワーク。
- 5.請求の範囲第4項記載のニューラルネットワークにおいて、前記第1及び第 2のノードに接続されると共に前記第1の宛先に接続された第1のバスと、 第1の宛先と異なる第2の宛先に接続された第2のバスと、前記第2のバスに接 続され各ノードが第2の宛先に出力するノードグループと、を備えることを特徴 とするニューラルネットワーク。
- 6.ノードの重みを記憶する重みメモリアレイと、前記重みメモリアレイに接続 された乗算器と、前記乗算器に接続され累算出力を生成するアキュムレータと、 前記アキュムレータに接続されアキュムレータ出力に応答してニューラルノード 関数出力を生成する関数メモリと、 前記関数メモリに接続されデイジーチェーン制御信号に応答して関数出力を通過 させる出力禁止回路と、 を備えることを特徴とするニューラルネットワークノード。
- 7.(a)共通の出力宛先のノードを当該共通の出力宛先に接続されたチャネル に割り当てる工程と、 (b)同じチャネルのノードにデイジーチェーン制御信号を与え前記ノードによ り同じチャネルを時分割的使用させる工程と、を含むことを特徴とするニューラ ルネットワーク構成制御方法。
- 8.請求の範囲第7項記載の方法において、前記工程(a)が、共通のノード宛 先を有するチャネルを結合する工程を備えることを特徴とする方法。
- 9.請求の範囲第7項記載の方法において、ネットワークがノードの層を少なく とも2つ有するとと共に、同じチャネルに割り当てれられたノードが第1及び第 2の層内にあり、更に、前記工程(b)が、デイジーチェーン制御信号を第2の 層内のノードに与える前に、第1の層内のノードに与える工程を含むことを特徴 とする方法。
- 10.請求の範囲第7項記載の方法において、デイジーチェーン制御信号が、共 通の出力宛先に基づく入力値に係るシーケンス重みにより決定されるシーケンス で、ノードに付与されることを特徴とする方法。
- 11.(a)データ宛先に応じてネットワークをセグメント化する工程と、(b )各セグメント中のノードに制御信号がシーケンシャルに与えられる場合に、各 セグメントに対応する制御信号により各セグメント内の各ノードの出力を制御す る工程と、 を備えることを特徴とするニューラルネットワーク構成制御方法。
- 12.対応するセグメントデータ宛先に応じてセグメントに分割され、各セグメ ント内の前記ノードが集積回路上に形成されると共に、前記回路の各々に前記ノ ードの出力部を有し、各セグメント内の前記各回路の出力部は互いに接続され、 前記各セグメントの前記ノードはそれぞれ、各セグメントに対応するセグメント デイジーチェーン制御信号により制御されるニューラルノードと、各セグメント に対して1つずつ設けられ、各セグメント内の前記回路のそれぞれの共通出力部 を、対応するセグメントデータ宛先に接続する通信チャネルと、を備えることを 特徴とするニューラルネットワーク。
- 13.ノードの出力を格納するレジスタと、前記レジスタと共通バスとの間に接 続され共通バスへの出力の転送を禁止する禁止回路と、 を備え、 共通のバスに接続された二とを特徴とするニューラルネットワーク用出力制御回 路。
- 14.請求の範囲第13項記載の回路において、前記禁止回路がトライステート ドライバであり、このトライステートドライバがデイジーチェーン制御信号によ り制御されることを特徴とする回路。
- 15.入力をノードに結合させ出力を生成する手段と、出力から関数関連値を生 成するための関数メモリと、を備えることを特徴とするニューラルネットワーク ノード。
- 16.同一のノードに出力するノードが同一のセットにあり、異なるノードに出 力するノードが異なるセットにある如く、相互に排他的なセットにセグメント化 されたノードを備えることを特徴とするニューラルネットワーク。
- 17.請求の範囲第15項記載のネットワークにおいて、同一セットのノードが 、デイジーチェーン制御信号で制御されることにより、シーケンシャルに出力す ることを特徴とするネットワーク。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US632,862 | 1990-12-24 | ||
US07/632,862 US5214747A (en) | 1990-12-24 | 1990-12-24 | Segmented neural network with daisy chain control |
PCT/US1991/009505 WO1992011605A1 (en) | 1990-12-24 | 1991-12-17 | Neural network with daisy chain control |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH05505268A true JPH05505268A (ja) | 1993-08-05 |
Family
ID=24537259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP92503730A Pending JPH05505268A (ja) | 1990-12-24 | 1991-12-17 | デイジーチェーン制御付ニューラルネットワーク |
Country Status (4)
Country | Link |
---|---|
US (2) | US5214747A (ja) |
EP (1) | EP0516834A1 (ja) |
JP (1) | JPH05505268A (ja) |
WO (1) | WO1992011605A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013519140A (ja) * | 2010-02-05 | 2013-05-23 | エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ (ウ・ペ・エフ・エル) | ニューラルネットワークの組織化 |
JP2022523291A (ja) * | 2019-01-18 | 2022-04-22 | シリコン ストーリッジ テクノロージー インコーポレイテッド | 深層学習人工ニューラルネットワーク内のアナログニューラルメモリにおいてニューロン電流をニューロン電流ベースの時間パルスに変換するためのシステム |
Families Citing this family (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0506060B1 (en) * | 1991-03-28 | 2000-01-05 | Hughes Electronics Corporation | Bidirectional programmable I/O driver |
DE4227707A1 (de) * | 1992-08-21 | 1993-03-18 | Axel Dipl Ing Zimmermann | Mikroelektronische schaltung zum aufbau selbstorganisierender karten aus digitalen neuronen |
JPH06203005A (ja) * | 1992-10-27 | 1994-07-22 | Eastman Kodak Co | 高速区分化ニューラルネットワーク及びその構築方法 |
US5426721A (en) * | 1993-06-17 | 1995-06-20 | Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College | Neural networks and methods for training neural networks |
US5486999A (en) * | 1994-04-20 | 1996-01-23 | Mebane; Andrew H. | Apparatus and method for categorizing health care utilization |
DE69430527T2 (de) * | 1994-07-28 | 2003-01-02 | International Business Machines Corp., Armonk | Schaltung für das Vorladen von Eingangsvektorbestandteilen in eine freie Neuronalschaltung während der Erkennungsphase |
EP0694852B1 (en) * | 1994-07-28 | 2002-06-26 | International Business Machines Corporation | Innovative neuron circuit architectures |
DE69430529T2 (de) * | 1994-07-28 | 2003-01-16 | International Business Machines Corp., Armonk | Daisy-Chain-Schaltung für die serielle Verbindung von Neuronalschaltungen |
US5929542A (en) * | 1997-02-03 | 1999-07-27 | Honeywell Inc. | Micromechanical stepper motor |
US5966460A (en) * | 1997-03-03 | 1999-10-12 | Xerox Corporation | On-line learning for neural net-based character recognition systems |
EP1405262A2 (en) * | 2001-03-30 | 2004-04-07 | International Business Machines Corporation | Circuits for pre-charging global resources in all the free neurons of an artificial neural network |
JP2005190036A (ja) * | 2003-12-25 | 2005-07-14 | Hitachi Ltd | 記憶制御装置及び記憶制御装置の制御方法 |
US7224595B2 (en) * | 2004-07-30 | 2007-05-29 | International Business Machines Corporation | 276-Pin buffered memory module with enhanced fault tolerance |
US7539800B2 (en) * | 2004-07-30 | 2009-05-26 | International Business Machines Corporation | System, method and storage medium for providing segment level sparing |
US20060036826A1 (en) * | 2004-07-30 | 2006-02-16 | International Business Machines Corporation | System, method and storage medium for providing a bus speed multiplier |
US7389375B2 (en) * | 2004-07-30 | 2008-06-17 | International Business Machines Corporation | System, method and storage medium for a multi-mode memory buffer device |
US7296129B2 (en) * | 2004-07-30 | 2007-11-13 | International Business Machines Corporation | System, method and storage medium for providing a serialized memory interface with a bus repeater |
US7277988B2 (en) * | 2004-10-29 | 2007-10-02 | International Business Machines Corporation | System, method and storage medium for providing data caching and data compression in a memory subsystem |
US7441060B2 (en) * | 2004-10-29 | 2008-10-21 | International Business Machines Corporation | System, method and storage medium for providing a service interface to a memory system |
US7305574B2 (en) * | 2004-10-29 | 2007-12-04 | International Business Machines Corporation | System, method and storage medium for bus calibration in a memory subsystem |
US7395476B2 (en) | 2004-10-29 | 2008-07-01 | International Business Machines Corporation | System, method and storage medium for providing a high speed test interface to a memory subsystem |
US7299313B2 (en) * | 2004-10-29 | 2007-11-20 | International Business Machines Corporation | System, method and storage medium for a memory subsystem command interface |
US20060095620A1 (en) * | 2004-10-29 | 2006-05-04 | International Business Machines Corporation | System, method and storage medium for merging bus data in a memory subsystem |
US7356737B2 (en) | 2004-10-29 | 2008-04-08 | International Business Machines Corporation | System, method and storage medium for testing a memory module |
US7331010B2 (en) * | 2004-10-29 | 2008-02-12 | International Business Machines Corporation | System, method and storage medium for providing fault detection and correction in a memory subsystem |
US7512762B2 (en) | 2004-10-29 | 2009-03-31 | International Business Machines Corporation | System, method and storage medium for a memory subsystem with positional read data latency |
US20060164909A1 (en) * | 2005-01-24 | 2006-07-27 | International Business Machines Corporation | System, method and storage medium for providing programmable delay chains for a memory system |
US7478259B2 (en) * | 2005-10-31 | 2009-01-13 | International Business Machines Corporation | System, method and storage medium for deriving clocks in a memory system |
US7685392B2 (en) | 2005-11-28 | 2010-03-23 | International Business Machines Corporation | Providing indeterminate read data latency in a memory system |
US7636813B2 (en) | 2006-05-22 | 2009-12-22 | International Business Machines Corporation | Systems and methods for providing remote pre-fetch buffers |
US7640386B2 (en) * | 2006-05-24 | 2009-12-29 | International Business Machines Corporation | Systems and methods for providing memory modules with multiple hub devices |
US7594055B2 (en) * | 2006-05-24 | 2009-09-22 | International Business Machines Corporation | Systems and methods for providing distributed technology independent memory controllers |
US7584336B2 (en) | 2006-06-08 | 2009-09-01 | International Business Machines Corporation | Systems and methods for providing data modification operations in memory subsystems |
US7493439B2 (en) * | 2006-08-01 | 2009-02-17 | International Business Machines Corporation | Systems and methods for providing performance monitoring in a memory system |
US7669086B2 (en) * | 2006-08-02 | 2010-02-23 | International Business Machines Corporation | Systems and methods for providing collision detection in a memory system |
US7581073B2 (en) | 2006-08-09 | 2009-08-25 | International Business Machines Corporation | Systems and methods for providing distributed autonomous power management in a memory system |
US7587559B2 (en) * | 2006-08-10 | 2009-09-08 | International Business Machines Corporation | Systems and methods for memory module power management |
US7539842B2 (en) | 2006-08-15 | 2009-05-26 | International Business Machines Corporation | Computer memory system for selecting memory buses according to physical memory organization information stored in virtual address translation tables |
US7490217B2 (en) | 2006-08-15 | 2009-02-10 | International Business Machines Corporation | Design structure for selecting memory busses according to physical memory organization information stored in virtual address translation tables |
US7477522B2 (en) * | 2006-10-23 | 2009-01-13 | International Business Machines Corporation | High density high reliability memory module with a fault tolerant address and command bus |
US7870459B2 (en) * | 2006-10-23 | 2011-01-11 | International Business Machines Corporation | High density high reliability memory module with power gating and a fault tolerant address and command bus |
US7721140B2 (en) * | 2007-01-02 | 2010-05-18 | International Business Machines Corporation | Systems and methods for improving serviceability of a memory system |
US7606988B2 (en) | 2007-01-29 | 2009-10-20 | International Business Machines Corporation | Systems and methods for providing a dynamic memory bank page policy |
US7603526B2 (en) * | 2007-01-29 | 2009-10-13 | International Business Machines Corporation | Systems and methods for providing dynamic memory pre-fetch |
US20090119114A1 (en) * | 2007-11-02 | 2009-05-07 | David Alaniz | Systems and Methods for Enabling Customer Service |
WO2010060243A1 (en) * | 2008-11-28 | 2010-06-03 | Siemens Aktiengesellschaft | Automatic control system and method for executing control program in parallel |
US20100268561A1 (en) * | 2009-04-16 | 2010-10-21 | Kerry John Enright | Ten-Level Enterprise Architecture Systems and Tools |
CA2799167A1 (en) | 2010-05-19 | 2011-11-24 | Douglas A. Palmer | Neural processing unit |
US9082078B2 (en) | 2012-07-27 | 2015-07-14 | The Intellisis Corporation | Neural processing engine and architecture using the same |
US9185057B2 (en) | 2012-12-05 | 2015-11-10 | The Intellisis Corporation | Smart memory |
US10410109B2 (en) | 2014-08-25 | 2019-09-10 | International Business Machines Corporation | Peripheral device interconnections for neurosynaptic systems |
US10061531B2 (en) | 2015-01-29 | 2018-08-28 | Knuedge Incorporated | Uniform system wide addressing for a computing system |
US9552327B2 (en) | 2015-01-29 | 2017-01-24 | Knuedge Incorporated | Memory controller for a network on a chip device |
US10027583B2 (en) | 2016-03-22 | 2018-07-17 | Knuedge Incorporated | Chained packet sequences in a network on a chip architecture |
US10346049B2 (en) | 2016-04-29 | 2019-07-09 | Friday Harbor Llc | Distributed contiguous reads in a network on a chip architecture |
US10586148B2 (en) * | 2016-12-31 | 2020-03-10 | Via Alliance Semiconductor Co., Ltd. | Neural network unit with re-shapeable memory |
EP3662474B1 (en) | 2017-07-30 | 2023-02-22 | NeuroBlade Ltd. | A memory-based distributed processor architecture |
US10452540B2 (en) * | 2017-10-20 | 2019-10-22 | International Business Machines Corporation | Memory-mapped interface for message passing computing systems |
CN110764444A (zh) | 2019-10-10 | 2020-02-07 | 苏州浪潮智能科技有限公司 | 控制***、交换机以及对执行装置进行控制的方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4660166A (en) * | 1985-01-22 | 1987-04-21 | Bell Telephone Laboratories, Incorporated | Electronic network for collective decision based on large number of connections between signals |
US4796199A (en) * | 1987-02-24 | 1989-01-03 | Oregon Graduate Center | Neural-model, information-handling architecture and method |
US4809193A (en) * | 1987-03-16 | 1989-02-28 | Jourjine Alexander N | Microprocessor assemblies forming adaptive neural networks |
GB8712782D0 (en) * | 1987-06-01 | 1987-10-21 | Gen Electric Co Plc | Digital computer systems |
US4807168A (en) * | 1987-06-10 | 1989-02-21 | The United States Of America As Represented By The Administrator, National Aeronautics And Space Administration | Hybrid analog-digital associative neural network |
JPH0277871A (ja) * | 1988-06-14 | 1990-03-16 | Mitsubishi Electric Corp | 神経回路網 |
FI894021A (fi) * | 1988-08-31 | 1990-03-01 | Fujitsu Ltd | Neuronstruktur. |
US5095443A (en) * | 1988-10-07 | 1992-03-10 | Ricoh Company, Ltd. | Plural neural network system having a successive approximation learning method |
US5201029A (en) * | 1988-10-24 | 1993-04-06 | U.S. Philips Corporation | Digital data processing apparatus using daisy chain control |
GB2224139A (en) * | 1988-10-24 | 1990-04-25 | Philips Electronic Associated | Digital data processing apparatus |
US4918617A (en) * | 1988-11-10 | 1990-04-17 | Oregon Graduate Center | Neural-model computational system with multi-directionally overlapping broadcast regions |
JP2703010B2 (ja) * | 1988-12-23 | 1998-01-26 | 株式会社日立製作所 | ニユーラルネツト信号処理プロセツサ |
EP0377221B1 (en) * | 1988-12-29 | 1996-11-20 | Sharp Kabushiki Kaisha | Neuro-computer |
US5165010A (en) * | 1989-01-06 | 1992-11-17 | Hitachi, Ltd. | Information processing system |
US5107442A (en) * | 1989-01-12 | 1992-04-21 | Recognition Equipment Incorporated | Adaptive neural network image processing system |
US4974169A (en) * | 1989-01-18 | 1990-11-27 | Grumman Aerospace Corporation | Neural network with memory cycling |
JP2679738B2 (ja) * | 1989-03-01 | 1997-11-19 | 富士通株式会社 | ニューロコンピュータにおける学習処理方式 |
JPH0738186B2 (ja) * | 1989-03-13 | 1995-04-26 | シャープ株式会社 | 自己拡張形ニユーラル・ネットワーク |
JP2940933B2 (ja) * | 1989-05-20 | 1999-08-25 | 株式会社リコー | パターン認識方式 |
JP2810170B2 (ja) * | 1989-12-15 | 1998-10-15 | 株式会社日立製作所 | 多層型ネットワークの学習装置 |
-
1990
- 1990-12-24 US US07/632,862 patent/US5214747A/en not_active Expired - Fee Related
-
1991
- 1991-12-17 EP EP92903543A patent/EP0516834A1/en not_active Withdrawn
- 1991-12-17 JP JP92503730A patent/JPH05505268A/ja active Pending
- 1991-12-17 WO PCT/US1991/009505 patent/WO1992011605A1/en not_active Application Discontinuation
-
1992
- 1992-11-12 US US07/974,773 patent/US5285524A/en not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013519140A (ja) * | 2010-02-05 | 2013-05-23 | エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ (ウ・ペ・エフ・エル) | ニューラルネットワークの組織化 |
US10373048B2 (en) | 2010-02-05 | 2019-08-06 | Ecole Polytechnique Federale De Lausanne (Epfl) | Organizing neural networks |
US10387767B2 (en) | 2010-02-05 | 2019-08-20 | Ecole Polytechnique Federale De Lausanne (Epfl) | Organizing neural networks |
US11126911B2 (en) | 2010-02-05 | 2021-09-21 | Ecole Polytechnique Federale De Lausanne (Epfl) | Organizing neural networks |
US11900237B2 (en) | 2010-02-05 | 2024-02-13 | Ecole Polytechnique Federale De Lausanne (Epfl) | Organizing neural networks |
JP2022523291A (ja) * | 2019-01-18 | 2022-04-22 | シリコン ストーリッジ テクノロージー インコーポレイテッド | 深層学習人工ニューラルネットワーク内のアナログニューラルメモリにおいてニューロン電流をニューロン電流ベースの時間パルスに変換するためのシステム |
US11500442B2 (en) | 2019-01-18 | 2022-11-15 | Silicon Storage Technology, Inc. | System for converting neuron current into neuron current-based time pulses in an analog neural memory in a deep learning artificial neural network |
Also Published As
Publication number | Publication date |
---|---|
US5285524A (en) | 1994-02-08 |
EP0516834A1 (en) | 1992-12-09 |
US5214747A (en) | 1993-05-25 |
WO1992011605A1 (en) | 1992-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH05505268A (ja) | デイジーチェーン制御付ニューラルネットワーク | |
US5509106A (en) | Triangular scalable neural array processor | |
US7047179B2 (en) | Clustered processors in an emulation engine | |
US5136188A (en) | Input/output macrocell for programmable logic device | |
US4914612A (en) | Massively distributed simulation engine | |
JPH0425586B2 (ja) | ||
US20160196488A1 (en) | Neural network computing device, system and method | |
JPS58169663A (ja) | アレイプロセツサ装置 | |
Kung et al. | Synchronous versus asynchronous computation in very large scale integrated (VLSI) array processors | |
US5146543A (en) | Scalable neural array processor | |
US5065339A (en) | Orthogonal row-column neural processor | |
US5148515A (en) | Scalable neural array processor and method | |
JP2002518746A (ja) | 集積回路設計の機能検証 | |
JPH05242065A (ja) | 情報処理装置及びシステム | |
JP2001249824A (ja) | 論理エミュレーションプロセッサおよびそのモジュールユニット | |
CN108804380A (zh) | 矢量运算硬件加速器多核级联的周期精确模型 | |
US5146420A (en) | Communicating adder tree system for neural array processor | |
US7516059B2 (en) | Logical simulation device | |
JPH04316153A (ja) | ニューロプロセッサ | |
JPH02210576A (ja) | 集積回路アキュムレータ | |
Bell et al. | The register transfer module design concept | |
Anderson | Simulation and analysis of barrier synchronization methods | |
Hadley | The performance enhancement of a run-time reconfigurable FPGA system through partial reconfiguration | |
Suzuki et al. | Som on multi-FPGA ISA board-hardware aspects | |
Solheim et al. | RENNS-a reconfigurable computer system for artificial neural networks |