JPH0258157A - 人工ニユーロン回路網アーキテクチユア - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、ディジタル的に動作する大きい人工ニヱーロ
ン回路Ｗ　（ＫＮＮ）のプログラム可能なエミュレーシ
ョンのための回路網アーキテクチュアに関するものであ
る。

〔従来の技術〕

大工ニューロン回路ｋＲ（以下ではＫＮＮと呼ぶ）は（
たとえば音声および画像の）パターン認識および処理の
目的で非常に大きいデータ量を並列に処理するために予
定されている。このようなＫＮＮは、可変の“重み係数
”を介して互いに交叉結合されている多数の非線形のプ
ロセッサ要素にニューロン）から成っている。

ニューロンのモデル化に関して文献には下記の非線形伝
達特性が提案されている〔アール、ピーリップマン（ｐ
、Ｐ、Ｌｔｐｐ楕ａｎｎ）　：　　ニューロン回路網に
よる計算へのイントロダクション”、Ｉ　ＥＥＥＡＳＳ
Ｐ雑誌、１９８７年４月、第４〜２２頁参照〕　ニ −２値デシジヨナ一 一飽和特性を有する線形ランプ関数、 −シグモイド関数、 双曲正接関数。

さらにニューロンの交叉結合に対する多数の相異なる構
造が存在する（たとえば“ホップフィールド回路網”　
　ハミング回路網”パーセプトロン”　〔同じく上記リ
ップマンの文献参照〕）。

二のような大きい回路網を直接ディジタル的に実現する
ことは集積回路製造のための現在のテクノロジーでは、
多数（＞１０００）のニューロンを必要とするために、
不可能であると思われる。その際に主な問題は、接続の
数、従ってまた可変の重み係数の数がニューロンの数の
増大により二乗関係で増大することにある。たとえば１
０００個のニューロンでは１つの完全に網状に構成され
た回路網のなかに１００万の重み付けが必要である。

プログラム可能または非プログラム可能な回路網に対し
てたとえば５４または２５６個のニューロンを有する小
さいＫＮＮのいくつかの実現について述べている文献が
ある〔例えばエイチ、ピーグラフ（Ｈ，Ｐ、Ｇｒａｆ）
　、ピー、デヴエガー（、Ｐ、ｄｅＶｅｇｅｒ）　：ニ
ューロン回路網に基づ＜ＣＭＯ３連想メモリチップ、Ｉ
ＥＥＥ固体回路国際会ｍｌ　９８７論文集、第３０４．
３０５．４３７頁；エイチ。

ピー、グラフ（）１、Ｐ、Ｇｒａｆ）他：数１００のニ
ューロンを有するニューロン回路網メモリのＶＬＳ　ｌ
インブリメン）、ＡＩＰ会議論文集１５１、“計算用の
ニューロン回路網”、第１８２〜１８７頁、ユタ州、ス
ノーバード、１９８６年：ダブリューフッバード（Ｗ、
　Ｈｕｂｂａｒｄ）他、ａ量的ニューロン回路網、ＡＩ
Ｐ会ｉ！！論文集１５１、“計算用のニューロン回路網
”、第２２７〜２３４頁、ユタ州、スノーバード、１９
８６年、ジェイ、ビー、サゲ（Ｊ、Ｐ、Ｓａｇｅ）　、
チー１．トムプソン（に、Ｔｈｏｍｐｓｏｎ）アール、
ニス、ウィサース（Ｒ，Ｓ、Ｗｉｔｈｅｒｓ）　：　Ｍ
ＮＯＳ／ＣＣＤ原理に基づく人工ニューロン回路網集積
回路、ＡＩＰ会議論文集１５１、“計算用のニエーロン
回路に！４″、第３８１〜３８４頁、ユタ州、スノーバ
ード、１９８６年を参照〕。その際に一貫してアナログ
ＫＮＮのアナログ的実現が扱われている。それらはディ
ジタル的実現にくらべて、インプリメント面積がはるか
に小さいという利点を有する。しかし、欠点として、必
要な抵抗マトリックスにより条件付けられる電流消費が
高く、このことは（数１００ニユーロンよりも多い）よ
り大きいプログラム可能な回路網の実現の妨げになって
いる。これまでに提案されたＫＮＮのモデル化の挙動お
よび特性は主としてベクトル計算機、ワークステーショ
ンまたは特殊なプロセッサフィールド上でのシミュレー
ションにより検証される。この方法の基本的な欠点は、
ニューロン回路網に固有の（空間）並列性が情報の処理
中に完全にまたは部分的に失われ、従ってまた特に大き
いニューロン組織に対してシミュレートされた回路網の
計算時間が、前記の課題の迅速なまたは準リアルタイム
での処理が妨げられまたは不可能になるようなオーダー
に増大する。

それに対して、ハードウェアーエミュレータによれば、
計算時間の顕著な短縮およびはるかに大きいパターンス
ルーブツトが得られる。ハードウェアーシミュレータと
対照的に、ハードウェアエミュレータはより小さい大き
さの人工ニューロン回路網を含んでおり、それを用いて
より大きい回路網がエミュレートされ得る。

ＫＮＮのディジタル的実現の利点は、より大きい自由度
でのより高いスループントとならんで、ユーザーが回路
網に典型的なパラメータ（たとえばディスクリミネータ
関数）を選択かつ設定し得ることにある。

一方では小さいアーキテクチュアを有するニューロン回
路網のアルゴリズムはより迅速に実行され得るので、ま
た他方では数１００のニューロンしか存していない回路
網はそのわずかなメモリ容量のために有意義な応用から
遠ざかるので、大工ニューロン回路網に対するディジタ
ルエミュレータ（以下ではニューロ−エミュレータと呼
ぶ）の設計の際には下記の点に特に考慮する必要がある
二二ニーローエミエレー夕は 一任意の形式および応用に対する十分な大きさのニュー
ロン回路網を合成することができなければならず（モジ
エール性）、 重みおよびしきい値の外部プログラミングを許し、また
は自ら行わなければならず、 知られているディスクリミネータ関数を含んでいなけれ
ばならず、 一入力または出力の分岐または非分岐を許さなければな
らず、 −（分岐または非分岐〕入力端への出力のフィードバッ
クを可能にしなければならず、 −付随された開発環境への非常に簡単なインタフェース
を有していなければならず、またより大きいエミュレー
タに対するモジエールとして使用可能でなければならな
、い。

切識相に　するエミュレータ−アーキテクチュア１、大
工ニューロン回路網に対するディジタル基本モジュール １、　１　　ニューロン−アルゴリズム大工ニューロン
回路網はいわゆる認識柑のなかでの簡単なアルゴリズム
構造により優れている：ｉ＝１・・・Ｍ（１） その際にＮはすべてのニューロンに共通の入力端ａ、（
以下では分岐入力端と呼ぶ；存在しない接続は零にセッ
トされた重みにより表される）を、Ｍは回路網のニュー
ロンの数を、マトリックスＷは分岐入力端に対する重み
を、Ｗｊは第ｉニエーロンの非分岐の個別の入力端の重
みを、またθ、はそのスイッチングしきいを表す、！後
にｆはディスクリミネータ関数（すなわちニューロンの
特性曲線形式）を、またｙＩは第ｉニューロンの出力を
表す。パラメータλによりディスクリミネータ関数は急
峻化または平坦化され、またさらに１つのボルツマン分
布がサポートされ得る。さらにこのパラメータは正規化
の目的に利用され得る。

ニューロン回路網のアルゴリズム仕様に、場合によって
は、フィードバックされた回路網にかかわる問題である
という事情が加わる：出力端ｙ、は入力＠ａｊまたはす
、と接続されている。式（１１は、人工ニューロン回路
網の１つの特定のモデルに対して強制的であるよりも一
般的に保たれている。それに関して式（１）は、もしａ
、の代わりに式 を式（１）に挿入すれば、すべての知られているモデル
の取扱いを解明する〔“人工ニューロンシステムに関す
るワークショップ”、主催者、′５ｔａｔｅ　ｏｆ　ｔ
ｈｅ　ａｒｔ”　、ミュンヘン１９８７年参照〕。

２、ニューロン回路網のエミュレーションの必要性 小さいニューロン回路網を対象とする場合には、（１）
のなかに含まれているアルゴリズム並列性は制限なしに
ハードウェア的に利用され得る。現在５４ニユーロンを
有するプログラム可能な回路網および２５６ニユーロン
を有するプログラムネ可能な回路網はアナログ的に実現
され得る〔エイチ、ピー、グラフ（Ｈ，Ｐ、Ｇｒａｆ）
他−数１００のニューロンを有するニューロン回路網メ
モリのＶＬＳｌインプリメント、ＡＩＰ会議論文集１５
１、“計算用のニューロン回路網”、第１８２〜１８７
頁、ユタ州、スノーバード、１９８６年およびエイチ、
ピー９　グラフ（Ｈ，Ｐ、Ｇｒａｆ）　、ビー、デヴエ
ガー（Ｐ、ｄｅＶｅｇｅｒ）　：　　ニューロン回路網
に基づ＜ＣＭＯ３連想メモリチンプ、ＩＥＥＥ固体回路
国際会議１９８７論文集、′；ＪＡ３０４．３０５．４
３７頁参照〕。それとは逆にディジタル的実現は約１ダ
ースのニューロンを１つのチップの上に納めることのみ
を許す、将来のサブミクロン−テクノロジーまたは超大
面積４Ａ積〔ニー、ラマッハー（Ｕ、Ｒａｍａｃｈｅｒ
）　　：大規模集積への道−離散的および冗長性ウェー
ハ規模集積、ＩＴＧ専門報告、第９８巻、“大規模集積
”、第８１〜９１頁、バーデンバーデン、１９８７年お
よびニー、ラマッハ−（Ｕ、Ｒａｍａｃｈｅｒ）　　：
故障を許容し得るＶＬＳ　ｌ／ＷＳ■システムのための
コスト−オリエンテッドな冗長性モデル、収率のための
設計に関するワークシタツブ論文集、オンクスフォード
、１９８７年７月参照〕によっては数１００以上のニュ
ーロンは１つのチップ内でディジタル的にほとんど実現
され得ないことが察知される。アナログ的実現では現在
のアーキテクチュア提案ではニューロンの数と共に二乗
関係で増　する電力消費のために（目下は５４ニユーロ
ンに対して２５０ｍＷ（エイチ、ピー、グラフ（ｔｌ、
Ｐ、Ｇｒａｆ）他：数１００のニューロンを有するニュ
ーロン回路網メモリのＶＬＳＩインプリメント、ＡＩＰ
会議論文集１５１、°“計算用のニューロン回路網”、
第１８２〜１８７頁、ユタ州、スノーバード、１９８６
年およびエイチ、ビー、グラフ（）１．Ｐ、Ｇｒａｆ）
　、ビー、デヴエガー（Ｐ、ｄｅＶｅｇｅｒ）　：　　
二ｓ　−ｏ　７回路網に基づ＜ＣＭＯ３連想メモリチン
プ、ＩＥＥＥ固体回路国際会議１９８７論文集、第３０
４．３０５．４３７頁参照〕、プログラム可能なニュー
ロン回路網の応用に対して規範的な約１０００ニユーロ
ンの下側しきいを達成することは困難である。

両実現可能性に共通にさらにバスおよび（または）ピン
の問題がある。たとえば２５６のアナログ的に実現され
たニューロンの１つのホップフィールド回路網を考察す
ると、入力あたり約３ＭＨ２の帯域幅が生した〔エイチ
、ピー、グラフ（Ｈ。

Ｐ、Ｇｒａｆ）他：数１００のニューロンを存するニュ
ーロン回路網メモリのＶＬＳ　Ｉインプリメント。

ＡＩＰ会議論文集１５１、゛計算用のニューロン回路網
“、第１８２〜１８７頁、ユタ州、スノーバード、１９
８６年およびエイチ、ピー、グラフ（ｌ（、Ｐ、Ｇｒａ
ｆ）　、ビー、デヴエガー（Ｐ、ｄｅＶｅｇｅｒ）　：
ニューロン回路網に基づ＜０ＭＯ３連想メモリチップ、
ＩＥＥＥ固体回路国際会議１９８７論文集、第３０４．
３０５．４３７頁参照〕。必要な数のピンは高価な特殊
ケースと共にのみ利用できるので、多量の並列性の速度
上の利点をとにかく利用し得るためには、特殊なインタ
フェースモジュールが開発されなければならなかった。

〔発明が解決しようとする課題〕

本発明の課題は、大きいディジタルニューロン回路網を
構成するための冒頭に記載した種類の回路網アーキテク
チュアであって、現在利用できるテクノロジー的可能性
により実現され得る小さいニューロンユニットの使用を
可能にする回路網アーキテクチュアを提供することであ
る。

〔課題を解決するための手段〕

この課題は、本発明によれば、請求項１の前文による回
路網アーキテクチュアにおいて、その特徴部分に記載の
手段によって解決される。

本発明の有利な実施例は請求項２以下にあげられている
。

本発明によれば、小さいニューロン回路網はｍ個のニュ
ーロンおよび重み付けのためのｍ２個の乗算器を備えて
いる。選択されたアーキテクチュアは大工ニューロンの
前記のすべての非線形伝達特性を有する任意の網構造の
迅速なエミュレーションを許す。

本発明によるハードウェアーアーキテクチュアは大きい
ニューロン回路網を、ハードウェア実現がなお可能であ
るこのようなより小さいニューロン回路網により構成す
ることを可能にする。多数のこれらの小さい回路網がた
とえばより大きい回路網として組み合わされ得るし、ま
たは大きい回路網のアルゴリズム（１）が小さい回路網
のアルゴリズムにより網目構成化され得る。後者はより
小さい回路網による大きい回路網のエミュレーションを
意味する。

ｍ（たとえば＝４）個（ｍはＮの除数；Ｎ７ｍ−二Ｋ）
へのＭ（たとえば１０００）個のニューロンの回路網の
分解は（１）の書き換えにより達成され得る： ｉ−１・・・Ｍ（２） ［実施例］ 以下、図面ににより本発明の種々の実施例を一層詳細に
説明する。

４ニユーロンユニツトの機能の仕方 第１図および第２図には、Ｎ個の入力端およびＭ個の出
力端を有する回路網を例として、式（２）の処理をディ
ジタル的に実現し得るｍ＝４のニューロンを存するニュ
ーロンユニットの構成および動作の仕方が示されている
。

第１図には４ニユーロンユニツトのアーキテクチュアが
示されている。ここで１つのニューロンは４つの乗算器
、２つの加算器、１つのアキュムレータ、２つのマルチ
プレクサおよび１つのディスクリミネータ（２値、“直
線ランプ°°−、シグモイドおよびｔａｎｈ特性が選択
され得る）から成っている。さらに、なかんずくシグモ
イド関数の特性曲線を急峻化し、またそれによりボルツ
マン分布をサポートし得る乗算器が設けられている。

式（２）、ｎ＝ｏ、Ｊ＝１の計算の開始時に、分岐する
入力の重み付けに対して並列に式“ｗＨＪ＋θｒ　　、
ｔ＝１ないし４が形成され、またアキュムレータＡＫＫ
が後続のクロックで加算器ＡＤＤに続くマルチプレクサ
によりこの値に予め設定される。後続のに一１クロック
（Ｋ　＝　Ｎ　／　ｍ　）で両マルチプレクサがアキュ
ムレータ経路を閉じ、また式（２）の二乗和が計算され
る。最後に第（Ｋ＋１）クロックでアキュムレータが読
出され（ｒのアーギュメントがλ＝１に対して計算され
ている）、またディスクリミネータに供給される。

こうして４つの出力端にＭ個の出力ベクトルのうちの最
初の４つかにクロックの後に（レジスタは考慮されてい
ない）、またその後のにクロックの後にすぐ次の４つの
出力ベクトルが現れる（以下同様）。全体でこの過程は
Ｍ　／　ｍ回行われる必要がある。

第２図には、どの時間的リズムで入力ベクトル、重みお
よびしきい値が４ニユーロンユニツトに供給されなけれ
ばならないか、また出力ヘクトルが現れるかが示されて
いる。これは負帰還なしの任意の構造化された回路網に
当てはまる。負帰還された回路網の場合には出力ベクト
ルは先ず１つのローカルメモリのなかに記憶される。こ
れはその後に分岐または非分岐入力端にニーロンモデル
に応じて）上に読出され、また前記の過程が同一の重み
、しきい値などで繰り返される（アナログ的に実現され
るエミュレータは負帰還された大きい回路網を反復によ
らずにエミュレートし得ないことは理解されよう）。

しきい値および非分岐入力端に対する導線は、追加的な
りロックが費やされるならば、節減され得る。たとえば
分岐入力端に先ずｂ１、ｂ！、ｂ３、ｂ４を、また重み
入力端に（ｗ、０００）、（Ｏｗｚｏｏ）、（ＯＯＷ３
０）、（０００ｗ４）を与え、またすぐ次のクロックｂ
ｌまたはＷ、を１またはθ、により置換すれば、ｗ、ｂ
Ｌ＋θ、が計算される。それにその後、前記のように、
分岐入力端の重み付けが続く、全体として計算時間は２
Ｍ／ｍクロックだけ上昇する。こうして６４個のパッド
および４つの加算器が節減される（第３図参照）。

４ニユーロンユニツトのスループットおよヒ計龍 ｍニューロンユニットにより“フィードホワード（ｆｅ
ｅｄｆｏｒｗａｒｄ）　”回路網に対するすべてのＭ出
力ベクトルを計算するため、複数個の（Ｎ　／　ｍ　）
　　・（Ｍ　／　ｍ　）クロックを必要とする。計算時
間（単一のｍニューロンユニットを使用する際のスルー
プントに相当する）はユニットのなかに位置しているニ
ューロンの二乗に逆比例していることは認識される。し
かし、考慮すべきこととして、重み、しきい値、入力お
よび出力ベクトルに対する８ビツト入力端の数は４ｍ＋
ｍ”に比例して増大する。

１．５μｍテクノロジーに基づいて設計された乗）ｌは
、４ニユーロンユニツトに対して〈５０ｎＳのクロック
時間が達成可能であると見積もられ得る。こうして４ニ
ユーロンユニツトにより１０ｈまたは１０’の接続が３
ｍｓまたは０．３Ｓのうちに分類され得る。負帰還され
た回路網に対しては前記の時間はなお反復の数により乗
算されなければならない。

ｍニューロンユニ　トのスループットノ１、例：インス
ター（Ｎ＞Ｍ） 重みのマトリックスはランクＭＸＮを有し、計算時間は
Ｎ−Ｍ／ｍ”　　５０ｎｓである、第４図Ｃ参照。

２、例ニアウドスター（Ｎ＜Ｍ） 重みのマトリックスはランクＭＸＮを有し、計算時間は
Ｎ−Ｍ／ｍ”　　５０ｎｓである、第４図す参照。

３、例：フィードホワード多重層パーセブトロンＮ個の
入力端、Ｈ個の隠されたニューロンおよびＭ個の出力端
か設けられている、第４図Ｃ参照。

単一のｍニューロンユニットによる実現の際には先ず式 ％式％（３） が処理され、次いで出力ベクトルｈ、が分岐入力端に与
えられ、また式 ％式％（４） が実行される。計算時間は（Ｎ　　Ｈ／ｍ２＋ＨＭ／ｍ
”）５０ｎｓである。

４、例：”°オーダードーフィードバック（Ｏｒｄｅｒ
ｅｄＦｅｅｄｂａｃｋ）　”多重層パーセブトロン第０
反復段が式（３）、ｂｉ　＝θ、および（４）の順次処
理により記述される。第１の反復に対しては貴す、がｙ
、により置換され（負帰還に関与しないニューロンはｗ
＝Ｑの重みを得る）、また第１の反復の出力ベクトルｙ
　（１−が計算される。

第２の反復に対しては量ｙ、が量ｙ（１）、により置換
され、また第２の反復の出力ヘクトルｙ（２）が計算さ
れる（以下同様）。完全な反復または負帰還は再帰的シ
ステム ｉ　＝　ｌ−Ｍ、に−Ｈ／ｍ　　　　（６）により記述
される。その際に反復指数はｌ≦Ｌ≦Ｔである。

５、例：負帰還されたホップフィールド回路網第図４ｄ
にＮ＝Ｍ＝４を有するこのような負帰還されたポンプフ
ィールド回路網の一例が示されている。

第０反復の間は重み付けは行われない。式が計算される
。その後に第１反復およびすべての後続の反復では分岐
入力端の重み付けが考慮され、また完全な式 が任意に高い１≦ｔ≦Ｔに対して計算される。

４ニエーロンーエミエレー　のイン　フェースお主でノ
」ビ月」■ ｍニューロンユニットの前記の使用を可能にするため、
相応のインタフェースおよびメモリを有する基本モジュ
ールが構成されていなければならない。第５図には、単
一の４ニユーロンユニツトにより構成されたニューロ−
エミュレータ″“形式ビのローカルメモリ周辺が示され
ている。それは最大１０００００入力端（アキュムレー
タのピント幅により制限される）および最大６４・１０
６の重み付け（それぞれ８ビツト）を有する回路網に対
して設計されている。８ビツト入力端の数および８ピン
ト出力端の数の積は≦６４・１０’にとどまらなければ
ならないので、もう１つの“高速パインタフエースが設
けられており、それを介して重み何けが外部から読込ま
れ得る。欠点は、インタフェースが１２８２０Ｍｂｉｔ
／ｓの高速でなければならないことである。それとは逆
にローカルメモリはより小さい帯域幅を有する直列イン
タフェースを許す。

原理的にはｍニューロンユニットに対するより高いいわ
ゆるパイプライン等級が考えられ、またスルーブツトが
相応に高められ得よう、しかし、注意すべきこととして
、重みの伝達は非常に広くかつ速いインタフェースを介
して、もしくはローカルメモリの続出しにより行われな
ければならない、既に５０ｎｓクロック時間において端
子ビンおよびビット線あたり２０Ｍｂｉｔ／ｓのデータ
転送率が生ずる。

ニューローエミュレー　　　　　１°°のニューロ−エ
ミュレータの性能特徴についての先にあげられた要求カ
タログで測られて、下記の特性が達成可能である。

ニューロ−エミュレータ“”　形式１°゛は一最大１ｏ
ｏｏｏｏの入力端を有する任意の形式の回路網を合成し
、 −重みおよびしきい値の外部プログラミングを必要とし
、また６４・１０６の接続に対する重みをローカルに記
憶することができ、 −知られているディスクリミネータ関数を含んでおり、 一入力端または出力端の分岐または非分岐を許し、−（
分岐または非分岐）入力端への出力の負帰還を可能にし
、 一随伴する開発環境に対する簡単なインタフェースを存
し、 ３・Ｎ−Ｍ　　ｎｓ　（４≦Ｎ、Ｍ）の・うちにＮ入力
端およびＭ出力端を重み付けしかつ弁別する。

線形収縮　装置のなかへの　本モジュールの埋め込み ベクトルの　重利 説明される基本モジュールは線形収縮性装置のなかへの
埋め込みによく適している。〔ティーノル（Ｔ、Ｎｏ１
ｌ）　　：収縮性セルフイールド、ｒＴＧ専門報告、第
９８巻、゛大規模集積”、第２０３〜２０７頁、バーデ
ンバーデン、１９８７年およびニー、ラマッハ−（Ｕ、
Ｒａ１１ａｃｈｅｒ）　　：　　”自己試験ＷＳＩマト
リックスーマトリックス乗算器°°、つ工−ハ規模集積
に関するＩＦＩＰワークショップ論文集、プルネル、英
国、１９８７年９月参照〕。

Ｌ個のｍニューロンユニットを相前後して接続すると（
第６図参照）、入力ベクトルａ１・・・ａＮはもはやＭ
　／　ｍ回ではなくＭ／（Ｌｍ）回のみ反復されなけれ
ばならない、こうして、非常に迅速に一層大きいニュー
ロン回路網をエミュレートし得るｍＬニエーロンヲ有ス
る大きいニューロ−エミュレータが構成され得る。

ｍエーロ−エミュレータの　　の Ｋ　＝　Ｎ　／　ｍクロックの後に出力ベクトルｙ１・
・・ｙ、がマルチプレクサを介して第１のｍニューロン
ユニットの第１の出力レジスタのなかに読まれる。第２
のユニットは１クロツクの後にマルチプレクサを介して
その出力ベクトルｙ。、１・・・Ｖｔ、、をその第１の
出力レジスタに送る。この時点てｙ・・・ｙ、は第１の
ｍニューロンユニットの第２の出力レジスタのなかに位
置している。さらに１クロツクの後にｙｌ・・・ｙｌま
たは）’　ｓ＋＋　・・・ｙｌは第１のｍニューロンユ
ニットの第１の出力レジスタのなかに（マルチプレクサ
は切換えられている）または第２の出力レジスタのなか
に位置している。

Ｌ要素の連鎖が最初に出力ベクトルｙ４Ｌ　　３・・・
ｙ４Ｌを、また最後にｙｌ・・・ｙ４を出力することば
理解されよう。一般にＭ≠４Ｌが成り立つので、入力ベ
クトルは、すべての出力ベクトルｙ、・・・ｙＨが得ら
れるまで、Ｍ／４Ｌ回相前移相前後置内へ送られなけれ
ばならない。収縮性ニューロ−エミュレータのデータの
流れは第７図に示されている（スペースの理由から非分
岐入力ｗ、Ｊおよびしきい値θ、は示されておらず、ま
た短縮μ＝（Ｍ−１）／４Ｌが使用される）。

最初のＬＭ出力ベクトルが得られるまでに（Ｎ７ｍ）＋
Ｌ−１クロンクが必要であるので、最後の出力ヘクトル
ｙイが計算されるまでにその後の（Ｎ７ｍ）　　　（（
Ｍ／ｍＬ）　　１）りａ　７りが待たれなければならな
い。最後に、装置内に位置している最後の出力ベクトル
を出力端に取り出すために、なおＬクロックが必要とさ
れる。全体として計算時間に対しては式 が住する。スループントは（９）式中の第１の被加数に
より決定されている。

こうしてΔ＝５０ｎｓ、Ｌ＝１００およびｍ−４により
１Ｏｈ１１０１′または１０１０（７）接続が約３０ｕ
ｓ、３ｍｓまたは３００ｍ５のうちに重み付けられかつ
弁別され得る。

ニューロ−エミュレータ“形式２″は２５０の４ニュー
ロンユニツトから成っている。四ニューロンユニットあ
たりＮ　　Ｍ／２５０の重みが必要とされる。ユニット
あたり１２８Ｘ１２８ｋｂｉＬがローカルメモリとして
用意されると、５．２４×１０１１接続が実現され得る
。４ニエーロンユニントのアキュムレータは最大１００
０００入力ベクトルに対して出力ベクトルの所望の８ビ
ット精度を保証するので、第８図中に示されているイン
タフェースおよび同じく第８図中に示されているメモリ
周辺が生ずる。

特に強調すべきこととして、ニューローエミュレーダ°
形式２”はデータ線に対する接続ピン数をニューロ−エ
ミュレータ゛形式１”の場合と同じ数で間に合わせられ
ることである。しかし、同時にニューロ−エミュレータ
“形式２”はニューロ−エミュレータ“形式１″゛にく
らべて本質的に改善された性能特徴を提供する（後記の
説明を参■召）　。

読出し／書込み操作を同時に行い得るように、３２　３
２ｋｂｉｔメモリが二重に設けられている。重みに対す
るローカルメモリの利点は、前記のように、２５０の重
みメモリが直列にロードされ得ることにある。これは計
算時間の倍数を生み出し、また、ｉ？１．　織組での重
みは入力ベクトルの長い列にわたり変化しないので、非
番を異的である。

ニューロン回路網の学習用では重みＷ　、　、　；４＜
　Ｎ入力ベクトルの各セントに従ってδ（Ｗｉｊ）だけ
変化するので、他方において学習用に対する基本モジュ
ールのアーキテクチュアの開発の際に、これらの変化δ
（Ｗｉｊ）が重みＷ８．により内部で計算され、また学
習用の継続時間にわたり累算されることに注意されなけ
ればならない。学習用の終了の後に、学習された重みＷ
’ｉｊが重みメモリのなかにロードされ得る。

ニューロ−エミュレータ”　　　２”のニューロ−エミ
ュレータ“形式２°°は４つではｆｔ　＜　１０００の
ニエーロンから成っているので、前記の考察が成り立つ
、さらに、エミュレータ゛形式１パ　（第１図）および
エミュレータ゛形式２°゛の分岐入力端の双方向性が、
場合によっては必要とされるエミュレータ゛形式２゛に
よる反復の有利な実現のために利用され得る。収縮性装
置の出力ベクトルは入力ベクトルとは別の装置端に現れ
るので、Ｍ出力ベクトルの完全なセットをこの装置端に
供給し得ること、また逆方向に装置を通して送ることは
有利である。こうして、分岐入力端へのデータの流れは
各反復の後に方向を反転する。

これは双方向性ドライバおよびレジスタにより達成され
る。

ニューローエミュレ−２゛の 二ニーローエミュレータ゛形式２°゛は−最大１０００
００の入力端を有する任意の形式の回路網を合成し、 重みおよびしきい値の外部プログラミングを必要とし、
また５２４・１０ｈの接続に対する重みをローカルに記
憶することができ、 −知られているディスクリミネータ関数を含んでおり、 入力端または出力端の分岐または非分岐を許し、（分岐
または非分岐）入力端への出力の負帰還を可能にし、 一随伴する開発環境に対する簡単なインタフェースを有
し、 １２・Ｎ・Ｍｐｓ（４≦Ｎ；１０００≦Ｍ）のうちにＮ
入力端およびＭ出力端を重み付けしかつ弁別する。

ｌム皇芝１旦■ 入力ベクトルのＰの異なるセットの並列処理のために１
つの線形収縮性装置による重みの多重利用が考慮に値す
る、第９図参照、この用途は、多数の仮説的パターンか
ら実際に存在するパターンがコ忍識されるべきときに生
ずる（たとえば流れるような音声の認識の際）。

第９図から、ｍニューロンユニットの入力ベクトルが先
行のユニットの入力ベクトルにくらべて１クロツクだけ
遅らされなければならないことは明らかである。明らか
に装置のスルーブツトは、単一の（同一の課題を有する
）ｍニューロンユニットにより得られるスループットよ
りもＰ倍高い。

インタフェースおよびメモリ周辺の形成およびこの収縮
性装置の性能特徴の評価はそれぞれ専門家にゆだねられ
得る。

斂 ディスクリミネータユニットの課題は、ニューロンの非
線形伝達特性を実現することである。最大限のフレキシ
ビリティを得るため、このユニットのなかにニューロン
回路網に対して重要なすべての伝達特性が含まれている
。ディスクリミネータの入力信号２（第１図中のアキュ
ムレータＡＫＫの出力）は３２ビツトにより“２の補数
”表現に符号化されており、その際に最下位ビットは桁
値２−１４を有する。このディスクリミネータユニット
のなかで下記の非線形ディスクリミネータ関数が実現さ
れる。

第１０図ａ　２値デシジヨナー　　　　（１０ａ）第１
０図ｂ　ランプ関数 （１０ｂ） ０．５＋λ　Ｚ を有する 第１０図Ｃシグモイド関数 ｙ　（ｚ）＝　（１＋ｅｘρ（−λｚ））これらの関数
に対して出力信号ｙは常に零に等しくまたは零よりも大
きい。変換ｙ−２ｙ−１により値範囲（０，１）が（−
１，１）に写像され得る。シグモイド関数（１０ｃ）か
ら下式が得ら（１０ｃ） れる。

第１０図ｄ　　　　　　　　　　　　　（１０ｄ）ｙ　
　（ｚ）＝ｔａｎｈ　　（λ２） パラメータλ（λ〉０）の変更によりランプ関数、シグ
モイド関数および双曲線関数の急峻度が変更され得る（
第１Ｏ図す、ｃ、ｄ参＠）。λの値範囲は、曲線カ月に
よる重み付けに比較して急峻（λ〉■）にも平坦（λく
１）にも経過し得るように選定されている。さらにパラ
メータにより重み係数の値範囲が変更され得る。λの値
は３２ビツトにより符号化され、その際に最小の桁の重
みは２−１６であり、従って下式が成り立つ。

その際に６１は個々の桁の重みを表す。すなわち数値範
囲は０から＋３２７６８−２−”までにわたっている。

ディスクリミネータユニットの構 ディスクリミネータユニットの回路図が第１１図に示さ
れている。定数λおよび２の数値はレジスタＲＥＧＩお
よびＲＥＧ２のなかに記憶されている。ＲＥＧＩは直列
に続出され、また後続の直列乗算ユニットのなかで２に
よる乗算が行われる。

続いて飽和マルチプレクサによる必要な語幅への数値フ
ォーマットの減少が行われる。２値デシジゴナーの場合
には極性符号ビットのみが伝達されればよい。ランプ関
数の選択の際には飽和マルチプレクサの出力信号が変更
されずに伝達され、またシグモイド関数およびＬａｎｈ
関数の際には別のユニットのなかで直線近似が行われる
。最後のブロックのなかで最後に負の出力数値の発生の
ための線形数値変換が行われる。

１刀来夏三三上上 パラメータλによる信号Ｚの乗算は直列乗算器ユニット
のなかで行われる。レジスタのなかに記憶されている数
値は最下位ビットで初めて直列に続出され、また乗算ユ
ニットに供給される（第１２図参照）。

乗算はいわゆるホーナー（Ｈｏｒｎｅｒ）法により行わ
れる〔エル　ガツィ（Ｌ、Ｇａｚｓｉ）　ニブログラム
可能なディジクル信号プロセッサを使用する波ディジタ
ルフィルタのハードウェアインプリメント、回路理論お
よび設計に関する１９８１年ヨーロッパ会議論文集、第
１０５２〜１０５７頁、ヘーグ、■９８１年８月参照〕
。

λ、＝２ＩＳ（δｓ＋ｚ＋２−’（δ３６Ｚ＋　”　’
　＋２（δｔｚ＋２−’（δ、ｚ＋２−’δ、ｚ））　
・−・）１δ、、ｉ＝ｏないし３１による２の乗算はア
ンド回路により実現される（第１２図）。乗算の際に生
ずる追加的な下位ビット（“リアーピッドパはその後の
処理で必要とされないので、アキュムレータ語長は部分
和の計算のためにフロントピントだけ拡張されればよい
。λ２の計算の前に、設けられているアキュムレータレ
ジスタＲＥＧ３がリセットされなければならない（第１
２図中のりセント信号）、その後に最初のサイクルで第
１の項δ。２がアキュムレータレジスタＲＥＧ３のなか
に記憶される。加算器への負帰還は固定配線されたｌポ
ジションだけの°“右シフドパを介して行われ、その際
に極性符号が二重にされる（算術的シフト、２−１によ
る部分和の乗算）。すぐ次のサイクルで結果（２柑δ。

Ｚ）がδ、２に加算される。この過程は、３２サイクル
の後に式（１１）中の中括弧のなかの計算が終わるまで
、繰り返される。２１５による乗算は同じく固定配線さ
れたシフトにより行われる。

飽和マルチプレクサ 結果はいま３３ピントの語幅で存在し、表現可能な数値
範囲は−２２４から２”−１′□′までにわたっており
、ＬＳＢは２−７の桁値を有する。しかしディスクリミ
ネータの出力信号は８ビツトの語幅に制限されていなけ
ればならない。２値デシジヨナーでは極性符号の間合せ
のみで十分であり、それと異なりランプ関数では語幅が
飽和特性の応用のもとに８ピントに制限されなければな
らない。

当該の飽和マルチプレクサの入力信号はｚ’＝λ２であ
り、また出力信号はｚ＋−’である。その場合、飽和特
性は Ｚ、　　　　＝ シグモイド関数の計算は直線セクションにより行われる
。式（１０ｃ）の代わりに下記のように書くことができ
る。

ｙ　（ｚ’　）＝０．５＋０．５ｔａｎｈ　（ｚ’　／
２）（１３）式中の第２項は２′中の奇数関数であるの
で、この項を２′の正の値に対して直線セクションによ
り近似すれば十分である。近似の際には誤差がｌ　ＬＳ
Ｂよりも、すなわち２１よりも小さくなければならない
。精度推定は、２′の数値範囲が間隔（−８，８）に制
限され得ること、また最下位ビットの桁値が２−５より
も太き（ではならないことを明らかにする。その結果、
２′の数値表現のために少なくとも９ビツトが必要であ
る。

それに応じて、飽和特性が ２、　　　２＋ により与えられている第２の飽和マルチプレクサが必要
である。その際に量ｚ、′はこの飽和マルチプレクサの
出力信号を示す。

両開数の共通の実現が第１３図に示されている。

ｌ′のＬＳＢは桁値２−７を有するので、ランプ関数の
応用の際にはまさに７つの下位ピントが選択されなけれ
ばならない。２′≧１−２−’の場合、すなわち極性符
号ピントがＯであり、かつそれ以外の２５の主導的ピン
トの少なくとも１つが１である場合には、すべての出力
ビットは極性符号ピントを例外として１にセットされな
ければならない。これはマルチプレクサＭＵＸ　（１）
ないしＭＵＸ　（７）により行われる。ＭＵＸ　（３）
を例外として左に示されている入力端は、この場合、反
転された極性符号ビットにより１にセントされ、またＭ
ＵＸ　（３）の相応の入力端は、設けられているＰＬＡ
（プログラム可姥論理装置）により１にセットされる。

マルチプレクサの切換は同しくこのＰＬＡにより制御さ
れる。相応のことが２〈０に対しても、すなわち極性符
号ピントが１に等しく、かつそれ以外の２５の主導的ビ
ットの少なくとも１つが０である場合にも成り立つ。こ
の場合にはすべての出力ビットが０にセットされるべき
である。

シグモイド関数およびｔａｎｈ関数の発生のためにはＭ
ＳＢおよびそれ以外の２２ビツトが、数値範囲超過が存
在するか否かを確認するために検査されなければならな
い。出力信号はいまＭＵＸ（３）ないしＭＵＸ（１０）
により形成され、その際にＬＳＢは飽和の際に常に１で
あり（式（１４）参照）、またそれ以外のビットは前記
の仕方と同一の仕方で形成される。

シグモイド関　の 前記のように、式（１３）中の第２の項、ｇ（ｚ’　）
＝０．５ｔａｎｈ　Ｃｚ’　／２）はＺ′の正の値に対
して直線セクションにより近イ以され、その際に誤差は
２１よりも小さくなければならない。

２′の負の値の際の計算のためには極性符号−絶対価一
数値表現が必要である。その後、出力値ｙは 第１の間隔内では Ｖ　＝　０．５　＋ｓｉｇｎ（ｚ’　）　　・ｍｌ・第
２の間隔内では Ｙ　＝０．５　＋ｓｉｇｎ（ｚ’　）　噛（ｍ、　、、
＋　＋ｍ２（ｌ　ｚ’　　ｌ　−ｚ、’Ｎ 第１の間隔内では ｙ　＝　０．５　＋ｓｉｇｎ（ｚ’　）・　（ｍ、・２
．′＋１１ｚ（Ｚｚ’　　Ｚ＋’　）　＋　”　・ｍ　
ｔ−＋（ｚ；Ｚｉ−２’　）＋ｍ１（ｌｚ’　　ｌ　　
Ｚｉ−１’　）　１により与えられている。その際にｓ
ｉｇｎ（ｚ’）は符号関数、またＺ、′は付属の上側間
隔限界を示す。

これは ｙ　−０，５＋ｓｉｇｎ（ｚ’　）　・（Ｃｔ＋ｍｔ（
ｌ　ｚｚｉ−１’　）　） Ｚｉ−１′≦２′≦ｚ（’、ｉ＝１．−．ｋに対して（
１５ａ） Ｃｒ　　＝　　Σ　１１ｒ　　（ｚｔ’　　−ｚ＝−、
’　　）＋ｚｏ’　　＝ｏ　　　　（１５ｂ）にまとめ
られ得る。ここでｋは間隔の全数である。

すべての間隔が等しい長さΔｚ’　＝２．’　−Ｚ。

＝１′を有し、かつさらに２の＝数に等しい場合には、 Δｚ’　＝ｚｒ’　−Ｚｉ１’　＝２Ｌ、　　　　　　
　（１６ａ）ｚ、＋　＝ｉ　・２Ｌ、　　ｉ＝ｏ、　　
・・・ｋ、　　　　　（１６ｂ））’　＝０．５　＋ｓ
ｉｇｎ（ｚ’　）・（Ｃｔ＋ｍｔ（ｌ　ｚ（ｉ−１）２
Ｌ）〕、　　　　　　　　　　　　　　　（１６ｃ）Ｃ
Ｉ　＝２Ｌ　Σ　ｍ。

ｊ＋ （１６ｄ） が成り立つ。

２′の極性符号−絶対値−数値表現の際には下位のビッ
トは位置２Ｌ−１を含めてまさに項（ｌｚ（ｉ−１）２
Ｌ）を含んでおり、またそれ以外の上位のビット（極性
符号なし）はセグメントを特徴付ける。これにより回路
技術的実現が非常に簡単化される。２．およびｍ、の数
値は、直接にこれらの上位ビットによりアドレス指定さ
れる１つのＲＯＭのなかに記憶され得る０項（ＩＺ′−
（ｋ−１）２Ｌ）によるｍ、の乗算およびＣ４への加算
は直列に行われ得る。ｚ′の極性符号に応じて結果が０
．５に加えられ、またはそれから差し引かれる。

いまの場合には、２−７よりも小さい誤差を保証するた
めに、Δｚ′＝１の長さを存するに−８のセグメントで
十分である。この少数の項のために、ＲＯＭの代わりに
ＰＬＡを使用することは回路技術的に有利である。

回路技術的実現が第１４図に示されている。最初に、９
ビツトにより２の補数に符号化された数２′が極性符号
−絶対値−数値表現に変換される。

そのために最初にＺ′の絶対値が形成され、他方におい
て極性符号ビットは不変にとどまる。絶対値は８ビツト
幅のレジスタＲＥＧ２のなかに記憶される。このレジス
タの３つの上位ビット（セグメントａ別）はＣｉおよび
ｍ、の呼出しのために必要とされ、Ｃ４はマルチプレク
サＭＵＸ２を介してアキュムレーターレジスタＲＥＧ４
のなかに、ｍｌはＲ２Ｏ３のなかにロードされる。レジ
スタＲＥＧ２の下位の５ビツトは続いて、ＬＳＢで初め
て、直列に読出される。アンド回路により各サイクル中
に部分積が計算され、またアキュムレータ内容に加算さ
れる。結果は各サイクルの後に固定配線された“ピン”
を介してｌポジションだけ右へずらされ、またアキュム
レーターレジスタＲＥＧ４のなかに記憶される。５サイ
クルの後に結果Ｃ，＋ｍＨ（ｚ”−（ｉ−１）２Ｌ）が
レジスタＲＥＧ５のなかに得られる。後続の段でこの数
値が０．５に加えられ、または負の２′の際にはそれか
ら差し引かれる。

の　　　　　る−゛イスク１ミネー　　　曲　の発生 これまでに説明された回路ユニットでは単極性（非負）
の出力信号のみが発生され得る。しかし、多くの場合に
、座標原点に対して対称に位置するディスクリミネータ
特性曲線が望まれる。２値デシジヨナーでは、またシグ
モイド関数では、線形変換による（−１，１）への間隔
（０，１）の写像で十分であるが、ランプ関数ではそれ
と異なり、直列乗算器ユニットのなかでｚ’＝０．５＋
λ２が計算されることに注意されなければならない。こ
れは簡単に、アキュムレータが６リセント信号°゛によ
りＯにではなく値Ω、５にセットされることにより達成
される。

ディスクリミネータ出力信号は８ビツトで°°２の補数
“表現に符号化されているので、最大表現可能な数は１
−２１である。その際に１２８の量子化ステップが存在
する。従って、対称な特性曲線を得るためには、０から
この数までの数値範囲が−１＋２−”から１２−’まで
の範囲に写像されなければならず、その際に量子化ステ
ップの数は不変にとどまる。この写像は変換 ｙ’　＝２ｙ−１＋２−’　　　　　　　　　（１７）
により行われる。

回路技術的実現（第１５図）は主としてマルチプレクサ
から成っている。２による乗算は非常に簡単に固定配線
された左シフトにより、また２−７の加算は最下位マル
チプレクサ入力端における１により行われる。−１の加
算のためには単に最上位ビットの反転が必要である。

【図面の簡単な説明】

第１図は本発明による４ニユーロンユニツトのアーキテ
クチュアを示す図、第２図は４ニユーロンユニツトのな
かのデータの流れの概要を示す図、第３図は第１図によ
る４ニユーロンユニツトにくらべて減ぜられた数の入力
端を有する本発明による別の４ニユーロンユニツトを示
す図、第４図ａはいわゆるインスター回路網のなかにｍ
ニューロンユニットを使用する第１の例を示す図、第４
図すはいわゆるアウトスター回路網のなかにｍニューロ
ンユニットを使用する第２の例を示す図、第４図Ｃはい
わゆるフィードホワード−多重層−バーセプトロンのな
かにｍニューロンユニットヲ使用する第３の例を示す図
、第４図ｄはいわゆるホップフィールド回路網のなかに
ｍニューロンユニットを使用する別の例を示す図、第５
図は本発明による４ニユーロンユニツトのインタフェー
スおよびメモリ周辺の概要を示す図、第６図はＬ個のｍ
ニューロンユニントを有するいわゆる収縮性二ニーロー
エミュレータ装置の概要を示す図、第７図はいわゆる収
縮性ニューロ−エミュレータのなかのデータの流れの概
要を示す図、第８図は２５０個の４ニユーロンユニツト
を有する本発明による二ニーローエミュレータの第２の
形式（形式２）のインタフェースおよびメモリ周辺の概
要を示す図、第９図はＰ個のｍニューロンユニットヲ有
スるいわゆる収縮性ニュー四−エミュレータ装置の概要
を示す図、第１０図ａ、第１０圀ｂ、第１０図Ｃおよび
第１０図ｄは本発明によるディスクリミネータユニット
の種々の特性曲線形式を示す図、第１１図は本発明によ
るディスクリミネータユニットの構成を示すブロック回
路図、第１２図は直列乗算ユニットの概要を示す図、第
１３図はいわゆる飽和マルチプレクサの概要回路図、第
１４図は第１０図によるシグモイド関数を実現するため
の回路装置のブロック回路図、第１５図は式（１７）に
よる線形変換を実現するための回路装置の原理回路図で
ある。 Ａ・・・出力端 ＡＤＤ・・・加算器 ＡＫＫ・・・アキュムレータ Ｅ・・・入力端 ＦＫＴ・・・関数要素 ＭＵＬ・・・乗算器 ＭＵＸ・・・マルチプレクサ ０・・・しきいイ直 ＲＥＧ・・・レジスタ ＳＭ・・・直列乗算ユニ、ト ＳＭＵＸ・・・飽和マルチプレクサ Ｗ・・・重み（直 ＷＤＦ・・・ディスクリミネータ関数 Ｉ０１ ＩＧ　２ ＡＮ ＡＮ−−−−ＡＮ 八Ｎ ＦＩｏ　３ ＦＩｏ４　　ａ、　ａ。 ａＮＬＩ　ａＮ ａＮ、ｌ　’Ｎ ’Ｎ、ｌ　ａＮ Ｎ入力 ｙ。 ｙｖ、＋　ｙＭ Ｍ出力 ＦＩｏ　７ ＦＩＧ　８ ＦＩＧ　９ 出力 ＦＩＧ　１０ ＋ａ＋ ＋ｂｌ ｄｌ ｔａｎｈｔＡ８ アキュムレータから 飽和マルチプレクサへ ２（）盲 デノジタナ ノグモイド／ １ａｎｈ関数 線形ランプ関斂 ＩＧ　１５ 出力ｙ

Claims (1)

1. 【特許請求の範囲】 １）　ディジタル的に動作する大きい人工ニューロン回
   路網（ＫＮＮ）のプログラム可能なエミュレーションの
   ための回路綱アーキテクチュアにおいて、 　ｍ個のニューロンにより構成された同一の構成の多数
   （Ｌ個）のニューロンユニットが設けられており、それ
   らの入力端（Ｅ）が多重化または分岐されて個々の入力
   レジスタ（ＲＥＧ＿Ｎ）を介して回路網入力端（Ｅ＿Ｎ
   ）と接繞されており、それらの出力端（Ａ）が個々のマ
   ルチプレクサ（ＭＵＸ）および個々の出力レジスタ（Ｒ
   ＥＧ＿Ａ）を介して相異なる時点で回路網出力端（Ａ＿
   Ｎ）に接続可能であり、また個々の補助入力端を有し、
   それらを介して、当該のニューロン接続の重み付けのた
   めの重み値および入力信号の評価のためのしきい値（０
   ）を表す信号を供給され得ることを特徴とする人工ニュ
   ーロン回路網のプログラム可能なエミュレーションのた
   めの回路網アーキテクチュア。 ２）ｍ＝４であることを特徴とする請求項１記載の回路
   網アーキテクチュア。 ３）ｍ個の互いに等しいニューロンがそれぞれ４つの入
   力端を有し、それらにそれぞれ１つのディジタル乗算器
   （ＭＵＬ）が対応付けられており、その一方の乗数入力
   端が当該の入力端と接続されており、またその他方の乗
   数入力端が個々の補助入力端の１つと接続されており、
   乗算器（ＭＵＬ）の結果出力端がそれぞれ、当該のニュ
   ーロンに対応付けられているディジタル加算器（ＡＤＤ
   ）の個々の入力端と接繞されており、加算器（ＡＤＤ）
   の結果出力端がレジスタ（ＲＥＧ）を介して当該のニュ
   ーロンのディジタルアキュムレータ（ＡＫＫ）の第１の
   入力端と接繞されており、アキュムレータ（ＡＫＫ）の
   結果出力端が、当該のニューロンに個々に対応付けられ
   ているマルチプレクサ（ＭＵＸ）および別のレジスタ（
   ＲＥＧ）を介して、当該のニューロンに個々に対応付け
   られている関数要素（ＦＫＴ）の１つの信号出力端と接
   続されており、その信号出力端が別のレジスタ（ＲＥＧ
   ）を介して当該の回路網出力端（Ａ＿Ｎ）と接続されて
   おり、アキュムレータ（ＡＫＫ）の第２の入力端が別の
   レジスタ（ＲＥＧ）を介してマルチプレクサ（ＭＵＸ）
   の別の出力端と接続されており、またディスクリミネー
   タ関数（ＷＤＦ）を選択するための選択導線がレジスタ
   （ＲＥＧ）を介して多重化または分岐されて関数要素（
   ＦＫＴ）の各々の選択導線と接続されていることを特徴
   とする請求項１記載の回路網アーキテクチュア。 ４）関数要素（ＦＫＴ）の関数を選択するための導線が
   ニューロン特有に設けられていることを特徴とする請求
   項３記載の回路網アーキテクチュア。 ５）選択的に単位ステップ関数（第１０図ａ）、リニア
   −ランプ関数（第１０図ｂ）、シグモイド関数（第１０
   図ｃ）またはＴａｎｈ関数（第１０図ｄ）が関数要素（
   ＦＫＴ）のなかで実行可能であることを特徴とする請求
   項３または４記載の回路綱アーキテクチュア。 ６）ニューロンに対する非多重化または非分岐入力端が
   設けられており、その際にこれらの入力端の第１のもの
   は第１のニューロンに対応付けられている１つの別の加
   算器（ＡＤＤ）の第１の加算器入力端と接続されており
   、これらの入力端の第２のものは第２のニューロンに対
   応付けられている第２の加算器（ＡＤＤ）の第１の加算
   器入力端と接続されており、これらの入力端の第３のも
   のは第３のニューロンに対応付けられている第２の加算
   器（ＡＤＤ）の第１の加算器入力端と接繞されており、
   またこれらの入力端の第４のものは第４のニューロンに
   対応付けられている第２の加算器（ＡＤＤ）の第１の加
   算器入力端と接繞されており、またその際に各ニューロ
   ンに個々の捕助入力端が対応付けられており、この捕助
   入力端に、重み値を表す信号が供給可能であり、またこ
   の補助入力端がレジスタを介して第２の加算器（ＡＤＤ
   ）の第２の加算器入力端と接続されており、また個々の
   アキュムレータ（ＡＫＫ）の各々に別のマルチプレクサ
   （ＭＵＸ）が設けられており、その出力端が第２の加算
   器（ＡＤＤ）の出力端と接続されており、またその他の
   出力端がアキュムレータ経路を形成するため第１のマル
   チプレクサ（ＭＵＸ）の出力端と接続されていることを
   特徴とする請求項３記載の回路網アーキテクチュア。 ７）ニューロンによりいわゆるインスター回路綱が形成
   されていることを特徴とする請求項１ないし６の１つに
   記載の回路綱アーキテクチュア。 ８）ニューロンによりいわゆるアウトスター回路綱が形
   成されていることを特徴とする請求項１ないし６の１つ
   に記載の回路網アーキテクチュア。 ９）ニューロンによりいわゆるフィードフォワードーマ
   ルチプレイヤーパーセプトロンが 形成されていることを特徴とする請求項１ないし６の１
   つに記載の回路網アーキテクチュア。 １０）ニューロンによりいわゆるホップフィールド回路
   網が形成されていることを特徴とする請求項１ないし６
   の１つに記載の回路綱アーキテクチュア。 １１）読出し／書込みを同時に実行し得るように、ｍ−
   ニューロンユニットに対応付けられているメモリがそれ
   ぞれ二重に設けられていることを特徴とする請求項１な
   いし１０の１つに記載の回路綱アーキテクチュア。 １２）ｍ−ニューロンユニットの入力ベクトルが先行ユ
   ニットの入力ベクトルにくらべて１クロックだけ遅らさ
   れていることを特徴とする請求項１ないし１１の１つに
   記載の回路綱アーキテクチュア。 １３）ディスクリミネータユニットが設けられており、
   そのなかで定数および数値がレジスタ（ＲＥＧ１、ＲＥ
   Ｇ２）内に記憶され、これらのレジスタ（ＲＥＧ１、Ｒ
   ＥＧ２）の後に直列乗算ユニット（ＳＭ）が接続されて
   おり、その出力端が乗算結果の数値フォーマットを飽和
   マルチプレクサ（ＳＭＵＸ）により必要な語幅に減少す
   るためにこの飽和マルチプレクサの相応の入力端と接繞
   されていることを特徴とする請求項１ないし１２の１つ
   に記載の回路綱アーキテクチュア。