JPH045774A - 神経網計算機 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、生体の神経網を模擬する処理を高速に実行す
る神経網計算機に関する。

［従来の技術］ 近年、生体の神経網を模擬して、いままで解決が困難だ
った問題を解決するようになった。従来、このような神
経網を模擬した系は、神経網の動作を模擬するアルゴリ
ズムを通常の計算機上で実行することによって実現して
いた。

［発明の解決しようとする課題および目的］神経網を模
擬するアルゴリズムを計算機で実行する場合、主記憶へ
のアクセス速度が処理速度を律速する。神経網を模擬す
るには、多数の神経細胞についてそれらの出力値と、神
経細胞同士の結合重みをデータとして主記憶に蓄えてお
き、このデータを用いて順次演算をおこなうため、主記
憶へのアクセスは頻繁に発生する。一方、主記憶は大量
のデータを蓄えるため大容量であり、計算機のコストを
抑えるため低速なメモリが使わる。このため、主記憶へ
のアクセスは演算器内部の動作に比較して低速で処理速
度を律速することになる。

本発明の目的は、かかる欠点を解消し、神経網の模擬を
高速に実行する手段を提供することにある。

［課題を解決するための手段］ 本発明の神経網計算機は、 神経細胞における演算を模擬する演算部と、前記演算部
における演算の対象となるデータを、必要となる順番に
整列して保持する主記憶と、前期演算部における演算の
対象となるデータを、各神経細胞への入力値である第一
種データ、各神経細胞からの出力である第二種データ、
各神経細胞の結合重みである第三種データとに分離して
保持するキャッシュメモリと、 前記演算部と、前記キャッシュメモリ間の順次データ転
送を制御し、かつ前記第三種データ領域が、前記演算部
から読み出されると、被参照データを無効にするキャッ
シュ制御部と、 前記演算部から要求された前記キャッシュメモリ内のデ
ータが無効であることを検出し、前記演算部を休止させ
る無効データ検出部と、前記キャッシュメモリ内の無効
データ数があるしきい値を越えると、前記無効データを
、前記主記憶内の適切なデータに一括して置き換え、当
該データを有効にし、かつ前記キャッシュ制御部より前
記キャッシュへのアクセス優先権が高いバースト転送制
御部とをその構成要素として含むことを特徴とする。

１作用］ 本発明のかかる構成によれば、神経網を模擬するアルゴ
リズムにおいては、主記憶内のデータが演算に使われる
順番が予測可能であることを利用し、主記憶に蓄えられ
たデータは演算に利用される以前に高速なキャッシュメ
モリに一括してバースト転送されているため演算器はデ
ータを読むのに待ち時間が小さくなる。また、このよう
なバースト転送は、ランダムアクセスに比べて高速であ
り、主記憶へのアクセスが実効的に高速化される。

この結果、神経網を模擬した処理が高速に行える。

［実施例］ 以下に本発明の一実施例を詳しく説明する。本発明の神
経網計算機ではさまざまなタイプの神経網の模擬が可能
であるが、この説明ではいわゆるホップフィールドモデ
ルを例にとりその実現を説明する。

まず、第２図によりホップフィールドモデルの神経網に
ついて説明する。２１はｎ個の神経細胞であり、それぞ
れｎ＋１本の人力線２２と一つの高力線２３をもつ。各
出力線はすべての神経細胞の人力線に接続されている。

神経細胞に順次１からｎまで番号をつける。神経細胞ｉ
の出力が神経細胞ｊに入力されたとき、この入力値に乗
算される値を神経細胞ｉからｊへの結合重みといいＷｊ
ｉで表す。神経細胞ｊの出力値をｙｊとすると、これが
各神経細胞の入力にフィードバックされ、新たな出力値
が次のような演算によって求められる。

ｙｊ＝ｆ［Σ　ｗｊｉ−ｙｉ］　　　　式１ｆ　目はこ
の模擬系に特有な非線形変換関数である。神経細胞２４
は、この非線形変換で使われるバイアス値を与える神経
細胞でこの神経細胞２４から神経細胞ｊへの結合重みを
Ｗ　ｊ　ｎ＋１とする。

この神経回路網での演算は次に示す手順で行われる。

（Ａ）各神経細胞での出力の初期値を与える。

（Ｂ）各神経細胞で上記式１の演算を行い、新しい出力
値を決める。

（Ｃ）出力値が集束したか判定する。集束したなら終了
。そうでなければ（Ｂ）へ戻る。

このようにして、神経回路網の安定状態を、繰り返し計
算で求める。

第３図は本発明の一実施例である神経回路網計算機にお
ける主記憶内のデータ配置図である。本実施例ではｙｉ
、ｗｉｊ等のデータサイズは４バイトであり、４バイト
を１ワードと呼ぶことにする。

第３図に示すように、主記憶３１の先頭より、神経細胞
の出力ｙｊ（ｊ＝１．２、・・・ｎ）を配置する。さら
に続く領域には結合重みＷｊｉをｗｌｊ（ｊ−１，２、
−−・ｎ）　、ｗ２ｊ　（ｊ＝１．２、・ｎ）、・・・
・ｗｎｊ　（Ｊ　＝　１．２、ｎ）の順に配置する。な
お主記憶はＤＲＡＭ　（ダイナミックアクセスメモリ）
で構成される。

第４図は本発明の一実施例におけるキャッシュメモリの
構成図である。キャッシュメモリ４１は高速なスタティ
ックＲＡＭ　（ＲＡＭはランダムアクセスメモリ）で構
成される。キャッシュメモリは図示してない３つの境界
レジスタによって３つの領域、すなわち第一種データ領
域４２、第二種データ領域４３、第三種データ領域４４
に分割される。境界レジスタの内容をソフトウェアによ
って書き換えることにより、この分割は動的に変えられ
る。前述のホップフィールドモデルを模擬する場合、第
一種データ領域はすべての神経細胞の出力値を配置する
ためｎ＋１ワード分の大きさを持つ。第二種データ領域
も同様である。第三種データ領域は神経細胞の結合重み
を配置するための領域である。一般にキャッシュメモリ
の残り部分すべてが第三種データ領域になるが、結合重
みをすべて格納してもキャッシュメモリが満杯にならな
い場合は結合重みが格納された部分のみ第三種データ領
域となる。

キャッシュメモリには１ワードごとに無効フラグフィー
ルド４５があり、このフラグが設定されているワードは
無効となる。

第１図は、本発明の１実施例の構成図である。

実行に先立ち計算機の初期化が行われる。初期化におい
て、前述の境界レジスタの設定をしキャッシュメモリ１
１を３つの領域に分割する。

第一種データアドレスレジスタ１２は前記第一種データ
領域内のデータのみを循環的に指すポインタで第一種デ
ータ領域の先頭を指すように初期化される。第二種デー
タアドレスレジスタ１３は同様に第二種データ領域のみ
を循環的に指すポインタで第二種データ領域の先頭を指
すように初期化される。第三種データアドレスレジスタ
１４は、同様に第三種データ領域を循環的に指すポイン
タで、第三種データ領域の先頭を指すよう初期化される
。

演算部１５は、キャッシュアドレス制御部１６にデータ
要求信号１７を出して、第一種データアドレスレジスタ
１２、ないしは第二種データアドレスレジスタ１３、な
いしは第三種データアドレスレジスタ１４の内容をアド
レスバス１８に出力する。どのアドレスレジスタの内容
を出力するかは、演算部１５の要求により決まる。演算
部１５は待ち要求信号１９が人力されると、それが解除
されるまで演算を休止し、データ要求信号を高し続ける
。

調停機構２０はキャッシュアドレス制御部１６と後述す
るバースト転送制御部２１がらのキャッシュメモリ１１
へのアクセス要求を調停し、調停されたアドレスをアド
レスバス２２に出力する。

具体的にはバースト転送制御部２１がらのアクセスが優
先的に処理される。すなわちバースト転送制御部２１が
データをキャッシュメモリ１１に転送する際は、たとえ
キャッシュアドレス制御部１６がキャッシュメモリのア
ドレスをアドレスバス１８に出力しても、アドレスバス
２２にはバースト転送部２１が指定したアドレスが出力
される。

この際、調停機構２０は、待ち要求信号１９を設定して
演算部１５を休止させる。バースト転送制御部２１のキ
ャッシュメモリ１１へのアクセスが終了すると、調停機
構２０は待ち要求信号１９を解除する。

キャッシュアドレス制御部１６は、キャッシュメモリ１
１の第三種データ領域を読み出すとその読みだしたデー
タの無効フラグを設定する。無効データ検出部２３は、
キャッシュアドレス制御部１６が指定するデータの無効
フラグが設定されていれば、それを検出して待ち要求信
号１９を設定して演算部を休止させる。

演算部のデータ要求信号１７は、無効データ数管理部２
４にも送られ、無効データ数管理部は、演算部がキャッ
シュメモリの第三種データを読みだした数を無効データ
数カウンタ２５によって計測する。

しきい値検出部２６は、しきい値レジスタ２７の値と、
無効データ数カウンタ２５の値を比較し、無効データ数
がしきい値に等しくなると、転送起動信号２８を、バー
スト転送制御部２１に送る。

その後、無効データ数カウンタ２５は零にリセットされ
る。

バースト転送制御部２１は、ソースアドレスレジスタ２
９と、デスティネーションアドレスレジスタ３０を管理
し、しきい値検出部からの転送起動信号２８を受けて、
ソースアドレスレジスタの指す主記憶の領域３４から、
デスティネーションアドレスレジスタの指すキャッシュ
メモリ１１の領域へしきい値数分のデータをバースト転
送する。

バースト転送制御部は送り元の主記憶のアドレスをアド
レスバス３１にのせ、それと同期して、送り先のアドレ
スをアドレスバス３２しこのせる。データはデータバス
３３に主記憶より出力されキャッシュメモリがそれらを
読み込む。主記憶からデータを読み出すタイミングはＤ
ＲＡＭの高速ベージモードで実現され、ランダムアクセ
スする場合より高速である。ソースアドレスレジスタは
順次増加して第３図に示すデータを順次アクセスするが
、デスティネーションアドレスレジスタは第三種データ
領域を指す場合には、第三種データ領域を循環的に指す
ポインタになる。

本実施例の神経網計算機を使って、ホップフィールドモ
デルの模擬をする場合の流れは以下のようになる。

まず、計算機の各レジスタの初期化を行う。ここでは、
模擬する神経網の構造に応じて、境界レジスタを設定し
、キャッシュメモリが３つに区切られる。さらにこの設
定に従い、第一種データアドレスレジスタ、第二種デー
タアドレスレジスタ、第三種データアドレスレジスタを
それぞれ、対応する領域の先頭を指すように設定する。

無効データ数カウンタは零設定する。しきい値レジスタ
はＤＲＡＭからのバースト転送するデータサイズに設定
する。

次に、ソースアドレスレジスタを主記憶のデータ領域の
先頭を指すように設定し、デスティネーションアドレス
レジスタをキャッシュメモリの先頭を指すように設定す
る。バースト転送制御部を起動し、キャッシュメモリの
第一種データ領域に、神経細胞の出力値の初期値をすべ
て転送する。

演算部の演算を開始する。演算部は、演算に要するデー
タを順次要求し、演算は１式によって行われるため、要
求はキャッシュメモリの第一種データと第三種データに
対してなされる。演算部がアクセスするとき、バースト
転送制御部からのアクセスと衝突すると、待ち要求信号
が設定されて演算部は一時休止する。さらに第三種デー
タにアクセスしたときは、当該データの無効フラグがチ
エツクされ、無効フラグが設定されていれば、やはり待
ち要求信号が送られ、演算部は一時休止する。演算結果
は、第二種データアドレスレジスタの指すキャッシュメ
モリに書き込まれる。第三種データは、無効データ数管
理部としきい値検出部とバースト転送制御部の機能によ
り、主記憶から演算に使われるに先立ちキャッシュメモ
リに読み込まれていることになる。

すべての神経細胞についての演算が終わると、第一種デ
ータアドレスレジスタと第二種データアドレスレジスタ
の内容を入れ換え、先の演算で計Ｘされた各神経細胞の
出力値を第一種データとして同様の演算が行われる。

出力値が集束するまで同様の手続きが繰り近される。

［発明の効果］ 以上のように本発明によれば、主記憶へのアクセスで演
算部が長く待たされることがなく、高速な神経網の模擬
が可能になる。

【図面の簡単な説明】

第１図は、本発明の神経網計算機の一実施例の構成を説
明する図。 第２図は、ホップフィールドモデルの神経網の説明図。 第３図は、本発明の神経網計算機の一実施例における、
主記憶内のデータ配置を示す図。 第４図は、本発明の神経網計算機における、キャッシュ
メモリの構成を説明するための図。 以上 出願人　セイコーエプソン株式会社 代理人　弁理士　鈴木喜三部（化１名）第２図 第３図 第１図 第４図

Claims (1)

1. 【特許請求の範囲】 　神経細胞における演算を模擬する演算部と、前記演算
   部における演算の対象となるデータを、必要となる順番
   に整列して保持する主記憶と、前期演算部における演算
   の対象となるデータを、各神経細胞への入力値である第
   一種データ、各神経細胞からの出力である第二種データ
   、各神経細胞の結合重みである第三種データとに分離し
   て保持するキャッシュメモリと、 前記演算部と、前記キャッシュメモリ間の順次データ転
   送を制御し、かつ前記第三種データ領域が、前記演算部
   から読み出されると、被参照データを無効にするキャッ
   シュ制御部と、 前記演算部から要求された前記キャッシュメモリ内のデ
   ータが無効であることを検出し、前記演算部を休止させ
   る無効データ検出部と、 前記キャッシュメモリ内の無効データ数があるしきい値
   を越えると、前記無効データを、前記主記憶内の適切な
   データに一括して置き換え、当該データを有効にし、か
   つ前記キャッシュ制御部より前記キャッシュへのアクセ
   ス優先権が高いバースト転送制御部とをその構成要素と
   して含むことを特徴とする神経網計算機。