JPH0243665A - ニューラルネットワーク装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、ニューラルネットワーク装置に関し。

特に学習過程において動的に変化する３値以上の重みを
持つニューラルネットワークの重み付き接続線（以下可
変シナプス結合と呼ぶ）を専用ハードウェアで実現する
ニューラルネットワーク装置に関する。

〔従来技術〕

最近、半導体技術やコンピュータ技術の発展に伴い、再
び米国を中心としてニューラルネットワークに関する研
究が盛んになり、またＬＳＩや光学素子を用いてニュー
ラルネットワークをハードウェアで実現することも提案
されている。

例えば、３層構層のニューラルネットワーク装置では、
ニューラルネットは入力層、中間層、および出力層から
構成され、各層を構成するユニットは各方向に可変シナ
プス結合で結ばれる。このため、あるユニットが複数の
入力を受ける場合、前段のユニットの出力と可変シナプ
ス結合の重みとの荷重総和が入力値となる。また入力層
の各ユニットに入力データを与えると、このデータは各
ユニットで変換されて中間層に伝わり、最後に出力層か
ら出力される。この際、実際の出力と望ましい出力（期
待値）とを比べ、その差が減少するように各可変シナプ
ス結合の重みを変化させる。

また、このようなニューラルネットにおける学習のアル
ゴズムとしては、逆伝搬法（バック・プロパゲーション
）が代表的である。

このバック°プロパゲーションでは、入力データを与え
て実際に得る出力値と期待値との差を縮めるように、可
変シナプス結合の重みを変化させる手順を、出力層から
中間層、中間層から入力層というように順次移して行い
、この手順を繰り返す。これにより、入力データに対し
て望ましい出力データが得られるように可変シナプス結
合の重みを収束していく。

また、可変シナプス結合をハードウェアで実現する場合
、従来は増幅器で実現したニューロンがらの出力、ある
いはニューロンへの入力を電気的に接続したり、切断し
たりする方法が採用されていた。

この場合、可変シナプス結合の重みの値は−１（抑制性
接続あり）、Ｏ（接続なし）、＋ｉ（興奮性接続あり）
の３値を静的にプログラムすることが可能である。

なお、この種の装置として関連するものには。

例えば特願昭６３−１１３２３８号が挙げられる。

また、従来のニューラルネット装置については、例えば
″米国を中心に加速するニューロコンピュータの研究・
開発２日経エレクトロニクス（１９８７年１月２６日号
Ｌｐρ、１５９〜１７０２日経マグロウヒル社”におい
て論じられている。

〔発明が解決しようとする課題〕

上記従来技術では、学習過程において動的に変化し、か
つ３値以上の重みを持つ可変シナプス結合を有するニュ
ーラルネットワーク、例えばバック・プロパゲーション
型ネットワークの可変シナプス結合の実現には適用でき
ないという問題があった・ 本発明の目的は、このような問題点を改善し、ニューラ
ルネットワークの可変シナプス結合を、書き換え可能な
記憶回路から構成された重み記憶回路と、前段のニュー
ロンの出力に可変シナプス結合の重みを乗算する乗算回
路とで構成することにより、学習過程において動的に変
化する３値以上の重みを持つニューラルネットワークの
可変シナプス結合をハードウェアで実現して、学習速度
および処理速度を向上するニューラルネットワーク装置
を提供することにある。

〔課題を解決するための手段〕

上記目的を達成するため、本発明のニューラルネットワ
ーク装置は、学習過程において動的に変化する３値以上
の重みを持つ可変シナプス結合を有するニューラルネッ
トワーク装置において、重み付き接続線を、書き換え可
能な記憶回路から構成された重み記憶回路と、前段のニ
ューロンの出力に重み付き接続線の重みを乗算する乗算
回路とで構成し、その重み記憶回路で重み付き接続線の
重みを保持して、前段のニューロンの出力とその重み記
憶回路に保持された重みとをその乗算回路で乗算して、
後段のニューロンに入力することに特徴がある。

〔作用〕

本発明においては、多層構造型ニューラルネットワーク
装置の可変シナプス結合を、書き換え可能な重み記憶回
路と、前段のニューロンの出力に可変シナプス結合の重
みを乗算する乗算回路とで構成することにより、学習過
程で動的に変化する３値以上の重みを持つ可変シナプス
結合を専用ハードウェアで実現することができる。

例えば、重み記憶回路としてレジスタを用いた場合、学
習過程における入力層のあるユニットと中間層のあるユ
ニットを結ぶ可変シナプス結合の重みを記憶するため、
中間層のユニットは重みの符号および絶対値を示す２進
数のデータをレジスタに書き込み、レジスタはこれを保
持する。

また、入力層のユニットの出カイ直を０．１の２値とし
、乗算回路をＡＮＤゲートで構成した場合、その出力値
が０であれば１乗算回路のＡＮＤゲートの片方への入力
がＯとなり、中間層のユニットへの入力値はＯとなる。

また入力層のユニットの出力値が１であれば、乗算回路
のＡＮＤゲートの片方への入力が１となり、ＡＮＤゲー
トの出力はレジスタの出力値と一致する。これにより、
前段のユニットの出力値に可変シナプス結合の重みを乗
算する。

これらの回路で可変シナプス結合を構成することにより
、ニューラルネットワーク装置の学習速度および処理速
度を向上する。

〔実施例〕

以下、本発明の一実施例を図面により説明する。

第２図は、本発明を適用する多層構造型ニューラルネッ
トワークの構成図である。

第２図において、１は入力層のユニット（Ａ。

Ｂ）、２は中間層のユニット（Ｃ，Ｄ）、３は出力層の
ユニット（Ｅ）である。また、矢印の付加された線６〜
１１は重みを有する接続線（可変シナプス結合）、４，
５は入力層のユニットへの入力線、１２は出力層のユニ
ットからの出力線である。なお、各１間の可変シナプス
結合には適当なアルゴリズム（例えばバック・プロパゲ
ーション・アルゴリズム）によって決定される重みが与
えられる。

例えば、入力層のユニット１と中間層の二ニット２を結
ぶ可変シナプス結合の重みが＋０．８で。

ユニット１の出力が１の場合には、ユニット１からユニ
ット２への入力値は＋０．８となる。

第１図は、本発明の一実施例における多層構造型ニュー
ラルネットワーク装置の層間を接続する可変シナプス結
合の構成図、第３図は本発明の一実施例における可変シ
ナプス結合の乗算回路の構成図である。

第１図において、１３は入力層のユニット１と中間層の
ユニット２を接続する可変シナプス結合、１４は書き換
え可能な重み記憶回路、１５は（出力）×（重み）の乗
算回路、１６は乗算回路１５への入力線、１７はユニッ
ト２からの出力線、１８は重み記憶回路１４への信号線
、１９は乗算回路１５への入力線、２ｏはユニット２へ
の入力線である。

また、接続線の重みを−０，１、−０，８，−０゜６、
−〇、４、−０．２．Ｏ１＋０．２、＋　’０　、４、
＋０．６、＋０．８．＋１．０という１１個の値で与え
るものとし、適当な学習アルゴリズムにより重みの値が
動的に変化するものとする。またニューロンの出力値を
０または１の２値とする。

まず、重み記憶回路１４の動作について述べる。

なお、本実施例では重み記憶回路としてレジスタを用い
る。

いま、学習過程でのある時刻におけるユニット１とユニ
ッ、ト２を結ぶ可変シナプス結合１３の重みが＋０．８
であったとする。

この場合、ユニット２は入力線１８を介して、重み記憶
回路であるレジスタ１４に２進数で「１１０１」という
データを書き込む、なお、このデータの第１ビツトは重
みの符号を示しく１のとき正、０のときＯまたは負）、
残り３ビツトは重みの絶対値を与える。

これにより、第１ビツトが１なので重みの符号は正、残
り３ビツトは２進数で「１０１」なので１０進数で５を
示し、重みの絶対値は５である。

従って、０から数えて５番目の重み、つまり＋０゜８と
なる。

このように１本実施例ではレジスタ１４によって可変シ
ナプス結合１３の重みを記憶する。

次に、乗算回路１５の動作について述べる。なお、本実
施例では、第３図のように乗算回路１５をＡＮＤゲート
２１で構成し、これによりニューロンの２値の出力に３
値以上の重みを乗算する。

例えば、入力層のユニット１の出方が０の場合、（出力
）×（重み）の乗算回路１５内にあるＡＮＤゲート２１
への片方の入力が０となるため、その出力はレジスタ１
４の出力値に拘らず０となり、ユニット２への入カイ直
も０となる。またユニットＡの出力が１の場合には、（
出力）×（重み）の乗算回路１５内にあるＡＮＤゲート
２１への片方の入力が１となるため、その出力はレジス
タ１４の出方値と一致する。

このように、（出力）×（重み）の乗算回路１５は入力
層のユニット１の出力（０または１）と可変シナプス結
合の重みを乗算する。

なお、本実施例では、入力層のユニット１と中間層のユ
ニット２とを結ぶ可変シナプス結合１３について述べた
が、他のシナプス結合についても同様に専用ハードウェ
アで実現できる。

また、重みの値の数を１１個とした場合について述べた
が、この数は容易に拡張することができることも明らか
である。

さらに、ニューロンの出力値を０，１の２値とした場合
について述べたが、０．１の２値以外である場合につい
ても、本実施例を応用することにより容易に可変シナプ
ス結合を専用ハードウェアで構成することができる。

〔発明の効果〕

本発明によれば、ニューラルネットワークの可変シナプ
ス結合を、書き換え可能な記憶回路と乗算回路とで構成
できるため、学習過程において動的に変化する３値以上
の重みを持つニューラルネットワークの可変シナプス結
合を専用ハードウェアで実現することが可能である。

また、汎用ハードウェア上にソフトウェアで可変シナプ
ス結合を実現する方法に比べ、学習速度および処理速度
を向上することができる。

【図面の簡単な説明】

第１図は本発明の一実施例における多層構造型ニューラ
ルネットワーク装置の層間を接続する可変シナプス結合
の構成図、第２図は本発明を適用する多層構造型ニュー
ラルネットワークの構成図、第３図は本発明の一実施例
における可変シナプス結合の乗算回路の構成図である。 １：入力層のユニット（Ａ、Ｂ）、２　：中間層のユニ
ット（Ｃ，Ｄ）、３　：出力層のユニット（Ｅ）。 ４．５：入力層のユニットへの入力線、６〜１１：重み
を有する接続線（可変シナプス結合）、１２：出力層の
ユニットからの出力線、１３：可変シナプス結合、１４
：書き換え可能な重み記憶回路（レジスタ）、１５：（
出力）×（重み）の乗算回路。 １６二乗算回路１５への入力線、１７：ユニット２から
の出力線、１８：重み記憶回路１４への信号線、１９：
乗算回路１５への入力線、２ｏ：ユニット２への入力線
。 特許出願人　日本電信電話株式会社 代理人　弁理士　磯　村　雅　俊

Claims (1)

【特許請求の範囲】
1. （１）　学習過程において動的に変化する３値以上の重
   みを持つ重み付き接続線を有するニューラルネットワー
   ク装置において、該重み付き接続線を、書き換え可能な
   記憶回路で構成した重み記憶回路と、前段のニューロン
   の出力に該重み付き接続線の重みを乗算する乗算回路と
   で構成し、該重み記憶回路で該重み付き接続線の重みを
   保持して、前段のニューロンの出力と該重み記憶回路に
   保持された重みとを該乗算回路で乗算して、後段のニュ
   ーロンに入力することを特徴とするニューラルネットワ
   ーク装置。