JPH0567062A - ニユーラルネツトワーク装置 - Google Patents
ニユーラルネツトワーク装置Info
- Publication number
- JPH0567062A JPH0567062A JP3220737A JP22073791A JPH0567062A JP H0567062 A JPH0567062 A JP H0567062A JP 3220737 A JP3220737 A JP 3220737A JP 22073791 A JP22073791 A JP 22073791A JP H0567062 A JPH0567062 A JP H0567062A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- neuron
- synapse
- signal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【目的】ニューロンユニットについて複数種類のハード
ウェア（集積回路）を用意することなく、同一構成で異
なる複数の学習法を任意に選択できるようにしたニュー
ラルネットワーク装置を提供することを目的とする。 【構成】複数のニューロンユニット４ａ，４ｂと、これ
らのニューロンユニットへの入力信号に対して、学習信
号に基づいて更新されるシナプス荷重を与えるシナプス
ユニット５ａ，５ｂを基本構成要素とし、ニューロンユ
ニット４ａ，４ｂ内に異なる学習法に対応する複数の学
習信号を生成し、これらの学習信号から学習信号選択ス
イッチ２７によってシナプス荷重を更新するための一つ
の学習信号を選択できるようにしたニューラルネットワ
ーク装置。
ウェア（集積回路）を用意することなく、同一構成で異
なる複数の学習法を任意に選択できるようにしたニュー
ラルネットワーク装置を提供することを目的とする。 【構成】複数のニューロンユニット４ａ，４ｂと、これ
らのニューロンユニットへの入力信号に対して、学習信
号に基づいて更新されるシナプス荷重を与えるシナプス
ユニット５ａ，５ｂを基本構成要素とし、ニューロンユ
ニット４ａ，４ｂ内に異なる学習法に対応する複数の学
習信号を生成し、これらの学習信号から学習信号選択ス
イッチ２７によってシナプス荷重を更新するための一つ
の学習信号を選択できるようにしたニューラルネットワ
ーク装置。
Description
【０００１】
【産業上の利用分野】本発明はニューラルネットワーク
装置に係り、特に同一構成のニューロンユニットで異な
った学習法を適宜選択できるようにしたニューラルネッ
トワーク装置に関する。
装置に係り、特に同一構成のニューロンユニットで異な
った学習法を適宜選択できるようにしたニューラルネッ
トワーク装置に関する。
【０００２】
【従来の技術】ニューラルネットワークは、音声認識等
の識別問題、ロボット等の運動制御問題、各種のプロセ
ス制御問題およびニューロコンピュータ等に広く利用さ
れ始めている。ニューラルネットワークの基本構成は、
図５に示されるようにニューロンユニットｊと、各ニュ
ーロンユニット間を結合するシナプスユニットからなっ
ている。
の識別問題、ロボット等の運動制御問題、各種のプロセ
ス制御問題およびニューロコンピュータ等に広く利用さ
れ始めている。ニューラルネットワークの基本構成は、
図５に示されるようにニューロンユニットｊと、各ニュ
ーロンユニット間を結合するシナプスユニットからなっ
ている。
【０００３】神経学習においては、文献１：「神経回路
網の数理」甘利俊一著、産業図書、１９７８、に記載さ
れているように、シナプスユニットに設定された荷重
（シナプス荷重）Ｗijはそのシナプスユニットへの入力
信号の強さｘi とニューロンユニットｊからの学習信号
ｒとの積ｒ・ｘi を更新量として変化することが知られ
ている。この時、シナプス荷重ｗijは Ｗij(t+1) ＝Ｗij(t) ＋Ｃ・ｒ(t) ・ｘi(t) により更新される。Ｃは学習の速度を決める係数であ
る。
網の数理」甘利俊一著、産業図書、１９７８、に記載さ
れているように、シナプスユニットに設定された荷重
（シナプス荷重）Ｗijはそのシナプスユニットへの入力
信号の強さｘi とニューロンユニットｊからの学習信号
ｒとの積ｒ・ｘi を更新量として変化することが知られ
ている。この時、シナプス荷重ｗijは Ｗij(t+1) ＝Ｗij(t) ＋Ｃ・ｒ(t) ・ｘi(t) により更新される。Ｃは学習の速度を決める係数であ
る。
【０００４】ここで、学習信号ｒとしてどのような信号
を用いるかによって、種々の学習法が得られる。例えば
学習信号ｒにニューロンユニットｊの出力を用いる方法
は、ヘッブ（Ｈｅｂｂ）学習と呼ばれ、学習信号ｒとし
て教師信号とニューロンユニットｊの出力との差を用い
る方法は、誤り訂正学習法と呼ばれる。また、学習信号
ｒとして教師信号自身を用いる方法は相関学習と呼ばれ
る。さらに、非線形最適化法手法により教師信号とニュ
ーロンユニットｊの出力の差を評価関数とし、この評価
関数を小さくするような学習信号ｒを生成すると、誤差
逆伝搬学習法が実現される（文献２：ARTIFICAL NEURAL
SYSTEMS,PERGAMON PRESS,1990）。
を用いるかによって、種々の学習法が得られる。例えば
学習信号ｒにニューロンユニットｊの出力を用いる方法
は、ヘッブ（Ｈｅｂｂ）学習と呼ばれ、学習信号ｒとし
て教師信号とニューロンユニットｊの出力との差を用い
る方法は、誤り訂正学習法と呼ばれる。また、学習信号
ｒとして教師信号自身を用いる方法は相関学習と呼ばれ
る。さらに、非線形最適化法手法により教師信号とニュ
ーロンユニットｊの出力の差を評価関数とし、この評価
関数を小さくするような学習信号ｒを生成すると、誤差
逆伝搬学習法が実現される（文献２：ARTIFICAL NEURAL
SYSTEMS,PERGAMON PRESS,1990）。
【０００５】これらの学習法は、それぞれ特有の能力を
持っている。例えば、ヘッブ学習は雑音抑圧能力を持つ
（文献３：Self-Organization in a Perceptual Networ
k,R.Linsker et.al,IEEE Computer ,March 1988 pp.105
-117）。誤差逆伝搬学習法については、任意の非線形写
像の実現可能性が示されている（文献４：Neural andCo
ncurrent Real-Time Systems,John Wiley & Sons,1989)
。これらの能力は学習が正しく行われた場合にはじめ
て得られるものであって、学習が進まなかったり、過学
習と呼ばれる現象により、学習が不成立となる場合がし
ばしばある。
持っている。例えば、ヘッブ学習は雑音抑圧能力を持つ
（文献３：Self-Organization in a Perceptual Networ
k,R.Linsker et.al,IEEE Computer ,March 1988 pp.105
-117）。誤差逆伝搬学習法については、任意の非線形写
像の実現可能性が示されている（文献４：Neural andCo
ncurrent Real-Time Systems,John Wiley & Sons,1989)
。これらの能力は学習が正しく行われた場合にはじめ
て得られるものであって、学習が進まなかったり、過学
習と呼ばれる現象により、学習が不成立となる場合がし
ばしばある。
【０００６】そこで、個々の学習法の欠点を取り除くた
めに、異なった学習法をそれぞれ用いたニューラルネッ
トワークを直列または直並列に接続する方法が先の文献
１に開示されている。しかしながら、このような学習法
の異なる複数種類のニューラルネットワークを用意する
ことは、集積回路設計に要する手間が増大するばかりで
なく、全体の回路規模が増大するため、大幅なコストア
ップを招くという問題がある。
めに、異なった学習法をそれぞれ用いたニューラルネッ
トワークを直列または直並列に接続する方法が先の文献
１に開示されている。しかしながら、このような学習法
の異なる複数種類のニューラルネットワークを用意する
ことは、集積回路設計に要する手間が増大するばかりで
なく、全体の回路規模が増大するため、大幅なコストア
ップを招くという問題がある。
【０００７】さらに、特に誤差逆伝搬学習法における学
習不成立の問題を回避するため、学習開始時とは異なっ
た初期値で再学習させる方法も提案されているが、この
方法を具体的にどのように実現するかの知見に欠けてい
る。
習不成立の問題を回避するため、学習開始時とは異なっ
た初期値で再学習させる方法も提案されているが、この
方法を具体的にどのように実現するかの知見に欠けてい
る。
【０００８】
【発明が解決しようとする課題】上述したように、ニュ
ーラルネットワークにおける個々の学習法の欠点を除く
ために学習法の異なる複数種類のニューラルネットワー
クを直列または直並列に接続する方法は、大幅なコスト
アップを招くという問題があり、また誤差逆伝搬学習法
において学習不成立の問題を回避するため、学習開始時
とは異なった初期値で再学習させる方法については、具
体的な実現手段が提示されていないという問題があっ
た。
ーラルネットワークにおける個々の学習法の欠点を除く
ために学習法の異なる複数種類のニューラルネットワー
クを直列または直並列に接続する方法は、大幅なコスト
アップを招くという問題があり、また誤差逆伝搬学習法
において学習不成立の問題を回避するため、学習開始時
とは異なった初期値で再学習させる方法については、具
体的な実現手段が提示されていないという問題があっ
た。
【０００９】本発明は、ニューロンユニットについて複
数種類のハードウェア（集積回路）を用意することな
く、同一構成で異なる複数の学習法を任意に選択できる
ようにしたニューラルネットワーク装置を提供すること
を目的とする。
数種類のハードウェア（集積回路）を用意することな
く、同一構成で異なる複数の学習法を任意に選択できる
ようにしたニューラルネットワーク装置を提供すること
を目的とする。
【００１０】
【課題を解決するための手段】上記の課題を解決するた
め、本発明では複数のニューロンユニットと、これらの
ニューロンユニットへの入力信号に対して、学習信号に
基づいて更新されるシナプス荷重を与えるシナプスユニ
ットとを基本構成要素とするニューラルネットワーク装
置において、各ニューロンユニットが、異なる学習法に
対応する複数の学習信号を生成する学習信号生成手段
と、これら複数の学習信号からシナプス荷重を更新する
ための一つの学習信号を選択する学習信号選択手段とを
それぞれ備えることを特徴とする。
め、本発明では複数のニューロンユニットと、これらの
ニューロンユニットへの入力信号に対して、学習信号に
基づいて更新されるシナプス荷重を与えるシナプスユニ
ットとを基本構成要素とするニューラルネットワーク装
置において、各ニューロンユニットが、異なる学習法に
対応する複数の学習信号を生成する学習信号生成手段
と、これら複数の学習信号からシナプス荷重を更新する
ための一つの学習信号を選択する学習信号選択手段とを
それぞれ備えることを特徴とする。
【００１１】本発明においては、各ニューロンユニット
が同一の集積回路により構成され、外部からの制御信号
により所定の処理を行うように制御されるようにするこ
とが好ましい。
が同一の集積回路により構成され、外部からの制御信号
により所定の処理を行うように制御されるようにするこ
とが好ましい。
【００１２】また、学習信号生成手段は、例えばヘッブ
学習法と、微分ヘッブ学習法および誤差逆伝搬学習法の
うちの少なくとも二つの学習法に対応する学習信号を生
成するものとする。
学習法と、微分ヘッブ学習法および誤差逆伝搬学習法の
うちの少なくとも二つの学習法に対応する学習信号を生
成するものとする。
【００１３】
【作用】このように本発明では各ニューロンユニットが
異なる学習法に対応する複数の学習信号から一つの学習
信号を選択してシナプスユニットに供給する構成となっ
ているため、学習信号の選択によって同一構成のニュー
ロンユニットで学習法を変えることができる。従って、
例えば多層パーセプトロン型ニューラルネットワークに
おいて、各層毎に学習法を変えることでそれぞれの学習
法の能力を併せ持った信号処理が可能となる。また、特
に誤差逆伝搬学習法において、学習不成立の問題回避の
ための初期値の変更を学習信号の切り替えによって実現
することも可能となる。
異なる学習法に対応する複数の学習信号から一つの学習
信号を選択してシナプスユニットに供給する構成となっ
ているため、学習信号の選択によって同一構成のニュー
ロンユニットで学習法を変えることができる。従って、
例えば多層パーセプトロン型ニューラルネットワークに
おいて、各層毎に学習法を変えることでそれぞれの学習
法の能力を併せ持った信号処理が可能となる。また、特
に誤差逆伝搬学習法において、学習不成立の問題回避の
ための初期値の変更を学習信号の切り替えによって実現
することも可能となる。
【００１４】
【実施例】以下、図面を参照して本発明の実施例を説明
する。図１は、本発明の一実施例に係るニューラルネッ
トワーク装置全体の概略構成を示すブロック図である。
このニューラルネットワーク装置は、図６に模式的に示
した多層パーセプトロン型ニューラルネットワークを集
積回路により実現したものであり、中間層ニューロンチ
ップ１、出力層ニューロンチップ２と、両ニューロンチ
ップ１，２間を結合するシナプスチップ３からなる。
する。図１は、本発明の一実施例に係るニューラルネッ
トワーク装置全体の概略構成を示すブロック図である。
このニューラルネットワーク装置は、図６に模式的に示
した多層パーセプトロン型ニューラルネットワークを集
積回路により実現したものであり、中間層ニューロンチ
ップ１、出力層ニューロンチップ２と、両ニューロンチ
ップ１，２間を結合するシナプスチップ３からなる。
【００１５】ニューロンチップ１，２はそれぞれ３個の
ニューロンユニット４により構成され、入出力端子とし
て各ニューロンユニット４毎にニューロン入力端子Ｆ
Ｉ、ニューロン出力端子ＦＯ、ニューロン学習信号入力
端子ＥＩおよびニューロン学習信号出力端子ＥＯを有す
る。ニューロンチップ１，２に用いられるニューロンユ
ニット４は、全て同一構成となっている。
ニューロンユニット４により構成され、入出力端子とし
て各ニューロンユニット４毎にニューロン入力端子Ｆ
Ｉ、ニューロン出力端子ＦＯ、ニューロン学習信号入力
端子ＥＩおよびニューロン学習信号出力端子ＥＯを有す
る。ニューロンチップ１，２に用いられるニューロンユ
ニット４は、全て同一構成となっている。
【００１６】一方、シナプスチップ３はマトリックス状
に結線された同一構成の９個のシナプスユニット５によ
り構成され、入出力端子として中間層ニューロンチップ
１のニューロン出力端子ＦＯに接続されるシナプス入力
端子ＳＦＩ、中間層ニューロンチップ１のニューロン学
習信号入力端子ＥＩに接続されるシナプス学習信号出力
端子ＳＥＯ、出力層ニューロンチップ２のニューロン学
習信号出力端子ＥＯに接続されるシナプス学習信号入力
端子ＳＥＩおよび出力層ニューロンチップ２のニューロ
ン入力端子ＦＩに接続されるシナプス出力端子ＳＦＯを
有する。
に結線された同一構成の９個のシナプスユニット５によ
り構成され、入出力端子として中間層ニューロンチップ
１のニューロン出力端子ＦＯに接続されるシナプス入力
端子ＳＦＩ、中間層ニューロンチップ１のニューロン学
習信号入力端子ＥＩに接続されるシナプス学習信号出力
端子ＳＥＯ、出力層ニューロンチップ２のニューロン学
習信号出力端子ＥＯに接続されるシナプス学習信号入力
端子ＳＥＩおよび出力層ニューロンチップ２のニューロ
ン入力端子ＦＩに接続されるシナプス出力端子ＳＦＯを
有する。
【００１７】シナプスチップ３において、行方向に各３
個ずつ並んだシナプスユニットは、シナプス入力端子Ｓ
ＦＩを介して中間層ニューロンチップ１内の同一のニュ
ーロンユニットからの出力信号を入力し、またこれらの
シナプスユニットから出力される学習信号は電流加算さ
れた後、シナプス学習信号出力端子ＳＥＯを介して出力
され、同じニューロンユニットへ供給される。
個ずつ並んだシナプスユニットは、シナプス入力端子Ｓ
ＦＩを介して中間層ニューロンチップ１内の同一のニュ
ーロンユニットからの出力信号を入力し、またこれらの
シナプスユニットから出力される学習信号は電流加算さ
れた後、シナプス学習信号出力端子ＳＥＯを介して出力
され、同じニューロンユニットへ供給される。
【００１８】列方向に各３個ずつ並んだシナプスユニッ
トは、出力層ニューロンチップ２内の同一のニューロン
ユニットからの学習信号がシナプス学習信号入力端子Ｓ
ＥＩを介して入力し、またこれらのシナプスユニットか
ら出力される信号は電流加算された後、シナプス出力端
子ＳＦＯを介して出力され、同じニューロンユニットへ
供給される。
トは、出力層ニューロンチップ２内の同一のニューロン
ユニットからの学習信号がシナプス学習信号入力端子Ｓ
ＥＩを介して入力し、またこれらのシナプスユニットか
ら出力される信号は電流加算された後、シナプス出力端
子ＳＦＯを介して出力され、同じニューロンユニットへ
供給される。
【００１９】ニューロンユニット４は、図２に示すよう
に、シグモイド関数回路２１、シグモイド導関数演算回
路２２、減算器２３、乗算器２４、機能切替スイッチ２
５，２６および学習信号選択スイッチ２７からなる。
に、シグモイド関数回路２１、シグモイド導関数演算回
路２２、減算器２３、乗算器２４、機能切替スイッチ２
５，２６および学習信号選択スイッチ２７からなる。
【００２０】シグモイド関数回路２１およびシグモイド
導関数演算回路２２の入力は、ニューロン入力端子ＦＩ
に共通に接続されている。シグモイド関数回路２１は閾
値処理要素であって、入力をａ、出力をｂとした時、Ｆ
（ａ）＝ｂなる関数処理を行い、その出力をニューロン
出力端子ＦＯへ送る。シグモイド導関数演算回路２２は
入力をａ、出力をｂとした時、ｄＦ（ａ）／ｄａ＝ｂな
る演算を行う。
導関数演算回路２２の入力は、ニューロン入力端子ＦＩ
に共通に接続されている。シグモイド関数回路２１は閾
値処理要素であって、入力をａ、出力をｂとした時、Ｆ
（ａ）＝ｂなる関数処理を行い、その出力をニューロン
出力端子ＦＯへ送る。シグモイド導関数演算回路２２は
入力をａ、出力をｂとした時、ｄＦ（ａ）／ｄａ＝ｂな
る演算を行う。
【００２１】減算器２３は、シグモイド関数回路２１の
出力とニューロン学習信号入力端子ＥＩから入力される
信号との減算を行う。機能切替スイッチ２５，２６はニ
ューロンユニット４の機能を切替えるためのものであ
り、ニューロンユニット４が中間層の時はスイッチ２５
はオフ状態、スイッチ２６はオン状態とされ、ニューロ
ンユニット４が出力層の時はスイッチ２５はオン状態、
スイッチ２６はオフ状態とされる。乗算器２４は、ニュ
ーロン学習信号入力端子ＥＩから入力される信号または
減算器２３の出力信号と、シグモイド導関数演算回路２
２の出力信号との乗算を行う。
出力とニューロン学習信号入力端子ＥＩから入力される
信号との減算を行う。機能切替スイッチ２５，２６はニ
ューロンユニット４の機能を切替えるためのものであ
り、ニューロンユニット４が中間層の時はスイッチ２５
はオフ状態、スイッチ２６はオン状態とされ、ニューロ
ンユニット４が出力層の時はスイッチ２５はオン状態、
スイッチ２６はオフ状態とされる。乗算器２４は、ニュ
ーロン学習信号入力端子ＥＩから入力される信号または
減算器２３の出力信号と、シグモイド導関数演算回路２
２の出力信号との乗算を行う。
【００２２】ここで、ニューロンユニット４内では、異
なる学習法に対応する複数（この場合、３個）の学習信
号が生成される。すなわち、乗算器２４の出力からは誤
差逆伝搬学習法に対応する学習信号、シグモイド関数回
路２１の出力（ニューロンユニット４の出力）からはヘ
ッブ学習法に対応する学習信号、さらにシグモイド導関
数演算回路２２の出力からは、シグモイド関数回路２１
の出力の微分値、すなわち微分ヘッド学習法に対応する
学習信号がそれぞれ得られる。学習信号選択スイッチ２
７は、外部からの制御によりこれら３個の学習信号のう
ちの一つを選択し、それをニューロン学習信号出力端子
ＥＯから出力する。
なる学習法に対応する複数（この場合、３個）の学習信
号が生成される。すなわち、乗算器２４の出力からは誤
差逆伝搬学習法に対応する学習信号、シグモイド関数回
路２１の出力（ニューロンユニット４の出力）からはヘ
ッブ学習法に対応する学習信号、さらにシグモイド導関
数演算回路２２の出力からは、シグモイド関数回路２１
の出力の微分値、すなわち微分ヘッド学習法に対応する
学習信号がそれぞれ得られる。学習信号選択スイッチ２
７は、外部からの制御によりこれら３個の学習信号のう
ちの一つを選択し、それをニューロン学習信号出力端子
ＥＯから出力する。
【００２３】シナプスユニット５は、図３に示すよう
に、乗算器３１〜３３およびレジスタ３４からなる。第
１の乗算器３１は、シナプス入力端子ＳＦＩに入力され
る信号とレジスタ３４に保持されたシナプス荷重を乗算
して、シナプス出力端子ＳＦＯへ出力する。第２の乗算
器３２は、シナプス学習信号入力端子ＳＥＩに入力され
る信号とレジスタ３４に保持されたシナプス荷重を乗算
して、シナプス学習信号出力端子ＳＥＯへ出力する。第
３の乗算器３３は、シナプス学習信号に入力される学習
信号とシナプス入力端子ＳＦＩに入力される信号とを乗
算して、レジスタ３４に保持されたシナプス荷重の値を
更新する。すなわち、シナプス荷重Ｗは、乗算器３３の
乗算結果をΔＷとして、Ｗ(T+1) ＝Ｗ(T) ＋ΔＷ（Ｔは
時間刻み）により更新される。
に、乗算器３１〜３３およびレジスタ３４からなる。第
１の乗算器３１は、シナプス入力端子ＳＦＩに入力され
る信号とレジスタ３４に保持されたシナプス荷重を乗算
して、シナプス出力端子ＳＦＯへ出力する。第２の乗算
器３２は、シナプス学習信号入力端子ＳＥＩに入力され
る信号とレジスタ３４に保持されたシナプス荷重を乗算
して、シナプス学習信号出力端子ＳＥＯへ出力する。第
３の乗算器３３は、シナプス学習信号に入力される学習
信号とシナプス入力端子ＳＦＩに入力される信号とを乗
算して、レジスタ３４に保持されたシナプス荷重の値を
更新する。すなわち、シナプス荷重Ｗは、乗算器３３の
乗算結果をΔＷとして、Ｗ(T+1) ＝Ｗ(T) ＋ΔＷ（Ｔは
時間刻み）により更新される。
【００２４】図４は、図２および図３に示すニューロン
ユニットおよびシナプスユニットを用いて図１に示した
多層パーセプトロンを実現した時の一部の構成を詳細に
示すブロック図であり、入力信号ｘがシナプスユニット
５ａを介して中間層ニューロンユニット４ａに結合さ
れ、中間層ニューロンユニット４ａの出力がシナプスユ
ニット５ｂを介して出力層ニューロンユニット４ｂに結
合され、出力層ニューロンユニット４ｂから出力信号ｙ
が出力される。各ニューロンユニット４ａ，４ｂおよび
シナプスユニット５ａ，５ｂの構成は、それぞれ図２お
よび図３に示した通りである。
ユニットおよびシナプスユニットを用いて図１に示した
多層パーセプトロンを実現した時の一部の構成を詳細に
示すブロック図であり、入力信号ｘがシナプスユニット
５ａを介して中間層ニューロンユニット４ａに結合さ
れ、中間層ニューロンユニット４ａの出力がシナプスユ
ニット５ｂを介して出力層ニューロンユニット４ｂに結
合され、出力層ニューロンユニット４ｂから出力信号ｙ
が出力される。各ニューロンユニット４ａ，４ｂおよび
シナプスユニット５ａ，５ｂの構成は、それぞれ図２お
よび図３に示した通りである。
【００２５】機能切替スイッチ２５，２６および学習信
号選択スイッチ２７は、制御回路６によって制御され、
中間層ニューロンユニット４ａにおいてはスイッチ２５
はオフ状態、スイッチ２６はオン状態となって減算器２
３がバイパスされた状態となっており、出力層ニューロ
ンユニット４ｂにおいてはスイッチ２５はオン状態、ス
イッチ２６はオフ状態となっている。中間層ニューロン
ユニット４ａおよび出力層ニューロンユニット４ｂから
は、それぞれ学習信号選択スイッチ２７により選択され
たｒ2 ，ｒ1 なる学習信号がシナプスユニット５ａ，５
ｂへそれぞれ出力され、シナプスユニット５ａ，５ｂに
おいてそれぞれの入力（一つ前の段のニューロンユニッ
トの出力）と乗算されることにより、シナプス荷重の更
新量ΔＷが算出される。但し、出力層ニューロンユニッ
ト４ｂのニューロン学習信号入力端子には、外部学習信
号（または教師信号）ｒ0 が入力される。
号選択スイッチ２７は、制御回路６によって制御され、
中間層ニューロンユニット４ａにおいてはスイッチ２５
はオフ状態、スイッチ２６はオン状態となって減算器２
３がバイパスされた状態となっており、出力層ニューロ
ンユニット４ｂにおいてはスイッチ２５はオン状態、ス
イッチ２６はオフ状態となっている。中間層ニューロン
ユニット４ａおよび出力層ニューロンユニット４ｂから
は、それぞれ学習信号選択スイッチ２７により選択され
たｒ2 ，ｒ1 なる学習信号がシナプスユニット５ａ，５
ｂへそれぞれ出力され、シナプスユニット５ａ，５ｂに
おいてそれぞれの入力（一つ前の段のニューロンユニッ
トの出力）と乗算されることにより、シナプス荷重の更
新量ΔＷが算出される。但し、出力層ニューロンユニッ
ト４ｂのニューロン学習信号入力端子には、外部学習信
号（または教師信号）ｒ0 が入力される。
【００２６】この場合、学習信号選択スイッチ２７はニ
ューロン層毎にあるいはニューロン群毎に個別に切り替
えることができるため、複数の学習法の特徴を合せ持っ
た信号処理が可能となる。例えば縦続接続したニューラ
ルネットワークの前段が入力信号ベクトル集合を直交ベ
クトル集合に変換し、さらにこの直交化した入力信号に
より後段が連想学習を行うといった複雑な処理を同一の
ハードウェアで実行することができる。また、前段で直
交化学習を行うことにより、異なった環境下での学習速
度が異なるという問題を回避することもできる。
ューロン層毎にあるいはニューロン群毎に個別に切り替
えることができるため、複数の学習法の特徴を合せ持っ
た信号処理が可能となる。例えば縦続接続したニューラ
ルネットワークの前段が入力信号ベクトル集合を直交ベ
クトル集合に変換し、さらにこの直交化した入力信号に
より後段が連想学習を行うといった複雑な処理を同一の
ハードウェアで実行することができる。また、前段で直
交化学習を行うことにより、異なった環境下での学習速
度が異なるという問題を回避することもできる。
【００２７】さらに、誤差逆伝搬学習法において学習不
成立に陥った時に、学習信号選択スイッチ２７によって
他の学習法、例えばヘッブ学習法や微分ヘッブ学習法に
一時的に切り替えれば、学習の初期値を変更したことに
なるため、この学習不成立の問題を容易に回避すること
ができる。
成立に陥った時に、学習信号選択スイッチ２７によって
他の学習法、例えばヘッブ学習法や微分ヘッブ学習法に
一時的に切り替えれば、学習の初期値を変更したことに
なるため、この学習不成立の問題を容易に回避すること
ができる。
【００２８】また、異なる特徴を持つニューラルネット
ワークを容易にしかも自在に組み合わせることが同一ハ
ードウェアで可能となるため、構成的に脳機能が解明さ
れた暁には、脳の構成要素を極めて簡単に実現すること
が可能となる。
ワークを容易にしかも自在に組み合わせることが同一ハ
ードウェアで可能となるため、構成的に脳機能が解明さ
れた暁には、脳の構成要素を極めて簡単に実現すること
が可能となる。
【００２９】なお、上述の実施例ではニューロンユニッ
ト内でヘッブ学習法、微分ヘッブ学習法および誤差逆伝
播学習法の３つの学習法に対応する学習信号を選択でき
るようにしたが、これはあくまで一例であり、種々の学
習法に対応する学習信号を選択できるようにすることも
同様に可能である。その他、本発明はその主旨を逸脱し
ない範囲で種々変形して実施することができる。
ト内でヘッブ学習法、微分ヘッブ学習法および誤差逆伝
播学習法の３つの学習法に対応する学習信号を選択でき
るようにしたが、これはあくまで一例であり、種々の学
習法に対応する学習信号を選択できるようにすることも
同様に可能である。その他、本発明はその主旨を逸脱し
ない範囲で種々変形して実施することができる。
【００３０】
【発明の効果】以上説明したように、本発明によればニ
ューロンユニット内に異なる学習法に対応した複数の学
習信号から任意の一つの学習信号を選択してシナプスユ
ニットに供給する機能を持たせたことにより、簡単なハ
ードウェア構成により、異なる複数の学習法の任意の組
み合わせによって所望の複雑な信号処理を容易に実現す
ることができる。また、誤差逆伝搬学習法における学習
不成立の問題を他の学習法への一時的な切り替えによる
初期値の変更によって容易に回避することが可能とな
る。
ューロンユニット内に異なる学習法に対応した複数の学
習信号から任意の一つの学習信号を選択してシナプスユ
ニットに供給する機能を持たせたことにより、簡単なハ
ードウェア構成により、異なる複数の学習法の任意の組
み合わせによって所望の複雑な信号処理を容易に実現す
ることができる。また、誤差逆伝搬学習法における学習
不成立の問題を他の学習法への一時的な切り替えによる
初期値の変更によって容易に回避することが可能とな
る。
【図１】本発明の一実施例に係る多層パーセプトロン型
ニューラルネットワーク装置の概略構成を示すブロック
図
ニューラルネットワーク装置の概略構成を示すブロック
図
【図２】同実施例におけるニューロンユニットの構成を
示すブロック図
示すブロック図
【図３】同実施例におけるシナプスユニットの構成を示
すブロック図
すブロック図
【図４】同実施例における中間層および出力層ニューロ
ンユニットとその前後のシナプスユニットを示すブロッ
ク図
ンユニットとその前後のシナプスユニットを示すブロッ
ク図
【図５】ニューラルネットワークにおける学習の概略に
ついての説明図
ついての説明図
【図６】多層パーセプトロン型ニューラルネットワーク
装置を模式的に示す図
装置を模式的に示す図
１…中間層ニューロンチップ ２…出力層ニュ
ーロンチップ ３…シナプスチップ ４，４ａ，４ｂ
…ニューロンユニット ５，５ａ，５ｂ…シナプスユニット ６…制御回路 ２１…シグモイド関数回路 ２２…シグモイ
ド導関数演算回路 ２３…減算器 ２４…乗算器 ２５，２６…機能切替スイッチ ２７…学習信号
選択スイッチ ３１〜３３…乗算器 ３４…レジスタ
ーロンチップ ３…シナプスチップ ４，４ａ，４ｂ
…ニューロンユニット ５，５ａ，５ｂ…シナプスユニット ６…制御回路 ２１…シグモイド関数回路 ２２…シグモイ
ド導関数演算回路 ２３…減算器 ２４…乗算器 ２５，２６…機能切替スイッチ ２７…学習信号
選択スイッチ ３１〜３３…乗算器 ３４…レジスタ
Claims (3)
- 【請求項１】複数のニューロンユニットと、これらのニ
ューロンユニットへの入力信号に対して、学習信号に基
づいて修正されるシナプス荷重を与えるシナプスユニッ
トとを基本構成要素とするニューラルネットワーク装置
において、 前記ニューロンユニットは、異なる学習法に対応する複
数の学習信号を生成する学習信号生成手段と、これら複
数の学習信号から前記シナプス荷重を更新するための一
つの学習信号を選択する学習信号選択手段とを備えるこ
とを特徴とするニューラルネットワーク装置。 - 【請求項２】前記複数のニューロンユニットは、同一構
成の集積回路からなり、外部からの制御信号により所定
の処理を行うように制御されることを特徴とする請求項
１記載のニューラルネットワーク装置。 - 【請求項３】前記学習信号生成手段は、ヘッブ学習法
と、微分ヘッブ学習法および誤差逆伝搬学習法のうちの
少なくとも二つの方法に対応する学習信号を生成するこ
とを特徴とする請求項１記載のニューラルネットワーク
装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22073791A JP3224831B2 (ja) | 1991-08-30 | 1991-08-30 | ニューラルネットワーク装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22073791A JP3224831B2 (ja) | 1991-08-30 | 1991-08-30 | ニューラルネットワーク装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0567062A true JPH0567062A (ja) | 1993-03-19 |
| JP3224831B2 JP3224831B2 (ja) | 2001-11-05 |
Family
ID=16755743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22073791A Expired - Fee Related JP3224831B2 (ja) | 1991-08-30 | 1991-08-30 | ニューラルネットワーク装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3224831B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017068491A1 (en) * | 2015-10-23 | 2017-04-27 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BE1015486A3 (fr) | 1999-09-30 | 2005-05-03 | Honda Motor Co Ltd | Appareil et procede pour serrer une bande de fixation et appareil a joint universel a vitesse constante. |
-
1991
- 1991-08-30 JP JP22073791A patent/JP3224831B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017068491A1 (en) * | 2015-10-23 | 2017-04-27 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device |
| JP2017130221A (ja) * | 2015-10-23 | 2017-07-27 | 株式会社半導体エネルギー研究所 | 半導体装置及び電子機器 |
| US10922605B2 (en) | 2015-10-23 | 2021-02-16 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device |
| US11893474B2 (en) | 2015-10-23 | 2024-02-06 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3224831B2 (ja) | 2001-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102578124B1 (ko) | 신경망 장치의 정규화 장치 및 방법 | |
| US5056037A (en) | Analog hardware for learning neural networks | |
| US4994982A (en) | Neural network system and circuit for use therein | |
| US5087826A (en) | Multi-layer neural network employing multiplexed output neurons | |
| US5075868A (en) | Memory modification of artificial neural networks | |
| US5103496A (en) | Artificial neural network system for memory modification | |
| JPH0264787A (ja) | 階層構造ニューラルネット | |
| JP2760170B2 (ja) | 学習機械 | |
| JP3224831B2 (ja) | ニューラルネットワーク装置 | |
| US5857178A (en) | Neural network apparatus and learning method thereof | |
| JPH07191951A (ja) | ニューラルネットワーク回路 | |
| JP3082530B2 (ja) | ニューラルネットワーク回路 | |
| FI103304B (fi) | Assosiatiivinen neuroni | |
| KR19980074455A (ko) | 신경회로망 및 구현방법 | |
| Wang | A modular analog CMOS LSI for feedforward neural networks with on-chip BEP learning | |
| Kufudaki et al. | 43. ASSOCIATIVE NEURAL NETWORKS WITH THRESHOLD-CONTROLLED ATTENTION | |
| GB2615262A (en) | Integrated circuit with a configurable neuromorphic neuron for artificial neural networks | |
| EP4356297A1 (en) | Neural network circuit for deep artificial neuronal networks using deep feedback control | |
| Lee | Identification and control of nonlinear dynamic systems using higher order neural networks | |
| Yamamori et al. | Two-stage parallel partial retraining scheme for defective multi-layer neural networks | |
| JPH04215171A (ja) | 情報処理装置 | |
| JPH02133888A (ja) | 集積回路及び半導体装置 | |
| Wang et al. | Modular Analog CMOS VLSI Chips for Multilayered Neural | |
| Stupmann et al. | Implementation of learning in continuous analog circuitry | |
| JPH0756877A (ja) | ニューラルネットワーク装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |