JPH04211802A - ニュ−ラルネットワ−ク装置 - Google Patents
ニュ−ラルネットワ−ク装置Info
- Publication number
- JPH04211802A JPH04211802A JP3053305A JP5330591A JPH04211802A JP H04211802 A JPH04211802 A JP H04211802A JP 3053305 A JP3053305 A JP 3053305A JP 5330591 A JP5330591 A JP 5330591A JP H04211802 A JPH04211802 A JP H04211802A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- input
- arithmetic processing
- neural network
- input signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 50
- 230000001186 cumulative effect Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000017531 blood circulation Effects 0.000 abstract description 3
- 210000004204 blood vessel Anatomy 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 27
- 210000002569 neuron Anatomy 0.000 description 18
- 238000003860 storage Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 16
- 238000000034 method Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000010287 polarization Effects 0.000 description 5
- 230000005294 ferromagnetic effect Effects 0.000 description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000000225 synapse Anatomy 0.000 description 4
- 239000010409 thin film Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000005684 electric field Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000010416 ion conductor Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000002945 steepest descent method Methods 0.000 description 2
- 230000005062 synaptic transmission Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000001638 cerebellum Anatomy 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 150000002500 ions Chemical class 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000696 magnetic material Substances 0.000 description 1
- 230000005415 magnetization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
Landscapes
- Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Feedback Control In General (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【0001】
【産業上の利用分野】本発明は、文字認識・音声認識等
の識別や、ロボット等の運動制御や、一般のプロセス制
御や、ニュ−ロコンピュ−タ−等に広く利用されるニュ
−ラルネットワ−ク装置に関する。
の識別や、ロボット等の運動制御や、一般のプロセス制
御や、ニュ−ロコンピュ−タ−等に広く利用されるニュ
−ラルネットワ−ク装置に関する。
【0002】
【従来の技術】ニュ−ラルネットワ−クの一般的論文と
しては、文献(著者Teuvo Kohonen 、題
名Representation of sensor
y information in self−org
anizing feature maps,and
relation of these maps to
distributed memory netwo
rks 、出典SPIE Vol.634 Optic
al and Hybrid Computing.1
986) がある。
しては、文献(著者Teuvo Kohonen 、題
名Representation of sensor
y information in self−org
anizing feature maps,and
relation of these maps to
distributed memory netwo
rks 、出典SPIE Vol.634 Optic
al and Hybrid Computing.1
986) がある。
【0003】上記文献によれば、ニュ−ラルネットワ−
クと呼ばれる系の或るものは、次の3つの常微分方程式
によって律則されている。
クと呼ばれる系の或るものは、次の3つの常微分方程式
によって律則されている。
【0004】
dy/dt=f(x,y,M
,N) …(1)
dM/dt=g(x,y,M)
…(2)
dN/dt=h(y,N)
…(3)
ここで、xは入力を表すベクトル、yは出力を表すベク
トル、M及びNは系のパラメ−タ行列であり、f、g、
hは非線形関数である。
,N) …(1)
dM/dt=g(x,y,M)
…(2)
dN/dt=h(y,N)
…(3)
ここで、xは入力を表すベクトル、yは出力を表すベク
トル、M及びNは系のパラメ−タ行列であり、f、g、
hは非線形関数である。
【0005】信号処理に用いる電子回路においては、抵
抗、容量等によって表される系のパラメ−タ行列が定数
である場合がほとんどであり、式(2)及び(3)の右
辺は零となる。
抗、容量等によって表される系のパラメ−タ行列が定数
である場合がほとんどであり、式(2)及び(3)の右
辺は零となる。
【0006】しかしながら、ニュ−ラルネットワ−クと
呼ばれる系においては、系のパラメ−タ行列M,Nが定
数ではなく、式(2)及び(3)に従い時々刻々と変化
し、これにより、通常記憶とかそれに基づく学習等の機
能が実現される。更に、記憶、学習は長時間かけて達成
されるのに対し、入力に対して出力は極めて短時間に応
答する。即ち、上記三つの式において、x,yに比較し
て、M、Nは極めて緩やかに変化する。
呼ばれる系においては、系のパラメ−タ行列M,Nが定
数ではなく、式(2)及び(3)に従い時々刻々と変化
し、これにより、通常記憶とかそれに基づく学習等の機
能が実現される。更に、記憶、学習は長時間かけて達成
されるのに対し、入力に対して出力は極めて短時間に応
答する。即ち、上記三つの式において、x,yに比較し
て、M、Nは極めて緩やかに変化する。
【0007】また別のニュ−ラルネットワ−クの系にお
いては、次の2つの常微分方程式によって律則されてい
る。
いては、次の2つの常微分方程式によって律則されてい
る。
【0008】
dy/dt=f(x,y,M
) …(4)
dM/dt=g(x,T,M
) …(5)
ここで、xは入力を表すベクトル、yは出力を表すベク
トル、Tは教師信号を表すベクトル、Mは系のパラメ−
タ行列であり、f,gは非線形関数である。この系にお
いては、入力に対して所望の出力を得るため、教師信号
が新たに付加されている。
) …(4)
dM/dt=g(x,T,M
) …(5)
ここで、xは入力を表すベクトル、yは出力を表すベク
トル、Tは教師信号を表すベクトル、Mは系のパラメ−
タ行列であり、f,gは非線形関数である。この系にお
いては、入力に対して所望の出力を得るため、教師信号
が新たに付加されている。
【0009】このようにニュ−ラルネットワ−クには様
々な変形が考えられるが、記憶とかそれに基づく学習と
いう機能を有することが大きな特徴となっている。
々な変形が考えられるが、記憶とかそれに基づく学習と
いう機能を有することが大きな特徴となっている。
【0010】次に、式(4),(5)により律則される
系についてより具体的に述べる。
系についてより具体的に述べる。
【0011】この系は、パ−セプトロンと呼ばれており
、1940年代にロ−ゼンブラットらにより考案された
層構造を持つニュ−ラルネットワ−クである。一般にこ
の層を多数持つパ−セプトロンは多層パ−セプトロンと
呼ばれるている。その構成は小脳とか大脳皮質にある神
経細胞の結線によくにていることが知られている。また
、その情報処理能力に関する数学的解析も進み、例えば
、n(2n+1)ニュ−ロンを持つパ−セントロンは任
意のn変数の連続関数を表すことができるということも
コルモゴルフの定理により明らかにされている。
、1940年代にロ−ゼンブラットらにより考案された
層構造を持つニュ−ラルネットワ−クである。一般にこ
の層を多数持つパ−セプトロンは多層パ−セプトロンと
呼ばれるている。その構成は小脳とか大脳皮質にある神
経細胞の結線によくにていることが知られている。また
、その情報処理能力に関する数学的解析も進み、例えば
、n(2n+1)ニュ−ロンを持つパ−セントロンは任
意のn変数の連続関数を表すことができるということも
コルモゴルフの定理により明らかにされている。
【0012】また、多層パ−セントロンのパラメ−タは
ニュ−ロン間のサイナップス接続の結合荷重であり、こ
のパラメ−タを学習方程式と呼ばれる偏微分方程式にし
たがって更新していくことで自己組織または適応形のネ
ットワ−クを構成するできることが分かっている。
ニュ−ロン間のサイナップス接続の結合荷重であり、こ
のパラメ−タを学習方程式と呼ばれる偏微分方程式にし
たがって更新していくことで自己組織または適応形のネ
ットワ−クを構成するできることが分かっている。
【0013】最近、ルンメルハ−トらによって誤差逆伝
ぱん学習アルゴリズムが開発され上記パラメ−タが最急
下法により求められることが分かった。
ぱん学習アルゴリズムが開発され上記パラメ−タが最急
下法により求められることが分かった。
【0014】このような歴史的背景を持つ多層パ−セプ
トロンを図1を用いて説明する。この図は3層パ−セプ
トロンの場合を示している。第1層は入力層と呼ばれ、
Si(i=1,2…,h)なるニュ−ロンからなる。第
2層は中間層と呼ばれ、Ai (i=1,2,p)なる
ニュ−ロンからなる。第3層は出力層と呼ばれ、Ri
(i=1,2…,m)なるニュ−ロンからなる。mサイ
ナップス接続の結合荷重はRSji、RAji(i=1
,…,h,j=1,…l)で表わされている。図1にお
いて信号は左から右に伝搬するものとする。更に全ての
ニュ−ロンにおいて、その入力信号と出力信号との関係
は、単調な非線形関数による写像であるとする。また入
力層ニュ−ロンへの入力は外部から与えられるものとし
、また、中間層,出力層以外のニュ−ロンへの入力はそ
れぞれ、 (ニュ−ロンAi への入力)= Σ(j=1 〜p )RSji*
(Sj の出力) …
(6) (ニュ−ロンRi への入力)= Σ(j=1 〜m )RAji*
(Aj の出力) …
(7)で表わされるような荷重和演算が施されるものと
する。 ここでΣ(i=1 〜m )Xi はi=1 〜mまで
のXi の総和を取ることを表している。
トロンを図1を用いて説明する。この図は3層パ−セプ
トロンの場合を示している。第1層は入力層と呼ばれ、
Si(i=1,2…,h)なるニュ−ロンからなる。第
2層は中間層と呼ばれ、Ai (i=1,2,p)なる
ニュ−ロンからなる。第3層は出力層と呼ばれ、Ri
(i=1,2…,m)なるニュ−ロンからなる。mサイ
ナップス接続の結合荷重はRSji、RAji(i=1
,…,h,j=1,…l)で表わされている。図1にお
いて信号は左から右に伝搬するものとする。更に全ての
ニュ−ロンにおいて、その入力信号と出力信号との関係
は、単調な非線形関数による写像であるとする。また入
力層ニュ−ロンへの入力は外部から与えられるものとし
、また、中間層,出力層以外のニュ−ロンへの入力はそ
れぞれ、 (ニュ−ロンAi への入力)= Σ(j=1 〜p )RSji*
(Sj の出力) …
(6) (ニュ−ロンRi への入力)= Σ(j=1 〜m )RAji*
(Aj の出力) …
(7)で表わされるような荷重和演算が施されるものと
する。 ここでΣ(i=1 〜m )Xi はi=1 〜mまで
のXi の総和を取ることを表している。
【0015】次に上記の誤差逆伝搬学習アルゴリズムを
説明する。これは最終層にのみ教師信号が与えられる場
合の学習アルゴリズムである。一般に、ある層のひとつ
のニュ−ロンの入力信号xi (他のニュ−ロンから入
力された信号の総和)から、そのニュ−ロンの出力信号
への写像Fとしたとき、学習回数n+1回目における結
合加重Rjin+1 は、 Rjin+1 =Rjin
+
η*εj *Fj (xi )
…(8)となる。ここで、ηは緩和係数であり、εj
はニュ−ロンが最終層にあるときは 、 εj =(dj −Fj (x
j ))*Fj ′(xj ) …(9
)で与えられる。
説明する。これは最終層にのみ教師信号が与えられる場
合の学習アルゴリズムである。一般に、ある層のひとつ
のニュ−ロンの入力信号xi (他のニュ−ロンから入
力された信号の総和)から、そのニュ−ロンの出力信号
への写像Fとしたとき、学習回数n+1回目における結
合加重Rjin+1 は、 Rjin+1 =Rjin
+
η*εj *Fj (xi )
…(8)となる。ここで、ηは緩和係数であり、εj
はニュ−ロンが最終層にあるときは 、 εj =(dj −Fj (x
j ))*Fj ′(xj ) …(9
)で与えられる。
【0016】また、ニュ−ロンが最終層にないときは、
εj =Fj ′(xj )*Σ
εk *Rkj …(
10)で与えられる。
εj =Fj ′(xj )*Σ
εk *Rkj …(
10)で与えられる。
【0017】なお、*は乗算を表し、F′はFの微分形
を表している。
を表している。
【0018】ニュ−ラルネットワ−クを上記多層パ−セ
プトロンを例にとって説明したが、以下において従来技
術に於ける問題点について述べる。
プトロンを例にとって説明したが、以下において従来技
術に於ける問題点について述べる。
【0019】上記式(1)から式(10)を実現するハ
−ドウェアを搭載したニュ−ラルネットワ−ク装置をあ
る環境下、例えば、生体内等の人間が入りこめない環境
で学習させること考えたとき、前記式(9)のdj信号
(通常、教師信号と呼ばれる)をいかにニュ−ラルネッ
トワ−ク装置に提示するかという知見に欠け、実用分野
が限定されていた。
−ドウェアを搭載したニュ−ラルネットワ−ク装置をあ
る環境下、例えば、生体内等の人間が入りこめない環境
で学習させること考えたとき、前記式(9)のdj信号
(通常、教師信号と呼ばれる)をいかにニュ−ラルネッ
トワ−ク装置に提示するかという知見に欠け、実用分野
が限定されていた。
【0020】また、式(1)〜(10)は、四則演算の
他に、可塑的で長期記憶可能なサイナップス機能演算等
の演算を含み、また、関数として入出力関係が単調増加
で飽和特性を有する非線形関数及びその微分関数を含む
ため、これらをデバイスや電子回路で実現するには工夫
を要した。
他に、可塑的で長期記憶可能なサイナップス機能演算等
の演算を含み、また、関数として入出力関係が単調増加
で飽和特性を有する非線形関数及びその微分関数を含む
ため、これらをデバイスや電子回路で実現するには工夫
を要した。
【0021】即ち、四則演算,入出力関係が単調増加で
飽和特性を有する非線形関数及びその微分関数は、従来
のアナログ,デジタル電子回路技術で、また、長期記憶
可能なサイナップス機能演算は従来のEEPROM,薄
膜デバイスで実現可能であるが、LSI製造プロセスと
薄膜デバイスの製造プロセスとの整合性が取りにくいた
め、製造が困難であった。
飽和特性を有する非線形関数及びその微分関数は、従来
のアナログ,デジタル電子回路技術で、また、長期記憶
可能なサイナップス機能演算は従来のEEPROM,薄
膜デバイスで実現可能であるが、LSI製造プロセスと
薄膜デバイスの製造プロセスとの整合性が取りにくいた
め、製造が困難であった。
【0022】また、従来の装置では、オペアンプ等から
なる回路でεj ,結合荷重Rjin+1 を求めてい
たので、回路の信号に重畳するノイズ,オペアンプのオ
フセット,ゲインエラ−等により、正しい結合荷重εj
,Rjin+1 が得られなくなり、学習機能が低下
するという問題があった。
なる回路でεj ,結合荷重Rjin+1 を求めてい
たので、回路の信号に重畳するノイズ,オペアンプのオ
フセット,ゲインエラ−等により、正しい結合荷重εj
,Rjin+1 が得られなくなり、学習機能が低下
するという問題があった。
【0023】
【発明が解決しようとする課題】上述の如く従来のニュ
−ラルネットワ−ク装置では、その適用範囲が狭く、ま
た、学習機能も所定どおりに働かないという問題があっ
た。
−ラルネットワ−ク装置では、その適用範囲が狭く、ま
た、学習機能も所定どおりに働かないという問題があっ
た。
【0024】本発明は上記事情を考慮してなされたもの
で、その目的とするところは、実用的なニュ−ラルネッ
トワ−ク装置を提供することにある。
で、その目的とするところは、実用的なニュ−ラルネッ
トワ−ク装置を提供することにある。
【0025】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明のニュ−ラルネットワ−ク装置は、入力さ
れた外界情報に所定の処理を施して入力信号を生成する
入力手段と、複数の制御パラメ−タにより前記入力信号
に演算処理を施して出力信号を生成する演算処理手段と
、前記出力信号が前記入力信号に対する所定の信号にな
るべく前記演算処理手段の制御パラメ−タを制御する制
御手段とを有するニュ−ラルネットワ−ク装置において
、一部が前記演算処理手段の外部に設けられると共に、
この外部に設けられた部分が送受信手段を介して前記入
力信号を受け且つ前記送受信手段を介して前記演算処理
手段の制御パラメ−タを制御する機能を持った制御手段
を備えたことを特徴とする。
めに、本発明のニュ−ラルネットワ−ク装置は、入力さ
れた外界情報に所定の処理を施して入力信号を生成する
入力手段と、複数の制御パラメ−タにより前記入力信号
に演算処理を施して出力信号を生成する演算処理手段と
、前記出力信号が前記入力信号に対する所定の信号にな
るべく前記演算処理手段の制御パラメ−タを制御する制
御手段とを有するニュ−ラルネットワ−ク装置において
、一部が前記演算処理手段の外部に設けられると共に、
この外部に設けられた部分が送受信手段を介して前記入
力信号を受け且つ前記送受信手段を介して前記演算処理
手段の制御パラメ−タを制御する機能を持った制御手段
を備えたことを特徴とする。
【0026】また、本発明の他のニュ−ラルネットワ−
ク装置は、入力された外界情報に所定の処理を施して入
力信号を生成する入力手段と、複数の制御パラメ−タに
より前記入力信号に演算処理を施して出力信号を生成す
る演算処理手段と、前記出力信号が前記入力信号に対し
て所定の関係になるべく前記演算処理手段の制御パラメ
−タを制御する制御手段とを有するニュ−ラルネットワ
−ク装置において、学習過程時に入力信号として与えら
れる複数の提示パタ−ンに対する制御パラメ−タの更新
量を累積加算する累積加算手段と、この累積加算手段で
得られた値に現在用いている制御パラメ−タ値を加算し
て新たな制御パラメ−タ値を作成する手段とからなる制
御手段を備えたことを特徴とする。
ク装置は、入力された外界情報に所定の処理を施して入
力信号を生成する入力手段と、複数の制御パラメ−タに
より前記入力信号に演算処理を施して出力信号を生成す
る演算処理手段と、前記出力信号が前記入力信号に対し
て所定の関係になるべく前記演算処理手段の制御パラメ
−タを制御する制御手段とを有するニュ−ラルネットワ
−ク装置において、学習過程時に入力信号として与えら
れる複数の提示パタ−ンに対する制御パラメ−タの更新
量を累積加算する累積加算手段と、この累積加算手段で
得られた値に現在用いている制御パラメ−タ値を加算し
て新たな制御パラメ−タ値を作成する手段とからなる制
御手段を備えたことを特徴とする。
【0027】また、本発明の更に別なニュ−ラルネット
ワ−ク装置は、入力された外界情報に所定の処理を施し
て入力信号を生成する入力手段と、複数の制御パラメ−
タにより前記入力信号に演算処理を施して出力信号を生
成する演算処理手段と、前記出力信号が前記入力信号に
対する所定の信号になるべく前記演算処理手段の制御パ
ラメ−タを制御する制御手段とを有するニュ−ラルネッ
トワ−ク装置において、前記各要素の収納された領域の
内部又は外部の温度を検知する検知手段が設けられると
共に、この検知手段の出力信号を前記入力信号の一部と
することを特徴とする。
ワ−ク装置は、入力された外界情報に所定の処理を施し
て入力信号を生成する入力手段と、複数の制御パラメ−
タにより前記入力信号に演算処理を施して出力信号を生
成する演算処理手段と、前記出力信号が前記入力信号に
対する所定の信号になるべく前記演算処理手段の制御パ
ラメ−タを制御する制御手段とを有するニュ−ラルネッ
トワ−ク装置において、前記各要素の収納された領域の
内部又は外部の温度を検知する検知手段が設けられると
共に、この検知手段の出力信号を前記入力信号の一部と
することを特徴とする。
【0028】
【作用】本発明によれば、ニューラルネットワーク装置
自身の外界との相対的位置関係、例えば、幾何学的位置
関係、外界への適応の程度とか、外界刺激に対する応答
を、学習により獲得していく際、外界刺激及び教師とな
る信号をニューラルネットワーク装置とは異なる所で生
成できるため、通常人間が入り込めない場所、例えば、
生体内に於ける人工心臓のペースメーカー,血管の血流
制御,極限ロボット,海底作業ロボット等に有用なニュ
ーラルネットワーク装置を得ることができる。
自身の外界との相対的位置関係、例えば、幾何学的位置
関係、外界への適応の程度とか、外界刺激に対する応答
を、学習により獲得していく際、外界刺激及び教師とな
る信号をニューラルネットワーク装置とは異なる所で生
成できるため、通常人間が入り込めない場所、例えば、
生体内に於ける人工心臓のペースメーカー,血管の血流
制御,極限ロボット,海底作業ロボット等に有用なニュ
ーラルネットワーク装置を得ることができる。
【0029】また、制御パラメータを制御する制御手段
は、制御パラメ−タの更新量の正負を基にして新たな更
新量を求めているため、更新量が実際の値より多くなっ
たり、小さくなっても、その値の正負は変りに難いので
ニューラルネットワーク装置を構成する各種回路の雑音
や非理想成分により更新量の値が不正確でも正確な制御
パラメ−タを得ることができる。
は、制御パラメ−タの更新量の正負を基にして新たな更
新量を求めているため、更新量が実際の値より多くなっ
たり、小さくなっても、その値の正負は変りに難いので
ニューラルネットワーク装置を構成する各種回路の雑音
や非理想成分により更新量の値が不正確でも正確な制御
パラメ−タを得ることができる。
【0030】また、各要素の収容されている領域の内部
又は外部の温度を検知する感知手段を設け、この検知手
段の出力信号を前記入力信号の一部とすることで環境温
度も考慮した学習をが行わせることができ、性能の高い
ニューラルネットワーク装置を得ることができる。
又は外部の温度を検知する感知手段を設け、この検知手
段の出力信号を前記入力信号の一部とすることで環境温
度も考慮した学習をが行わせることができ、性能の高い
ニューラルネットワーク装置を得ることができる。
【0031】
【実施例】以下、図面を参照しながら実施例を説明する
。
。
【0032】第2図には本発明の第1の実施例に係るニ
ュ−ラルネットワ−ク装置の概略構成図が示されている
。
ュ−ラルネットワ−ク装置の概略構成図が示されている
。
【0033】外界情報(光、音、圧力、温度、におい、
味、硬度等)は第1の入力手段1に導入される。この第
1の入力手段1は、外界情報が、例えば、視覚情報信号
であれば、空間フィルタリング、聴覚情報信号であれば
、時間フィルタリング等の処理を行い、その結果を信号
3として出力する。この信号3は演算処理手段4と遠隔
操作信号送受信手段9とに導入される。
味、硬度等)は第1の入力手段1に導入される。この第
1の入力手段1は、外界情報が、例えば、視覚情報信号
であれば、空間フィルタリング、聴覚情報信号であれば
、時間フィルタリング等の処理を行い、その結果を信号
3として出力する。この信号3は演算処理手段4と遠隔
操作信号送受信手段9とに導入される。
【0034】演算処理手段4は入力された信号3に対し
て前記式(1)から式(10)に相当する複数の制御パ
ラメータによる演算処理を行い、信号5を出力する。こ
の信号5は外界とニューラルネットワーク装置との相対
関係を制御する制御対象物8に入力される。この制御対
象物8は第1の信号5に応じて、例えば、自動車であれ
ば車高を一定に保つとか、クラッシュを避けるためにブ
レーキ操作を行うとか、ロボットであれば様々な動作を
行わせる機構等であり、更には第1の入力手段に働きか
けて視野制御等を行う。また、ニューラルネットワーク
装置が認識装置として用いられる時には、制御対象物8
は例えばCRTとかスピーカーとか、匂い・聴覚等の直
接表示不能なものに対してLED等の表示装置となる。
て前記式(1)から式(10)に相当する複数の制御パ
ラメータによる演算処理を行い、信号5を出力する。こ
の信号5は外界とニューラルネットワーク装置との相対
関係を制御する制御対象物8に入力される。この制御対
象物8は第1の信号5に応じて、例えば、自動車であれ
ば車高を一定に保つとか、クラッシュを避けるためにブ
レーキ操作を行うとか、ロボットであれば様々な動作を
行わせる機構等であり、更には第1の入力手段に働きか
けて視野制御等を行う。また、ニューラルネットワーク
装置が認識装置として用いられる時には、制御対象物8
は例えばCRTとかスピーカーとか、匂い・聴覚等の直
接表示不能なものに対してLED等の表示装置となる。
【0035】一方、遠隔操作信号送受信手段9に導入さ
れた信号3は、送受信機10及アンテナ11を介して装
置本体100の外部に設けられた教師信号生成手段2へ
送信される。教師信号生成手段2は受信した信号3に対
応した教師信号を送信する。そしてこの教師信号は遠隔
操作信号送受信手段9により受信された後、第2の入力
手段6を介して演算処理手段4に導入される。演算処理
手段4は教師信号により制御パラメータの調整を行う。
れた信号3は、送受信機10及アンテナ11を介して装
置本体100の外部に設けられた教師信号生成手段2へ
送信される。教師信号生成手段2は受信した信号3に対
応した教師信号を送信する。そしてこの教師信号は遠隔
操作信号送受信手段9により受信された後、第2の入力
手段6を介して演算処理手段4に導入される。演算処理
手段4は教師信号により制御パラメータの調整を行う。
【0036】かくして本実施例では、ニュ−ラルネット
ワ−ク装置自身の外界との相対的位置関係、例えば、幾
何学的位置関係、外界への適応の程度とか、外界刺激に
対する応答を、学習により獲得していく際、外界刺激及
び教師となる信号を遠隔操作信号送受信手段9を介して
ニュ−ラルネットワ−ク装置本体100とは異なる所で
、監視あるいは指示できる。このため、通常人間が入り
込めない場所である、生体内に於ける、人工心臓のペ−
スメ−カ−とか、血管の血流制御とか、極限ロボットと
か、海底作業ロボットとかに有用なニュ−ラルネットワ
−ク装置を得ることができる。
ワ−ク装置自身の外界との相対的位置関係、例えば、幾
何学的位置関係、外界への適応の程度とか、外界刺激に
対する応答を、学習により獲得していく際、外界刺激及
び教師となる信号を遠隔操作信号送受信手段9を介して
ニュ−ラルネットワ−ク装置本体100とは異なる所で
、監視あるいは指示できる。このため、通常人間が入り
込めない場所である、生体内に於ける、人工心臓のペ−
スメ−カ−とか、血管の血流制御とか、極限ロボットと
か、海底作業ロボットとかに有用なニュ−ラルネットワ
−ク装置を得ることができる。
【0037】図3には本発明の第2の実施例に係るニュ
−ラルネットワ−ク装置の概略構成図が示されている。 なお、第2図と対応する部分には第2図と同一符号を付
して詳細な説明は省略する。
−ラルネットワ−ク装置の概略構成図が示されている。 なお、第2図と対応する部分には第2図と同一符号を付
して詳細な説明は省略する。
【0038】この実施例のニュ−ラルネットワ−ク装置
が第1の実施例のそれと異なる点は、教師信号生成手段
2で生成された教師信号の他に、信号3,5をも教師信
号として用いると共に演算処理手段4内に外界と装置本
体100との相対関係を判断する判断手段7を設けたこ
とにある。
が第1の実施例のそれと異なる点は、教師信号生成手段
2で生成された教師信号の他に、信号3,5をも教師信
号として用いると共に演算処理手段4内に外界と装置本
体100との相対関係を判断する判断手段7を設けたこ
とにある。
【0039】このように構成されたニュ−ラルネットワ
−ク装置では、学習させる際に、外界情報をモニタしな
がら、所望の動作を行なわせるための教師信号を発生さ
せることが可能となり、認識・判断・制御の分野に広く
応用が可能となる。
−ク装置では、学習させる際に、外界情報をモニタしな
がら、所望の動作を行なわせるための教師信号を発生さ
せることが可能となり、認識・判断・制御の分野に広く
応用が可能となる。
【0040】次に本発明の第3の実施例を説明する。
【0041】図4は演算処理手段4を構成する集積回路
を模式的に示している。演算処理手段4を集積回路で実
現するには、通常のLSI製造プロセスにより作製され
た第1の集積回路第12と、薄膜デバイス製造プロセス
により製造された第2の集積回路13とを、同図(a)
で示すようにハンダバンプ14でコンタクトをとって積
層化すればよい。また、第2の集積回路12が磁性体で
あるときには、第1の集積回路第12上にうず状の電極
を形成し、この電極を介して同図(b)に示すようにコ
ンタクトを取れば、2種類の集積回路12,13を位置
合せすることなく積層化することができる。この場合、
うず状の電極に流す電流の向きにより磁化方向を制御す
ることで集積回路12にメモリ機能を持たせることがで
きる。
を模式的に示している。演算処理手段4を集積回路で実
現するには、通常のLSI製造プロセスにより作製され
た第1の集積回路第12と、薄膜デバイス製造プロセス
により製造された第2の集積回路13とを、同図(a)
で示すようにハンダバンプ14でコンタクトをとって積
層化すればよい。また、第2の集積回路12が磁性体で
あるときには、第1の集積回路第12上にうず状の電極
を形成し、この電極を介して同図(b)に示すようにコ
ンタクトを取れば、2種類の集積回路12,13を位置
合せすることなく積層化することができる。この場合、
うず状の電極に流す電流の向きにより磁化方向を制御す
ることで集積回路12にメモリ機能を持たせることがで
きる。
【0042】次に制御パラメ−タを求める具体例を説明
する。
する。
【0043】図5は前記式(8)のRjin+1 、即
ち、制御パラメ−タを求め得る回路の概略構成図である
。
ち、制御パラメ−タを求め得る回路の概略構成図である
。
【0044】学習過程では、複数の学習用デ−タパタ−
ンZ1 ,Z2 ,…,Zp を順次入力し、このとき
の出力信号と教師信号とを比較し、その誤差量に応じて
結合荷重を修正するのが一般的である。そこで、この例
では、学習過程時に、式(8)の右辺の第2項(以下、
εjiと表記)を従来の回路で求め後、この信号をコン
パレ−タ60に導入する。このコンパレ−タ60はεj
iと基準信号とを比較してεjiの正負だけを判定し、
判断信号61を出力する。加算器62は入力された制御
信61の値を順次加算していき、所定のタイミング、学
習用デ−タパタ−ンZ1 ,Z2 ,…,Zp の入力
が一巡した時点毎に加算信号63を出力し、続いてリセ
ット信号でリセットされる。なお、この加算器62は、
学習に先だった時点でもリセットされる。
ンZ1 ,Z2 ,…,Zp を順次入力し、このとき
の出力信号と教師信号とを比較し、その誤差量に応じて
結合荷重を修正するのが一般的である。そこで、この例
では、学習過程時に、式(8)の右辺の第2項(以下、
εjiと表記)を従来の回路で求め後、この信号をコン
パレ−タ60に導入する。このコンパレ−タ60はεj
iと基準信号とを比較してεjiの正負だけを判定し、
判断信号61を出力する。加算器62は入力された制御
信61の値を順次加算していき、所定のタイミング、学
習用デ−タパタ−ンZ1 ,Z2 ,…,Zp の入力
が一巡した時点毎に加算信号63を出力し、続いてリセ
ット信号でリセットされる。なお、この加算器62は、
学習に先だった時点でもリセットされる。
【0045】コンパレ−タ64は加算信号63と基準信
号とを比較して加算信号63の正負だけを判断し、判断
信号65を出力する。この判断信号65は、学習用デ−
タパタ−ンZ1 ,Z2 ,…,Zp を1回だけ入力
したときに得られる更新量εjiに相当する。スイッチ
66は所定のタイミング、つまり、学習用デ−タパタ−
ンZ1 ,Z2 ,…,Zp の提示が開始された時点
でオンとなり、学習用デ−タパタ−ンZ1 ,Z2 ,
…,Zp の所定回数の提示が終わった時点でオフにな
る。スイッチ66のオン期間にコンパレータ64の判断
信号65が加算器67に導入される。そして加算器67
は前回得られたRjin を記憶しており、学習用デ−
タパタ−ンZ1 ,Z2 ,…,Zp の提示が終了し
た時点で式(8)に示された加算演算を行い、Rjin
+1 に相当する加算信号68を出力する。
号とを比較して加算信号63の正負だけを判断し、判断
信号65を出力する。この判断信号65は、学習用デ−
タパタ−ンZ1 ,Z2 ,…,Zp を1回だけ入力
したときに得られる更新量εjiに相当する。スイッチ
66は所定のタイミング、つまり、学習用デ−タパタ−
ンZ1 ,Z2 ,…,Zp の提示が開始された時点
でオンとなり、学習用デ−タパタ−ンZ1 ,Z2 ,
…,Zp の所定回数の提示が終わった時点でオフにな
る。スイッチ66のオン期間にコンパレータ64の判断
信号65が加算器67に導入される。そして加算器67
は前回得られたRjin を記憶しており、学習用デ−
タパタ−ンZ1 ,Z2 ,…,Zp の提示が終了し
た時点で式(8)に示された加算演算を行い、Rjin
+1 に相当する加算信号68を出力する。
【0046】このように構成された回路では、各サイナ
ップスにおいて誤差信号εjiを累積加算して得られた
新たなεjiを誤差信号として用いてるので複数の学習
用デ−タパタ−ンZ1 ,Z2 ,…Zp のいずれも
満足する様なサイナップス結合荷重が得られる。しかも
、ノイズ,ゲインエラ−,オフセット等により入力され
るεjiの値が不正確であってもコンパレ−タ60,6
4,加算器62によりεjiの符号を利用した演算が行
われるので正確な誤差信号を得ることができる。
ップスにおいて誤差信号εjiを累積加算して得られた
新たなεjiを誤差信号として用いてるので複数の学習
用デ−タパタ−ンZ1 ,Z2 ,…Zp のいずれも
満足する様なサイナップス結合荷重が得られる。しかも
、ノイズ,ゲインエラ−,オフセット等により入力され
るεjiの値が不正確であってもコンパレ−タ60,6
4,加算器62によりεjiの符号を利用した演算が行
われるので正確な誤差信号を得ることができる。
【0047】かくして本例では全学習用デ−タパタ−ン
に対する制御パラメータの更新量を、入力デ−タの符号
情報をもとにその平均化した値で置換えているため、式
(1)から式(10)等を実現するために必要となるア
ナログ電子回路に重畳するノイズや各演算器の非理想成
分による望ましくない信号があっても正確な制御パラメ
ータ値を得ることができ、学習不成立等の問題を回避す
る事が可能となる。
に対する制御パラメータの更新量を、入力デ−タの符号
情報をもとにその平均化した値で置換えているため、式
(1)から式(10)等を実現するために必要となるア
ナログ電子回路に重畳するノイズや各演算器の非理想成
分による望ましくない信号があっても正確な制御パラメ
ータ値を得ることができ、学習不成立等の問題を回避す
る事が可能となる。
【0048】なお、学習用デ−タパタ−ンZ1 ,Z2
,…Zp の入力が一巡する毎或いは一定数の学習用
デ−タパタ−ンが入力する毎にリセット信号により加算
器62を初期化しているので加算器62の飽和や初期オ
フセット等を解決することができる。
,…Zp の入力が一巡する毎或いは一定数の学習用
デ−タパタ−ンが入力する毎にリセット信号により加算
器62を初期化しているので加算器62の飽和や初期オ
フセット等を解決することができる。
【0049】なお、コンパレ−タ60,64の代わりに
量子化器を用いれば、符号情報の他に信号レベルも考慮
した演算を行なえるのでより正確な制御パラメータ値を
得ることができる。
量子化器を用いれば、符号情報の他に信号レベルも考慮
した演算を行なえるのでより正確な制御パラメータ値を
得ることができる。
【0050】次に制御パラメータを求める別の例を説明
する。
する。
【0051】図6は式(8)のRjin+1 を求める
別の回路例である。
別の回路例である。
【0052】同図において、16は式(8)のεj の
入力端、17はεj の正負だけを判定するコンパレー
タ、18はこのコンパレータの判断信号、19は第1の
アップダウンカウンタで第1のクロック信号20により
所定のタイミングでカウント動作をし、制御力信18に
よりアップ動作かダウン動作かが選択される。なお、カ
ウンタの値には上限下限があり、設定値以上の値のアッ
プカウントまたはそれ以下の値のダウンカウントは禁止
されている。
入力端、17はεj の正負だけを判定するコンパレー
タ、18はこのコンパレータの判断信号、19は第1の
アップダウンカウンタで第1のクロック信号20により
所定のタイミングでカウント動作をし、制御力信18に
よりアップ動作かダウン動作かが選択される。なお、カ
ウンタの値には上限下限があり、設定値以上の値のアッ
プカウントまたはそれ以下の値のダウンカウントは禁止
されている。
【0053】21は第1のカウンタ出力、23は大小比
較器で端子22に設定された値と第1のカウンタ出力2
1の値とを比較し、正,零又は負レベルの大小比較出力
24を出力する。25は第2のアップダウンカウンタで
第2のクロック信号26により所定のタイミングでカウ
ント動作をし、大小比較出力24によりアップ動作かダ
ウン動作かが選択される。なお、このカウンタにおいて
も上限下限があり、所定値以上の値のアップカウントま
たはそれ以下の値のダウンカウントが禁止されている。
較器で端子22に設定された値と第1のカウンタ出力2
1の値とを比較し、正,零又は負レベルの大小比較出力
24を出力する。25は第2のアップダウンカウンタで
第2のクロック信号26により所定のタイミングでカウ
ント動作をし、大小比較出力24によりアップ動作かダ
ウン動作かが選択される。なお、このカウンタにおいて
も上限下限があり、所定値以上の値のアップカウントま
たはそれ以下の値のダウンカウントが禁止されている。
【0054】28は乱数発生器で、29はその動作/停
止を制御する信号端、27は乱数発生器28の出力、3
0は乱数発生器出力27をアップダウンカウンタ25に
セットするか否かを制御する信号端である。31はアッ
プダウンカウンタ25のカウント出力、32は第2のカ
ウント出力31をデジタル信号からアナログ信号に変換
するD/Aコンバータ32であり、33はD/Aコンバ
ータ32のアナログ出力信号である。
止を制御する信号端、27は乱数発生器28の出力、3
0は乱数発生器出力27をアップダウンカウンタ25に
セットするか否かを制御する信号端である。31はアッ
プダウンカウンタ25のカウント出力、32は第2のカ
ウント出力31をデジタル信号からアナログ信号に変換
するD/Aコンバータ32であり、33はD/Aコンバ
ータ32のアナログ出力信号である。
【0055】以下、この回路の動作を図7のタイムチャ
ートに従って説明する。
ートに従って説明する。
【0056】先ず、信号端29を高電位にして乱数発生
器28を動作させて乱数値を発生させ続けた状態で、ア
ップダウンカウンタ25に乱数発生器28の発生値をセ
ットするが否かを制御する信号端30を高電位にして乱
数発生器28が発生した乱数値をアップダウンカウンタ
25にセットすると共に信号端29を低電位に戻して乱
数発生器を停止させる。この結果、アップダウンカウン
タ25に乱数発生器28の発生値がセットされる。
器28を動作させて乱数値を発生させ続けた状態で、ア
ップダウンカウンタ25に乱数発生器28の発生値をセ
ットするが否かを制御する信号端30を高電位にして乱
数発生器28が発生した乱数値をアップダウンカウンタ
25にセットすると共に信号端29を低電位に戻して乱
数発生器を停止させる。この結果、アップダウンカウン
タ25に乱数発生器28の発生値がセットされる。
【0057】次に、式(1)から式(10)において述
べたような学習アルゴリズムに基づくシナプス伝達効率
の値の更新量εj を端子16に加え、コンパレータ1
7によりその符号だけを判定する。コンパレータ出力1
7の判断信号18に従いアップダウンカウンタ19はア
ップカウント動作又はダウンカウント動作を行う。この
カウンタ動作は通常、学習状態でありしかも提示パター
ンがある毎に図7のタイムチャートに従い繰り返される
。
べたような学習アルゴリズムに基づくシナプス伝達効率
の値の更新量εj を端子16に加え、コンパレータ1
7によりその符号だけを判定する。コンパレータ出力1
7の判断信号18に従いアップダウンカウンタ19はア
ップカウント動作又はダウンカウント動作を行う。この
カウンタ動作は通常、学習状態でありしかも提示パター
ンがある毎に図7のタイムチャートに従い繰り返される
。
【0058】このアップダウンカウンタ19の働きは、
次の様に説明される。
次の様に説明される。
【0059】最適化手法による学習アルゴリズムではコ
スト関数Eとして Ep =Σ(j)|Oj −Tj |2 を採用するが
、最急下法ではコスト関数をEp としてEp =Σ(
j)|Oj −Tj |2 を採用し、このコスト関数
Ep を最小にするべくRijの更新量Δp ωij(
=η*grad(Σ(p)Ep )が計算される。
スト関数Eとして Ep =Σ(j)|Oj −Tj |2 を採用するが
、最急下法ではコスト関数をEp としてEp =Σ(
j)|Oj −Tj |2 を採用し、このコスト関数
Ep を最小にするべくRijの更新量Δp ωij(
=η*grad(Σ(p)Ep )が計算される。
【0060】ここでΣ(i=)Xi はiについてXの
総和を取ることを表す。また、Oj は最終層jのニュ
ーロン出力、Tj は教師信号、pは学習デ−タパター
ンである。
総和を取ることを表す。また、Oj は最終層jのニュ
ーロン出力、Tj は教師信号、pは学習デ−タパター
ンである。
【0061】従って、コスト関数Eを最小化するには、
全ての学習デ−タパターンpに対する更新量Δp ωを
記憶する必要があるが、本実施例ではこれをアップダウ
ンカウンタ19をレジスタとして用いることで実現して
いる。
全ての学習デ−タパターンpに対する更新量Δp ωを
記憶する必要があるが、本実施例ではこれをアップダウ
ンカウンタ19をレジスタとして用いることで実現して
いる。
【0062】コンパレータ17はアナログ値である更新
量Δp ωの1ビットA/Dコンバータになっており、
また、アップダウンカウンタ19はアナログ動作するも
のであって構わない。
量Δp ωの1ビットA/Dコンバータになっており、
また、アップダウンカウンタ19はアナログ動作するも
のであって構わない。
【0063】第1のカウンタ出力21は大小比較器23
に導入され、端子22に設定された設定値と比較され、
正,零又は負レベルの大小比較出力24を出力する。
に導入され、端子22に設定された設定値と比較され、
正,零又は負レベルの大小比較出力24を出力する。
【0064】第2のアップダウンカウンタ25は大小比
較出力24に応じてアップカウント動作,ダウンカウン
ト動作又は停止動作を選択する。このカウント動作は通
常、学習状態であり、しかも学習デ−タパターンが提示
される毎に図7のタイムチャートに従い繰り返されるが
、複数の学習デ−タパターンが提示される毎にカウンタ
動作させるごとき変更もまた可能である。複数の学習デ
−タパターンが提示される毎にカウント動作させる時又
は第2のアップダウンカウンタ25の動作終了時に第2
のアップダウンカウンタ25を初期化する操作を付加す
ると、前述の如きひとつの学習デ−タパターンだけでは
なく、学習させたい複数の学習デ−タパターンに対する
学習を容易にすることができる。
較出力24に応じてアップカウント動作,ダウンカウン
ト動作又は停止動作を選択する。このカウント動作は通
常、学習状態であり、しかも学習デ−タパターンが提示
される毎に図7のタイムチャートに従い繰り返されるが
、複数の学習デ−タパターンが提示される毎にカウンタ
動作させるごとき変更もまた可能である。複数の学習デ
−タパターンが提示される毎にカウント動作させる時又
は第2のアップダウンカウンタ25の動作終了時に第2
のアップダウンカウンタ25を初期化する操作を付加す
ると、前述の如きひとつの学習デ−タパターンだけでは
なく、学習させたい複数の学習デ−タパターンに対する
学習を容易にすることができる。
【0065】最後に、第2のカウンタ出力31がD/A
コンバータ32によりアナログ出力値33に変換されて
Rijが得られる。ここで、更新量Δp ωijgを大
小比較器23で端子22に設定された設定値と比較する
ことで大小比較出力24が生成されているが、これは、
非線形最適化手法で収束性改善に使われる更新量に緩和
係数を乗ずるこどき手法であり、更新量ベクトルの各要
素の絶対値に上限を設ける手法を回路化したものである
。更新量ベクトルの各要素の絶対値に上限を設けること
は雑音等の影響あるいは理想的な演算機能を実現するこ
とが困難な、アナログ回路でニューラルネットワーク装
置を製造する際、極めて有用な技術となる。
コンバータ32によりアナログ出力値33に変換されて
Rijが得られる。ここで、更新量Δp ωijgを大
小比較器23で端子22に設定された設定値と比較する
ことで大小比較出力24が生成されているが、これは、
非線形最適化手法で収束性改善に使われる更新量に緩和
係数を乗ずるこどき手法であり、更新量ベクトルの各要
素の絶対値に上限を設ける手法を回路化したものである
。更新量ベクトルの各要素の絶対値に上限を設けること
は雑音等の影響あるいは理想的な演算機能を実現するこ
とが困難な、アナログ回路でニューラルネットワーク装
置を製造する際、極めて有用な技術となる。
【0066】なお、記憶素子として用いられるアップダ
ウンカウンタ19,25をアナログ値記憶回路で実現す
れば回路規模の大幅な削減ができ、D/Aコンバータ3
2が不要となる。
ウンカウンタ19,25をアナログ値記憶回路で実現す
れば回路規模の大幅な削減ができ、D/Aコンバータ3
2が不要となる。
【0067】次にさらに別の例を説明する。
【0068】図8は式(8)のRjin+1 を求める
さらに別の回路例である。
さらに別の回路例である。
【0069】この回路はシナプスブロック75と累積加
算手段70とからなる。
算手段70とからなる。
【0070】シナプスブロック75は第1の記憶手段7
1と第2の記憶手段72とからなる。第1の記憶手段7
1は入力された制御パラメータの更新量εijを量子化
して記憶するか、若しくは量子化せずに記憶し、図6に
示した第1のコンパレータ17と第1のアップダウンカ
ウンタ19の一部とに相当する。第2の記憶手段72は
制御パラメータ値を記憶する記憶手段で図6の第2のア
ップダウンカウンタ25の機能、D/Aコンバータ32
の一部に相当する。
1と第2の記憶手段72とからなる。第1の記憶手段7
1は入力された制御パラメータの更新量εijを量子化
して記憶するか、若しくは量子化せずに記憶し、図6に
示した第1のコンパレータ17と第1のアップダウンカ
ウンタ19の一部とに相当する。第2の記憶手段72は
制御パラメータ値を記憶する記憶手段で図6の第2のア
ップダウンカウンタ25の機能、D/Aコンバータ32
の一部に相当する。
【0071】累積加算手段70は制御パラメータ値の更
新量を量子化して累積加算するか、若しくは量子化せず
に累積加算し、図6の第1,2のアップダウンカウンタ
19,25、大小比較器23の一部に相当する。また、
記憶手段70中のRijはサイナップス結合荷重であり
、Rijにより結ばれる2つのニューロン間の信号の伝
達効率を制御している。
新量を量子化して累積加算するか、若しくは量子化せず
に累積加算し、図6の第1,2のアップダウンカウンタ
19,25、大小比較器23の一部に相当する。また、
記憶手段70中のRijはサイナップス結合荷重であり
、Rijにより結ばれる2つのニューロン間の信号の伝
達効率を制御している。
【0072】このように構成された回路において、累積
加算手段70に図6のクロック信号20,29及び乱数
発生器出力等に相当する制御信号73を入力すると、累
積加算手段70は式(1)から式(10)において述べ
たような学習アルゴリズムに基づくシナプス伝達効率の
値の更新量εjiに相当する信号を出力する。第1の記
憶手段71はこの信号と基準信号とを比較して、正,零
又は負レベルの信号74aを出力する。累積加算手段7
0はこの信号74aによりカウント動作を行い、その結
果を信号74bとして第1の記憶手段71に出力する。 第1の記憶手段71は信号74cの情報、即ち、更新さ
れたεjiを保持する。次いで、累積加算手段70は第
1の記憶手段71から最新のεjiを読み出してその値
と基準信号との比較を行った後、その結果と第2の記憶
手段72から読み出したRijとの加算、つまり、カウ
ント動作を行いRijを更新する。次いで、累積加算手
段70は更新されたRijを信号74dとして出力する
。そして第2の記憶手段信号72はこの信号74dの情
報を保持する。
加算手段70に図6のクロック信号20,29及び乱数
発生器出力等に相当する制御信号73を入力すると、累
積加算手段70は式(1)から式(10)において述べ
たような学習アルゴリズムに基づくシナプス伝達効率の
値の更新量εjiに相当する信号を出力する。第1の記
憶手段71はこの信号と基準信号とを比較して、正,零
又は負レベルの信号74aを出力する。累積加算手段7
0はこの信号74aによりカウント動作を行い、その結
果を信号74bとして第1の記憶手段71に出力する。 第1の記憶手段71は信号74cの情報、即ち、更新さ
れたεjiを保持する。次いで、累積加算手段70は第
1の記憶手段71から最新のεjiを読み出してその値
と基準信号との比較を行った後、その結果と第2の記憶
手段72から読み出したRijとの加算、つまり、カウ
ント動作を行いRijを更新する。次いで、累積加算手
段70は更新されたRijを信号74dとして出力する
。そして第2の記憶手段信号72はこの信号74dの情
報を保持する。
【0073】かくして本例では、図6のアップダウンカ
ウンタ19,25のカウント機能を累積加算手段70に
行なわせることにより、集積回路の占有面積の大きなア
ップダウンカウンタの必要個数を減らすことができるた
め、集積回路全体の小型化を図ることができる。なお、
累積加算手段70はSRAM等で作成可能である。
ウンタ19,25のカウント機能を累積加算手段70に
行なわせることにより、集積回路の占有面積の大きなア
ップダウンカウンタの必要個数を減らすことができるた
め、集積回路全体の小型化を図ることができる。なお、
累積加算手段70はSRAM等で作成可能である。
【0074】次に本発明の別の実施例を説明する。
【0075】図9にはニューラルネットワーク装置の性
能評価を行う装置の概略構成図が示されている。
能評価を行う装置の概略構成図が示されている。
【0076】記憶手段35はサンプリングされた外界情
報34を記憶した後、その情報を制御信号36としてサ
ンプル信号発生手段37と教師信号発生手段38とに出
力する。
報34を記憶した後、その情報を制御信号36としてサ
ンプル信号発生手段37と教師信号発生手段38とに出
力する。
【0077】サンプル信号発生手段37は、制御信号3
6により図1の第1の入力信号3に相当するサンプル入
力信号3aを出力する。一方、教師信号発生手段38は
制御信号36と外部信号39とより教師信号を生成する
。
6により図1の第1の入力信号3に相当するサンプル入
力信号3aを出力する。一方、教師信号発生手段38は
制御信号36と外部信号39とより教師信号を生成する
。
【0078】この後、第1のサンプル入力信号2aと教
師信号とによりニュ−ラルネットワ−ク装置101の学
習が行われると共にカンウト手段40と記録手段41と
によりそれぞれ学習回数のカウント、学習の結果例えば
コスト関数の値が記録が行われる。
師信号とによりニュ−ラルネットワ−ク装置101の学
習が行われると共にカンウト手段40と記録手段41と
によりそれぞれ学習回数のカウント、学習の結果例えば
コスト関数の値が記録が行われる。
【0079】次いで検査手段42により記録手段41の
記録からニュ−ラルネットワ−ク装置101のIQ,偏
差値検査等が求められ、その結果は、装置に添付または
印刷される。
記録からニュ−ラルネットワ−ク装置101のIQ,偏
差値検査等が求められ、その結果は、装置に添付または
印刷される。
【0080】かくして本実施例によれば、製造するニュ
ーラルネットワーク装置の性能が客観的に評価されるの
で製品の信頼性指標を得ることが可能となる。
ーラルネットワーク装置の性能が客観的に評価されるの
で製品の信頼性指標を得ることが可能となる。
【0081】次に本発明のさらに別の実施例を説明する
。
。
【0082】複数の制御パラメータ、即ち、結合荷重素
子の演算処理をおこなう演算処理手段を集積回路で実現
することを考えると、結合荷重素子は可塑的に制御され
る必要があるため、可塑的に制御しうるデバイスで実現
する必要がある。このようなデバイスとしてはEEPR
OMデバイスや、強誘電体デバイス,イオン伝導体デバ
イス等の薄膜デバイスが考えられるが、共通する特徴と
してデバイス動作には初期値依存性がある。
子の演算処理をおこなう演算処理手段を集積回路で実現
することを考えると、結合荷重素子は可塑的に制御され
る必要があるため、可塑的に制御しうるデバイスで実現
する必要がある。このようなデバイスとしてはEEPR
OMデバイスや、強誘電体デバイス,イオン伝導体デバ
イス等の薄膜デバイスが考えられるが、共通する特徴と
してデバイス動作には初期値依存性がある。
【0083】このような点に鑑み、第10図を用いて本
発明に係る結合荷重素子を説明する。
発明に係る結合荷重素子を説明する。
【0084】結合荷重素子は、変調回路44とデバイス
46とからなる。変調回路44に用いられる回路は加算
回路や除算回路であったりするが、これはデバイス46
の特性に依存する。デバイス46としてはEEPROM
や強磁性体デバイスなどが用いられる。
46とからなる。変調回路44に用いられる回路は加算
回路や除算回路であったりするが、これはデバイス46
の特性に依存する。デバイス46としてはEEPROM
や強磁性体デバイスなどが用いられる。
【0085】変調回路44には第1の状態変更信号43
、即ち、式(8)の右辺に対応した信号と、デバイス4
6の内部状態に対応した内部状態モニタ信号48とが導
入されている。変調回路44はこれらの信号43,48
により第2の状態変更信号45を生成してデバイス46
に出力する。デバイス46は第2の状態変更信号45に
より制御され、内部状態が可塑的に制御される。なお、
変調回路44は第1の状態変更信号43の入力ないとき
は動作しないように構成されている。
、即ち、式(8)の右辺に対応した信号と、デバイス4
6の内部状態に対応した内部状態モニタ信号48とが導
入されている。変調回路44はこれらの信号43,48
により第2の状態変更信号45を生成してデバイス46
に出力する。デバイス46は第2の状態変更信号45に
より制御され、内部状態が可塑的に制御される。なお、
変調回路44は第1の状態変更信号43の入力ないとき
は動作しないように構成されている。
【0086】ここで、内部状態モニタ信号48を用いた
のは、上述したようにデバイス46が初期値依存性、つ
まり、非線形性を有するので現在のデバイスの状態が分
からない制御できないからである。
のは、上述したようにデバイス46が初期値依存性、つ
まり、非線形性を有するので現在のデバイスの状態が分
からない制御できないからである。
【0087】また、内部状態モニタ信号48は、EEP
ROMではらフォロ−ティングゲ−トの電荷量であり、
強磁性体デバイスでは残留分極量であり、イオン伝導体
デバイスでは到達したイオンの総量である。
ROMではらフォロ−ティングゲ−トの電荷量であり、
強磁性体デバイスでは残留分極量であり、イオン伝導体
デバイスでは到達したイオンの総量である。
【0088】図11を用いて強磁性体デバイスを使用し
た場合の第2の状態変更信号44について説明する。
た場合の第2の状態変更信号44について説明する。
【0089】図11は強誘電体デバイスの印加電界と残
留分極量との関係を示している。残留分極量を点aから
点bに遷移させる時と、点bから点cに遷移させる時と
では分極量変化分が等しくとも、印加する電界の絶対値
が異なる。したがって、印加する電界を零にして残留分
極量の値を求め、この値と、第1の状態変更信号43と
を変調回路44により加算することで第2の状態変更信
号45を生成することができる。
留分極量との関係を示している。残留分極量を点aから
点bに遷移させる時と、点bから点cに遷移させる時と
では分極量変化分が等しくとも、印加する電界の絶対値
が異なる。したがって、印加する電界を零にして残留分
極量の値を求め、この値と、第1の状態変更信号43と
を変調回路44により加算することで第2の状態変更信
号45を生成することができる。
【0090】また、EEPROMを用いた場合は、容量
性結合をモニタしたり、しきい値変化をモニタすること
でフロ−ティングゲ−トの電荷量を求め、この電荷量の
値と、第1の状態変更信号43とを変調回路44により
演算処理することで第2の状態変更信号45を生成する
ことができる。
性結合をモニタしたり、しきい値変化をモニタすること
でフロ−ティングゲ−トの電荷量を求め、この電荷量の
値と、第1の状態変更信号43とを変調回路44により
演算処理することで第2の状態変更信号45を生成する
ことができる。
【0091】図12は本発明のさらに異なる実施例に係
るニュ−ラルネットワ−ク装置の要部構成を示す図であ
る。
るニュ−ラルネットワ−ク装置の要部構成を示す図であ
る。
【0092】この実施例のニュ−ラルネットワ−ク装置
が第1の実施例のそれと異なる点は、外界,装置内等の
温度を感知する感知手段55を設け、その感知結果を感
知信号49として第1の入力手段50に導入したことに
ある。
が第1の実施例のそれと異なる点は、外界,装置内等の
温度を感知する感知手段55を設け、その感知結果を感
知信号49として第1の入力手段50に導入したことに
ある。
【0093】一般に、外界,装置内等の温度が異なれば
、同じ外界情報でも、出力信号は異なるが、上述のよう
に外界情報と系の温度との組を新たな外界情報して用い
れば、温度による影響を低減化できるのでより学習機能
が高いニュ−ラルネットワ−ク装置信号を得ることがで
きる。
、同じ外界情報でも、出力信号は異なるが、上述のよう
に外界情報と系の温度との組を新たな外界情報して用い
れば、温度による影響を低減化できるのでより学習機能
が高いニュ−ラルネットワ−ク装置信号を得ることがで
きる。
【0094】図13は図12の感知手段55の具体的な
構成を示す図である。
構成を示す図である。
【0095】図13に示された回路はワイドラ−の電流
源と呼ばれているもであり、ベ−ス・コレクタ間が短絡
したトランジスタTr1と、マルチエミッタトランジス
タTr2と、このマルチエミッタトランジスタTr2の
エミッタに接続された抵抗素子Rとからなる。トランジ
スタTr1のコレクタには基準電流Iref が導入さ
れ、マルチエミッタトランジスタTr2のコレクタには
電流Ic が導入されている。この電流Ic は次式の
ように表されることが知られている。
源と呼ばれているもであり、ベ−ス・コレクタ間が短絡
したトランジスタTr1と、マルチエミッタトランジス
タTr2と、このマルチエミッタトランジスタTr2の
エミッタに接続された抵抗素子Rとからなる。トランジ
スタTr1のコレクタには基準電流Iref が導入さ
れ、マルチエミッタトランジスタTr2のコレクタには
電流Ic が導入されている。この電流Ic は次式の
ように表されることが知られている。
【0096】
Ic =Vt *ln2/R
Vt =kT/q
ここでkはボルツマン定数,Tは温度,qは電子の電荷
量である。
量である。
【0097】上式から分かるようにIc は温度に比例
する。したがって、このIcを電流電圧変換等を用いて
電圧信号に変換することで感知信号49を得ることがで
きる。
する。したがって、このIcを電流電圧変換等を用いて
電圧信号に変換することで感知信号49を得ることがで
きる。
【0098】更に、感知手段55,第1の入力手段50
及び演算処理手段53をそれぞれ集積回路で実現するか
、あるいは同一チップ上に作製すれば、装置内温度を感
知する事ができる。
及び演算処理手段53をそれぞれ集積回路で実現するか
、あるいは同一チップ上に作製すれば、装置内温度を感
知する事ができる。
【0099】なお、ここではバイポーラトランジスタの
例について説明したが、MOSトランジスタでも同様の
機能が実現できる。
例について説明したが、MOSトランジスタでも同様の
機能が実現できる。
【0100】また、感知手段55を実現するのに、市販
されている温度センサを利用し、第1の入力手段50へ
の信号の一部とするような変更も可能である。
されている温度センサを利用し、第1の入力手段50へ
の信号の一部とするような変更も可能である。
【0101】図14は本発明の異なる実施例に係るニュ
−ラルネットワ−ク装置の要部構成を示す図である。
−ラルネットワ−ク装置の要部構成を示す図である。
【0102】この実施例に係るニュ−ラルネットワ−ク
装置が第1の実施例のそれと異なる点は、教師信号を用
いないニュ−ラルネットワ−ク装置に、図13の感知手
段55と同様な感知手段58を設けたことにある。
装置が第1の実施例のそれと異なる点は、教師信号を用
いないニュ−ラルネットワ−ク装置に、図13の感知手
段55と同様な感知手段58を設けたことにある。
【0103】このように構成された教師信号無しニュ−
ラルネットワ−ク装置は、図12の教師信号ありニュ−
ラルネットワ−ク装置の場合と同様な理由により学習機
能が改善される。
ラルネットワ−ク装置は、図12の教師信号ありニュ−
ラルネットワ−ク装置の場合と同様な理由により学習機
能が改善される。
【0104】なお、本発明は上述した実施例に限定され
るものではない。例えば、上記実施例では、コンパレ−
タを用いて入力信号の正負しか判断しなかったが、コン
パレ−タの代わりに量子化器を用いて、正負の情報の他
に入力信号の大きさもある程度考慮することで収束の早
い回路を得ることができる。その他、本発明の要旨を逸
脱しない範囲で、種々変形して実施できる。
るものではない。例えば、上記実施例では、コンパレ−
タを用いて入力信号の正負しか判断しなかったが、コン
パレ−タの代わりに量子化器を用いて、正負の情報の他
に入力信号の大きさもある程度考慮することで収束の早
い回路を得ることができる。その他、本発明の要旨を逸
脱しない範囲で、種々変形して実施できる。
【0105】
【発明の効果】以上詳述したように、本発明によれば学
習能力が改善され、しかも通常人間が入り込めない場所
での使用も可能になるので実用的なニューラルネットワ
ーク装置を得ることができる。
習能力が改善され、しかも通常人間が入り込めない場所
での使用も可能になるので実用的なニューラルネットワ
ーク装置を得ることができる。
【図1】多層パ−セプトロンを説明するための図。
【図2】本発明の一実施例に係るニュ−ラルネットワ−
ク装置の概略構成図。
ク装置の概略構成図。
【図3】本発明の他の実施例に係るニュ−ラルネットワ
−ク装置の概略構成図。
−ク装置の概略構成図。
【図4】図2,図3のニュ−ラルネットワ−ク装置の演
算処理手段の集積化を説明するための図。
算処理手段の集積化を説明するための図。
【図5】制御パラメータ値を求める回路。
【図6】制御パラメータ値を求める回路。
【図7】図6の回路のタイムチャート。
【図8】制御パラメータ値を求める回路。
【図9】ニューラルネットワーク装置の性能評価装置の
概略構成図。
概略構成図。
【図10】ニューラルネットワーク装置の結合荷重素子
の概略構成図。
の概略構成図。
【図11】強磁性体デバイスを使用したときの第2の状
態変更信号を説明するための図。
態変更信号を説明するための図。
【図12】本発明の別の実施例に係るニュ−ラルネット
ワ−ク装置の要部構成を示す図。
ワ−ク装置の要部構成を示す図。
【図13】感知手段の具体的な構成を示す図。
【図14】本発明のさらに異なる実施例に係るニュ−ラ
ルネットワ−ク装置の要部構成を示す図
ルネットワ−ク装置の要部構成を示す図
1…第1の入力手段、2…教師信号生成手段、4…演算
処理手段、6…第2の入力手段、8…制御対象物、9…
遠隔操作信号送受信手段、10…送受信機、11…アン
テナ、12…第1の集積回路、13…第2の集積回路第
、16…入力端、17…コンパレータ、18…判断出力
信号、19…第1のアップダウンカウンタ、21…第1
のカウンタ出力、23…大小比較器、25…第2のアッ
プダウンカウンタ、28…乱数発生器、30…制御信号
端、31…第2のカウンタ出力、32…D/Aコンバー
タ、34…サンプリングされた外界情報、35…記憶手
段、38…教師信号発生手段、41…記録手段、42…
検査手段、44…変調回路、46…デバイス、49…感
知信号、60,64…コンパレ−タ、62,67…加算
器、66…スイッチ、70…累積加算手段、71…第1
の記憶手段、72…第2の記憶手段、75…シナプスブ
ロック、100…装置本体、101…ニュ−ラルネット
ワ−ク装置。
処理手段、6…第2の入力手段、8…制御対象物、9…
遠隔操作信号送受信手段、10…送受信機、11…アン
テナ、12…第1の集積回路、13…第2の集積回路第
、16…入力端、17…コンパレータ、18…判断出力
信号、19…第1のアップダウンカウンタ、21…第1
のカウンタ出力、23…大小比較器、25…第2のアッ
プダウンカウンタ、28…乱数発生器、30…制御信号
端、31…第2のカウンタ出力、32…D/Aコンバー
タ、34…サンプリングされた外界情報、35…記憶手
段、38…教師信号発生手段、41…記録手段、42…
検査手段、44…変調回路、46…デバイス、49…感
知信号、60,64…コンパレ−タ、62,67…加算
器、66…スイッチ、70…累積加算手段、71…第1
の記憶手段、72…第2の記憶手段、75…シナプスブ
ロック、100…装置本体、101…ニュ−ラルネット
ワ−ク装置。
Claims (4)
- 【請求項1】入力された外界情報に所定の処理を施して
入力信号を生成する入力手段と、複数の制御パラメ−タ
により前記入力信号に演算処理を施して出力信号を生成
する演算処理手段と、前記出力信号が前記入力信号に対
して所定の関係になるべく前記演算処理手段の制御パラ
メ−タを制御する制御手段とを有するニュ−ラルネット
ワ−ク装置において、前記制御手段は、その一部が前記
演算処理手段の外部に設けられ、この外部に設けられた
部分が送受信手段を介して前記入力信号を受けると共に
上記送受信手段を介して前記演算処理手段の制御パラメ
−タを制御することを特徴とするニュ−ラルネットワ−
ク装置。 - 【請求項2】入力された外界情報に所定の処理を施して
入力信号を生成する入力手段と、複数の制御パラメ−タ
により前記入力信号に演算処理を施して出力信号を生成
する演算処理手段と、前記出力信号が前記入力信号に対
して所定の関係になるべく前記演算処理手段の制御パラ
メ−タを制御する制御手段とを有するニュ−ラルネット
ワ−ク装置において、前記制御手段は、学習過程時に入
力信号として与えられる複数の提示パタ−ンに対する制
御パラメ−タの更新量を累積加算する累積加算手段と、
この累積加算手段で得られた値に現在用いている制御パ
ラメ−タ値を加算して新たな制御パラメ−タ値を作成す
る手段とを具備してなることを特徴とするニュ−ラルネ
ットワ−ク装置。 - 【請求項3】前記累積加算手段は、各制御パラメ−タ値
の更新量に付けられている正負の符号を単位として累積
加算することを特徴とする請求項2に記載のニュ−ラル
ネットワ−ク装置。 - 【請求項4】入力された外界情報に所定の処理を施して
入力信号を生成する入力手段と、複数の制御パラメ−タ
により前記入力信号に演算処理を施して出力信号を生成
する演算処理手段と、前記出力信号が前記入力信号に対
する所定の信号になるべく前記演算処理手段の制御パラ
メ−タを制御する制御手段とを有するニュ−ラルネット
ワ−ク装置において、前記各要素の収容された領域の内
部又は外部の温度を感知する感知手段を設け、この感知
手段の出力信号を前記入力信号の一部とすることを特徴
とするニューラルネットワーク装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3053305A JPH04211802A (ja) | 1990-07-25 | 1991-02-25 | ニュ−ラルネットワ−ク装置 |
US07/734,780 US5319738A (en) | 1990-07-25 | 1991-07-23 | Neural network device |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19482290 | 1990-07-25 | ||
JP2-194822 | 1990-07-25 | ||
JP3053305A JPH04211802A (ja) | 1990-07-25 | 1991-02-25 | ニュ−ラルネットワ−ク装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH04211802A true JPH04211802A (ja) | 1992-08-03 |
Family
ID=26394022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3053305A Pending JPH04211802A (ja) | 1990-07-25 | 1991-02-25 | ニュ−ラルネットワ−ク装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5319738A (ja) |
JP (1) | JPH04211802A (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU658066B2 (en) * | 1992-09-10 | 1995-03-30 | Deere & Company | Neural network based control system |
JP2737583B2 (ja) * | 1992-11-26 | 1998-04-08 | 松下電器産業株式会社 | ニューラルネットワーク回路 |
US5802505A (en) * | 1993-04-13 | 1998-09-01 | Matsushita Electric Industrial Co., Ltd. | Waveform signal equalizing method and apparatus and signal recording and reproducing apparatus |
US5583771A (en) * | 1994-08-04 | 1996-12-10 | Delco Electronics Corp. | Method and apparatus for distinguishing between deployment events and non-deployment events in an SIR system |
DE4440859C2 (de) * | 1994-11-15 | 1998-08-06 | Alexander Kaske | Verfahren und Vorrichtung zum Steuern eines autonom explorierenden Roboters |
US5689621A (en) * | 1995-04-28 | 1997-11-18 | Michigan State University | Modular feedforward neural network architecture with learning |
WO1996041277A1 (en) * | 1995-06-07 | 1996-12-19 | Inficom, Inc. | Neutral network processor for communication systems and method for its use |
US5940535A (en) * | 1996-10-31 | 1999-08-17 | Industrial Technology Research Institute | Method and apparatus for designing a highly reliable pattern recognition system |
US5980571A (en) * | 1997-12-11 | 1999-11-09 | Colin Corporation | Substitute-heart control apparatus |
US7765581B1 (en) * | 1999-12-10 | 2010-07-27 | Oracle America, Inc. | System and method for enabling scalable security in a virtual private network |
JP2001188767A (ja) * | 1999-12-28 | 2001-07-10 | Fuji Xerox Co Ltd | ニューラルネットワーク演算装置及びニューラルネットワークの演算方法 |
JP5534524B2 (ja) * | 2008-10-24 | 2014-07-02 | 独立行政法人情報通信研究機構 | 計算処理システム、プログラム作成方法、コンピュータ読取可能な記録媒体、および、プログラム作成プログラム |
WO2011123150A2 (en) * | 2009-10-20 | 2011-10-06 | The Regents Of The University Of Michigan | Distributed, minimally-invasive neural interface for wireless epidural recording |
US10325007B2 (en) | 2017-04-05 | 2019-06-18 | International Business Machines Corporation | Noise and bound management for RPU array |
DE102020211648A1 (de) | 2020-09-17 | 2022-03-17 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0247163B1 (en) * | 1985-11-27 | 1992-02-05 | Trustees Of Boston University | Pattern encoding system |
US4858147A (en) * | 1987-06-15 | 1989-08-15 | Unisys Corporation | Special purpose neurocomputer system for solving optimization problems |
US4874963A (en) * | 1988-02-11 | 1989-10-17 | Bell Communications Research, Inc. | Neuromorphic learning networks |
US5059814A (en) * | 1988-11-30 | 1991-10-22 | The California Institute Of Technology | Winner-take-all circuits for neural computing systems |
US4912655A (en) * | 1988-12-14 | 1990-03-27 | Gte Laboratories Incorporated | Adjusting neural networks |
US4941122A (en) * | 1989-01-12 | 1990-07-10 | Recognition Equipment Incorp. | Neural network image processing system |
KR910009445B1 (ko) * | 1989-02-02 | 1991-11-16 | 정호선 | 신경회로망을 이용한 연상메모리(Associative memory) |
US5146542A (en) * | 1989-06-15 | 1992-09-08 | General Electric Company | Neural net using capacitive structures connecting output lines and differentially driven input line pairs |
US5086479A (en) * | 1989-06-30 | 1992-02-04 | Hitachi, Ltd. | Information processing system using neural network learning function |
JP2575215B2 (ja) * | 1989-10-30 | 1997-01-22 | 富士写真フイルム株式会社 | カラー画像形成装置 |
US5075869A (en) * | 1990-06-24 | 1991-12-24 | Intel Corporation | Neural network exhibiting improved tolerance to temperature and power supply variations |
-
1991
- 1991-02-25 JP JP3053305A patent/JPH04211802A/ja active Pending
- 1991-07-23 US US07/734,780 patent/US5319738A/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US5319738A (en) | 1994-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH04211802A (ja) | ニュ−ラルネットワ−ク装置 | |
Patra et al. | An intelligent pressure sensor using neural networks | |
CN107203134B (zh) | 一种基于深度卷积神经网络的前车跟随方法 | |
Patra et al. | Modeling of an intelligent pressure sensor using functional link artificial neural networks | |
JP4440603B2 (ja) | 容量検出回路及び検出方法並びにそれを用いた指紋センサ | |
KR20160123309A (ko) | 확률적 스파이킹 베이지안망들에 대한 이벤트-기반 추론 및 학습 | |
JPS6012671B2 (ja) | 自己組織化情報処理モジユ−ル | |
US20210406665A1 (en) | Analog Hardware Realization of Trained Neural Networks | |
CN111461187B (zh) | 一种建筑物沉降智能检测*** | |
Sachenko et al. | Sensor errors prediction using neural networks | |
Fang et al. | Neuromorphic algorithm-hardware codesign for temporal pattern learning | |
Patra et al. | Modeling and development of an ANN-based smart pressure sensor in a dynamic environment | |
CN113156473A (zh) | 信息融合定位***卫星信号环境的自适应判别方法 | |
CN112818773A (zh) | 心率检测方法、设备及存储介质 | |
Patra et al. | ANN-based intelligent pressure sensor in noisy environment | |
Patra et al. | Neural-network-based smart sensor framework operating in a harsh environment | |
US5075869A (en) | Neural network exhibiting improved tolerance to temperature and power supply variations | |
Sachenko et al. | Sensor drift prediction using neural networks | |
JP2000242624A (ja) | 信号分離装置 | |
CN113792863A (zh) | 一种脉冲神经网络建模方法、***及其应用 | |
US6009185A (en) | Neural network based contact state estimator | |
KR102125349B1 (ko) | 행동 패턴 추론 장치 및 방법 | |
Patra et al. | Auto-calibration and-compensation of a capacitive pressure sensor using multilayer perceptrons | |
Ünal et al. | Artificial neural networks | |
JP3025592B2 (ja) | ニューロコンピュータ |