JP3229624B2 - 多層神経回路網及びその回路設計方法 - Google Patents
多層神経回路網及びその回路設計方法Info
- Publication number
- JP3229624B2 JP3229624B2 JP20699191A JP20699191A JP3229624B2 JP 3229624 B2 JP3229624 B2 JP 3229624B2 JP 20699191 A JP20699191 A JP 20699191A JP 20699191 A JP20699191 A JP 20699191A JP 3229624 B2 JP3229624 B2 JP 3229624B2
- Authority
- JP
- Japan
- Prior art keywords
- layer
- input
- output
- neuron
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 55
- 238000000034 method Methods 0.000 title claims description 17
- 210000002569 neuron Anatomy 0.000 claims description 75
- 210000000225 synapse Anatomy 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 94
- 238000010586 diagram Methods 0.000 description 9
- 210000002364 input neuron Anatomy 0.000 description 5
- 238000003909 pattern recognition Methods 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 4
- 210000004205 output neuron Anatomy 0.000 description 4
- 239000002356 single layer Substances 0.000 description 4
- 102100028043 Fibroblast growth factor 3 Human genes 0.000 description 3
- 108050002021 Integrator complex subunit 2 Proteins 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 102100024061 Integrator complex subunit 1 Human genes 0.000 description 2
- 101710092857 Integrator complex subunit 1 Proteins 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000037230 mobility Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- RCZJVHXVCSKDKB-UHFFFAOYSA-N tert-butyl 2-[[1-(2-amino-1,3-thiazol-4-yl)-2-(1,3-benzothiazol-2-ylsulfanyl)-2-oxoethylidene]amino]oxy-2-methylpropanoate Chemical compound N=1C2=CC=CC=C2SC=1SC(=O)C(=NOC(C)(C)C(=O)OC(C)(C)C)C1=CSC(N)=N1 RCZJVHXVCSKDKB-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/30—Circuit design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Neurology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Semiconductor Integrated Circuits (AREA)
- Logic Circuits (AREA)
Description
【０００１】
【産業上の利用分野】本発明は多層神経回路網とその回
路設計方法に係り、特に多層神経回路網のＶＬＳＩ回路
具現を容易に達成できる多層神経回路網とその回路設計
方法に関する。
路設計方法に係り、特に多層神経回路網のＶＬＳＩ回路
具現を容易に達成できる多層神経回路網とその回路設計
方法に関する。
【０００２】
【従来の技術】最近、パターン認識分野において、実時
間処理のために大規模の並列処理のできる神経回路網の
導入が活発に進行されつつある。１９８８年ベル研究所
のＨａｎｓ Ｐ・Ｇｒａｆらはマトリックス状の抵抗性
結合素子を通じて、それらの入出力が相互連結される増
幅器で神経回路のシナプス（ｓｙｎａｐｓ）とニューロ
ン（ｎｅｕｒｏｎ）を構成し、ニューロンとニューロン
との間の連結のために一対のメモリセル（ＲＡＭ）に記
憶された内容に応じてスイッチングされる一対のスイッ
チを具備したパターン認識神経回路網を発表した。
間処理のために大規模の並列処理のできる神経回路網の
導入が活発に進行されつつある。１９８８年ベル研究所
のＨａｎｓ Ｐ・Ｇｒａｆらはマトリックス状の抵抗性
結合素子を通じて、それらの入出力が相互連結される増
幅器で神経回路のシナプス（ｓｙｎａｐｓ）とニューロ
ン（ｎｅｕｒｏｎ）を構成し、ニューロンとニューロン
との間の連結のために一対のメモリセル（ＲＡＭ）に記
憶された内容に応じてスイッチングされる一対のスイッ
チを具備したパターン認識神経回路網を発表した。
【０００３】本発明者はＰＭＯＳまたはＮＭＯＳトラン
ジスタでシナプスを構成し、一対のＣＭＯＳインバータ
を従属連結したバッファでニューロンを構成した神経回
路を用いて、加算器（アメリカ出願第０７／４７３，６
５３号）、積算器（第０７／４７３，６３３号）、Ａ／
Ｄ変換器（第０７／４７３，６３１号、０７／４７３，
６３４号）、パターン分類器（第０７／４７３，４６４
号）等を出願中である。上述の従来の神経回路は、単層
神経回路網モデルを用いたもので、線形的に分離可能な
問題が解決できるが、線形的に分離できない非線形的な
問題は解決できなかった。従ってその適用範囲が極めて
制限的であることは不可避であった。例えば、排他論理
和回路、即ちＸＯＲ回路は単層神経回路網をもってはそ
の解が求められなかった。このような単層神経回路網の
制限性は多層神経回路網により克服でき、多層神経回路
網はエラー逆行伝達アルゴリズム（Ｂａｃｋ Ｐｒｏｐ
ａｇａｔｉｏｎ）により学習されうることが知られてい
る（１９８７年４月発刊されたＩＥＥＥ ＡＳＳＰ Ｍ
ＡＧＡＺＩＮＥ ４〜２２頁参照）。
ジスタでシナプスを構成し、一対のＣＭＯＳインバータ
を従属連結したバッファでニューロンを構成した神経回
路を用いて、加算器（アメリカ出願第０７／４７３，６
５３号）、積算器（第０７／４７３，６３３号）、Ａ／
Ｄ変換器（第０７／４７３，６３１号、０７／４７３，
６３４号）、パターン分類器（第０７／４７３，４６４
号）等を出願中である。上述の従来の神経回路は、単層
神経回路網モデルを用いたもので、線形的に分離可能な
問題が解決できるが、線形的に分離できない非線形的な
問題は解決できなかった。従ってその適用範囲が極めて
制限的であることは不可避であった。例えば、排他論理
和回路、即ちＸＯＲ回路は単層神経回路網をもってはそ
の解が求められなかった。このような単層神経回路網の
制限性は多層神経回路網により克服でき、多層神経回路
網はエラー逆行伝達アルゴリズム（Ｂａｃｋ Ｐｒｏｐ
ａｇａｔｉｏｎ）により学習されうることが知られてい
る（１９８７年４月発刊されたＩＥＥＥ ＡＳＳＰ Ｍ
ＡＧＡＺＩＮＥ ４〜２２頁参照）。
【０００４】
【発明が解決しようとする課題】多層神経回路網をハー
ドウェアに具現する時コンピュータによるソフトウェア
にシミュレーションする時とは異なり多くの制約が伴わ
れる。神経回路網のハードウェア具現は、現在のＶＬＳ
Ｉ技術に依存すべきであるが、神経回路の連結加重値と
非線形関数の回路的な具現でソフトウェアシミュレーシ
ョンでのように自由でない。また、ソフトウェアではフ
ローティングポイントを用いた実数演算をし、神経回路
網の接続とノードの数を多くすることができるが、これ
をＶＬＳＩに具現するにおいては種々の問題が生ずる。
ドウェアに具現する時コンピュータによるソフトウェア
にシミュレーションする時とは異なり多くの制約が伴わ
れる。神経回路網のハードウェア具現は、現在のＶＬＳ
Ｉ技術に依存すべきであるが、神経回路の連結加重値と
非線形関数の回路的な具現でソフトウェアシミュレーシ
ョンでのように自由でない。また、ソフトウェアではフ
ローティングポイントを用いた実数演算をし、神経回路
網の接続とノードの数を多くすることができるが、これ
をＶＬＳＩに具現するにおいては種々の問題が生ずる。
【０００５】従って、本発明の目的はこのような従来の
技術の問題を解決するために連結加重値を定数とし、段
階関数を有する多層神経回路網を提供することである。
技術の問題を解決するために連結加重値を定数とし、段
階関数を有する多層神経回路網を提供することである。
【０００６】本発明の他の目的は前記多層神経回路網を
新たな学習ルールにより設計するための多層神経回路網
の回路設計方法を提供することである。
新たな学習ルールにより設計するための多層神経回路網
の回路設計方法を提供することである。
【０００７】
【課題を解決するための手段】前述した目的を達成する
ために、本発明の多層神経回路網は、ｍビットの入力を
受信してｎビットの出力を発生する多層神経回路網にお
いて、一対のＣＭＯＳインバータを従属連結し、前記一
対のＣＭＯＳインバータのうち前段のＣＭＯＳインバー
タの出力ノードをその反転出力ノードとし、後段のＣＭ
ＯＳインバータの出力ノードをその非反転出力ノードと
するニューロンと、前記ニューロンをｍ個具備して前記
ｍビットの入力を受信する入力層と、前記ニューロンを
ｎ個具備して前記ｎビットの出力を発生する出力層と、
前記ニューロンをｎ個具備して各々の層が前記入力層又
はそのすぐ前段の下位層から受信された入力を前記出力
層及びその上位の総ての隠匿層に伝達するための少なく
とも一層以上の隠匿層と、前記入力層の各ニューロンの
出力を前記出力層及び前記少なくとも一つ以上の隠匿層
の各ニューロンに連結するためにそれぞれ所定の加重値
を有するマトリックス状の入力シナプス群と、前記隠匿
層の各ニューロンの出力をその上位の総ての隠匿層及び
前記出力層の各ニューロンに連結するためにそれぞれ所
定の加重値を有するマトリックス状の少なくとも一つ以
上の伝達シナプス群と、前記少なくとも一つ以上の隠匿
層及び前記出力層の各ニューロンの入力ノードをバイア
スするためのバイアスシナプス群を具備してなり、前記
入力シナプス群は前記出力層と前記少なくとも一層以上
の隠匿層の各ニューロンの入力ノードに前記入力層の各
ニューロンに受信される入力ビット値が“１”の場合は
連結加重値がポジティブであれば、前記入力層の各ニュ
ーロンの反転出力ノードにゲートの連結されたＰＭＯＳ
トランジスタを通じて前記連結加重値の連結強さで第１
電源電圧を結合し、連結加重値がネガティブであれば、
前記入力層の各ニューロンの非反転出力ノードにゲート
の連結されたＮＭＯＳトランジスタを通じて前記連結加
重値の連結強さで第２電源電圧を結合し、前記入力ビッ
ト値が“０”の場合は連結加重値がポジティブであれ
ば、前記入力層の各ニューロンの非反転出力ノードにゲ
ートの連結されたＰＭＯＳトランジスタを通じて前記連
結加重値の連結強さで第１電源電圧を結合し、連結加重
値がネガティブであれば、前記入力層の各ニューロンの
反転出力ノードにゲートの連結されたＮＭＯＳトランジ
スタを通じて前記連結加 重値の連結強さで第２電源電圧
を結合し、前記入力ビット値が“１”または“０”の場
合、連結加重値の値が“０”であれば何の連結もせず、
前記伝達シナプス群は前記隠匿層のうちその上位の総て
の隠匿層及び出力層の各ニューロンの入力ノードに、前
記入力シナプス群と同一の方式で隠匿層の各ニューロン
の反転及び非反転出力ノードを連結するためのＰＭＯＳ
またはＮＭＯＳトランジスタよりなることを特徴とす
る。
ために、本発明の多層神経回路網は、ｍビットの入力を
受信してｎビットの出力を発生する多層神経回路網にお
いて、一対のＣＭＯＳインバータを従属連結し、前記一
対のＣＭＯＳインバータのうち前段のＣＭＯＳインバー
タの出力ノードをその反転出力ノードとし、後段のＣＭ
ＯＳインバータの出力ノードをその非反転出力ノードと
するニューロンと、前記ニューロンをｍ個具備して前記
ｍビットの入力を受信する入力層と、前記ニューロンを
ｎ個具備して前記ｎビットの出力を発生する出力層と、
前記ニューロンをｎ個具備して各々の層が前記入力層又
はそのすぐ前段の下位層から受信された入力を前記出力
層及びその上位の総ての隠匿層に伝達するための少なく
とも一層以上の隠匿層と、前記入力層の各ニューロンの
出力を前記出力層及び前記少なくとも一つ以上の隠匿層
の各ニューロンに連結するためにそれぞれ所定の加重値
を有するマトリックス状の入力シナプス群と、前記隠匿
層の各ニューロンの出力をその上位の総ての隠匿層及び
前記出力層の各ニューロンに連結するためにそれぞれ所
定の加重値を有するマトリックス状の少なくとも一つ以
上の伝達シナプス群と、前記少なくとも一つ以上の隠匿
層及び前記出力層の各ニューロンの入力ノードをバイア
スするためのバイアスシナプス群を具備してなり、前記
入力シナプス群は前記出力層と前記少なくとも一層以上
の隠匿層の各ニューロンの入力ノードに前記入力層の各
ニューロンに受信される入力ビット値が“１”の場合は
連結加重値がポジティブであれば、前記入力層の各ニュ
ーロンの反転出力ノードにゲートの連結されたＰＭＯＳ
トランジスタを通じて前記連結加重値の連結強さで第１
電源電圧を結合し、連結加重値がネガティブであれば、
前記入力層の各ニューロンの非反転出力ノードにゲート
の連結されたＮＭＯＳトランジスタを通じて前記連結加
重値の連結強さで第２電源電圧を結合し、前記入力ビッ
ト値が“０”の場合は連結加重値がポジティブであれ
ば、前記入力層の各ニューロンの非反転出力ノードにゲ
ートの連結されたＰＭＯＳトランジスタを通じて前記連
結加重値の連結強さで第１電源電圧を結合し、連結加重
値がネガティブであれば、前記入力層の各ニューロンの
反転出力ノードにゲートの連結されたＮＭＯＳトランジ
スタを通じて前記連結加 重値の連結強さで第２電源電圧
を結合し、前記入力ビット値が“１”または“０”の場
合、連結加重値の値が“０”であれば何の連結もせず、
前記伝達シナプス群は前記隠匿層のうちその上位の総て
の隠匿層及び出力層の各ニューロンの入力ノードに、前
記入力シナプス群と同一の方式で隠匿層の各ニューロン
の反転及び非反転出力ノードを連結するためのＰＭＯＳ
またはＮＭＯＳトランジスタよりなることを特徴とす
る。
【０００８】
【０００９】前述した他の目的を達成するための本発明
の方法は、ｍビットの入力を受信してｎビットの出力を
発生する前述した多層神経回路網の回路設計方法におい
て、前記入力シナプス群の連結加重値を初期化する第１
段階と、前記ｍビットの入力値とこの入力に対応するｎ
ビットの所望の出力値を設定する第２段階と、前記出力
層の各ニューロンの入力ノードで入力の加重値の和を求
め、階段関数により実際の出力を発生する第３段階と、
前記第３段階で得られた実際の出力値と第２段階で設定
された前記所望の出力値とを比較して誤差を計算し、こ
の誤差値により算出された加重値の変化分を貯蔵する第
４段階と、前記第２段階から第４段階までは２m 個の総
ての入出力対に対して行い、総ての出力値が所望の出力
値と等しければ学習を終え、そうでなければこの時の貯
蔵された加重値変化分の和をそれぞれ求めて、現在の各
加重値に加えて新たな加重値を求める第５段階と、前記
出力層の各ニューロンの入力ノードで前記第５段階で得
られた新たな加重値の和が定められた値以上の場合は一
定比率で加重値をそれぞれ減少させる第６段階と、定め
られた学習回数の間前記第６段階までを繰り返した後、
所望の結果が得られない場合は前記出力層を隠匿層と
し、新たな出力層を増加させその下位の総ての隠匿層の
出力と前記本来の入力を新たな入力として前記第２段階
から繰り返して行う第７段階よりなることを特徴とす
る。
の方法は、ｍビットの入力を受信してｎビットの出力を
発生する前述した多層神経回路網の回路設計方法におい
て、前記入力シナプス群の連結加重値を初期化する第１
段階と、前記ｍビットの入力値とこの入力に対応するｎ
ビットの所望の出力値を設定する第２段階と、前記出力
層の各ニューロンの入力ノードで入力の加重値の和を求
め、階段関数により実際の出力を発生する第３段階と、
前記第３段階で得られた実際の出力値と第２段階で設定
された前記所望の出力値とを比較して誤差を計算し、こ
の誤差値により算出された加重値の変化分を貯蔵する第
４段階と、前記第２段階から第４段階までは２m 個の総
ての入出力対に対して行い、総ての出力値が所望の出力
値と等しければ学習を終え、そうでなければこの時の貯
蔵された加重値変化分の和をそれぞれ求めて、現在の各
加重値に加えて新たな加重値を求める第５段階と、前記
出力層の各ニューロンの入力ノードで前記第５段階で得
られた新たな加重値の和が定められた値以上の場合は一
定比率で加重値をそれぞれ減少させる第６段階と、定め
られた学習回数の間前記第６段階までを繰り返した後、
所望の結果が得られない場合は前記出力層を隠匿層と
し、新たな出力層を増加させその下位の総ての隠匿層の
出力と前記本来の入力を新たな入力として前記第２段階
から繰り返して行う第７段階よりなることを特徴とす
る。
【００１０】
【作用】請求項１〜３に記載された本発明の多層神経回
路網を請求項４，５に記載された本発明の多層神経回路
網の回路設計方法に従って動作させることにより、神経
回路網のＶＬＳＩ回路具現を容易に達成でき、さらに回
路の簡略化が可能になる。
路網を請求項４，５に記載された本発明の多層神経回路
網の回路設計方法に従って動作させることにより、神経
回路網のＶＬＳＩ回路具現を容易に達成でき、さらに回
路の簡略化が可能になる。
【００１１】
【実施例】以下、本発明にかかる多層神経回路網および
その回路設計方法の好適な実施例を添付した図面を参照
して説明する。
その回路設計方法の好適な実施例を添付した図面を参照
して説明する。
【００１２】図１は一般の多層神経回路網の概念図で、
これは入力ノードと出力ノードとの間に少なくとも一層
以上のノードを有するフィードフォーワード回路網であ
る。これらの追加層は入力ノード及び出力ノードの両側
に直接に連結されない隠匿ユニットまたはノードを含
む。３層神経回路網は、図１に示したように入力層Ｌ０
と出力層Ｌ３との間に２層の隠匿層Ｌ１，Ｌ２を有す
る。入力層Ｌ０は、入力Ｘ0 Ｘ1 Ｘ2 Ｘ3 Ｘ4を受信す
るために５個のニューロンユニットまたはノードＮＯ１
〜ＮＯ５を有する。隠匿層Ｌ１，Ｌ２は、それぞれ３個
のニューロンユニットまたはノードＮ１１〜Ｎ１３，Ｎ
２１〜Ｎ２３を有し、出力層Ｌ３は出力Ｙ 0 Ｙ1 Ｙ2 を
発生するために３個のニューロンユニットまたはノード
Ｎ３１〜Ｎ３３を有する。ここで、各層のニューロンユ
ニットの数は回路システムの入出力ビット数に従って決
定されることに留意すべきである。各層のニューロンユ
ニットまたはノードは、自分のすぐ前段の下位層の総て
のニューロンユニットからのみ連結（ｃｏｎｎｅｃｔｉ
ｏｎ）を受信する。
これは入力ノードと出力ノードとの間に少なくとも一層
以上のノードを有するフィードフォーワード回路網であ
る。これらの追加層は入力ノード及び出力ノードの両側
に直接に連結されない隠匿ユニットまたはノードを含
む。３層神経回路網は、図１に示したように入力層Ｌ０
と出力層Ｌ３との間に２層の隠匿層Ｌ１，Ｌ２を有す
る。入力層Ｌ０は、入力Ｘ0 Ｘ1 Ｘ2 Ｘ3 Ｘ4を受信す
るために５個のニューロンユニットまたはノードＮＯ１
〜ＮＯ５を有する。隠匿層Ｌ１，Ｌ２は、それぞれ３個
のニューロンユニットまたはノードＮ１１〜Ｎ１３，Ｎ
２１〜Ｎ２３を有し、出力層Ｌ３は出力Ｙ 0 Ｙ1 Ｙ2 を
発生するために３個のニューロンユニットまたはノード
Ｎ３１〜Ｎ３３を有する。ここで、各層のニューロンユ
ニットの数は回路システムの入出力ビット数に従って決
定されることに留意すべきである。各層のニューロンユ
ニットまたはノードは、自分のすぐ前段の下位層の総て
のニューロンユニットからのみ連結（ｃｏｎｎｅｃｔｉ
ｏｎ）を受信する。
【００１３】前記従来の多層神経回路網は、既知のエラ
ー逆行伝達アルゴリズム（ＢａｃｋＰｒｏｐａｇａｔｉ
ｏｎ Ｔｒａｉｎｉｎｇ Ａｌｇｏｒｉｔｈｍ）により
学習されるが、このＢＰＴＡにおいては図２に示したグ
ラフ特性を有し、次の式（１）に表示されるシグモイド
関数を用いる。
ー逆行伝達アルゴリズム（ＢａｃｋＰｒｏｐａｇａｔｉ
ｏｎ Ｔｒａｉｎｉｎｇ Ａｌｇｏｒｉｔｈｍ）により
学習されるが、このＢＰＴＡにおいては図２に示したグ
ラフ特性を有し、次の式（１）に表示されるシグモイド
関数を用いる。
【００１４】
【数３】
【００１５】しかし、前記シグモイド関数は指数関数な
ので、ハードウェア的に具現するにおいて困難性及び回
路の複雑性等の問題を有している。
ので、ハードウェア的に具現するにおいて困難性及び回
路の複雑性等の問題を有している。
【００１６】また、２進化された入力と階段関数を用い
る場合従来の多層神経回路網は、層間の連結構造により
互いに異なる入力値に対して等しい値を有することがで
き、このようになれば上位層で入力値を区分しにくくな
る問題が生ずる。
る場合従来の多層神経回路網は、層間の連結構造により
互いに異なる入力値に対して等しい値を有することがで
き、このようになれば上位層で入力値を区分しにくくな
る問題が生ずる。
【００１７】図３は本発明による多層神経回路網の概念
図で、各層のニューロンユニットまたはノードはその下
位の総ての層の総てのニューロンユニットのみならず、
入力層の総てのニューロンユニットから連結される構成
が図１の多層神経回路網とは異なる。他の構成は図１と
同様なので同一符号を処理する。また、このような本発
明の多層神経回路網の学習においては図４に示したグラ
フ特性を有し、次の式（２）に表示されるステップ関数
を用いる。なお、このステップ関数に用いられるハード
リミット非線形関数ｆｈ（Ｎ）は、変数Ｎが０未満のと
き−１となり、変数Ｎが０以上のとき＋１となる関数で
ある。
図で、各層のニューロンユニットまたはノードはその下
位の総ての層の総てのニューロンユニットのみならず、
入力層の総てのニューロンユニットから連結される構成
が図１の多層神経回路網とは異なる。他の構成は図１と
同様なので同一符号を処理する。また、このような本発
明の多層神経回路網の学習においては図４に示したグラ
フ特性を有し、次の式（２）に表示されるステップ関数
を用いる。なお、このステップ関数に用いられるハード
リミット非線形関数ｆｈ（Ｎ）は、変数Ｎが０未満のと
き−１となり、変数Ｎが０以上のとき＋１となる関数で
ある。
【００１８】
【数４】
【００１９】本発明による多層神経回路網は次の学習ア
ルゴリズムに従って回路設計される。
ルゴリズムに従って回路設計される。
【００２０】第１段階：総てのノード間の連結加重値を
初期化する。
初期化する。
【００２１】第２段階：入力と所望の出力対を入出力に
提示する。
提示する。
【００２２】ここで、入力はｍビットの２進値で総２m
個を有し、出力はｎビットの２進値で入力に対応して２
m 個を有する。従って、互いに異なる入力に対して等し
い出力値を有することもある。
個を有し、出力はｎビットの２進値で入力に対応して２
m 個を有する。従って、互いに異なる入力に対して等し
い出力値を有することもある。
【００２３】第３段階：各ノードで入力の加重値和を求
め、ステップ関数により実際の出力を発生する。
め、ステップ関数により実際の出力を発生する。
【００２４】ここでステップ関数は上記（２）式を用い
る。
る。
【００２５】第４段階：出力ノードで所望の出力値と前
記第３段階で得られた実際の出力値とを比較して誤差を
計算し、この誤差値による加重値の変化分を貯蔵する。
記第３段階で得られた実際の出力値とを比較して誤差を
計算し、この誤差値による加重値の変化分を貯蔵する。
【００２６】即ち、誤差（δ）は δ＝所望の出力−実際の出力 であり、加重値変化分（ΔＷ）は ΔＷ＝δ×入力である。
【００２７】第５段階：前記第２段階から第４段階まで
の過程を総ての入出力対について行い、総ての実際の出
力値が所望の出力値と等しければ学習（ｌｅａｒｎｉｎ
ｇ）を終え、そうでなければこの時の加重値変化分（Δ
Ｗ）の総和をそれぞれの加重値に足す。
の過程を総ての入出力対について行い、総ての実際の出
力値が所望の出力値と等しければ学習（ｌｅａｒｎｉｎ
ｇ）を終え、そうでなければこの時の加重値変化分（Δ
Ｗ）の総和をそれぞれの加重値に足す。
【００２８】即ち、新たな加重値（ＷT ）は、 ＷT ＝ＷT-1 ＋ΣΔＷ になる。ここでＴは学習回数を示す。
【００２９】第６段階：各ノードで入力に対する新たな
加重値ＷT の和が定められた値Ｍ以上の場合は一定比率
で加重値ＷT の値を減らす。
加重値ＷT の和が定められた値Ｍ以上の場合は一定比率
で加重値ＷT の値を減らす。
【００３０】即ち、加重値ＷT は次の式により減少させ
る。
る。
【００３１】
【数５】
【００３２】ここでＷT はＴ回学習結果得られた加重値
である。
である。
【００３３】第７段階：前記新たな加重値ＷT を有して
前記第２段階から再び行って、定められた学習回数ほど
繰り返した後、所望の結果が得られない場合は現在の出
力総を隠匿層とし、新たな出力層を増加させた後下位の
総ての隠匿層の出力と本来の入力を新たな入力にして前
記第２段階から繰り返す。
前記第２段階から再び行って、定められた学習回数ほど
繰り返した後、所望の結果が得られない場合は現在の出
力総を隠匿層とし、新たな出力層を増加させた後下位の
総ての隠匿層の出力と本来の入力を新たな入力にして前
記第２段階から繰り返す。
【００３４】即ち、学習はまず単層の学習から行い、そ
の結果所望の出力値の総てが正しく得られれば学習を終
え、ある与えられた回数ほど学習を繰り返した後にも結
果が正しく得られなければさらに一つの層を増やす。増
えた新たな層では、本来の入力とその下位の総ての隠匿
層の不完全な実際出力を新たな入力にして、次の層を学
習する過程を繰り返すことになる。この際初めの学習で
の出力層の役割が隠匿層に変わることになる。即ち次の
層では、入力が総ての隠匿層の出力数ほど増えることを
除いては１番目層の学習と同様の方法で学習が繰り返さ
れる。前記学習過程で加重値の変更は、一つの入力が加
える度にそれぞれの加重値の変化量を貯蔵しておいてか
ら総ての入力を適用させた後、総加重値の変化量の和を
加重値に加えて新たな加重値にさせる方式で行われる。
の結果所望の出力値の総てが正しく得られれば学習を終
え、ある与えられた回数ほど学習を繰り返した後にも結
果が正しく得られなければさらに一つの層を増やす。増
えた新たな層では、本来の入力とその下位の総ての隠匿
層の不完全な実際出力を新たな入力にして、次の層を学
習する過程を繰り返すことになる。この際初めの学習で
の出力層の役割が隠匿層に変わることになる。即ち次の
層では、入力が総ての隠匿層の出力数ほど増えることを
除いては１番目層の学習と同様の方法で学習が繰り返さ
れる。前記学習過程で加重値の変更は、一つの入力が加
える度にそれぞれの加重値の変化量を貯蔵しておいてか
ら総ての入力を適用させた後、総加重値の変化量の和を
加重値に加えて新たな加重値にさせる方式で行われる。
【００３５】ここで一つのニューロンが、比較すべき加
重値の和がある定められた値Ｍ以上の場合は各加重値に
対して前記（３）式を適用して一定比率に減少させるこ
とにより加重値の和をＭ値以内に制限させる。
重値の和がある定められた値Ｍ以上の場合は各加重値に
対して前記（３）式を適用して一定比率に減少させるこ
とにより加重値の和をＭ値以内に制限させる。
【００３６】このような学習を通じて特定入出力に対し
て最終的に得られた加重値を有する多層神経回路網は、
図５の（Ａ）に示したようにＣＭＯＳインバータ、ＰＭ
ＯＳ及びＮＭＯＳトランジスタで具現する。図５の
（Ａ）において、３層神経回路網は５ビットの入力と３
ビットの出力を有する。従って入力層Ｌ０は、５個のニ
ューロンＮ０１〜Ｎ０５とを、２個の隠匿層Ｌ１，Ｌ２
と１個の出力層Ｌ３は、それぞれ３個のニューロンＮ１
１〜Ｎ１３，Ｎ２１〜Ｎ２３，Ｎ３１〜Ｎ３３を有す
る。ここで各層のニューロンは、図５の（Ｂ）に示した
ように一対のＣＭＯＳインバータＩＮＴ１，ＩＮＴ２を
従属連結したもので、前段のＣＭＯＳインバータＩＮＴ
１の出力ノードを反転出力ノードＮＤＢにし、後段のＣ
ＭＯＳインバータＩＮＴ２の出力ノードを非反転出力ノ
ードＮＤにするバッファで構成する。そして入力層の各
ニューロンと出力層の各ニューロンを連結するためのシ
ナプスは、次の方式に従ってＰＭＯＳ及びＮＭＯＳトラ
ンジスタで構成する。
て最終的に得られた加重値を有する多層神経回路網は、
図５の（Ａ）に示したようにＣＭＯＳインバータ、ＰＭ
ＯＳ及びＮＭＯＳトランジスタで具現する。図５の
（Ａ）において、３層神経回路網は５ビットの入力と３
ビットの出力を有する。従って入力層Ｌ０は、５個のニ
ューロンＮ０１〜Ｎ０５とを、２個の隠匿層Ｌ１，Ｌ２
と１個の出力層Ｌ３は、それぞれ３個のニューロンＮ１
１〜Ｎ１３，Ｎ２１〜Ｎ２３，Ｎ３１〜Ｎ３３を有す
る。ここで各層のニューロンは、図５の（Ｂ）に示した
ように一対のＣＭＯＳインバータＩＮＴ１，ＩＮＴ２を
従属連結したもので、前段のＣＭＯＳインバータＩＮＴ
１の出力ノードを反転出力ノードＮＤＢにし、後段のＣ
ＭＯＳインバータＩＮＴ２の出力ノードを非反転出力ノ
ードＮＤにするバッファで構成する。そして入力層の各
ニューロンと出力層の各ニューロンを連結するためのシ
ナプスは、次の方式に従ってＰＭＯＳ及びＮＭＯＳトラ
ンジスタで構成する。
【００３７】図５の（Ｂ）を参照するに、各シナプスの
ＰＭＯＳトランジスタ、ＮＭＯＳトランジスタは、入力
ニューロンＩＮに受信される入力ビット値が“１”の場
合は前述した学習により最終的に得られた加重値、即ち
連結加重値がポジティブであれば、前記入力ニューロン
ＩＮの反転出力ノードＮＤＢにゲートの連結されたＰＭ
ＯＳトランジスタを通じて前記連結加重値の連結強さで
第１電源電圧、例えば供給電圧Ｖｃｃを出力ニューロン
ＯＮの入力ノードＩＮＤに結合されるようにし（図面で
“Ｂ”）、ネガティブであれば、前記入力ニューロンＩ
Ｎの非反転出力ノードＮＤにゲートの連結されたＮＭＯ
Ｓトランジスタを通じて前記連結加重値の連結強さで第
２電源電圧、例えば接地電圧ＧＮＤまたはＶｓｓを前記
出力ニューロンＯＮの入力ノードＩＮＤに結合されるよ
うにする（図面で“Ｃ”）。
ＰＭＯＳトランジスタ、ＮＭＯＳトランジスタは、入力
ニューロンＩＮに受信される入力ビット値が“１”の場
合は前述した学習により最終的に得られた加重値、即ち
連結加重値がポジティブであれば、前記入力ニューロン
ＩＮの反転出力ノードＮＤＢにゲートの連結されたＰＭ
ＯＳトランジスタを通じて前記連結加重値の連結強さで
第１電源電圧、例えば供給電圧Ｖｃｃを出力ニューロン
ＯＮの入力ノードＩＮＤに結合されるようにし（図面で
“Ｂ”）、ネガティブであれば、前記入力ニューロンＩ
Ｎの非反転出力ノードＮＤにゲートの連結されたＮＭＯ
Ｓトランジスタを通じて前記連結加重値の連結強さで第
２電源電圧、例えば接地電圧ＧＮＤまたはＶｓｓを前記
出力ニューロンＯＮの入力ノードＩＮＤに結合されるよ
うにする（図面で“Ｃ”）。
【００３８】また、入力ニューロンＩＮに受信される入
力ビット値が“０”の場合は、最終的に得られた連結加
重値がポジティブであれば、前記入力ニューロンＩＮの
非反転出力ノードＮＤにゲートの連結されたＰＭＯＳト
ランジスタを通じて前記連結加重値の連結強さで第１電
源電圧Ｖｃｃを出力ニューロンＯＮの入力ノードＩＮＤ
に結合されるようにし（図面で“Ａ”）、ネガティブで
あれば、前記入力ニューロンＩＮの反転出力ノードＮＤ
Ｂにゲートの連結されたＮＭＯＳトランジスタを通じて
前記連結加重値の連結強さで第２電源電圧ＧＮＤまたは
Ｖｓｓを前記出力ニューロンＯＮの入力ノードＩＮＤに
結合されるようにする（図面で“Ｄ”）。前記入力ビッ
ト値が“１”または“０”の場合、連結加重値が“０”
であればどの連結もしないようにする。
力ビット値が“０”の場合は、最終的に得られた連結加
重値がポジティブであれば、前記入力ニューロンＩＮの
非反転出力ノードＮＤにゲートの連結されたＰＭＯＳト
ランジスタを通じて前記連結加重値の連結強さで第１電
源電圧Ｖｃｃを出力ニューロンＯＮの入力ノードＩＮＤ
に結合されるようにし（図面で“Ａ”）、ネガティブで
あれば、前記入力ニューロンＩＮの反転出力ノードＮＤ
Ｂにゲートの連結されたＮＭＯＳトランジスタを通じて
前記連結加重値の連結強さで第２電源電圧ＧＮＤまたは
Ｖｓｓを前記出力ニューロンＯＮの入力ノードＩＮＤに
結合されるようにする（図面で“Ｄ”）。前記入力ビッ
ト値が“１”または“０”の場合、連結加重値が“０”
であればどの連結もしないようにする。
【００３９】このような方式で図５の（Ａ）の入力シナ
プス群Ｓ１と伝達シナプス群Ｓ２，Ｓ３の各シナプスの
ＰＭＯＳ及びＮＭＯＳトランジスタを構成する。ここで
入力層Ｌ０の各ニューロンは、２個の隠匿層Ｌ１，Ｌ２
及び出力層Ｌ３の総てのニューロンの各入力ノードに上
述のマトリックス状の入力シナプス群Ｓ１を通じて連結
される隠匿層Ｌ１の各ニューロンは、総ての上位隠匿層
Ｌ２及び出力層Ｌ３の各ニューロンの入力ノードに上述
のマトリックス状の伝達シナプス群Ｓ２を通じて連結さ
れる。同様、隠匿層Ｌ２の各ニューロンは、出力層Ｌ３
の各ニューロンの入力ノードにマトリックス状の伝達シ
ナプス群Ｓ３を通じて連結される。
プス群Ｓ１と伝達シナプス群Ｓ２，Ｓ３の各シナプスの
ＰＭＯＳ及びＮＭＯＳトランジスタを構成する。ここで
入力層Ｌ０の各ニューロンは、２個の隠匿層Ｌ１，Ｌ２
及び出力層Ｌ３の総てのニューロンの各入力ノードに上
述のマトリックス状の入力シナプス群Ｓ１を通じて連結
される隠匿層Ｌ１の各ニューロンは、総ての上位隠匿層
Ｌ２及び出力層Ｌ３の各ニューロンの入力ノードに上述
のマトリックス状の伝達シナプス群Ｓ２を通じて連結さ
れる。同様、隠匿層Ｌ２の各ニューロンは、出力層Ｌ３
の各ニューロンの入力ノードにマトリックス状の伝達シ
ナプス群Ｓ３を通じて連結される。
【００４０】また、図５の（Ａ）の２個の隠匿層Ｌ１，
Ｌ２及び出力層Ｌ３の総てのニューロンの入力ノード
は、それぞれバイアスシナプス群Ｓ４を通じて第２電源
電圧ＶｓｓまたはＧＮＤにバイアスされる。バイアスシ
ナプス群Ｓ４は入力の印加されない状態で各ニューロン
の入力ノードを第２電源電圧ＶｓｓまたはＧＮＤでバイ
アスさせることにより、各ニューロンの出力を“０”値
にバイアスさせるためにゲートに第１電源電圧Ｖｃｃが
供給され、ドレインが各ニューロンの入力ノードに連結
されソースが第２電源電圧ＶｓｓまたはＧＮＤに連結さ
れたＮＭＯＳトランジスタで構成される。
Ｌ２及び出力層Ｌ３の総てのニューロンの入力ノード
は、それぞれバイアスシナプス群Ｓ４を通じて第２電源
電圧ＶｓｓまたはＧＮＤにバイアスされる。バイアスシ
ナプス群Ｓ４は入力の印加されない状態で各ニューロン
の入力ノードを第２電源電圧ＶｓｓまたはＧＮＤでバイ
アスさせることにより、各ニューロンの出力を“０”値
にバイアスさせるためにゲートに第１電源電圧Ｖｃｃが
供給され、ドレインが各ニューロンの入力ノードに連結
されソースが第２電源電圧ＶｓｓまたはＧＮＤに連結さ
れたＮＭＯＳトランジスタで構成される。
【００４１】ここでバイアスシナプス用ＮＭＯＳトラン
ジスタは、単位加重値の連結強さを有するようにその幾
何学的形成比（チャンネル幅Ｗ／チャンネル長さＬ）を
有する。例えば、単位加重値ＮＭＯＳトランジスタのＷ
／Ｌ値が２μｍ／２μｍであるものを加重値にする場
合、ＰＭＯＳトランジスタのＷ／Ｌ値は５μｍ／２μｍ
であるものにする。これは電子及び正孔移動度の比を考
慮して設定され、各加重値の値はこれらの単位加重値の
倍数で与えられる。この倍数は定数である。従って、前
記式（２）で“＋１”の常数項はバイアスシナプス値を
考慮した常数項である。図５の（Ｂ）に示すＰＭＯＳト
ランジスタＡ，Ｂ及びＮＭＯＳトランジスタＣ，Ｄそれ
ぞれの幾何学的形成比は、前述の学習アルゴリズムで決
定された加重値に基づきバイアスシナプス用トランジス
タが有する幾何学的形成比を基準として決定される。
ジスタは、単位加重値の連結強さを有するようにその幾
何学的形成比（チャンネル幅Ｗ／チャンネル長さＬ）を
有する。例えば、単位加重値ＮＭＯＳトランジスタのＷ
／Ｌ値が２μｍ／２μｍであるものを加重値にする場
合、ＰＭＯＳトランジスタのＷ／Ｌ値は５μｍ／２μｍ
であるものにする。これは電子及び正孔移動度の比を考
慮して設定され、各加重値の値はこれらの単位加重値の
倍数で与えられる。この倍数は定数である。従って、前
記式（２）で“＋１”の常数項はバイアスシナプス値を
考慮した常数項である。図５の（Ｂ）に示すＰＭＯＳト
ランジスタＡ，Ｂ及びＮＭＯＳトランジスタＣ，Ｄそれ
ぞれの幾何学的形成比は、前述の学習アルゴリズムで決
定された加重値に基づきバイアスシナプス用トランジス
タが有する幾何学的形成比を基準として決定される。
【００４２】このような本発明の多層神経回路網を２ビ
ット全加算器と螺旋パターン認識回路に適用した実施例
は次の通りである。
ット全加算器と螺旋パターン認識回路に適用した実施例
は次の通りである。
【００４３】〈実施例１〉２ビット全加算器 ２ビット前記加算器は次の表１のように２ビットの加
数、２ビットと被加数及び１ビットのキャリ入力の５ビ
ット入力を有し３ビットの出力を有する。
数、２ビットと被加数及び１ビットのキャリ入力の５ビ
ット入力を有し３ビットの出力を有する。
【００４４】
【表１】
【００４５】前記入出力を前述した本発明の多層神経回
路網の回路設計方法に従って学習した結果、この２ビッ
ト全加算器は３層の神経回路網で実現され得ることが分
かり、学習によって次の表２のようなシナプスの各加重
値を得た。この加重値（連結加重値）を有するように各
シナプスのＰＭＯＳトランジスタ、ＮＭＯＳトランジス
タを構成することによって対応する多層神経回路網を実
現することが出来る。
路網の回路設計方法に従って学習した結果、この２ビッ
ト全加算器は３層の神経回路網で実現され得ることが分
かり、学習によって次の表２のようなシナプスの各加重
値を得た。この加重値（連結加重値）を有するように各
シナプスのＰＭＯＳトランジスタ、ＮＭＯＳトランジス
タを構成することによって対応する多層神経回路網を実
現することが出来る。
【００４６】
【表２】
【００４７】〈実施例２〉螺旋パターン認識回路 螺旋パターン認識回路は図６に示したＸＹ座標平面上の
ＸＹ値の６ビット入力と１ビット出力を有する。この入
出力値を前述した本発明の多層神経回路網の回路設計方
法に従って学習した結果、図７に示したように９層神経
回路網で所望の結果が得られた。
ＸＹ値の６ビット入力と１ビット出力を有する。この入
出力値を前述した本発明の多層神経回路網の回路設計方
法に従って学習した結果、図７に示したように９層神経
回路網で所望の結果が得られた。
【００４８】
【発明の効果】以上述べたように、本発明は学習の可能
な多層神経回路網をＣＭＯＳ ＶＬＳＩ技術でハードウ
ェア化を容易に実現でき、従って従来の多層神経理論を
用いた信号処理システムのソフトウェア方式に比べて高
速動作が可能である。
な多層神経回路網をＣＭＯＳ ＶＬＳＩ技術でハードウ
ェア化を容易に実現でき、従って従来の多層神経理論を
用いた信号処理システムのソフトウェア方式に比べて高
速動作が可能である。
【図１】従来の多層神経回路網の概念図である。
【図２】従来の多層神経回路網の学習で使用したシグモ
イド関数の特性グラフ線図である。
イド関数の特性グラフ線図である。
【図３】本発明による多層神経回路網の概念図である。
【図４】本発明による多層神経回路網の学習で使用した
ステップ関数の特性グラフ線図である。
ステップ関数の特性グラフ線図である。
【図５】（Ａ）は本発明による多層神経回路網の一実施
例回路図、（Ｂ）は（Ａ）のシナプス構造を説明するた
めの部分回路図である。
例回路図、（Ｂ）は（Ａ）のシナプス構造を説明するた
めの部分回路図である。
【図６】ＸＹ座標上の螺旋パターン図である。
【図７】本発明による多層神経回路網の回路設計方法に
従う図６Ａの螺旋パターンを、学習を通じて得た各層の
螺旋パターン図である。
従う図６Ａの螺旋パターンを、学習を通じて得た各層の
螺旋パターン図である。
【符号の説明】 Ｌ０ 入力層 Ｌ１，Ｌ２ 隠匿層 Ｌ３ 出力層 Ｎ０１〜Ｎ０５，Ｎ１１〜Ｎ１３，Ｎ２１〜Ｎ２３，Ｎ
３１〜Ｎ３３，… ニューロンまたはノード ＩＮＴ１，ＩＮＴ２ ＣＭＯＳインバータ Ｓ１ 入力シナプス群 Ｓ２，Ｓ３ 伝達シナプス群 Ｓ４ バイアスシナプス群
３１〜Ｎ３３，… ニューロンまたはノード ＩＮＴ１，ＩＮＴ２ ＣＭＯＳインバータ Ｓ１ 入力シナプス群 Ｓ２，Ｓ３ 伝達シナプス群 Ｓ４ バイアスシナプス群
Claims (5)
- 【請求項１】 ｍビットの入力を受信してｎビットの出
力を発生する多層神経回路網において、 一対のＣＭＯＳインバータを従属連結し、前記一対のＣ
ＭＯＳインバータのうち前段のＣＭＯＳインバータの出
力ノードをその反転出力ノードとし、後段のＣＭＯＳイ
ンバータの出力ノードをその非反転出力ノードとするニ
ューロンと、 前記ニューロンをｍ個具備して前記ｍビットの入力を受
信する入力層と、 前記ニューロンをｎ個具備して前記ｎビットの出力を発
生する出力層と、 前記ニューロンをｎ個具備して各々の層が前記入力層又
はそのすぐ前段の下位層から受信された入力を前記出力
層およびその上位の総ての隠匿層に伝達するための少な
くとも一層以上の隠匿層と、 前記入力層の各ニューロンの出力を前記出力層及び前記
少なくとも一つ以上の隠匿層の各ニューロンに連結する
ためにそれぞれ所定の加重値を有するマトリックス状の
入力シナプス群と、 前記隠匿層の各ニューロンの出力をその上位の総ての隠
匿層及び前記出力層の各ニューロンに連結するためにそ
れぞれ所定の加重値を有するマトリックス状の少なくと
も一つ以上の伝達シナプス群と、 前記少なくとも一つ以上の隠匿層及び前記出力層の各ニ
ューロンの入力ノードを一定電圧にバイアスするための
バイアスシナプス群を具備してなり、 前記入力シナプス群は前記出力層と前記少なくとも一層
以上の隠匿層の各ニューロンの入力ノードに前記入力層
の各ニューロンに受信される入力ビット値が“１”の場
合は連結加重値がポジティブであれば、前記入力層の各
ニューロンの反転出力ノードにゲートの連結されたＰＭ
ＯＳトランジスタを通じて前記連結加重値の連結強さで
第１電源電圧を結合し、連結加重値がネガティブであれ
ば、前記入力層の各ニューロンの非反転出力ノードにゲ
ートの連結されたＮＭＯＳトランジスタを通じて前記連
結加重値の連結強さで第２電源電圧を結合し、 前記入力ビット値が“０”の場合は連結加重値がポジテ
ィブであれば、前記入力層の各ニューロンの非反転出力
ノードにゲートの連結されたＰＭＯＳトランジスタを通
じて前記連結加重値の連結強さで第１電源電圧を結合
し、連結加重値がネガティブであれば、前記入力層の各
ニューロンの反転出力ノードにゲートの連結されたＮＭ
ＯＳトランジスタを通じて前記連結加重値の連結強さで
第２電源電圧を結合し、 前記入力ビット値が“１”または“０”の場合、連結加
重値の値が“０”であれば何の連結もせず、 前記伝達シナプス群は前記隠匿層のうちその上位の総て
の隠匿層及び出力層の各ニューロンの入力ノードに、前
記入力シナプス群と同一の方式で隠匿層の各ニューロン
の反転及び非反転出力ノードを連結するためのＰＭＯＳ
またはＮＭＯＳトランジスタよりなることを特徴とする
多層神経回路網。 - 【請求項２】 前記バイアスシナプス群は前記出力層及
び前記少なくとも一層以上の隠匿層の各ニューロンの入
力ノードを単位加重値の連結強さで前記第２電源電圧に
バイアスさせるためにゲートに前記第１電源電圧が結合
されるＮＭＯＳトランジスタよりなることを特徴とする
請求項第１項記載の多層神経回路網。 - 【請求項３】 前記シナプス群の各加重値の連結強さは
ＭＯＳトランジスタの幾何学的形状比（チャンネル幅／
チャンネル長さ）で設定することを特徴とする請求項第
２項記載の多層神経回路網。 - 【請求項４】 ｍビットの入力を受信してｎビットの出
力を発生する多層神経回路網において、一対のＣＭＯＳ
インバータを従属連結し、前記一対のＣＭＯＳインバー
タのうち前段のＣＭＯＳインバータの出力ノードをその
反転出力ノードとし、後段のＣＭＯＳインバータの出力
ノードをその非反転出力ノードとするニューロンと、前
記ニューロンをｍ個具備して前記ｍビットの入力を受信
する入力層と、前記ニューロンをｎ個具備して前記ｎビ
ットの出力を発生する出力層と、前記ニューロンをｎ個
具備して各々の層が前記入力層又はそのすぐ前段の下位
層から受信された入力を前記出力層及びその上位の総て
の隠匿層に伝達するための少なくとも一層以上の隠匿層
と、前記入力層の各ニューロンの出力を前記出力層及び
前記少なくとも一つ以上の隠匿層の各ニューロンに連結
するためにそれぞれ所定の加重値を有するマトリックス
状の入力シナプス群と、前記隠匿層の各ニューロンの出
力をその上位の総ての隠匿層及び前記出力層の各ニュー
ロンに連結するためにそれぞれ所定の加重値を有するマ
トリックス状の少なくとも一つ以上の伝達シナプス群
と、前記少なくとも一つ以上の隠匿層及び前記出力層の
各ニューロンの入力ノードを一定電圧にバイアスするた
めのバイアスシナプス群を具備した多層神経回路網の回
路設計方法において、 前記入力シナプス群の連結加重値を初期化する第１段階
と、 前記ｍビットの入力値とこの入力に対応するｎビットの
所望の出力値を前記入力層と出力層の入出力に提示する
第２段階と、 前記出力層の各ニューロンの入力ノードで入力の加重値
の和を求め、段階関数により実際の出力を発生する第３
段階と、 前記第３段階で得られた実際の出力値と前記所望の出力
値とを比較して誤差を計算し、この誤差値による加重値
の変化分を貯蔵する第４段階と、 前記第２段階から第４段階までは２m 個の総ての入出力
対に対して行い、総ての出力値が所望の出力値と等しけ
れば学習を終え、そうでなければこの時の貯蔵された加
重値変化分の和をそれぞれ求めて、現在の各加重値に対
して新たな加重値を求める第５段階と、 前記出力層の各ニューロンの入力ノードで前記第５段階
で得られた新たな加重値の和が定められた値以上の場合
は一定比率で加重値をそれぞれ減少させる第６段階と、 定められた学習回数の間前記第６段階までを繰り返した
後、所望の結果が得られない場合は前記出力層を隠匿層
とし、新たな出力層を増加させその下位の総ての隠匿層
の出力と前記本来の入力を新たな入力として前記第２段
階から繰り返して行う第７段階よりなることを特徴とす
る多層神経回路網の回路設計方法。 - 【請求項５】 前記ステップ関数は次の式で表現される
ことを特徴とする請求項第４項記載の多層神経回路網の
回路設計方法。 【数１】
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR12915/1990 | 1990-08-18 | ||
| KR1019900012915A KR930009066B1 (ko) | 1990-08-18 | 1990-08-18 | 다층신경회로망 및 그 회로설계방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04245098A JPH04245098A (ja) | 1992-09-01 |
| JP3229624B2 true JP3229624B2 (ja) | 2001-11-19 |
Family
ID=19302592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20699191A Expired - Lifetime JP3229624B2 (ja) | 1990-08-18 | 1991-08-19 | 多層神経回路網及びその回路設計方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5347613A (ja) |
| JP (1) | JP3229624B2 (ja) |
| KR (1) | KR930009066B1 (ja) |
| FR (1) | FR2665969B1 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3438241B2 (ja) * | 1992-10-29 | 2003-08-18 | 直 柴田 | 半導体神経回路装置 |
| US5486999A (en) * | 1994-04-20 | 1996-01-23 | Mebane; Andrew H. | Apparatus and method for categorizing health care utilization |
| US5717833A (en) * | 1996-07-05 | 1998-02-10 | National Semiconductor Corporation | System and method for designing fixed weight analog neural networks |
| US6513023B1 (en) | 1999-10-01 | 2003-01-28 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Artificial neural network with hardware training and hardware refresh |
| TWI251166B (en) * | 2001-11-26 | 2006-03-11 | Expl Of Next Generation Co Ltd | Synapse element with learning function and semiconductor integrated circuit device including the synapse element |
| US10410117B2 (en) | 2008-09-21 | 2019-09-10 | Brainchip, Inc. | Method and a system for creating dynamic neural function libraries |
| DE102011081197A1 (de) | 2011-08-18 | 2013-02-21 | Siemens Aktiengesellschaft | Verfahren zur rechnergestützten Modellierung eines technischen Systems |
| RU2475843C1 (ru) * | 2011-12-15 | 2013-02-20 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Национальный исследовательский Томский государственный университет" (ТГУ) | Адаптивное управляющее устройство, нейроподобный базовый элемент и способ организации работы такого устройства |
| CN105512723B (zh) * | 2016-01-20 | 2018-02-16 | 南京艾溪信息科技有限公司 | 一种用于稀疏连接的人工神经网络计算装置和方法 |
| US20190378017A1 (en) * | 2018-06-12 | 2019-12-12 | Sun-Yuan Kung | System and method for implementing a neural network |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8720387D0 (en) * | 1987-08-28 | 1987-10-07 | British Telecomm | Matching vectors |
| US5092343A (en) * | 1988-02-17 | 1992-03-03 | Wayne State University | Waveform analysis apparatus and method using neural network techniques |
| EP0366804B1 (en) * | 1988-03-25 | 1997-12-10 | Hitachi, Ltd. | Method of recognizing image structures |
| US4926180A (en) * | 1988-03-25 | 1990-05-15 | Trustees Of Columbia University In The City Of New York | Analog to digital conversion using correlated quantization and collective optimization |
| US5220641A (en) * | 1988-10-11 | 1993-06-15 | Kabushiki Kaisha Toshiba | Multi-layer perceptron circuit device |
| EP0377221B1 (en) * | 1988-12-29 | 1996-11-20 | Sharp Kabushiki Kaisha | Neuro-computer |
| DE69032680T2 (de) * | 1989-01-06 | 1999-06-02 | Hitachi, Ltd., Tokio/Tokyo | Neuronaler Rechner |
| KR920000840B1 (ko) * | 1989-02-02 | 1992-01-30 | 정호선 | 신경회로망을 이용한 a/d변환기 회로 |
| KR920007505B1 (ko) * | 1989-02-02 | 1992-09-04 | 정호선 | 신경회로망을 이용한 곱셈기 |
| US5195169A (en) * | 1989-03-03 | 1993-03-16 | Sharp Kabushiki Kaisha | Control device for controlling learning of a neural network |
| US5195171A (en) * | 1989-04-05 | 1993-03-16 | Yozan, Inc. | Data processing system |
| US5187680A (en) * | 1989-06-15 | 1993-02-16 | General Electric Company | Neural net using capacitive structures connecting input lines and differentially sensed output line pairs |
| US5146542A (en) * | 1989-06-15 | 1992-09-08 | General Electric Company | Neural net using capacitive structures connecting output lines and differentially driven input line pairs |
| US5214743A (en) * | 1989-10-25 | 1993-05-25 | Hitachi, Ltd. | Information processing apparatus |
| FR2658337A1 (fr) * | 1990-02-09 | 1991-08-16 | Philips Electronique Lab | Procede d'apprentissage d'un reseau de neurones hierarchise et reseau de neurones hierarchise. |
| FR2658336A1 (fr) * | 1990-02-09 | 1991-08-16 | Philips Electronique Lab | Procede d'apprentissage d'un reseau de neurones en couches pour classification multiclasses et reseau de neurones en couches. |
| US5087826A (en) * | 1990-12-28 | 1992-02-11 | Intel Corporation | Multi-layer neural network employing multiplexed output neurons |
-
1990
- 1990-08-18 KR KR1019900012915A patent/KR930009066B1/ko not_active IP Right Cessation
-
1991
- 1991-08-15 US US07/745,346 patent/US5347613A/en not_active Expired - Lifetime
- 1991-08-19 FR FR9110414A patent/FR2665969B1/fr not_active Expired - Lifetime
- 1991-08-19 JP JP20699191A patent/JP3229624B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| FR2665969B1 (fr) | 1994-12-09 |
| FR2665969A1 (fr) | 1992-02-21 |
| US5347613A (en) | 1994-09-13 |
| KR930009066B1 (ko) | 1993-09-22 |
| KR920005005A (ko) | 1992-03-28 |
| JPH04245098A (ja) | 1992-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019220975A1 (ja) | ニューラルネットワーク回路装置、ニューラルネットワーク処理方法およびニューラルネットワークの実行プログラム | |
| JPH0713950A (ja) | 人工ニューロンおよびその使用方法 | |
| JP3229624B2 (ja) | 多層神経回路網及びその回路設計方法 | |
| Hirotsu et al. | An analog neural network chip with random weight change learning algorithm | |
| Gardner et al. | Training with noise and the storage of correlated patterns in a neural network model | |
| JP3229623B2 (ja) | 多層神経回路網及びその回路設計方法 | |
| US5485548A (en) | Signal processing apparatus using a hierarchical neural network | |
| Zhang et al. | Arithmetic for digital neural networks | |
| JPH07210534A (ja) | ニューラルネットワーク | |
| RU2168713C2 (ru) | Способы обучения в двоичных системах | |
| JP3114276B2 (ja) | 階層型ニューラルネットワークの学習方法 | |
| JPH05165987A (ja) | 信号処理装置 | |
| JPH09185596A (ja) | パルス密度型信号処理回路網における結合係数更新方法 | |
| Cao et al. | A local search based learning method for multiple-valued logic networks | |
| Chakraborty et al. | CMOS Implementation of a Piecewise Linear Activation Function Based Neuron Unit for Neural Network Accelerator | |
| Bhatti | Performance analysis and comparison of a minimum interconnections direct storage model with traditional neural bidirectional memories | |
| Biederman et al. | Design of a neural network-based digital multiplier | |
| KR940005512B1 (ko) | 신경 회로망의 비선형 시냅스회로 | |
| JPH0243665A (ja) | ニューラルネットワーク装置 | |
| JP3253613B2 (ja) | 信号処理装置 | |
| Gi et al. | Implementation of STDP Learning for Non-volatile Memory-based Spiking Neural Network using Comparator Metastability | |
| JPH04112355A (ja) | 自己学習型アナログ方式ニューロン回路 | |
| Esfandiarpoor et al. | Simplified neural network based on auxiliary layer and adaptive pruning rate | |
| Masmoudi et al. | A hardware implementation of neural network for the recognition of printed numerals | |
| Choi et al. | Implementation of MEBP learning circuitry with simple nonlinear synapse circuits |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080907 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080907 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090907 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110907 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term |