JPH0318985A - 情報処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は情報処理装置に関し、特にアナログ回路を用い
てニューラルネットＬＳＩを構成した情報処理装置に関
する。

ニューラルネットにューラルネットワーク。

人工神経回路網）は生物の神経構造を見習った電気回路
によって、あいまいさや経験法則を含む認識問題や判断
問題を効率良く解こうとするものである。近年、アナロ
グまたはデジタル方式によりシリコンチップ上でこれを
実現するニューラルネットＬＳＩ（またはニューロチッ
プ）の実現に対する要請が増大している。

〔従来の技術〕

この発明に関係する公知例としては、Ｊ、Ｐ、Ｓａｇｅ
＊に、Ｔｈｏｍｐｓｏｎ　ａｎｄ　Ｒ，Ｓ、１１ｉｔｈ
ｅｒｓ　ｒＡＮ　ＡＲＴＩＦＩＣＩＡＬＮＨＬＩＲＡＬ
　　ＮＥＴＶＯＲＫ　　ＩＮＴＥＧＲＡＴＥＤ　　ＣＩ
ＲＣＵＩＴ　　ＢＡＳＥＤ　　ＯＮＭＮＯ５／ＣＣＤ　
　ＰＲＩＮＣＩＰＬＥＳＪ　　Ｄｉｇｅｓｔ　　ｏｆ　
　ＴｅｃｈｎｉｃａｌＰａｐｅｒｓ　ｏｎｔｈｅ　Ｃｏ
ｎｆｅｒｅｎｃｅ　ｏｎ　　Ｎａｕｒａｌ　　Ｎｅｔｗ
ｏｒｋｓｉｎ　　Ｃｏｍｐｕｔｉｎｇ　　（Ａｐｒ、８
６）　　ｐｐａ８１−３８５　　（ｂｙ　　Ａｍａｒｉ
ｃａｎＩｎｓｔｉｔｕｔｅ　ｏｆ　Ｐｈｙｓｉｃｓ）　
Ｊが挙げられる。

この公知例はアナログＭＯ８技術を用いるＬＳＩ構成法
の１例である。各ニューロンの出力信号の大小はＣＣＤ
上に蓄えた電荷量で表わす、結合係数はＥＨＦＲＯＭ等
に用いられるＭＮＯ８素子に蓄えられた電荷量で表す、
第１１図にＭＮＯ８素子の構造を示す、ＭＮＯ８素子は
電荷を不揮発的に蓄積できるゲートをもつトランジスタ
である。ナイトライド層１１４に電荷を蓄積する。制御
電極１１３に与える電圧により蓄積電荷（図中の十−記
号）を出し入れする。結合係数の値はその＃Ｉ積重電荷
量で与える。その電荷量をＣＣＤを用いた電荷転送およ
び読みだし／書き込み技術によりアナログ量として読み
出し／または書き込む、ＭＮＯ８素子に対する電荷の書
き込みおよび読みだしの方法はＭＮＯ８素子の両側にＣ
ＯＤゲートをおき、これを順次間いて書き込み読みだし
を行なうものである。すなわちＭＮＯ８素子１個と両側
のＣＯＤ素子２個の、合計３素子で結合係数１個を構成
する。

なおＭＮＯ５素子のほかにも電荷を不揮発的に蓄積でき
るゲートをもつトランジスタとしてフローティングゲー
トトランジスタ等がある。フローティングゲートトラン
ジスタは前記のナイトライド層のかわりに浮遊ゲートを
有するものである。

ここでニューラルネットとして一般的な、階層構造ニュ
ーラルネットについて参考として紹介する。また第４図
を用いて詳細な用語と記号の定義を行なう、第４図の記
号は、本明細書を通じて用いるものである。

第４図に、階層構造ニューラルネットの基本構成を示す
、以下、バックプロパゲーション形ニューラルネットを
例にとってその動作を説明する。

左端にニューロンＮＩｋ　　（ｋ＝１〜ｎ）からなる入
力層、そして中間にニューロンＮＭａ　　（ｊ＝１〜ｍ
）からなる中間層、右端にニューロンＮ　Ｏ５（ｉ＝１
〜Ｌ）からなる出力層がある。この回路に入力信号の組
Ｘｘ＝Ｘ、（以下入力ベクトルＸと呼ぶ）を与えると対
応する高力信号の組Ｙ１〜ＹＬ（以下出力ベクトルＹと
呼ぶ）を発生する。教師信号の組Ｔ１〜ＴＬ、（以下教
師ベクトルＴと呼ぶ）は入力ベクトルＸに対して出力ベ
クトルＹがとるべき理想値（お手本）である、中間層の
出力を中間層ベクトルＺ　（Ｚｘ＝Ｚ−）と呼ぶ、入力
層ニューロンＮＩｈから中間層ニューロンＮＭ−を結ぶ
結合係数をｍ　Ｊ　ｈ　ｓ中間層ニューロンＮＭｊから
出力層ニューロンＮＯ！を結ぶ結合係数をＷ　ｓ　ａと
する。入力層の出力Ｘ＋−（ｋ＝１〜ｎ）は、入力ベク
トルＸがそのまま出力される。ここでベクトルＸ、Ｙ、
Ｚ、Ｔの各コンポーネントおよび結合係数Ｗ目ｔｍａｈ
の各コンポーネントの大きさは１通常０（完全ｏｆｆ）
から１（完全ｏｎ）の間の任意のアナログ値をとる。

中間層ベクトル２は次式で与えられる。

Ｚ−＝ｆ（Σ　ｍＪｈ＊　　ｘｍ）　　　　　　　　　
　　　　　・・・ｏ）ｋ＝１ ここでｆは第４図の上段に示した、ニューロンの入出力
関数である。ふつうは図の曲線の形状のシグモイド関数
が用いられる。また、出力ベクトルＹは次式で与えられ
る。

Ｙｉ＝ｆ（Σ　　Ｗ　ｉ　ａ　傘　ＺＪ）　　　　　　
　　　　　　　　　　　−＜２）ｊ＝ま ただし、Ｏ≦Ｘｈ、　Ｙｉ＊　Ｚａ＋　ｍａｈ＋　Ｗ＊
ａ≦１以上示したように、結合係数ｍ　Ｊｈ　Ｉ　Ｗ　
Ｉ　Ｊの値の組を種々変えることにより、同じニューラ
ルネットで異なる入出力変換特性を得ることができる。

すなわち種々の異なる機能を持っ認識マシン等を実現す
ることができる。

さて、入力ベクトルに対して希望の変換ルールにより変
換された出力ベクトルが得られるように結合係数の値を
決定することを「学習するＪという、その方法は種々研
究されてきたが最近の有力な手法の一つがバックプロパ
ゲーション法である。

まず所望の教師ベクトルＴがわがっている入力ベクトル
Ｘを複数組用意する。出力ベクトルＹ（Ｙｓ〜ＹＬ）と
教師ベクトルＴ（Ｔｌ〜Ｔ　Ｌ　）が一致するように結
合係数を決める。各係数の初期値としては通常乱数を与
えておく、その後、以下の漸化式を用いて結合係数を繰
返し修正していく、詳細は省略して結果を示す、繰返し
計算のある時点の結合係数ＷＩＪとｍ　ａ　ｂに、加え
るべき一回の修正量をそれぞれΔＷ　Ｉ　Ｊ　、６ｍ　
Ｊｈとすると１次式で示される。

Δｗ＊ａ＝　’？　”（Ｔｉ　　Ｙ弧）傘Ｙ、拳（１−
Ｙｌ）”ＺＪ・・・（３） ｉ＝１ 喰　’ＮｔＪ＊Ｚ４　傘　（１−Ｚ　ａ）串　Ｘｈコ−
（４）ｉ＝１ 傘Ｙ處、−（ｉ　−ＺＪ）傘ｘｈｌ　　　　・・・（５
）ただしＹＩＪ＝ｗ息−−２１（これは入力が２１だけ
のときの出力Ｙｉ　）　、η＝定数、である。

ここでηは通常０．１〜０．３程度の値がもちいられ、
過剰修正による発散を防ぐ。

以上の修正を繰り返し、複数の例題のどれに対してもＹ
がＴにほぼ等しくなるまで繰り返す、これがすむとこの
回路はある変換ルールを学習したことになる。その結果
未知の入力ベクトルに対してもほぼ妥当な類推値を出力
することができる。

〔発明が解決しようとする課題〕

上記の公知例の方法では第１に結合係数１個に対して素
子数３個を要するという欠点がある。第２に信号として
電荷を用いるためＭＮＯ８素子、ＣＣＤ素子、および通
常のＭＯ８素子という３種類の素子構造を同一チップ上
に形成する必要がある。このためＬＳＩの製造プロセス
が非常に１１１Ｍになるという欠点がある。第３にＭＮ
ＯＳおよびＣＣＤにより電荷を順次転送して信号処理を
行なうので動作が低速であるという欠点がある。

また公知側以外に、デジタル方式でニューラルネットＬ
ＳＩを構成する方法もある。デジタル方式はアナログ方
式に比べ素子数が５ないし１０倍多くなる問題がある。

したがって本発明の目的は少ない素子数と、簡単な製造
プロセスと、高速な信号処理速度を有するニューラルネ
ットＬＳＩによる情報処理装置を実現することである。

〔課題を解決するための手段〕

本発明は上記目的を達成するため、第１に電荷蓄積用ゲ
ートをもつトランジスタのソース・ドレイン間抵抗を結
合係数として用いることにより同トランジスタ１個だけ
で結合係数１個を実現する。

第２にＣＧＤＩ子を不要とし、電荷蓄積用ゲートをもつ
トランジスタと通常のＭＯ８素子の２種類だけをＬＳＩ
上に構成する製造プロセスを可能にする。第３に信号と
して電圧および電流を用いることにより高速動作を実現
することを特徴とするものである。

〔作用〕

電荷を不揮発的に蓄積できるゲートをもつトランジスタ
のドレイン・ソース間コンダクタンスＧＤＳは、電荷蓄
積ゲートの蓄積電荷によって変化する。このときコンダ
クタンスＧｏｓの変化量は、制御電圧を印加する時間の
長さにほぼ比例するといλ関係がある。また制御電圧の
正負によってＧｏｓの増加または減少を自由に選択でき
る。これに着目し、上記Ｇｏｓを結合係数として用いる
。結合係数更新には、結合係数の必要変更量に比例した
長さのパルス幅を持つパルス電圧を制御電極に印加する
。このとき、係数が増加するが減少するかはＭＮＯ８素
子の極性とパルスの正負で決まり、正負両パルスを使い
分ける。

結合係数の必要変化景の決定はアナログ回路等で行なう
。

以下実施例によって本発明の詳細な説明する。

〔実施例〕

第１図は本発明第１の実施例の部分図（概念図）である
、第４図の構造のうち、中間層、出方層、およびその間
の結合係数Ｗ１−の組が示されている。

電圧ドライバで示したシグモイド関数発生器１０１は、
中間層に相当する。ここにはｍ個の電圧ドライバが含ま
れている０図示しであるｊ＃目の電圧ドライバが中間層
ニューロンＮＭ−である。その出力が中間層ベクトル２
のｊ番目の要素Ｚ１である・−慇ンプで示したシグモイ
ド関数発生器１０１は、出力層に相当する。ここにはＬ
個の電流アンプが含まれている０図示しである１番目の
電流アンプが出力層ニューロンＮ　Ｏｉにあたる。

その出力が出力ベクトルＹの１番目の要素Ｙ１である。

電荷蓄積ゲート形トランジスタ（ここではＭＮＯ５素子
）１１がＮＭ−とＮ０１を結ぶ結合係数ｗｉＪである。

結合係数はトランジスタのソース・ドレイン間インピー
ダンスを用いることにより素子１個で構成されている。

ｊ＝１〜ｍ、ｉ＝１〜Ｌにわたる全結合を、結合係数マ
トリクス２３で構成する。各トランジスタの制御電極１
１３を図の点線で示した配線で接続し、アドレスデコー
ダ（図示されてない）で所望のトランジスタの制御電極
に電圧を印加する。ここではｗｌ−を更新するときの結
線状態の概念図として、（ｉｙ　Ｊ）番■のトランジス
タ１１がアドレスされて制御電圧が印加されている結線
状態を、実細線の矢印で模擬的に示している。

出力Ｙ１がとるべき値として教師ベクトルの要ＪＩ　Ｔ
　＊　が与えられている。Ｙｉ　とＴ、の差からｗｌｌ
の必要修正量Δｗ崖１を計算する回路が、Ｗ　ｔ　Ｊ修
正量決定回路１０４である。ΔＷＩＪを求める計算方法
は〔従来の技術〕の式（３）を用いる。その回路構成は
第２図を用いて後述する。１０４の出力はΔｗ１−の大
きさに対応した電圧である。この電圧に比例したパルス
幅τを有する、パルス制御電圧を発生する回路が、電圧
・時間変換器１３である。１３の出力パルスをトランジ
スタ１１の制御電極１１３に印加すると、結合係数がち
ょうどΔＷ　ｒ　ａだけ変化するように、パルス幅τと
パルス電圧値を決める。ｉとｊを順次進めてアドレスを
行ない、結合係数マトリクス２３の更新を行なう。

以下、第２図によりさらに詳細に説明する。

第２図は本発明第１の実施例の部分図である。

第１図の具体回路にあたる６図のアンプ記号は１が中間
層のシグモイド関数発生器、２が出力層のシグモイド関
数発生器である。これらは厳密なシグモイド関数を発生
する必要はなく、通常のアナログアンプで実現できる。

これらのアンプの入力インピーダンスは電荷蓄積ゲート
形トランジスタ（ＭＮＯ８Ｉ！４子）１１のＧｏｓに比
シテテキルタケ小さく選ぶ。

以下、（ｘ＊　Ｊ）番目の結合係数を更新する状態につ
いて回路の動作を説明する。先に第１図で示したＷ　ｉ
　Ｊ修正量決定回路１０４が、３カ所の接続点２０１，
２０２，２０３でＺＪ、ｙｌ、Ｔムに接続されている。

この接続点は（ｌｅ　ｊ）の値が変わるにつれて順次切
り換えていく。図の回路と、〔従来の技術〕の式（３）
との対応を以下述べる。

まず接続点２０１，２０２から取り込んだＹｌとＴ１の
差を減算器１４で求め、これにＹ、を乗する。また、）
ｌｉｇｈ側の基準電圧ｖＭ（論理１に対応）からＹｉを
減じた差を作り、さらにこれを乗する。

つぎに接続点２０３から取り込んだＺ−をさらに乗する
。この演算結果は（Ｔｓ　　Ｙｉ）傘Ｙ、拳（１−Ｙｔ
）串Ｚａである。これは比例係数ηを増幅器の利得で調
整すればそのまま式（３）を示しており、ΔＷ　ｔ　ａ
に対応する電圧である。この電圧を電圧・時間変換器１
３で所望のパルス幅τをもつ制御電圧パルスに変換する
。このパルスを１つだけ発生させる。これをＷ　Ｉ　Ｊ
を形成しているＭＮＯ５素子１１の制御電極１１３に印
加する。

この更新用回路は一１＊Ｊの値の順番に従って接続を切
り換えるのではなく、ｌ＋Ｊのそれぞれに対して上記の
ｗｔｊｔｌ正量決定回路を設け、同時に更新を行なって
もよい。

第３図は本発明の第１の実施例の全体図である。

入力層（Ｘ　１−Ｘ　ｎ　）と中間層（Ｚｌ−Ｚ−）を
結ぶ結合係数ｍｌ、および中間層と出力層（Ｙ１〜Ｙ＋
、）を結ぶ結合係数Ｗ　Ｉ　Ｊのマトリクス回路２３が
設けである。その外側にｍＪｋとＷ　Ｉ　Ｊの更新用回
路が設けられている。Δｗ１ｊ発生用の回路は第２回と
同じである。Δｍｌの発生（〔従来の技術〕の式（５）
）では中間層ベクトルが２５だけのときの出力Ｙｉａが
必要であり、全体をｉに関して加算する必要がある。こ
の手順は以下のとおりである＃まず図の２１から２．の
所に示したスイチツをすべてｏｎにしておく、そして第
２図で述べたようにΔＷ　ｉ　ａの更新を行なう、ΔＷ
　１Ｊの値をサンプルホールド回路で保存しながら前記
のスイッチをＺａだけｏｎＬで他はｏｆｆする。このと
きの出力信号Ｙ、がＹＩＪであるから、この状態で図の
アナログ回路部を動作させる。結果をアキュムレータＡ
。

Ａｃｃ２１に蓄える。アキュムレータはアナログ方式で
も、デジタル方式にＡＤ、ＤＡ変換を付加したものでも
よい、これでｉの１からＬまで累積して４ｍ　Ｊｈの値
を得る。これを電圧・時間変換器に印加し、４ｍ　ａ　
ｍに比例したパルスを１個だけ発生させる。これをＭＮ
Ｏ８素子に印加してｍ　ａ　ｈの更新を行なう、これに
より、ｉ、ｊ、にのアドレスを順次切り換えて学習を行
なう。

本実施例により、簡単な回路構成と製造プロセスで高速
なアナログニューラルネットＬＳＩが構成できる。

第６図は本発明第２の実施例の部分図である。

第２図のｙｉ傘（ｖｉ＜−Ｙｔ）の計算回路をデルタ回
路と名付ける要素回路を用いて簡略化している。

Ｙｌ”（ＶＭ−Ｙｌ）という式はＹｉに関する簡単な放
物線関数である。その関数形をａ（ｙｉ）で表す。

（ここでｖＭは原理式上はｌに対応する）、ａ（ｙｉ）
の形状は上に凸の放物線で、ＹｉがＯと１のとき値が０
となる。またｙｔ　が０．５　のとき最大値をとる＋＋
ＹｔはＯから１の範囲で変化する（付録参照）、シたが
って、Ｇは近似的にはＹ稟が０または１に近いとき０に
近づくような上に凸の関数を作ればよい、これがデルタ
回路である。

第５図は本発明第２の実施例の要素回路図である。デル
タ回路の構成法を示したものである。

（ａ）、（ｂ）は原理図である。（ａ）はリファレンス
電圧が少し異なる２つのアンプの入出力持性Ｖｓ　とｖ
２の概念図である１両アンプは低利得形にして特性の傾
きを小さくし、出力のローレベルとハイレベルは各々等
しく、その値はＶｉ、とＶＷである。（ｂ）にＶｉ−Ｖ
ｚの特性概念図を示す。

アンプの飽和特性により、（ｂ）のように入力が０と１
に近いときに出力がほぼ０になる。Ｇ（Ｙｌ）に近い形
の特性が得られる。（Ｃ）にアンプの回路図を示す、ト
ランスコンダクタンスアンプを用いている。（ｄ）にデ
ルタ回路を示す。

第７図は本発明第２の実施例の全体図である。

同様にデルタ回路を用いて回路を簡略化している。

本実施例によれば簡略化した回路で第１の実施例と同様
の効果が得られる。

第８図および第９図は本発明第３の実施例の部分図およ
び全体図である。ここではＧ（Ｙｌ）の回路を完全に省
略して回路のいっそうの簡略化を図っている。Ｇ（Ｙｌ
）はＹｌが０．５　近くではあまり変化しない、そこで
ａ（Ｖｔ）を一定値（＝１）に固定したものである０本
構成によれば、精度は若干落ちるものの、さらに簡略化
された構造が得られる。

第１０図は本発明第４の実施例の全体図である。

ここでは第９図の回路からさらに２１傘（■に−ＺＪ）
の演算を取り除いたものである。ＶＭ−Ｚ−の演算を行
なう減算器１４を除去した。ＺＪの項はＹ　Ｉ　Ｊの中
にすでに含まれるので除算器を用いてこれを取り除いた
０本構成によっても精度は若干落ちるものの、さらに簡
略化された構造が得られる。

〔発明の効果〕

以上述べたように本発明によれば、第１に電荷蓄積用ゲ
ートをもつトランジスタ１個だけで結合係数１個を実現
でき回路が大幅に簡略化できる。

第２に電荷蓄積用ゲートをもつトランジスタと通常のＭ
Ｏ８素子の２種類だけをＬＳＩ上に構成すればよいため
製造プロセスが大幅に簡略化できる。

第３に信号として電圧および電流を用いることにより高
速動作を実現することができる。これらの大きな効果を
有するものである。

【図面の簡単な説明】

第１図は本発明第１の実施例の部分図（概念図）、第２
図は本発明第１の実施例の部分図、第３図は本発明第１
の実施例の全体図、第４図は階層構造ニューラルネット
の基本楕成図、第５図は本発明第２の実施例の要素回路
図、（（ａ）、（ｂ）は原理図、（ｃ）はトランスコン
ダクタンスアンプの回路図、（ｄ）はデルタ回路の回路
図）、第６図は本発明第２の実施例の部分図、第７図は
本発明第２の実施例の全体図、第８図は本発明第３の実
施例の部分図、第９図は本発明第３の実施例の全ｌ・・
・中間層のシグモイド関数発生器、２・・・出力層のシ
グモイド関数発生器、１１・・・電荷蓄積ゲート形トラ
ンジスタ（ＭＮＯ８素子）、１２・・・乗算器、１３・
・・電圧・時間変換器、１４・・・減算器、２１・・・
アキュムレータ、２２・・・除算器、２３・・・結合係
数マトリクス、２４・・・サンプルホールド回路、５１
・・・トランスコンダクタンスアンプ、１０１・・・シ
グモイド関数発生器、１０４・・・Ｗ　Ｉ　Ｊ修正量決
定回路。 １１３・・・制御電極、２０１，２０２，２０３・・・
接続点。 ネ ４ 目 驚飲ｆ Ｎ＋へ （ｄ） １ トランスコ〉タークタンス７ンア

Claims (1)

1. 【特許請求の範囲】 １、電荷を不揮発的に蓄積できるゲートをもつトランジ
   スタのソース・ドレイン間抵抗を、ニューラルネットの
   結合係数として用い、結合係数更新時に上記トランジス
   タに電気信号を印加して結合係数を変化させる装置であ
   つて、結合係数の更新後の値と更新前の値の差に比例し
   た時間だけ上記電気信号を印加することにより結合係数
   を修正することを特徴とする情報処理装置。 ２、上記トランジスタをＭＮＯＳトランジスタで構成し
   たことを特徴とする特許請求の範囲第１項記載の情報処
   理装置。 ３、出力ベクトルの要素の値から、対応する教師ベクト
   ルの要素の値を差し引いた差信号を形成する回路と、上
   記差信号に中間層ベクトルの要素の値を乗じた積信号を
   形成する回路と、上記積信号に比例した長さの時間だけ
   前記トランジスタに前記電気信号を印加する回路を具備
   したことを特徴とする特許請求の範囲第１項記載の情報
   処理装置。 ４、出力ベクトルの要素の値から、対応する教師ベクト
   ルの要素の値を差し引いた第１の差信号を形成する回路
   と、第１の差信号に上記出力ベクトルの要素の値を乗じ
   て第１の積信号を形成する回路と、一定電圧から上記出
   力ベクトルの要素の値を差し引いた第２の差信号を形成
   する回路と、第１の積信号に第２の差信号を乗じて第２
   の積信号を形成する回路と、第２の積信号に対応する中
   間層ベクトルの要素の値を乗じて第３の積信号を形成す
   る回路と、第３の積信号に比例した長さの時間だけ上記
   トランジスタに上記電気信号を印加する回路を具備した
   ことを特徴とする特許請求の範囲第１項記載の情報処理
   装置。 ５、第１の増幅回路と、入力のオフセット電圧が第１の
   増幅回路とは異なる第２の増幅回路と、第１および第２
   の増幅回路に共通の入力信号を加える手段と、第１の増
   幅回路の出力から第２の増幅回路の出力を差し引いた差
   信号を形成する回路を具備することを特徴とする特許請
   求の範囲第１項記載の情報処理装置。