JPH0675933A

JPH0675933A - 情報処理装置

Info

Publication number: JPH0675933A
Application number: JP4228304A
Authority: JP
Inventors: Miki Takeuchi; 幹竹内; Takao Watabe; 隆夫渡部; Yoshinobu Nakagome; 儀延中込; Masakazu Aoki; 正和青木
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1992-08-27
Filing date: 1992-08-27
Publication date: 1994-03-18

Abstract

(57)【要約】【目的】本発明の目的は、予め論理設計することな
く、ニューラルネットワークの簡便な学習法によって所
望のプロセッサの機能を獲得できる情報処理装置を提供
することにある。【構成】３層の階層型ニューラルネットワークにおい
て、２層目と３層目との間の結合重み値は固定し、１層
目と２層目との間の結合重み値のみ学習で変化させる。
２層目と３層目との間の結合重み値は、興奮性のものか
ら抑制性のものまでアナログ値で幅広く分布させてお
く。【効果】２層間の学習で３層の階層型ニューラルネッ
トワークが形成できるので、ＶＬＳＩに好適な簡便なア
ーキテクチャで学習が実現でき、かつ３層構造なので複
雑な演算が可能なニューラルネットワークが提供され
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、学習機能を有する階層
型ニューラルネットワークを用いた情報処理装置に関す
るものである。

【０００２】

【従来の技術】生体の脳の高度な情報処理システムをモ
デル化したニューロコンピューティングと呼ばれる新し
い情報処理方式が注目を集めている。ニューロコンピュ
ーティングの例はたとえばニューラルネットワーク情報
処理（産業図書、麻生英樹著）などに述べられている。

【０００３】ニューロコンピューティングの重要な利点
のひとつは、適当な入力値にたいして所望の出力値が得
られるプロセッサを、予め論理設計することなく、学習
によって造ることができることにある。すなわち、与え
られた入力値に対して所望の出力値が得られるように、
結合重み値と呼ばれる多数のパラメータを繰返し変化さ
せることにより、所望の入出力関係をもつプロセッサを
実現できる。

【０００４】生体系の学習メカニズムは、まだ十分解明
されていないが、いくつかの人工的なモデルが提案され
ている。例えば、ニューラルネットワーク情報処理（産
業図書、麻生英樹著）などに述べられているバックプロ
パゲーション法などはその代表的な方法の一つである。

【０００５】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の人工的なモデルは複雑であり、数多くのニュ
ーロンを用いようとすると学習にかかる時間が膨大にな
るという欠点があった。また、ＬＳＩ上に実現するため
には、微分回路などの複雑な論理回路が数多く必要であ
るという欠点もあった。従って、学習機能をもつ大規模
なネットワークを小さなＬＳＩチップ上に実現するのは
困難であった。

【０００６】

【課題を解決するための手段】３層の階層型ニューラル
ネットワークにおいて、２層目と３層目との間の結合重
み値は固定し、１層目と２層目との間の結合重み値のみ
学習で変化させる。２層目と３層目との間の結合重み値
は、興奮性のものから抑制性のものまでアナログ値で幅
広く分布させておく。

【０００７】

【作用】２層目と３層目との間の結合重み値が固定され
ているので、学習時間が短縮でき、またＬＳＩ化も容易
となる。しかも、２層間の学習でありながら、３層ネッ
トワークに近い性能が得られる。なぜなら、例えばネッ
トワークをカテゴリ分類に用いる場合、２層目の中間ニ
ューロン群はあるカテゴリに入るか否かを判別するうえ
で手がかりとなる特徴を抽出する働きをもつ。その際、
結合重み値の固定は、２層目のニューロンが肯定的な特
徴を抽出し、どのニューロンが否定的な特徴を抽出する
かを初めからげんていするに過ぎない。また、通常数多
くのニューロンで構成されるニューラルネットワークで
は、予め準備した結合重み値のうち、最適値に適合する
値をもつ２層目ニューロンが高い確率で存在する。

【０００８】なお、学習法としてはＨｅｂｂｉａｎ学習
法を用いると、より学習時間を短縮できる。

【０００９】

【実施例】図１に本発明の一実施例を示す。図１（ａ）
に示すように、３層の階層型ネットワークにおいて、２
層目と３層目との間の結合重み値は固定され、１層目と
２層目との間の結合重み値のみ学習で決定される。そし
て、２層目と３層目との間の結合重み値は、図１（ｂ）
に示すように、強い興奮性から強い抑制性までの特性を
持つ連続的な幅広い分布を持つ。結合重み値がアナログ
値で与えられるのに対し、各ニューロンは、たとえばＶ
ｃｃと０との２値をとる。３層目の出力ニューロンの値
Ｖｏは、次式で与えられる。

【００１０】Vo=(Vcc/2)(F(V2(i))/|F(V2(i))|+1) ＶｏはＦ（Ｖ２（ｉ））が正のときＶｃｃに、負のとき
０になる。ここで F(V2(i))=ΣW2(i)V2(i)-VOth である。ＶＯｔｈは３層目ニューロンのしきい値であ
る。Ｗ２（ｘ）は、たとえば、 W2(x)=a(1/[1+exp{(x-n/2)/T}]-0.5) のような０を平均値としたフェルミ分布で与えられる。
本発明の階層型ネットワークでは、任意の入力値が所望
の分類に入るか入らないかの２値の判断を行う。たとえ
ば、２次元画像のビットパターンを１層目のニューロン
に入力したとき、それが直線であれば３層目のニューロ
ンがＶｃｃ、すなわち興奮状態になり、直線でなければ
０、すなわち平静状態になるといった判断を行う。２層
目のニューロンは、この判断を行う上で必要になる、入
力値の特徴を抽出するための役割を持つ。以下に述べる
学習の結果、Ｖ２（１）は所望の分類の特徴を強く示す
ニューロンとなり、入力値にその特徴が見られる場合に
強く興奮する。反対に、Ｖ２（ｎ）は所望の分類に属さ
ないことを示す特徴を抽出するニューロンとなる。その
他の２層目のニューロンのうち、より正に大きなＷ２
（ｉ）につながるものほど、「所望の分類に属する可能
性がより高いことを示す特徴」を抽出するニューロンと
なる。また、より負に大きなＷ２（ｉ）につながるもの
ほど、「所望の分類に属しない可能性がより高いことを
示す特徴」を抽出するニューロンとなる。本発明の実施
例によれば、可変な結合重み値は１層目と２層目との間
だけなので、ＶＬＳＩ化がより容易な３層のニューラル
ネットワークが実現できる。

【００１１】図２は、図１の実施例における学習方法を
示す、本発明の実施例である。学習は、１層目と２層目
との間の結合重み値に対してのみ行われる。２層目のニ
ューロンに対する教師信号Ｄ２（ｊ）として、図２
（ｂ）に示すようなものを与える。すなわち、ある入力
群Ｖ１（ｉ）に対し、ＶｏがＶｃｃになることが望まれ
るとき、Ｄ２（ｊ）には、Ｐ（ｊ）の確率でＶｃｃを、
１−Ｐ（ｊ）の確率で０を与える。逆にＶｏが０である
べき場合にはＰ（ｊ）の確率で０を与える。ここで、確
率といっているのは、ニューラルネットワークの学習は
多くの入力群に対して繰返し行い、同一の入力群に対し
ても複数回学習を行う場合があるからである。Ｐ（ｊ）
は、Ｗ２（ｊ）と正の相関を持つ関数、たとえば、 P(j)=b/[1+exp{(j-n/2)/T} のようなフェルミ分布で与えられる。以上の学習の結
果、Ｖ２（１）は所望の分類の特徴を最もよく示すニュ
ーロンとしての性格を獲得し、反対に、Ｖ２（ｎ）は所
望の分類には属さないことを判断するための最も顕著な
特徴を示すニューロンとしての性格を獲得する。本発明
の実施例によれば、３層のニューラルネットワークにお
ける学習を２層のニューラルネットワークと同様に行う
ことができるので、たとえばよく知られた２層のニュー
ラルネットワークに対するＨｅｂｂｉａｎの学習則を用
いることにより、学習が容易に行え、かつ３層のニュー
ラルネットワークなので複雑な演算が行なえる効果があ
る。

【００１２】図３は、図２の実施例とほぼ同様な原理
で、ＶＬＳＩで実現するのにより好適な学習方法を示
す、本発明の別の実施例である。学習は、図２と同様に
１層目と２層目との間の結合重み値に対してのみ行われ
る。２層目のニューロンに対する教師信号Ｄ２（ｊ）と
して、 D2(j)=(Vcc/2)(Gj(V1,DVo)/|Gj(V1,DVo)|+1) を与える。Ｄ２（ｊ）はＧｊ（Ｖ１，ＤＶｏ）が正のと
きＶｃｃに、負のとき０になる。ＤＶｏは、望ましい３
層目出力ニューロンの値である。ここで、 Gj(V1,DVo)=k・W2(j)・(DVo-Vcc/2)/Vcc−(1/m)ΣW1(i,j)
・(V1(i)-Vcc/2)/Vcc Ｇｊ（Ｖ１，ＤＶｏ）の第１項は、Ｗ２（ｊ）が正のと
きはＤ２（ｊ）がＤＶｏと一致するように作用し、Ｗ２
（ｊ）が負のときはＤ２（ｊ）がＶｏの反転になるよう
に作用する。Ｇｊ（Ｖ１，ＤＶｏ）の第２項は、入力Ｖ
１（ｉ）から計算される２層目ニューロンの値が、望ま
しい３層目ニューロンの値を反転させる方向にある場合
に特に学習を行なう働きがある。なお、Ｇｊが負である
場合には、すでに結合重み値Ｗ１（ｉ，ｊ）は望ましい
値にあることを示しているので、学習を行わないように
してもよい。

【００１３】図４は、ＶｏがＶｃｃの場合の、Ｇｊ（Ｖ
１，ＤＶｏ）が取る値の確率分布を示すものである。た
とえば、Ｗ１（ｉ，ｊ）がランダムなときには、Ｇｊ
（Ｖ１，ＤＶｏ）の第２項は、ランダムな入力値Ｖ１
（ｉ）に対し、平均値０のポアソン分布となる。Ｇｊ
（Ｖ１，ＤＶｏ）の第１項をこれに加えると、Ｗ２
（ｊ）がより正に大きいほどＧｊ（Ｖ１，ＤＶｏ）も正
になる確率が大きく、この結果、Ｄ２（ｊ）はＶｃｃに
なりやすい。反対にＷ２（ｊ）がより負に大きいほどＧ
ｊ（Ｖ１，ＤＶｏ）も負になる確率が大きくなり、この
結果、Ｄ２（ｊ）は０になりやすい。すなわち、図３の
本発明の実施例によれば、ランダムな入力値Ｖ１（ｉ）
とそれに対する望ましい出力値ＤＶｏとを繰返し与える
ことが、図２で述べたＤ２（ｊ）を与えることと同様な
効果をもたらす。Ｇｊ（Ｖ１，ＤＶｏ）はＶＬＳＩ上の
回路構成で容易に実現できるので、図３の本発明の実施
例によれば、ＶＬＳＩで実現するのにより好適な、学習
が容易な３層のニューラルネットワークが得られる。な
お、Ｇｊ（Ｖ１，ＤＶｏ）が第２項によって第１項に対
し反転する場合、すなわち既に２層目ニューロンの値が
望ましい３層目ニューロンの値を与える関係にあるとき
は、学習を行なわなくてもよい。

【００１４】図５は、図３の学習方法をＶＬＳＩで実現
するための、本発明の一実施例で、ダイナミックランダ
ムアクセスメモリ（ＤＲＡＭ）と類似の構成を持つもの
である。メモリセルＭＣｉｊは、たとえば、図６に示す
ように１つのキャパシタと３つのトランジスタ、および
２つの抵抗で構成される。アナログ値で記憶されたＭＣ
ｉｊのキャパシタ電圧がＶｃｃ／２より大きいほどＷ１
（ｉ，ｊ）が正に大きいことを示し、Ｖｃｃ／２より小
さいほどＷ１（ｉ，ｊ）が負に大きいことを示す。ワー
ド線が１層目のニューロンＶ１（ｉ）に、データ線が２
層目のニューロンＶ２（ｊ）に対応する。後に図８で説
明するように、Ｖ１（ｉ）Ｄはどのような学習をすれば
よいか知るためにキャパシタ電圧をよみだすための信号
であり、Ｖ１（ｉ）Ｕは学習結果をキャパシタに書き込
むための信号である。Ｖ１（ｉ）Ｕは、図５のＬＷによ
りＶ１（ｉ）に接続される。図５において、ＰＣはデー
タ線をたとえばＶｃｃ／２に充電して学習または演算の
前準備をするための信号である。ＳＡ（ｊ）はＤＲＡＭ
で用いられているのと同様なセンスアンプであり、たと
えば図７に示す構成を持つ。

【００１５】図８は、図５の回路構成における学習方法
を示す、本発明の動作波形である。任意の入力値Ｖ１
（ｉ）およびそれに対する望ましい出力値ＤＶｏを準備
する。まず、ＰＣをオフ状態にして、ＷＥおよびＶ１
（ｉ）をオン状態にする。Ｖ１（ｉ）を与える時間は、
メモリセルのキャパシタの電位がたとえばＶｃｃの十数
分の一変動する程度とする。この結果、図３におけるＧ
ｊの第一項、すなわちＷ２（ｊ）・（ＤＶｏ−Ｖｃｃ／
２）／Ｖｃｃに対応する電圧が、データ線Ｖ２（ｊ）
に、一方Ｇｊの第二項に対応する電圧が、データ線Ｖ２
（ｊ）Ｂに現われる。ただし、図３における０のレベル
が図５におけるＶｃｃ／２に対応する。ここで、図５に
おけるＳ・ＤＶｏは、データ線Ｖ２（ｊ）Ｂ側に現われ
うる最大電圧値とほぼ同程度に設定する。この電圧は、
メモリセルＭＣのキャパシタ電圧がすべて最大値になっ
ている場合に、平均的なＶ１（ｉ）の入力数に対してデ
ータ線Ｖ２（ｊ）Ｂ側に現われうる電圧と考えてよい。
次に、センスアンプを動作させてデータ線Ｖ２（ｊ）と
Ｖ２（ｊ）Ｂとの電圧を比較する。これは、図３におけ
るＧｊの正負を判定し、Ｄ２（ｊ）を求める動作に対応
する。この後直ちに後に述べる２層間のＨｅｂｂｉａｎ
学習に移ってもよいが、ここでは学習効率をあげるため
次の動作を行なう。すなわち、ＲＥをオフ状態にしてセ
ンスアンプをデータ線から切り離した後、ＬＥをオン状
態にしてデータ線Ｖ２（ｊ）Ｂを望ましい出力値ＤＶｏ
またはその反転値ＤＶｏＢに設定する。Ｖ２（ｊ）とＶ
ｏとの間の結合重み値Ｗ２（ｊ）が正の場合はＤＶｏ
に、負の場合はＤＶｏＢに設定する。この動作の効果は
後に説明する。この後、ＬＷをオンにした状態でＶ１
（ｉ）を再度ワード線に与えれば、図３（ａ）における
結合重み値Ｗ１（ｉ）に対して、良く知られたＨｅｂｂ
ｉａｎ学習が行われる。なぜなら、１層目のニューロン
が興奮状態にあるとき（ワード線Ｖ１（ｉ）がＶｃｃ＋
Ｖｔｈ＋αのとき）、２層目のニューロンも興奮状態に
あれば（データ線Ｖ２（ｊ）およびＶ２（ｊ）ＢがＶｃ
ｃであれば）、その間の結合重み値はわずかに正に変化
する（メモリセルＭＣｉｊのキャパシタ電圧はわずかに
正に変化する）。また、１層目のニューロンが興奮状態
にあるとき（ワード線Ｖ１（ｉ）がＶｃｃ＋Ｖｔｈ＋α
のとき）、２層目のニューロンが興奮状態でなければ
（データ線Ｖ２（ｊ）およびＶ２（ｊ）Ｂが０であれ
ば）、その間の結合重み値はわずかに負に変化する（メ
モリセルＭＣｉｊのキャパシタ電圧はわずかに負に変化
する）。この様にして、記憶の増強がおこなわれる。こ
こで、Ｖ１（ｉ）を再度ワード線に与える時間は、メモ
リセルのキャパシタの電位が、たとえばＶｃｃの十数分
の一変化する程度とする。また、前に行なったＶ１
（ｉ）Ｄのみをオン状態にする時間よりは長くして学習
を十分行なう。ここで、以前行なったＬＥをオン状態に
した効果について説明する。図３におけるＧｊが正であ
った場合には、Ｈｅｂｂｉａｎ学習時のデータ線対Ｖ２
（ｊ）、Ｖ２（ｊ）Ｂは同電位で、その結果メモリセル
の２つのトランジスタを通して十分な学習が行なわれ
る。一方、Ｇｊが負であった場合には、データ線対の電
位は反対となり、ほとんど学習が行なわれないことに等
しい。なぜなら、一方のデータ線はキャパシタの電圧、
すなわち結合重み値をたとえばＶｃｃに引き上げようと
するのに対し、他方のデータ線はキャパシタの電圧を、
たとえば０Ｖに引き下げようとするからである。Ｇｊが
負であることは、結合重み値Ｗ１（ｉ，ｊ）がすでに望
ましい値になっていることを示しているから、不必要に
学習を行なう必要がなく、以上の動作は学習の収束性を
高める効果がある。以上のようなＨｅｂｂｉａｎ学習
を、複数個の入力値Ｖ１（ｉ）とそれに対する望ましい
出力値ＤＶｏの組について繰返し行えば、１層目と２層
目との間の結合重み値（キャパシタＭＣｉｊのキャパシ
タ電圧）は、所望の演算を行う値へ変化する。このよう
にして得た結合重み値は、たとえばメモリセルＭＣｉｊ
のトランジスタＴ２（ｉ，ｊ）の電流値として読出すこ
とができる。なお、本発明の学習方法においては、メモ
リセルのキャパシタ電位のリークによる低下が問題とな
るが、動作を低温で行うことで解決できる。本発明の動
作方法によれば、図３で述べた３層のニューラルネット
ワークにおける学習が、ＶＬＳＩにおいて容易に実現さ
れる。以上、図５から図８で説明した本発明の実施例に
よれば、特別な論理回路を用いることなく、ワード線と
データ線との交点で学習が行えるので、単純で高集積な
ニューラルネットワークが実現できる効果がある。

【００１６】図９は、図１および図２に示したニューラ
ルネットワークをＶＬＳＩで実現するための、本発明の
一実施例である。データ線対はさらにＶ２Ｈ（ｊ）とＶ
２Ｌ（ｊ）、およびＶ２ＢＨ（ｊ）とＶ２ＢＬ（ｊ）と
に分かれている。学習すべき１層目と２層目との間の結
合重み値Ｗ１（ｉ，ｊ）は、ゲートがワード線Ｖ１
（ｉ）につながる相補的な２つのトランジスタのしきい
電圧の変化として、アナログ的に記憶される。後に示す
ように、一方の端子がデータ線Ｖ２Ｈ（ｊ）につながり
他方の端子が高電圧Ｖｈにつながるトランジスタのしき
い電圧を上げると、Ｗ１（ｉ，ｊ）は負に大きくなる。
一方の端子がデータ線Ｖ２Ｌ（ｊ）につながり他方の端
子が低電圧Ｖｌにつながるトランジスタのしきい電圧を
上げると、Ｗ１（ｉ，ｊ）は正に大きくなる。このよう
なトランジスタとしては、たとえば図１０の断面構造に
示すような、ドレインおよびソース領域が高濃度のｐ領
域でおおわれた電界効果トランジスタを用いることがで
きる。しきい電圧の上昇は、トランジスタ導通時にドレ
イン近傍の高電界領域で発生するホットキャリアのゲー
ト酸化膜への注入によりなされる。図１０の実施例によ
れば、簡単なプロセスでニューラルネッワークをＶＬＳ
Ｉ化することができる。あるいは、図１１の断面構造に
示すような、フローティングゲートを有する電界効果ト
ランジスタを用いてもよい。図１１の実施例によれば、
しきい電圧の変化を短時間で起こすことができるので、
高速に学習が行なえるニューラルネットワークが実現で
きる。ワード線は１層目の入力ニューロンＶ１（ｉ）に
対応し、ＳＨＲをオン状態にしてＶ２Ｈ（ｊ）とＶ２Ｌ
（ｊ）とをショートした時のデータ線が、２層目のニュ
ーロンＶ２（ｊ）に対応する。ＳＡｊは２層目のニュー
ロンが興奮状態にあるか否かを検知するためのセンスア
ンプであり、ＤＲＡＭで用いられているのと同様な回路
構成を使うことができる。１層目、２層目、３層目のニ
ューロンは、２値、たとえばＶｃｃと０の値をとる。こ
のニューラルネットワークにおいては、興奮状態の１層
目のニューロンにゲートがつながるトランジスタのしき
い電圧のアンバランスのために、データ線Ｖ２Ｈ
（ｊ）、Ｖ２Ｌ（Ｊ）の電位が、学習を施していない比
較用のデータ線Ｖ２ＢＨ（ｊ）、Ｖ２ＢＬ（ｊ）の電位
に対して差を生じる。これをセンスアンプで検知、増幅
して２層目のニューロンが興奮状態にあるか否かを決定
する。さらに、図１に示した規則に従って固定されてい
る２層目・３層目間の結合重み値により３層目のニュー
ロンの出力値Ｖｏを計算する。２層目ニューロンの値か
ら３層目のニューロンの出力値Ｖｏを計算するには、た
とえば図１２に示す回路構成を用いることができる。こ
こで、抵抗値Ｒ２（ｊ）は結合重み値Ｗ２（ｊ）に比例
する。図９の実施例によれば、電源を切ったあとも学習
内容が保持されるので、扱いの容易なＶＬＳＩニューラ
ルネットワークが実現できる。

【００１７】図１３は、図９のニューラルネットワーク
における学習方法を示す、本発明の動作波形である。ま
ず、任意の入力値Ｖ１（ｉ）と、それに対する望ましい
出力値Ｖｏから図２の方法で規定される２層目のニュー
ロンへの教師信号Ｄ２（ｊ）とを準備する。そして、次
のようにして１層目と２層目との間の結合重みをＨｅｂ
ｂｉａｎ学習則に従って変化させる。最初にＨＰＣをオ
フ状態にするとともにＷＥをオン状態にし、また、２層
目のニューロンの教師信号Ｄ２（ｊ）を入力する。次
に、ＳＨＲをオン状態にすると、Ｄ２（ｊ）の電圧がデ
ータ線Ｖ２Ｈ（ｊ）およびＶ２Ｌ（ｊ）に充電される。
そして、ＳＨＲをオフ状態にして、データ線Ｖ２Ｈ
（ｊ）とＶ２Ｌ（ｊ）とを分離してかつフローティング
状態とする。この後、Ｖ１（ｉ）をワード線に与える
と、たとえば、Ｄ２（ｊ）がＶｃｃでＶｈがＶｃｃに一
致している場合、Ｖ２Ｌ（ｊ）のみの放電が起こり、電
流パスとなったトランジスタのしきい値が上昇する。こ
の結果、後に図１４で述べる演算時にＶ２Ｈ（ｊ）とＶ
２Ｌ（ｊ）とをショートさせてＶ１（ｉ）をワード線に
与えると、２層目のニューロンの望ましい出力値に対応
してデータ線はＶｃｃ側にひっぱられる。すなわち、Ｈ
ｅｂｂｉａｎ学習が行われ、データ線の電位は教師信号
に一致しやすくなる。１つのトランジスタを流れる電流
量、すなわちしきい値の変動量は、興奮状態にある１層
目のニューロンの数にほぼ反比例する。このことは、興
奮状態にある１層目のニューロン数が少ないほど２層目
のニューロンの状態の決定に重要な役割を果たすことに
対応し、学習を速やかに収束させる効果がある。本発明
の実施例によれば、図２の学習方法をＶＬＳＩで実現す
ることができる。

【００１８】図１４は、図９のニューラルネットワーク
における演算方法を示す、本発明の動作波形である。ま
ず、データ線をＨＶＤ、たとえばＶｃｃ／２のレベルか
ら切り離した後、ＳＨＲとＳＨＲＢとをオン状態にす
る。次に１層目ニューロンの入力値Ｖ１（ｉ）をワード
線に与え、学習により生じたトランジスタのしきい電圧
値のアンバランスに応じたデータ線Ｖ２Ｈ（ｊ）、Ｖ２
Ｌ（ｊ）の電圧を発生させる。比較として、データ線Ｖ
２ＢＨ（ｊ）、Ｖ２ＢＬ（ｊ）には未学習のトランジス
タによる電圧を発生させる。ワード線を再びオフ状態に
してデータ線をフローティングにした後、センスアンプ
ＳＡｊを動作させて２層目ニューロンが興奮状態にある
か否か（比較用データ線電圧より高いか低いか）を検
知、増幅する。さらに、図１に示した規則に従って固定
されている結合重み値により３層目のニューロンの出力
値Ｖｏを計算する。なお、各ニューロンのしきい値を０
以外に設定するため、比較用データ線電圧は外部から任
意の電圧に設定しても良い。また、演算中のトランジス
タしきい電圧値の変動をできるだけ少なくするため、演
算時に用いる電源電圧Ｖｃｃは学習時に用いる電源電圧
Ｖｃｃより低くするのが良い。以上、図９から図１４を
用いて説明した本発明の実施例によれば、図１のニュー
ラルネットワークがＶＬＳＩで実現できる。また、学習
と演算とが同じ回路上で行えるので、高集積なニューラ
ルネットワークが実現できる効果がある。今までの実施
例では、第３層が１ニューロンの場合の例について説明
してきたが、第３層が複数ニューロンの場合は、各ニュ
ーロンごとに結合重み値がたとえば図１（ｂ）の分布を
持つ第２層ニューロン群を準備すれば、本発明を用いて
同様に実現できる。

【００１９】

【発明の効果】本発明によれば、２層の学習で３層のニ
ューラルネットワークが得られるので、複雑な論理設計
を行なうことなく、簡便な学習により所望のプロセッサ
の機能を獲得できる情報処理装置が得られる。学習のＶ
ＬＳＩ化も容易なので、従来困難であった大規模なニュ
ーラルネットワークを高集積に実現できる。

【図面の簡単な説明】

【図１】本発明の３層の階層型ニューラルネットワーク
の構成（ａ）および２層目と３層目との間の結合重み値
（ｂ）である。

【図２】図１の３層ニューラルネットワークにおける本
発明の学習方法（ａ）及び２層目のニューロンへの教師
信号の与え方（ｂ）である。

【図３】図１の３層ニューラルネットワークにおける本
発明の学習方法である。

【図４】ＶｏがＶｃｃの場合の図３のＧｊの値の発現頻
度である。

【図５】図３の学習方法をＶＬＳＩで実現するための本
発明の実施例である。

【図６】図５のメモリセルＭＣｉｊの一実施例である。

【図７】図５のセンスアンプ回路ＳＡの一実施例であ
る。

【図８】図５のニューラルネットワークにおける学習方
法を示す動作波形である。

【図９】図１のニューラルネットワークをＶＬＳＩで実
現するための本発明の実施例である。

【図１０】図９の結合重み用トランジスタの一実施例で
ある。

【図１１】図９の結合重み用トランジスタの一実施例で
ある。

【図１２】図９の”２層目と３層目との間の演算回路”
の一実施例である。

【図１３】図９のニューラルネットワークにおける学習
方法を示す動作波形である。

【図１４】図９のニューラルネットワークにおける演算
方法を示す動作波形である。

【符号の説明】

Ｖ１（ｉ）…１層目ｉ番ニューロンの出力値、Ｖ２
（ｊ）…２層目ｊ番ニューロンの出力値、Ｖｏ…３層目
ニューロンの出力値、Ｗ１（ｉ，ｊ）…１層目ｉ番ニュ
ーロンと２層目ｊ番ニューロンとの間の結合重み値、Ｗ
２（ｊ）…２層目ｊ番ニューロンと３層目出力ニューロ
ンとの間の結合重み値、Ｄ２（ｊ）…２層目ｊ番ニュー
ロンへの教師信号、ＤＶｏ…３層目出力ニューロンへの
教師信号、ＤＶｏＢ…ＤＶｏの反転信号、Ｖ２Ｂ（ｊ）
…Ｖ２（ｊ）の反転信号、ＳＡｊ…センスアンプ、ＳＡ
Ｎ…センスアンプＮＭＯＳ駆動信号、ＳＡＰ…センスア
ンプＰＭＯＳ駆動信号、ＷＥ…書き込み選択信号、ＲＥ
…読出し選択信号、ＰＣ…プリチャージ回路、ＨＰＣ…
プリチャージ選択信号、ＭＣｉｊ、ＭＣｉｊＢ…メモリ
セル、Ｒ１（ｉ，ｊ）…抵抗、Ｖｐ…プレート電圧、Ｖ
２Ｈ（ｊ）、Ｖ２Ｌ（ｊ）…データ線電圧、Ｖ２ＢＨ
（ｊ）、Ｖ２ＢＬ（ｊ）…比較用データ線電圧、ＳＨ
Ｒ、ＳＨＲＢ…データ線とセンスアンプの接続信号。

───────────────────────────────────────────────────── フロントページの続き (72)発明者青木正和東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内

Claims

【特許請求の範囲】

【請求項１】３層の階層型ニューラルネットワークにお
いて、２層目と３層目との間の結合重み値は固定され、
１層目と２層目との間の結合重み値のみ学習で変化させ
ることで所望の演算回路を形成することを特徴とする情
報処理装置。
【請求項２】請求項１に記載の情報処理装置において、
２層目に複数のニューロンを持ち、２層目と３層目との
間の結合重み値が強い興奮性から強い抑制性までのアナ
ログ的な分布を有することを特徴とする情報処理装置。
【請求項３】請求項２に記載の情報処理装置において、
ニューロンの値は２値であり、１層目の任意の入力ニュ
ーロンの値とそれに対する望ましい３層目の出力ニュー
ロンの値とを与えることにより学習を行い、この学習
は、２層目のニューロンに対して、３層目との固定され
た結合重み値が興奮性の場合にはその興奮性結合の強さ
に比例した確率で上記望ましい３層目の出力ニューロン
の値と一致した値を与え、３層目との固定された結合重
み値が抑制性の場合にはその抑制性結合の強さに比例し
た確率で上記望ましい出力ニューロンの値と反対の値を
与えることにより行う、１層目と２層目との間の結合重
み値に対する２層間の学習であることを特徴とする情報
処理装置。
【請求項４】請求項２に記載の情報処理装置において、
ニューロンの値は２値であり、１層目の任意の入力ニュ
ーロンの値とそれに対する望ましい３層目の出力ニュー
ロンの値とを与えることにより学習を行い、この学習
は、２層目と３層目との間の固定された結合重み値が興
奮性でかつ１層目の入力ニューロン値から計算される２
層目のニューロン値が上記望ましい３層目の出力ニュー
ロンの値と不一致であるか、あるいは２層目と３層目と
の間の固定された結合重み値が抑制性でかつ１層目の入
力ニューロン値から計算される２層目のニューロン値が
上記望ましい３層目の出力ニューロンの値と一致してい
る場合に、２層目のニューロン値を反転させる方向に１
層目と２層目との間の結合重み値を変化させる学習であ
ることを特徴とする情報処理装置。