JPH0467257A - ニューラルネットワーク回路 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、単位回路である多数のニューロン回路の入出
力端子間を接続することによってネットワーク回路を構
成したニューラルネットワーク回路に関する。

〔従来の技術］ ニューラルネットワーク回路は生物の神経回路網をモデ
ル化して、従来のノイマン形計算機では難しかった文字
認識や音声認識などのパターン認識処理、最適化問題、
ロボット制御などを実現するものである。従来のノイマ
ン形計算機ではプロダラムに従って逐次処理するため計
算時間が膨大だったのに対して、ニューラルネットワー
ク回路ではニューロン回路が並列に演算を実行できるの
で処理速度が極めて高速になる特徴がある。また、ニュ
ーラルネットワーク回路の機能は、学習によってニュー
ロン間の接続状態を変えることによって実現される。こ
のため、処理手順がルール化しにくい問題でも学習教材
さえあれば機能を実現できる特徴がある。学習を常に行
いながら動作させると、環境の変化によって時間ととも
に望ましい機能が変化しても、それに追従することがで
きるなどの柔軟なシステムが構築できるものである。

さらに、同一のニューロン回路を多数接続してネットワ
ークを構成するため、故障した回路があっても他の正常
な回路に簡単に置き換えて動作できるので、ＬＳＩ化す
る場合などに高い欠陥耐性を実現できる。本発明はこの
ようなニューラルネットワーク回路をＬＳＩ化する場合
に適し、少数のニューロン回路で高い性能の得られる構
成法に関するものである。

ニューラルネットワーク回路は神経細胞に相当するニュ
ーロン回路を単位として、ニューロン回路を多数接続し
て構成される。第１○図に、１個のニューロン回路の記
号を示す。１個のニューロン回路は複数の入力端子から
の信号を受けて、それぞれの入力信号に対して荷重係数
を持っており、荷重係数に応じて結合の強さを変えたり
、入力との誤差を計算し、その結果を全て加算して出力
を決定する。このニューロン回路の接続によりニューラ
ルネットワーク回路の構造がきまるが、最も簡単な構造
は第１１図に示すような２層構造のニューラルネットワ
ーク回路である。入力端子の層を入力層あるいは第１層
、ニューロン回路の層を第２層あるいは出力層と言って
いる。それぞれの入力端子の信号は全てのニューロン回
路に並列に入力されており、それぞれにニューロン回路
は並列に入力信号を処理できるようになっている。入力
信号が加えられると、特定のニューロン回路が反応して
認識などの処理が実現される。

しかし、２層構造のニューラルネットワークでは処理能
力はあまり大きくないので、一般的には、第１２図に示
すような３層構造のニューラルネットワークを使う場合
が多い。３層構造の場合には、第２層のニューロン回路
の層を中間層あるいは隠れ層、第３層のニューン回路の
層を出力層と呼んでいる。この第３層は第２層のニュー
ロン回路の出力を入力として、第２層と全く同じ構造を
持つ場合と興なる構造を持つ場合がある。同じ構造の場
合にはそれぞれの中間層の出力信号は全ての出力層のニ
ューロン回路に入力されるが、第１２図に示すように出
力層のニューロン回路をＯＲ論理処理のみの簡単な構造
にすることができる。この場合には中間層の出力は１個
の出力層のニューロン回路に接続されるだけなので回路
規模は大幅に低減できるとともに、パターン認識などに
使う場合には十分な能力を維持している。しかし、複雑
な処理に対応するためには、ネットワークの構造も複雑
なものが使用されるのが一般的であり、ニューロン回路
の出力が帰還されたり、３層以上の多層構造が使用され
たり、複数のネットワーク回路を組み合わせたりされる
。

従来のニューラルネットワーク回路で使用されていたニ
ューロン回路を第１３図に示す。また、本発明者らによ
り発明されたニューロン回路を第１４図に示す。ｎ個の
入力に対応して、ｎ個の荷重係数（ｗ　１−ｗ　ｎ　）
を持ち、減算回路は入力信号と荷重係数の差を求め、そ
の結果を２乗回路で２乗するか絶対値回路で絶対値を計
算し、それぞれの入力と荷重係数に対する演算結果を全
て加算回路によって累積し、その結果の大きさによって
出力値が決定される。出力値を最終的に決定する閾値回
路は、第１５図（ａ）〜（ｃ）に示すような伝達特性を
もっている。（ａ）はステップ関数形、（ｂ）は折れ線
形、（Ｃ）はシグモイド関数形である。第１５図（Ｃ）
のシグモイド関数形がもっとも汎用性が高いが、演算が
複雑であるので（ａ）、（ｂ）のような簡単化したもの
も使用できる。

［発明が解決しようとする課題］ 第１３．１４図のニューロン回路を用いて、第１２図の
ネットワーク回路を構成したものはパターン認識に多く
使用される。入力層に入力されたパターンによってニュ
ーロン回路が反応して認識を行う。入力信号の数に応じ
た次元数の多次元空間を認識する多数の領域に区切るよ
うにニューロン回路の荷重係数が決められていると、入
カバターンを含む領域を形成するニューロン回路が反応
する。

入力数が２個の場合、１個のニューロン回路が形成する
領域の形状は、第１３図の従来形の場合には第４図に示
すように円状になる。例えば、入力ｌ、２の値が円内の
部分に含まれる場合にニューロン回路が反応するように
するには、荷重係数ｗ１、Ｗ２の値を円の中心点に設定
してベクトルＷを決め、閾値回路のスレショルＦレベル
ｈの大きさを半径に設定すればよい。つまり、ベクトル
Ｗと入力ベクトルの距離を計算し、距離がスレショルド
レベル６以内であればニューロン回路が反応出力（Ｌｏ
ｗ）を出している。従って、ベクトルＷから等距離にな
る半径りの円が境界になる。入力数が３個の場合の識別
領域は球状になり、４個以上では超球面になる。また、
第１４図のニューロン回路では、入力数が２個の場合、
１個のニューロン回路が形成する領域の形状は第５図に
示すように四角形になる。入力数が３個の場合には８面
体になり）、４個以上では超多面体になる。閾値回路の
伝達特性を第１５図（ａ）のステップ関数形に設定する
と、識別領域の境界は明確になるし、第１５図（ｂ）、
（ｃ）の特性に設定すると境界は幅を持つことになる。

識別できる領域数はニューロン回路数が増えるほど多く
なる。

ところが、任意の形状の識別領域に対応するには、第１
２図のように出力層でＯＲ処理を行うことにより、識別
領域を複数の超球面の集まりとして形成する。第７図（
ａ）は、多数のニューロン回路を用いて任意の形状の目
標識別領域に対応したときの例であるが、精度良く目標
形状に合致させるには円形の重なりが多くなり、極めて
多数のニューロン回路が必要になる問題があった。この
ため、装置が極めて大型化したり、消費電力も極めて大
きくなる問題があった。

本発明の目的は、従来の識別領域形状が固定のニューロ
ン回路では極めて多数のニューロン回路数を必要にして
いた任意形状の識別領域を、少ないニューロン回路数で
実現できる高機能なニューロン回路を作製することにあ
る。

［課題を解決するための手段］ 上記の目的を達成するために、本発明は、ｎ個の入力端
子と（ｎは１以上の整数）、上記入力端子のそれぞれに
対応して２個ずつ、合計２ｎ個の荷重係数と、上記２個
の荷重係数から成る各組のうち大きい値の荷重係数をｗ
Ｈ１小さい値の荷重係数をｗＬとして、（入力信号−ｗ
Ｈ）を求める減算回路と、（ｗＬ−入力信号）を求める
減算回路と、それぞれの減算結果の正の値だけを通過さ
せる整流回路と、上記整流回路の出力をそれぞれ２乗特
性などの非線形特性回路を経た後または直接に全て累積
する加算回路と、上記累積結果が平方根特性などの非線
形特性回路を経た後または直接に入力される閾値回路と
を有し、上記閾値回路の高力値を８力信号とするニュー
ロン回路を単位回路として、多数の上記ニューロン回路
の入出力端子間を接続することによってネットワーク回
路を構成し、上記ネットワーク回路に入力されたｍ個（
ｍは１以上の整数）の入力信号に対してそれぞれ独自の
上記荷重係数を持つ上記ニューロン回路が演算を実行し
、上記ネットワーク回路内の全てまたは一部の上記ニュ
ーロン回路の出力値を上記ネットワーク回路の出力信号
とし、それぞれの上記ニューロン回路の上記荷重係数と
上記閾値回路の閾値の大きさによって上記ネットワーク
回路の機能を制御することを特徴とする。

［作用］ 従来のニューロン回路では識別領域形状が固定であるた
めに任意形状の識別領域を形成するのに極めて多数のニ
ューロン回路数を必要にしていた。

そこで、本発明では従来形の２倍の荷重係数を持つニュ
ーロン回路により、１個のニューロン回路の識別領域形
状を可変にして、少ないニューロン回路数で任意形状の
識別領域を形成できるようにした。

〔実施例］ 本発明のニューロン回路の例を第１．２図に示す。ｎ個
の入力端子と（ｎは１以上の整数）、それぞれの入力端
子に対応して２個ずつの合計２ｎ個の荷重係数を持ち、
２個の組のうち大きい値の荷重係数をｗＨ１小さい値の
荷重係数をｗＬとすると、減算回路は（入力信号−ｗ　
Ｈ）と（ｗＬ−入力信号）を求めており、それぞれの減
算結果の正の値だけを通過させる整流回路を持っている
。

それぞれの入力と荷重係数に対する演算結果を全て加算
回路によって累積し、その結果によって出力値が決定さ
れるのは従来と同じである。出力値を最終的に決定する
閾値回路は、従来回路と同様に第１５図に示すような伝
達特性をもっている。

第１４図のニューロン回路における入力部分の伝達特性
を第３図（ａ）に示す。減算回路と絶対値回路の特性は
、入力信号に対して荷重係数Ｗ以下の部分で極性が反転
するので■字形の特性を持っている。第１３図の２乗回
路を持つニューロン回路では、これが放物線特性になる
。これに対して、本発明による第２図のニューロン回路
では１個の入力に対してｗＨ，ｗＬの２個の荷重係数を
持っているので、入力部分の特性は第３図（ｂ）のよう
な特性になる。ｗＨとｗＬの間の入力に対して出力レベ
ルがゼロになる。ｗＨ以上とｗ　Ｌ以下については従来
と同様な特性である。また、本発明による第１図のニュ
ーロン回路では２乗回路によって、ｗＨ以上とｗＬ以下
の直線部分が放物曲線になる。

入力数が２個の場合、第１．２図の本発明によるニュー
ロン回路では、１個のニューロン回路が形成する領域の
形状は、第６図に示すような形状になる。荷重係数ｗＨ
１、ｗＨ２の値のベクトルＷＨと、荷重係数ｗＬ１％ｗ
Ｌ２の値のベクトルＷＬと２個のベクトルをＩＭのニュ
ーロン回路がもっており、入力１（ｗＬｌ、入力２　（
ｗ　Ｌ　２、の領域と、入力１（ｗＬｌ、入力２）ｗＨ
２、の領域と、入力１）ｗＨｌ、入力２（ｗＬ２、の領
域と、入力１）ｗＨｌ、入力２）ｗ−Ｈ２、の領域の４
領域では、従来形と同じ特性を示すが、それ以外の部分
では、入力１がｗＬｌからｗＨｌまでのときには入力１
に対する演算結果はゼロなので入力２だけで識別領域の
範囲が決まり、閾値回路がＬｏｗを出力するのは（ｗＬ
２−ｈ）から（ｗＨ２＋ｈ）の範囲になる。また、入力
２がｗＬ２からｗＨ２までのときには入力２に対する演
算結果はゼロなので入力ｌたけで識別領域の範囲が決ま
り、閾値回路がＬｏｗを出力するのは（ｗＬｌ−ｈ）か
ら（ｗＨ１＋ｈ）の範囲になる。

従って、その両者を合わせた領域は第１２図に示すよう
な形状になる。この（ｗＬｌ、ｗＬ２）と（ｗＨｌ、ｗ
Ｈ２）の２点を対角線とする四角形は正方形ではなく長
方形であり、その形状は荷重係数によって制御できるこ
とが明らかである６人力数が３個の場合の識別領域は直
方体に厚さｈの周辺部を含む形状になり、４個以上では
超直方体に厚さｈの周辺部を含む形状になる。

本発明によるニューロン回路の識別領域の形状は、第６
図に示すようになることを説明したが、この形状はベク
トルＷＬとＷＨがほぼ等しい場合には従来形ニューロン
回路の識別領域の形状に近くなり、閾値レベルｈが小さ
ければその形状はほとんど長方形になる。このように、
本発明のニューロン回路の識別領域の形状は自由度の高
いものになっている。

従って、第６図に任意形状を目標識別領域にして、従来
形と本発明のニューロン回路で対応した例を示す。従来
形では前記したように多数のニューロン回路が必要であ
ったのが、本発明では極めて少数のニューロン回路で済
むことがわかる。さらに、実際の応用ではパターン認識
に全ての入力データが有効に利用できるわけではなく、
パターンの特徴情報を抽出して利用されるので、不必要
な入力データが含まれていることが多い。第８図（ａ）
、（ｂ）は入力２の値が意味のないデータであった場合
の例である。識別領域は入力ｌで決まり、入力２に関し
ては全ての範囲が領域に含まれる。このため、入力２の
方向に長い領域を実現しなければならない。ところが、
入力２を表現しているディジタル信号のビット数が大き
い場合や、浮動小数点表現である場合には入力２の範囲
は極めて広く、入力ｌの識別領域の幅が小さければ小さ
な半径の円で識別領域を埋めつくす必要があり、極めて
多数のニューロン回路が必要になる。現実問題としては
、ニューロン数に比例して回路規模が大きくなり、ニュ
ーロン数には限界があるので、逆に入力信号の範囲を狭
くすることで対処せざるを得ない。入力信号の範囲を狭
くすると、信号積、度（分解能）が低下するので、精度
の良いパターン認識はできなくなる。これに対して、本
発明ではこのような場合も入力信号の範囲に関係なく１
個のニューロン回路で対処できるので、必要なニューロ
ン数の低減効果は極めて大きい利点がある。

さらに、パターン認識の精度を大きく改善できることも
明らかである。

ディジタル回路によって本発明によるニューラルネット
ワーク回路を実現する場合のニューロン回路の構成例を
第９図に示す。第９図ではニューロン回路の入力部分で
ある１番目の入力と荷重係数に対する演算回路と１から
ｎまでの演算結果の累積を行うｉ番目の加算器のみを示
している。入力信号と荷重係数の減算を実行する加算回
路のキャリー出力（ＣＯ）がｉｉ　１　ｕのときに演算
結果が負数であるので、整流回路はＡＮＤゲート回路を
用いて負数が伝達しないようになっている。また、ｗＨ
とｗＬの係数に対する演算結果のうち少なくとも１個は
ゼロ８力であるので、両者の加算はＯＲゲートで簡単に
実現できるので、累積に使用する加算回路の個数は従来
形より増加しない。従って、本発明の１個のニューロン
回路の回路規模は従来形に対して荷重係数の演算に使用
する加算回路が１個から２個に増加するのみである。

ニューロン回路全体で回路規模を比較すると、第１図の
実施例では２乗回路が１人力につき２個必要であるよう
に書かれているが、第９図のような構成をとればＯＲ回
路で加算したあとに２乗回路を配置しても同じ演算がで
きるので、２乗回路は１人力につき１個になり、従来形
と同じである。

加算器と２乗回路の回路規模を比較すると２乗回路の方
が圧倒的に大きいので、本発明の１個のニューロン回路
の回路規模増加の割合は小さい。第８図の実施例では２
乗回路がないので、もともと回路規模が小さい構成であ
ったので、増加率は約１．５倍になる。

以上説明したように、１個のニューロン回路の回路規模
の増加は１．５倍あるいはそれ以下であるのに対して、
必要なニューロン数の低減効果は応用により大きく違う
が、規模の大きなニューラルネットワーク回路はど低減
効果は大きく、ｌ／１００〜１７１００００以上になる
と考えられるので、本発明のニューラルネットワーク回
路としての回路規模の低減効果は極めて大きい。

ニューラルネットワーク回路をハード化するとき、必要
なニューロン回路数は応用によって異なるが、一般的に
はニューロン回路数が大きいほど処理能力は向上する。

そのため、ＬＳＩ化によって多数のニューロン回路を搭
載したニューラルネットワーク回路の実現が期待されて
いる。しかし、チップサイズの制限によって１チツプに
搭載できる回路規模は限られているし、放熱や実装の問
題から１チツプで消費できる電力も制限がある。従って
、ＬＳＩ化されたニューラルネットワーク回路が実用的
な性能を発揮するために、ニューロン回路の回路規模と
消費電力の低減が最も重要な課題になっている。このた
め、本発明のニューロン回路を用いることにより、ニュ
ーラルネットワーク回路が実用的なレベルまで性能が向
上する効果は極めて大きい。

以上本発明を上記実施例に基づいて具体的に説明したが
、本発明は上記実施例に限定されるものではなく、その
要旨を逸脱しない範囲において種々変更可能であること
は勿論である。

［発明の効果〕 以上説明したように、本発明のニューラルネットワーク
回路では、必要なニューロン回路数を大幅に低減でき、
かつパターン認識の精度を大きく改善できるとともに、
回路規模を低減できる。

【図面の簡単な説明】

第１図は本発明の超球面識別形ニューロン回路の構成の
一例を示す図、第２図は本発明の越冬面体識別形ニュー
ロン回路の構成の一例を示す図、第３図（ａ）、（ｂ）
はニューロン回路の入力部の伝達特性を示す図で、（ａ
）は減算回路と絶対値回路の特性を示し、（ｂ）は減算
回路と整流回路の特性を示し、第４図は従来の超球面識
別形ニューロン回路の識別領域（２人力の場合）を示す
図、第５図は従来の越冬面体識別形ニューロン回路の識
別領域（２人力の場合）を示す図、第６図（ａ）、（ｂ
）は本発明によるニューロン回路の識別領域の形状（２
人力の場合）を示す図で、（ａ）は超球面形を示し、（
ｂ）は超多面体形を示し、第７図（ａ）、（ｂ）は複数
のニューロン回路による識別領域の第１の形成例（２人
力の場合）を示す図で、（ａ）は従来形を示し、（ｂ）
は本発明を示し、第８図（ａ）、（ｂ）は複数のニュー
ロン回路による識別領域の第２の形成例を示す図で、（
ａ）は従来形を示し、（ｂ）は本発明を示し、第９図は
本発明の越冬面体識別形ニューロン回路の演算回路の構
成例を示す図、第１０図はニューロン回路の記号を示す
図、第１１図は２層構造のニューラルネットワーク回路
の構成を示す図、第１２図は３層構造のニューラルネッ
トワーク回路（ＯＲ処理出力形）の構成を示す図、第１
３図は従来の超球面識別形ニューロン回路の構成を示す
図、第１４図は従来の越冬面体識別形ニューロン回路の
構成を示す図、第１５図（ａ）、（ｂ）、（ｃ）は閾値
回路の伝達特性を示す図で、（ａ）はステップ関数形、
（ｂ）は折れ線形、（Ｃ）はシグモイド関数形を示す。 特許呂願人　日本電信電話株式会社

Claims (1)

【特許請求の範囲】
1. １．ｎ個の入力端子と（ｎは１以上の整数）、上記入力
   端子のそれぞれに対応して２個ずつ、合計２ｎ個の荷重
   係数と、上記２個の荷重係数から成る各組のうち大きい
   値の荷重係数をｗＨ、小さい値の荷重係数をｗＬとして
   、（入力信号−ｗＨ）を求める減算回路と、（ｗＬ−入
   力信号）を求める減算回路と、それぞれの減算結果の正
   の値だけを通過させる整流回路と、上記整流回路の出力
   をそれぞれ非線形特性回路を経た後または直接に全て累
   積する加算回路と、上記累積結果が非線形特性回路を経
   た後または直接に入力される閾値回路とを有し、上記閾
   値回路の出力値を出力信号とするニューロン回路を単位
   回路として、多数の上記ニューロン回路の入出力端子間
   を接続することによってネットワーク回路を構成し、上
   記ネツトワーク回路に入力されたｍ個（ｍは１以上の整
   数）の入力信号に対してそれぞれ独自の上記荷重係数を
   持つ上記ニユーロン回路が演算を実行し、上記ネットワ
   ーク回路内の全てまたは一部の上記ニューロン回路の出
   力値を上記ネットワーク回路の出力信号とし、それぞれ
   の上記ニューロン回路の上記荷重係数と上記閾値回路の
   閾値の大きさによって上記ネットワーク回路の機能を制
   御することを特徴とするニューラルネットワーク回路。