JP3337504B2

JP3337504B2 - ニューラルネットワーク

Info

Publication number: JP3337504B2
Application number: JP27287192A
Authority: JP
Inventors: 武居利治; 竹村安弘
Original assignee: Sumitomo Osaka Cement Co Ltd
Current assignee: Sumitomo Osaka Cement Co Ltd
Priority date: 1992-10-12
Filing date: 1992-10-12
Publication date: 2002-10-21
Anticipated expiration: 2017-10-21
Also published as: JPH06124354A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、物体、画像、文字など
の識別及び情報の検索、推論、連想などの情報処理の分
野において利用されるニューラルネットワークの構成に
関する。

【０００２】

【従来の技術】従来より、画像や音声などの認識、連
想、推論など情報処理のノイマン型コンピュータが不得
意な情報処理を効果的に行なう方法として、ニューラル
ネットワーク技術が注目されている。特に、ニューラル
ネットワークの学習方法である誤差逆伝搬学習法（以
下、ＥＢＰと略称する）を用いて、ネットワーク内のユ
ニット（ニューロンをモデルとした通常多入力１出力の
信号処理素子）間の結合荷重値を決定することにより、
各入力パターンの特徴を捉えたフレキシブルな認識を行
なうことができる。

【０００３】図２は、前記のような従来の代表的ニュー
ラルネットワークの構成を示す構成図である。ＥＢＰ法
による学習を行なうニューラルネットワークでは、通
常、ネットワーク内のユニットの集合を３層以上の層構
造とし、そのうちで、パターンの信号入力を行なう層を
入力層、認識出力信号を出力する層を出力層、残りを中
間層又は隠れ層と称する。このとき、原則として、同一
層内に含まれるユニット同士の結合は、ないものとし、
また、出力に近い層から入力に近い層への信号のフィー
ドバックは、ないものとする。

【０００４】さて、入力層の各ユニットから出力された
出力層Ｉ_n(ｎ：ユニット番号）は、中間層の各ユニット
への伝搬し、更に中間層の各ユニットから出力された出
力値Ｃ_n(ｎ：ユニット番号）は、出力層の各ユニットへ
と伝搬し、この出力層の各ユニットから出力値Ｏn(ｎ：
ユニット番号）が得られる。但し、図２においては、入
力層及び中間層ユニットの出力が複数のユニットと結合
しているので、多出力のように見えるが、これは、１つ
のユニットからの出力を複数のユニットに入力している
ためで、出力値は、１つのユニットにつき１つのみであ
る。図２において、各層のユニット間の結合は、矢印で
示されており、入力層のユニットと中間層ユニットとの
結合荷重値を対応するユニット番号を、添え字として付
けたＶ_ij（ｉは中間層ユニット番号、ｊは入力層ユニッ
ト番号である）で、中間層のユニットと出力層のユニッ
トとの結合荷重値を対応するユニット番号を添え字とし
て付けたＷ_ij（ｉは出力層ユニット番号、ｊは中間層ユ
ニット番号である）で表すものとする。例えば、中間層
ユニット３と出力層ユニット５との結合荷重値はＷ₅₃と
表示される。

【０００５】通常、中間層ユニット及び出力層ユニット
の入出力特性は、次の式で表される。Ｃ_i＝ｆ(ΣＶ_ijＩ_j＋ξ_i) （１）Ｏ_i＝ｆ(ΣＷ_ijＣ_j＋θ_i) （２）ｆ(ｘ) ＝１／(１＋exp(−ｘ)) （３）ここで、ｉ、ｊは各々、前記のように対応するユニット
番号であり、ξ、θは、各々のユニットにおけるバイア
ス値である。また、（３）に示した関数は、シグモイド
関数と呼ばれている。

【０００６】前記のようなニューラルネットワークの構
成において、任意の入力パターン即ち入力層ユニットの
出力ベクトル（Ｉ₁、Ｉ₂、Ｉ₃、Ｉ₄、Ｉ₅）を与えたと
きの出力層からの所望の出力と、実際の出力Ｏ_i（ここ
では、ｉ＝１、２、・・５）との各ユニットの誤差の２
乗和が小さくなるように、各ユニット間の結合荷重値の
大きさを修正することにより、任意の入力パターンに対
して所望の出力パターンを出力するニューラルネットワ
ークを得ることができる。ＥＢＰ法は、このときの荷重
値の修正係数を計算する方法であり、一般化δルールと
も呼ばれている。この修正係数を用いて効率良く学習を
収束させるために、いくつかの方法が提案されている。

【０００７】ところが、前記のニューラルネットワーク
においては、認識したいクラスに属する代表的なパター
ンをいくつか提示して学習を行って、結合荷重値を決定
させようとしても、学習を収束するために、多数回の繰
り返し学習を行なうため、ネットワークの構成に時間が
かかり、しかも、必ずしも、学習が収束するとは限ら
ず、所謂、ローカルミニマに落ち込み、不十分な認識結
果を与えることがよく生じる。また、このことは、入力
パターン相互の兼ね合いや、中間層のユニット数によっ
ても左右され、最適な中間ユニット数が試行錯誤的に与
えられることが多かった。このことは、ニューラルネッ
トワークの基本式が（１）〜（３）に与えられているこ
とに起因する。即ち、ある入力パターン間の特徴を反映
した特徴空間を（１），（２）で表されるようなＮ次元
の面で分割し、識別領域を学習により作成しているため
である。従って、その解は、非常に多くあり、一義的に
決定されるものではない。このことにより、学習時にお
いていくつかのパターンを識別することが困難であった
り、例え、学習時に使用したパターン間の認識ができた
としても他のパターンを認識するときに誤認識するなど
の結果を生じることがあった。また、非常に類似したパ
ターンを識別することも苦手であった。また、一度荷重
値が決定されると、固定化されてしまうので、学習時
に、例えば、時間的に変動して行くような入力に対して
も対応できるように学習セットを用意するなどして、対
応していた。また、汎化の問題にしても、どのように汎
化させるか予め予測した上で、学習セットを用意させる
必要があった。即ち、特徴空間内に空き領域がないため
に、未学習の入力パターンでもいずれかの学習済みの入
力パターンに識別してしまうという欠点があった。

【０００８】

【発明が解決しようとする課題】本発明は、上記の問題
点を解決するためになされたもので、誤認識が起こり難
く、非常に類似したパターンでも認識することができ、
また、入力の変動に対しても簡単に更新手続きで実質的
に荷重値を更新させることができるニューラルネットワ
ークを提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明は、上記の技術的
な課題の解決のためになされたもので、本発明のニュー
ラルネットワークにおいては、少なくてもＮ個の入力ユ
ニットを有する入力層と前記入力層の各ユニットに対応
したＮ個の中間ユニットを前記出力カテゴリーに対応し
てＫ組揃えた中間ユニット群及びバイアスを与えるユニ
ットを有する中間層とＫ個の出力ユニットを有する第１
の出力層とから構成され、前記入力層の各ユニットと前
記中間ユニット群との間の結線の荷重値は、全て１で、
前記中間ユニット群の各中間ユニットの入出力特性は、
対応する出力カテゴリーに属する入力パターン群のＮ個
の各要素毎の代表値とバラツキを示す統計的な量に基づ
き作成された凸のメンバーシップ関数で表され、前記中
間層と前記第１の出力層との間の結線の荷重値は、前記
メンバーシップ関数から出力されるメンバーシップ値を
前記中間ユニット群の出力として、δルールに基づき学
習により決定することを特徴とする前記ニューラルネッ
トワークである。

【００１０】また、少なくてもＮ個の入力ユニットを有
する入力層と前記入力層の各ユニットに対応したＮ個の
中間ユニットを前記出力カテゴリーに対応してＫ組揃え
た中間ユニット群及びバイアスを与えるユニットを有す
る中間層とＫ個の出力ユニットを有する第１の出力層と
第２の出力層とから構成され、前記入力層の各ユニット
と前記中間ユニット群との間の結線の荷重値は、全て１
で、前記中間ユニット群の各中間ユニットの入出力特性
は、対応する出力カテゴリーに属する入力パターン群の
Ｎ個の各要素毎の代表値とバラツキを示す統計的な量に
基づき作成された凸のメンバーシップ関数で表され、前
記中間層と前記第１の出力層との間の結線の荷重値は、
前記メンバーシップ関数から出力されるメンバーシップ
値を前記中間ユニット群の出力として、δルールに基づ
き学習により決定され、前記第２の出力層からはＫ個の
出力カテゴリーに対応する各々の前記中間ユニット内の
Ｎ個の要素が比較され、最も小さい値が出力カテゴリー
毎に出力され、ある入力に対し、前記第１の出力層が出
力するカテゴリーの真なる程度を、対応する該カテゴリ
ーに対して前記第２の出力層が出力する最も小さい値の
程度で評価するニューラルネットワークを提供する。

【００１１】中間ユニット群の各中間ユニットの入出力
特性は、前記第１の出力層或いは第２の出力層により評
価された第１の出力層の出力する値が最も大きいカテゴ
リーに対応する中間ユニットに対し、前記代表値とバラ
ツキを示す値を更新することにより変化させられるもの
が好適である。そして、バイアスを与えるユニットは、
Ｋ組揃えた中間ユニット群の各組の中間ユニットに一つ
ずつ付与し、中間層と第１の出力層との間の結線は、出
力カテゴリーに対応した中間ユニット及びバイアスを与
えるユニットと出力カテゴリーに対応する第１の出力層
のユニットのみと結合させるものが好適である。また、
バイアスを与えるユニットは、中間ユニット群に１つ付
与し、中間層と第１の出力層との間の結線は、中間層に
ある全ての中間ユニット及びバイアスを与えるユニット
と出力ユニットに対応する第１の出力層のユニットの全
てと結合させるものが好適である。更に、対応する出力
カテゴリーに属する入力パターン群のＮ個の各要素の代
表値とバラツキを示す量として、標準偏差或いは分散等
の統計学的な量を用い、バラツキを示す量として、標準
偏差或いは分散等の統計学的な量を用いると好適であ
る。

【００１２】

【作用】前記のＮ次元の入力ベクトルとＫ個の出力カテ
ゴリーを有するニューラルネットワークにおいて、入力
層の各ユニットと中間ユニット群との間の結線の荷重値
は、全て１とする。次に、あるカテゴリーに属させたい
Ｎ次元のベクトルよりなる複数の入力パターンの有する
各々のベクトルの各要素の代表値（例えば平均値や中央
値等の統計量）とバラツキを示す量（例えば標準偏差や
分散等のバラツキを示す量）を基準にしてメンバーシッ
プ関数が作成され、これを前記中間ユニット群の各中間
ユニットの入出力特性の関数とすることにより、ある入
力のＮ次元のベクトルの要素がＫ個の出力カテゴリー毎
に０−１のメンバーシップ値に変換される。従って、入
力値がどのようなものであっても、０−１のメンバーシ
ップ値に変換される。このメンバーシップ値は、各々の
出力カテゴリーを代表するベクトルの各要素とどの程度
マッチングしているかを示す量である。

【００１３】さて、これらのＮ個の要素を有するＫ個の
ベクトル群の各々のベクトルは、出力カテゴリーの各々
に対応しているので、各々のベクトルにバイアスとなる
要素を加えて、Ｎ＋１個の要素と対応する出力カテゴリ
ーを結線させるか、又は、Ｎ個の要素を有するＫ個のベ
クトル群にバイアスとなる要素を加えたＮ×Ｋ＋１個の
要素と各々の出力カテゴリーを結線させて、ある入力に
対して望ましい出力が得られるようにこの結線の荷重値
をδルールにより学習させて、中間層と第１の出力層と
の結合荷重値を得る。このときの入力は、メンバーシッ
プ関数を作成したときに使用した学習セットでも良い
し、異なるものであっても良い。このようにすると、メ
ンバーシップ関数により、入力ベクトルの各要素の各出
力カテゴリーに属する程度が表わされるので、非常に複
雑な問題に対しても、非常に効率よく学習することがで
きるのである。また、第２の出力層では、中間層のバイ
アスを除いたＮ個の要素を有するＫ個のベクトル群の各
々の要素の最小値を各カテゴリーに対応してＫ個出力さ
せる。

【００１４】さて、前に説明したように、中間層のバイ
アスを除いたＮ個の要素を有するＫ個のベクトル群の各
々の要素は、各カテゴリーに属する程度を示しているの
で、Ｎ個の要素の中の最小値（出力カテゴリーに対応し
てＫ個ある）は、入力ベクトルのある要素が各々の出力
カテゴリーに対応する要素と最もマッチングしない程度
を示している。従って、この値が非常に小さければ、統
計的に処理された領域からはずれ、出力カテゴリーとし
てふさわしくない状態を示しているということができ
る。この第２の出力層からの出力値を用いると、第１の
出力層により出力された結果の真なる程度を評価するこ
とができる。

【００１５】即ち、第１の出力層からの出力値が大きく
とも、第２の出力層からの出力層が極めて小さければ、
疑わしい出力だと判断することができる。従って、誤認
識をする可能性を低減させることができる。また、第２
の出力層からの出力値も第１の出力層からの出力値も大
きければ、入力ベクトルがそのカテゴリーに属する程度
は確実であるので、中間ユニット群の各中間ユニットの
入出力特性の関数の持つパラメータを更新することがで
きる。即ち、平均値や中央値或いは標準偏差や分散の量
は、前回までの学習に使用した入力パターン数を覚えて
おけば、簡単に数学的に更新することができるからであ
る。このようにすると、何らかの原因で環境が変化し、
入力が学習時と異なっても変化が急速でなければ、対応
していくことができる。

【００１６】次に、本発明のニューラルネットワークに
ついて更に詳しく具体的に以下実施例より、説明する
が、本発明がそれらによって、制限されるものではな
い。

【００１７】

【実施例１】パターン識別を行なうためには、始めに画
像、文字、音声などの識別したいパターンから、そのパ
ターンの特徴を表すデータを取得する。本実施例では、
入力パターンより２つのデータを取得して、このデータ
をコンピュータに入力し、以後の処理は、コンピュータ
上で行なう。図１は、本発明のニューラルネットワーク
の１実施例の構成を示す構成図である。さて、本発明の
第１の特徴的なことは、各層間の結線のされ方であり、
中間層のバイアスを与えるユニット以外の各ユニット
は、入力層の各ユニットと１対１の結合をすることと、
入力層のユニット数と出力層の出力ユニット数が決まれ
ば、自ずと、中間ユニットの数が決定されるということ
である。即ち、入力ベクトルの要素数をＮ個とし、出力
カテゴリー数をＫ個とすると、入力層の各ユニットに対
応したＮ個の中間ユニットを出力カテゴリーに対応し
て、Ｋ個揃えた中間ユニット群及びバイアスを与えるユ
ニットを各中間ユニットに一つずつ付与した総計（Ｎ＋
１）×Ｋ個のユニットを有する中間層よりなる。

【００１８】さて、上記の内容を図１を用いて説明す
る。ここで、入力ベクトルは、説明を簡単にするため
に、２つの要素からなるものとし、出力カテゴリーの数
を３とする。先ず、入力層ユニットＩ₁とＩ₂は、各々中
間層のユニットＣ₁、Ｃ₄、Ｃ₇とＣ₂、Ｃ₅、Ｃ₈にしか結
合されておらず、また、中間層のユニットＣ₃、Ｃ₆、Ｃ
₉はバイアスを与えるユニットである。従って、入力層
とは結合されていない。次に、中間層と出力層のユニッ
ト間の結合は、一つの出力カテゴリーの出力ユニットＯ
₁を見ると、２つの入力ユニットに対応する中間層の２
つの中間ユニットＣ₁、Ｃ₂とバイアスを与えるＣ₃と結
合させるのみである。さて、本発明の第２の特徴は、ニ
ューラルネットワークの学習のさせ方であり、入力層と
中間層の間の結線の荷重値は、全て１で、中間ユニット
群の各中間ユニットの入出力特性は、出力カテゴリーに
属さない入力パターン群のＮ個の各中間ユニットの入出
力特性は、出力カテゴリーに属さない入力パターン群の
Ｎ個の各要素の代表値とバラツキを示す統計的な量に基
づいて作成された凸のメンバーシップ関数から出力され
るメンバーシップ値が中間層から出力され、このメンバ
ーシップ値をδルールに基づいて学習することである。
上記の内容を、図１を用いて説明する。

【００１９】先ず、入力層と中間層との間の結線の荷重
値は、全て１にする。次に、中間ユニット群の各中間ユ
ニットの入出力特性は、各出力カテゴリーに対応する中
間ユニット（図１においては、例えば、第１の出力カテ
ゴリーの出力Ｏ₁に対する中間ユニットＣ₁、Ｃ₂）毎
に、学習するときに用いる対応する出力カテゴリーに属
する入力ベクトルに対する、各要素の平均値ｍと標準偏
差σを算出して、平均値を中心として、上辺の幅が標準
偏差量で、下辺の幅が標準偏差量の３倍程度であり、高
さが１の台形型のメンバーシップ関数やexp(−(ｘ−ｍ)
²／(２σ²)なる正規分布のメンバーシップ関数とする。
例えば、中間ユニットＣ₁及びＣ₂における入出力特性
は、出力Ｏ₁に対応する出力カテゴリーに属する複数の
入力ベクトルの各要素Ｉ₁、Ｉ₂の平均値や標準偏差によ
り計算される。尚、メンバーシップ関数は、凸の連続的
なメンバーシップ関数であればどのようなものであって
もよい。

【００２０】このようにして、入力層と中間層との結合
荷重値を決定した後に、中間層と出力層との結合荷重値
を通常のδルールで決定する。このとき、使用する学習
データは、メンバーシップ関数を作成するときに使用し
た学習サンプルでも良いし、異なったものでも良いが、
入力層と中間層との間の結合荷重値は全て１であり、中
間ユニット群の各中間ユニットの入出力特性は、既に説
明したメンバーシップ関数により決定されているので、
中間層からの出力は、ある入力ベクトルに対して、０−
１までのメンバーシップ値となる。従って、これらのメ
ンバーシップ値を教師付き学習により学習することによ
り、中間層と出力層との間の結合荷重値を決定すること
ができる。本発明のニューラルネットワークによると、
入力層と中間ユニット群との間の結線は、全て１で、各
中間ユニットの入出力特性を、統計的な諸量を用いて決
定することができ、中間層と出力層との間の結線はδル
ールで決定することができるので、極めて簡単になる。
従って、多くのパターンを学習する必要があり、統計的
に特徴が現れるような応用に対しては極めて効果的であ
る。

【００２１】即ち、例えば、２つのカテゴリーを分離す
るとき、２つのカテゴリーに対応する入力ベクトルの要
素の平均値が異なると、大まかに、それらを分離する状
態が各中間ユニットの入出力特性の関数として表現さ
れ、メンバーシップ値として表現される。このメンバー
シップ値は、平均値に近いほど１に近くなり、遠いほど
０に近くなる。従って、各メンバーシップ値に基づい
て、中間層と出力層との間の結合荷重値をδルールによ
り学習すると、ある入力に対して出力されるべきカテゴ
リーに対しては、統計的に処理されているために殆ど必
ず全ての入力ベクトルの要素に対して、メンバーシップ
値を有するが、出力されるべきでないカテゴリーに対し
ては、入力ベクトルのある一部の要素に対しては０に近
い値を有する。従って、δルールにより学習されると、
ある入力ベクトルに対して、出力されるべきでないカテ
ゴリーのメンバーシップ値が０に近い要素ほど結合荷重
値はどんなに強化されてもメンバーシップ値自体が０に
近いので、出力されるべきでないカテゴリーには影響を
与えることがなく、その結果、出力されるべきカテゴリ
ーの要素の他のカテゴリーの要素にはない特徴がどんど
ん強化されていくことになる。また、異なるカテゴリー
間で同じようなメンバーシップ値を有する要素では、互
いに、正の結合荷重と負の結合荷重を有するように学習
が進む。このようにして、中間層と出力層との間の結合
荷重値は、結果として、メンバーシップ値の有する特徴
を更に細かく分離するようになるのである。

【００２２】尚、以上説明したニューラルネットワーク
では、ＥＸ−ＯＲ等の線形分離が可能でない問題等への
適応はできない。然し乍ら、線形分離可能な問題に対し
ては、従来の３層構造のニューラルネットワークに比較
すると、中間層のユニット数を試行錯誤的に決める必要
もないし、ローカルミニマ等に落ちることもない。従っ
て、確実に収束させることができる。多くのパターン認
識において、線形分離不可能な問題というのは、そんな
に多く現れるものでもなく、本発明のニューラルネット
ワークに入力する入力ベクトルを、何らかの前処理を施
し、特徴ベクトルとして表されるようにしておくと、非
常に効率的な認識を行なうことができる。また、本実施
例で示した統計的な処理による各中間ユニットの入出力
特性であるメンバーシップ関数の作成の基準に、平均値
の代わりに、入力ベクトルの要素の中央値を取っても良
いし、標準偏差の代わりに、分散を用いても同様なこと
ができることは、言うまでもないことである。

【００２３】

【実施例２】本実施例では、実施例１で説明したニュー
ラルネットワークに以下に述べる第２の出力層を追加し
て設けることを特徴としている。さて、図３に示すよう
に、入力層と中間層と出力層１の関係は、実施例１と全
く同じであるので、詳細な説明は省略する。入力層と中
間層と出力層２の関係について主に説明する。入力層と
中間層の結線のされ方、並びに結線荷重の決め方、及
び、中間ユニットの入出力特性の関数の決め方は、実施
例１と同様であり、入力ベクトルの要素数をＮ個とし、
出力カテゴリー数をＫ個とすると、入力層の各ユニット
に対応したＮ個の中間ユニットを出力カテゴリーに対応
してＫ組揃えた中間ユニット群及びバイアスを与えるユ
ニットを各中間ユニットに一つずつ付与した総計(Ｎ＋
１)×Ｋ個のユニットを有する中間層よりなり、入力層
と中間層の間の結線の荷重値は、全て１で、各中間ユニ
ットの入出力特性は、出力カテゴリーに属させたい入力
パターン群のＮ個の各要素の代表値とバラツキを示す統
計的な量に基づいて作成された凸のメンバーシップ関数
で表されている。

【００２４】次に、中間層と出力層２との結線のされ方
は、各出力カテゴリーに対応する中間ユニットと１対１
で結合され、結合の荷重値は１であり、出力層２の各出
力ユニットは、中間層からの出力値であるメンバーシッ
プ値、即ち、入力ベクトルの各要素のメンバーシップ値
の中で最も小さい値を出力するようにする。例えば、出
力カテゴリー１に対応する出力層２の出力ユニットＯ₂₁
へは、対応する中間層のユニットＣ₁とＣ₂とのみ結線さ
れ、バイアスを与えるユニットとは結線されず、中間層
と出力層２との結線の荷重値は１で、出力層２の出力ユ
ニットＯ₂₁は、中間ユニットＣ₁、Ｃ₂の出力する各メン
バーシップ値の最小値を出力する。従って、出力層２か
らの出力値は、統計的に処理された学習パターンの各要
素の平均値から最も大きく離れた要素に対応したメンバ
ーシップ値が出力すれる。即ち、一つでも学習パターン
の要素と大きくずれると、出力値は小さくなるのであ
る。本実施例の特徴は、対応する出力カテゴリーの出力
層１の確からしさを出力層２の出力値で判断することに
ある。

【００２５】このことを図４を用いて説明する。×印、
○印、△印は、各々カテゴリーＡ、Ｂ、Ｃに属する学習
データを表している。図４の四角で囲まれた領域は、各
カテゴリーに属する７つのデータの平均値と標準偏差に
基づいて作成されたメンバーシップ関数の境界を示して
いて、点線の領域は、説明したように、各カテゴリーに
対応する各中間ユニットの入出力特性を示すメンバーシ
ップ関数（ここでは、正規分布型として考えている）に
おいて、平均値から標準偏差量だけ離れた境界を示し、
一点鎖線は、平均値から３倍の標準偏差量だけ離れた境
界を示している。このように、各中間ユニットの入出力
特性を決定した後に、同じ学習データのセットか、若し
くは、異なる学習データのセットを用いて出力層１と中
間層との間の結線の荷重値をδルールにより決定する点
は、実施例１と同様である。一方、出力層２からの出力
は、入力ベクトルの各要素のメンバーシップ値の中で最
も小さい値を出力する。

【００２６】図５は、以上の操作を行なった後の出力層
１と出力層２の出力結果を示した表である。データ１か
らデータ３までは、学習に使用した各カテゴリーのデー
タである。例えば、データ１に対して、出力層１の認識
結果の第１位の出力は、カテゴリーＡで、０．９３の値
を示し、第２位の出力は、カテゴリーＣで０．００１の
出力値を示している。一方、出力層２の認識結果の第１
位の出力は、カテゴリーＡで、０．３３の値を示し、第
２位の出力は、カテゴリーＣで０の出力値を示してい
る。このように、学習されたデータに対しては、出力層
１の出力値は非常に高くなり、また出力層２の出力値も
比較的高い値を有する。ところが、出力層１の出力値は
非常に高くなり、また、出力層２の出力値も比較的高い
値を有する。ところが、出力層１の出力は、学習データ
に基づいて、所謂汎化された領域による出力なので、例
えば、データ４やデータ６の出力のように、カテゴリー
Ａである程度高いと判断しているが、統計的な処理によ
る出力層２の出力は、非常に小さい値を示している。従
って、この汎化の程度が正確であるか否かを判断する尺
度として、出力層２からの出力を用いることが本実施例
の特徴である。上記の例では、学習データが十分でない
ために、出力層２の出力が統計的に十分意味を持ってい
ると考え難いが、データ数が十分に多くとれば、統計的
に十分意味を有するようになる。

【００２７】即ち、正規分布を仮定すれば、平均値から
標準偏差量だけ離れた領域内にあるデータ数は、全デー
タ数のおよそ６８％ということになり、平均値から標準
偏差の２倍だけ離れた領域内にあるデータ数は、全デー
タ数のおよそ９５％となる。また、平均値からの標準偏
差量だけ離れた点におけるメンバーシップ値は、０．６
０６となり、平均値から標準偏差の３倍だけ離れた点に
おけるメンバーシップ値は、０．１３５となる。従っ
て、認識結果が誤って出力されては困るような応用、例
えば、医療画像の認識や細胞の種類の同定等に使用する
ときには、第２の出力値を重視し、その大きさで第１の
出力層の結果の真なる程度を判断すれば良い。図５を用
いると、出力層２からの出力値が０．１３５よりも大き
いものを判断の閾値とすると、データ４、６の出力層１
の認識結果は、非常に当てにならないと判断できる。ま
た、データ５の出力に対しては、出力層２からの出力結
果としては、まあまあ当てになろうが、出力層１の出力
自体が小さいので、これも認識結果から省くことができ
る。

【００２８】上記の例では、データ数が少ないので、以
上説明した効果が明確に現れないが、入力ベクトルの要
素数が多く、且つ、学習データ数が多くなると、非常に
効果的になる。尚、出力層２からの出力は、対応する出
力カテゴリーに対応した中間ユニットの要素が比較さ
れ、最も小さい値を出力すれば良いので、簡単な比較器
を用いて演算することができるし、コンピュータ内で計
算して出力しても良い。また、出力カテゴリーに対応し
た中間ユニット群の出力であるメンバーシップ値は、０
−１の値を有するので、この出力値を１から引いて、１
−０の値にして良く知られたウィナー(Winner)テイクー
オール(Take-All)型のニューラルネットワークに入力し
て、入力値の最も大きい値、即ち、中間ユニット群の出
力であるメンバーシップ値としては、最も小さい値に対
応する中間ユニットを決定して、その中間ユニットから
出力されているメンバーシップ値そのものを出力するよ
うにしても良い。この場合には、殆ど主要な部分の構成
を全てニューラルネットワークで構成することができる
ので、コンピュータを用いる場合に比べて、装置が簡単
化できる。

【００２９】

【実施例３】本実施例では、前記の実施例１及び２にお
ける学習済みの各中間ユニットの入出力特性を未知の入
力ベクトルがどのカテゴリーに属するかを判定すること
により、簡単に更新させていくことを特徴とするもので
ある。尚、ニューラルネットワーク自体の構成は、前記
の実施例１、２と同様なので説明を省略する。さて、あ
るカテゴリーに対して、学習パターンがＮ個あったと
し、そのカテゴリーに対応する中間ユニットの入出力特
性の各要素ｉの平均値をＭ_i（Ｎ）、標準偏差量をσ
_i(Ｎ）とある。そこで、ある未知の入力ベクトルＸ_iを
入力した結果、このカテゴリーに分類される程度が極め
て高いと判断されたとする。このとき、このカテゴリー
に対する各要素ｉの平均値と標準偏差量を次の様に更新
する。

【００３０】即ち、このデータを含めたＮ＋１個のデー
タに対する平均値Ｍ_i(Ｎ＋１）と標準偏差量σ_i(Ｎ＋
１）は、各々、Ｍ_i(Ｎ＋1）＝(Ｎ×Ｍ_i(Ｎ）＋Ｘ_i）／（Ｎ＋１） σ_i(Ｎ＋1)＝√{(Ｎー1)／Ｎ×σ_i(Ｎ)²＋(Ｎ＋1)／Ｎ²×[Ｘ_iーＭ_i(Ｎ＋1)]²} ・・・・・・・（４）のように、各要素ｉの平均値と標準偏差量が前回の平均
値と標準偏差量並びに、サンプル数が既知であれば簡単
に求めることができるのである。

【００３１】以下、具体的に図を用いて説明する。ある
未知の入力ベクトルが、例えば、図４に示すデータ４で
与えられたとする。このとき、実施例１の方法では、図
５の出力層１の出力しか得られないので、カテゴリーＡ
の出力値が１．０で、カテゴリーＣの出力値が０．８８
となる。このとき、前記の式（４）を用いて、カテゴリ
ーＡに対応する中間ユニットの入出力特性であるメンバ
ーシップ関数を更新することができる。一方、実施例２
においては、出力層２の出力結果が、カテゴリーＡの出
力値が０．０３であり、カテゴリーＣの出力値が０とな
るので、未知の入力が、判断することができないとし
て、入出力特性の更新をしない。このような更新は学習
されたサンプル数が多ければ多いほど確度が高いものと
なり、更に、出現頻度が高いカテゴリーほど、少しずつ
ではあるが、認識領域が広くなっていく傾向を有する。
また、従来のニューラルネットワークの場合には、荷重
値の更新は簡単でなく、最初から全ての結線を再学習に
より行なわなければならず、非常に煩雑であった。

【００３２】本発明のニューラルネットワークでは、非
常に簡単な更新手続きにより、実質上荷重値を更新する
ので同じ効果が各中間ユニットの入出力特性を変えるこ
とにより実現できる。更に、自己組織的に更新していく
という特徴を有する、例えば、入力の状態が時間的に少
しづつ変動していく場合などには、従来のニューラルネ
ットワークでは、学習時に変動を考慮した学習データを
用意して、結合荷重値を決定していたが、前記の変動が
不規則であったり、予測できないようなものであったり
すると、学習データを用意することができなく、対応す
ることができなかった。本発明のニューラルネットワー
クによると、このような場合でも、各中間層の入出力特
性の関数を更新していくことができるので、ある程度対
処することができるのである。

【００３３】

【実施例４】本実施例では、実施例１〜３における中間
層のバイアスを与えるユニットの個数と、中間層と出力
層の結線のさせ方が異なることを特徴としている。本実
施例において、入力層と中間層の結線のされ方、並びに
結合荷重値の決め方、及び、各中間ユニットの入出力特
性であるメンバーシップ関数の決め方は、実施例１と同
様である。即ち、入力ベクトルの要素数をＮ個とし、出
力カテゴリー数をＫ個とすると、入力層の各ユニットに
対応したＮ個の中間ユニットを出力カテゴリーに対応し
てＫ組揃えた中間ユニット群を用意する。ここで、入力
層と中間層の間の結線の荷重値は、全て１で、各中間ユ
ニットの入出力特性は、出力カテゴリーに属させたい入
力パターン群のＮ個の各要素の代表値とバラツキを示す
統計的な量に基づいて作成された凸のメンバーシップ関
数で表されている。但し、中間ユニット群に付与される
バイアスはただ一つであり、従って、中間ユニット数
は、Ｎ×Ｋ＋１個となる。また、中間層と出力層との間
の結線は、中間層にある全てのユニットと出力層にある
全てのユニットの間でなされる。

【００３４】以上、説明したことを、図を用いて説明す
る。図６は、本実施例の構成を示す構成図である。先
ず、入力ベクトルは、説明を簡単にするために、２つの
要素からなるものとし、出力カテゴリーの数を３とす
る。先ず、入力層のユニットＩ₁とＩ₂は、各々の中間層
のユニットＣ₁、Ｃ₃、Ｃ₅とＣ₂、Ｃ₄、Ｃ₆にしか結合さ
れておらず、また、中間層のユニットＣ₇は、バイアス
を与えるユニットである。従って、入力層とは結合され
ていない。次に、中間層と出力層のユニット間の結合
は、一つの出力カテゴリーの出力ユニットＯ_１を見る
と、中間層にある全てのユニットＣ₁〜Ｃ₇と結合されて
いる。その他の出力ユニットについても同様である。さ
て、本実施例のニューラルネットワークの学習のさせ方
も、実施例１と同様なので詳細な説明は省略するが、中
間層から出力される各出力カテゴリーに対応した各要素
のメンバーシップ値を入力して、δルールにより学習し
て中間層と出力層との間の結合荷重値を求めることがで
きる。このように、実施例１と異なるのは、中間層と出
力層の間の結線数が増加していることであり、この分、
学習に時間が掛かるが、より緻密な結合荷重の構造がで
きるので、より複雑な認識領域の作成が可能である。
尚、本実施例のニューラルネットワークにおいて、実施
例２と同様に、出力層２を設け、出力層１の結果の真な
る程度を判定したり、実施例３のように、各中間ユニッ
トの入出力特性であるメンバーシップ関数を更新してい
くようにすることができることは、いうまでもない。ま
た、中間層と出力層との間に更に第２の中間層を設け、
従来のＥＢＰにより各層間の結合荷重値を決めることも
できる。このようにすると、更に、複雑な認識領域を形
成することができる。

【００３５】

【発明の効果】以上説明したように、本発明のニューラ
ルネットワークにより、前記のような効果が得られた。
それらをまとめると、次のような顕著な技術的効果とな
る。即ち、第１に、本発明のニューラルネットワークに
より学習が必ず収束し、また、各中間ユニットの入出力
特性は、統計的な諸量を用いてメンバーシップ関数とし
て表現することができ、中間層と出力層との間の結線
は、δルールで決定することができるので、極めて簡単
になり、中間層ユニットを試行錯誤的に決める必要がな
い。第２に、統計的な諸量を用いて、ニューラルネット
ワークの汎化の真なる程度を判断することができるの
で、正確な判断を必要とする分野の応用に対して非常に
効果的となる。第３に、学習後でも、簡単な手続きによ
り各中間ユニットの入出力特性を更新することができる
ので、入力ベクトルの時間的な変動を吸収したり、出現
頻度の高いものほど認識し易くすることができる。

【図面の簡単な説明】

【図１】本発明のニューラルネットワークの１実施例の
構成を示す模式的構成図である。

【図２】従来の代表的３層ニューラルネットワークの構
成を示す構成図である。

【図３】本発明のニューラルネットワークの他の実施例
の構成を示す構成図である。

【図４】本発明によるニューラルネットワークの認識領
域を説明する模式的構成図である。

【図５】本発明のニューラルネットワークの他の実施例
で認識した例を示す表である。

【図６】本発明のニューラルネットワークの更なる他の
実施例を示す構成図である。

【符号の説明】

Ｉ₁、Ｉ₂
入力ユニットＣ₁、Ｃ₂、Ｃ₃、Ｃ₄、Ｃ₅、Ｃ₆、Ｃ₇、Ｃ₈、Ｃ₈
中間ユニットＯ₁、Ｏ₂、Ｏ₃
出力ユニット

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平２−189635（ＪＰ，Ａ) 特開平４−127239（ＪＰ，Ａ) 特開平４−23088（ＪＰ，Ａ) 特開平４−76678（ＪＰ，Ａ) 特開平４−92901（ＪＰ，Ａ) 特開平４−536（ＪＰ，Ａ) 特開平２−292602（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 3/00 - 3/10 G06F 15/18 G06G 7/60 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】Ｎ次元の入力ベクトルからなる入力パタ
ーンをＫ個の出力カテゴリーに対応付けするニューラル
ネットワークにおいて、少なくてもＮ個の入力ユニットを有する入力層と前記入
力層の各ユニットに対応したＮ個の中間ユニットを前記
出力カテゴリーに対応してＫ組揃えた中間ユニット群及
びバイアスを与えるユニットを有する中間層とＫ個の出
力ユニットを有する第１の出力層とから構成され、前記
入力層の各ユニットと前記中間ユニット群との間の結線
の荷重値は、全て１で、前記中間ユニット群の各中間ユ
ニットの入出力特性は、対応する出力カテゴリーに属す
る入力パターン群のＮ個の各要素毎の代表値とバラツキ
を示す統計的な量に基づき作成された凸のメンバーシッ
プ関数で表され、前記中間層と前記第１の出力層との間
の結線の荷重値は、前記メンバーシップ関数から出力さ
れるメンバーシップ値を前記中間ユニット群の出力とし
て、δルールに基づき学習により決定することを特徴と
する前記ニューラルネットワーク。
【請求項２】Ｎ次元の入力ベクトルからなる入力パター
ンをＫ個の出力カテゴリーに対応付けするニューラルネ
ットワークにおいて、少なくてもＮ個の入力ユニットを有する入力層と前記入
力層の各ユニットに対応したＮ個の中間ユニットを前記
出力カテゴリーに対応してＫ組揃えた中間ユニット群及
びバイアスを与えるユニットを有する中間層とＫ個の出
力ユニットを有する第１の出力層と第２の出力層とから
構成され、前記入力層の各ユニットと前記中間ユニット
群との間の結線の荷重値は、全て１で、前記中間ユニッ
ト群の各中間ユニットの入出力特性は、対応する出力カ
テゴリーに属する入力パターン群のＮ個の各要素毎の代
表値とバラツキを示す統計的な量に基づき作成された凸
のメンバーシップ関数で表され、前記中間層と前記第１
の出力層との間の結線の荷重値は、前記メンバーシップ
関数から出力されるメンバーシップ値を前記中間ユニッ
ト群の出力として、δルールに基づき学習により決定さ
れ、前記第２の出力層からはＫ個の出力カテゴリーに対
応する各々の前記中間ユニット内のＮ個の要素が比較さ
れ、最も小さい値が出力カテゴリー毎に出力され、ある
入力に対し、前記第１の出力層が出力するカテゴリーの
真なる程度を、対応する該カテゴリーに対して前記第２
の出力層が出力する最も小さい値の程度で評価すること
を特徴とする前記ニューラルネットワーク。
【請求項３】前記中間ユニット群の各中間ユニットの入
出力特性は、前記第１の出力層或いは前記第２の出力層
により評価された前記第１の出力層の出力する値が最も
大きいカテゴリーに対応する中間ユニットに対し、前記
代表値とバラツキを示す量を更新することにより変化さ
せられることを特徴とする請求項１或いは２に記載のニ
ューラルネットワーク。
【請求項４】前記バイアスを与えるユニットは、前記Ｋ
組揃えた中間ユニット群の各組の中間ユニットに一つず
つ付与し、前記中間層と前記第１の出力層との間の結線
は、出力カテゴリーに対応した中間ユニット及び該バイ
アスを与えるユニットと出力カテゴリーに対応する前記
第１の出力層のユニットのみと結合させることを特徴と
する請求項１〜３のいずれかに記載のニューラルネット
ワーク。
【請求項５】前記バイアスを与えるユニットは、前記中
間ユニット群に１つ付与し、前記中間層と前記第１の出
力層との間の結線は、前記中間層にある全ての中間ユニ
ット及び該バイアスを与えるユニットと出力カテゴリー
に対応する前記第１の出力層のユニットの全てと結合さ
せることを特徴とする請求項１〜３のいずれかに記載の
ニューラルネットワーク。
【請求項６】前記の対応する出力カテゴリーに属する入
力パターン群のＮ個の各要素の代表値とバラツキを示す
値は、前記代表値として、平均値或いは中央値等の統計
的な量を用い、前記バラツキを示す量として、標準偏差
或いは分散等の統計的な量をを用いることを特徴とする
請求項１〜５のいずれかに記載のニューラルネットワー
ク。