JPH05135000A - パターン学習システム - Google Patents

Abstract

(57)【要約】 【目的】 本発明はニューラルネットワークを用いてパ
ターン学習を行なわせるパターン学習システムに関し、
マルチニューラルネットワーク構成であっても、個々の
ネットワーク規模を大きくせずに、容易にマルチニュー
ラルネットワークを構成することができるパターン学習
システムを提供することを目的としている。 【構成】 入力パターンを受ける複数のニューラルネッ
トワーク２０で構成されたシステムにおいて、同一のカ
テゴリが単一ネットワークで学習できる場合には、１個
のニューラルネットワーク２０を用い、同一のカテゴリ
が単一ネットワークで学習できない場合には、複数のニ
ューラルネットワーク２０で学習を行うように構成す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はニューラルネットワーク
を用いてパターン学習を行なわせるパターン学習システ
ムに関する。

【０００２】ニューラルネットワークは、知識処理，機
械制御，信号処理等の幅広い分野での応用が期待されて
いる。ニューラルネットワーク自身は、学習によって自
己組織化を行うが、効率的な学習方法やニューラルネッ
トワークの構成方法が問題となってくる。

【０００３】

【従来の技術】ニューラルネットワークの構成には大き
く分けて以下の２とおりある。図１０は単一ネットワー
クで構成されるもので、入力パターンを１個のニューラ
ルネットワークが受けて、その出力にカテゴリ毎の出力
を得るものである。ニューラルネットワークは、周知の
ように入力層１，中間層２及び出力層３から構成されて
いる。

【０００４】先ず、この単一ニューラルネットワークに
対して、学習パターンを与え、学習を行なわせる。そし
て、この学習操作により各層間を結ぶリンクに重み付け
を行っておく。学習操作が終了した後、特定の入力パタ
ーンが入力された時には、出力層３の特定のユニットが
発火するようになっている。

【０００５】図１１は従来のニューラルネットワークの
他の構成概念図である。このシステムでは、学習するカ
テゴリを複数に分け、複数のニューラルネットワークに
よりカテゴリ判別を分担させるようにしたものである。
同図に示す実施例では、ネットワークを１からｎまでｎ
個設けており、それぞれのニューラルネットワーク４が
カテゴリ判別手段として機能する。

【０００６】ここで、カテゴリの概念について説明す
る。今、図１２に示すようなデータ分布が与えられた場
合に、集合Ａ，Ｂ，Ｃ，Ｄに属するデータをそれぞれカ
テゴリＡ，Ｂ，Ｃ，Ｄと意味づける。その場合、どのよ
うにカテゴリを分けるかは問題によって異なる。ある場
合には結果から分けられるし、分析によって分割する場
合、また、観測者が主観的に分ける場合も考えられる。

【０００７】例えば、その分割方法としては観測者が数
字はカテゴリＡに、アルファベットの大文字をカテゴリ
Ｂに、アルファベットの小文字がカテゴリＣに、その他
の記号文字をカテゴリＤに割り当てることが考えられ
る。

【０００８】

【発明が解決しようとする課題】前述した図１０に示す
単一ニューラルネットワークシステムの場合、構成が単
純であるが、学習パターンが大規模なものとなり、学習
する時のパターンのカテゴリが多くなると、ニューラル
ネットワークの規模が大きくなり、学習にも相当の時間
がかかり、カテゴリによっては学習の効果が上がらない
カテゴリも出てくる。

【０００９】これに対して、図１１に示すマルチニュー
ラルネットワークでは、個々のニューラルネットワーク
は比較的小規模で、効率的に学習を行うことができる。
しかしながら、どのようにニューラルネットワークを構
成するかが問題となる。また、マルチニューラルネット
ワークであっても、学習するカテゴリのパターン数が多
くなれば、単一ニューラルネットワーク方式の場合と同
様に、ネットワークの規模は増大してしまう。

【００１０】本発明はこのような課題に鑑みてなれさた
ものであって、マルチニューラルネットワーク構成であ
っても、個々のネットワーク規模を大きくせずに、容易
にマルチニューラルネットワークを構成することができ
るパターン学習システムを提供することを目的としてい
る。

【００１１】

【課題を解決するための手段】図１は本発明の原理ブロ
ック図である。図において、２０は入力パターンを受け
る複数のニューラルネットワークである。それぞれのニ
ューラルネットワーク２０が自己担当のパターンを検出
する。

【００１２】

【作用】同一のカテゴリが単一ネットワークで学習でき
る場合には、１個のニューラルネットワーク２０を用い
て学習を行う。学習パターンが多くなると、ニューラル
ネットワークの規模が大きくなる。又は所定回数の学習
でニューラルネットワークが収束しなかった場合には、
同じカテゴリを出力するニューラルネットワークを新た
に追加して、１つのカテゴリを複数のニューラルネット
ワークで分割学習を行なわせる。

【００１３】図の例で考えると、ニューラルネットワー
クＡ１とＡ２は同一のカテゴリであるが、１個のニュー
ラルネットワークで同一カテゴリに属するパターンを認
識することができないため、２個のニューラルネットワ
ークに分けて構成している。これに対して、カテゴリＢ
の場合には、１個のニューラルネットワークで全ての同
一カテゴリに属するパターンを認識できるので、１個の
ニューラルネットワーク２０で構成している。

【００１４】このように、本発明によれば同一のカテゴ
リであっても、１個のニューラルネットワークでパター
ン認識ができない時には、複数のニューラルネットワー
クに分割して学習を行なわせるようにしているので、マ
ルチニューラルネットワーク構成であっても、個々のネ
ットワーク規模を大きくせずに、容易にマルチニューラ
ルネットワークを構成することができるパターン学習シ
ステムを提供することができる。

【００１５】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。本発明の実施例として、簡単な信号識別の
シミュレーションを示す。入力する信号は、

【００１６】

【数１】

【００１７】のようなものであるものとする。ここで、
Ｃｏｎｓｔは定数、θは位相差である。シミュレーショ
ンでは、定数Ｃｏｎｓｔの値を変えた信号の識別のため
に、次の２つのカテゴリの学習を行った。

【００１８】

【数２】

【００１９】

【数３】

【００２０】カテゴリＡとカテゴリＢとは正弦関数の飛
び飛びに同じカテゴリに属する関数が含まれるというも
のである。このようなパターンの認識は、単一のニュー
ラルネットワークでは無理である。

【００２１】図２は本発明の一実施例を示す構成図であ
る。図において、ｆは入力信号を示す。この入力信号を
一定周期でサンプリングしてニューラルネットワーク２
０のうちの１つに入力させる。ニューラルネットワーク
２０は、入力層２１，中間層２２及び出力層２３とで構
成されている。

【００２２】入力層２１には、−π≦ｘ≦πの範囲を２
０等分した２１点のサンプリング点の値ｙを入力する。
そして、出力の教示データとしてカテゴリＡのパターン
であれば“１”，Ｂであれば“０”を与える。また、学
習パターンでは、位相差θを変えたパターンについても
学習を行う。即ち、位相差の違う入力パターンであって
も、カテゴリＡに属するパターンであれば、カテゴリＡ
として学習を行う。

【００２３】このシミュレーションでは、カテゴリＡの
パターンを３分割した。即ち、前記式（２），（３），
（４）のパターンをそれぞれカテゴリＡ１，Ａ２，Ａ３
として扱う。

【００２４】図３はその場合におけるニューラルネット
ワーク例を示すブロック図である。カテゴリＡ１，Ａ
２，Ａ３毎にニューラルネットワーク２０Ａ１，２０Ａ
２，２０Ａ３をもっている。これらネットワーク２０Ａ
１，２０Ａ２，２０Ａ３はそれぞれ独立である。つま
り、この場合には、同一のカテゴリＡを、Ａ１，Ａ２，
Ａ３に分割した例を示している。このような構成にすれ
ば、位相の異なる複数の正弦波信号も同一のカテゴリと
して識別することができる。

【００２５】学習は、これらニューラルネットワーク毎
に行い、３個のネットワークの出力が全て小さい場合に
は、カテゴリＢであると判断するようになっている。学
習方法としては、バックプロパゲーション法を用いて行
い、学習定数ε＝５，加速定数α＝０．８，許容学習誤
差０．１として学習を行った。学習の結果、３個のニュ
ーラルネットワークが学習に要した学習回数は、Ａ１の
学習に１８４９回、Ａ２の学習に３７９５回、Ａ３の学
習に３１３０回かかった。なお、比較のために、１つの
ニューラルネットワーク（構造は図２と同じ）でカテゴ
リＡ，Ｂの学習を行わせたが、２００００回学習を行わ
せても収束しなかった（学習できなかった）。このよう
に、同一のカテゴリで離散的な値をとる場合には、１個
のニューラルネットワークで学習を行なわせることは不
可能に近い。従って、それぞれの離散値毎にニューラル
ネットワークを設ける本発明の認識率は極めて高い。

【００２６】図４は本発明の一実施例を示す構成ブロッ
ク図である。図に示す実施例では、カテゴリがカテゴリ
Ａ，カテゴリＢ，カテゴリＣの３つに分類されている。
そして、それぞれのカテゴリがＡの場合にはＡ１，Ａ
２，Ａ３に分割され、カテゴリＢの場合にはＢ１，Ｂ２
に分割され、カテゴリＣの場合には１個のままである。
それぞれのニューラルネットワークについて、学習パタ
ーンをセットし、各ニューラルネットワークの出力が発
火するまで、学習を繰り返す。一端、学習が終了した
ら、本来のパターンを入力し、目的のカテゴリの出力層
が発火して分類を行う。

【００２７】次に、複数のニューラルネットワークで学
習パターンを分割する場合に、学習の進行状況に応じて
システムが自動的に学習パターンの分割を行う場合につ
いて説明する。今、図５に示すような学習パターンセッ
トが予め用意されていたものとする。学習パターンセッ
トは、入力パターンとこれに対する教示パターン及び学
習状態からなっている。なお、学習状況中の○は学習が
できたか又はほぼ学習できたパターン、×は学習できな
かったパターンである。

【００２８】この学習パターンを図６に示すシステムで
学習させるものとする。図において、３０は図５に示す
学習パターン、２０はニューラルネットワークである。
図に示すように１個のニューラルネットワーク２０で学
習させた場合、学習の途中で図５の学習状況に示すよう
に学習できたパターンと学習できないパターンができた
ものとする。

【００２９】この場合に、本発明システムでは、新たに
初期のニューラルネットワーク２０とは別にニューラル
ネットワークを用意すると共に、図７に示すように学習
パターン２組を生成する。（ａ）は初期のニューラルネ
ットワークで学習する学習パターンセット、（ｂ）は追
加されたニューラルネットワークで学習する学習パター
ンセットである。

【００３０】初期のニューラルネットワーク２０で学習
できなかったパターンと学習できたパターンとを別のカ
テゴリ（教示パハターン）として図８に示すシステムで
学習を行う。図において、２０１は初期のニューラルネ
ットワーク、２０２は追加されたニューラルネットワー
クである。追加されたニューラルネットワーク２０２の
学習パターンセットは、図７に示すように初期のニュー
ラルネットワークの学習パターンセットとは別の学習パ
ターンで学習を行うようにする。以下、同様な操作を繰
り返して自己増殖的にシステムを成長させていく。

【００３１】なお、この場合において、学習できないパ
ターンが存在した時には、そのパターンを自動的に分割
して、このパターンに合ったニューラルネットワークを
構築する必要がある。

【００３２】図９は本発明を用いたニューラルネットワ
ークシステムの実施例を示すブロック図である。図にお
いて、４０はニューラルネットワークの学習パターンを
格納する学習パターンファイル、４１は学習パターンフ
ァイル４０中のニューラルネットワーク毎の学習パター
ンを、個々のニューラルネットワークの学習パターンセ
ットに分割して出力する学習パターン制御部である。こ
の学習パターン制御部４１で、学習パターンは図に示す
ように学習パターンセット１〜学習パターンセットｎま
で分割され、出力される。

【００３３】４２は学習パターン制御部４１からの個々
の学習パターンセットを受けるニューラルネットワーク
部である。該ニューラルネットワーク部４２は、複数の
ニューラルネットワーク１〜ニューラルネットワークｎ
で構成されている。該ニューラルネットワーク部４２
は、学習パターン制御部４１から個々のニューラルネッ
トワークの学習パターンセットを入力して、ニューラル
ネットワークの学習を行うと共に、学習結果を出力す
る。

【００３４】４３はニューラルネットワーク監視・制御
部で、ニューラルネットワーク部４２からの学習結果を
受けて、ニューラルネットワークの学習状況を監視し、
学習状況に応じて（学習ができない場合）、ニューラル
ネットワーク自動生成部４４にニューラルネットワーク
生成及びニューラルネットワークの初期化指令を出力
し、学習パターン自動生成部４５に学習パターン生成指
令を出力する。また、学習パターン制御部４１へ学習パ
ターンセットの更新，ニューラルネットワーク部４２へ
学習の開始及び停止の制御を行う。

【００３５】ニューラルネットワーク自動生成部４４
は、ニューラルネットワーク監視・制御部４３からのニ
ューラルネットワーク生成指令を受けて、ニューラルネ
ットワークの生成及び初期化（ニューラルネットワーク
の各リンクの重みの初期化）を行う。また、生成するニ
ューラルネットワークの構造（ニューラルネットワーク
の層数，各層のユニット数，重み初期化の範囲等）及び
学習パラメータ（学習定数）を、ニューラルネットワー
ク監視・制御部４３から受けとるが、通常はデフォルト
（最初に定義された条件）により、ニューラルネットワ
ークの生成を行う。

【００３６】学習パターン自動生成部４５は、ニューラ
ルネットワークが学習できない場合に、ニューラルネッ
トワーク監視・制御部４３からの学習パターン生成指令
を受けて、学習パターンの生成を行い、学習パターンフ
ァイル４０の書換えを行う。

【００３７】このようなシステム構成によれば、前述し
たように初期のニューラルネットワークが与えられた学
習パターンを全て学習できない場合に、自己増殖的にニ
ューラルネットワークを増加させると共に、更に学習で
きないパターンを自動的に分割してシステムに対応した
マルチニューラルネットワークを容易に構築することが
できる。

【００３８】

【発明の効果】以上、詳細に説明したように、本発明に
よれば同一のカテゴリが単一ネットワークで学習できる
場合には、１個のニューラルネットワークを用い、同一
のカテゴリが単一ネットワークで学習できない場合に
は、複数のニューラルネットワークで学習を行わせるよ
うにすることにより、マルチニューラルネットワーク構
成であっても、個々のネットワーク規模を大きくせず
に、容易にマルチニューラルネットワークを構成するこ
とができるパターン学習システムを提供することができ
る。

【図面の簡単な説明】

【図１】本発明の原理ブロック図である。

【図２】本発明の一実施例を示す構成図である。

【図３】本発明におけるニューラルネットワーク例を示
す図である。

【図４】本発明の一実施例を示す構成ブロック図であ
る。

【図５】学習パターンセット例を示す図である。

【図６】学習のようすを示す図である。

【図７】学習パターンセットの分割を示す図である。

【図８】学習のようすを示す図である。

【図９】本発明を用いたニューラルネットワークシステ
ムの実施例を示すブロック図である。

【図１０】従来のニューラルネットワークシステムの概
念図である。

【図１１】従来のニューラルネットワークシステムの他
の概念図である。

【図１２】カテゴリの説明図である。

【符号の説明】

２０ ニューラルネットワーク

Claims (2)

【特許請求の範囲】
1. 【請求項１】 入力パターンを受ける複数のニューラル
   ネットワーク（２０）で構成されたシステムにおいて、 同一のカテゴリが単一ネットワークで学習できる場合に
   は、１個のニューラルネットワーク（２０）を用い、 同一のカテゴリが単一ネットワークで学習できない場合
   には、複数のニューラルネットワーク（２０）で学習を
   行うようにしたことを特徴とするパターン学習システ
   ム。
2. 【請求項２】 ニューラルネットワークのパターン学習
   法に関して、初期のニューラルネットワークが、与えら
   れた学習パターンを全て学習できない場合に、自己増殖
   的にニューラルネットワーク（２０）を増加させると共
   に、更に学習できないパターンを自動的に分割するよう
   にしたことを特徴とする請求項１記載のパターン学習シ
   ステム。