JPH0635889A - ニューラルネットワーク装置及びその学習方法 - Google Patents

Abstract

(57)【要約】 【目的】 利用期間中、継続的に事例の一部分を更新
し、再学習する必要がある場合に、短時間で再学習を可
能にすることにある。 【構成】 ニューラルネットワーク装置の入力信号空間
を複数の入力信号領域に分割し、各領域ごとに対応する
部分ニューラルネットワーク１０３、１０６、１９を設
け、この各部分ニューラルネットワークには対応する入
力信号領域に属する事例だけの初期学習をさせ、事例更
新時には更新事例を含む領域に対応する部分ネットワー
クのみを再学習させるように構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、事例から学習した対応
関係をもとに与えられた入力信号に対応する出力信号を
求めて出力するニューラルネットワーク装置及びその学
習方法に係り、特に、該装置の利用期間中、継続的に事
例の一部分を更新し、再学習する必要がある場合に好適
なニューラルネットワーク装置及びその学習方法に関す
る。

【０００２】

【従来の技術】ニューラルネットワークは、望まれる入
出力の具体事例を多数与えて学習させると、構成要素で
あるニューロン間の信号の伝達特性が変化し、入出力の
事例に含まれる一般的な対応関係を獲得し、再現するよ
うになる。学習する機械として、この能力が注目され、
さまざまな分野の問題にニューラルネットワークの応用
が試みられつつある。対象とする問題の特性が時間の経
過とともに変化するような場合には、学習で獲得した入
出力の対応関係もこの変化に適応させる工夫が必要にな
る。通常とられる一般的対応策は、事例の集合を問題の
特性変化を反映したものに更新して、すなわち、古い事
例を削除し、新しい事例を追加した上で、ネットワーク
を再度学習し直すという方法である。プロシーディング
ス・オブ・ザ・アイ・ジェー・シー・エヌ・エヌ ’９
０、第１巻（１９９０年）第１頁から第６頁（Ｐｒｏ
ｃ． ＩＪＣＮＮ ’９０， Ｖｏｌ．１（１９９
０）， ｐｐ．１−６）に記載されている株式市場予測
へのニューラルネットワーク応用例は、この方法を使っ
たものの一例である。本応用例では、経済環境や市況の
変化に適応するため、予測時点直前の一定長の期間から
得た事例のみを学習に使用する。このため、予測を行う
たびに、新たに得られる最新の事例をひとつ追加し、同
時に最旧の事例をひとつ削除して、事例集合が問題の最
新の特性を反映したものに保たれる。

【０００３】

【発明が解決しようとする課題】パラメータの逐次修正
によるニューラルネットワークの学習は、ネットワーク
規模や事例数にもよるが、実際的な問題ではかなりの時
間を必要とする。上記従来技術は、事例のうちのごく一
部分を更新した場合であっても、すべての事例を使って
ネットワークを学習しなおすため、更新のたびに多くの
学習時間が必要になり、更新周期の短い問題には適用で
きなくなるという難点があった。本発明の目的は、利用
期間中、継続的に事例の一部分を更新し、再学習する必
要がある場合に、短時間で再学習可能なニューラルネッ
トワーク装置及びその学習方法を提供することにある。

【０００４】

【課題を解決するための手段】上記目的を達成するため
に、ニューラルネットワーク装置の入力信号空間を複数
の入力信号領域に分割し、各領域ごとに対応する部分ニ
ューラルネットワークを設け、この各部分ニューラルネ
ットワークには対応する入力信号領域に属する事例だけ
の初期学習をさせ、事例更新時には更新事例を含む領域
に対応する部分ネットワークのみを再学習させるように
構成する。さらに、パラメータの逐次修正により再学習
を行うとき、再学習直前のパラメータ値を初期値として
使用するように構成する。

【０００５】

【作用】毎回の事例更新では、ごく一部分の事例が更新
されるだけであるから、再学習が必要な部分ネットワー
クはごく限られる。各部分ネットワークは、入力信号空
間のうちある一部の領域の入出力特性を担当するだけで
あるので、ネットワーク規模は小さくてよく、しかも、
担当領域に属する事例数が少なくなり、全領域を単一の
ネットワークでカバーするより、再学習に要する時間の
大幅短縮が可能になる。また、問題によってはパラメー
タを逐次修正した収束点が事例の更新によってさほどず
れず、このような場合、再学習前の値を初期値にすれ
ば、少ない修正回数で収束するため、学習時間を短縮で
きる。

【０００６】

【実施例】以下、本発明の実施例を図面により詳細に説
明する。図２は、本発明の一実施例のシステム構成図で
ある。２０２は、ニューラルネットワークに与える事例
（例えば、時系列データの予測問題に適用する場合、説
明変数と被説明変数の既知の実値）や入力信号値（同じ
く、説明変数の実値）、その他各種プログラムの入力デ
ータなどを入力する入力装置である。２０１は、ニュー
ラルネットワークから得た出力信号値（予測の場合、被
説明変数の予測値）やその他各種プログラムの出力デー
タなどを表示する表示装置である。２０３は、ニューラ
ルネットワークの学習や適用等の処理や、その他各種プ
ログラムなどを実行する処理装置である。２０４は、ニ
ューラルネットワークに与える事例等や、その他各種プ
ログラム、データなどを記憶する記憶装置である。２０
５、２０６、２０７は、それぞれニューラルネットワー
クへの事例や入力信号値などをオンラインで入力するた
めの通信装置、通信回線、データ収集装置である。

【０００７】図１は、本発明の一実施例であるニューラ
ルネットワーク装置のブロック図である。装置は望まれ
る入出力の特性を事例から学習し、適用時は学習した対
応関係をもとに入力信号にふさわしい出力信号を求め、
出力する。入力信号のとり得る値がつくる入力信号空間
は、入力信号領域と呼ぶ複数の領域に分割される。以
下、入力信号領域の数をＫとする。学習用入力信号事例
群記憶部１０２、１０５、１０８等、及び、部分ニュー
ラルネットワーク１０３、１０６、１０９等、学習用出
力信号事例群記憶部１０４、１０７、１１０等は、いず
れもこれらＫ個の入力信号領域にそれぞれ対応して設け
られる。また、事例は入力信号値と出力信号値の対から
なり、入力信号値がどの入力信号領域に属するかで分類
される。装置は適用に先だって初期学習される。学習用
入力信号事例群記憶部１０２、１０５、１０８等は、そ
れぞれ対応する入力信号領域に属する事例の入力信号値
部分を記憶し、学習用出力信号事例群記憶部１０４、１
０７、１１０等は、同じく事例の出力信号値部分を記憶
する。部分ニューラルネットワーク１０３、１０６、１
０９等は、それぞれ学習用入力信号事例群記憶部１０
２、１０５、１０８等と学習用出力信号事例群記憶部１
０４、１０７、１１０等に記憶された対応する事例を使
い、初期学習する。初期学習の後、装置は学習で得た対
応関係を入出力の決定に適用する。入力信号分類処理部
１１１は、装置に与えられた入力信号１１４が属する入
力信号領域を特定し、部分ニューラルネットワーク１０
３、１０６、１０９等のうち特定された領域に対応する
ネットワークの入力端に信号を供給する。出力信号決定
処理部１１２は、入力信号分類処理部１１１により信号
を供給された部分ニューラルネットワークが応答する
と、その出力端から得た値をもとに装置の出力信号１１
５を決定する。装置は要求に応じて事例を更新し、その
変更が入出力特性に反映するよう再学習される。入出力
信号事例分類更新処理部１０１は、追加、削除、修正な
ど入出力信号事例に関する更新要求１１３が与えられる
と、更新を要求された事例が属する入力信号領域を特定
し、学習用入力信号事例群記憶部１０２、１０５、１０
８等、及び、学習用出力信号事例群記憶部１０４、１０
７、１１０等のうち特定された領域に対応する記憶部を
要求に応じて更新する。部分ニューラルネットワーク１
０３、１０６、１０９等は、それぞれ対応する学習用入
力信号事例群記憶部１０２、１０５、１０８等、及び、
学習用出力信号事例群記憶部１０４、１０７、１１０等
が更新されると、更新後の事例を使い、再学習する。

【０００８】図３は、入力信号領域の一例として、入力
信号空間（Ｎ次元）を矩形状に分割した場合を説明する
図である。 の不等式を満足するかどうかで判別できる。

【０００９】

【数１】 ただし、入力信号領域３０１の頂点のうち座標最小の点
３０２の座標値を 領域境界付近で事例から得られる入出力特性に連続性を
高める必要があるときは、隣あう領域どうしで互いに重
なりあう部分を生じるよう入力信号領域を配置する。例
えば、図３（ｂ）において、領域ｋに対し座標のｘ_i方
向で座標値の大きい側に隣あう領域をｋ＋１とすると、

【００１０】

【数２】 であれば、両領域には重なりあう部分を生じさせること
ができる。

【００１１】図４は、入力信号領域定義テーブルの構成
を示す図である。このテーブルは、入出力信号事例分類
更新処理部１０１が有し、入力信号分類処理部１１１が
入力信号１１４の属する入力信号領域を特定する際や、
入出力信号事例分類更新処理部１０１が更新要求１１３
のあった事例の属する入力信号領域を特定する際などに
参照される。説明の具体化のためここでも矩形の入力信
号領域を例にとる。入力信号領域定義テーブルは、矩形
領域最小座標値格納欄４０１と、矩形領域最大座標値格
納欄４０２と、領域識別番号格納欄４０３からなる。テ
ーブルに登録された各レコードが、ひとつの入力信号領
域に対応する。矩形領域最小座標値格納欄４０１には、
入力信号領域の座標最小の頂点の座標値を格納する。矩
形領域最大座標値格納欄４０２には、同様、座標最大の
頂点の座標値を格納する。領域識別番号格納欄４０３に
は、領域を識別する番号を格納する。図５は、学習用入
出力信号事例テーブルの構成を示す図である。このテー
ブルは、学習用入力信号事例群記憶部１０２、１０５、
１０８等と学習用出力信号事例群記憶部１０４、１０
７、１１０等を具体化したもので、入力信号領域に対応
したＫ個の部分テーブル５０１、５０５等からなり、部
分ニューラルネットワーク１０３、１０６、１０９等が
初期学習、及び、再学習する際や、入出力信号事例分類
更新処理部１０１が要求１１３のあった事例を更新する
際などに参照される。学習用入出力信号事例テーブルの
各部分テーブルは、事例識別情報格納欄５０２、５０６
等と、入力信号値格納欄５０３、５０７等と、出力信号
値格納欄５０４、５０８等からなる。部分テーブルに登
録された各レコードが、同部分テーブルに対応する入力
信号領域に属するひとつの学習用事例に対応する。事例
識別情報格納欄５０２、５０６等には、事例を識別する
情報、例えば、時系列データの事例の場合、時刻情報な
どを格納する。入力信号値格納欄５０３、５０７等に
は、事例の入力信号値を、出力信号値格納欄５０４、５
０８等には、事例の出力信号値を格納する。

【００１２】図６は、本発明の一実施例の全体的な処理
手順を示すフローチャートを示し、各部分ニューラルネ
ットワークが実行処理するフローである。まず、ステッ
プ６０１で、対応する事例を使い部分ニューラルネット
ワーク１０３、１０６、１０９等を初期学習し、ステッ
プ６０２へ進む。ステップ６０２では、学習済みの部分
ニューラルネットワーク１０３、１０６、１０９等を適
用して、与えられた入力信号１１４に対応する出力信号
１１５を求め出力し、ステップ６０３へ進む。ステップ
６０３では、装置稼働の終了条件が成立したかどうかを
判定し、未成立であればステップ６０４へ進み、成立し
ていれば本手順を終了する。ステップ６０４では、更新
を要求されている事例があるかどうかを判定し、あれば
ステップ６０５へ進み、なければステップ６０２に戻っ
て以後上述の手順を繰り返す。ステップ６０５では、要
求に応じ事例を更新して、部分ニューラルネットワーク
１０３、１０６、１０９等を再学習し、次に、ステップ
６０２に戻って以後上述の手順を繰り返す。

【００１３】図７は、ネットワーク初期学習処理の手順
を示すフローチャートであり、図６のステップ６０１で
の処理の詳細を具体化したものである。まず、ステップ
７０１で、初期登録が未処理の入出力信号事例を入力し
て、入出力信号事例分類更新処理部１０１に事例の追加
を要求し、ステップ７０２へ進む。ステップ７０２で
は、入出力信号事例分類更新処理部１０１が図４の入力
信号領域定義テーブルの内容と追加要求のあった入出力
信号事例を比較して、事例が属する入力信号領域を特定
し、ステップ７０３へ進む。ステップ７０３では、学習
用入力信号事例群記憶部１０２、１０５、１０８等、及
び、学習用出力信号事例群記憶部１０４、１０７、１１
０等のうちステップ７０２で特定された入力信号領域に
対応する記憶部、より具体的にいえば、図５の学習用入
出力信号事例テーブルの部分テーブル５０１、５０５等
のうち特定された入力信号領域に対応する部分テーブル
に、入出力信号事例を追加し、ステップ７０４へ進む。
ステップ７０４では、初期登録が未処理の入出力信号事
例があるかどうかを判定し、なければステップ７０５へ
進み、あればステップ７０１に戻って以後上述の手順を
繰り返す。ステップ７０５では、部分ニューラルネット
ワーク１０３、１０６、１０９等のうち初期学習が未了
のネットワークを、対応する学習用入力信号事例群記憶
部、及び、学習用出力信号事例群記憶部に記憶された事
例、具体的には、図５の学習用入出力信号事例テーブル
の対応する部分テーブルに格納された事例を使って学習
し、ステップ７０６へ進む。ステップ７０６では、初期
学習が未処理の部分ニューラルネットワークがあるかど
うかを判定し、あればステップ７０５に戻って以後上述
の手順を繰り返し、なければ本手順を終了する。

【００１４】図８は、ネットワーク適用処理の手順を示
すフローチャートであり、図６のステップ６０２での処
理の詳細を具体化したものである。まず、ステップ８０
１で、装置に入力信号１１４を入力して、入力信号分類
処理部１１１に供給する。次にステップ８０２で、入力
信号分類処理部１１１が図４の入力信号領域定義テーブ
ルの内容と入力信号１１４を比較して、信号が属する入
力信号領域を特定する。次にステップ８０３で、部分ニ
ューラルネットワーク１０３、１０６、１０９等のうち
ステップ８０２で特定された入力信号領域に対応するネ
ットワークの入力端に入力信号を供給する。次にステッ
プ８０４で、入力信号に応答した部分ニューラルネット
ワークの出力端から得た値をもとに出力信号決定処理部
１１２が出力信号１１５を決定する。隣あう入力信号領
域が互いに重なりあうよう入力信号空間に配置されてい
るため、複数の部分ニューラルネットワークから値が得
られる場合は、各入力信号領域への入力信号１１４の帰
属の程度に応じ、それら値を案分して出力信号１１５を
決める。最後にステップ８０５で、出力信号１１５を装
置から出力して本手順を終了する。

【００１５】図９は、ネットワーク再学習処理の手順を
示すフローチャートであり、図６のステップ６０３の処
理の詳細を具体化したものである。まずステップ９０１
で、未処理の入出力信号事例更新要求１１３を入力して
入出力信号事例分類更新処理部１０１に供給し、ステッ
プ９０２へ進む。ステップ９０２では、入出力信号事例
分類更新処理部１０１が図４の入力信号領域定義テーブ
ルの内容と更新要求１１３のあった入出力信号事例を比
較して、事例が属する入力信号領域を特定し、ステップ
９０３へ進む。ステップ９０３では、更新内容を判定
し、事例の追加であればステップ９０４へ進み、事例の
削除であればステップ９０５へ進む。なお、ここでは事
例の削除と追加を組み合わせて事例の修正を表すことを
想定したが、事例の修正を独立の機能として設けること
も同様にして可能である。ステップ９０４では、学習用
出力信号事例群記憶部１０４、１０７、１１０等のうち
ステップ９０２で特定された入力信号領域に対応する記
憶部、より具体的には、図５の学習用入出力信号事例テ
ーブルの部分テーブル５０１、５０５等のうち特定され
た入力信号領域に対応する部分テーブルに入出力信号事
例を追加し、ステップ９０６へ進む。ステップ９０５で
は、ステップ９０４と同じく対応する記憶部ないし部分
テーブルから入出力信号事例を削除し、ステップ９０６
へ進む。ステップ９０６では、未処理の入出力信号事例
更新要求があるかどうかを判定し、なければステップ９
０７へ進み、あればステップ９０１に戻って以後上述の
手順を繰り返す。ステップ９０７では、部分ニューラル
ネットワーク１０３、１０６、１０９等のうち再学習が
未検討のネットワークを選び、対応する学習用入力信号
事例群記憶部、及び、学習用出力信号事例群記憶部に記
憶された事例、ないし、図５の学習用入出力信号事例テ
ーブルの対応する部分テーブルに格納された事例に変更
があったかどうかを判定し、あったのであればステップ
９０８へ進み、なかったのであればステップ９０９へ進
む。ステップ９０８では、対応する事例に変更のあった
部分ニューラルネットワークを変更後の事例を使って学
習し、ステップ９０９へ進む。ステップ９０９では、再
学習が未検討の部分ニューラルネットワークがあるかど
うかを判定し、あればステップ９０７に戻って以後上述
の手順を繰り返し、なければ本手順を終了する。

【００１６】図１０〜図１２では、部分ニューラルネッ
トワークにおける適用と学習の処理の詳細を説明する。
具体的な説明のため、部分ニューラルネットワークの構
造としてフィードフォーワード型層状ネットワーク、そ
の学習法として誤差逆伝播法を例にとる。図１０は、フ
ィードフォーワード型層状ニューラルネットワークを説
明する図である。フィードフォーワード型層状ネットワ
ークでは、ネットワークを構成するニューロンが、多段
の層を成すよう配置され、かつ、外部から与えられた信
号が入力側の層１００１から出力側の層１００３へと一
方向にのみニューロン間を伝達するよう、相互に結合さ
れる。ネットワークの入力数、出力数、層数をそれ ニューロンの閾値と入出力特性関数、及び、ニューロン
間の結合強度で決まる。

【００１７】

【数３】

【００１８】

【数４】 ニューロンの入出力特性関数としては、次式のようなシ
グモイド型関数がよく用いられる。

【００１９】

【数５】 図１１は、部分ネットワークの適用処理の手順を示すフ
ローチャートである。 をネットワークへの入力信号の値に設定する。

【００２０】

【数６】 次にステップ１１０２で、次式に従い、第２層１００２
から第Ｌ層１００３まで

【００２１】

【数７】

【００２２】

【数８】 最後にステップ１１０３で、次式に従い、第Ｌ層１００
３の各ニューロンの出力

【００２３】

【数９】 図１２は、部分ネットワークの学習処理の手順を示すフ
ローチャートである。

【００２４】

【数１０】

【００２５】

【数１１】

【００２６】

【数１２】

【００２７】

【数１３】 なお、図９のネットワーク再学習処理のステップ９０８
に本手順を使用する場合、処理時間の短縮のため、結合
強度と閾値の初期化を省いて再学習前の値をそのまま初
期値としてもよい。ステップ１２０２では、ネットワー
クの学習用事例群から事例をひとつ選択し、ステップ１
２０３へ進む。この選択は単に順番に取るの ２０３では、式（数６）に従い、第１層１００１の各ニ
ューロンの出力信号値 では、式（数７）と（数８）に従い、第２層１００２か
ら第Ｌ層１００３まで順 ０５へ進む。ステップ１２０５では、次式に従い、第Ｌ
層１００３の各ニューロ む。

【００２８】

【数１４】 る。ステップ１２０６では、次式に従い、第（Ｌ−１）
層から第２層１００２ま

【００２９】

【数１５】

【００３０】

【数１６】

【００３１】

【数１７】 ただし、ηとαは学習の速度や安定度を決めるパラメー
タである。次に次式に従

【００３２】

【数１８】

【００３３】

【数１９】 ステップ１２０８では、学習の終了条件を判定し、条件
未成立であればステップ１２０２に戻って以後上述の手
順を繰り返し、成立していれば本手順を終了する。学習
の終了条件としては、例えば、出力信号の事例との誤差
や、事例を学習した回数等が使える。

【００３４】図１３は、入力信号領域の再構成を含む、
本発明の他の実施例の全体的な処理手順を示すフローチ
ャートである。本実施例によれば、所属事例数に対して
入力信号領域の大きさを常に適切に保つことができる。
ステップ１３０１から１３０５までの手順は、図６のス
テップ６０１から６０５までの手順と同様である。ステ
ップ１３０５の次はステップ１３０６へ進む。ステップ
１３０６では、事例数に応じ入力信号領域を再構成し
て、部分ニューラルネットワーク１０３、１０６、１０
９等を再学習し、次にステップ１３０２に戻って以後上
述の手順を繰り返す。なお、ステップ１３０１、１３０
２、１３０５での処理の詳細は、それぞれ図７、８、９
に示したものと同様である。図１４は、入力信号領域再
構成処理の手順を示すフローチャートであり、図１３の
ステップ１３０６の処理の詳細を具体化したものであ
る。まず、ステップ１４０１で、各入力信号領域に属す
る事例の数を調べ、所属事例数が過大な入力信号領域を
複数の小領域に分割する。次にステップ１４０２で、所
属事例数が過小な入力信号領域を隣あう領域と統合す
る。最後にステップ１４０３で、分割・統合後の入力信
号領域に対応するよう部分ニューラルネットワークを構
成し直し、再学習して本手順を終了する。図１５は、入
力信号領域分割処理の手順を示すフローチャートであ
り、図１４のステップ１４０１での処理の詳細を具体化
したものである。まず、ステップ１５０１で、分割処理
が未検討の入力信号領域を選択し、ステップ１５０２へ
進む。ステップ１５０２では、学習用入力信号事例群記
憶部１０２、１０５、１０８等、及び、学習用出力信号
事例群記憶部１０４、１０７、１１０等のうちステップ
１５０１で選択した入力信号領域に対応する記憶部、具
体的には、図５の学習用入出力信号事例テーブルの部分
テーブル５０１、５０５等のうち選択した入力信号領域
に対応する部分テーブルに登録されている事例数を所定
の基準値と比較し、事例数が基準値を超過していればス
テップ１５０３へ進み、基準値以下であればステップ１
５０８へ進む。ステップ１５０３では、選択した入力信
号領域のサイズを所定の基準値と比較し、領域サイズが
基準値を超過していればステップ１５０４へ進み、基準
値以下であればステップ１５０８へ進む。矩形の入力信
号領域であれば、領域のサイズとして、例えば、矩形の
最小辺の長さを使うことができ、これは図４の入力信号
領域定義テーブルの内容から求められる。ステップ１５
０４では、領域を分割する軸を決定し、ステップ１５０
５へ進む。例えば、図４の入力信号領域定義テーブルと
図５の学習用入出力信号事例テーブルの部分テーブルの
内容をもとに、入力信号空間の各座標軸方向に垂直な平
面で入力信号領域を２等分してみて、最も片寄りが少な
く事例が分かれるような分割軸を選ぶ。ステップ１５０
５では、ステップ１５０４で選んだ軸に従い分割した後
の事例数のうち少ない方を所定の基準値と比較し、同事
例数が基準値を超過していればステップ１５０６へ進
み、基準値以下であればステップ１５０８へ進む。ステ
ップ１５０６では、ステップ１５０４で選んだ軸に従っ
て入力信号領域を分割し、新たに得られた子領域を図４
の入力信号領域定義テーブルに登録して、ステップ１５
０７へ進む。ステップ１５０７では、ステップ１５０６
の領域分割に従って事例を分け、子領域に対応し作成し
た図５の学習用入出力信号事例テーブルの新たな部分テ
ーブルに登録して、ステップ１５０８へ進む。ステップ
１５０８では、分割処理が未検討の入力信号領域がある
かどうかを判定し、あればステップ１５０１に戻って以
後上述の手順を繰り返し、なければ本手順を終了する。
図１６は、入力信号領域統合処理の手順を示すフローチ
ャートであり、図１４のステップ１４０２での処理の詳
細を具体化したものである。まずステップ１６０１で、
統合処理が未検討の入力信号領域を選択し、ステップ１
６０２へ進む。ステップ１６０２では、学習用入力信号
事例群記憶部１０２、１０５、１０８等、及び、学習用
出力信号事例群記憶部１０４、１０７、１１０等のうち
ステップ１６０１で選択した入力信号領域に対応する記
憶部、具体的には、図５の学習用入出力信号事例テーブ
ルの部分テーブル５０１、５０５等のうち選択した入力
信号領域に対応する部分テーブルに登録されている事例
数を所定の基準値と比較し、事例数が基準値以下であれ
ばステップ１６０３へ進み、基準値を超過していればス
テップ１６０５へ進む。ステップ１６０３では、ステッ
プ１６０１で選択した入力信号領域を、同領域がかって
図１５の入力信号領域分割処理により子領域として生成
されたときの兄弟領域と統合し、図４の入力信号領域定
義テーブルの内容を分割前に復旧して、ステップ１６０
４へ進む。ステップ１６０４では、ステップ１６０３で
の領域統合に従って事例を合わせ、図５の学習用入出力
信号事例テーブルの内容を分割前に復旧して、ステップ
１６０５へ進む。ステップ１６０５では、統合処理が未
検討の入力信号領域があるかどうかを判定し、あればス
テップ１６０１に戻って以後上述の手順を繰り返し、な
ければ本手順を終了する。

【００３５】図１７は、時系列予測を対象とする、本発
明の別の実施例の処理手順を示すフローチャートであ
る。システム構成は図１と同一である。ある時刻ｔにお
ける説 の入力信号とし、予測周期Δｔ後の時刻（ｔ＋Δｔ）に
おける被説明変数の値 を行う。まず、ステップ１７０１で、説明変数と被説明
変数の既知の実値を事例としてニューラルネットワーク
装置を初期学習し、ステップ１７０２へ進む。ステップ
１７０２では、説明変数の現在の実値を入力し、ステッ
プ１７０３へ進む。ステップ１７０３では、装置に説明
変数の現在の実値を入力信号として供給し、ステップ１
７０４へ進む。ステップ１７０４では、装置から得た出
力信号を被説明変数のΔｔ後の予測値として出力し、ス
テップ１７０５へ進む。ステップ１７０５では、予測終
了の条件が成立したかどうかを判定し、未成立であれば
ステップ１７０６へ進み、成立していれば本手順を終了
する。ステップ１７０６では、予測周期Δｔの間待ち、
ステップ１７０７へ進む。ステップ１７０７では、被説
明変数のΔｔ後の実値を入力し、ステップ１７０８へ進
む。ステップ１７０８では、ステップ１７０２で得た説
明変数の実値とステップ１７０７で得た被説明変数の実
値を最新の事例として追加するよう装置に要求し、ステ
ップ１７０９へ進む。ステップ１７０９では、装置が保
有する最旧の事例を削除するよう装置に要求し、ステッ
プ１７１０へ進む。ステップ１７１０では、装置を再学
習し、次にステップ１７０２に戻って以後上述の手順を
繰り返す。

【００３６】

【発明の効果】本発明によれば、利用期間中、継続的に
事例の一部分を更新し、再学習する必要があるニューラ
ルネットワーク装置及びその学習方法において、再学習
に必要な時間を短縮する効果がある。すなわち、毎回の
事例更新では、ごく一部分の事例が更新されるだけであ
るから、再学習が必要な部分ネットワークはごく限られ
る。各部分ネットワークは、入力信号空間のうちある一
部の領域の入出力特性を担当するだけであるので、ネッ
トワーク規模は小さくてよく、しかも、担当領域に属す
る事例数が少なくなり、全領域を単一のネットワークで
カバーするより、再学習に要する時間の大幅短縮が可能
になる。また、問題によってはパラメータを逐次修正し
た収束点が事例の更新によってさほどずれず、このよう
な場合、再学習前の値を初期値にすれば、少ない修正回
数で収束するため、学習時間を短縮できる。

【図面の簡単な説明】

【図１】本発明の一実施例のブロック図である。

【図２】本発明の一実施例のシステム構成図である。

【図３】入力信号領域の一例を説明する図である。

【図４】入力信号領域定義テーブルの構成図である。

【図５】学習用入出力信号事例テーブルの構成図であ
る。

【図６】本発明の一実施例の処理手順を示すフローチャ
ートである。

【図７】ネットワーク初期学習処理の手順を示すフロー
チャートである。

【図８】ネットワーク適用処理の手順を示すフローチャ
ートである。

【図９】ネットワーク再学習処理の手順を示すフローチ
ャートである。

【図１０】フィードフォーワード型層状ニューラルネッ
トワークを説明する図である。

【図１１】部分ネットワークの適用処理の手順を示すフ
ローチャートである。

【図１２】部分ネットワークの学習処理の手順を示すフ
ローチャートである。

【図１３】入力信号領域再構成を含む本発明一実施例の
処理手順を示すフローチャートである。

【図１４】入力信号領域再構成処理の手順を示すフロー
チャートである。

【図１５】入力信号領域分割処理の手順を示すフローチ
ャートである。

【図１６】入力信号領域統合処理の手順を示すフローチ
ャートである。

【図１７】時系列予測を対象とする本発明一実施例の処
理手順を示すフローチャートである。

【符号の説明】

２０１ 表示装置 ２０２ 入力装置 ２０３ 処理装置 ２０４ 記憶装置 ２０５ 通信装置 ２０６ 通信回線 ２０７ データ収集装置 ３０１ 矩形入力信号領域 ４０１ 入力信号領域定義テーブルの矩形領域最小座標
値格納欄 ４０２ 入力信号領域定義テーブルの矩形領域最大座標
値格納欄 ４０３ 入力信号領域定義テーブルの領域識別番号格納
欄 ５０２ 学習用入出力信号事例テーブルの事例識別情報
格納欄 ５０３ 学習用入出力信号事例テーブルの入力信号値格
納欄 ５０４ 学習用入出力信号事例テーブルの出力信号値格
納欄 ５０６ 学習用入出力信号事例テーブルの事例識別情報
格納欄 ５０７ 学習用入出力信号事例テーブルの入力信号値格
納欄 ５０８ 学習用入出力信号事例テーブルの出力信号値格
納欄

Claims (9)

【特許請求の範囲】
1. 【請求項１】 事例から学習した対応関係をもとに与え
   られた入力信号に対応する出力信号を求めて出力するニ
   ューラルネットワーク装置であって、入力信号空間の一
   部分にそれぞれ対応する複数の入力信号領域ごとに設け
   た事例記憶手段と、それぞれ対応する入力信号領域に属
   する事例を使い、学習する部分ニューラルネットワーク
   と、入力信号が与えられると、該入力信号が属する入力
   信号領域を特定して、前記各部分ニューラルネットワー
   クのうち特定された該領域に対応するネットワークの入
   力端に該入力信号を供給する入力信号分類手段と、前記
   入力信号分類手段により入力信号を供給された該部分ニ
   ューラルネットワークが応答すると、該ネットワークの
   出力端から得た値をもとに出力信号を決定する出力信号
   決定手段を設けたことを特徴とするニューラルネットワ
   ーク装置。
2. 【請求項２】 請求項１において、事例の分類更新手段
   を設け、事例の更新要求を受けると、更新を要求された
   該事例が属する入力信号領域を特定して、各事例記憶手
   段のうち特定された該領域に対応する事例記憶手段の記
   憶内容を該要求に応じて更新し、各部分ニューラルネッ
   トワークは、それぞれ対応する前記各事例記憶手段の記
   憶内容が更新されると、対応する該事例記憶手段に記憶
   された更新後の事例を使い、再学習することを特徴とす
   るニューラルネットワーク装置。
3. 【請求項３】 請求項１または請求項２において、各入
   力信号領域は、隣あう領域どうしが互いに重なりあう共
   通部分を有するよう入力信号空間内に配置され、与えら
   れた入力信号が前記入力信号領域の重なりあう部分に属
   するとき、各部分ニューラルネットワークのうち該信号
   が属する入力信号領域に対応する複数の該ネットワーク
   の出力端から得た値を案分し、出力信号とすることを特
   徴とするニューラルネットワーク装置。
4. 【請求項４】 請求項１から請求項３のいずれかにおい
   て、各入力信号領域に対応して記憶された事例が更新さ
   れると、各領域に属する事例の数を調べ、事例数が過大
   な領域は複数の小領域に分割し、事例数が過小な領域は
   隣あう領域と統合し、構成変更後の領域にそれぞれ対応
   するよう事例の記憶内容と部分ニューラルネットワーク
   を構成しなおし、変更のあった各部分ニューラルネット
   ワークを変更後の対応する事例を使い、再学習すること
   を特徴とするニューラルネットワーク装置。
5. 【請求項５】 事例から学習した対応関係をもとに与え
   られた入力信号に対応する出力信号を求めて出力するニ
   ューラルネットワーク装置の学習方法であって、入力信
   号空間の一部分にそれぞれ対応する複数の入力信号領域
   ごとに該領域に属する事例を記憶するステップと、前記
   各入力信号領域ごとに部分ニューラルネットワークを作
   成して、該領域に対応して記憶された前記事例を使い、
   初期学習するステップと、入力信号が与えられると、該
   入力信号が属する入力信号領域を特定して、前記各部分
   ニューラルネットワークのうち特定された該領域に対応
   するネットワークの入力端に該入力信号を供給し、該部
   分ニューラルネットワークが該入力信号に応答すると、
   該ネットワークの出力端から得た値をもとに出力信号を
   決定するステップを有することを特徴とするニューラル
   ネットワーク装置の学習方法。
6. 【請求項６】 請求項５において、事例の更新要求を受
   けると、更新を要求された該事例が属する入力信号領域
   を特定して、特定された該領域に対応して記憶された事
   例を該要求に応じて更新し、更新された該事例に対応す
   る部分ニューラルネットワークを更新後の事例を使い、
   再学習するステップを有することを特徴とするニューラ
   ルネットワーク装置の学習方法。
7. 【請求項７】 請求項６において、各部分ニューラルネ
   ットワークは、それぞれが有するパラメータの逐次調整
   により事例の入力信号と出力信号間の対応関係を学習
   し、事例更新の際の再学習時には該再学習の直前のパラ
   メータの値を初期値として調整を開始することを特徴と
   するニューラルネットワーク装置の学習方法。
8. 【請求項８】 請求項６において、各入力信号領域に対
   応して記憶された事例が更新されると、各領域に属する
   事例の数を調べ、事例数が過大な領域は複数の小領域に
   分割するステップと、事例数が過小な領域は隣あう領域
   と統合するステップと、構成変更後の領域にそれぞれ対
   応するよう事例の記憶内容と部分ニューラルネットワー
   クを構成しなおし、変更のあった各部分ニューラルネッ
   トワークを変更後の対応する事例を使い、再学習するス
   テップを有することを特徴とするニューラルネットワー
   ク装置の学習方法。
9. 【請求項９】 事例から学習した対応関係をもとに与え
   られた入力信号に対応する出力信号を求めて出力するニ
   ューラルネットワーク装置の学習方法であって、該装置
   の入力信号と出力信号がそれぞれ予測の説明変数と被説
   明変数に対応するように構成し、該装置の各事例記憶手
   段に説明変数と被説明変数の既知の実値を事例として記
   憶し、各部分ニューラルネットワークを初期学習するス
   テップと、時間の経過とともに新たに得られる説明変数
   の実値を、該ニューラルネットワーク装置の入力信号分
   類手段に入力信号として与えるステップと、説明変数の
   該実値に対応する被説明変数の予測値を、該ニューラル
   ネットワーク装置の出力信号決定手段から出力信号とし
   て得るステップと、説明変数の該実値に対応する被説明
   変数の実値が得られると、両実値を最新の事例として追
   加し、かつ、最旧の事例を削除するよう事例分類更新手
   段に対して要求するステップを有し、時系列データを予
   測することを特徴とするニューラルネットワーク装置の
   学習方法。