JPH08166934A - ニューラルネットワークを用いた関数生成装置 - Google Patents

Abstract

(57)【要約】 【目的】 目的とする関数を生成するためのユニットの
重み及びしきい値の初期値設定及び中間層ユニットの追
加を行なうことにより学習効率の向上を図ったニューラ
ルネットワークを用いた関数生成装置を提供すること。 【構成】 関数生成装置は、入力層部１１、中間層部１
２及び出力層部１３からなるニューラルネットワーク部
１０と、学習に必要なデータが蓄えられている学習デー
タファイル部１４と、学習データファイル部１４と各装
置とのデータの受渡しを行なう入出力装置１５と、出力
層部１３の出力データと学習データファイル部１４の出
力データの誤差が減少するように中間層部１２及び出力
層部１３の重み及びしきい値を修正する学習装置１６
と、各ユニットの重み及びしきい値の初期値を設定する
初期値設定装置１７と、中間層ユニット追加装置１８と
から構成される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、階層型ニューラルネッ
トワークを用いた関数生成装置に係り、特に、制御系の
各状態量に対する制御量、最適設計の設計変数に対する
目的関数などの複雑な対応関係に関して、部分的に与え
られた入出力データよりその対応関係を関数として表現
するためのニューラルネットワークを用いた関数生成装
置に関する。

【０００２】

【従来の技術】図２は、ニューラルネットワークの基本
ユニットを示す構成図である。ユニットは、（１）式及
び（２）式の入出力関係を満たす多入力１出力の素子で
ある。

【０００３】

【数１】

【０００４】ここで、ｎ、ｘ_i、ｗ_i、ｈ、ｕ、ｏ及びｆ
（ｕ）は、それぞれ、ユニットの入力数、入力、重み、
しきい値、内部状態、出力及び図３に示すシグモイド関
数である。 ニューラルネットッワークは、このユニッ
トを複数個、結合することにより構成され、ユニットの
結合方法によって階層型ニューラルネットワーク、相互
結合型ニューラルネットワークなどに分類される。

【０００５】図４は、階層型ニューラルネットワークを
示す構成図である。階層型ニューラルネットッワーク
は、ユニットが複数の階層に分かれてならび、入力層部
４１から中間層部４２の層４３及び層４４を経由して出
力層部４５へ向かう方向にのみ結合がある。

【０００６】入力層部４１のユニットの入力及び出力層
部４５のユニットの出力を階層型ニューラルネットワー
クの入力及び出力とすると、ニューラルネットワークの
入出力関係は、（１）式及び（２）式よりユニットの重
み及びしきい値をパラメータに持つ多入力多出力関数で
表せる。

【０００７】目標とする関数の入出力データが与えられ
たとき、階層型ニューラルネットワークの各ユニットの
重み及びしきい値を適切な値に設定する方法としては、
一般に誤差逆伝搬法による繰り返し計算で求めている。
このとき、ユニットの重み及びしきい値の初期値の設定
方法によっては、繰り返し計算の回数が増加したり、ロ
ーカルミニマムに陥り、目標とする関数が得られないと
いう問題が生じる。

【０００８】ユニットの重み及びしきい値の初期値設定
方法に関しては、特開平３−４８３６３号公報及び特開
平４−２０５３９０号公報において論じられている。前
記文献では、各ユニットの内部状態が図３のシグモイド
関数の活性化領域内に入るように乱数を設定している。
乱数を用いるのは、まだ学習が行なわれていない初期状
態において、あらゆる関数の可能性を考慮した機会均等
の概念を利用しているからである。

【０００９】

【発明が解決しようとする課題】このように、上記従来
技術は、あらゆる関数の可能性を考慮してランダムにネ
ットワークを構成していた。そのため、ニューラルネッ
トワークによる関数生成の初期状態において、ユニット
の重み及びしきい値による効果を積極的に利用しておら
ず、効率的な学習方法とは言えない。

【００１０】図５は、ニューラルネットワークにおける
各層での関数生成過程を示す図である。層５２における
各ユニットの出力関数は、層５１における各ユニットの
出力関数をそれぞれ拡大・縮小、反転及び移動して加え
合わせることによって生成される。（１）式より、重み
は拡大・縮小及び反転の操作量に、及びまた、しきい値
は移動の操作量に対応している。そして、ニューラルネ
ットワークの学習は、上記ユニットで行なう拡大・縮
小、反転及び移動の操作量（重み及びしきい値）を調整
している。

【００１１】本発明はこのような事情に鑑みてなされた
ものであり、ニューラルネットワークによる関数生成を
各ユニットの重み及びしきい値によって拡大・縮小、反
転及び移動処理された関数の合成と考え、目的とする関
数を生成するためのユニットの重み及びしきい値の初期
値設定及び中間層ユニットの追加を行なうことにより学
習効率の向上を図ったニューラルネットワークを用いた
関数生成装置を提供することを目的とする。

【００１２】

【課題を解決するための手段】本発明のニューラルネッ
トワークを用いた関数生成装置は、１つ以上の入力に対
して重みを掛け合わせ、更にしきい値を加える演算部及
び該演算部からの出力を単調増加関数を適用することに
より変換する変換部から構成されるユニットを、入力
層、１層以上の中間層、及び出力層に配置した階層型ニ
ューラルネットワークを用いた関数生成装置であって、
前記入力層において入力データをユニットの出力領域で
分散した値に変換されるように各入力層ユニットの重み
及びしきい値の初期値を設定する入力層初期値設定手段
と、中間層において入力層ユニットから得られる関数を
拡大、縮小及び平行移動して加え合わせることにより中
間層の最終層で偶数組のユニットごとに同一関数を生成
するように各中間層ユニットの重み及びしきい値の初期
値を設定する中間層初期値設定手段と、出力層において
前記中間層で生成した偶数組の同一関数のうち各組の一
方の関数を反転して加え合わせること一定の値を出力す
るように各出力層ユニットの重み及びしきい値の初期値
を設定する出力層初期値設定手段とを含んで構成される
初期値設定手段を有することを特徴とする。

【００１３】また本発明のニューラルネットワークを用
いた関数生成装置は、１つ以上の入力に対して重みを掛
け合わせ、更にしきい値を加える演算部及び該演算部か
らの出力を単調増加関数を適用することにより変換する
変換部から構成されるユニットを、入力層、１層以上の
中間層、及び出力層に配置した階層型ニューラルネット
ワークを用いた関数生成装置であって、前記入力層にお
いて入力データをユニットの出力領域で分散した値に変
換されるように入力層ユニットの重み及びしきい値の初
期値を設定する入力層初期値設定手段と、中間層におい
て入力層ユニットから得られる関数を拡大、縮小、反転
及び平行移動して加え合わせることにより２組のユニッ
トごとに対称関数を生成するように各中間層ユニットの
重み及びしきい値の初期値を設定する中間層初期値設定
手段と、出力層において前記中間層で生成した２組の関
数を拡大、縮小して加え合わせることにより一定の値を
出力するように各出力層ユニットの重み及びしきい値の
初期値を設定する出力層初期値設定手段とを含んで構成
される初期値設定手段を有することを特徴とする。

【００１４】更に本発明のニューラルネットワークを用
いた関数生成装置では、前記階層型ニューラルネットワ
ークの出力データと学習データファイル部に格納されて
いる前記ニューラルネットワークの入出力関係を示すデ
ータのうちの出力データとの誤差を監視し、学習が収束
に向かっているか否を判定する学習監視手段と、該学習
監視手段により前記ニューラルネットワークの学習が不
十分であると判定された場合に既にある中間層ユニット
及び出力層ユニットには互いに影響を与えず、かつ前記
中間層初期値設定手段及び前記出力層初期値設定手段に
従って中間層ユニットを追加する中間層ユニット追加手
段とを有することを特徴とする。

【００１５】

【作用】上記構成のニューラルネットワークを用いた関
数生成装置では、入力層初期値設定手段は、学習する入
力データがユニットの出力領域内で分散するように入力
層ユニットの重み及びしきい値の初期値を設定する。

【００１６】中間層初期値設定手段は、前層のユニット
の入出力関係を表わす関数を拡大・縮小、反転及び平行
移動して加え合わせることにより、数種類の関数を生成
するように中間層ユニットの重み及びしきい値の初期値
を設定する。ただし、最終層では、２組のユニットごと
に同一関数を生成するように設定する。

【００１７】出力層初期値設定手段は、中間層の最終層
ユニットから得られる２組の同一関数を同じ割合で拡大
・縮小及び平行移動し、どちらか一方を反転して加え合
わせることにより、ユニットの出力が一定値になるよう
に出力層ユニットの重み及びしきい値の初期化を設定す
る。

【００１８】出力層ユニットの出力は、学習前の初期状
態では、２組の同一関数が互いに打ち消し合うため一定
値になるが、学習によって同一関数が変化するとそれぞ
れの関数で特徴づけられた個所で凹凸が生じる。この凹
凸が成長することによって目標とする関数が生成され
る。

【００１９】中間層ユニット追加手段は、ニューラルネ
ットワークの学習が不十分（ローカルミニマムに陥って
いる）と判断した場合、中間層に新しく複数個のユニッ
トを追加し、前記中間層初期値設定手段及び出力層初期
値設定手段に従って目標とする関数との誤差が大きい領
域に敏感に反応するように追加ユニットの重み及びしき
い値の初期値を設定する。追加した中間層ユニットは、
これまで学習した関数に影響を与えないが、引続き学習
を開始すると、目標とする関数との誤差が大きい領域を
改善するように働く。

【００２０】

【実施例】以下、本発明の実施例を図１に示す３層ニュ
ーラルネットワークを用いた関数生成装置のブロック図
を用いて詳細に説明する。図において、１０は入力層部
１１、中間層部１２及び出力層部１３からなるニューラ
ルネットワーク部、１４は学習に必要なデータが蓄えら
れている学習データファイル部、１５は学習データファ
イル部１４と入力層部１１、学習装置１６、初期値設定
装置１７及び中間層ユニット追加装置１８とのデータの
受渡しを行なう入出力装置、１６は出力層部１３の出力
データと学習データファイル部１４の出力データの誤差
を減少するように中間層部１２及び出力層部１３におけ
るユニットの重み及びしきい値を修正する学習装置、１
７は入力層部１１、中間層部１２及び出力層部１３のユ
ニット数、ユニットの重み及びしきい値の初期値を設定
する初期値設定装置、１８は中間層ユニット追加装置で
ある。

【００２１】関数生成装置を起動すると、まず、初期値
設定装置１７が学習データファイル部１４に蓄えられて
いる学習用の入出力データに基づき、各層のユニット数
及び各ユニットの重み及びしきい値の初期値を設定し、
ニューラルネットワーク部１０の構成を決定する。

【００２２】次に、学習装置１６が、出力層部１３の出
力データと学習データファイル部１４の出力データの二
乗誤差を減少するように中間層部１２及び出力層部１３
におけるユニットの重み及びしきい値を修正する。ここ
で、出力層部１３におけるユニットの出力データは、学
習データファイル部１４から取り出した入力データを入
力層部１１のユニットに与え、（１）式及び（２）式に
従って入力層部１１から出力層部１３へ順に計算を行な
うことによって得られる。

【００２３】また、学習装置１６による中間層部１２及
び出力層部１３の重み及びしきい値の修正（学習）は、
ニューラルネットワーク部１０の入出力関係が学習デー
タファイル部１４に蓄えられている入出力データの対応
関係を十分満足するまで繰り返し行なわれる。繰り返し
学習を行なっても出力層部１３と学習データファイル部
１４の出力データの誤差が減少しない（ローカルミニマ
ムに陥っている）場合、これ以上精度の高い近似関数が
生成できないことになる。このとき、中間層ユニット追
加装置１８は、中間層部１２へのユニットの追加、追加
ユニットの重み及びしきい値の設定、及び追加ユニット
から出力層部１３のユニットへの重みを設定してニュー
ラルネットワーク部１０の拡張を行なう。

【００２４】図６は、初期値設定装置１７の装置構成を
示すブロック図である。６１は学習データファイル部１
４に蓄えられている入出力データより入力層部１１、中
間層部１２及び出力層部１３のユニット数を設定するユ
ニット数設定装置、６２は入力層部１１のユニットの初
期値を設定する入力層初期値設定装置、６３は中間層部
１２のユニットの初期値を設定する中間層初期値設定装
置、６４は出力層部１３のユニットの初期値を設定する
出力層初期値設定装置である。

【００２５】入力層初期値設定装置６２は、学習データ
ファイル部１４から取り出された入力データが（0．0，
1．0）区間で分散した値に変換されるように入力層ユニ
ットの重み及びしきい値を設定する。入力層部１１の第
ｉ番目ユニットに与える入力データの最大値
（ｘ¹ _imax）及び最小値（ｘ¹ _imin）を（１）式に代入し
た結果が、図３に示すシグモイド関数（ｆ（ｕ））の飽
和領域の境界値ｕ¹ _max及びｕ¹ _minになるとすると次式が
得られる。

【００２６】

【数２】

【００２７】ここでｎ₁、ｗ¹ _i及びｈ¹ _iは、それぞれ入
力層部１１のユニット数、入力層部１１の第ｉ番目ユニ
ットの重み及びしきい値である。（３）式及び（４）式
より、入力層ユニットの重み（ｗ¹ _i）及びしきい値（ｈ
¹ _i）は、次式によって与えられる

【００２８】

【数３】

【００２９】中間層初期値設定装置６３は、入力層ユニ
ットから得られる関数を拡大・縮小及び平行移動して加
え合わせることにより、２組のユニットごとに同一関数
を生成するように中間層ユニットの重み及びしきい値の
初期値を設定する。中間層ユニットでの関数の種類とし
ては、例えば、図７に示すように入力層ユニットから得
られる関数を全て同じ割合で拡大・縮小し、等間隔で平
行移動することが考えられる。（１）式に対し、重み
（拡大・縮小の割合）が全て同じ値を持つとし、中間層
ユニットの入力へ最大値(1.0)及び最小値（0．0)を代入
した結果がｕ² _max及びｕ² _minになるとすると次式が得ら
れる。

【００３０】

【数４】

【００３１】ここで、ｎ₂、ｗ² _ij及びｈ² _jは中間層部１
２のユニット数、入力層部１１の第ｉ番目ユニットと中
間層部１２の第ｊ番目ユニット間の重み、及び中間層部
１２の第ｊ番目ユニットのしきい値である。（７）式及
び（８）式において重みが全て同じ値を持つので、中間
層ユニットの重み（ｗ² _ij）は、次式のように与えられ
る。

【００３２】

【数５】

【００３３】また、（９）式によって拡大・縮小した関
数を２組ごとに区間［ｕ_min，ｕ_max］内で等間隔に平行
移動するためには、中間層ユニットのしきい値（ｈ² _j）
は、次式のように与えられる。

【００３４】

【数６】

【００３５】出力層初期値設定装置６４は、中間層部１
２で生成した２組の同一関数のうち一方を反転して加え
合わせることにより一定の値を出力するように出力層ユ
ニットの重み及びしきい値の初期値を設定する。図８
は、図７で示した関数に対し、各区間にある同一の関数
の一方を反転して互いに打ち消し合い、一定値（0.0）
を出力する様子を表している。前記中間層初期値設定装
置６３と同様に全て同じ割合で拡大・縮小し、同一関数
の一方を反転するためには、中間層部１２の第ｉ番目ユ
ニットと出力層部１３の第ｊ番目ユニット間の重み（ｗ
³ _ij）は、次式のように与えられる。

【００３６】

【数７】

【００３７】ここで、ｎ₃、ｕ³ _max及びｕ³ _minは出力層
部１３のユニット数、図３に示すシグモイド関数(f(u))
の飽和領域との境界の最大値及び最小値である。

【００３８】また、出力層ユニットの出力を一定値（0.
0）にするためには、出力層部１３における第ｊ番目の
ユニットのしきい値(ｈ³ _j)は、次式のように与えられ
る。

【００３９】

【数８】

【００４０】出力層ユニットの出力は、学習前の初期状
態では、同一関数が互いに打ち消し合うため一定値(0.
0)であるが、学習によって各ユニットの関数が変化する
と、中間層ユニットのしきい値(ｈ² _j)で区切られた各区
間で凹凸が生じる。学習データファイル部１４に蓄えら
れている入出力データに対し、入力データの位置で出力
データが得られるように凹凸を成長させることによっ
て、目的とする関数が得られる。

【００４１】図９は、中間層ユニット追加装置１８の装
置構成を示すブロック図である。９１は学習の収束状況
を判断する学習監視装置、９２は中間層ユニットを追加
するユニット追加装置、９３は追加した中間層ユニット
の重み及びしきい値に初期値を設定する中間層初期値追
加装置９４及び追加した中間層ユニットから出力層ユニ
ットへの重み及びしきい値に初期値を設定する出力層初
期値追加装置９５からなる初期値追加装置、９６は追加
情報を学習データファイル部１４に格納する追加情報出
力装置である。

【００４２】学習監視装置９１は、ニューラルネットワ
ーク部１０の出力データと学習データファイル部１４の
出力データの誤差を監視し、学習が収束に向かっている
かを判定する。誤差がほとんど減少してない（ローカル
ミニマムに陥っている）場合、これ以上学習を続けても
精度の高い近似関数を生成することができない。このと
き、ユニット追加装置９２及び初期値追加装置９３を起
動し、この状況を回避するように中間層ユニットを追加
する。ユニット追加装置９２は中間層部１２に偶数個の
ユニットを追加し、入力層部１１及び出力層部１３のユ
ニットと結合する。 中間層初期値追加装置９４は、追
加した偶数個のユニットに対し、中間層初期値設定装置
６３と同様に２組のユニットごとに同一関数を生成する
ように追加ユニットの重み及びしきい値の初期値を設定
する。

【００４３】出力層初期値追加装置９５は、出力層初期
値設定装置６４と同様に追加した中間層ユニットで生成
した２組の同一関数のうち一方を反転して加え合わせる
ことにより一定の値を出力するように出力層ユニットの
重み及びしきい値の初期値を設定する。

【００４４】追加情報出力装置は９６は、追加したユニ
ット数、中間層及び出力層のユニットに追加した重み及
びしきい値の初期値を学習データファイル部１４に格納
する。

【００４５】図１０〜図１２は、入力層、中間層及び出
力層にそれぞれ１個、６個及び１個のユニットを持つ１
入力１出力の３層ニューラルネットワークに対し、
（５）、（６）、（９）〜（１２）式に従って各ユニッ
トの重み及びしきい値を設定し（ただし、ｘ¹ _min＝0.0、
ｘ¹ _max＝1.0、 ｕ¹ _min＝−３、 ｕ¹ _max＝３、 ｕ² _min＝
−10、 ｕ² _max＝10、 ｕ³ _min＝−５、 ｕ³ _max＝５とし
た）、５種類の入出力データ（0.1,0.1)、(0.3,0.9)、
(0.5,0.1)、(0.7,0.9)及び(0.9,0.1)を学習したときの
学習過程を示す図(横軸が入力、縦軸が出力）である。

【００４６】図１０は、１０回目の学習結果であり、全
ての入力領域でほぼ一定値（約0.0）になっている。図
１１は、５０回目の学習結果であり、入力が0.3及び0.7
の近傍領域で凸、0.0.、0.5及び1.0の近傍領域で凹にな
っている。図１２は、２４０回目の学習結果であり、５
種類の入出力データの近傍を通る関数になっているのが
わかる。

【００４７】次に複数の出力関数を組み合わせて目的と
する関数を生成するニューラルネットワークを用いた関
数生成装置の他の実施例について説明する。本実施例は
前記実施例においてニューラルネットワーク部１０の出
力層部１３で行なう関数の反転を中間層部１２で行なう
ようにしたものである。以下具体的に説明する。

【００４８】図６において、中間層初期値設定装置６３
は、入力層部１１の各ユニットから得られる関数を拡大
・縮小、反転及び平行移動により、２組のユニットごと
に対称関数を生成するように中間層ユニットの重み及び
しきい値の初期値を設定する。中間層部１２のユニット
での関数の種類としては、例えば、図１３に示すように
入力層部１１の各ユニットから得られる関数を全て同じ
割合で拡大・縮小して偶数番目ユニットのみ反転し、等
間隔で平行移動することが考えられる。（１）式に対
し、重みが全て同じ値（奇数ユニットは正値、偶数ユニ
ットは負値）を持つとし、入力層部１１の各ユニットの
出力［0.0,1.0］を中間層部１２の各ユニットへ入力し
た結果、中間層部１２の内部状態の最大値がｕ² _max及び
最小値がｕ² _minになるとすると次式が得られる。

【００４９】

【数９】

【００５０】ここで、ｎ₂、ｗ² _ij及びｈ² _jは、それぞれ
中間層部１２のユニット数、入力層部１１の第ｉ番目ユ
ニットと中間層部１２の第ｊ番目ユニット間の重み、及
び中間層部１２の第ｊ番目ユニットのしきい値である。
（１３）式、（１４）式、（１５）式及び（１６）式に
おいて、重みが全て同じ値を持つとすると、中間層部１
２の各ユニットの重み（ｗ² _ij）は、次式のように与え
られる。

【００５１】

【数１０】

【００５２】また、（１７）式によって拡大・縮小した
関数２組ごとに区間［ｕ_min，ｕ_max］内で等間隔に平行
移動するためには、中間層部１２の各ユニットのしきい
値(ｈ² _j）は、次式のよう与えられる。

【００５３】

【数１1】

【００５４】出力層初期値設定装置６４は、中間層部１
２で生成した２組の関数を拡大・縮小して加え合わせる
ことにより一定の値を出力するように出力層部１３の各
ユニットの重み及びしきい値の初期値を設定する。図１
４は、図１３で示した関数を全て同じ割合で拡大・縮小
して加え合わせることにより、一定値（0.5）を出力す
る状態を表わしている。前記中間層初期値設定装置６３
と同様に全て同じ割合で拡大・縮小するためには、中間
層部１２の第ｉ番目ユニットと出力層部１３の第ｊ番目
ユニット間の重み（ｗ³ _ij）は、次式のように与えられ
る。

【００５５】

【数１２】

【００５６】ここで、ｎ₃、ｕ³ _max及びｕ³ _minは、それ
ぞれ出力層部１３のユニット数、図３に示すシグモイド
関数(f(u))の飽和領域との境界の最大値及び最小値であ
る。また、出力層ユニットの出力を一定値(0.5)にする
ためには、出力層部１３における第ｊ番目ユニットのし
きい値（ｗ³ _ij）は、次式のように与えられる

【００５７】

【数１３】

【００５８】出力層部１３の各ユニットの出力は、学習
前の初期状態では、同一関数が互いに打ち消し合うため
一定値(0.0)であるが、学習によって各ユニットの関数
が変化すると、中間層ユニットのしきい値(ｈ² _j）で区
切られた各区間で凹凸が生じる。学習データファイル部
１４に蓄えられている入出力データに対し、入力データ
の位置で出力データが得られるように凹凸を成長させる
ことによって、目的とする関数が得られる。

【００５９】本実施例における中間層ユニット追加装置
１８の装置構成は図９と同様である。 本実施例では図
９において、学習監視装置９１は、ニューラルネットワ
ーク部１０の出力データと学習データファイル部１４の
出力データの誤差を監視し、学習が収束に向かっている
か否かを判断する。誤差がほとんど減少してない（ロー
カルミニアムに陥っている）場合、これ以上学習を続け
ても精度の高い近似関数を生成することができない。こ
のとき、ユニット追加装置９２及び初期値追加装置９３
を起動し、この状況を回避するように中間層ユニットを
追加する。

【００６０】ユニット追加装置９２は中間層部１２に偶
数個のユニットを追加し、入力層部１１及び出力層部１
３のユニットと結合する。中間層初期値追加装置９４
は、追加した偶数個のユニットに対し、中間層初期値設
定装置６３と同様に２組のユニットごとに対称関数を生
成するように追加ユニットの重み及びしきい値の初期値
を設定する。

【００６１】出力層初期値追加装置９５は、出力層初期
値設定装置６４と同様に追加した中間層ユニットで生成
した２組の対称関数を加え合わせることにより一定の値
を出力するように出力層ユニットの重み及びしきい値の
初期値を設定する。

【００６２】追加情報出力装置９６は、追加したユニッ
ト数、中間層及び出力層のユニットに追加した重み及び
しきい値の初期値を学習データファイル部１４に格納す
る。

【００６３】図１５は、入力層、中間層及び出力層にそ
れぞれ１個、６個及び１個のユニットを持つ１入力１出
力の３層ニューラルネットワークに対し、（５）式、
（６）式、（１７）〜（２０）式に従って各ユニットの
重み及びしきい値を設定し（ただし、ｘ¹ _min＝0.0、 ｘ¹
_max＝1.0、 ｕ¹ _min＝−３、 ｕ¹ _max＝３、 ｕ² _min＝−1
0、 ｕ² _max＝10、 ｕ³ _min＝−５、 ｕ³ _max＝５とし
た）、５種類の入出力データ（0.1,0.1)、(0.3,0.9)、
(0.5,0.1)、(0.7,0.9)及び(0.9,0.1)を学習したときの
学習過程を示す図(横軸が入力、縦軸が出力）である。
図１５は、３００回目の学習結果であり、５種類の入出
力データの近傍を通る関数になっているのが判る。

【００６４】

【発明の効果】本発明によれば、ニューラルネットワー
クの初期状態において、各ユニットから得られる関数の
重ね合わせによって、ある入力領域ごとに反応する関数
を構成しているので、効率の良い学習を行なうことがで
きる。

【００６５】また、ローカルミニマムに陥ったとき、目
標とする関数との誤差が大きい領域に反応するように中
間層を追加するので、他の領域には影響を与えず効率良
く再学習することができる。

【００６６】更に本発明のニューラルネットワークを用
いた関数生成装置は、制御、設計などあらゆる産業分野
に適用可能であり、ニューラルネットワークの構成の簡
易化及び学習の高速化を図ることができる。

【図面の簡単な説明】

【図１】本発明に係るニューラルネットワークを用いた
関数生成装置の一実施例の構成を示すブロック図であ
る。

【図２】ニューラルネットワークの基本ユニットを概念
的に示す構成図である。

【図３】シグモイド関数の曲線を示す図である。

【図４】階層型ニューラルネットワークの一例を示す構
成図である。

【図５】ニューラルネットワークの各層ユニットにおけ
る関数生成過程を示す図である。

【図６】図１に示す関数生成装置における初期値設定装
置の具体的構成を示すブロック図である。

【図７】図１における中間層ユニットの出力関数をまと
めた図である。

【図８】図１における出力層ユニットでの関数生成過程
を示す図である。

【図９】図１における中間層ユニット追加装置の具体的
構成を示すブロック図である。

【図１０】１入力１出力の３層のニューラルネットワー
クによる適用例であり、１０回目の学習結果を示す説明
図である。

【図１１】１入力１出力の３層のニューラルネットワー
クによる適用例であり、５０回目の学習結果を示す図で
ある。

【図１２】１入力１出力の３層のニューラルネットワー
クによる適用例であり、２４０回目の学習結果を示す図
である。

【図１３】図１における中間層ユニットでの関数生成過
程の他の例を示す図である。

【図１４】図１における出力層ユニットでの関数生成過
程の他の例を示す図である。

【図１５】１入力１出力の３層のニューラルネットワー
クによる他の適用例であり、３００回目の学習結果を示
す説明図である。

【符号の説明】

１０ ニューラルネットワーク部 １１ 入力層部 １２ 中間層部 １３ 出力層部 １４ 学習データファイル部 １５ 入出力装置 １６ 学習装置 １７ 初期値設定装置 １８ 中間層ユニット追加装置 ４１ 入力層部 ４２ 中間層部 ４３ 中間層 ４４ 中間層 ４５ 出力層部 ６１ ユニット数設定装置 ６２ 入力層初期値設定装置 ６３ 中間層初期値設定装置 ６４ 出力層初期値設定装置 ９１ 学習監視装置 ９２ ユニット追加装置 ９３ 初期値追加装置 ９４ 中間層初期値追加装置 ９５ 出力層初期値追加装置 ９６ 追加情報出力装置

Claims (3)

【特許請求の範囲】
1. 【請求項１】 １つ以上の入力に対して重みを掛け合わ
   せ、更にしきい値を加える演算部及び該演算部からの出
   力を単調増加関数を適用することにより変換する変換部
   から構成されるユニットを、入力層、１層以上の中間
   層、及び出力層に配置した階層型ニューラルネットワー
   クを用いた関数生成装置であって、 前記入力層において入力データをユニットの出力領域で
   分散した値に変換されるように各入力層ユニットの重み
   及びしきい値の初期値を設定する入力層初期値設定手段
   と、 中間層において入力層ユニットから得られる関数を拡
   大、縮小及び平行移動して加え合わせることにより中間
   層の最終層で偶数組のユニットごとに同一関数を生成す
   るように各中間層ユニットの重み及びしきい値の初期値
   を設定する中間層初期値設定手段と、 出力層において前記中間層で生成した偶数組の同一関数
   のうち各組の一方の関数を反転して加え合わせること一
   定の値を出力するように各出力層ユニットの重み及びし
   きい値の初期値を設定する出力層初期値設定手段とを含
   んで構成される初期値設定手段を有することを特徴とす
   るニューラルネットワークを用いた関数生成装置。
2. 【請求項２】 １つ以上の入力に対して重みを掛け合わ
   せ、更にしきい値を加える演算部及び該演算部からの出
   力を単調増加関数を適用することにより変換する変換部
   から構成されるユニットを、入力層、１層以上の中間
   層、及び出力層に配置した階層型ニューラルネットワー
   クを用いた関数生成装置であって、 前記入力層において入力データをユニットの出力領域で
   分散した値に変換されるように入力層ユニットの重み及
   びしきい値の初期値を設定する入力層初期値設定手段
   と、 中間層において入力層ユニットから得られる関数を拡
   大、縮小、反転及び平行移動して加え合わせることによ
   り２組のユニットごとに対称関数を生成するように各中
   間層ユニットの重み及びしきい値の初期値を設定する中
   間層初期値設定手段と、 出力層において前記中間層で生成した２組の関数を拡
   大、縮小して加え合わせることにより一定の値を出力す
   るように各出力層ユニットの重み及びしきい値の初期値
   を設定する出力層初期値設定手段とを含んで構成される
   初期値設定手段を有することを特徴とするニューラルネ
   ットワークを用いた関数生成装置。
3. 【請求項３】 前記階層型ニューラルネットワークの出
   力データと学習データファイル部に格納されている前記
   ニューラルネットワークの入出力関係を示すデータのう
   ちの出力データとの誤差を監視し、学習が収束に向かっ
   ているか否を判定する学習監視手段と、 該学習監視手段により前記ニューラルネットワークの学
   習が不十分であると判定された場合に既にある中間層ユ
   ニット及び出力層ユニットには互いに影響を与えず、か
   つ前記中間層初期値設定手段及び前記出力層初期値設定
   手段に従って中間層ユニットを追加する中間層ユニット
   追加手段とを有することを特徴とする請求項１または２
   に記載のニューラルネットワークを用いた関数生成装
   置。