JP2001344590A - ニューラルネットワーク及びその学習方法、解析方法並びに異常判定方法 - Google Patents

Abstract

(57)【要約】 【課題】 従来のネットワークと互換性を有し、かつ内
部解析が容易なネットワークを提供する。また、その学
習方法、解析方法、異常判別方法を提供する。 【解決手段】 複数の入力層素子及び複数の中間層素子
を有する階層型構造のニューラルネットワークと、その
学習方法、解析方法、異常判別方法に関する。複数の入
力層素子のうちの一部に中間層素子が結合されてなる疎
結合部分１２を設ける。疎結合部分１２は、入力層素子
と中間層素子との間の結合を削除する（重みを０にす
る）ことにより生成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ニューラルネット
ワークを用いた各種の制御、予測、診断に関する情報処
理分野において、ニューラルネットワーク自体の構造、
及びその学習方法、ニューラルネットワーク自体の解析
方法、解析結果に基づく異常判定方法に関するものであ
る。

【０００２】

【従来の技術】周知のようにニューラルネットワークは
学習能力を持ち、非線形性、パターンマッチング性能に
優れており、制御、予測、診断等の多くの分野に用いら
れている。このニューラルネットワークとしては多くの
構造が提案されているが、実用化されたその多くは階層
型、特に３階層型のものがほとんどである。階層型のニ
ューラルネットワークは、通常バックプロパゲーション
法（誤差逆伝播法）と呼ばれるアルゴリズムにより学習
し、内部の結合状態が調整される。こうして学習したニ
ューラルネットワークは、学習データと同一の入力デー
タを与えると学習データとほぼ同一の出力をする。ま
た、学習データに近い入力を与えると学習データに近い
出力をする特徴がある。最小自乗法によって構築される
回帰式と比較すると、ニューラルネットワークは非線形
性に優れているが、内部構造が複雑で解析が困難なた
め、未知データに対してはどのような出力をするか分か
らない欠点がある。

【０００３】従来のニューラルネットワークを解析する
方法としては、内部構造を直接解析する例として、代表
的な以下の３例がある。 「ニューラルネットワークの構造学習による規則性の
発見と汎化」：日本神経回路学会誌、Vol.1, No.2(199
4)がある。この方法は、忘却の概念によりニューラルネ
ットワークの不要な結合を削除し、必要な結合のみを残
す方法により、内部解析を行う方法である。パターン認
識の分野において、その有効性が示されている。 「ファジィニューラルネットワークの構成法と学習
法」：日本ファジィ学会誌、Vol.4, No5.(1992)では、
ファジィとニューロが融合した新しい構造のファジィニ
ューラルネットワークにより、内部解析を可能にしてい
る。 「ニューラルネットワークを用いたファジーIF-THEN
ルールの自動抽出」：電気学会論文誌Ｃ，Vol.110-C,N
o.3,(1990)は、分散ニューラルネットワークと言われる
特殊構造をもつニューラルネットワークよりファジィ規
則を抽出することで解析を行っている。

【０００４】また、直接的な内部解析は行っていない
が、出力値の説明・信頼性の評価方法として、特開平
１０−７４１８８「データ学習装置およびプラント制御
装置」、特願平１１−３２２１３０「ニューラルネッ
トワークの出力値の評価装置，評価方法及び記憶媒体」
がある。何れの方法も、予測・制御時の入力データに近
い値を学習データより検索して表示する方法である。

【０００５】ニューラルネットワークの学習方法はバッ
クプロパゲーション法が一般的であるが、性能の点で問
題が指摘されている。すなわち、バックプロパゲーショ
ン法ではニューラルネットワークの階層数や素子数を事
前に決定する必要があるが、これらに関する情報が事前
に得られることはなく、ニューラルネットワークを最適
化するためには階層数や素子数を試行錯誤的に探索する
必要がある。特に、ニューラルネットワークの内部構造
が複雑な場合には、探索に時間と手間がかかる。また、
バックプロパゲーション法により得られた学習後のニュ
ーラルネットワークはブラックボックスとなり、中間層
素子の意味付けが困難な場合が多い。これらの問題点に
鑑み、特願平１１−０６６１６５「ニューラルネット
ワークの最適化学習方法」や、特願２０００−７１０
１１「ニューラルネットワークの最適化学習方法」等、
不要な中間層素子や結合を削減する学習方法が近年提案
されている。これらの学習アルゴリズムを使用すると、
非常にコンパクトで性能の良いニューラルネットワーク
を構築することが可能である。

【０００６】

【発明が解決しようとする課題】ニューラルネットワー
クはその学習能力、非線形能力、パターンマッチング性
能等、優れた能力のため多くの分野において利用されて
いるが、一般に内部構造が非線形かつ複雑なため、その
出力値がどうして出力されたかを理解し易く説明するこ
とが困難であった。前記，の従来技術は、対象状態
の入力データに近い学習データを検索して表示する方法
であるが、内部解析をしていないため学習データにない
未知の入力データに対しては説明不能である。

【０００７】また、前記，，の従来技術では、内
部解析を行っているため、未知の入力状態に対してもど
のような出力が得られるかが分かる。しかし、の従来
技術はパターン認識のような離散的な問題では有効であ
るが、連続値を対象とする問題は扱えない欠点がある。
，の従来技術は、通常のニューラルネットワーク構
造とは完全に異なる特殊構造のニューラルネットワーク
を用いているので、汎用性に乏しい。特に、の従来技
術はその構造上、入力因子が多くなると指数関数的に学
習時間が増大し、またその能力も通常のニューラルネッ
トワークには及ばない。更に、の従来技術は、ニュー
ラルネットワーク構造が複雑であるばかりでなく、その
解析方法も難しく、また抽出したファジィ規則も単純で
はないという問題がある。そして、前記，の従来技
術は、コンパクトな構造が得られる利点があるが、構造
自体は従来のニューラルネットワークと同じであるの
で、内部解析を行うことは不可能である。

【０００８】そこで本発明の解決課題は、通常の階層型
ニューラルネットワークと完全に互換性があってその内
部解析が容易である構造のニューラルネットワークと、
その学習方法、解析方法及び異常判定方法を提供しよう
とするものである。例えば、 ｙ＝ａｘ₁＋ｂｘ₂＋ｃｘ₁ｘ₂＋ｄ （ｘ₁，ｘ₂は入力変数、ｙは出力変数、ａ，ｂ，ｃ，ｄ
は係数）として表されるような、従来技術の回帰式の場
合では、 出力の要因が明確である（ｘ₁，ｘ₂の要因により変化
することが明確である）、 各要因の働きが明確である（ｘ₁，ｘ₂の独立した成分
（回帰式の右辺第１項、第２項）とその相互作用の成分
（同第３項）から成り立つ）、 各要因の入出力に対する影響度合いが明確である（ｘ
₁，ｘ₂，ｘ₁ｘ₂の影響度合いは、ａ，ｂ，ｃであり、固
定分としてｄがある）、といった特徴があり、これらの
特徴によって内部解析が容易になっている。

【０００９】従って、本発明は、このような回帰式の解
析の容易さを既存のニューラルネットワークによって実
現しようとするものであり、また、従来のニューラルネ
ットワークと互換性のある構造によって既存システムへ
の適用を容易にし、更にその性能も現状と同等であるニ
ューラルネットワーク及びその学習方法、解析方法等を
提供しようとするものである。

【００１０】

【課題を解決するための手段】上記課題を解決するた
め、請求項１記載の発明は、複数の入力層素子及び複数
の中間層素子を有する階層型構造のニューラルネットワ
ークにおいて、複数の入力層素子のうちの一部に中間層
素子が結合されてなる疎結合部分を有することを特徴と
する。

【００１１】請求項２記載の発明は、請求項１の全体に
記載したニューラルネットワークを学習するためのニュ
ーラルネットワークの学習方法において、入力層素子と
中間層素子との間の全ての重みを初期化する第１ステッ
プと、任意の入力層素子と中間層素子との間の結合を削
除する第２ステップと、学習誤差を評価するための評価
関数を用いてこの評価関数が小さくなるように入力層素
子と中間層素子との間の重みの修正量を算出する第３ス
テップと、任意の入力層素子と中間層素子との間の重み
の修正量を０にする第４ステップと、第３ステップ及び
第４ステップを経て得られた最終的な修正量を用いて入
力層素子と中間層素子との間の重みを修正する第５ステ
ップとを有し、学習誤差が規定値以下になるまで第３ス
テップ以下の処理を繰り返し実行するものである。

【００１２】請求項３記載の発明は、請求項２の第３ス
テップにおいて、前記評価関数は、学習誤差を評価して
学習誤差を小さくするための項と、ニューラルネットワ
ークの構造を簡素化するために不要な中間層素子を削減
するための項とを併せ持つものである。

【００１３】請求項４記載の発明は、請求項２または請
求項３において、第６ステップとして、中間層素子の中
の１個の素子の出力値系列を用いて求めた分散が規定値
以下である場合にこの素子をバイアス素子に融合し、中
間層素子の中の２個の素子の出力値系列を用いて求めた
相関係数が別の規定値以上である場合にこれら２個の中
間層素子を情報伝達的に同じ働きであるとして融合する
ことによりコンパクト構造化を行って中間層素子を削減
するステップを有するものである。

【００１４】請求項５記載の発明は、請求項２における
第２ステップと第３ステップとの間に、中間層素子を並
べ替えることにより、疎結合部分を構成する中間層素子
と、複数の入力層素子の全てに中間層素子が結合されて
なる全結合部分を構成する中間層素子とを、それぞれ別
のグループにまとめる処理を行うステップを挿入すると
共に、請求項２における第３ステップにおいて、疎結合
部分を構成する中間層素子の結合を全結合部分を構成す
る中間層素子の結合よりも早く成長させるような評価関
数を用いて重みの修正量を算出するものである。

【００１５】請求項６記載の発明は、請求項２における
第２ステップと第３ステップとの間に、中間層素子を並
べ替えて疎結合部分を構成する中間層素子を有する部分
ニューロと全結合部分を構成する中間層素子を有する部
分ニューロとを交互に配置するステップを挿入すると共
に、請求項２における第３ステップにおいて、任意の中
間層素子の結合を他の中間層素子の結合よりも早く成長
させるような評価関数を用いて重みの修正量を算出する
ものである。

【００１６】請求項７記載の発明は、請求項２における
第３ステップにおいて、任意の中間層素子の結合を他の
中間層素子の結合よりも早く成長させる項と、ニューラ
ルネットワークの構造を簡素化するために不要な中間層
素子を削減するための項とを併せ持つ評価関数を用いて
重みの修正量を算出するものである。

【００１７】請求項８記載の発明は、請求項５に記載し
た学習方法と請求項６に記載した学習方法とを交互に実
施するものである。

【００１８】請求項９記載の発明は、請求項２〜８の何
れか１項に記載された学習方法により構築されたニュー
ラルネットワークを対象として、入力層素子、中間層素
子及び出力層素子の相互の結合状態から、線形性、非線
形性等の入力因子の出力への影響度合いを解析するもの
である。

【００１９】請求項１０記載の発明は、請求項１の全体
に記載されたニューラルネットワークを対象として、入
力層素子及び中間層素子の有効性を示す評価指標を用い
てニューラルネットワークの構造を解析するものであ
る。

【００２０】請求項１１記載の発明は、請求項１の全体
に記載されたニューラルネットワークを対象として、任
意の入力データを入力したときの、中間層素子から出力
層素子に伝達される情報量の大きさに基づいて入力因子
の出力への影響を解析するものである。

【００２１】請求項１２記載の発明は、請求項１の全体
に記載されたニューラルネットワークを対象として、任
意の入力データを入力したときの、中間層素子から出力
層素子に伝達される情報量と入力データとの相関関係に
基づいて入力因子の出力への影響を解析するものであ
る。

【００２２】請求項１３記載の発明は、請求項１の全体
に記載されたニューラルネットワークを対象として、任
意の入力データを入力したときの、中間層素子から出力
層素子に伝達される情報量と入力データとの相関関係に
基づいて、ニューラルネットワーク出力値の上下限値を
解析するものである。

【００２３】請求項１４記載の発明は、請求項９〜１３
の何れかに記載された解析方法によりニューラルネット
ワークを解析し、異常判定用データベースと照らし合わ
せてニューラルネットワークの学習状態の良否を判定
し、その結果を出力するものである。

【００２４】請求項１５記載の発明は、請求項１４に記
載した異常判定方法において、学習対象の現象が予め定
性的に判明しているときに、ニューラルネットワークの
素子間の結合状態に基づいてニューラルネットワークの
学習状態の良否を判定するものである。

【００２５】請求項１６記載の発明は、請求項１４に記
載した異常判定方法において、学習対象の現象が定性的
に判明しているときに、ニューラルネットワークの内部
状態を示す数値指標として入力層素子及び中間層素子の
有効性を示す評価指標に基づいてニューラルネットワー
クの学習状態の良否を判定するものである。

【００２６】請求項１７記載の発明は、請求項１４に記
載した異常判定方法において、学習対象の現象を表す数
式が存在するときに、その数式とニューラルネットワー
クの内部状態の相関係数とを比較して学習不良を判定す
るものである。

【００２７】請求項１８記載の発明は、請求項１４に記
載した異常判定方法において、ニューラルネットワーク
の出力の上限値が学習データの上限値よりも小さいと
き、または、ニューラルネットワークの出力の下限値が
学習データの下限値よりも大きいときに学習不良を判定
するものである。

【００２８】請求項１９記載の発明は、請求項１４〜１
８の何れかに記載された異常判定方法によりニューラル
ネットワークの学習不良が判明したときに、必要に応じ
て再学習を行うものである。

【００２９】請求項２０記載の発明は、請求項１７の発
明において、学習不良である範囲を自動的に特定し、そ
の範囲の学習データを増加させて再学習させるものであ
る。

【００３０】請求項２１記載の発明は、請求項１の全体
に記載したニューラルネットワークを学習するためのニ
ューラルネットワークの学習方法において、入力層素子
と中間層素子との間の全ての重みを初期化する第１ステ
ップと、任意の入力層素子と中間層素子との間の結合を
削除して全結合部分を生成することなく疎結合部分の中
間層部分のみを生成する第２ステップと、学習誤差を評
価するための評価関数を用いてこの評価関数が小さくな
るように入力層素子と中間層素子との間の重みの修正量
を算出する第３ステップと、任意の入力層素子と中間層
素子との間の重みの修正量を０にする第４ステップと、
第３ステップ及び第４ステップを経て得られた最終的な
修正量を用いて入力層素子と中間層素子との間の重みを
修正する第５ステップと、学習誤差が規定値以下になっ
たときに学習終了と判断する第６ステップと、学習誤差
が規定値以上であるときに第３ステップ以下の処理を再
度実行するために中間層素子を追加する第７ステップと
を有するものである。

【００３１】請求項２２記載の発明は、請求項１〜８，
２１のうちの何れか１項における第２ステップにおい
て、複数の入力因子を学習データの入出力関係に基づい
て複数のグループに分類し、それらのグループごとに疎
結合部分の中間層部分を生成するものである。

【００３２】請求項２３記載の発明は、請求項１〜８，
２１のうちの何れか１項における第２ステップにおい
て、複数の入力因子を学習データの最大・最小・平均・
標準偏差等の統計指標に基づいて複数のグループに分類
し、それらのグループごとに疎結合部分の中間層部分を
生成するものである。

【００３３】請求項２４記載の発明は、請求項１〜８，
２１のうちの何れか１項における第２ステップにおい
て、複数の入力因子を学習データの入力因子間の相関係
数に基づいて複数のグループに分類し、それらのグルー
プごとに疎結合部分の中間層部分を生成するものであ
る。

【００３４】請求項２５記載の発明は、請求項１〜８，
２１のうちの何れか１項における第２ステップにおい
て、複数の入力因子を学習データの入力と出力との間の
相関係数に基づいて複数のグループに分類し、それらの
グループごとに疎結合部分の中間層部分を生成するもの
である。

【００３５】

【発明の実施の形態】以下、本発明の実施形態を説明す
る。 （１）請求項１の発明の実施形態 まず、請求項１の発明の実施形態に係るニューラルネッ
トワーク構造を説明する。通常の階層型ニューラルネッ
トワークは、図２に示すように入力層素子と中間層素子
が全て結合している（全結合部分という）が、本発明の
階層型ニューラルネットワークは、図１に示すように任
意の入力層素子と任意の中間層素子間だけが結合してい
る。すなわち、この実施形態では、全ての入力層素子と
結合している中間層素子からなる全結合部分１１と、一
部の入力層素子と結合している中間層素子からなる疎結
合部分１２とからなっている。ここで、全結合部分１１
は必ずしも必要ではなく、本発明では、複数の入力層素
子のうちの一部に中間層素子が結合されてなる疎結合部
分を有していれば足りる。このように、一部の入力層素
子との間の重み（重み係数または結合係数）の値を０に
した疎結合部分１２を設けることで、従来の階層型ニュ
ーラルネットワークと完全な互換性を持つことができ
る。

【００３６】次に、従来の階層型ニューラルネットワー
クとの互換性について述べる。具体的に、本発明のニュ
ーラルネットワークが従来のニューラルネットワークと
互換性があり、容易に既存システムに置き換え可能であ
ることを説明する。ニューラルネットワークの各重み
は、図３に示すような数値配列により表現される。各層
の素子の数と素子間の重みの値とにより、ニューラルネ
ットワークの内部構造や性質が決定される。従来のニュ
ーラルネットワークのデータベース構造の一例を、表1
に示す。このデータベースは、入力層、中間層、出力層
の素子の数と、各層の素子相互間の重みの大きさ
（ｗ₁₁，ｗ₁₂，……，ｖ₁，ｖ₂等）とからなる。

【００３７】

【表１】

【００３８】本実施形態のニューラルネットワークは、
このデータベースにおける入力層素子と中間層素子との
間の任意の重みｗ_ijを０にするだけで表現することが可
能であり、従来のニューラルネットワークと全く同じデ
ータベース構造を採用することが可能である。

【００３９】次に、従来のニューラルネットワーク装置
（学習部分を除く予測・診断等の部分）を図4に示す。
簡単のために、図４では最小限の構成のみを示してい
る。この装置は、予測・診断等を行う機器や計算機であ
り、記憶装置（ＨＤＤ、ＲＯＭ、ＲＡＭ、外部記憶装置
等）１３に学習済みのニューラルネットワークのデータ
ベースが保存され、ニューラルネットワークの演算結果
を表示・伝送装置（ディスプレイ・プリンタ・スピーカ
・ＬＡＮ・電話回線等）１７に出力している。なお、１
４は入力データ読み込み部、１５は重み読み込み部、１
６はニューロ（ニューラルネットワーク）算出部、１８
は予測・診断等の結果を保存する保存部である。通常、
ニューラルネットワークのデータベースは他の計算機に
より再学習され、定期的に更新されることが多い。本発
明のニューラルネットワークは、現状のニューラルネッ
トワークとデータベースレベルで互換性があるので、装
置の改造の必要が全くない。

【００４０】従来の階層型ニューラルネットワークは、
中間層素子が入力層素子と全結合していることから、中
間層部分で入力層からのデータ全てが混ざるため、入力
データと出力値との関係を解析することが困難であっ
た。しかし、本発明のニューラルネットワーク構造は疎
結合部分を有し、中間層部分において入力層からのデー
タを任意の入力因子ごとに分離しているため、解析が容
易である。入力因子の相互作用分のように分離不可能な
要素は、全結合部分がある場合にはその部分で処理する
ため、従来と同等の精度も保証することが可能である。
なお、本実施形態におけるニューラルネットワークの具
体的な解析手法については後述する。

【００４１】（２）請求項２の発明の実施形態 請求項２の発明は、請求項１の発明に係るニューラルネ
ットワークの学習方法に関する。この発明の実施形態
を、図５のフローチャートを参照しつつ説明する。第１
ステップＡ１は、通常のニューラルネットワークの重み
初期化処理である。具体的には、図２の通常のニューラ
ルネットワークの各層の素子間の全ての重みに対して初
期値を小さい数の乱数で与える。ここで、プログラム的
に、入力層と中間層との間の任意の結合がないニューラ
ルネットワーク構造を定義してもよい。この場合は、以
下の第２，第４ステップの処理は不要である。

【００４２】第２ステップＡ２は、重みを初期化したニ
ューラルネットワークに対し、請求項１の発明のニュー
ラルネットワーク構造に変更するための処理である。す
なわち、任意の入力層素子と中間層素子との間の結合を
削除する。ここで、結合を削除するための最も簡単な方
法は、任意の重みの値を０に置き換える方法である。

【００４３】第３ステップＡ３は、通常のニューラルネ
ットワークの重み修正量の計算である。学習誤差を評価
する評価関数が小さくなるように、入力層素子と中間層
素子との間の重みの修正量を計算する。ここでの評価関
数の一例を以下の数式１に示す。勿論、後述する各請求
項の発明の実施形態のように他の評価関数を用いても良
い。

【００４４】

【数１】Ｊ＝１／２・（ｏ−ｔ）²

【００４５】なお、数式１において、Ｊ：評価関数、
ｏ：ニューロ出力、ｔ：教師信号（学習目標値）であ
る。

【００４６】第４ステップＡ４は、請求項１の発明のニ
ューラルネットワーク構造のための重み修正量の再修正
である。第３ステップＡ３の計算により、結合がない任
意の重みが再構築されることがある。それを防止するた
めに任意結合の重みの修正量を強制的に０にする。

【００４７】第５ステップＡ５は、重みの修正処理であ
る。第３ステップ、第４ステップを経て計算された最終
的な修正量に従って入力層素子と中間層素子との間の重
みを修正する。重みの修正量を△ｗ_ij、重みをｗ_ij、学
習係数をαとすると、数式２により重みを修正すること
ができる。

【００４８】

【数２】ｗ_ij＝ｗ_ij＋α△ｗ_ij

【００４９】なお、第３ステップＡ３以降の処理は、学
習誤差が規定値以下になって学習終了が確認されるまで
繰り返し行われる（ステップＡ６）。ここで、学習終了
の判断は、評価関数や全学習データに対する誤差が規定
値以下になったかとき、もしくは、学習回数が所定回数
に達したか否かにより判断することができる。

【００５０】（３）請求項３の発明の実施形態 請求項２の発明の実施形態で説明した数式１の評価関数
では、学習誤差を小さくすることはできるが、不要な結
合を含むことが多い。不要な結合はニューラルネットワ
ークの構造を複雑にし、その解析を困難にする大きな原
因となる。このため、請求項３の発明は請求項２の発明
の第３ステップＡ３を改良したものである。これによ
り、不要な結合を自動的に削除することが可能になる。
この実施形態で使用される評価関数は、数式３により表
される。

【００５１】

【数３】Ｊ_f＝（出力誤差を評価する項）＋ε’（ニュ
ーラルネットワークの複雑さを評価する項）

【００５２】具体的には、ニューラルネットワークの複
雑さを評価する項の相違により、以下の数式４〜数式７
がある。

【００５３】

【数４】Ｊ_f＝1/2・（ｏ−ｔ）²＋ε’Σ｜ｗ_ij｜

【００５４】

【数５】Ｊ_f＝1/2・（ｏ−ｔ）²＋ε’Σｗ_ij ²

【００５５】

【数６】Ｊ_f＝1/2・（ｏ−ｔ）²＋ ε’（Σ｜ｗ_ij｜＋βΣ(全結合部分の重み)｜ｗ_ij｜）

【００５６】

【数７】Ｊ_f＝1/2・（ｏ−ｔ）²＋ε’（Σｗ_ij ²＋βΣ
(全結合部分の重み)ｗ_ij ²）

【００５７】ただし、Ｊ_f：忘却付き学習の評価関数、
ε’：忘却係数、ｗ_ij：重み、β：係数である。ここ
で、ニューラルネットワークの忘却付き学習は、例えば
「ニューラルネットの忘却付き構造学習」（日本ファジ
ィ学会誌Vol.9,No.1,pp2-9(1997)）等にその学習アルゴ
リズムが記載されている。この忘却付き学習アルゴリズ
ムは、出力誤差が小さく、かつ、各層間の不要な結合の
生成が抑制されたニューラルネットワークを構築するも
のである。前記数式３の評価関数では、出力誤差を評価
する項が０に近いほど学習目標値に近い出力をしている
ことになり、また、ニューラルネットワークの複雑さを
評価する項が小さいほどネットワークの構造が単純であ
ることを示す。この評価関数値は小さければ小さい程良
い。

【００５８】前記数式６，数式７の評価関数では、全結
合部分の重みを多く加算しているので、全結合部分の成
長を抑制することが可能である。全結合部分は従来のニ
ューラルネットワークと同じ構造であるため解析困難な
部分である。解析のためには疎結合部分の成長が欠かせ
ない。このため、数式６，数式７の評価関数は、全結合
部分の成長が抑制されるため解析が容易な構造になり易
い特徴を持つ。また、数式４，数式５の出力誤差を評価
する項は何れもニューロ出力値から学習目標値を引いた
出力誤差の２乗であるが、ニューラルネットワークの複
雑さを評価する項は、数式４では重みの絶対値の和であ
り、数式５では重みの２乗和である。ネットワークの複
雑さを評価するために重みを用いる理由は、例えば重み
が０ならば結合はないことになり、結合が少ないほどネ
ットワークの構造が単純になるからである。例えば数式
４の評価関数を用いる場合、実際の重みの修正には次の
数式８を用いる。なお、数式８において、η：学習係数
である。

【００５９】

【数８】

【００６０】（４）請求項４の発明の実施形態 請求項４の発明は、請求項２、請求項３の学習方法にお
いて、第６ステップとして、有効に作用していない不要
な中間層素子をバイアス素子（入力層の入力値が変化し
ても出力値が変化せずに一定値を出力するバイアス素子
的な振る舞いをする中間層素子をいう）に融合し、ま
た、入力層の入力値の変化に対して同じ働きをする中間
層素子同士を融合することで、中間層素子を削減する学
習方法を提供するものである。請求項１の発明のニュー
ラルネットワーク構造は、内部解析を目的として疎結合
部分を設けたものである。しかし、不要な結合や中間層
素子がある場合には、適切に内部解析を行えない問題が
ある。請求項３の発明は、不要な部分を各層素子間の結
合単位で削除するが、請求項４の発明は中間層素子単位
で削除することが特徴である。また、学習中に中間層素
子が削減されるため、計算量も削減されて学習の高速化
にも効果的である。

【００６１】中間層素子を削減するための手法として、
従来技術である図６のコンパクト構造化法（コンパクト
構造化法については、例えば増田達也ほかによる「隠れ
ユニットの合成による階層型ニューラルネットワークの
コンパクト構造化」（計測自動制御学会論文集Vol.28,N
o.4,pp.519-527(1992)を参照）をそのまま適用しても比
較的良好な結果が得られるが、図7に示すような処理を
行うことにより更に良好な結果が得られる。簡単のた
め、まず図6を最初に説明する。図6における初期化ステ
ップＢ１とは、図５における第１ステップＡ１、第２ス
テップＡ２に相当し、図６の学習処理ステップＢ２と
は、図５の第３ステップＡ３、第４ステップＡ４、第５
ステップＡ５に相当し、図６の学習終了を判断するステ
ップＢ９が図５のステップＡ６に相当する。また、図６
のコンパクト構造化部分の各ステップＢ４〜Ｂ８が、図
５に図示されていない本実施形態固有の第６ステップに
相当する。図６のステップＢ３においてコンパクト構造
化に移行する条件としては、例えば、学習回数が所定値
に達したことや学習誤差が減少しなくなったこと等があ
る。

【００６２】コンパクト構造化部分において、まず最初
に各中間層素子出力の分散を算出する（ステップＢ
４）。分散とは、中間層素子の重要度や有効性を示す評
価指標にも使われる統計指標であり、例えば中間層素子
の出力値系列を用いて数式９により表される。

【００６３】

【数９】

【００６４】ステップＢ４で算出した複数の分散のうち
一つでも規定値以下のものがあれば、これを不要中間層
素子と見なしてバイアス素子に融合する（ステップＢ
５，Ｂ６）。全ての分散が規定値以下でないときには、
中間層素子の各相関係数を算出する（ステップＢ７）。
例えば、中間層素子が３つある場合には、素子１−素子
２、素子２−素子３、素子３−素子１の３通りの相関係
数を算出し、このうち相関係数が規定値以上である中間
層素子同士を、情報伝達的に同じ働きをする素子と見な
して融合する（ステップＢ８，Ｂ６）。ステップＢ８に
おける規定値は、相似度を示す−１〜＋１の指標であ
り、±１に近いほど相関が高く、０に近いほど相関が低
いものとする。なお、相関係数は、二つの中間層素子の
出力値系列を用いて、例えば数式１０によって表され
る。

【００６５】

【数１０】

【００６６】複数の中間層素子の分散を算出して多数の
分散が規定値以下の場合、最も分散が小さい中間層素子
とバイアス素子とを融合させる。一度に融合可能な全て
の素子を融合させることも考えられるが、一度のコンパ
クト構造化に対し融合回数を１回に制限した方が良好な
学習結果が得られることが多い。また、相関係数の値が
規定値以上である中間層素子の組み合わせが多数ある場
合には、相関係数の値が最も大きい中間層素子同士の組
み合わせを融合させる。この場合も、融合回数を１回に
制限した方が良好な学習結果が得られることが多いため
である。ステップＢ９では、学習回数が所定値に達した
時点で学習終了と判断する。

【００６７】次に、図7に基づいて本発明の実施形態を
説明する。基本的な考えは図6と同様であるが、過度の
融合を防止するための処理を有する点が特徴となってい
る。この実施形態では、ニューラルネットワークの学習
中は中間層素子同士の融合をある程度制限している。ニ
ューラルネットワークの中間層素子は、学習の進行に伴
って成長し、役割が分化する。学習初期段階において出
力値系列が同じような中間層素子（相関が高い）同士で
あっても学習の進行に伴い出力値系列が変化して相関が
低くなる可能性がある。そこで、学習中は融合をある程
度制限し、学習終了後に中間層素子の役割が十分明確に
なった時点で融合を促進するようにした。

【００６８】まず、図７のステップＣ１〜Ｃ３，Ｃ７
は、図６のＢ１〜Ｂ３，Ｂ９と同様である。図７のステ
ップＣ３からジャンプしたコンパクト構造化１（学習中
のコンパクト構造化）の処理では、分散の小さい不要な
中間層素子とバイアス素子との融合は行うが、相関の高
い中間層素子同士の融合は禁止している。具体的には、
ステップＣ４で算出した分散が規定値以下の場合に中間
層素子とバイアス素子とを融合する（ステップＣ５，Ｃ
６）。特に、不要な中間層素子が２つ以上のときにのみ
バイアス素子と融合し、常に不要な中間層素子を１つ以
上残す処理を加えれば、過融合を効果的に防ぐことがで
きる。

【００６９】学習終了後のコンパクト構造化２の処理で
は、分散の小さい不要な中間層素子とバイアス素子との
融合（ステップＣ９のYes分岐，Ｃ１０，Ｃ１３，Ｃ１
４）と、相関の高い中間層素子同士の融合（ステップＣ
９のNo分岐，Ｃ１１，Ｃ１２，Ｃ１０，Ｃ１３，Ｃ１
４）との両方を行う。また、分散が規定値以下または相
関係数が規定値以上の場合にはニューラルネットワーク
の各層の素子間の重みを記憶することによってニューラ
ルネットワークを保存し（ステップＣ１０）、学習誤差
を算出してから中間層素子の融合を行う（ステップＣ１
３，Ｃ１４）。なお、学習誤差の算出は、保存したニュ
ーラルネットワークを用いて実際の出力であるニューラ
ルネットワーク出力値と学習目標値との誤差を検出す
る。その後、学習誤差を再度算出し（ステップＣ１
５）、その誤差を融合前の誤差と比較して悪化するか否
かを判断する（ステップＣ１６）。学習誤差が悪化する
ときには融合を禁止し、ステップＣ１７により融合前の
ニューラルネットワークを復元する（各層の素子間の重
みを融合前の値に戻す）。

【００７０】このように、コンパクト構造化２では、融
合した後の学習誤差が融合前よりも悪化する場合には融
合前のニューラルネットワークを復元し、学習誤差が改
善される場合にのみ融合を実施することにより、コンパ
クト構造化における過融合を防止している。本実施形態
において、融合のためのしきい値（分散や相関係数と比
較する規定値）を中間層素子ごとに変化させてもよい。
例えば、疎結合につながる中間層素子のしきい値を厳し
くして融合を抑制し、全結合につながる中間層素子のし
きい値を緩くして融合を促進することにより、全結合部
分を小さくすることが可能である。

【００７１】（５）請求項５の発明の実施形態 請求項３、請求項４のアルゴリズムにより、学習中に生
じた不要な中間層素子や不要な結合を削除することが可
能であるが、基本的には疎結合部分と全結合部分との成
長速度に差がないため、疎結合部分の学習が速やかに行
われず、疎結合部分が充分に成長しない可能性がある。
もし、疎結合部分が少なく全結合部分が多い場合には、
従来のニューラルネットワークと同様に解析が困難であ
る。そこで、この実施形態では疎結合部分の学習を加速
して成長を促進するような評価関数を導入する。

【００７２】図8は、本実施形態の処理を示すフローチ
ャートである。請求項２の発明の実施形態である図５と
比較すると、第２−１ステップとして中間層素子の並び
替えステップＤ３が追加されたことと、第３ステップＤ
４の修正量算出のための評価関数が変更されたことに特
徴がある。

【００７３】本実施形態の中間層素子の並び替えステッ
プＤ３では、任意の結合を削除して形成された図２に示
すニューラルネットワークを並び替え、図９のように疎
結合部分１２をひとまとめにして部分ニューロ１（グル
ープ１）と定義し、疎結合部分１２と全結合部分１１を
含む全体を部分ニューロ２（グループ２）と定義する。
図２のケースでは、疎結合部分１２が左側にまとまって
いるため、図９では並び替えが行われていないが、一般
的には疎結合部分を並び替えてひとまとめにし、部分ニ
ューロ１，２を定義する必要がある。

【００７４】次に、第３ステップＤ４において使用する
評価関数を説明する。上述した部分ニューロ１の出力を
Ｏ₁，部分ニューロ２の出力（通常のニューロ出力）を
Ｏ₂、教師信号（学習目標値）をｔとすると、部分ニュ
ーロ１，２の評価関数Ｊ₁，Ｊ₂を数式１１とする。

【００７５】

【数１１】Ｊ₁＝１／２・（Ｏ₁−ｔ）²， Ｊ₂＝１／２・（Ｏ₂−ｔ）² （通常の評価関数）

【００７６】実際の評価関数は、２つの評価関数Ｊ₁，
Ｊ₂をまとめて数式１２のようになる。

【００７７】

【数１２】Ｊ＝γ₁Ｊ₁＋γ₂Ｊ₂

【００７８】数式１２の評価関数Ｊは重畳エネルギー関
数と呼ばれており、「重畳エネルギー関数による多層パ
ーセプトロンの冗長性削減」（電子情報通信学会論文誌
D-II,Vol.J80-D-II,No.9,pp.2532-2540 1997年9月）等
に詳しく説明されている。なお、数式１２における
γ₁，γ₂は、部分ニューロ１，２の評価関数Ｊ₁，Ｊ
₂（部分エネルギー関数）の重みを示す。この重畳エネ
ルギー関数が最小になるとき、不要な分散表現が抑制さ
れ、かつ中間層素子の重要度順に並んだニューラルネッ
トワークを得ることができる。また、重畳エネルギー関
数では、中間層素子のうち上位側（図９における左側）
の素子に関する結合ほど、少ない素子数で学習目標値を
生成するように学習が進行する特徴がある。

【００７９】上記分散表現とは、一つでも足りる結合が
複数の結合に分散されること、つまり、その結果多くの
結合が必要になることを示し、不要な分散表現が多い場
合にはそれだけ結合も多く、ニューラルネットワーク構
造は複雑化、冗長化する。数式１２の評価関数Ｊにおい
て、Ｊ₂は全結合部分１１及び疎結合部分１２を含む通
常の評価関数であるが、Ｊ₁は疎結合部分１２の評価関
数である。疎結合部分１２はＪ₁，Ｊ₂両方に関わってい
るため、この疎結合部分１２の誤差を早く減少させよう
として学習（評価関数Ｊを用いた重み修正量の計算）が
加速される。これにより、分散表現の発生が抑制されて
ニューラルネットワーク構造の簡素化が可能になる。

【００８０】（６）請求項６の発明の実施形態 請求項６の発明は、請求項５の発明を改良したものであ
る。上述した請求項５の発明では、疎結合部分１２の中
間層素子同士は互いに同じ速度で学習が進んで成長し、
全結合部分１１の中間層素子同士も互いに同じ速度で学
習が進んで成長する。同じ速度で成長した場合には、１
つの結合が複数の中間層素子に分散して記憶され、中間
層素子が多く必要になることがある。このような場合
は、中間層素子の重度は低下するが不要と判断するほど
低下はしないので、請求項３、４の発明をもってしても
中間層素子を削除できないことがある。つまり請求項５
の発明は、疎結合部分１２と全結合部分１１とで比較す
ると疎結合部分の成長が早いが、疎結合部分１２の中間
層素子同士、全結合部分１１の中間層素子同士では成長
の差がないので、充分に中間層素子を削減できない可能
性がある。

【００８１】請求項６の発明の実施形態を説明する。請
求項６の発明の実施形態では、請求項５の発明の実施形
態における中間層素子の並び替えステップＤ３及び第３
ステップＤ４を改良する。中間層素子の並び替えステッ
プでは、図１０に示すように疎結合部分の中間層素子と
全結合部分の中間層素子とを交互に配置してＨ個の部分
ニューロ（図１０の例ではＨ＝６）を定義する。そし
て、改良された第３ステップでは、数式１３のようなＨ
個の部分ニューロの評価関数の和を評価関数（重畳エネ
ルギー関数）として使用し、重みの修正量を算出する。
数式１３において、γ_iは、部分ニューロの評価関数Ｊ_i
の重みを示す。

【００８２】

【数１３】

【００８３】図１０のニューラルネットワークは、部分
ニューロ１における結合が最も早く成長し、部分ニュー
ロ６における結合は相対的に成長が抑制される。このこ
とは、重畳エネルギー関数においては、中間層素子のう
ち上位側（図１０における左側）の素子に関する結合ほ
ど、少ない素子数で学習目標値を生成するように学習が
進行して成長するという特徴による。つまり、本実施形
態では、疎結合部分の中間層素子間でも成長速度が異な
るし、疎結合部分の中間層素子と全結合部分の中間層素
子との間でも成長速度が異なる。このように、各部分ニ
ューロにおける成長速度に差をつけることで、中間層素
子の要・不要の判定を容易に行うことができ、不要な中
間層素子の削除も迅速に行われる。

【００８４】（７）請求項７の発明の実施形態 請求項７の発明は、請求項５、請求項６の発明の評価関
数の改良に関するものである。請求項５，６の発明は、
学習過程において中間層素子ごとに成長速度（学習速
度）に差を付けるような評価関数を用いて重みの修正量
を算出することにより不要な中間層素子を抑制する方法
である。つまり、中間層素子ごとに作用する。一方、請
求項２または請求項３の発明は、評価関数により計算し
た修正量を用いて重みを修正するものであり、いわば個
別の重みごとに作用する。これらの両者を融合させるこ
とで、不要な中間層素子や結合が非常に少ないニューラ
ルネットワークを構築することができ、解析の容易化に
寄与することができる。

【００８５】本発明の実施形態における評価関数は、以
下のように２つの要素より成り立つ。 評価関数＝成長速度に差を付ける評価関数＋不要な中間
層素子を抑制する評価関数 具体的な評価関数は、数式１４によって表される。

【００８６】

【数１４】

【００８７】数式１４の右辺第１項は数式１３と同一で
あり、数式１２とも実質的に同一である。すなわち、こ
の第１項によって一部の中間層素子の成長を促す働きが
ある。 また、数式１４の右辺第２項は、請求項３の発
明の実施形態で説明した数式４〜数式７の何れを使用し
ても良い。特に、数式６または数式７の何れかを適用す
れば、前述のように全結合部分の生成を抑制できるた
め、疎結合部分の成長が相対的に早くなり、解析容易な
ニューラルネットワーク構造となる。

【００８８】（８）請求項８の発明の実施形態 請求項８の発明は、請求項５，６の発明の学習方法を交
互に複数回実施する方法である。請求項６の方法による
学習は、疎結合部分、全結合部分の中間層素子が交互に
並んでいるため、全結合部分の中間層素子が全く必要と
しない問題に対しても、全結合部分が構築される可能性
がある。よって、請求項８の発明では、請求項６の発明
による学習後に請求項５の発明で再学習することで、不
必要に生じた全結合部分の中間層素子を抑制する。ま
た、この処理を複数回繰り返すことにより、一層最適な
構造に近づけることができる。勿論、請求項２や請求項
４の発明を組み合わせることで、更に解析容易な構造が
得られるのは言うまでもない。

【００８９】図１１は、本発明の実施形態による学習と
それにより構築されるニューラルネットワーク構造の変
化を示す概念図である。なお、このニューラルネットワ
ークは、一例として電力需要量を予測するためのもので
あり、入力層には電力、気象、特異日等のデータが入力
されている。

【００９０】図１１の（ａ）段階は学習開始前のニュー
ラルネットワーク構造であり、各サブネットワークごと
に２つの中間層素子（合計８個）を有している。このう
ち、中間層素子１〜６は疎結合部分、中間層素子７，８
は全結合部分（相互作用分）を構成している。（ｂ）は
請求項６の発明の実施形態による学習（学習段階１）で
あり、疎結合部分、全結合部分の中間層素子が交互に配
置されている。また、部分ニューロは４個形成される。
（ｃ）は請求項５の発明の実施形態による学習（学習段
階２）である。（ｂ）の学習を経ているため、成長によ
っていくつかの中間層素子が削減されている（請求項
３、４の発明の実施形態を付加していた場合）。（ｃ）
では部分ニューロは２個となっており、疎結合部分が部
分ニューロ１を、疎結合部分及び全結合部分が部分ニュ
ーロ２を構成している。

【００９１】請求項８の発明では、少なくとも上記
（ｂ），（ｃ）の学習を交互に繰り返して行うことによ
り、不要な中間層素子を削減することが可能である。特
に、（ｂ），（ｃ）の学習を複数回、交互に繰り返すと
一層効果的である。なお、（ｄ）は、通常の重畳エネル
ギー関数法による学習を（ｃ）の後に行った結果であ
り、このように他の学習アルゴリズムと組み合わせても
良い。（ｅ）は、学習終了後に構築されるニューラルネ
ットワーク構造である。当初の構造に比べて中間層素子
が大幅に削減され、必要な中間層素子、重み結合のみに
よってネットワークが構築されている。

【００９２】（９）請求項９の発明の実施形態 次に、請求項９の発明による解析方法を説明する。この
発明は、請求項２〜８，２１〜２５の何れか１項に記載
された方法により充分に学習をし、不要な中間層素子や
結合が削除されたニューラルネットワークを対象とし
て、その素子間の結合状態（入力層素子から出力層素子
に至る経路等）から内部状態を解析する手法である。典
型的なパターンを表２に示す。

【００９３】

【表２】

【００９４】表２に示すように、例えば入力層から出力
層までに結合が１経路しか存在しない場合には、一元一
次関数で示されるように入出力関係が線形である可能性
が高く、また、複数経路を持つ場合には、一元二次関数
で示されるように入出力関係が非線形である可能性が高
い。更に、中間層素子に複数の入力層素子との結合が存
在する場合には、二元二次関数のように入力因子の相互
作用を有する非線形である可能性が高い。このように、
請求項２〜８，２１〜２５の何れか１項に記載された方
法により学習されたニューラルネットワークを対象とし
て、素子間の結合状態により線形性、非線形性といっ
た、入力因子（入力層素子及びこの素子に入力されるデ
ータを総称した概念である）の出力への影響度合いを大
まかに解析することができる。

【００９５】（１０）請求項１０記載の発明の実施形態 請求項１０の発明は、入力層素子・中間層素子の評価指
標からニューラルネットワーク構造を解析する方法であ
る。解析の対象となるのは請求項１の発明によるニュー
ラルネットワークであり、疎結合部分を有するニューラ
ルネットワークである。ここで、評価指標は、goodness
factor, effectiveness factor, 分散、逆写像の４種
類である。以下、これら４つの評価指標を概説するが、
評価指標そのものは本発明の趣旨ではない。表３に評価
指標を用いた解析例を示す。単独または複数の評価指標
により入力層素子、中間層素子を評価することで、ニュ
−ラルネットワ−クの内部構造を解析することができ
る。

【００９６】

【表３】

【００９７】（１）goodness factor（入力層素子、中
間層素子について使用） 入力信号を利用する方法である。これは、中間層素子か
ら出力層素子へ出力される入力信号の総和であり、中間
層素子の有効度を表す指標である。この値が小さいほど
出力層素子への影響が少ないため、「不良」素子とみな
される。

【００９８】（２）effectiveness factor（入力層素
子、中間層素子について使用） 重みを利用する方法である。effectiveness factorは中
間層素子に結合している全ての重みの二乗和で表され
る。これは、ニュ−ラルネットワ−ク収束時において、
素子に結合している全ての重みが小さければその素子の
有効度は低く、「不良」素子であるという考え方であ
る。この方法は、基本的に重みだけで判断が可能なた
め、前述のgoodness factorのように誤差や出力の計算
が不要であり、計算量が少ないという特徴がある。

【００９９】（３）分散（中間層について使用） 中間層素子の活性度合いを利用する方法である。不要素
子は、入力パターンが変化しても出力が変化しないとい
う考え方である。複数の検査用パターンを入力して、中
間層素子の出力の分散が大きいもの（出力の変化が大き
いもの）を有効素子、分散が小さいものを不要素子とす
る。

【０１００】（４）逆写像（入力層について使用） シグモイド関数を無視し、ニューロ内部構造を線形近似
する手法である。入力層から出力層へ至る重みを積和す
ることで、感度の近似値を求める。この指標は、effect
iveness factor同様に計算量が少ない利点がある。

【０１０１】図１２は上記各種の評価指標を説明するた
めの図であり、入力層素子がＩ個、中間層素子がＪ個、
出力層素子がＫ個の場合を示している。同図には、各評
価指標であるgoodness factor, effectiveness factor,
分散、逆写像の計算式もそれぞれ併記してある。ま
た、前記表３の解析例において、表３の上段に示すよう
に入力層素子ｘ₁，ｘ₂の各指標の大きさが全て同程度で
ある場合や、表３の中段に示すように特定の入力層素子
に結合される中間層素子の各指標の大きさが同程度であ
る場合には、入力層素子は対象構造である可能性が大き
いと判断できる。更に、表３の下段に示すごとく、入力
層素子の各指標の大きさに違いがある場合には、入出力
関係を示す関数の係数の大きさに違いがあると判断する
ことができる。

【０１０２】（１１）請求項１１の発明の実施形態 この発明は、任意のデータを入力したときの、中間層素
子から出力層素子に伝達される情報量から入力因子の出
力への影響を解析する方法である。なお、この発明の実
施形態も、請求項１の発明によるニューラルネットワー
クを対象としている。以下、この発明の概念を説明す
る。図１３において、中間層から出力層に伝達される情
報は中間層出力Ｏと重みｖとの積和である。つまり、こ
の情報は数式１５によって表される。

【０１０３】

【数１５】

【０１０４】ここで、｜ｖ_iＯ_i｜が最も大きい値を出力
する中間層素子は、出力への影響が最も強く、更にその
中間層素子に結合されている入力因子の影響も強いと言
える。例えば、図１３において、中間層素子１による｜
ｖ₁Ｏ₁｜が最も大きい場合には、入力１の影響が強く、
中間層素子２による｜ｖ₂Ｏ₂｜が最も大きい場合には入
力１，入力２の相互作用分が強いと言える。このため本
発明の実施形態では、各中間層素子から出力層素子に伝
達される情報量の大きさを検出することで中間層素子、
出力層素子及び入力層素子の間の結合の強さを知ること
ができ、ニューラルネットワークにおける入力因子の出
力への影響を解析することができる。

【０１０５】（１２）請求項１２の発明の実施形態 請求項１２の発明は、任意のデータを入力したときの、
入力データと中間層素子から出力層素子へ伝達される情
報との相関関係から、入力因子の出力への影響を解析す
る方法である。この発明も、請求項１記載のニューラル
ネットワークを対象とする。以下、本発明の概念を説明
する。図１３のニューラルネットワークに、（入力１，
入力２）＝（０，０）〜（１，１）の０.２刻みの複数
のデータを入力し、そのときに出力層素子へ伝達される
情報量が図１４のようになったとする。すなわち、中間
層素子１については情報量が次第に増加し、中間層素子
２についてはほぼ一定であり、中間層素子３については
次第に減少していくとする。これから、以下のことが分
かる。

【０１０６】中間層素子１は正の相関、つまり、入力
１は出力に対し正の相関がある。 中間層素子２は出力にほとんど影響を与えない。つま
り、中間層素子２に結合している入力１、入力２の相互
作用はほとんどない。 中間層素子３は、負の相関、つまり、入力２は出力に
対し負の相関がある。また、以上の〜より、が導
かれる。 出力を大きくするためには、入力１に大きな値を入力
し、入力２に小さな値を入力すればよい。 以上のように、入力値に対する中間層素子の挙動（それ
ぞれの中間層素子から出力層へ伝達される情報量）を検
出することにより、未知データ（学習していないｘ₁，
ｘ₂のパターン）に対しても、各入力因子や中間層素子
の働きが判っているために出力値を容易に推定すること
ができる。

【０１０７】（１３）請求項１３記載の発明の実施形態 次に、請求項１３記載の発明の実施形態を説明する。請
求項１の発明に係るニューラルネットワークは、その内
部に数式１６で示されるシグモイド関数を使用してい
る。

【０１０８】

【数１６】ｙ＝１／｛１＋ｅｘｐ（−ｘ）｝

【０１０９】シグモイド関数の出力範囲は０〜１である
ため、実際に使用するときには、０〜１や０．１〜０．
９の値に正規化して用いることが多い。例えば、気温を
予測するニューラルネットワークでは、−２０〜＋５０
℃を０〜１にし、株価を予測するニューラルネットワー
クでは、１日の変動幅として−２０００〜＋２０００円
を０〜１にする。しかし、学習により構築したニューラ
ルネットワークが期待通りの範囲の値を出力する保証は
なく、狭い範囲の値しか出力しないことも多い。そこで
本発明は、ニューラルネットワーク出力の実際の上下限
値を解析する方法に関する。

【０１１０】その手順は、請求項１２の発明の実施形態
と同様に、図１４に示すような、入力データと中間層素
子から出力層素子へ伝達される情報量との関係を調べ
る。図１４の例において、出力層素子へ伝達される情報
量を最小にするためには、中間層素子１（入力因子は入
力１のみ）に結合された入力１の入力を０にし、中間層
素子３（入力因子は入力２のみ）に結合された入力２の
入力を１にすれば良いことが分かる。つまり、このニュ
ーラルネットワーク出力の下限値は、（入力１，入力
２）＝（０，１）を入力したときに得られる。ちなみ
に、このニューラルネットワーク出力の上限値は、（入
力１，入力２）＝（１，０）を入力したときに得られる
ことになる。

【０１１１】（１４）請求項１４記載の発明の実施形態 請求項１４の発明は、請求項９〜１２の発明によりニュ
ーラルネットワークを解析した結果、ニューラルネット
ワークが不合理な学習状態に陥ったことを判定するため
の異常判定方法に関する。また、これに付随する解析・
診断システムも開示している。ニューラルネットワーク
の学習対象がある程度既知である場合には、請求項９〜
１２の解析方法によりニューラルネットワークの学習状
態の良否を判定することができる。例えば、ニューラル
ネットワークによってダム流入量を予測する場合、ダム
流入量は上流流量差分（上流流量の時間差分）との相関
が非常に高く、以下の例によって学習不良と判断するこ
とが可能である。 上流流量との結合が構築されなかった場合 既存の予測式と内部解析結果との相違が大きい（流量
が増加しているのに、流入量が減っているなど）

【０１１２】図１５を参照しつつ、本発明の実施形態を
説明する。 （１）学習済みニューロ読み込み（ステップＥ１） 請求項１のニューラルネットワーク構造のニューロを読
み込む。ニューロを読み込むとは、その重みや素子数の
定義を読み込むことである。 （２）異常判定用ＤＢ読み込み（ステップＥ２） 学習不良を判定するためのＤＢを読み込む。異常を判定
するための基準は、各現象ごとに異なる。例えば、ダム
流入量予測では、上述の判定項目，が考えられる。
具体的な異常判定基準については後述する。 （３）ニューロ解析・診断（ステップＥ３） ニューラルネットワークを請求項９〜１２の何れかの発
明により解析する。そして、先に読み込んだ異常判定用
ＤＢと照合して学習状態を診断する。具体的な異常判定
方法については後述する。 （４）診断結果表示（ステップＥ４） 解析・診断の結果を表示し、必要に応じて警告音を発生
したり外部へ伝送する。

【０１１３】次に、本発明を実現する解析・診断システ
ムを図１６に示す。図１６において、記憶装置２１と
は、ＦＤＤ，ＨＤＤ，ＭＯ，ＲＡＭ，ＲＯＭ等の内部記
憶装置と外部記憶装置を総称したものである。記憶装置
２１には、ニューラルネットワークの重み、異常判定用
ＤＢが保存されている。また、学習状態の診断結果も記
憶装置２１に保存される。ニューロ読み込みモジュール
２２、異常判定用ＤＢ読み込みモジュール２３、解析・
診断モジュール２４の作用は、図１５のフローチャート
で説明した通りである。解析・診断の結果は、運用者に
知らせるためにＣＲＴ、プリンタ等の表示装置２６に表
示（または印刷）される。この表示装置２６を持たない
装置では、異常時にブザー２５により警告したり、ＬＡ
Ｎ・電話回線２７を介して他の計算機等へ伝送すること
も可能である。

【０１１４】（１５）請求項１５の発明の実施形態 請求項１５の発明は、上述した請求項１４の異常判定方
法において、学習対象の現象が定性的に判明していると
きに、ニューラルネットワークの結合状態から異常判定
を行う方法である。例えば、ダム流入量予測では、上述
のように上流流量差分の影響が大きいことが定性的に判
明している。つまり、入力因子としての上流流量差分に
つながる結合の重みが他の結合の重みと比較して一定値
以下ならば異常（学習不良）と判定する方法である。こ
こで、上流流量差分につながる結合とは、入力層素子
（上流流量差分の入力）と中間層素子との結合や、中間
層素子（上流流量に関係する疎結合の中間層素子）と出
力層素子との結合のことをいう。

【０１１５】上記異常判定を実現する具体的な方法とし
ては、異常判定データベースに、例えば上流流量差分に
つながる結合の重みが一定値以下の場合、もしくは他の
結合の重みより一定値未満（他の重み平均の８０％未満
等）の場合を異常と判定するように登録する。

【０１１６】（１６）請求項１６の発明の実施形態 請求項１６の発明は、請求項１４の発明の異常判定方法
において、ニューラルネットワークの内部状態を示す数
値指標から異常判定を行う方法である。請求項１５との
違いは、請求項１５の発明は重み自体を対象として異常
判定データベースにより判定するのに対し、請求項１６
の発明では、請求項１０で説明した、goodness factor,
effectiveness factor, 分散、逆写像等の、入力層素
子、中間層素子の有効性を示す各種評価指標を用いて異
常判定を行う点である。

【０１１７】例えば、ダム流入量予測で異常と判定する
基準は以下の通りであり、この一部もしくは複数が成立
するときに、異常と判断する。 上流流量差分に関するgoodness factorが他より低い 上流流量差分に関するeffectiveness factorが他より
低い 上流流量差分に関する分散が他より低い 上流流量差分に関する逆写像の正負が逆（負のときに
異常）

【０１１８】（１７）請求項１７の発明の実施形態 請求項１７の発明は、請求項１４の発明の異常判定方法
において、学習対象の現象を表す数式が存在するとき
に、その数式とニューラルネットワークの内部状態との
相関係数が一定値以下の場合には、学習不良による不合
理な状態と判断して異常判定を行うものである。

【０１１９】例えば、上述ダム流入量予測では、上流流
量差分は出力に対して線形の関係であるとする。そのと
き、上流流量差分に関する中間層素子出力が非線形を示
す場合には学習不良による異常と判断する。それ以外の
例として、翌日電力需要量予測において、気温と電力需
要量とは２次の関係があることが判明している。従っ
て、気温に関する中間層素子の出力が２次でないときに
は、学習不良による異常と判断する。この実施形態にお
ける具体的な異常判定には、相関係数を用いる。相関係
数とは、−１〜１の範囲で出力される統計指標であり、
運用者が予め異常判定データベースに設定した数式と、
判定対象であるニューラルネットワークの出力の関係式
との間の相関係数が一定値未満ならば、学習不良による
異常と判定すればよい。

【０１２０】（１８）請求項１８の発明の実施形態 請求項１８の発明は、請求項１４の発明の異常判定方法
において、ニューラルネットワークの出力の上限値が学
習データの上限値よりも小さいとき、または、ニューラ
ルネットワークの出力の下限値が学習データの下限値よ
りも大きいときに、学習不良による異常と判定する方法
である。

【０１２１】ニューラルネットワークは任意のデータを
学習することで、学習データ通りに作用する内部構造を
獲得する。しかし、学習不良時には、期待通りに作用し
ないこともある。学習不良の典型例は、上下限値の飽和
である。実験データや自然現象から学習データを構築す
る場合には、その限界値（上下限値）のデータが不足す
ることが多い。例えば、気温を予測するニューラルネッ
トワークでは、１０〜２０℃のデータは豊富に用意する
ことが可能であるが、４０℃近辺のデータは少ないの
で、４０℃近辺の学習不良が起こりやすい。通常、ニュ
ーラルネットワークには数十の入力因子があり、全ての
入力パターンをテストすることは困難である。本発明で
は、請求項１３により解析したニューラルネットワーク
出力の上下限値が学習データの上下限値、もしくは期待
した上下限値よりも狭い範囲であった場合には、学習不
良と判断して異常判定を行う。

【０１２２】（１９）請求項１９の発明の実施形態 請求項１９の発明は、ニューラルネットワークが学習不
良であることが前述の請求項１４〜１８の発明等により
判明したときに、自動的に再学習する方法に関する。こ
の実施形態の処理を図１７に示す。図１７において、学
習（ステップＦ２）、解析・診断処理（ステップＦ３）
は、上述の各発明によって実現される。解析・診断によ
り学習したニューラルネットワークが異常（学習不良）
と判定されたとき（ステップＦ４）には、初期化（ステ
ップＦ１）を経て、再度学習を実施する。初期化（ステ
ップＦ１）では、学習条件、ニューラルネットワークの
構造等の各種情報をニューラルネットワークに入力する
が、通常は、前回の学習時と条件を変える。なお、初期
化処理は省略することもできる。

【０１２３】（２０）請求項２０の発明の実施形態 請求項２０の発明は、請求項１７の発明において、学習
状態の悪い範囲を自動的に特定し、その範囲の学習デー
タを増加させて再学習させる方法に関する。例えば、一
般に上流流量差分と出力との間には線形の関係があると
言われているが、後述する図２７では非線形であり、入
力データが０．８以上または０．２未満は飽和してい
る。つまり、入力データが０．８以上と０．２未満は学
習状態の悪い範囲である。

【０１２４】通常、ニューラルネットワークの学習不良
は、このようにある一定値以上または一定値以下におい
て飽和する状態を示すことが多いため、飽和領域を検索
することで容易に学習不良範囲を特定することが可能で
ある。学習不良の原因は、その範囲の学習データが極度
に不足していることが多い。従って、学習不良である範
囲の学習データを増加させて再度学習させることで、良
好な学習状態とすることができる。

【０１２５】〔実施例〕以下、請求項１〜請求項２０に
係る発明の実施例を説明する。第１実施例は、主として
請求項１４，４，８の発明に係るものである。ここで
は、簡単のために数式１７に示す２入力１出力の関数を
学習させた。なお、ｘ₁，ｘ₂の符号は、入力層素子と入
力データの両方の意味を持つものとする。

【０１２６】

【数１７】ｙ＝ｘ₁＋ｘ₂＋ｘ₁ｘ₂ （ｘ₁，ｘ₂＝｛０.０〜１.０｝）

【０１２７】学習のアルゴリズムは、図１１に示したよ
うに３段階の学習を行う方法であり、請求項３，４の中
間層素子の融合学習方法、不要中間層素子を抑制する評
価関数も組み合わせて使用している。第１段階、第２段
階、第３段階で使用した各評価関数を数式１８、数式１
９、数式２０にそれぞれ示す。なお、これらの数式にお
いて、γ_iは部分ニューロの評価関数の重み、ε’は忘
却係数、ｗは結合の重みである。

【０１２８】

【数１８】

【０１２９】

【数１９】

【０１３０】

【数２０】

【０１３１】このニューラルネットワークの学習誤差を
表４に示す。表４によれば、誤差が極めて小さく、良好
に学習できていることがわかる。

【０１３２】

【表４】

【０１３３】図１８（ａ）は、このニューラルネットワ
ークの学習に使用した学習データｘ ₁，ｘ₂，ｙを示し、
図１８（ｂ）は学習結果を示している。また、図１９は
学習前のニューラルネットワークの構造であり、２個の
入力層素子と、９個の中間層素子と、１個の出力層素子
とからなっている。そして、入力層素子と中間層素子と
の結合関係では、入力層素子ｘ₁とのみ結合している３
個の中間層素子を含む疎結合部分１２Ａ及び入力層素子
ｘ₂とのみ結合している３個の中間層素子を含む疎結合
部分１２Ｂと、全ての入力層素子ｘ₁，ｘ₂と結合してい
る３個の中間層素子を含む全結合部分１１とから構成さ
れている。

【０１３４】第２実施例として、第１実施例により学習
したニューラルネットワークの内部構造を解析する。こ
の実施例は、主として請求項９〜１１，１５，１６の発
明に関するものである。図２０において、左から１番目
の中間層素子１はｘ₁にのみ結合しており、疎結合部分
を構成している。この経路の情報はｘ₁にのみ影響され
るので、学習対象の関数には、ｘ₁だけの項が存在する
ことを示唆している。同様に、左から２番目の中間層素
子２はｘ₂にのみ結合しており、疎結合部分を構成して
いる。この経路の情報はｘ₂にのみ影響されるので、学
習対象の関数には、ｘ₂だけの項が存在することも示唆
している。これらのことは、ニューラルネットワークの
素子の結合状態から線形性等を判断する請求項９の発明
によって解析される。なお、図２０では、入力層、中間
層、出力層の各層の素子間の結合の重みを実線の太さで
示してあり、細線が０.１〜１.０、太線が１.０〜１０
である。

【０１３５】次に、図２０のニューラルネットワークに
ついて、４個の中間層素子の評価指標を算出すると、表
５のようになった。また、２個の入力層素子(入力因子)
の評価指標は表６のようになった。

【０１３６】

【表５】

【０１３７】

【表６】

【０１３８】表５によれば、１番目と２番目の中間層素
子１，２のeffectiveness factor，goodness factor ，
分散は同程度であるので、請求項１０の発明を適用する
ことにより、出力に対するｘ₁，ｘ₂の性質やその寄与度
が同じ可能性が高いと判断される。また、３番目、４番
目の中間層素子３，４は入力層素子ｘ₁，ｘ₂の両方に結
合していて全結合部分を構成しており、請求項９の発明
によれば、これら入力層素子ｘ₁，ｘ₂の相互作用もしく
はｘ₁，ｘ₂の非線形成分の存在が予想される。実際に、
数式１７の対象関数は、ｘ₁，ｘ₂の独立した項とｘ₁，
ｘ₂の相互作用の項（第３項）とを有し、また、ｘ₁，ｘ
₂は第３項において非線形結合している。更に、表６に
よれば、入力層素子ｘ₁，ｘ₂に関してもeffectiveness
factor，goodness factor ，分散は同程度であることが
わかる。

【０１３９】図２０に示すニューラルネットワークの入
力層素子に代表的な値を入力したときの中間層素子（疎
結合の中間層素子１，２、全結合の中間層素子３，４及
びバイアス素子）の出力を、表７に示す。表７によれ
ば、入力データに０を入れた場合でも出力が０にならな
い中間層素子があることが判る。従って、解析時には、
各中間層出力の下限値を調べ、対象関数のｙ＝ｘ₁＋ｘ₂
＋ｘ₁ｘ₂には表れていない固定分（ｙ＝ｘ₁＋ｘ₂＋ｘ₁
ｘ₂＋ｄにおけるｄ）がどのくらいあるか調べる必要が
あることが判る。

【０１４０】

【表７】

【０１４１】図２１〜図２４に、入力データの影響度合
いをシグモイド関数と共に模式的に表したグラフを示
す。図２１は入力データｘ₁，ｘ₂が（０，０）の場合、
図２２は同じく（０.５，０.５）の場合、図２３は同じ
く（１，１）の場合、図２４は同じく（１，０）の場合
である。これらの図から、入力データの大きさに応じ
た、各中間層素子や各入力層素子の出力に対する影響度
合いを容易に把握することが可能である。このことは、
請求項１１の発明の作用によるものである。更に、請求
項１５の発明によれば、入力素子ｘ₁，ｘ₂につながる結
合が存在し、かつお互いの重みの結合が同程度であるの
で学習が正常に行われており、学習不良による異常はな
いと判定することができる。また、請求項１６の発明で
も、表５、表６においてｘ₁，ｘ₂に関する評価指標が同
程度であるので、良好な学習が行われていて異常はない
と判定することができる。

【０１４２】次に、第３実施例を説明する。この実施例
は、主として請求項９，１０，１２，１５〜１７に関す
るものである。この実施例では、ダムの流入量を予測す
るニューラルネットワークを解析する。予測に使用する
入力因子は、表8に示すように、３つの測水所の流量、
流量差分（１時間おきの過去３時間分の流量）、予測対
象ダムの流量、流量差分（１時間おきの過去２時間分の
流量）、流域平均雨量（１時間おきの過去２０時間分の
流域平均雨量）である。

【０１４３】

【表８】

【０１４４】図２５は予測対象ダムの上流域の模式図で
あり、各流域に雨量計が設置され、各流域ごとに測水所
が設けられている。第１実施例と同じ学習アルゴリズム
によって獲得したニューラルネットワークの構造を図２
６に示し、入力値に対する出力層に伝播する情報及び出
力値を図２７に示す。

【０１４５】学習前の初期中間層素子を１２個として学
習を始めたが、学習により獲得した図２６の構造によれ
ば、中間層素子が３個にまで削減された。構築された図
２６のニューラルネットワークの中間層素子は、「上流
流量差分」、「雨量」、「相互作用分（全結合部分）」
につながり、「上流流量」、「ダム流量」、「ダム流量
差分」のみにつながる中間層素子は構築されなかった。
つまり、請求項９の発明から、「上流流量差分」、「雨
量」、「相互作用分（全結合部分）」は予測に重要な因
子であり、「上流流量」、「ダム流量」、「ダム流量差
分」は重要度の低い因子であることが分かる。ここで、
上記「相互作用分（全結合部分）」とは、複数の入力因
子の作用であって単独の成分では表せない複雑な成分を
示す。例えば、ｙ＝ｘ₁＋ｘ₂＋ｘ₁ｘ₂におけるｘ₁ｘ₂の
部分に相当する。

【０１４６】表９は、図２６の中間層素子１〜３のeffe
ctiveness factor, goodness factor, 分散を示してい
る。

【０１４７】

【表９】

【０１４８】表９のgoodness factorより、「上流流量
差分」のサブネットワークは非常に重要な働きを示すこ
とが分かる。これは請求項１０の発明による解析結果で
ある。これらのことは、運用者の感覚とよく一致してお
り、良好な学習結果であると判定することができる。こ
れは、請求項１５，１６の異常判定方法によるものであ
る。

【０１４９】また、図２７から、ニューロ出力に対して
は「上流流量差分」の成分が大きく影響しているが、入
力値（入力層）がほぼ０．２以下、０．７以上の範囲で
は飽和している。請求項１２の発明により、この範囲の
入力値に対しては、このニューラルネットワークはほと
んど出力の変化がないことがわかる。更に、運用者の感
覚によれば、上流流量差分と出力とは線形の関係があ
る。図２８に、上流流量差分のみにつながる中間層素子
１が出力層に伝搬する情報量を示す。上流流量差分は入
力値に対して線形度の相関係数Ｒ²が少し小さいので、
学習不良であることを示している。これは、請求項１７
による異常判別の結果である。特に、入力値がほぼ０．
２以下と０．７以上の範囲の学習データに対しては学習
不良である。「雨量」は、請求項１２の発明によれば、
入力値（入力層）が大きいときにのみ大きく変化する。
このことは、雨量が少ないときには地面に吸収されやす
く、多いときに流出しやすい現象を的確に表している。
「相互作用分」の変動はごく小さく、補正程度に作用し
ている。これは、請求項１２の発明による解析結果であ
る。

【０１５０】表１０は、各入力因子を個別に評価した指
標である。goodness factorが0.1以上の因子を見ると流
量差分や雨量の一部であり、運用者の感覚とほぼ一致す
る。これは、請求項１６の発明による。１０時間以前の
雨量の因子は小さいものが多い。対象のダムは１０時間
前までの雨量との相関が高いことがすでに判明してお
り、その結果とも一致している。

【０１５１】

【表１０】

【０１５２】次に、第４実施例を説明する。この実施例
は、主として請求項１１，１３，１７の発明に関するも
のである。本実施例では、翌日電力需要量予測を例題に
して解析を行う。入力因子は表１１に示すとおりであ
り、電力（最大電力）、気象（最高気温、最低気温、最
小湿度、天気）、特異日フラグ（土曜、休日）に関して
季節ごとに当日ｉから２日前（ｉ−２）まで、または当
日ｉから７日前（ｉ−７）までとした。

【０１５３】

【表１１】

【０１５４】中間層素子を１２個用意して学習した結
果、図２９に示す構造のニューラルネットワークが獲得
できた。図３０はこのニューラルネットワークの入出力
関係を示すもので、電力需要量は、至近の電力実績に対
しては正の相関があり、気温に対しては、正の相関と負
の相関が入り交じっていることが分かる。気温が低い時
には暖房機を、気温が高いときには冷房機を動かすため
に電力需要が増大する現象と一致する。このことは、電
力需要予測を行う運用者の感覚とも完全に一致してい
る。

【０１５５】通常、気温と電力需要量との間には２次の
関係があると言われる。図３１から、気温（気象）は２
次式との相関が非常に強いため、請求項１７の発明によ
り学習が良好に行われていると判定することができる。
また、電力需要量を下げる要因は、気温が中程度であっ
て至近の電力需要量が小さいことであり、逆に電力需要
量が上がる要因は、気温が高すぎるか低すぎるかのどち
らかに偏り、至近の電力需要量が大きいことである。つ
まり、このニューラルネットワークの下限値を与える入
力データは、電力に関する入力が０、気象に関する入力
が０．５のときであることが請求項１３の発明から判
る。具体的な実績データを表１２に示す。

【０１５６】

【表１２】

【０１５７】表１２における基準値は、図２９のニュー
ラルネットワークによる解析結果から、電力需要量を最
低にするであろう入力データに基づいて作成した。これ
は、請求項１３の発明による解析結果に基づく。実際、
実データの値を数例入力し、解析結果による下限値より
小さい値は出力されなかったことを確認した。

【０１５８】以下は、３種類の春季予測用ニューラルネ
ットワークに対し、実データを用いて請求項１１の発明
により入力因子の出力への影響を解析した例である。図
３２（４月９日）は、気象と電力の相関がない時期であ
り、予測値は電力実績のみに左右される。図３３（５月
３０日）は、気象と電力の相関が現れ始め、予測値は電
力と気象の２つの要因で決定される。図３４（６月２５
日）は、夏季に近く気温と電力の相関が強い時期であ
る。予測値は電力の影響が低下し、気温の影響が強くな
ってきている。

【０１５９】以上、請求項１〜２０記載の発明の実施形
態及び実施例を説明した。これらの発明によれば、従来
のニューラルネットワークと互換性があり、しかも内部
解析が可能である。すなわち、解析目的に応じたニュー
ラルネットワーク構造を学習時に与えることで、任意の
入力因子と出力との関係を容易に解析することができ
る。通常、この種の解析は目的を持って行うため、請求
項１〜２０記載の発明によって必要を満たすことができ
るが、ニューラルネットワークの学習時に解析目的がは
っきりしていないときには、適切なニューラルネットワ
ークの構造を与えることができない場合がある。そこ
で、以下の発明は、請求項１〜２０の発明を改良し、入
出力のデータの関係を自動的に解析して適切な構造のニ
ューラルネットワークを構築するようにした学習方法を
提供するものである。

【０１６０】（２１）請求項２１の発明の実施形態 請求項１〜２０の発明では、学習開始前に全結合部分と
疎結合部分につながる中間層素子をあらかじめ用意する
必要がある。そこで請求項２１の発明では、疎結合部分
だけで学習を行い、疎結合部分だけでは学習しきれない
ときにのみ全結合部分を追加することとした。すなわ
ち、この発明によれば最初に用意する中間層素子が少な
く計算量が少ないため、学習時間の短縮が可能になる。

【０１６１】図３５は、本発明の実施形態の処理を示す
フローチャートである。第１ステップＧ１は、通常のニ
ューラルネットワークの初期化処理である。具体的に
は、全ての重みに対し初期値を小さい数の乱数で与え
る。このステップは、図５におけるステップＡ１と同一
である。第２ステップＧ２は、解析可能なニューラルネ
ットワーク構造へ変形するための処理であり、任意の重
みを０にして削除する。ここで、全結合部分を生成せず
に、疎結合部分のみを生成することが必要である。第３
ステップＧ３は、通常のニューラルネットワークの重み
修正量の計算である。修正量を算出するための評価関数
は、前述した各評価関数の何れを用いても良い。

【０１６２】第４ステップＧ４は、解析可能なニューロ
構造のための修正量の再修正である。第3ステップＧ３
の計算により、削除したはずの結合が構築されることが
ある。それを防止するために、第２ステップで削除した
重みに関する修正量を強制的に０にする。第５ステップ
Ｇ５は、重みの修正処理である。計算された修正量にし
たがって重みを修正する。第６ステップＧ６は、学習終
了判断である。なお、このステップは図５におけるステ
ップＡ６と同一であり、請求項４における「第６ステッ
プ」とは異なる。このステップＧ６において、学習誤差
が規定値以下になるか、もしくは規定学習回数に達した
ら、学習終了と判断する。学習誤差が規定値以下になっ
たか否かは評価関数や全学習データに対する誤差により
判断する。ここで、学習誤差が規定値よりも大きい時に
は学習が終了していないと判断して第７ステップＧ７に
移行する。

【０１６３】第７ステップＧ７は、全結合部分の中間層
素子を追加する処理である。ステップＧ６までに学習が
終了しないということは、疎結合部分の中間層だけでは
学習ができないことを意味する。よって、全結合部分の
中間層素子を任意の個数追加して第３ステップＧ３に戻
る。全結合部分の中間層素子は通常は１つずつ追加する
が、一度に複数個追加してもよい。また、上記ステップ
の説明では省略したが、請求項１〜２０の発明では、不
要な中間層素子や結合を削除する技術を説明した。よっ
て、これらの技術を応用し、本実施形態においても、追
加しすぎた中間層素子や、学習中に発見された不要な中
間層素子等がある場合には、これらを削除するようにし
ても良い。

【０１６４】（２２）請求項２２の発明の実施形態 次に、請求項２２記載の発明の実施形態を説明する。請
求項１〜請求項２１の発明においては、ニューラルネッ
トワークの学習開始時（前記図５，図８等における第２
ステップとしての任意結合の削除ステップ）に、解析目
的に応じて任意のニューラルネットワーク構造を与えな
ければならない。つまり解析目的がはっきりしていない
ときには、不適切な構造を与えてしまう可能性がある。
そこで本発明では、学習開始時のステップ（任意結合の
削除ステップ）においてニューラルネットワーク構造を
自動的に構築する方法（自動的に結合を削除する方法）
を提供し、学習データの入出力関係から、入力因子を自
動的に複数のグループに分けることで適切な構造を与え
るようにした。これにより、将来の解析において不要と
思われる入力因子同士をまとめ、解析が必要と思われる
入力因子同士を別々にすることで、想定される解析目的
にあった構造のニューラルネットワークを前もって構築
することができる。

【０１６５】以下に、入力因子のグループ分けの原理を
示す。簡単のため、電力需要量予測問題を例に説明す
る。電力需要量予測問題とは、ある地域の翌日の最大電
力を予測する問題であり、電力会社において、発電機の
起動停止計画を立案するための重要な業務として位置付
けられている。電力需要量は、曜日、気温、至近の電力
実績等により予測することが可能である。表１３に、電
力需要量予測を行うための入力因子の例を示す。

【０１６６】

【表１３】

【０１６７】表１３において、入力因子は電力（最大電
力）、気象（最高気温、最低気温、天気）、特異日フラ
グ（土曜、休日）に関して季節ごとに当日ｉから２日前
（ｉ−２）まで、または当日ｉから７日前（ｉ−７）ま
でとし、合計で数十項目の因子により予測する。ここ
で、気温は１日前も２日前も極端に変化することは少な
く、似たデータになる確率が高い。また１日前の気温と
２日前の気温は予測値（ニューロ出力）に対し同じ傾向
を示すことが容易に想像でき、個別に解析する必要性は
低い。つまり、似ているデータ同士は個別に解析する必
要は低いので１グループにまとめ、似ていないデータ同
士は、個別に解析する可能性があるので別々にするよう
にした。以下に、入力因子をグループ化する方法を示
す。

【０１６８】第１ステップ ニューラルネットワークが学習するための学習データの
入出力関係を解析する。ここで、入力因子の似たもの同
士を複数のグループに分ける。グループ分けの方法は、
各入力因子の最大・最小値、標準偏差、相関係数等の単
純な統計的手法を利用する方法や、クラスター分析、判
別分析等の高度な統計手法等がある。

【０１６９】第２ステップ 第１ステップで得られたグループ分けにしたがって、ニ
ューラルネットワークを構築する。図３６は４入力１出
力のニューラルネットワークであり、入力１と入力２が
同グループとして判定された例である。ここで、中間層
素子数は、あらかじめ定義された学習条件により異な
る。なお、１１は全結合部分、１２は疎結合部分を示
す。

【０１７０】（２３）請求項２３の発明の実施形態 請求項２３の発明は、請求項２２の発明と同様に学習開
始時のステップ（任意結合の削除ステップ）における入
力因子のグループ分けに関するものであり、データの最
大・最小・平均・標準偏差等の単純な統計値を用いて入
力因子のグループ分けを行う方法である。特に、各入力
因子の最大・最小値は、ニューラルネットワークがデー
タを学習する上で必ず算出する値であり、最大・最小値
を使用する方法は、計算量の増加をほとんど伴わない方
法である。以下に、グループ分けを行うための判別式の
一例を示す。勿論、これらの式以外の形式でもグループ
分けは可能である。ここで、評価値が同じ入力因子同士
を同じグループと定義する。

【０１７１】判別式例１ 評価値_i＝int(log₁₀(abs(最大値_i−最小値_i))＋０.５)
（最小値_i≧０） 評価値_i＝−int(log₁₀(abs(最大値_i−最小値_i))＋０.
５) （最小値_i＜０） 判別式例２ 評価値_i＝int(ln(標準偏差_i)＋０.５) 判別式例３ 評価値_i＝int(log₁₀(平均_i)＋０.５) ただし、 ｉ：入力因子番号 評価値_i：ｉ番目の入力因子の評価値 int：小数点以下を切り捨てて整数にする関数 abs：絶対値を求める関数 である。

【０１７２】（２４）請求項２４の発明の実施形態 請求項２４の発明も、請求項２２の発明と同様に学習開
始時のステップ（任意結合の削除ステップ）における入
力因子のグループ分けに関するものであり、入力因子間
の相関係数を用いてグループ分けを行う方法である。相
関係数とは、−１〜１の値をとるデータの相似度を求め
る係数である。入力因子が３つあるときには、入力１と
入力２との相関係数、入力２と入力３との相関係数、入
力３と入力１との相関係数の計３つの値を求める。グル
ープ分けは、相関係数の高い入力因子同士を同じグルー
プとしてまとめる。詳細は、実施例で説明する。

【０１７３】（２５）請求項２５の発明の実施形態 請求項２４の発明では、入力因子間の相関係数によりグ
ループ分けを行っている。しかしこの方法は、入力因子
の数が増加すると指数関数的に計算量が増える欠点があ
る。そこで、簡便な方法として、入力因子と出力因子と
の間の相関係数だけに着目してグループ分けを行う。具
体的には、出力因子に対して同程度の相関係数である入
力因子同士を同じグループとしてまとめる。この発明で
は、学習開始時のステップ（任意結合の削除ステップ）
において、入力因子が４つあるときには、入力１と出力
との相関係数、入力２と出力との相関係数、入力３と出
力との相関係数、入力４と出力との相関係数と計４つの
相関係数を算出するだけで済む。従って、請求項２４の
発明と比べて入力因子の数が多いときには計算量が大幅
に削減されるので効果的である。また、グループが多く
なり過ぎないようにその数を規定値以下にすることも容
易である。相関係数は−１〜１の値をとるので、２グル
ープ以下に分けたいときには、相関係数が−１〜０，０
〜１のグループ分けにし、４グループ以下に分けたいと
きには相関係数が−１〜−０．５，−０．５〜０，０〜
０．５，０．５〜１のグループに分ければよい。

【０１７４】〔実施例〕次に、請求項２３の発明の実施
例を説明する。この実施例では、入力因子を自動的に分
類する方法を実施する。例題として用いるのは、冬季翌
日最大電力需要量予測用とダム流入量予測用のニューラ
ルネットワークである。翌日最大電力需要量予測におけ
る入力因子及び評価値を表１４に示し、ダム流入量予測
における入力因子及び評価値を表１５に示す。なお、評
価値は何れも以下の数式による。 評価値＝int(log₁₀(abs(最大値_i−最小値_i))＋０.５)
（最小値_i≧０） 評価値＝−int(log₁₀(abs(最大値_i−最小値_i))＋０.５)
（最小値_i＜０）

【０１７５】

【表１４】

【０１７６】

【表１５】

【０１７７】翌日最大電力需要量予測用ニューラルネッ
トワークでは、表１４に示すように、電力、気温、フラ
グ、天気がそれぞれグループ化された。ダム流入量予測
でも、表１５に示すように、流量関係が２つに、流量差
分関係が２つに、雨量が１グループの計５グループにグ
ループ化された。これらの何れも、請求項１〜２０の発
明の実施例において運用者が指定したグループとほぼ同
じ結果であり、良好な結果を得た。請求項１〜２０の発
明では、手作業により入力因子をグループ化する必要が
あるが、請求項２３の発明では、上記のように入力因子
を自動的にグループ分けすることが可能である。

【０１７８】次に、請求項２４，２５の発明の実施例を
説明する。この実施例では、入力因子を自動的に分類す
る方法を実施する。例題として用いるのは、冬季翌日最
大電力需要量予測である。入出力因子間の相関係数を表
１６に示す。ここで、入力因子の番号は請求項２３の発
明の実施例と同じである。

【０１７９】

【表１６】

【０１８０】まず、最初に請求項２４の発明の実施例に
ついて説明する。表１６において、相関係数（表１６の
右端の出力値の列を除く値）が０.５以上の入力因子
は、NO.３〜８の気温、No.９，NO.１２のフラグ、NO.１
１，NO.１４のフラグである。この３グループは非常に
似通った性質であり、良好にグループ分けされている。
つまりこの例では、総計１５個の入力因子が７グループ
に分類された。

【０１８１】次に、請求項２５の発明の実施例について
説明する。各入力因子と出力との相関係数（表１６の右
端の列）を０．２刻みにグループ化すれば、以下のよう
に６グループに分類することができる。 グループ１(0.4〜0.6)：入力因子１，２ グループ２(0.0〜0.2)：入力因子１３〜１５ グループ３(−0.0〜−0.2)：入力因子１１ グループ４(−0.2〜−0.4)：入力因子３〜７，１０ グループ５(−0.4〜−0.6)：入力因子８，１２ グループ６(−0.6〜−0.8)：入力因子９

【０１８２】

【発明の効果】以上詳述したように、請求項１〜２０記
載の発明によれば、従来のニューラルネットワークと互
換性があり、容易に置き換えることが可能なニューラル
ネットワークを構築することができる。また、回帰式と
同様に、出力と入力との因果関係を容易に把握すること
が可能であり、学習データにない未知のデータに対して
も、出力値を容易に推定することができる。運用者の感
覚と違う解析結果が出た場合には（例えば、第３実施例
において上流流量変化が出力に対し飽和する現象が生じ
た場合など）、ニューラルネットワークの再学習などの
処理を事前に行うことが可能である。特に、ダム流入量
予測では、洪水時において下流域の安全性を確保するこ
とが重要であり、そのためにも正確な流入量予測が不可
欠である。本発明により、洪水発生前に、ニューラルネ
ットワークを適切に再学習させることができる。また、
再学習が間に合わなかったときにも、不適切な予測を把
握することが可能である。第３実施例では、入力データ
が０．７以上を越える急激な上流流量差分は飽和してし
まうため、ニューラルネットワークは実際よりも低めに
予測する傾向があるので、大きめに予測（補正）するの
が有効であることを容易に把握可能である。

【０１８３】また、請求項２１の学習方法によれば、疎
結合部分の中間層素子だけで学習ができなかった場合に
のみ中間層素子を追加するので、学習時間の短縮が可能
である。また、請求項１〜２０の発明と比較して、全結
合部分の中間層素子を少なく構築できることが多く、解
析が更に容易になる。請求項２２〜２５の発明は、学習
開始時の初期化に関係した発明である。請求項１〜２０
の発明では、あらかじめ解析目的に応じてニューラルネ
ットワーク構造を定義しなければならない。すなわち、
任意の入力因子をグループ化しなければならない。この
点、請求項２２〜２５の発明では、ニューラルネットワ
ーク構造を学習データの関係から自動的に決定すること
ができる。実施例でも説明したように、請求項２３の発
明では入力因子を大まかにグループ化するので、比較
的、人間の感覚に一致した構造が得られやすい（請求項
１〜２０の発明の実施例のグループ分けとほぼ同じ構造
が得られた）。請求項２４の発明は、かなり似通った入
力因子同士しかグループ分けしないため（細かく分類す
るため）、将来どのように解析するかわからない場合の
ように未知の現象を解析するときには、多くの入力因子
（入力因子グループ）について解析が可能であり、解析
時に効果を発揮する。請求項２５の発明は請求項２４の
発明を改良したものであり、入力因子の数が増加した時
には簡易的な方法でグループ分けを行うため、計算量が
少ない利点がある。

【図面の簡単な説明】

【図１】請求項１の発明の実施形態における階層型ニュ
ーラルネットワーク構造を示す図である。

【図２】従来の階層型ニューラルネットワーク構造を示
す図である。

【図３】階層型ニューラルネットワークの結合係数を示
す図である。

【図４】従来のニューラルネットワーク装置の構成図で
ある。

【図５】請求項２の発明の実施形態の処理を示すフロー
チャートである。

【図６】従来のコンパクト構造化法の処理を示すフロー
チャートである。

【図７】請求項４の発明の実施形態の処理を示すフロー
チャートである。

【図８】請求項５の発明の実施形態の処理を示すフロー
チャートである。

【図９】請求項５の発明の実施形態により並び替えたニ
ューラルネットワークの構造を示す図である。

【図１０】請求項６の発明の実施形態により並び替えた
ニューラルネットワークの構造を示す図である。

【図１１】請求項８の発明の実施形態による学習とそれ
により構築されるニューラルネットワーク構造の変化を
示す概念図である。

【図１２】請求項１０の発明の実施形態における入力層
素子、中間層素子の有効性を判断する評価指標を示す図
である。

【図１３】請求項１１の発明の実施形態を説明するため
のニューラルネットワークの構造を示す図である。

【図１４】請求項１２，１３の発明の実施形態の作用を
説明するための図である。

【図１５】請求項１４の発明の実施形態を示すフローチ
ャートである。

【図１６】請求項１４の発明の実施形態が適用される解
析・診断システムの構成図である。

【図１７】請求項１９の発明の実施形態を示すフローチ
ャートである。

【図１８】第１実施例における学習データ及び学習結果
の説明図である。

【図１９】第１実施例における学習前のニューラルネッ
トワークの構造を示す図である。

【図２０】第２実施例における解析対象のニューラルネ
ットワークの構造を示す図である。

【図２１】第２実施例の作用を説明するための図であ
る。

【図２２】第２実施例の作用を説明するための図であ
る。

【図２３】第２実施例の作用を説明するための図であ
る。

【図２４】第２実施例の作用を説明するための図であ
る。

【図２５】第３実施例における予測対象ダムの上流域の
模式図である。

【図２６】第３実施例における流量予測用ニューラルネ
ットワークの説明図である。

【図２７】第３実施例におけるニューラルネットワーク
の入出力関係を示す図である。

【図２８】第３実施例における上流流量差分の線形度を
示す図である。

【図２９】第４実施例における翌日電力需要量予測用ニ
ューラルネットワークの説明図である。

【図３０】第４実施例におけるニューラルネットワーク
の入出力関係を示す図である。

【図３１】第４実施例における入力値と出力層に伝達す
る情報との関係を示す図である。

【図３２】第４実施例において実データを用いて入力因
子の出力への影響を解析した例を示す図である。

【図３３】第４実施例において実データを用いて入力因
子の出力への影響を解析した例を示す図である。

【図３４】第４実施例において実データを用いて入力因
子の出力への影響を解析した例を示す図である。

【図３５】請求項２１の発明の実施形態の処理を示すフ
ローチャートである。

【図３６】請求項２２の発明の実施形態により構築され
たニューラルネットワークの構造を示す図である。

【符号の説明】

１１ 全結合部分 １２，１２Ａ，１２Ｂ 疎結合部分 １３ 記憶装置 １４ 入力データ読み込み部 １５ 重み読み込み部 １６ ニューロ算出部 １７ 表示・伝送装置 １８ 予測・診断の保存部 ２１ 記憶装置 ２２ ニューロ読み込みモジュール ２３ 異常判定用データベース読み込みモジュール ２４ 解析・診断モジュール ２５ ブザー ２６ 表示装置 ２７ ＬＡＮ・電話回線

Claims (25)

【特許請求の範囲】
1. 【請求項１】 複数の入力層素子及び複数の中間層素子
   を有する階層型構造のニューラルネットワークにおい
   て、 複数の入力層素子のうちの一部に中間層素子が結合され
   てなる疎結合部分を有することを特徴とするニューラル
   ネットワーク。
2. 【請求項２】 請求項１の全体に記載したニューラルネ
   ットワークを学習するためのニューラルネットワークの
   学習方法において、 入力層素子と中間層素子との間の全ての重みを初期化す
   る第１ステップと、任意の入力層素子と中間層素子との
   間の結合を削除する第２ステップと、学習誤差を評価す
   るための評価関数を用いてこの評価関数が小さくなるよ
   うに入力層素子と中間層素子との間の重みの修正量を算
   出する第３ステップと、任意の入力層素子と中間層素子
   との間の重みの修正量を０にする第４ステップと、第３
   ステップ及び第４ステップを経て得られた最終的な修正
   量を用いて入力層素子と中間層素子との間の重みを修正
   する第５ステップとを有し、学習誤差が規定値以下にな
   るまで第３ステップ以下の処理を繰り返し実行すること
   を特徴とするニューラルネットワークの学習方法。
3. 【請求項３】 請求項２に記載した第３ステップにおい
   て、 前記評価関数は、学習誤差を評価して学習誤差を小さく
   するための項と、ニューラルネットワークの構造を簡素
   化するために不要な中間層素子を削減するための項とを
   併せ持つことを特徴とするニューラルネットワークの学
   習方法。
4. 【請求項４】 請求項２または請求項３において、 第６ステップとして、中間層素子の中の１個の素子の出
   力値系列を用いて求めた分散が規定値以下である場合に
   この素子をバイアス素子に融合し、中間層素子の中の２
   個の素子の出力値系列を用いて求めた相関係数が別の規
   定値以上である場合にこれら２個の中間層素子を情報伝
   達的に同じ働きであるとして融合することによりコンパ
   クト構造化を行って中間層素子を削減するステップを有
   することを特徴とするニューラルネットワークの学習方
   法。
5. 【請求項５】 請求項２における第２ステップと第３ス
   テップとの間に、中間層素子を並べ替えることにより、
   疎結合部分を構成する中間層素子と、複数の入力層素子
   の全てに中間層素子が結合されてなる全結合部分を構成
   する中間層素子とを、それぞれ別のグループにまとめる
   処理を行うステップを挿入すると共に、 請求項２における第３ステップにおいて、疎結合部分を
   構成する中間層素子の結合を全結合部分を構成する中間
   層素子の結合よりも早く成長させるような評価関数を用
   いて重みの修正量を算出することを特徴とするニューラ
   ルネットワークの学習方法。
6. 【請求項６】 請求項２における第２ステップと第３ス
   テップとの間に、中間層素子を並べ替えて疎結合部分を
   構成する中間層素子を有する部分ニューロと全結合部分
   を構成する中間層素子を有する部分ニューロとを交互に
   配置するステップを挿入すると共に、 請求項２における第３ステップにおいて、任意の中間層
   素子の結合を他の中間層素子の結合よりも早く成長させ
   るような評価関数を用いて重みの修正量を算出すること
   を特徴とするニューラルネットワークの学習方法。
7. 【請求項７】 請求項２における第３ステップにおい
   て、 任意の中間層素子の結合を他の中間層素子の結合よりも
   早く成長させる項と、ニューラルネットワークの構造を
   簡素化するために不要な中間層素子を削減するための項
   とを併せ持つ評価関数を用いて重みの修正量を算出する
   ことを特徴とするニューラルネットワークの学習方法。
8. 【請求項８】 請求項５に記載した学習方法と請求項６
   に記載した学習方法とを交互に実施することを特徴とす
   るニューラルネットワークの学習方法。
9. 【請求項９】 請求項２〜８の何れか１項に記載された
   学習方法により構築されたニューラルネットワークを対
   象として、 入力層素子、中間層素子及び出力層素子の相互の結合状
   態から、線形性、非線形性等の入力因子の出力への影響
   度合いを解析することを特徴とするニューラルネットワ
   ークの解析方法。
10. 【請求項１０】 請求項１の全体に記載されたニューラ
    ルネットワークを対象として、 入力層素子及び中間層素子の有効性を示す評価指標を用
    いてニューラルネットワークの構造を解析することを特
    徴とするニューラルネットワークの解析方法。
11. 【請求項１１】 請求項１の全体に記載されたニューラ
    ルネットワークを対象として、 任意の入力データを入力したときの、中間層素子から出
    力層素子に伝達される情報量の大きさに基づいて入力因
    子の出力への影響を解析することを特徴とするニューラ
    ルネットワークの解析方法。
12. 【請求項１２】 請求項１の全体に記載されたニューラ
    ルネットワークを対象として、 任意の入力データを入力したときの、中間層素子から出
    力層素子に伝達される情報量と入力データとの相関関係
    に基づいて、入力因子の出力への影響を解析することを
    特徴とするニューラルネットワークの解析方法。
13. 【請求項１３】 請求項１の全体に記載されたニューラ
    ルネットワークを対象として、 任意の入力データを入力したときの、中間層素子から出
    力層素子に伝達される情報量と入力データとの相関関係
    に基づいて、ニューラルネットワーク出力値の上下限値
    を解析することを特徴とするニューラルネットワークの
    解析方法。
14. 【請求項１４】 請求項９〜１３の何れかに記載された
    解析方法によりニューラルネットワークを解析し、異常
    判定用データベースと照らし合わせてニューラルネット
    ワークの学習不良を判定し、その結果を出力することを
    特徴とするニューラルネットワークの異常判定方法。
15. 【請求項１５】 請求項１４に記載した異常判定方法に
    おいて、 学習対象の現象が予め定性的に判明しているときに、ニ
    ューラルネットワークの素子間の結合状態に基づいてニ
    ューラルネットワークの学習不良を判定することを特徴
    とするニューラルネットワークの異常判定方法。
16. 【請求項１６】 請求項１４に記載した異常判定方法に
    おいて、 学習対象の現象が定性的に判明しているときに、ニュー
    ラルネットワークの内部状態を示す数値指標として入力
    層素子及び中間層素子の有効性を示す評価指標に基づい
    てニューラルネットワークの学習不良を判定することを
    特徴とするニューラルネットワークの異常判定方法。
17. 【請求項１７】 請求項１４に記載した異常判定方法に
    おいて、学習対象の現象を表す数式が存在するときに、
    その数式とニューラルネットワークの内部状態の相関係
    数とを比較して学習不良を判定することを特徴とするニ
    ューラルネットワークの異常判定方法。
18. 【請求項１８】 請求項１４に記載した異常判定方法に
    おいて、 ニューラルネットワークの出力の上限値が学習データの
    上限値よりも小さいとき、または、ニューラルネットワ
    ークの出力の下限値が学習データの下限値よりも大きい
    ときに学習不良を判定することを特徴とするニューラル
    ネットワークの異常判定方法。
19. 【請求項１９】 請求項１４〜１８の何れかに記載され
    た異常判定方法によりニューラルネットワークの学習不
    良が判明したときに、必要に応じて再学習を行うことを
    特徴とするニューラルネットワークの学習方法。
20. 【請求項２０】 請求項１７の発明において、 学習状態の悪い範囲を自動的に特定し、その範囲の学習
    データを増加させて再学習させることを特徴とするニュ
    ーラルネットワークの学習方法。
21. 【請求項２１】 請求項１の全体に記載したニューラル
    ネットワークを学習するためのニューラルネットワーク
    の学習方法において、 入力層素子と中間層素子との間の全ての重みを初期化す
    る第１ステップと、任意の入力層素子と中間層素子との
    間の結合を削除して全結合部分を生成することなく疎結
    合部分の中間層部分のみを生成する第２ステップと、学
    習誤差を評価するための評価関数を用いてこの評価関数
    が小さくなるように入力層素子と中間層素子との間の重
    みの修正量を算出する第３ステップと、任意の入力層素
    子と中間層素子との間の重みの修正量を０にする第４ス
    テップと、第３ステップ及び第４ステップを経て得られ
    た最終的な修正量を用いて入力層素子と中間層素子との
    間の重みを修正する第５ステップと、学習誤差が規定値
    以下になったときに学習終了と判断する第６ステップ
    と、学習誤差が規定値以上であるときに第３ステップ以
    下の処理を再度実行するために中間層素子を追加する第
    ７ステップとを有することを特徴とするニューラルネッ
    トワークの学習方法。
22. 【請求項２２】 請求項１〜８，２１のうちの何れか１
    項における第２ステップにおいて、 複数の入力因子を学習データの入出力関係に基づいて複
    数のグループに分類し、それらのグループごとに疎結合
    部分の中間層部分を生成することを特徴とするニューラ
    ルネットワークの学習方法。
23. 【請求項２３】 請求項１〜８，２１のうちの何れか１
    項における第２ステップにおいて、 複数の入力因子を学習データの最大・最小・平均・標準
    偏差等の統計指標に基づいて複数のグループに分類し、
    それらのグループごとに疎結合部分の中間層部分を生成
    することを特徴とするニューラルネットワークの学習方
    法。
24. 【請求項２４】 請求項１〜８，２１のうちの何れか１
    項における第２ステップにおいて、 複数の入力因子を学習データの入力因子間の相関係数に
    基づいて複数のグループに分類し、それらのグループご
    とに疎結合部分の中間層部分を生成することを特徴とす
    るニューラルネットワークの学習方法。
25. 【請求項２５】 請求項１〜８，２１のうちの何れか１
    項における第２ステップにおいて、 複数の入力因子を学習データの入力と出力との間の相関
    係数に基づいて複数のグループに分類し、それらのグル
    ープごとに疎結合部分の中間層部分を生成することを特
    徴とするニューラルネットワークの学習方法。