JP2005521167A

JP2005521167A - 機械的雑音及び測定誤差の存在下における人為的神経ネットワークモデルの性能の改良

Info

Publication number: JP2005521167A
Application number: JP2003579171A
Authority: JP
Inventors: クルカルニ，バスカー，ダッタトレー; タンベ，サンジーブ，シュリクリシュナ; ロナリ，ジャヤラム，ブッダジ; ヴァレチャ，ニーラムクマール; デシュムク，サンジェイ，ヴァサントラオ; シェノイ，バヴァニシャンカー; ラヴィチャンドラン，シヴァラマン
Original assignee: カウンスルオブサイエンティフィックアンドインダストリアルリサーチ
Priority date: 2002-03-26
Filing date: 2002-03-26
Publication date: 2005-07-14
Anticipated expiration: 2022-03-26
Also published as: DE60217663T2; EP1382012A1; JP4157477B2; WO2003081527A1; CN100520817C; EP1382012B1; KR100869516B1; CN1571982A; AU2002247918A1; DE60217663D1; KR20040099092A

Abstract

機械的雑音及び／又は測定誤差を含む入力−出力実例データの存在下で人為的神経ネットワークモデルの予測精度及び一般化性能を改良する方法であって、ネットワークモデルをトレーニングするために使用される入力−出力実例データ中の雑音及び／又は誤差の存在が該入力と出力の間に存在する非線形的関係を正確に習得し雑音の関係を正確に習得することを困難にし、該方法がコンピュータシミュレーションを用いて大きなサイズの雑音を重ねた試料入力−出力データ集合を作成し、ガウス雑音の特定の量が該実例集合中の入力／出力変数のそれぞれに添加され、それにより作成された拡大された試料データ集合が人為的神経ネットワークモデルを構築するためのトレーニング用集合として用いられ、加えられるべき雑音の量が入力／出力変数に特異的であり、その最適値が推計学的調査及び最適化法、即ち遺伝的アルゴリズムを用いて決定されるものである方法。

Description

【０００１】
技術分野
本発明は機械的雑音及び／又は測定誤差を含む入力−出力データの存在下における人為的神経ネットワークモデルの予測精度及び一般化性能を改良する方法に関する。
【０００２】
背景技術
人為的神経ネットワーク（ＡＮＮ）は、非線形関係を任意の精度まで近似するその能力により（ポギオ，Ｔ．及びギロシ，Ｆ．「多層ネットワークと等価の、習得のための組織化アルゴリズム」，Science, 247, 978, 1990)、多数入力−多数出力の複雑な非線形プロセスをモデル化するのに適している。その結果、ＡＮＮはプロセス変数のオンライン及びオフライン予測のため産業界で広範に使用されてきた。ＡＮＮの産業上の適用には、製造工程の同定、定常状態プロセス及び動力学的プロセスのモデル化、故障の発見及び診断、ソフトセンサー開発、及び非線形プロセスの制御及び監視が含まれる。これらのＡＮＮ適用はタンベ及び協同研究者ら（タンベ，Ｓ．Ｓ．，クルカーニ，Ｂ．Ｄ．，デシュパンデ，Ｐ．Ｂ．「化学工学及び化学的生物学的科学における選ばれた適用を持つ人為的神経ネットワークの初歩」，シミュレーション・アンド・アドバンスド・コントロールズ・インク，ルイズビル，ＵＳＡ，1996) により包括的な総説がなされている。任意のプロセス操作の間に巨大な量のプロセス入出力データが形成され、これらはプロセス出力変数の数値を予め予測できるＡＮＮモデルを開発するために使用できる。ＡＮＮモデルの望ましい特性は（ｉ）それがその構築のために使用された入出力実例データ集合中に含まれる出力を正確に予測すべきであること、及び（ii) それが良好な一般化能力を有することである。通常、ＡＮＮモデルは予め特定された費用（誤差）関数を最小にする適当な加重調節アルゴリズムを用いてトレーニングされる。この費用関数の形が、得られるＡＮＮモデルの推計学的特性（雑音感受性）を完全に決定することに注意すべきである。例えば、最も広く使用されているエラー・バック・プロパゲーション（ＥＢＰ）（ルーメルハート，Ｄ．，ヒントン，Ｇ．，ウィリアムズ，Ｒ．「後方伝搬する誤差による習得表示」，Nature, 323, 533, 1986) アルゴリズムは、二乗平均誤差（ＲＭＳＥ）関数の最小化を達成する。プロセスデータの任意の大きな集合における、機械的雑音及び／又は測定誤差の存在は差し迫った課題である。ネットワーク・トレーニングに使用される入出力データにおける雑音及び／又は誤差の存在はそのモデルにより示されるモデル予測の精度及び一般化性能の閾値的限界を構成する。これは、該ネットワークが雑音及び／又は誤差を含む入力データと出力データの間に存在する平均的関係に近づく（習得する）ように努力することにより主として発生する。該ネットワークはこれらのデータ中の雑音及び誤差を無視するので、それにより捕捉される平均的関係は不正確に満ち満ちている。予測における不正確さは、それが有意であれば、許容できない。何故なら、プロセス操作に関する相当の数の制御や政策判断はこのモデルにより作成される予測に基づくからである。例えば、重合反応では、メルト・フロー・インデックス（ＭＦＩ）、ストレス指数（Ｓ_ex) 、などの品質変数の予測は生産された重合体の等級を決定する際に重要である。一般化できるＡＮＮモデルはその開発のために使用されたデータ（実例の集合）の出力を正確に予測するだけでなく、新たな若しくは新規な入力データに相当するものをも予測する。こうして、ＡＮＮモデルは素晴らしい予測精度を有するだけでなく良好な一般化特性をも有していることが決定的に重要である。
【０００３】
市販のソフトウェアでは、大部分のＡＮＮモデルは単純出力誤差（ＯＥ）費用関数を用いてトレーニングされ、これは入力データが雑音を有する場合ネットワークで予測される出力に深刻なバイアスのかかった誤差をもたらし得ることがゴープ及び協同研究者（ゴープ，Ｊ．Ｖ．，ショウケンス，Ｊ．，ピンテロン，Ｒ．「エラー−イン−バリャブルズ・アプローチを用いる雑音入力での習得神経ネットワーク，Transactions on Neural Networks A. 180, 1-14, 1999) により観察された。この著者らは雑音の存在がＡＮＮモデルの移送関数のより高次の導関数を実際に抑制し、そして若し通常の最小二乗費用関数が用いられるならばバイアスが導入されることを示す。従って、ＡＮＮの一般化性能を改良する方法はＲＭＳＥ費用関数を新規な費用関数、例えばエラーズ−イン−バリャブルズ（ＥＩＶ）費用関数（ゴープ，Ｊ．Ｖ．，ショウケンス，Ｊ．，ピンテロン，Ｒ．「エラー−イン−バリャブルズ・アプローチを用いる雑音入力での習得神経ネットワーク，Transactions on Neural Networks A. 180, 1-14, 1999) で置き換えることが推奨される。ＥＩＶ法の欠点は、その実施に入力と出力に関する分散についての知識を必要とすることである。多くの実用的設定においては、この情報は入手可能ではなく、従ってＥＩＶ法の利用は厳しく制限される。この方法は、雑音の多い測定のためにより良好に働くが、それは大きなメモリーをも必要とし、極めて限られた場合にしか利用できない。（i)ＯＥ法を適用した後に処理後の手段としてＥＩＶ法を使用すること、（ii) 推定された数値の代わりに測定された入力及び出力の数値を使用すること、及び（iii)改良された習得及び最適化スキームなどの代替的方法がさまざまに提唱されそして例示された（ゴープ，Ｊ．Ｖ．，ショウケンス，Ｊ．，ピンテロン，Ｒ．「雑音の多い入力で神経ネットワークを習得するための変数費用関数における誤差」Intelligent Engineering Systems Through Artificial Neural Networks, 8, 141-146, 1998) などの代替的方法もある。
【０００４】
ＡＮＮモデルの性能に及ぼす雑音の付加の効果を報告する文献は比較的稀で、これまでに僅かに二三の体系的研究がなされたに過ぎない。より良好な一般化性能を有するモデルを得る場合に、トレーニングデータに雑音を付加することが助けになることが一般に知られている。シーツマとダウ（シーツマ，Ｊ．，ダウ，Ｒ．Ｊ．「一般化する人為的神経ネットワークの作成，Neural Networks 4, 67-79, 1991) は雑音及び添加した偽ガウス分布雑音のトレーニングパターンの各要素（ベクトル）に対する有利な効果を報告した。彼らは雑音付加データでのトレーニングが多層知覚（ＭＬＰ）ネットワークの分類能力を改良することを示した。この研究はここに要求されるネットワーク・ノードの数が大きい程、各ノードはその解に独立に寄与することをも明らかにした。即ち、ネットワークの出力に明確には寄与しない二三のユニットを適当なネットワーク刈り込み技法により除去できるということも可能である。この観点はミナイとウィリアムズ（ミナイ，Ａ．Ａ．，ウィリアムズ，Ｒ．Ｄ．「フィード・フォワード・ネットワークにおける摂動応答」Neural Networks, 7(5), 783-796, 1994) により共有された。彼らは各ノードが大域計算へ向けてより小さな程度に寄与する大きなネットワークを作成することを提唱した。別の網羅的な一研究では、アン（アン，Ｇ．「後方伝搬トレーニングの間における雑音の添加の一般化性能に及ぼす効果」Neural Comput., 8, 643-674, 1996)はＥＢＰに基づくネットワークトレーニングの一般化性能に及ぼす雑音添加の効果を研究した。こうして、アンの研究はネットワークの予測性能に及ぼす、入力、重み、及び出力における雑音の効果を別々に分析した。この研究は出力の雑音が一般化を改良しないが、入力の雑音及び重みの雑音は役に立つことを明らかにした。ランジェヴァン雑音を用いるネットワークのトレーニングがシミュレーティッド・アニーリング・アプローチを用いて得られたものに類似の大域最小化をもたらすことも観察された。理論的研究では、ビショップ（ビショップ，Ｃ．Ｍ．「雑音でのトレーニングはティクホノフ・レギュラリゼーションと等価である」Neural Comput. 7, 108-116, 1995)は雑音により誘導される誤差項が一般化された調整項（regulariser)のクラスに相当すると主張した。このレギュラリゼーション（ポギオ，Ｔ．，ギロシ，Ｆ．「多層ネットワークと等価の習得のためのレギュラリゼーション・アルゴリズム」 Science, 247, 978, 1990）は罰則項の追加により誤差関数を改変し、ネットワークにより生ずる分散を制御する。本質において、トレーニングデータにおける雑音の追加は平滑化の形式を与える、そしてＡＮＮにより習得されるべき関数は一般に平滑であり又は有限数の領域で少なくとも区分的連続であるからこの方法は機能する。この陳述は、巧く提示された問題については、独特の解が存在し、そしてデータ中の小さな摂動はその解における小さな変動を生ずるに過ぎないという根底にある仮定を表現している。換言すれば、二つの類似の入力については、二つの類似の出力が予想されるということである。
【０００５】
こうして、所与の例のデータ集合について、雑音の少量を重ねることにより追加のネットワークトレーニングパターンが形成できる。その雑音の大きさは、大きな雑音の量は入力と出力の間の本質的関係を歪めることが明らかであるから小さくなければならない一方、小さ過ぎる雑音の量は結果を伴わない取るに足らない変化しかもたらさない。入力−出力の実例データに重ねるべき雑音の「小さな」量を正確に定量することが必要であるということが直ちに導かれる。製造産業やプロセス産業でふんだんに存在する非線形系では、入力変数の変化が出力変数に影響する場合の感受性は有意に異なりうることに注目される。従って、入力変数及び出力変数のそれぞれに種々の程度の雑音を追加することが必要になる。入力−出力変数のそれぞれに追加すべき雑音の正確な量を決定することは油断のならない問題であり、本発明はこの問題を解決するために遺伝的アルゴリズムに基づく効果的な解を提供する。
【０００６】
遺伝的アルゴリズム（ゴールドバーグ，Ｄ．Ｅ．「調査、最適化、及び機械習得における遺伝的アルゴリズム」アディソン−ウェスレー，ニューヨーク，1989、ホランド, Ｊ．「天然及び人工の系における適応」ユニバーシティ・オブ・ミシガン・プレス，Ann Arbor, MI, USA) は「推計学的最適化アルゴリズム」として知られる関数の最小化／最大化形式のクラスの一員である。これらは生物のダーウィンの進化論において主要な役割を演じている自然の淘汰及び遺伝学の機序に基づいている。ＧＡ（遺伝的アルゴリズム）は、雑音の多い、不連続な、多峰形の、非凸面の解空間を調査するのに有効であることが知られており、その特徴的性質は、（ｉ）それらがＧＡがスカラー値のみを必要とし最適化されるべき対象関数の導関数を必要としないことを意味する「ゼロ」次の調査技法であること、（ii) ＧＡが大域調査を行い、従ってＧＡは対象の関数表面の大域最適値に大部分が収束すること、（iii)ＧＡにより用いられる調査手法は推計学的であり、従って、ＧＡは対象関数の形式に関する平滑性、分化性、及び連続性（この特性により、上記の基準を同時に満たすことを対象関数に要求する古典的な勾配に基づくアルゴリズムを用いて解決できない最適化問題をＧＡを用いて解決できる）などの特定の仮定を持ち込むことなく利用できること、及び（iv) このＧＡ手順は効果的に並列化でき、これは大きな多次元の解空間を効率的且つ迅速に調査する助けとなる、というものである。本発明は実例の集合の入力／出力変数のそれぞれに加えられる雑音の最適レベルに到達し、それによりトレーニングされた該ネットワークが改良された予測精度及び一般化性能を有するように、ＡＮＮトレーニングに使用される拡大された雑音を重ね合わせた試料データ集合を作成するための遺伝的アルゴリズムに基づく方法を開示する。
【０００７】
ＧＡ手順では、実例集合における入力／出力変数に重ねるべき雑音の許容値を表す最適解ベクトル（決断ベクトルとも呼ばれる）の調査は可能性のある（候補の）解の無作為に初期値に設定された集団から始める。この解は、通常二項の糸の形（染色体）でコードされ、次いで、最適化対象の充足させる点での、即ち関数の最小化又は最大化でのその解の適合性を測るため試験する。続いて、この候補解をその適合性得点の高い方から順に格付けし、「選択」、「交差」、及び「突然変異」を含むＧＡ操作の主なループを該格付けした集団について行なう。このループの実施は候補解の新たな集団を形成する。現在の集団と比べたとき、この新たな集団は通常最適化対象を充足する点でより良好となる。上記のループを数回繰り返した後に生ずる最良の糸がこの最適問題に対する解となる。解ベクトルの適合性を評価すると同時に、その中に含まれる入力／出力変数特異的雑音許容値を用いて、実例集合における各パターンに相当する、多数の雑音を重ねた試料の入力−出力パターンを形成する。得られる拡大されたデータ集合は、次にＲＭＳＥなどの最小二乗費用関数を最小化するという見地で神経ネットワークをトレーニングするために使用する。ＡＮＮのトレーニングは勾配に基づくか又は他の適当な重み−最新化方式を用いて行なう。それにより得られるＲＭＳＥの大きさは雑音許容性を含む候補ベクトル解の適合値を計算するために使用される。ＧＡ−最適化雑音許容値を用いて形成されるデータに基づいてトレーニングされたネットワークは機械的雑音及び／又は測定誤差の存在下での真の入力−出力関係をより良好に近似し、従って、良好な予測精度及び一般化性能を有する。
【０００８】
本発明は二つの実例の考察に基づいている。即ち、（ｉ）工業的重合反応槽のＡＮＮに基づくモデル化、及び（ii) 連続攪拌式タンク反応槽（ＣＳＴＲ）のＡＮＮ−に基づくモデル化であり、ここでは、Ａ→Ｂ→Ｃの発熱的連続反応が起こる。本発明の方法を用いて得られた予測精度を普通に使用されたネットワークトレーニング手順を用いて得られたものと比較する。
【０００９】
発明の目的
本発明の主な目的は、機械的雑音及び／又は測定誤差を含む入力−出力データの存在下で人為的神経ネットワークモデルの予測精度及び一般化性能を改良する方法を提供することである。とりわけ、コンピュータを用いて、ネットワークトレーニングに使用されるためのガウス雑音を重ねられた拡大試料の入力−出力データの集合を作成するための方法論が発明された。ここでは、入力／出力変数のそれぞれに添加されるべき雑音の量が遺伝的アルゴリズム（ＧＡ）に基づく戦術を用いて最適化される。このＧＡに基づくアプローチは、二つの類似の入力は二つの類似の出力を生ずるべきであるという原理に従って、実例データの入力−出力変数に添加されるべき雑音の最適レベルを確定する。
【００１０】
発明の概要
本発明は、改良された予測精度及び一般化性能を有するＡＮＮモデルを構築するための、人為的に作成された雑音を重ねた入力−出力データパターンを採用する。本質的に、本発明で提示されるこの方法は、その入力と出力の間に存在する雑音の関係をＡＮＮに強制的に習得させる。この発明された方法はネットワークトレーニングのため、雑音を重ねられた拡大試料データの集合を作成すべく入力−出力変数に特異的な雑音許容値を使用する。具体的には、既知の許容性のガウス雑音を実例集合の入力及び出力変数のそれぞれに添加し、このようにして実例集合における各パターンに相当する多数の雑音を重ねたパターンを形成する。本発明では、入力／出力変数のそれぞれに特異的なこの許容値は、「遺伝的アルゴリズム」として知られる新規な進化論的推計学的最適化方式を用いて最適化される。雑音を重ねられた拡大試料データの上でトレーニングされたこのＡＮＮモデルは改良された予測精度及び一般化能力を有することが見出された。
【００１１】
発明の詳細な説明
従って、本発明は、ネットワークモデルを構築するために利用可能な、実例の集合として知られた入力−出力データが機械的雑音及び／又は測定誤差を含む場合、非線形の人為的神経ネットワークモデルの予測精度及び一般化性能を改良する方法であって、下記の工程、即ち
（ａ）コンピュータシミュレーションを用いて雑音を重ねた拡大入力−出力試料データの集合を形成する工程、
（ｂ）コンピュータシミュレーションを用いて実例の集合における入力−出力パターンのそれぞれについてＭ個の雑音を重ねた試料入力−出力パターン（ベクトル）を形成する工程、
（ｃ）入力／出力変数のそれぞれに特異的な雑音許容値を用いて雑音を重ねた試料入力−出力パターンを形成する工程、
（ｄ）雑音を重ねた試料入力−出力パターンを作成するため、コンピュータシミュレーションを用いてガウス（正規に）分布した無作為数を形成する工程、
（ｅ）推計学的調査及び最適化技法を用いて実例集合における入力／出力変数それぞれに添加すべきガウス雑音の正確な量を決定する工程、及び
（ｆ）非線形人為的神経ネットワークモデルを構築するための「トレーニング集合」として、コンピュータで形成された雑音を重ねた試料の入力−出力パターンを用いる工程
を含む方法を提供する。
【００１２】
遺伝的アルゴリズムにより決定された実例集合の入力−出力変数それぞれに添加されるべきガウス雑音の正確な量が全体的に（局部的でなく）最適である、本発明の一実施態様。
【００１３】
実例集合が人為的神経ネットワークモデルの一般化性能を監視するための「テスト集合」として使用される、本発明の別の一実施態様。
【００１４】
人為的神経ネットワーク構造が「フィード−フォワード」である、即ちこのネットワーク内の情報の流れが入力層から出力層への一方向である、本発明のさらに別の一実施態様。
【００１５】
フィード−フォワード神経ネットワーク構造が多層知覚（ＭＬＰ）ネットワーク、ラジアル・ベイシス・ファンクション・ネットワーク（ＲＢＦＮ）、及びカウンター・プロパゲーション神経ネットワーク（ＣＰＮＮ）を含むものである、本発明のさらに別の一実施態様。
【００１６】
人為的神経ネットワークモデルを構築するため又はトレーニングするために使用されるアルゴリズムがエラー・バック・プロパゲーション、コンジュゲート・グラディエント、クイックプロプ及びＲＰＲＯＰを含むものである、本発明のさらに別の一実施態様。
【００１７】
雑音許容性を最適化するために使用される推計学的調査及び最適化技法が遺伝的アルゴリズム及び関連する方法、即ち、シミュレーティッド・アニーリング（ＳＡ）、サイマルテイニアス・パーターベーション・ストカスティック・アプロクシメーション（ＳＰＳＡ）、進化論的アルゴリズム（ＥＡ）及びメメティックアルゴリズム（memetic algorithms) （ＭＡ）を指すものである、本発明のさらに別の一実施態様。
【００１８】
拡大された雑音を重ねた試料入力−出力データ集合が小規模の実例入力−出力集合からコンピュータシミュレーションを用いて作成されるものである、本発明のさらに別の一実施態様。
【００１９】
本発明は下記の実施態様の形でさらに説明される。
実例集合を表すＰ個の入力−出力パターンの対、[(x₁, y₁), (x₂, y₂),……,( x_{P ,} y_p),……,( x_P, y_P)]を考えよう。Ｎ次元の入力ベクトルｘ_pと対応するＫ次元の出力ベクトル y_pの間の相互関係はＫ次元の非線形関数ベクトルｆによって支配される。ｆは、 y_p＝ｆ(x_p) と定義される。このｘ_pベクトルと y_pベクトルはそれぞれ入力パターン及び対応する出力（標的）パターンと呼ばれる。第ｐ番目のＮ次元入力ベクトルであるｘ_pは [ x_p1 , x_p2 ,‥‥ , x_pN] ^Tと定義され、対応するＫ次元標的出力ベクトルである y_pは [ y_p1 , y_p2 ,‥‥ , y_pK] ^Tと定義される。ＭＬＰ（図１を参照）などのフィード・フォワード神経ネットワーク（ＦＦＮＮ）は、ｘ_pと y_pの間の非線形関係を以下に示すように近似する、
y_p＝ｆ(x_p, W^H, W^O) （１）
上式中、行列 W^H及び W^OはそれぞれＭＬＰの入力層ノードと隠れた層ノードの間及び隠れた層ノードと出力層ノードの間の関連に関する重みを表す。ＭＬＰネットワークをトレーニングすることの全体としての目的は適当な最小二乗を最小化することである。
【００２０】
例えば、二乗平均誤差（ＲＭＳＥ）などの誤差関数（ナンディ，Ｓ．，ゴーシュ，Ｓ．，タンベ，Ｓ．Ｓ．，クルカーニ，Ｂ．Ｄ．「人為的神経ネットワーク支援推計学的プロセス最適化戦略」AIChE J., 47, 126, 2001 ）は、以下のように定義される。
【００２１】
【数１】

【００２２】
上式中、ｉは入力パターンの指標（ｉ＝１，２，‥‥，Ｎ_pat) を意味し、Ｋは出力ノードの数を示し、そしてＥ_iは以下に定義される和二乗誤差（sum-squared-error)（ＳＳＥ）を表す。
【００２３】
【数２】

【００２４】
上式中、ｙ_i ^kは該ネットワークの入力層にｉ番目の入力パターンが適用された場合のｋ番目の出力ノードの実際の出力を示し、ｏ_i ^kは対応する標的出力を示す。ＲＭＳＥ最小化の仕事は、一般化デルタ・ルール（ＧＤＲ）に基づくエラー・バック・プロパゲーション（ＥＢＰ）、コンジュゲート・グラディエント、又はより進んだ方法であるクイックプロプ（ファールマン，Ｓ．Ｅ．「バック・プロパゲーションに関する急速習得変法」，proceedings of the 1988 Connectionist Models Summer School, D.S.トゥレツキー, G.E.ヒントン, 及び T.J. セイノウスキー編, pp. 38-51 、モーガン・カウフマン, サンマテオ, CA, 1988）、及び弾力性のあるバック−プロパゲーション（ＲＰＲＯＰ）（リードミラー, Ｍ．，ブラウン，Ｈ．「急速バック−プロパゲーション習得のための直接適応法：ＲＰＲＯＰアルゴリズム」 Proc. of IEEE Int. Conf. on Neural Net., サンフランシスコ, CA, ３月28日−４月１日，1993）などの適当な下降勾配技法を用いて達成される。ネットワーク・トレーニングは重み付け行列、Ｗ^H及びＷ^Oを無作為に初期化することから始まる繰り返し手順である。トレーニングの繰り返しはネットワーク層を通る、二つのタイプの通過、即ちフォワード及びリバースの通過からなる。フォワード通過では、トレーニング・データ集合からの入力パターンが入力ノードに適用されそして隠れたノードの出力が評価される。この出力を計算するためには、まず、隠れたノードへの入力の加重総和を計算し、次いでこれをロジスティック・シグモイドなどの非線形活性化関数を用いて変換する。入力層ノードから出力層ノードへの隠れたノードの出力は隠れたノードの出力と同様にして評価される。ネットワーク出力とも呼ばれる出力層ノードの出力は標的出力と比較される。そしてリバース通過では、ネットワーク出力と標的出力の間の差（予測誤差）が重み行列であるＷ^H及びＷ^Oを最新化するために使用される。この重み最新化手順がトレーニング集合の全てのパターンについて繰り返されると、一つのトレーニング反復が完了する。重み行列であるＷ^H及びＷ^Oは、ＥＢＰ、コンジュゲート・グラディエント、クイックプロプ及びＲＰＲＯＰなどの種々の方法を用いて最新化できることが注目される。本発明は一つの方法を提唱する。この方法により、トレーニング・データとして使用すべき雑音を重ねた試料入力−出力データの拡大した集合が実例集合から作成され、そして得られるＡＮＮモデルが改良された予測精度及び一般化性能を有するように、遺伝的アルゴリズムを用いて入力／出力変数それぞれに加えられるべき雑音の最適量が決定される。実例集合の入力／出力変数それぞれに加えられるべき雑音の量を最適化するために発明された方法を以下に説明する。
【００２５】
実例集合におけるＰ個のＮ次元入力ベクトルを〔Ｐ×Ｎ〕入力行列であるＸ、そして同数の対応するＫ次元の出力ベクトルを〔Ｐ×Ｋ〕出力行列であるＹと考えよう。本発明は行列Ｘ及びＹそれぞれに雑音を重ねた行列Ｘ’及びＹ’を作成する。これらはＡＮＮトレーニングのためのトレーニング用の入力集合及び出力集合として用いられる。加えられるべき（正規分布した）ガウス雑音の量は入力／出力変数に特異的であり、許容パーセンテージの項で特徴付けられる。入力行列Ｘ及び出力行列Ｙに雑音を導入するために使用される雑音許容ベクトルは、それぞれε¹及びε⁰と定義される。Ｎ次元入力ベクトルの各要素に加えられるべき雑音を特徴付けるＮ次元雑音許容ベクトルは次のように定義される。
【００２６】
【数３】

【００２７】
そしてそのｎ番目の要素ε¹ _nは入力行列Ｘのｎ番目の列要素｛ｘ_pn｝にガウス雑音を導入するために使用される。ｐ＝１，２，‥‥，Ｐである。この雑音許容値であるε¹ _nは次のように定義される。
【００２８】
【数４】

【００２９】
上式中、ｘ_pn及びσ¹ _pnはガウス分布の平均値及び標準偏差を示す。
【００３０】
方程式５を変形すると、標準偏差は下記の式として計算できる。
【００３１】
【数５】

【００３２】
ガウス分布の平均値としてｘ_pn（ｎ＝１，２，‥‥，Ｎ）、標準偏差としてσ¹ _pn（ｎ＝１，２，‥‥，Ｎ）を用いると、Ｍ個の雑音を重ねた試料入力パターンが実例集合におけるｐ番目（ｐ＝１，２，‥‥，Ｐ）の入力パターンに対応して（コンピュータ・シミュレーションを用いて）形成される。得られる雑音を重ねて誘導された入力行列（Ｘ’）は［（ＭＰ）×Ｎ］の次元を有する。
【００３３】
入力に対する雑音許容ベクトルε¹と同様に、本発明者らはＫ次元の出力雑音許容ベクトルε⁰を、
ε⁰＝［ε⁰ _{1 ,} ε⁰ _{2 ,}‥‥，ε⁰ _{k ,}‥‥，ε⁰ _K］^T （７）
と定義する。
【００３４】
この許容ベクトルのｋ番目の要素ε⁰ _kは標的出力行列であるＹのｋ番目の列要素｛ｙ_pk｝_,ｐ＝１，２，‥‥，Ｐにガウス雑音を導入するために使用される。この許容ベクトル要素であるε⁰ _kは下記の式のように定義される。
【００３５】
【数６】

【００３６】
上式中、ｙ_pk及びσ⁰ _pkはそれぞれガウス分布の平均値及び標準偏差を示す。方程式８を変形すると、標準偏差は下記の式により評価される。
【００３７】
【数７】

【００３８】
雑音を重ねた試料出力行列Ｙ’は、行列Ｘ’と同様にしてコンピュータ・シミュレーションを用いて形成される。ここで、ｙ_pk（ｋ＝１，２，‥‥，Ｋ）及びσ⁰ _pk（ｋ＝１，２，‥‥，Ｋ）はそれぞれガウス分布の平均値及び標準偏差として用いられ、Ｍ個の雑音を重ねた試料出力パターンが実例集合におけるｐ番目（ｐ＝１，２，‥‥，Ｐ）の標的出力パターンに対応して形成される。得られる雑音を重ねた試料出力行列Ｙ’は［（ＭＰ）×Ｋ］の次元を有する。ＡＮＮトレーニングの間、行列Ｘ’及びＹ’は入力−出力トレーニングデータとして用いられ、一方、行列Ｘ及びＹは該ネットワークの一般化性能を監視するためのテスト用入力−出力データとして用いられる。
【００３９】
その入力と出力の間の関係が非線形であるシステムでは、従属（出力）変数は原因（入力）変数の変化に種々の程度の感受性を示す。従って、（許容ベクトルの要素，ε¹及びε⁰により定義された）実例集合における入力／出力変数それぞれに加えられるべき雑音の正確な量の決定は重要な論点となる。本発明は実例データ集合の入力−出力要素に加えられるべき雑音の正確な量を最適化するため、ＧＡに基づく方法を導入する。雑音を重ねたデータは、ネットワークをトレーニングする際に使用されると、改良された予測精度及び一般化性能を有するネットワークモデルを生ずる。以下に、実例集合の入力／出力要素それぞれに加えられるべき雑音の正確な量を最適化するためのＧＡに基づくアプローチを記述する。
【００４０】
ＧＡに基づく最適化という課題は次のように述べられる。即ち、雑音許容値を用いて作成された雑音を重ねた拡大されたトレーニング用集合が改良された予測精度及び一般化能力を有するネットワークモデルを生ずるように、入力／出力変数特異的雑音許容度の最適値を見出すことである。本質的には、ＧＡの課題は、それが雑音を重ねた拡大された入力−出力トレーニングデータ集合を作成するために用いられたとき、テスト集合と比べてＲＭＳＥ誤差が最小となるような、最適な入力雑音許容ベクトル及び出力雑音許容ベクトル、ε^1*＝[ ε^1* _{1 ,} ε^1* _{2 ,}‥‥，ε^1* _{n ,}‥‥，ε^1* _N］^T及びε^0*＝［ε^0* _{1 ,} ε^0* _{2 ,}‥‥，ε^0* _{k ,}‥‥，ε^0* _K］^Tを見出すことである。従って、ＧＡにより最小化されるべき対象の関数はテスト集合ＲＭＳＥであり、次のように定義される。
【００４１】
【数８】

【００４２】
上式中、ｉはテスト入力パターンの指標を表し（ｉ＝１，２，‥‥，Ｎ_tst）、ＫはＭＬＰ構造における出力ノードの数を示し、Ｎ_tstはテスト集合におけるパターンの数を表し、そしてＥ_iはｉ番目のテストパターンに対応する和二乗誤差（ＳＳＥ）を表す。
【００４３】
ＲＭＳＥ_tst最小化に関与する遺伝的アルゴリズムの工程は次のようになる。
（１）候補解集団の初期値設定：世代指標（Ｎ_gen）をゼロに設定し、そしてＮ_pop二項の糸（染色体）の集団を無作為に形成する。全部でl_chrビットを持つ糸それぞれを最適化すべき決断変数（Ｎ＋Ｋ）の数と同数のセグメントに分割する。糸の（Ｎ＋Ｋ）の二項セグメントの十進法等価物は候補の解ベクトルを表すことに注意せよ。この解ベクトルの最初のＮ個の要素はＮ個の入力変数に対応する雑音許容度を示し、次のＫ個の要素は同数の出力変数に対応する雑音許容度を表す。こうして、Ｎ_pop個の候補解の集団は入力−出力雑音許容度の組み合わせ集合として記述できる。即ち
｛ε⁰ _{ln ,} ε⁰ _lk｝; l＝１，２，‥‥，Ｎ_pop、ｎ＝１，２，‥‥，Ｎ、
ｋ＝１，２，‥‥，Ｋ（１１）
【００４４】
（２）適合性計算：その解の適合値を計算するため、入力−出力雑音許容度のベクトル対を含む現在の集団におけるl番目（l＝１，２，‥‥，Ｎ_pop）の候補解を利用する。具体的には、入力−出力雑音許容値は、前に概述した手順（方程式６及び９をも参照）に従うことにより、ガウス雑音を重ねた拡大されたトレーニング集合｛Ｘ’，Ｙ’｝を作成するために用いられる。そのようにして作成されたトレーニング集合はＥＢＰ、コンジュゲート・グラディエント、クイックプロプ及びＲＰＲＯＰなどの適当な習得アルゴリズムの枠内でネットワーク重み行列Ｗ^H及びＷ^Oを調節するために利用される。トレーニングの間、実例入力−出力集合はテスト集合として使用され、そして対応するＲＭＳＥ値（ＲＭＳＥ_tst（l））は次式を用いてl番目の候補解の適合性（ξ_l）を計算するために用いられる。
ξ_l＝l／（l＋ＲＭＳＥ_tst（l））；l＝１，２，‥‥，Ｎ_pop （１２）
【００４５】
方程式１２で定義された適合性関数の形は適合値ξ_lを評価するために使用できる幾つかのうちの一つであることに注意すべきである。罰則項を含む適合性関数を使用することも可能である（デブ，Ｋ．「工学設計、アルゴリズム、及び実例の最適化」プレンティス−ホール，ニューデリー，1995）。適合性評価の後に該候補糸はそれらの適合値の大きい方から順に格付けされる。
【００４６】
（３）親の選択：現在の集団からＮ_pop個の親の染色体を選択して交配用のプールを作成する。このプールの構成員は比較的高い適合性得点を有するように選択され、それらは子孫糸を作成するために使用される。普通に使用される親の選択法はルーレット−ホイール（ＲＷ）法でありそして推計学的残り選択（ＳＲＳ）（ゴールドバーグ，Ｄ．Ｅ．「調査、最適化、及び機械習得における遺伝的アルゴリズム」アディソン−ウェスレー，ニューヨーク，1989) として知られるＲＷ法のより安定な変法である。
【００４７】
（４）交差：交配用プールから、Ｎ_pop／２個の親の対を無作為に選択し、Ｐ_cr（０＜Ｐ_c≦1.0 ) に等しい交差確率を持つ各対について交差操作を行なう。交差では、親の対の各メンバーを同じく無作為に選んだ交差点で切断する。結果として、二つの下位の糸が各親糸から形成される。この下位の糸は親の間で相互に交換され且つ結合されて二つの子孫染色体を生ずる。「一点交差」と呼ばれるこの交差操作は、親の対の全てについてなされたとき、Ｎ_pop個の子孫糸を含む集団を生ずる。
【００４８】
（５）突然変異：子孫糸について突然変異（ビット反転）操作を行なう。ここで、ビットが反転する（ゼロから１へ又はその逆）確率はｐ_mutに等しい。推奨されるｐ_mutの範囲は〔0.01−0.05〕である。
【００４９】
（６）世代指標を１ずつ増加させ（Ｎ_gen＝Ｎ_gen＋１）、新たに形成された子孫糸について工程２〜５を収束に達するまで繰り返す。ＧＡ収束の基準はＮ_genがその最大限界（Ｎ^max _gen) を超えること、又は突然変異した子孫集団における最良の糸の適合性得点が後続の世代にわたって極めて小さな変化しかしない又は全く変化しないことである。ＧＡ収束が達成された後、最高の適合値を有する糸を解読して最適化された解を得る。通常、最小ＲＭＳＥ_tst量をもたらす最適解ベクトル〔ε^1* , ε^0*〕を得るためには大量の数の世代が必要である。
【００５０】
本発明の好ましい実施態様を以下に記述するが、本発明は変化及び修飾を受けることができる。従って、本発明の範囲はその効果を証明するために使用される実施例の正確な詳細に限定されない。
【００５１】
本発明の実施態様では、非線形モデル化及び分類を行なうために用いられる人為的神経ネットワークが雑音を重ねた拡大された入力−出力データ集合を用いてトレーニングされる。ここで、実例集合における入力／出力変数それぞれに加えられるべき雑音の最適量は遺伝的アルゴリズムとして知られる推計学的最適化方式を用いて決定された。この遺伝的アルゴリズムはネットワークに改良された予測精度及び一般化性能を持たせ得る
【００５２】
本発明の別の一実施態様では、機械的雑音及び／又は測定誤差を含む「実例集合」と呼ばれる入力−出力データがオフライン又はオンラインのいずれかで集められた場合に適用可能な方法が示される。
【００５３】
本発明のさらに別の一実施態様では、この方法はその実施のためにプロセス監視システム、プロセスのタイプ、及びセンサーハードウェアなどについての知識を必要としない。
【００５４】
本発明のさらに別の一実施態様では、実例データに加えられるべき最適雑音が、サイマルテイニアス・パーターベーション・ストカスティック・アプロクシメーション（ＳＰＳＡ）、シミュレーティッド・アニーリング（ＳＡ）、アント・コロニー（ant colony) 法、及びメメティックアルゴリズムなどの他の推計学的最適化技法を用いて決定され得る。
【００５５】
本発明の付加的実施態様では、この方法は入力と出力の実例データの間の関係が非線形である場合の人為的神経ネットワークモデルを開発するために使用できる。
【００５６】
本発明のさらに付加的実施態様では、発明された方式は、エラー・バック・プロパゲーション、コンジュゲート・グラディエント、クイックプロプ、及びＲＰＲＯＰなどの種々の決定論的且つ推計学的な人為的神経ネットワークトレーニングスキームに適用できる。
【００５７】
従って、本発明は機械的雑音及び／又は測定誤差を含むデータの存在下で人為的神経ネットワークモデルの予測精度及び一般化性能を改良する方法であって、下記の工程（図２参照）を含む方法を提供する。
（ａ）プロセスデータ（実例集合）を原因（入力）変数の［Ｐ×Ｎ］行列（Ｘ）及び対応する従属（出力）変数の［Ｐ×Ｋ］行列（Ｙ）の形式で編集する工程。
（ｂ）実例データ集合を前処理する工程、即ち明らかな及び明らかでないアウトライアー（はずれ値）を除去し、欠落のあるデータ、センサーの誤った読みなどを含むパターンを捨てる工程。
（ｃ）サイズＮ_popの糸の候補解集団を無作為に形成することによりＧＡ調査及び最適化手順（世代の数，Ｎ_gen＝０）を始める工程。ここで、解はそれぞれＮ個の入力雑音許容度（ε¹）及びＫ個の出力雑音許容度（ε⁰）を記述する［Ｎ＋Ｋ］次元の決断変数ベクトルである。
【００５８】
（ｄ）l番目（l＝１，２，‥‥，Ｎ_pop）の候補解を用いて、下記の工程を行なう、
（ｉ）実例集合におけるｐ番目（ｐ＝１，２，‥‥，Ｐ）の入力−出力パターンに対応する、Ｍ個のガウス雑音を重ねた試料入力−出力パターンを、コンピュータ・シミュレーションを用いて形成させる工程。入力及び出力の試料パターンを形成させるための標準偏差値（σ¹，σ⁰）はそれぞれ方程式６及び９を用いて計算される。得られる試料入力行列であるＸ’及び出力行列であるＹ’はそれぞれ［（ＭＰ），Ｎ］及び［（ＭＰ），Ｋ］の次元のものである。
【００５９】
（ii) 入力層及び隠れた層それぞれにおけるＮ個の入力ノード、Ｎ_H個の隠れたノード、一つのバイアスノード、並びにＫ個の出力ノードを収容するＭＬＰなどのフィード・フォワードＡＮＮを、適当なトレーニングアルゴリズム、例えば、エラー・バック・プロパゲーション、コンジュゲート・グラディエント、クイック−プロプ、又はＲＰＲＯＰを用いてトレーニングする工程。トレーニングの間、ネットワーク重み行列であるＷ^H及びＷ^Oはそれぞれ雑音を重ねた試料入力−出力行列であるＸ’及びＹ’を用いて調節され、そして実例入力−出力行列であるＸ及びＹはこのネットワークの一般化能力を測るためのテストデータとして使用される。ネットワークトレーニングの目的はテスト集合（ＲＭＳＥ_tst）と比べＲＭＳＥを最小にすることである。この目的を達成するため、隠れた層の数、隠れた層それぞれにおけるノードの数、及びトレーニング用アルゴリズムに特異的なパラメータ、例えば、ＥＢＰアルゴリズムにおける習得速度及び運動量係数を最適にする必要がある。l番目の候補解に対応するこの最小化されたテスト集合のＲＭＳＥ値はＲＭＳＥ_tst(l) と定義される。
【００６０】
（ｅ）前の工程で得られた最小化されたＲＭＳＥ_tst(l) 値を用いて、候補解の適合値ξ_l（l＝１，２，‥‥，Ｎ_pop）を計算する工程。以下に示すようなものなどの適当な適合性関数を適合値を計算するために使用しうる。
ξ_l＝１／（１＋ＲＭＳＥ_tst(l) ）（１３）
l＝１，２，‥‥，Ｎ_pop
上式中、ξ_lはl番目の候補解の適合性得点を示し、ＲＭＳＥ_tst(l) はl番目の解が雑音を重ねた拡大されたトレーニングデータを形成させるために使用された場合の最小化されたテスト集合ＲＭＳＥ値を表す。これらの適合性値を評価した後、その候補解を適合性得点の大きい方から順に格付けする。
【００６１】
（ｆ）先に詳述したように、この格付けされた候補解の集団について、選択、交差及び突然変異の操作を行って新たな世代の解（Ｎ_gen＝Ｎ_gen＋１）を得る。
【００６２】
（ｇ）この新たな世代の候補解について収束が得られるまで工程（ｄ）から（ｆ）までを行なう。収束の成功の基準は、ＧＡが多数の世代にわたって（Ｎ_gen≧Ｎ^max _gen) を生ずること、又は最良の解の適合性値が後続の世代において極めて小さな変化しかしないか又は全く変化しないことのいずれかである。この収束した集団における最高の適合値を有する候補解がＧＡ−最適化解（ε^1* , ε^0*）を表し、そしてこの解に対応する重み行列（Ｗ^H及びＷ^O）は改良された予測精度及び一般化性能を有するＡＮＮモデルの最適重みを表す。
【００６３】
本発明を利用する下記の実施例は例示のために示すものであり、従って、本発明の範囲を制限するものと解すべきではない。
【００６４】
実施例１
本発明の方法論の第一の例で使用されるデータは、工業的重合プロセスの実施から得られる。このプロセスのデータは９個の入力と１個の出力とから成り、入力はプロセスの条件を記述し、出力はポリマーの品質のパラメータを表す。ＡＮＮモデル化には全部で２８個の入力−出力データパターン（実例の集合）が利用可能であった。これらのデータは機械的雑音及び測定誤差を含んでいた。ＡＮＮの模範としてＭＬＰを用いて、最初の幾つかのネットワークモデルを開発し、ＥＢＰ、コンジュゲート・グラディエント、クイックプロプ及びＲＰＲＯＰなどの種々のトレーニング用アルゴリズムを用いてこのポリマーの品質パラメータを予測した。ＭＬＰに基づくモデルを発展させながら、隠れた層の数、隠れた層それぞれ中のノードの数、習得速度、運動量係数などの種々のネットワーク構造のパラメータの効果を厳密に研究した。また、ネットワークの重みの異なる初期設定の効果、及びトレーニング集合やテスト集合のサイズの効果も徹底的に検討した。トレーニング集合及びテスト集合に関して最小のＲＭＳＥ値を生じた上述の方法を用いてトレーニングされたＭＬＰネットワークの構造は、入力層中に９個のノード、隠れた層−１中に６個のノード、隠れた層−２中に７個のノード、そして出力層中に１個のノードを含んでいた。トレーニング集合及びテスト集合に関するＲＭＳＥ誤差の量は、それぞれ 0.00590 (RMSE_trn) 及び 0.03436 (RMSE_tst) であった。ＲＭＳＥ値から見ることができるように、ＲＭＳＥ_tstがＲＭＳＥ_trnよりも遙かに大きく、従って、このネットワークモデルの一般化能力は満足すべきものでないことが推論できる。このネットワークモデルの予測精度及び一般化性能を両方共改良するため、本発明に例示された方法論を使用した。特に、この実例集合の各パターンについて２５（Ｍ＝２５）の雑音を重ねた試料の入力−出力パターンを作成した。全部で７００個の入力−出力パターンを含む雑音を重ねたデータを作成するために使用した最適入力−出力雑音許容値（ε^1*，ε^0*) は本発明で導入された遺伝的アルゴリズムに基づく戦術を用いて得られた（図２も参照）。ＧＡにより与えられた最適許容値を表１に列挙する。これらの数値は以下に示すＧＡ特異的パラメータ値を用いて得られた。即ち、（i)各糸集団の長さ（l_chr）＝１０ビット、（ii) 集団のサイズ（Ｎ_pop）＝１６、（iii)交差の確率（Ｐ_cr）＝ 0.9、及び（iv) 突然変異の確率（Ｐ_mut）＝ 0.05 である。この雑音を重ねたデータの上でトレーニングされたＭＬＰネットワークは表２で報告されたＲＭＳＥ値を生じた。比較のために、雑音を重ねていないデータをトレーニング集合として用いて得られた最小のＲＭＳＥ値もこの表に列挙している。雑音を重ねたデータの上でトレーニングされたネットワークがトレーニング集合データ及びテスト集合データの両方についてより小さなＲＭＳＥ値を生じたことが、表２に列挙された数値から明瞭に見られ得る。より重要なことは、上記ＲＭＳＥ_tstが 0.03436から 0.00172へ有意に減少したことである。比較を容易にするため、ネットワークが予測した数値と標的出力値の間の平均のパーセンテージ誤差及び相関係数（ＣＣ）を計算し、これらも表２に列挙している。観察できるように、このＣＣ値は雑音を重ねたデータがネットワークトレーニングに使用されるとき増加した。より小さなトレーニング集合ＲＭＳＥ値及びテスト集合ＲＭＳＥ値はそれぞれこの雑音を重ねたデータの上でトレーニングされたネットワークモデルの予測精度及び一般化性能の改良を示した。また、ネットワークで予測された出力とそれらの望ましい量の間の平均のパーセンテージ誤差も有意に減少した。従って、本発明がネットワークモデルの予測精度を改良しそして一般化性能をも改良することに成功したものと推論できる。
【００６５】
【表１】

【００６６】
【表２】

【００６７】
実施例２
この実施例では、その中で直列の二つの二次反応、Ａ→Ｂ→Ｃが起こるジャケットを装備した非等温的連続攪拌式タンク反応槽（ＣＳＴＲ）を使用するプロセスが検討される。このプロセスデータは６個のＣＳＴＲ操作変数（入力）の定常状態の値を含み、そしてその中の１個の出力が生成物の品質の変数の対応する定常状態の値を示す。全部で５０個の入力−出力データパターン（実例集合）がＡＮＮに基づくモデル化のために利用可能であった。このデータは機械的雑音及び／又は測定誤差を含んでいた。まず、実例集合を出力変数の値を予測するためのトレーニングデータとして使用してＭＬＰモデルを開発した。そのために、ＥＢＰ、コンジュゲート・グラディエント、クイックプロプ、及びＲＰＲＯＰなどの種々のトレーニングアルゴリズムを利用した。ＭＬＰネットワークモデルを開発しながら、種々の構造的パラメータ、例えば、隠れた層の数、隠れた層それぞれのノードの数、習得速度、運動量係数などの効果を研究した。また、ネットワーク重みの異なる初期設定、及びトレーニング用集合やテスト集合のサイズの効果を厳密に検討した。上述の方法を用いてトレーニングされ、該トレーニング用集合やテスト集合に関して最小のＲＭＳＥ誤差を生じたＭＬＰネットワークの構造は、入力層に６個のノード、隠れた層−１に４個のノード、隠れた層−２に４個のノード、そして出力層に１個のノードを含んでいた。トレーニング集合及びテスト集合に関するＲＭＳＥ誤差は、それぞれ 0.00909 (ＲＭＳＥ_trn) 及び 0.01405 (ＲＭＳＥ_tst) であることが見出された。このＲＭＳＥ値から、ネットワークモデルの予測精度及び一般化性能を改良するためのかなりの余地がなお存在することが見られる。この目的を達成するため、本発明で例示された方法論が用いられた。具体的には、実例集合におけるパターンのそれぞれについて、２５個（Ｍ＝２５）の雑音を重ねた試料入力−出力パターンを作成した。全部で１２５０個の試料入力−出力パターンを含む雑音を重ねたデータを作成するために使用した最適許容値（ε^1*，ε^0*）は本発明で導入された遺伝的アルゴリズムに基づく戦術を用いて得られた（図２を参照）。ＧＡにより与えられた最適雑音許容値は表３に列挙してある。これらの数値は以下に述べるＧＡ特異的なパラメータ値を用いて得られた。即ち、（ｉ）各糸集団の長さ（l_chr）＝１０ビット、（ii) 候補集団のサイズ（Ｎ_pop）＝１４、（iii)交差の確率（Ｐ_cr）＝ 0.9、及び(iv)突然変異の確率（Ｐ_mut）＝ 0.05 である。この雑音を重ねたデータを用いて得られたトレーニング集合及びテスト集合のＲＭＳＥの最小値は表４に列挙してある。比較のために、雑音を重ねていないデータを用いて得られたＲＭＳＥの最小値もこの表に列挙してある。表４に列挙した数値から、雑音を重ねたデータの上でトレーニングされたネットワークはトレーニングデータ及びテストデータの両方についてより低いＲＭＳＥ値を生じたことが明瞭に読み取れる。より重要なことは、このＲＭＳＥ_tstは 0.01405から 0.00183まで有意に減少したことである。トレーニング集合及びテスト集合のＲＭＳＥ値が極く小さいことは、雑音を重ねたデータの上でトレーニングされたネットワークモデルの予測精度及び一般化性能が向上したことを示すものである。この推論は対応する相関係数値がより高いこと（約１）及び平均予測誤差（％）の値がより小さいことによっても支持される。従って、本発明はＣＳＴＲのためのＡＮＮモデルの予測精度をそして一般化性能も改良することに成功したと結論できる。
【００６８】
【表３】

【００６９】
【表４】

【００７０】
有利な点
（１）機械的雑音及び／又は測定誤差を含むデータの存在下で非線形の人為的神経ネットワークモデルを構築するための方式を容易に実施できること。
（２）この方法論は、それが専らコンピュータ・シミュレーションにより拡大されたトレーニングデータ集合を作成し、それにより人為的神経ネットワークモデルの予測精度及び一般化能力を改良するためのさらなるプロセスデータの収集を無用とするので、費用に対して効果が高いこと。
（３）発明された方法は、人為的神経ネットワークモデルの予測精度及び一般化性能を改良するための雑音を重ねたトレーニングデータを作成するが、その場合、入力−出力変数のそれぞれに加えるべき雑音の量が恣意的に選択されるのではなく、新規な且つ強力な推計学的最適化法、即ち、遺伝的アルゴリズムを用いて選択されるものであること。
（４）遺伝的アルゴリズムの使用は実例データの入力／出力変数のそれぞれに加えるべき雑音の全体的に（そして局部的にではなく）最適な量を得ることを可能とすること。
（５）本発明方法は、雑音を重ねる方法を用いて追加のトレーニングデータを作成するので、実例データがＡＮＮトレーニングを行なうには不適当な場合でさえも機能すること。
（６）この方法は多重入力−多重出力の非線形システムのモデル化及び分類のためにそれを適用することを保障する程に十分に一般的であること。
（７）本発明の方法は、人為的神経ネットワークに基づくモデル化及び分類を含む実時間適用に使用できること。
（９）本発明の方式は並列式コンピュータを用いて実施するために効率的に並列化できること。
（１０）本発明の実施は完全に自動化され、使用者の介入は最小で済むか又は全く不要であること。
【図面の簡単な説明】
【図１】
図１は、多層知覚（ＭＬＰ）などの典型的なフィード・フォワード神経ネットワークの概略図を示す。
【図２】
図２は、本発明の工程を詳述するフローチャートを示す。

Claims

ネットワークモデルを構築するために利用可能な実例集合として知られる入力−出力データが機械的雑音及び／又は測定誤差を含む場合に、非線形の人為的神経ネットワークモデルの予測精度及び一般化性能を改良する方法であって、
（ａ）コンピュータ・シミュレーションを用いて雑音を重ねた拡大された入力−出力試料データ集合を作成する工程、
（ｂ）該実例集合における入力−出力パターンのそれぞれについて、コンピュータ・シミュレーションを用いてＭ個の雑音を重ねた試料入力−出力パターン（ベクトル）を作成する工程、
（ｃ）入力／出力変数のそれぞれに特異的な雑音許容値を用いて雑音を重ねた試料入力−出力パターンを形成する工程、
（ｄ）雑音を重ねた試料入力−出力パターンを作成するため、コンピュータ・シミュレーションを用いてガウス（正規）分布した無作為数を作成する工程、
（ｅ）推計学的調査及び最適化法を用いることにより実例集合中の入力／出力変数のそれぞれに加えられるべきガウス雑音の正確な量を決定する工程、及び
（ｆ）非線形の人為的神経ネットワークモデルを構築するための「トレーニング集合」としてコンピュータにより形成された雑音を重ねた試料入力−出力パターンを使用する工程、
を含む方法。
遺伝的アルゴリズムにより決定される、実例集合の各入力出力変数に加えるべきガウス雑音の正確な量が全体的に（そして局部的にではなく）最適である、請求項１記載の方法。
該実例集合が人為的神経ネットワークモデルの一般化性能を監視するための「テスト集合」として用いられるものである、請求項１記載の方法。
該人為的神経ネットワーク構造が「フィード・フォワード」である、即ち、ネットワーク内の情報の流れが入力層から出力層への一方向である、請求項１記載の方法。
該フィード・フォワード神経ネットワーク構造が、多層知覚（ＭＬＰ）ネットワーク、ラジアル・ベイシス・ファンクション・ネットワーク（ＲＢＦＮ）、及びカウンタープロパゲーション神経ネットワーク（ＣＰＮＮ）を含むものである、請求項１記載の方法。
人為的神経ネットワークモデルを構築するため又はトレーニングするために用いられたアルゴリズムが、エラー・バック・プロパゲーション、コンジュゲート・グラディエント、クイックプロプ及びＲＰＲＯＰを含むものである、請求項１記載の方法。
雑音許容性を最適化するために使用された該推計学的調査及び最適化法が、遺伝学的アルゴリズム及び関連する方法、即ち、シミュレーティッド・アニーリング（ＳＡ）、サイマルテイニアス・パーターベーション・ストカスティック・アプロクシメーション（ＳＰＳＡ）、進化論的アルゴリズム（ＥＡ）及びメメティック・アルゴリズム（memetic algorithms)(ＭＡ）を指すものである、請求項１記載の方法。
拡大された雑音を重ねた試料入力−出力データ集合が、小さなサイズの実例入力−出力集合からコンピュータ・シミュレーションを用いて作成されるものである、請求項１記載の方法。