JPH09506986A

JPH09506986A - 剰余活動化ニューラル・ネットワーク

Info

Publication number: JPH09506986A
Application number: JP6501743A
Authority: JP
Inventors: キーラー、ジェイムズ・デイヴィッド; ハートマン、エリク・ジョン; リアノ、カディール; ファーガソン、ラルフ・ブルース
Original assignee: パヴィリオン・テクノロジーズ・インコーポレイテッド
Priority date: 1992-06-10
Filing date: 1993-06-10
Publication date: 1997-07-08
Also published as: US5859773A; EP0645025B1; WO1993025943A2; AU4411493A; WO1993025943A3; EP0645025A1; US5353207A; DE69321952T2; US5559690A; DE69321952D1; CA2137806A1

Abstract

(57)【要約】工場（７２）は、制御入力ｃ（ｔ）を受け取って出力ｙ（ｔ）を提供するように動作することができる。工場（７２）には、可変でない状態変数ｓ（ｔ）が関連付けられている。工場（７２）を正確にモデル化する制御ネットワーク（７４）を提供する。制御ネットワーク（７４）の出力は、誤差を生成するために所望の出力と組み合わされた予測出力を提供する。この誤差は、所望の出力を満たすように出力ｙ（ｔ）を変更するために工場（７２）への制御入力を変更するための分散制御システム（７３）への入力である誤差信号である。制御ネットワーク（７４）は、状態変数に対する制御変数の依存性の表現を記憶するように動作できる第１のネットワークＮＥＴ１から成る。予測された結果は、実際の状態変数入力から減じられ、剰余層（１０２）中の剰余として記憶される。剰余層（１０２）の出力は、見えない層（１０８）に入力される。前記見えない層は、制御入力を受け取り、出力層（１０６）で予測出力を生成する。誤差の逆伝搬時に、剰余層（１０２）中の剰余値がラッチされ、制御値だけが変動できるようになる。

Description

【発明の詳細な説明】剰余活動化ニューラル・ネットワーク［発明の技術分野］本発明は、全般的にはニューラル・ネットワークに関し、詳細には、サブネットワークでの剰余留活動化を使用することによってニューラル・ネットワークの性能および精度を向上させる方法およびそのための装置に関する。［発明の背景］ニューラル・ネットワークは一般に、プロセスを予測し、制御し、最適化するために使用される。ニューラル・ネットワークは一般に、システムの非線形モデルを学習し、その非線形モデルの表現を記憶するように動作することができる。したがって、ニューラル・ネットワークはまず、非線形モデルによってシステムを最適化／制御するためにその非線形モデルを学習する。ニューラル・ネットワークは、モデルを作成する第１段階で関数を予測する。たとえば、ニューラル・ネットワークを使用して、プロセス変数の過去の履歴データから薬品工場の将来の挙動を予測することができる。最初、ネットワークは、その薬品工場に適用できるモデル・タイプの知識を有していない。しかし、ニューラル・ネットワークは、薬品工場の履歴データでネットワーク自体を訓練することによって非線形モデルを「学習」する。この訓練は、逆伝搬、クラスタ化による放射バイアス関数、非放射バイアス関数、最近傍近似など多数の従来の訓練技法によって行われる。ネットワークが入力データセットに関する学習を終了した後、訓練データから意図的に削除されていた工場の履歴データの一部がネットワークに入力され、ネットワークがこの新しいデータに関してどれだけ正確に予測するかが判定される。予測が正確である場合、ネットワークはそのデータに関して「一般化」されたと言われる。一般化レベルが高い場合、その予測ネットワークが有用な工場挙動特性を得たという高度の信頼性が存在する。ネットワークを訓練するために、履歴データは通常、入力ベクトルを表すベクトルｘ（ｔ）と、Ｍが訓練パターンの数を表すｔ＝１，２，３．．．Ｍに関する時間の関数として実際の入力を表すベクトルｙ（ｔ）の形の時系列から得られる１組のパターンである訓練セットとして提供される。このような入力は、温度流量などであってよく、出力は産出量、不純物準位、分散などであってよい。全体的な目標は、この訓練データを学習し、次いで新しいパターンに一般化することである。入出力の訓練セットを使用すると、以下のように、ニューラル・ネットワークに組み込まれる関数を作成することができる。上式でｏ（ｔ）は出力ベクトルであり、Ｐはベクトル、または学習段階中に可変であるパラメータ（「重み」）である。目標は、以下の合計平方誤差関数を最小限に抑えることである。合計平方誤差関数は、関数ｆのパラメータＰを変更することによって最小限に抑えられる。これは、好ましい実施例における逆伝搬方式または勾配下降方式によって行われる。これは多数の論文に記載されており、周知である。したがって、ニューラル・ネットワークは基本的に、確率分布に適合するための統計アルゴリズムのクラスとみなすことができるパラメータ適合方式である。ニューラル・ネットワークは、高次元表面によって入出力データに適合する関数近似機構とみなすこともできる。ニューラル・ネットワークは、非常に簡単でほとんど自明の関数（通常シグモイド）を多層入れ子構造で使用する。他の関数近似技法に勝るニューラル・ネットワークによって提供される一般的な利点は、関連するニューラル・ネットワーク・アルゴリズムが多数の異なるシステムに適応し、ニューラル・ネットワークがパラメータに対する非線形依存性を提供し、すなわち非線形モデルを生成し、ニューラル・ネットワークがコンピュータを使用して大部分の学習を実行し、かつ一般に規則の識別が困難であり、規則または規則の組合せの数が極めて多くなることがあるため、ニューラル・ネットワークが従来の規則ベースのエキスパート・システムよりもずっと性能が優れていることである。しかし、ニューラル・ネットワークは、制限や、熱力学的な圧力／温度の関係などシステムに関するその他の知識を組み込むことがいくぶん難しく、ネットワーク自体がどのように問題を解決するかについての簡単な説明を与えない点でいくつかの欠点を有する。実際には、ニューラル・ネットワークで具現化される一般的な欠点が重大なものになることはめったにない。ニューラル・ネットワークの一部を使用してシステムを最適化するとき、それは通常、監視の下で行われる。この種の最適化では、最適化機構としてのニューラル・ネットワークが、動作パラメータをどのように変更するかに関して示唆を与える。オペレータは次いで、このパラメータをどのように変更するかに関して最終決定を下す。したがって、この種のシステムでは通常、工場を円滑に運営するには制御パラメータをどのように変更すべきかを知っている「エキスパート」が各工場にあることが必要である。しかし、このエキスパートは、自分で選択したパラメータおよび方法を変更する理由を十分説明できないことが多い。この種の専門知識を規則ベースのシステム用の従来のモデルに組み込むことは非常に難しいが、ニューラル・ネットワークでは、このような専門知識が履歴データから容易に学習される。正確な予測を行ううえでの一般的な問題は、正確なモデルを作成する問題である。予測ファイルには、非常に異なる周波数構成要素を含み、あるいは低速ドリフト上に変調がある変数が存在することが多い。たとえば、電子機器では、信号が、それよりもずっと低い周波数のゆっくり変動する波上に存在することがある。経済分野の他の例として、急速に変動する挙動を伴う低速の上向きドリフトが前記挙動の下にあることが多い。製造面では、センサは低速でドリフトすることが多いが、センサ値は急速に変化することがある。この結果、予測プロセスで誤差が発生する。モデルを作成することができる精巧で十分なニューラル・ネットワークと十分な量の訓練データが与えられている場合、この誤差を予測することができるが、このようなシステムは、あまり実際的でないニューラル・ネットワーク・システムである。そのため、この誤差は通常、無視される。この誤差は一般に、予測可能なタイプの誤差であり、一般に予測不能なランダムな「雑音」とは区別すべきである。従来のシステムで予測可能なこの誤差を「剰余」と呼ぶ。実際の予測から剰余予測が失われることの他のニューラル・ネットワークの使用の問題は、最適化／制御を行う問題である。予測が行われた後、制御入力パラメータを特定の設定値に設定するように、独立変数である、制御変数と呼ばれる入力変数を実際に操作することが必要になる。たとえば、弁の位置、タンク・レベル制御装置、車のアクセル・ペダルなどが制御変数である。これに対して、操作される変数ではない、状態変数と呼ばれる他の１組の変数が温度計、流量計、圧力計、速度計などのセンサから測定される。たとえば、炉上の制御弁は、制御変数を構成し、温度計の読取り値は状態変数を構成する。これらの入力変数に基づいて工場のプロセスをモデル化するように予測ニューラル・ネットワークを作成した場合、制御変数に基づいても、状態変数に基づいても、その両方の組合せに基づいても同じ予測精度が得られる。ネットワークが入力パターンに関して訓練されるときは必ず、制御弁と温度計の読取り値の間の関係のために問題が発生する。この理由は、ネットワークが通常、温度または制御、あるいはその両方に注意を払うことを学習することである。ネットワークが温度にしか注意を払わない場合、ネットワークの制御応答は「温度を上げる」あるいは「温度を下げる」という形のものになる。温度計は直接操作できる変数ではないので、この情報は、どのように制御装置を変更するかに関する情報に関係付ける必要がある。弁と温度読取り値の間の関係が直接的な関係である場合、これは簡単な問題である。しかし、実際に存在する状況は通常、制御変数に対する状態変数の依存性が識別しづらく、制御の多変数非線形関数であることがあるため、より複雑である。ループに人間を含めずにオンライン制御を実行するための妥当な予測制御モデルを作成するには、ネットワークが制御変数と状態変数の間の関係を考慮に入れる必要がある。［発明の概要］本明細書で開示し請求した本発明は、制御変数、関連する状態変数、および１つまたは複数の制御された工場出力を受け取るための工場制御入力を有する工場を制御するための制御ネットワークを備えている。各工場出力は、工場制御変数に対する工場状態変数の依存性の関数である。現行工場制御変数、現行工場状態変数、および所望の工場出力をネットワーク入力として受け取るための制御入力を提供する。所望の工場出力に対応する予測された工場制御変数を生成するための制御ネットワーク出力を提供する。処理システムは、工場制御変数に対する工場出力の依存性を表す工場のローカル逆表現を介して、受け取られた工場制御変数および工場状態変数を処理し、所望の工場出力を達成するのに必要な予測工場制御変数を提供する。工場の出力が所望の出力になるように予測工場変数を工場に入力するためのインタフェース装置を提供する。本発明の他の態様では、処理システムは、予測工場出力を提供するために第１の中間出力を有する第１の中間処理システムを備えている。第１の中間処理システムは、工場制御変数および状態変数を制御ネットワーク入力から受け取り、工場の予測モデルを介して処理を行って予測工場出力を生成するように動作することができる。予測工場出力は、第１の中間出力から出力され、次いで、予測工場出力を所望の工場出力と比較し、次いでそれらの間の差を表す誤差を生成するための誤差装置に出力される。工場制御変数に対する工場出力の依存性を表す工場のローカル逆表現を介して誤差を処理し、所望の工場出力を達成するのに必要な予測工場制御変数を提供するための第２の中間処理システムを提供する。本発明の他の態様では、処理システムは、剰余活動化ニューラル・ネットワークとメイン・ニューラル・ネットワークとを備えている。剰余活動化ニューラル・ネットワークは、制御変数および状態変数を受け取り、工場の動作に影響を及ぼす外部分散を推定する剰余状態を生成するように動作することができる。剰余活動化ニューラル・ネットワークは、工場制御変数を受け取るための入力層と、予測状態変数を制御入力の関数として提供するための出力層と、状態変数に対する工場制御変数の依存性の表現を介して入力層を出力層にマップするための見えない層とを有するニューラル・ネットワークを備えている。剰余を構成する、予測状態変数と実際の工場状態変数の間の差を生成するための剰余層を提供する。メイン・ニューラル・ネットワークは、工場制御変数および剰余を受け取るための見えない層と、予測工場出力を提供するための出力層とを備えている。メイン・ニューラル・ネットワークは、制御入力と剰余の関数としての工場出力の表現によって入力層を出力層にマップするための見えない層を有する。メイン・ニューラル・ネットワークは、剰余活動化ネットワークによって示される制御変数と状態変数の依存性を含む工場のローカル逆表現を提供するように逆モードで動作することができる。［図面の簡単な説明］本発明およびその利点をさらに完全に理解するために、次に、添付の図面に関する以下の説明を参照する。第１図は、工場のニューラル・ネットワーク・モデルの概略図である。第２図は、単一の見えない層を表すニューラル・ネットワークの概略図である。第３図は、第１のレベルの予測を表す時系列出力を示す図である。第４図は、剰余の第２の予測を含む第１の予測から得た第１の剰余を示す図である。第５図は、剰余を使用して予測を行うためのニューラル・ネットワークの概略図である。第６図は、時系列ｙ（ｔ）を予測するために使用される剰余活動化ネットワークを示す図である。第７ａおよび７ｂ図は、工場の動作を最適化／制御するための制御システムのブロック図である。第７ｃ図は、新しい制御変数を生成するために使用される制御ネットワークを示す。第８図は、値を推定し、出力を所望の状態に維持するための妥当な信号を与えるように動作できる簡略化された工場のブロック図である。第９図は、それぞれ、入力ベクトルを受け取る、３つの入力ノードを有する簡単なニューラル・ネットワークを示す図である。第１０図は、ニューラル・ネットワークを作成する第１のステップを示す図である。第１１図は、剰余活動化ネットワークを作成する次のステップを示す図である。第１２図は、剰余ネットワーク全体が作成される、ネットワークを作成する次のステップを示す図である。第１３図は、カオス状態の工場のブロック図である。第１４図は、第１３図の工場を制御するための剰余活動化ネットワークのブロック図である。第１５図は、一般化された剰余活動化ネットワークの概略図である。［発明の詳細な説明］次に、第１図を参照すると、工場１２の予測モデル１０の概略図が示されている。工場１２は、入出力を含む任意のタイプの物理プロセス、化学プロセス、生物学的プロセス、電子プロセス、または経済プロセスである。予測モデルとは、一般に、複数のノード１４を備える入力層と、複数の見えないノード１６を備える見えない層と、複数の出力ノード１８を備える出力層とを備える、ニューラル・ネットワークである。入力ノード１４は、非線形相互接続を提供する相互接続方式を介して見えない層ノード１６に接続されている。同様に、見えないノード１６は、やはり非線形である類似の相互接続方式を介して出力ノード１８に接続されている。モデル１０の入力は、一部が、「制御」変数と呼ばれる操作変数から成り、一部が、「状態」変数と呼ばれる操作変数または非操作変数から成る知られている工場入力の入力ベクトル２０を備えている。制御変数は工場１２に入力される。入力が工場１２に導入されると、実際の出力が発生する。これに対して、モデル１０の出力は予測出力である。モデル１０が正確なモデルである範囲で、実際の出力と予測出力は基本的に同じものである。しかし、実際の出力を設定値に変更するときは常に、工場制御入力を変更しなければならない。これは、制御／最適化機構ブロック２４によって制御される制御ブロック２２を介して行われる。制御／最適化機構ブロックは、予測モデル１０からの出力を所望の出力信号と共に受け取り、工場入力を変更する。これによって、工場１２自体の実際の出力を使用せずに、実際の出力を設定値に移すことができる。工場１２は、制御入力だけでなく、「外乱」と呼ばれる測定された未知の工場入力も有する。外乱は、たとえば、製造工場における湿度、原料の変化など任意の所与の工場に存在する可能性がある未知の関係を表す。このような未知の工場入力または外乱によって、予測出力に対する実際の出力の小さな誤差や変動が発生する。このような誤差は剰余の一部である。これによって、予測出力と実際の出力の間に誤差が発生する。第２図を参照すると、入力ノード１４と、見えないノード１６と、出力ノード１８とを備える従来のニューラル・ネットワークの詳細図が示されている。入力ノード１４は、複数の入力ＩＮＰ１（ｔ），ＩＮＰ２（ｔ），．．．ＩＮＰＮ（ｔ）を備える入力ベクトルｘ（ｔ）を受け取るように動作することができる、ｘ₁, ｘ₂，．．．ｘ_Nとラベル付けされたＮ個のノードを備えている。同様に、出力ノード１８は、ｏ₁，ｏ₂，．．．ｏ_kとラベル付けされ、出力ＯＵＴ１（ｔ），ＯＵＴ２（ｔ），．．．ＯＵＴＫ（ｔ）を備える出力ベクトルｏ（ｔ）を生成するように動作することができる。入力ノード１４は、相互接続ネットワークを介して、ａ₁，ａ₂，．．．ａ_nとラベル付けされた見えないノード１６と相互接続され、各入力ノード１４が各見えないノード１６と相互接続されている。しかし、幾つかの相互接続方式は、完全な相互接続を必要としない。各相互接続は重みＷ_ij ¹ を有する。各見えないノード１６は、関数ｇを含む出力ｏ_iを有し、各見えないノードの出力は以下のように定義される。同様に、各見えないノード１６の出力は、相互接続ネットワークを介して実質的にすべての出力ノード１８と相互接続され、各相互接続には重みＷ_jk ²が関連付けられている。各出力ノードの出力は以下のように定義される。その場合、このニューラル・ネットワークは、入力パターンを提供されたときに、入力空間から出力空間へ数式１の関数ｆ（）を学習するように訓練され、数式２の合計平方誤差関数は、パラメータＷ_jk ²、Ｗ_ij ¹、ｂ¹ _j、ｂ² _kに対して勾配下降を使用することによって最小限に抑えられる。上述のニューラル・ネットワークは、一例に過ぎない。使用できる他のタイプのニューラル・ネットワークは、複数の見えない層、放射基本関数、ガウス・バー（１９９２年５月１２日に発行され、引用によって本明細書に合体された米国特許第５１１３４８３号に記載されている）、およびその他の任意のタイプの汎用ニューラル・ネットワークを使用するものである。好ましい実施例では、使用されるニューラル・ネットワークは多層認識と呼ばれるタイプのものである。剰余活動化ネットワークによる予測次に、第３図を参照すると、いくつかの異なる周波数をもつ基礎信号から成る時系列の例が示されている。どの周波数が重要であるか、あるいは問題に出会ったときにどのスケールが重要であるかを判定することは難しいことが多い。しかし、この時系列の場合は、半線形構成要素、符号波構成要素、および高周波数構成要素がある。時系列は、ある期間にわたってサンプルを表すｘ軸と大きさを表すｙ軸によって、実線で表されている。時系列は、ｙ（ｔ）と呼ばれる工場の実際の出力を表す。以下で詳細に説明するように、第１の予測を行うための第１のネットワークが提供されており、その場合、その予測と実際の出力ｙ（ｔ）の間の差は、剰余を表す第２の時系列を定義するように求められる。第３図では、第１の予測が点線で表されている。次に、第４図を参照すると、ｙ（ｔ）から第１の予測が減じられた第３図の時系列の剰余のプロットが示されている。以下でも説明するように、ｙ（ｔ）から第１の予測を減じた後の剰余の表現を含む第２の別のニューラル・ネットワークを提供する。この第２のニューラル・ネットワークの予測に、第３図のニューラル・ネットワークによって出力された予測を加えることによって、より正確な全体的な予測を行うことができる。第４図の剰余は実線で示してあり、剰余ネットワークの予測は点線で表してある。次に、第５図を参照すると、剰余活動化ネットワークの様々なレベルを表すネットワーク全体の概略図が示されている。上述のように、ネットワークの各レベルには予測の一部の表現が含まれ、一次予測を行う第１のネットワークＮＥＴ１が一次予測を行い、複数の剰余活動化ネットワークＮＥＴ２ないしＮＥＴＫのそれぞれが、予測の連続的に微細な部分を表す。これらのネットワークのそれぞれの出力は加算される。第５図は、これらのネットワークのうちのＫ個を示しており、各ネットワークは入力層と、１つまたは複数の見えない層と、出力層５２とを備えている。各出力層は、線形相互接続パターンを含む単一の出力層５２として加算される。すべてのネットワークＮＥＴ１−ＮＥＴＫの入力層は、入力ベクトルｘ（ｔ）を受け取る単一の入力層３０によって表される。各ネットワークごとに１つずつ複数の入力層を使用することができる。しかし、同じ入力変数を使用するので、入力ノードの数は一定である。変動するのは相互接続層中の重みだけである。各ネットワークは、関連する見えない層に記憶されたモデルの表現と、見えない層を入力層および出力層に接続する関連する重みとを有する。一次ネットワークＮＥＴ１は、大まかな予測を表す見えない層３２によって表される。見えない層３２は、出力ベクトルｏ¹（ｔ）を表す出力層３４と相互接続される。相互接続層３６は入力層３０を見えない層３２と相互接続し、相互接続層３８は見えない層３２を出力層３４をに接続する。相互接続３６、見えない層３２、および相互接続３８は、入力層３０によって定義された入力空間から出力層３４によって定義された出力空間への非線形マッピング関数を提供する。このマッピング関数は、以下で説明するように、大まかな予測レベルでのシステムの非線形モデルを提供する。Ｋ−１個の残りの剰余ネットワークがあり、それぞれ、出力ベクトルｏ²（ｔ）ないしｏ^k（ｔ）を表す出力層４２含む見えない層４０を有する。入力層３０は、別々の１組の相互接続４６を介して各見えない層４０に接続され、出力層４２はそれぞれ、別々の１組の相互接続５０を介してそれぞれの見えない層４０に接続される。各見えない層４０とそれに関連する相互接続４２および４６は、前の予測に対する剰余の非線形表現またはモデルを提供する。たとえば、「ＮＥＴ２」のラベルの付いた第１の剰余・ネットワークは、実際の出力ｙ（ｔ）に対する層３４の予測出力ｏ¹（ｔ）の剰余を表す。同様に、各連続剰余ネットワークは、前の層の出力層予測からの予測をｙ（ｔ）から減じた剰余を表す。入力層３０と出力層３４および４２のそれぞれとの間にあるネットワークによって表される各モデルは非線形マッピング関数を提供する。次いで、入力層３４および４２のそれぞれは、出力層３４および４２のそれぞれが、層５２中の対応するノードに「＋１」の重みで直接マップされるような線形マッピング関数である予測出力ｏ^p（ｔ）を表す単一の出力層５２にマップされる。これは簡単な加算関数である。第６図を参照すると、ネットワークを訓練し、それぞれの見えない層および関連する相互接続ネットワークに表現を記憶する手順のブロック図が示されている。最初に、時系列入力ｘ（ｔ）用の工場の時系列出力としてパターンｙ（ｔ）が提供される。「ＮＥＴ１」のラベルの付いた第１のネットワークが目標値としてのパターンｙ（ｔ）に対して訓練され、次いで前記ネットワーク中の重みが固定される。このパターンは、見えない層３２が目標としてのこのパターンに対して訓練されたことを表す見えない層３２の方を向いた矢印によって層６０に表される。訓練の後、見えない層３２と関連する相互接続層３６および３８中の重みが凍結される。第１のネットワークＮＥＴ１は、予測出力ｏ¹（ｔ）を生成するように時系列ｘ（ｔ）によってネットワークを訓練することによって動作する。出力層３４は、「−１」の固定重みを有する線形相互接続層６４を介して第１の剰余層６２と相互接続される。同様に、ブロック６０は、相互接続を提供し、かつ「＋１」の固定重みを有する相互接続層６６を含む剰余出力層６２への入力層を表す。もちろん、他のどんな重みでも使用することができる。したがって、剰余出力層６２は、第１のネットワークＮＥＴ１の予測出力ｏ¹（ｔ）と目標出力ｙ（ｔ）の間の差を構成する第１の剰余出力ｒ¹（ｔ）を表す。すなわち、次式が成立する。上式は次式のように表すことができる。数式５および６は、剰余誤差を表す。第ｋのネットワークの剰余は、（ｋ＋１）ネットワークを訓練するために使用され、（ｋ＋１）ネットワークの剰余は、「ＮＥＴ２」のラベルの付いた第２のネットワークを訓練するために使用される。訓練手順では、ｒ¹（ｔ）の値は、ｘ（ｔ）によって訓練された入力と共に目標値として使用される。訓練の後、見えない層４０および関連する相互接続層４６および５０中の重みが凍結され、次いで、ネットワークがｘ（ｔ）によって訓練され、予測出力ｏ²（ｔ）を提供する。訓練は、目標値としての前のネットワークの剰余に対して訓練される次の剰余ネットワークに続く。この例では、まず第２の剰余層６４で剰余ｒ²（ｔ）が求められる。第２の剰余層６４は、「＋１」の固定重みを有する相互接続層６８を介して第２の剰余層６４と相互接続された剰余層６２中の値を入力として有し、また、出力層４２の出力は、「−１」の固定重みを有する相互接続層７０を介して相互接続される。剰余ｒ²（ｔ）は以下のように定義される。次いで、第２の剰余層６４中のこの剰余を使用して、第５図に示した次のネットワークが訓練される。これは、十分な分解能が得られるまで継続する。ネットワークは、訓練された後、第５図の構造に従って相互接続され、すべてのネットワークの予測出力は層５２で加算される。訓練時には、通常、限られた１組のパターンしか使用できない。ネットワークは、それらのパターンの一部に対してしか訓練されず、残りの部分はネットワークの一般化に使用される。一例として、１０００個の入出力パターンを訓練に使用できると仮定する。第１のネットワークの訓練時には、１から８００までの時間サンプルを表すパターンだけが訓練手順で使用され、８０１から１０００までのパターンは、予測がどれだけ正確かを判定するためにネットワークの一般化を試験するために使用される。使用可能な１組のパターンのうちのいくつかが、一般化のために予約されるように制限されているかいないかにかかわらず、その組にないパターンは、予測がどれだけ正確であるかを判定するために使用される。表１は、ＮＥＴ１のラベルの付いたネットワークが実際の出力ｙ（ｔ）に対して訓練される訓練手順を示す。重みが固定され、次いで剰余が算出された後に、このネットワークから予測出力を得ることができる。表２は、第１の剰余層ｒ¹（ｔ）に対して訓練されたネットワークを表す、ＮＥＴ２のラベルの付いたネットワークを訓練する第２のステップを示す。これによって、予測出力ｏ²（ｔ）が生成される。このネットワークの剰余は、予測出力と目標出力の間の差によって算出されるｒ²（ｔ）になる。剰余活動化ネットワークを使用する工場の最適化／制御次に、第７ａ図を参照すると、本発明の重みによって工場の動作を最適化／制御するための制御システムのブロック図が示されている。工場は全体として、制御入力ｃ（ｔ）を受け取るための入力と、出力ｙ（ｔ）を提供するための出力とを有し、内部状態変数ｓ（ｔ）が前記入力および出力に関連付けられた、ブロック７２として示されている。以下で説明するように、工場予測モデル７４は、それ自体の予測出力を表す出力ｏ^p（ｔ）を提供するために関数ｆ（ｃ（ｔ），ｓ（ｔ））に従って工場を正確にモデル化するようにニューラル・ネットワークによって開発される。工場モデル７４への入力は、制御入力ｃ（ｔ）および状態変数ｓ（ｔ）である。工場モデル７４は、最適化／制御のために、工場７２の動作の比較的な正確なモデルとみなされる。最適化／制御手順で、オペレータは、やはり予測出力ｏ^p（ｔ）を受け取る動作ブロック７８に入力するための所望の出力値ｏ^d（ｔ）を独立に生成する。所望の出力と予測出力の間に誤差が発生し、この誤差が、予測モデルの重みを凍結させて最初の工場モデルを介して誤差を逆伝搬することによって操作されることを除き、工場予測モデル７４を表すニューラル・ネットワークと同じである逆工場モデル７６に入力される。ネットワークを介した誤差のこの逆伝搬は、工場モデル７６の出力が、反復ブロック７７で示した勾配下降演算で使用される△ｃ（ｔ＋１）を表す、ネットワークの反転に類似している。動作時には、最初、入力値ｃ（ｔ）に値△ｃ（ｔ＋１）が加えられ、次いで、この和が予測モデル７４を介して処理され、新しい予測出力ｏ^p（ｔ）および新しい誤差が提供される。この反復は、誤差が所定の値よりも小さくなるまで継続する。次いで、最終値が新しい予測制御変数ｃ（ｔ＋１）として出力される。この新しいｃ（ｔ＋１）値は、工場７２からの所望の実際の出力を達成するために必要とされる制御入力から成る。これが制御システム７３に入力され、制御変数ｃ（ｔ）として入力するための新しい値が前記システムに提供される。制御システム７３は、それ自体によって変動させることができる一般化制御入力を受け取るように動作することができる。以下で詳細に説明するように、最初の工場モデル７４は、変数ｓ（ｔ）および制御入力ｃ（ｔ）を受け取るが、制御変数を求めるために誤差を逆伝搬するための逆工場モデルは、状態変数とは独立にこれらの制御変数を求める。なぜなら、状態変数を操作することはできないからである。制御のための誤差の逆伝搬を表す一般的な語は「逆伝搬活動化」（ＢＰＡ）である。好ましい実施例では、工場モデル７６を介して誤差を逆伝搬するために使用される方法は、重みを凍結させたネットワークを介した出力から入力までのローカル勾配下降を使用するものである。第１のステップは、制御変数ｃ（ｔ）と状態変数ｓ（ｔ）の両方の現在の入力を工場モデル７４に適用して予測出力ｏ^p（ｔ）を生成することである。次いで、以下の数式に従って所望の出力ｏ^d（ｔ）と予測出力ｏ^p（ｔ）の間の誤差を入力することにより、重みを凍結させて、ニューラル・ネットワーク上で出力から入力までローカル勾配下降を実行する。上式で、ηは調整可能な「ステップ・サイズ」パラメータである。次いで、新しいｃ（ｔ）から出力が再生成され、勾配下降手順が反復される。以下で説明するように、逆工場モデル７６は、剰余活動化ネットワークを使用して、状態変数に対する制御変数の依存性を示す。このように、ネットワーク７６は、制御変数に妥当な注意を払って、工場を適切に制御する。次に、第７ｃ図を参照すると、第７ａおよび７ｂ図に示した制御システムの代替実施例が示されている。第７ａ図で、制御動作は動的なものである。すなわち、制御ネットワークは、制御変数および状態変数と、所望の入出力とを入力として受け取る。制御変数は所望の出力を達成する。第７ｃ図の図では、状態変数および制御変数を受け取り、所望の出力を提供するのに必要な制御変数を生成するために所与の所望の入力に対して訓練される従来の制御ネットワーク８３が使用されている。第７ｂ図の制御ネットワーク方式と第７ａ図の制御ネットワーク方式の間の違いは、第７ｂ図の制御ネットワーク８３中の重みが、凍結されており、制御ネットワーク８３を所与の所望の出力に対して訓練することによって学習されていることである。所望の出力は、数組の重みのうちの１組を選択するための１つの入力として提供される。各内部重みセットは、第７ａ図に関して上記で説明したものに類似の剰余活動化ネットワークで訓練することによって学習され、所望の出力を使用して、事前に記憶されている重みと学習された重みのうちの一方が選択される。制御ネットワークの一般的な動作は、引用によって本明細書に合体したＷ．Ｔ．ミラー（Ｍｉｌｌｅｒ）III、Ｒ．Ｓ．Ｓｕｔｔｏｎ、およびＰ．Ｊ．Ｗｅｒｂｏｓ著"Neural Networks for Control"（ＭＴＩＰｒｅｓｓ、１９９０年）に記載されている。他の標準的な最適化方式は、様々な制御入力をランダムに探索して、予測出力と所望の出力の間の差の２乗を最小限に抑えることを含む。これはモンテカルロ探索と呼ばれることが多い。この探索は、制御入力をランダムに変更し、修正されたこの制御入力をモデルに送って予測出力を得ることによって行われる。次いで、予測出力を所望の出力と比較して、ランダム探索全体にわたって最良の１組の制御入力を追跡する。十分なランダム探索が与えられて場合、所望の出力に厳密に一致する予測出力を生成する１組の制御変数が得られる。この技法および関連するさらに精巧なランダム最適化技法に関しては、Ｓ．Ｋｉｒｋｐａｔｒｉｃｋ、Ｃ．Ｄ．Ｇｅｌａｔｔ、Ｍ．Ｐ．Ｖｅｃｃｈｉの論文"Optimization by Sim ulated Annealing"（Ｓｃｉｅｎｃｅ、第２２０巻、６７１〜７８０ページ（１９８３年））を参照されたい。次に、第８図を参照すると、出力ｙ（ｔ）＝ｘ（ｔ＋１）を推定し、時間ｔでｃ（ｔ）に妥当な制御信号を与え、外乱Ｅ（ｔ）がある場合でも出力ｙ（ｔ）を所望の状態に維持するように動作できる簡単な工場のブロック図が示されている。ネットワークでは、ｓ（ｔ）、ｃ（ｔ）、およびy（ｔ）に関する情報が使用可能である。ｙ（ｔ）は、数式ｆ（）によって制御ベクトルｃ（ｔ）および状態変数ベクトルｓ（ｔ）に関係付けられる。これは、以下のように定義される。（このような数式では、説明を簡単にするために時間遅延を無視する）これは、ニューラル・ネットワークを使用して非線形関数ｆ（）を実施することによって、設計が比較的な簡単なシステムとなる。しかし、状態変数ｓ（ｔ）は、他の関数ｆ_sによって、以下のように制御変数ベクトルｃ（ｔ）に関係付けられる。そのため、この関数依存性を考慮に入れない場合、ネットワークは、訓練時に制御入力を状態変数入力から完全に分離するための情報をもたない。なぜなら、ニューラル・ネットワーク自体の設計の性質によって、最初からニューラル・ネットワークには十分な分離が存在しないからである。次に、第９図を参照すると、それぞれ、入力ベクトルｙ（ｔ）、ｓ（ｔ）、およびｃ（ｔ）を受け取り、ｙ（ｔ＋１）を出力する、３つの入力ノードを有する簡単なニューラル・ネットワークが示されている。３つの入力ノードは、ｙ（ｔ）に関連するノード８６、ｓ（ｔ）に関連するノード８８、およびｃ（ｔ）に関連するノード９０である。ノード８６ないし９０のそれぞれが、それに入力される各ベクトルに関連する複数の入力を受け取るための複数のノードを表すことができることを理解されたい。入力ノード８６ないし９０と見えない層自体の間に相互接続マトリックスがある単一の見えない層が示されており、出力層が見えない層と相互接続されている。出力層は、出力ベクトルｙ（ｔ＋１）を提供する。第９図のネットワークの訓練時に、ネットワークの外部にあるブロック９１に示した関数ｆ_s（）に従うｓ（ｔ）とｃ（ｔ）の間の相互依存性に対する配慮はなされない。そのため、伝搬などの技法による訓練時に、問題が発生する恐れがある。この理由は、入出力関数ｆ_s（）の反転が、相関付けられた変数に対して特異なものであることである。この訓練で、ネットワークは、ランダム重みによって初期設定され、次いで、入力パターンおよび目標出力パターンに関してランダムに学習するが、この訓練では、状態変数または制御変数、あるいはその両方に注意を払う必要がある。ネットワークが状態変数入力にしか注意を払わない場合、ネットワークの制御応答は「状態変数を変動させる」の形である。しかし、状態変数は、直接操作できる変数ではない。どのように制御装置を変更するかに状態変数を関係付けする必要がある。これは、関数ｆ_s（）で定義されるように簡単な関数である場合、達成するのが比較的容易な作業である。しかし、はっきりと識別できないより複雑な依存性である場合、このような制御入力の多変非線形関数があることがある。オンライン制御を実行する際（ループ中に人間が存在しない場合）、情報を制御するために状態情報を自動的に変換させることが望ましい。本発明によれば、ニューラル・ネットワークは、制御変数ｃ（ｔ）と状態変数ｓ（ｔ）の間の相互依存性が適切にモデル化されるように構成され、学習段階中に制御変数に注意を払うように強制される。これを第９ａ図に示す。第９ａ図で、ネットワーク８９は、分離された状態変数および制御変数を有するように示されている。分離後、ＢＰＡ動作は制御変数に最大の注意を払う。これは、状態変数に対する制御変数の依存性を射影することによって行われる。次に、第１０図を参照すると、ニューラル・ネットワークを作成する第１のステップは、数式１０で定義した関数ｆ_s（）をモデル化することである。ニューラル・ネットワークは、入力層９６と、見えない層９８と、出力層１００とを有するように形成される。入力層は、入力ｃ₁，ｃ₂，．．．ｃ_nの形の制御変数ｃ（ｔ）を入力として受け取り、出力層は、出力ｓ₁ ^p，ｓ₂ ^p，．．．ｓ_m ^pから成る予測状態変数ｓ^p（ｔ）を表す。第１０図のニューラル・ネットワークは、目標出力としての状態変数を制御入力ｃ（ｔ）と共に使用し、逆伝搬によってネットワーク中の重みを固定することによって訓練され、数式１０の関数ｆ_s（）の表現を提供する。したがって、これは従属変数または測定変数対独立変数または操作変数を構成する、制御変数からの状態変数のモデルを表す。このモデルは制御変数に対する状態変数の線形依存性でも、非線形依存性でも、多変依存性でもキャプチャする。以下で説明するように、これはネットワークの中間段階である。１つの見えない層しか示さなかったが、複数の見えない層を使用できることを理解されたい。第１１図を参照すると、剰余活動化ネットワークを作成する次のステップが示されている。剰余状態ｓ^r（ｔ）を生成するために剰余出力層１０２を提供する。層１０２中の剰余状態は、「−１」の固定重みによる剰余状態層１０２への予測状態ｓ^p（ｔ）の線形マッピング関数と、入力層１０４から剰余層１０２への入力状態変数ｓ（ｔ）を線形にマップすることによって導かれる。層１０４の状態を実際の状態ｓ^a（ｔ）と呼ぶ。線形マッピング関数は「＋１」の固定重みをを有する。したがって、剰余状態層は以下の関係を有する。層１０２の剰余状態ｓ^r（ｔ）は、ＮＥＴ１のラベルの付いたネットワーク中の重みが凍結された後に計算される。このネットワークを「状態予測」ネットワークと呼ぶ。剰余層１０２中の値を状態変数の「剰余活動化」と呼ぶ。この剰余は、工場の動作に影響を及ぼす外部変数の推定が良好であることを表す。これは、ネットワーク全体のための重要な追加情報であり、かつ外乱を雑音とみなすことでき、剰余がこの雑音の最適（非線形）推定であるＷｅｉｎｅｒ・Ｋａｈｌｍａｎフィルタリングにおける雑音推定にいくぶん類似している。しかし、外部の影響の非線形推定機構を提供する本発明のシステムに対して、Ｋａｈｌｍａｎフィルタは雑音の最適線形推定機構である。第１２図を参照すると、剰余ネットワーク全体が作成されるネットワークを作成する次のステップが示されている。剰余層１０２ｓ^r（ｔ）の出力はｆ（Ｅｔ）を表す。ここで、Ｅ（ｔ）は、測定できない外部入力を備えている。そのような外部入力は化学プロセスの材料の変化であってよい。剰余ネットワーク全体は、入力が制御入力ｃ（ｔ）および剰余ｓ^r（ｔ）であるネットワークから成る。したがって、入力層９６および入力層１０４は、見えない層１０８によって出力層１０６にマップされる。見えない層１０８は、相互接続ネットワーク１１０を介して剰余層１０２と相互接続され、相互接続ネットワーク１１２を介して入力層と９６と相互接続される。この実施例には示していないが、見えない層１０８を出力層にマップすることもできる。層１０８は、相互接続ネットワーク１１４を介して出力１０６にマップされる。したがって、制御入力層９６と剰余層１０２を共に出力層１０６にマップすると、非線形表現が提供され、この非線形表現は、制御入力パターンｃ（ｔ）と剰余状態ｓ^r（ｔ）とを備える入力を含む所望の出力パターンに対して訓練される。本発明の重要な態様は、ＢＰＡを介した誤差の逆伝搬時に、ネットワークが、第７ａ図に示した最適化／制御構成に従って、実際上、状態変数を無視し、モデル反転を介してｃ（ｔ＋１）の計算だけを行うことである。剰余は、制御が変化したときに変化しない関数であり、すなわち外部パラメータなので、予測動作時に変化してはならない。したがって、制御変化の予測が行われるとき、剰余状態は、ＬＡＴＣＨ信号によって制御されるラッチ１１３によって実際上凍結される。これを行う手順は、まず制御変数ｃ（ｔ）および状態変数ｓ（ｔ）をそれぞれ入力層９６および入力層１０４に入力し、予測出力ｏ^p（ｔ）を生成することである。この動作時には、剰余層１０２ｓ^r（ｔ）中の値が算出される。ラッチがセットされ、次いでこの値が次の操作のためにクランプされ、所望の出力ｏ^d（ｔ）が生成され、次いで、所望の出力と予測出力の間の誤差が数式７に従ってネットワークを介して逆伝搬される。この誤差の逆伝搬は次いで、制御変数だけに方向付けされる。次いで、制御変数は、勾配下降、制御ネットワーク、または第７ａ図に関して上記で説明した他の方法の１つに従って変更され、ＢＰＡプロセスにおける１サイクルが完了する。このようなサイクルは、出力が所望の出力に達し、あるいは所与の数のＢＰＡ反復が達成されるまで、ｓ^r（ｔ）がラッチされたまま継続する。この手順は、各入力パターンごとと所望の出力に対して実行しなければならない。状態変数ｓ^r（ｔ）の値を凍結させることによって、状態変数に対する制御の依存性がＢＰＡ動作によって射影された。したがって、剰余活動化ネットワーク・アーキテクチャは、ＢＰＡ動作時に制御変数に適切な注意を向けて、工場を制御する分散制御システムに入力を提供する助けとなる適当な制御値を生成する。一例として、１つの制御変数が炉の弁であり、１つの状態変数が温度である場合、これらが、入力層９６、見えない層９８、および出力層１００によって表されるＮＥＴ１中の制御変数からの温度の予測が極めて正確であるような相関関係の高い変数であることが理解されよう。したがって、状態変数１の実際の温度を予測温度から減じると、剰余は極めて小さなものになる。したがって、どんな制御信号も状態変数ではなく直接、制御変数に向かい、このことは本発明の重要な利益を構成する。また、剰余は実際には、たとえば周囲温度、湿度、またはその他の外部の影響のために直接、制御変数に依存するわけではない温度の部分である。予測ネットワークを作成すると、出力は、制御変数と、場合によってはこれらの外部変動との直接関数になり、本発明の剰余活動化ネットワークは、非線形推定を介して外乱を補償する。次に、第１３図を参照すると、カオス状態の工場のブロック図が示されている。この例での作業は、ｙ（ｔ＋１）を推定し、時間ｔで（ｔ）に適当な制御信号を与え、外乱Ｅ（ｔ）がある場合でも出力ｘ（ｔ）を所望の状態に維持することである。しかし、このニューラル・ネットワーク・モデルはＥ（ｔ）に関する情報を直接受け取るわけではないことを理解されたい。入力ｃ（ｔ）、ｓ（ｔ）、およびｙ（ｔ）を受け取り、所望の出力を受け取るのと同時に予測値ｙ（ｔ＋１）を出力し、ネットワーク自体を介してエラーが逆伝搬されて完全な値を生成する剰余活動化ネットワークを第１４図に示す。出力変数ｙ（ｔ）は、制御変数ｃ（ｔ）と、測定状態変数ｓ（ｔ）と、外部の影響Ｅ（ｔ）との関数であり、以下のように表すことができる。数式ｆ（）は、ネットワークがモデル化すべき何らかの簡単な非線形の未知の関数であると仮定される。この場合の作業は、測定データから学習することによってこの関数ｆ（）の最良の近似を得ることである。測定状態変数ｓ（ｔ）は、以下の関係を有する、制御ｃ（ｔ）と外乱Ｅ（ｔ）の何らかの他の未知の関数であると仮定する。関数ｆ_s（）は、制御変数ｃ（ｔ）と外乱Ｅ（ｔ）の両方に対する状態変数ｓ（ｔ）の依存性の非線形の未知の関数を表す。一般性が失われない限り、この関数は以下の形で拡張することができる。上式で、ｆ_c（）はｃ（ｔ）にしか依存せず、ｆ_E（）はＥ（ｔ）にしか依存しない。ｆ_c（）およびｆ_E（）の大きさはより次数の高い項ｆ_cE（）＋．．．と比べて大きく、制御変数に対する状態変数の依存性の大部分は制御変数から状態変数を学習することによって射影できると仮定する。状態変数予測は、制御変数の関数ｓ^P（ｃ（ｔ））＝ｆ_ps（ｃ（ｔ））として書くことができる。また、制御変数における外部変動どうしは相関関係がそれほど強くなく、したがって、学習された関数ｆ_ps（ｃ（ｔ））は、数式中の主項と仮定されるのでｆ_c（ｃ（ｔ））に非常に近いと仮定する。したがって、以下の近似等式が存在する。上式で、誤差∈はｆ_E（Ｅ（ｔ））と比べて小さい。予測モデルｆ_ps（ｃ（ｔ））なので、剰余は以下のように算出することができる。置換によって次式が得られる。これを還元して、以下の関係が得られる。次いで、以下のように、ｃ（ｔ）依存性およびＥ（ｔ）依存性が単一の項η（ｃ（ｔ），Ｅ（ｔ））としてグループ分けされる。上式で、上記の仮定によって、η（ｃ（ｔ），Ｅ（ｔ））は大きさがｆ_E（Ｅ（Ｔ））と比べて小さいことが予期される。上記のように、制御変数に対する状態変数の依存性の大部分はネットワークの動作で射影されるが、測定状態変数によってキャプチャされ、暗黙的に外乱を含む、有用な情報は破棄されない。状態変数予測を学習するニューラル・ネットワークは、非線形関数を学習することができるので、ｆ（ｃ（ｔ））の十分に一般的な非線形射影であることに留意されたい。さらに、剰余を計算することによって、外部変動の優れた推定が行われた。上述の例中の剰余は、簡単な減算を介して算出された。しかし、乗算項およびより次数の高い項が存在することができ、そのため、他の射影演算子がこれらの項をキャプチャする必要がある。これを行うには、前の項に極めて類似した方法で項η（ｃ（ｔ），Ｅ（ｔ））を検査する。すなわち、制御変数の１次依存性を減じたが、同じ方法を適用してより次数の高い項をキャプチャすることができる。一例として、次に最も高い次数が２次になるように、ｃ（ｔ）およびＥ（ｔ）に対する１次依存性をもたない項η（ｃ（ｔ），Ｅ（ｔ））を検討する。この関数は以下の形で書くことができる。 η(ｃ，Ｅ)＝Ａη_c(ｃ)η_E(Ｅ)＋Ｂ[ｃ³；ｃ²Ｅ；ｃＥ²；Ｅ³]＋・・・（２０）上述のように、このような依存性を項ごとに分離することはできないが、たとえば、η（ｃ（ｔ），Ｅ（ｔ））を実際の状態ごとに分割することによってより次数の高い情報を提供することができる。これと、減算（上記）とによって、外乱の２つの独立推定が提供され、ニューラル・ネットワークはこれらの推定の組合せからより良いモデルを作成することができる。このアーキテクチャの一例を第１５図に示す。より次数の高い同じ一般化、すなわちさらにモデル化を行う前に活動化を分割することなどを予測剰余活動化ネットワークに適用することができる。要するに、状態変数に対する制御変数の依存性を射影できるようにする剰余活動化ネットワークが提供された。射影後、逆伝搬活動化制御を使用して制御を行い、ネットワークが制御変数に注意を払うようにすることができる。ネットワークは２つのネットワークから成り、第１のネットワークは、制御変数に対する状態変数の依存性をモデル化し、剰余値を求める。次いで、制御入力および剰余値が第２のネットワークに入力され、工場用の予測出力が提供される。次いで、所望の出力が、決定され、所与の一組の入力制御変数に関する予測出力と組み合わされて誤差が生成される。この誤差は、予測モデルが凍結された制御ネットワークを介して逆伝搬される。さらに、誤差のこの逆伝搬は、制御入力しか変動しないように、剰余値を凍結させて実行される。この手順は反復される。次いで、この結果得られる制御入力が工場制御システムに入力され、工場への入力が変更され、所望の出力が達成される。本発明の好ましい実施例を詳細に説明したが、添付の請求の範囲で定義した本発明の趣旨および範囲から逸脱せずに本発明に様々な変更、置換、および修正を加えられることを理解されたい。たとえば、ＢＰＡの代わりに、第７ａ図で説明した制御ネットワークを介して、あるいは所望の出力が達成されるまでの制御入力の空間を介したモンテカルロ探索、または入力のシミュレートされたアニーリングを介したモンテカルロ探索を介して、あるいはそれらを任意に組み合わせることによって、剰余ネットワークを反転することができる。

───────────────────────────────────────────────────── フロントページの続き (72)発明者リアノ、カディールアメリカ合衆国、テキサス州 78705、オースティン、メディカル・アーツ 3001、ナンバー 130 (72)発明者ファーガソン、ラルフ・ブルースアメリカ合衆国、テキサス州 78729、オースティン、コッパー・クリーク 9815、アパートメント 814

Claims

【特許請求の範囲】１．工場制御変数と、工場制御変数と工場に対する外部の影響との関数である所望の工場出力とを受け取るための工場制御入力を有する工場を制御するための制御ネットワークにおいて、現行工場制御変数および所望の工場出力をネットワーク入力として受け取るための制御ネットワーク入力と、所望の工場出力を達成するのに必要な予測工場制御変数を出力するための制御ネットワーク出力と、所望の工場出力を達成するために、外部の影響の推定によってパラメータ化された工場制御変数に対する工場出力の依存性を表す工場の逆表現を介して、受け取られた工場制御変数を処理して予測工場制御変数を提供するための処理システムと所望の工場出力を達成するために、前記制御ネットワーク出力によって出力された予測工場制御変数を工場制御変数として工場に入力するためのインタフェース装置とを備える制御ネットワーク。２．前記処理システムがさらに、工場に対する外部の影響を推定し、推定した外部の影響を出力するための推定ネットワークと、工場の逆表現を、推定された影響によってパラメータ化するための手段とを備えることを特徴とする請求項１に記載の制御ネットワーク。３．前記処理システムの逆表現が一般非線形逆表現であることを特徴とする請求項１に記載の制御ネットワーク。４．制御変数入力が、操作できる変数であることを特徴とする請求項１に記載の制御ネットワーク。５．前記処理システムが、予測工場出力を提供するたの第１の中間出力と、前記制御ネットワーク入力からの工場制御変数と、前記推定ネットワークからの推定された外部の影響とを受け取り、工場の予測モデルを介して処理を行って前記中間出力から出力するための予測工場出力を生成するための第１の中間処理システムと、予測工場出力を所望の工場出力と比較し、それらの間の差を表す誤差を生成するための誤差生成装置と、推定された外部の影響によってパラメータ化された工場制御変数に対する工場出力の依存性を表す工場の逆表現を介して誤差を処理し、予測制御変数変更値を出力するための第２の中間処理システムと、前記予測制御変数変更値を前記第１の中間処理システムの入力に入力し、制御変数入力と加算し、加算された制御変数値を提供し、加算された制御変数を前記第１の処理システムを介して処理し、前記誤差を最小限に抑えて、加算された制御変数値を予測制御変数として出力するための制御システムとを備えることを特徴とする請求項２に記載の制御ネットワーク。６．前記中間処理システムが、前記誤差を受け取るための入力層を有するニューラル・ネットワークと、工場の予測出力を提供するための出力層と、外部の影響によってパラメータ化された工場制御変数に対する工場出力の依存性を表す工場の逆表現を介して前記入力層を前記出力層にマップし、出力層からの出力として制御変数変更値を提供するための見えない層とを備えることを特徴とする請求項５に記載の制御ネットワーク。７．前記制御システムが勾配下降手順を使用して前記誤差を最小限に抑えることを特徴とする請求項５に記載の制御ネットワーク。８．前記制御システムがモンテカルロ技法を使用して前記誤差を最小限に抑えることを特徴とする請求項５に記載の制御ネットワーク。９．前記第２の中間処理システムおよび前記推定ネットワークが、工場制御変数と工場制御変数に依存する操作不能工場状態変数とを入力層中の入力として受け取り、かつ出力層からの出力として予測状態変数を提供するために工場制御変数に対する工場状態変数の依存性の表現を有する見えない層を介して、受け取られた工場制御変数を前記出力層にマップするための剰余ニューラル・ネットワークと、工場状態変数と、工場に対する外部の影響の推定としての予測状態変数との間の差を剰余として求めるための剰余層と、前記剰余を求めた後に、求められた前記剰余を前記剰余層でラッチするためのラッチとを有する剰余アクティベーション・ニューラル・ネットワークと、工場制御変数および前記ラッチされた剰余を受け取るための入力層と、予測工場出力を出力するための出力層と、工場制御変数入力と前記ラッチされた剰余との関数としての工場の表現を介して前記入力層を前記出力層にマップするための見えない層とを有するメイン・ニューラル・ネットワークとを備え、前記メイン・ニューラル・ネットワークが、前記誤差を出力層で受け取り、前記剰余を前記ラッチでラッチしたうえで前記誤差を前記見えない層を介して前記入力層に伝搬し、前記予測制御変数変更値を前記入力層から出力するように逆モードで動作することを特徴とする請求項５に記載の制御ネットワーク。１０．工場出力を予測し、制御変数と、制御変数に対する依存性を有する状態変数とを受け取り、制御変数に対する状態変数の依存性を射影するためのネットワークにおいて、制御変数を受け取るための入力層と、予測状態変数を出力するための出力層と、制御変数に対する状態変数の依存性の表現を介して前記入力層を前記出力層にマップして前記予測状態変数を生成するための見えない層と、工場に対する外部の影響の推定から成る剰余として、前記予測状態変数と入力状態変数の間の差を求めるための剰余層とを有する、工場に対する外部の影響の推定を生成するための剰余活動化ニューラル・ネットワークと、制御変数および前記剰余を入力として受け取るための入力層と、予測工場出力を出力するための出力層と、制御変数と前記剰余の関数としての工場の表現を介して前記入力層を前記出力層にマップするための見えない層とを有するメイン・ニューラル・ネットワークとを備えるネットワーク。１１．さらに、予測工場出力と所望の工場出力の間の誤差を生成するための手段と、前記メイン・ネットワークの前記入力層で前記剰余をラッチするためのラッチと、前記関連する表現を反転し、前記メイン・ニューラル・ネットワークを介して前記出力層から前記メイン・ニューラル・ネットワークの前記入力層の制御変数入力へ前記誤差を逆伝搬し、前記所望の工場出力を達成するのに必要な予測制御変数変更値を生成するように前記メイン・ニューラル・ネットワークを操作するための手段とを備える請求項１０に記載のネットワーク。１２．前記誤差を生成するための手段が、工場の表現を提供し、制御変数および状態変数を入力として受け取って、工場の出力を予測工場出力として予測するための予測モデル・ニューラル・ネットワークと、前記所望の工場出力および前記予測工場出力を受け取って前記誤差を生成するための差分装置とを備えることを特徴とする請求項１１に記載の制御ネットワーク。１３．前記メイン・ニューラル・ネットワークを介して誤差を逆伝搬するための前記手段が、前記メイン・ニューラル・ネットワークを介して誤差を逆伝搬して前記予測制御変数変更値を定義し、前記変更値を制御変数に反復的に加算して、逆伝搬活動化技法に従って前記誤差を最小限に抑えることを特徴とする請求項１１に記載の制御ネットワーク。１４．前記剰余活動化ネットワークに記憶される前記表現が、制御変数に対する状態変数の依存性の非線形表現であり、前記メイン・ニューラル・ネットワークの前記見えない層中の表現が、入力制御変数と前記剰余の関数としての工場出力の非線形表現から成ることを特徴とする請求項８に記載の制御ネットワーク。１５．操作可能な制御変数および操作不能な状態変数を受け取ったことに応答して、工場の動作を予測するための予測ネットワークにおいて、入力制御変数を受け取るための入力と、入力制御変数の関数として予測状態変数を出力するための出力と、制御変数に対する状態変数の依存性の表現を介して入力制御変数を処理して前記出力によって出力するための予測状態変数を提供するための剰余処理システムと、工場に対する外部の影響の推定から成る剰余で構成された、入力状態変数と予測状態変数の間の差を求めるための剰余層とを有する、制御変数に対する状態変数の依存性を射影して工場に対する外部の影響の推定を生成するための剰余ネットワークと、入力制御変数および前記剰余を入力として受け取るための入力と、工場の予測出力を表す予測出力を出力するための出力と、制御変数と前記剰余の関数としての工場の表現を介して入力制御変数および前記剰余を処理するためのメイン処理システムとを有するメイン・ネットワークとを備える予測ネットワーク。１６．前記剰余ネットワークの前記入力、前記出力、および前記処理システムが、入力制御変数を受け取るための入力層と、前記予測状態変数を出力するための出力層と、制御変数に対する状態変数の依存性の非線形表現を介して前記入力層を前記出力層にマップするための見えない層とを有する剰余ニューラル・ネットワークを備えることを特徴とする請求項１５に記載の予測ネットワーク。１７．前記メイン・ネットワークが、入力制御変数と、前記剰余層によって出力された前記剰余を受け取るための入力層と、工場の予測出力を表す前記予測出力を出力するための出力層と、制御変数と前記剰余の関数としての非線形表現を介して前記入力層を前記出力層にマップするための見えない層とを備えることを特徴とする請求項１５に記載の予測ネットワーク。１８．前記メイン・ネットワークの見えない層が、知られている入力制御変数と、前記剰余ネットワークによって生成された前記剰余層からの剰余との関数としての逆伝搬を介して訓練され、前記メイン・ネットワークの前記出力層に、知られている目標予測出力が入力されることを特徴とする請求項１７に記載の予測ネットワーク。１９．工場制御変数と工場に対する外部の影響との関数である工場出力と、工場変数および所望の工場出力を受け取るための工場制御入力を有する工場を制御する方法において、現行工場制御変数および所望の工場出力を受け取るステップと、外部の影響の推定によってパラメータ化された工場制御変数に対する工場出力の依存性を表す工場の逆表現を介して、受け取られた工場制御変数を処理して所望の工場出力を達成するのに必要な予測工場制御変数を提供するステップと、所望の工場出力を達成するのに必要な予測工場制御変数を出力上で出力するステップと、予測工場制御変数によって工場を制御するステップとを含む方法。２０．処理システムの逆表現が一般非線形逆表現であることを特徴とする請求項１９項に記載の方法。２１．制御変数が、操作できる変数であることを特徴とする請求項１９に記載の方法。２２．さらに、推定された外部の影響として工場に対する外部の影響を推定するステップと、推定された外部の影響によって工場の逆表現をパラメータ化するステップとを含む請求項１８に記載の方法。２３．処理ステップが、工場の予測モデルを介して工場制御変数および推定された外部の影響を第１の中間処理ステップで処理するステップと、予測工場出力を所望の工場出力と比較してそれらの間の差を表す誤差を生成するステップと、第２の中間処理ステップで、推定された外部の影響によってパラメータ化された工場制御変数に対する工場出力の依存性を表す工場の逆表現を介して誤差を処理し、予測制御変数変更値を出力するステップと、制御変数値によって第１の中間ステップへの入力制御変数を変更して予測工場制御変数を提供するステップとを含むことを特徴とする請求項２２に記載の方法。２４．第２の中間処理ステップが、ニューラル・ネットワークの入力層上で誤差を受け取るステップと、外部の影響によってパラメータ化された工場のローカル表現が記憶されたニューラル・ネットワークの見えない層を介してニューラル・ネットワーク入力層をニューラル・ネットワーク出力層にマップするステップと、誤差が、出力層で入力として受け取られ、かつニューラル・ネットワーク入力層からの出力として予測工場制御変数変更値を提供するために、推定された外部の影響によってパラメータ化された工場制御変数に対する工場出力の依存性を表す工場のローカル逆表現を有する、見えない層を介して伝搬され、誤差が、ニューラル・ネットワークの見えない層を介してニューラル・ネットワークの入力層へ逆伝搬される、逆の関係でニューラル・ネットワークを操作するステップとを含むことを特徴とする請求項２３に記載の方法。２５．第１の中間処理ステップが、剰余ニューラル・ネットワークへの入力層上で工場制御変数を受け取り、出力層から工場制御変数の関数として予測状態変数を提供するために工場制御変数に対する操作不能な工場状態変数の依存性の表現を有する見えない層を介して、受け取られた工場制御変数を剰余ニューラル・ネットワークにマップするステップと、工場状態変数と予測常態変数の間の差を剰余として求めるステップと、剰余を求めた後に、求められた剰余をラッチするステップと、工場制御変数と、ラッチされた剰余とをメイン・ニューラル・ネットワークの入力層上で受け取るステップと、予測工場出力を出力層から出力するために、工場制御変数入力と剰余の関数として工場の表現が記憶されたメイン・ニューラル・ネットワークの見えない層を介してメイン・ニューラル・ネットワークの入力層をメイン・ニューラル・ネットワークの出力層にマップするステップとを含むことを特徴とする請求項２３に記載の方法。２６．入力制御変数を変更するステップが、予測制御変数変更値を加算して勾配下降技法に従って誤差を最小限に抑えることによって、入力制御変数を反復的に変更するステップを含むことを特徴とする請求項２５に記載の方法。２７．工場入力から工場出力を予測する方法において、第１のニューラル・ネットワークの第１の入力層に工場入力を入力するステップと、第１のニューラル・ネットワークの第１の入力層から、剰余が関連付けられた第１の見えない層中の工場の非線形表現を介して、第１の出力層へ工場入力をマップするステップと、第２のニューラル・ネットワークの第２の入力層に工場入力を入力するステップと、第２の入力層から、第１のニューラル・ネットワーク中の見えない層の剰余の非線形表現が記憶された第２のニューラル・ネットワーク中の第２の見えない層を介して、第２のニューラル・ネットワーク中の第２の出力層に入力をマップするステップと、第１および第２の出力層の出力を一次出力層に線形にマップして、第１および第２の出力層の出力の合計を提供するステップとを含むことを特徴とする方法。