JPH08505967A - 欠落および/または不完全なデータを有するニューラルネットワークを作動するための方法および装置 - Google Patents

欠落および/または不完全なデータを有するニューラルネットワークを作動するための方法および装置

Info

Publication number
JPH08505967A
JPH08505967A JP6513265A JP51326594A JPH08505967A JP H08505967 A JPH08505967 A JP H08505967A JP 6513265 A JP6513265 A JP 6513265A JP 51326594 A JP51326594 A JP 51326594A JP H08505967 A JPH08505967 A JP H08505967A
Authority
JP
Japan
Prior art keywords
output
input
vector
data
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6513265A
Other languages
English (en)
Inventor
キーラー、ジェイムズ・デイヴィッド
ハートマン、エリク・ジョン
ファーガソン、ラルフ・ブルース
Original Assignee
パヴィリオン・テクノロジーズ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=25527747&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JPH08505967(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by パヴィリオン・テクノロジーズ・インコーポレイテッド filed Critical パヴィリオン・テクノロジーズ・インコーポレイテッド
Publication of JPH08505967A publication Critical patent/JPH08505967A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/17Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

(57)【要約】 システムモデル(12)のシステムを予測出力を供給するその出力でモデル化するニューラルネットワークを提供する。この予測出力は出力制御部(14)により修正または制御される。入力データはデータ処理ステップ(10)に入力され、システムモデル(12)への入力用のデータを調和する。さらに、調和から生じた誤りは不確定性モデルに入力され、予測出力の不確定性を予測する。これは出力制御部(14)を制御するのに使用される決定処理器(20)に入力される。出力制御部(14)は制御されて、不確定性モデル(18)の出力が決定しきい値ブロック(22)により入力される予測決定しきい値を越えるときはいつでも予測出力を変えるかまたは予測出力を禁止する。さらに、システムモデル(12)の訓練中所定のデータ領域のデータ点の数の関数として信頼性または妥当性を表す妥当性モデル(16)が提供される。これはまた決定処理器(20)に入力される予測出力の信頼を予測する。それ故、決定処理器(20)はその決定を予測信頼および予測不確定性に基づく。さらに、データ処理ブロック(10)で出力された不確定性はシステムモデル(12)を訓練するのに使用できる。

Description

【発明の詳細な説明】 欠落および/または不完全なデータを有するニューラル ネットワークを作動するための方法および装置 発明の技術的分野 この発明は、一般にニューラルネットワークに関し、特に、訓練されたニュー ラルネットワークモデルの精度を推定し、ニューラルネットワーク予測の妥当性 を決定し、そして入力パターンに欠落データを有するニューラルネットワークを 訓練しかつニューラルネットワークの出力を制御するのに利用されるデータの不 確定性に関する情報を発生するための方法に関する。 発明の背景 予測、予報、パターン認識、センサの妥当性検査用のニューラルネットワーク を訓練したりおよび/または問題を処理する際に遭遇する共通の問題は、訓練/ 試験パターンのいくらかが欠落したり、劣化したりおよび/または不完全である かもしれないということである。従来のシステムでは、入力空間のある領域がニ ューラルネットワークの訓練中にカバーできない結果を持つデータを単に廃棄し ていた。例えば、ニューラルネットワークが経歴センサおよび制御設定器の機能 として化学プラントの行動を学習するのに利用されるならば、これらのセンサの 読み取りは、代表的に電子的にサンプルされ、ゲージ読み取りから手で入力され および/または研究結果から手で入力される。これらの読み取りのいくらかまた は全部が所定時間に欠落するかもしれない共通の出来事がある。また、種々の値 が異なった期間でサンプルされるのは一般的である。さらに、いずれかの値は、 その値の入力後データ種目が実際には不正確であったある方法で決定されたかも しれないいう意味から“不良”であるかもしれない。故に、そのデータがテーブ ルにプロットされると、その結果は中間に欠落データすなわち“ホール”を有す る部分的に埋め立てられたテーブルとなり、これらはスイスチーズのホールを思 い出させる。これらの“ホール”は“不良”すなわち“欠落”データに対応する 。上述の“スイスチーズ”データテーブルはたまに現実の問題として起きる。 慣用のニューラルネットワーク訓練および試験方法は、それらが欠落すなわち 不良データを持つパターンを廃棄するのに必要とされるような完全なパターンを 必要とする。この方法における不良データの削除は、ニューラルネットワークを 訓練するための非能率的な方法である。例えば、ニューラルネットワークが10 個の入力および10個の出力を有し、また、入力または出力の1つが所望の時間 に50%またはそれ以上の訓練パターンに対して欠落を起こすものとする。慣用 の方法では、訓練モード中のこれらのパターンや運転モード中の信頼できない予 測出力に対する訓練に導いてこれらのパターンを廃棄する。これは、慣用の方法 が廃棄したパターンに対してなおこのケースのために90%以上の情報が存在す ることを考えると、効率が悪い。これらのある領域に対応する予測出力は、少し 不明瞭であり、誤りがある。ある状況では、不良すなわち欠落データの選別後全 データに50%程度の減衰がある。さらに、実験結果では、廃棄する不良または 不完全なデータがニューラルネットワークの全性能を減少するように、ニューラ ルネットワーク試験性能は一般に訓練データが増加するにつれて増大する。 ニューラルネットワークが少量のデータで訓練されると、これはあるものが予 測出力で持つ全性能を減少する。今日まで、運転モード中“大急ぎで(on the fly)”ニューラルネットワークの訓練動作の一貫性を予測する技術は存在し ない。入力空間の各入力データパターンに対して、ニューラルネットワークは訓 練の一貫性を有する。例えば、多数の良好なデータ点が訓練中に存在したら、入 力データがその領域に起きたときに高い信頼性レベルが存在する。しかしながら 、良好なデータで希薄にある入力空間の領域が存在するならば、例えば、多量の 不良データがそこから廃棄され、ニューラルネットワークの予測出力の信頼性レ ベルは非常に低くなる。ニューラルネットワークの実訓練を実際にチェックする ある従来技術が存在するが、これらの技術は、実時間運転モードで作動しない。 発明の要約 ここに開示されかつ請求されたこの発明は、予測入力空間に対する予測システ ムモデルの予測出力空間の誤りを推定するためのニューラルネットワークを備え る。ニューラルネットワークは予測入力空間を占める複数の入力値を有する入力 ベクトルを受けるための入力を含む。ある出力は、システムモデルの予測出力空 間に対応する出力空間を占める出力誤りベクトルを出力するように動作できる。 処理層はシステムモデルの予測誤りの表示を通して入力空間を出力空間に作図し 、上記出力予測誤りベクトルを提供する。 この発明の他の概念では、データ処理器が提供される。データ処理器は、入力 ベクトルと同じ入力空間と実質的に関連する未処理データ入力ベクトルを受ける ように動作できる。未処理データ入力ベクトルは入力空間のある部分でその誤り と関連している。データ処理器は未処理データ入力ベクトルを処理し、その中の 誤りを最小化して出力に入力ベクトルを呈するように動作できる。一実施例にお ける未処理データ入力は、使用できないその部分を持つデータからなる。データ 処理器は、未処理データを調和させて使用できない部分を調和したデータと置き 換えるように動作できる。さらに、データ処理器は、入力ベクトルとして出力さ れる調和したデータの各値に対して不確定性値を出力するように動作できる。 また、この発明の別な概念では、システムモデルは、入力空間内の入力ベクト ルを受けるための入力と、予測出力ベクトルを出力するための出力とを有する非 線形モデルからなる。あるシステムの非線形モデルに対する出力層に入力層を作 図するマッピング機能が提供される。所定の基準に従ってその内部である変化が 影響を及ぼすように予測出力ベクトルを制御するための制御回路が提供される。 予測誤り出力に対して所定の閾値率を規定する複数の決定閾値が提供される。決 定処理器は、出力予測誤りベクトルを決定閾値と比較し、出力制御を作動して、 決定閾値および出力予測誤りベクトル間に所定の関係が存在するときはいつでも 所定の変化を及ぼすように動作できる。 さらに、この発明の他の概念では、システムモデルの非線形表示は、入力空間 内の有限集合の入力データで訓練される訓練表示である。入力空間の所定値に対 するシステムモデルの予測出力の妥当性の表示を生じる妥当性モデルが提供され る。妥当性モデルは、入力空間で入力ベクトルを受けるための入力と出力空間に 対応する妥当性出力ベクトルを出力するための出力とを含む。処理器は、入力ベ クトルの所定値の入力および入力空間内の入力ベクトルの位置に応答して妥当性 出力ベクトルを発生するように動作できる。妥当性出力ベクトルの値は、システ ムモデルが入力ベクトルの値の回りの入力空間の領域で訓練される訓練データの 相対量に対応する。 さらに、この発明の別な概念では、システムモデルはターゲット出力と一組の 訓練データを利用する所定の訓練アルゴリズムによって訓練される。訓練中、ま た、入力データの不確定性を表す不確定性値が受信される。訓練アルゴリズムは 、訓練中不確定性値の関数として修正される。 図面の簡単な説明 この発明およびその利点をより完全に理解するために、次に添付図面と関連し て次の説明を参照する。 図1は妥当性モデルおよび予測誤りモデルを使用して調和されたデータを処理 し、その出力を制御するための妥当性モデルおよび予測誤りモデルの両方を示す システムモデルの全ブロック図を示す。 図2aおよび図2cはデータ調和中に発生された不確定性を使用してシステム を訓練するためのモデルの全ブロック図を示す。 図2bは調和および関連する不確定性の一例を示す。 図3a〜図3cはデータ分布、予測誤りおよび妥当性モデルを表すデータパタ ーンを示す。 図4aは完全なニュラルネットワークパータンを示す2つの間隔でサンプルさ れたデータパターンの概略図を示す。 図4bはデータの時間組み合わせを表すデータパータンの概略図を示す。 図5は入力データを調和し、不良または欠落データを埋めるための自動符号化 ネットワークを示す。 図6はモデルを訓練するための訓練動作のブロック図を示す。 図7は妥当性モデルを訓練するための全体ブロック図を示す。 図8a及び図8bは妥当性モデルの訓練に使用するためのデータの局部化関数 の一例を示す。 図9は2次元空間における放射状基本関数中心の略図を示す。 図10は妥当性関数の略図を示す。 図11はXaおよびXbに対する訓練データおよび2つの試験パターンの分布 を示す。 図12は妥当性ターゲットを発生するための全体ブロック図を示し、妥当性モ デルの訓練中に利用される。 発明の詳細な説明 図1はこの発明のシステムの全体ブロック図を示す。入力空間を占める入力デ ータを表すデータ入力ベクトルx(t)が設けられる。このデータは置き換えな ければならない誤りまたは不良データを有する。このデータの置き換えは前処理 部10で行われ、この前処理部10はデータパターンを調和して不良または欠落 データを充填し、そして、出力x′を供給するように作動できる。さらに、欠落 または不確定性ベクトルμx(t)が出力される。これは平均調和データベクト ルx′(t)についてのデータの分布を表し、そして、これは代表的に従来のシ ステムでは如何に廃棄されたかを表す。調和されたデータx′(t)はニューラ ルネットワークで利用されるシステムモデル12に入力される。ニューラルネッ トワークは入力ベクトルを受ける入力層と、予測出力ベクトルを供給する出力層 からなる慣用のニューラルネットワークである。入力層は非線形マッピング機能 を通して1以上の隠層で具現化できる出力層に作図される。これは、慣用の型の 構成である。後述されるように、このネットワークは、例えば放射状基本関数, ガウスバー,または慣用の逆伝播技術のような多数の訓練アルゴリズムおよび構 成の内のどれかを通して訓練される。逆伝播学習技術は、一般にデー・イー・ル ーメルハート(D.E.Rumelhart),ジー・イー・ヒントン(G.E.Hinton)および アール・ジェイ・ウイリアムズ(R.J.Wiliams)著、誤り伝播による学習内部表 示(デー・イー・ルーメルハート(D.E.Rumelhart)およびジェイ・エル・マッ ククレンナンド(J.L.McClennand)著、並列分布処理、第8章、第1巻、1986年 における)に記載されており、この書類はここで参照して組み入れたれる。しか しながら、慣用のニューラルネットワークを訓練するための逆伝播技術は周知で ある。システムモデル12の出力は、予測出力y(t)である。これは出力制御 回路14に入力され、この出力制御回路114は出力として修正された出力ベク トルy′(t)を発生する。一般に、データがシステムモデル12に入力される ときはいつも、予測出力を生じ、その一貫性はネットワークが如何にうまく訓練 されるかの関数である。 システムモデルに加えて、妥当性モデル16および予測誤りモデル18が設け られる。妥当性モデル16は、訓練動作中入力空間のデータの“分布”の関数と して予測出力の“妥当性”のモデルを備える。いかなるシステムモデルもそれと 関連して所定の予測誤りを有し、この予測誤りは利用される構成で固有である。 これはシステムモデルが適当な訓練データの組で訓練されたと仮定する。そうで なければ、その後入力データに最も近い入力空間の場所に訓練データの不適当な 分布による付加的誤りのソースが存在する。妥当性モデル16は、この付加的誤 りのソースの測定を提供する。予測誤りモデル18は予測出力の予期誤りのモデ ルを与える。 所定のシステムモデルは構成の関数である関連する予測誤りを有し、この予測 誤りは全体の入力空間を通して訓練データの適当な組を前提とする。しかしなが ら、訓練データの組と関連する誤りまたは不確定性があるならば、この誤りまた は不確定性はシステムモデルの固有の予測誤りに付加的である。全体の予測誤り は、妥当性が入力空間を通して訓練データの分布の関数であり、予測誤りがシス テムモデルの構成および訓練データの組の関連する誤りまたは不確定性の関数で ある点で妥当性と区別される。 妥当性モデル16の出力は妥当性出力ベクトルv(t)を備え、予測誤りモデ ル18の出力は推定した予測誤りベクトルe(t)を備える。これら2つの出力 ベクトルは決定処理器20に入力され、その出力が出力制御回路14への入力用 制御信号を発生するのに使用される。決定処理器20は、出力ベクトルv(t) およびe(t)と、決定しきい値発生器22からそれに入力される種々の決定し きい値と比較するように作動できる。提供される制御の型の例は、精度が制御変 化推奨以下であれば、何も変化はなされないことである。さもなければ、ある制 御が推奨値に対して変化される。同様に、妥当性値が妥当性閾値以上であれば、 制御推奨が受け入れられる。さもなければ、制御推奨は受け入れられない。出力 制御回路14の出力は、また予測出力を修正する。例えば、ある制御状況におい ては、出力制御変化値を修正して、所定の閾値に対して変化値のほんの50%、 第2の閾値に対して変化値の25%、第3の閾値に対して変化値の0%を生じる ことができる。 次に、図2aは、入力訓練データの不確定性μ(t)を利用するシステムモデ ル12を訓練するための方法の一実施例を示す。一般に、システムモデル12の 学習は、種々のニューラルネットワーク構成および逆伝播,放射状基本関数また はガウスバーのようなアルゴリズムのどれかを介して達成される。学習動作は、 入力空間のより少ないデータを持つパターンがより少ない重要性を持って訓練さ れるように調整される。逆伝播技術においては、1つの方法は、所定のパターン の不確定性に基づいて学習率を変えることである。入力不確定性ベクトルμx( t)は、不確定性訓練修正器24に入力され、これより訓練中システムモデル1 2に対して制御信号が供給される。 データ前処理器10は、線形推定,スプライン適合,ボックスカー調和のよう な調和技術または後述される自動符号化ニューラルネットワークのようなより手 の込んだ技術を使用して別なデータ値から所望時間“t”でデータ値x′を計算 する。これらの全ての技術は、出力調和データx′(t)で調和された入力デー タを持つデータ調和と称される。一般に、x′(t)は、ある過去時間Xmaxまで 現在および過去の時間で与えられる生値x(t)の全ての関数である。すなわち 、 である。ここで、xi(tj)の値のいくらかは誤りまたは不良であるかもして ない。 この過去値を使用してx′(t)を見つける方法は、全く外挿法である。シス テムは単に運転時間モード中に利用できる過去値を有するだけであるので、その 値は調和されなければならない。これを行う最も簡単な方法は、次の外挿値x′ (t)=xi(tN)を取ることであり、すなわち、報知された最終値を取ること である。より手の込んだ外挿法アルゴリズムは、過去値xi(t−ij),j∈t( o,..imax)使用できる。例えば、線形外挿法は を使用する。多項のスプライン適合またはニューラルネットワーク外挿法技術 は、式(1)を使用する。(例えば、ダブリュ・エイチ・プレス(W.H.Press) 著“数値”)ケンブリッジ大学出版社(1986年),pp.77-101参照)。ニュ ーラルネットの訓練は、実際には組み合わせ値すなわち式(2)を使用する。こ こで、外挿法の場合、tN>tである。 任意の時間値が外挿または組み合わせられ、これらの値はある固有の不確定性 μx′(t)を有する。不確定性は前の測定値または情報によっておよび/また は調和技術によって与えられる。調和値x′(t)の不確定性μx′(t)の推 定は である。ここで、μmaxは(データの最大範囲のような)パラメータとしての最 大不確定性であり、μoxは前の不確定性 、すなわち、局部的妥当性平均値、 、すなわち、1/2の局部的加速平均値である。 このプロットを図2bに示す。 一旦、入力不確定性ベクトルμx′(t)が決定されると、欠落または不確実 な入力値は欠落または不確実な出力値より異なって処理されなければならない。 この場合、各不確定性入力に逆伝播された誤り項は、入力の不確定性に基づいて 修正され、これに対し、出力の誤りはその出力以下の全てのニューロン接続の学 習に影響を及ぼす。入力の不確定性は常に出力の対応する不確定性により反映さ れるので、この出力の不確定性はシステムモデル12の訓練中に、システムの全 不確定性およびシステムの出力の妥当性に対して考慮する必要がある。 ターゲット出力y(t)はターゲット前処理器26で決定されるその不確定性 を有し、ターゲット前処理器26は不良または欠落データを充填する点で、デー タ前処理器10と実質的に同じである。このターゲット前処理器26は、システ ムモデル12のニューラルネットワークの出力層に線形的にマップされた層を構 成するブロック28に対する入力用のターゲット入力を発生する。このブロック 28は調和されたターゲットy′(t)を発生する。 図2cは、システムモデル12が調和データx′(t)および調和データx′ (t)の不確定性μx′(t)の両方で訓練される別な特定の実施例を示す。こ のデータはデータ前処理器10から加算器30に出力され、この加算器30はモ デルを介して種々の経路で制御されて調和データx′(t)自身を処理するかま たは調和データx′(t)と不確定性μx′(t)の和を処理する。2つの出力 は、予測出力p(t)と不確定性予測出力μp(t)を生じる。これらはターゲ ット誤り処理器34に入力され、このターゲット誤り処理器34は、また入力と して調和 ターゲット出力y′(t)および調和ターゲット出力y′(t)の不確定性を受 ける。このターゲット誤り処理器34は値Δytotalを発生する。この値は、逆 伝播放射状基本関数またはガウスバーニューラルネットワークのいずれかを用い てシステムモデルを訓練するために使用される修正された総和調整(TSS)誤り 関数を計算するのに利用される。 動作中、加算器30を制御することにより第1のフォーワードパスが行われ、 調和データx′(t)のみを処理して予測出力p(t)を出力する。第2のパス において、調和データ入力x′(t)および不確定性μx′(t)の和が以下の ように提供される。 これは予測出力p′(t)を生じる。次に、予測不確定性μpt)が以下のよう に計算される。 次に、全ターゲット誤りΔytotalは以下のようにμpt)およびμy′(t) の絶対値の和に等しく設定される。 次に出力誤り関数、TSS誤り関数が修正された不確定性を用いて以下のよう に計算される。 ここで、NPATSは訓練パターンの数である。 逆伝播訓練に対して、重みWijが以下のように更新される。 このようにして、今や、ニューラルネットワークは不確定性を考慮した誤り関 数により修正されたその重みを有する。 逆伝播を利用しないニューラルネットワークに対して、ランダムノイズが入力 パターンに付加された同じデータ組を用い多重パスを介してシステムモデルを訓 練し、これらのパターンの不確定性の影響を推定することにより達成される。こ の訓練方法では、各x′(t)および関連するμx′(t)に対して、各x″iを x″i=x′i+niとして選択することにより、ランダムベクトルを選択できる 。ここで、niはその分布から選択されたノイズ項である。 この場合、 である。ここで、f(x(t))はこのシステム予測出力p(t)を生じるシス テムモデルである。 図3a〜図3cは、それぞれ元の訓練データ、システムモデル予測およびその 予測誤り、妥当性をプロットして示したものである。図3aにおいては、実際の データ入力−ターゲットパターンを示す。データはx軸を横切って密度および分 散が変化していることが分かる。一旦、システムモデルが訓練されると、ライン 42で示す予測y(x)を生じる。システムモデルは固有の予測誤り(訓練デー タの不正確さによる)を有する。これらの予測誤りをライン42の予測値の両側 で跳ね上がる2つの点線44および46で示す。これは、基本的にライン42に ついてデータの標準偏差を表す。次に、図3cに示す妥当性が決定される。妥当 性は本質的に任意の点における訓練データの量の測定値である。曲線の開始点は 参照番号48で示されるように高い妥当性値を有し、データが欠落した曲線の後 半部分は、参照番号50で示されるように低いレベルを有する。それ故、図3a のデータで訓練されたニューラルネットワークを推定するとき、多量の訓練デー タが存在するときはいつでも、それに入力される訓練データの関数としてニュー ラルネットワークの信頼性および一貫性が高いものになることが予想される。 図4aは不良,欠落または不完全なデータを持つデータテーブルを示す。この データテーブルは垂直軸に沿って設けられた時間および水平軸に沿って設けられ たサンプルを持つデータからなる。各サンプルは、例示した2つのデータ間隔を 持つ多くの異なるデータ部分を備える。データが期間1でサンプルされたデータ と期間2でサンプルされたデータの両方に対して試験されると、データのある部 分に不完全なパターンが生じることが分かる。これを点線52で示す。ここで、 あるデータは期間1でサンプルされたデータで欠落しており、そして、あるもの は期間2で欠落していることが分かる。全てのデータが完全である完全なニュー ラルネットワークをボックス54で示す。興味があるのは、期間1でサンプルさ れたデータと期間2でサンプルされたデータの間に時間差があることである。期 間1では、データは本質的に時間中の全てのステップの間現れ、これに対し、期 間2でサンプルされたデータは期間1でサンプルされたデータに関連して周期的 にサンプルされるだけである。このようにして、調和手順は欠落データを充填し 、また、データが期間1および期間2の両方の全ての時間サンプルに対して完全 であるように、期間2の時間サンプル間を調和する。 時系列予測および制御に利用されるニューラルネットワークモデルは、連続す る訓練パターン間の期間が一定であることを必要とする。現実のシステムからや ってくるデータは必ずしも同じ時間スケールでないので、ニューラルネットワー クモデルの訓練または実行に使用できる前に、データを時間組み合わせするのが 望ましい。この時間組み合わせ動作を達成するために、各時間領域に亙って各列 でデータを外挿,内挿,平均または圧縮して適当な時間スケールにある入力値x (t)を与える必要があるかもしれない。利用される調和アルゴリズムは、線形 推定,スプライン適合,ボックスカーアルゴリズム等、または後述する自動符号 化ネットワークのようなより手の込んだ技術を含み得る。データがその期間で非 常に頻繁にサンプルされると、データを円滑にし、所望の時間スケールでサンプ ルを与えることが必要となる。これは、ウインド平均化技術,疎サンプル技術ま たはスプライン技術で行うことができる。 次に、図4bは入力データを前処理して時間組み合わせ出力データを提供し、 そしてまたターゲット出力データを前処理して訓練用の前処理ターゲット出力デ ータを提供する両方のための前処理動作を例示する入力データパターンおよびタ ーゲット出力データパターンを示す。データ入力x(t)は多くの入力x1(t ),x2(t)...xn(t)を持つベクトルからなり、これらの各々は異なる 時間スケールで有り得る。出力x′(t)は、全てのデータが単一の時間スケー ルにあるのを確実にするため外挿または内挿されることが望ましい。例えば、x (t)のデータが秒当たり1サンプルの時間スケールであり、時間tkで表される サンプルおよびその出力時間スケールが同じであることが好ましいならば、これ はその時間スケールに対してデータの残余を時間組み合わせする必要がある。デ ータx2(t)3秒毎にほぼ1回起きることが分かり、また、これは同期している ようにしめしているが非同期のデータであることに留意されたい。図4bのデー タバッフアは実時間で示す。しかしながら、x1′(t)としてのデータ出力は 、入力時間スケールおよび出力時間スケールが同じであるので、不確定性μx1 (t)で調和され、非不確定性になるであろう。しかしながら、出力x′2(t )に対して、出力は調和する必要があり、不確定性μx2(t)が存在するであ ろう。調和は、新しい値がそれに入力され、次いで、古い値が放棄されるまで、 入力x2(t)の最後の値を保持するのと同じくらい簡単である。この方法では 、出力が常に存在する。これはまた欠落データに対する場合である。しかしなが ら、上述した調和ルーチンは、また、データが常にベクトルx′(t)の各時間 スケールに対して出力にあることを確保するのに利用される。これはまた前処理 して前処理ターゲット出力y(t)を与えるターゲット出力に関する場合である 。 次に、図5は調和動作のために利用される自動符号化ネットワークの概略図を 示す。ネットワークは入力ノード60の入力層と、出力ノード62の出力層から なる。3つの隠れ層64,66および68が入力層60を作図するのに非線形マ ッピングアルゴリズムを通して出力層62に与えられる。入力データパターンx1 (t),x2(t),...,xn(t)がそれに入力され、欠落データの領域に亙っ て調和および再生がなされ、出力データパターンx1′(t),x2′(t),x3 ′(t),...,xn′(t)が提供される。このネットワークは、逆伝播技術を 通して訓練できる。このシステムは、2つの異なるサンプリング間隔のデータが 時間的に同期できるように、たとえそのデータが最初にその時間軸を通してサン プリングされなかったとしても、所定の時間軸を通してそのデータを調和するこ とに 留意されたい。 上述した技術は、欠落部を有し、悪い時間スケール増し分でありおよび/また は不良のデータ点を持つかもしれないデータでシステムモデルを作成し、訓練し 、そして実行することを主として含む。その主たる技術は不良または欠落データ および/またはそのデータの時間組み合わせに亙る調和を含む。しかしながら、 一旦、モデルが作られ、訓練されると、モデルをその全範囲に使用して現実の問 題を解決することができる前に、考慮しなければならない2つの別な要因がある 。これら2つの要因は、モデルの予測精度およびモデル妥当性である。モデルは 代表的にモデル化される過程の動力学の適当な表示を提供しない。それ故、モデ ルによる予測出力は、各入力パターンx(t)と関連したある予測誤りe(t) を有する。ここで、 である。これは時間“t”における実出力と、“t”における予測出力との差を 提供する。予測誤りe(t)を使用してシステムモデルの精度を推定するシステ ムを訓練できる。すなわち、モデル予測誤りe(t)の内部表示を用いてある構 造を訓練できる。多くの用途に対して、誤り(方向よりむしろ)の大きさ‖e( t)‖を予測することは十分である。この予測誤りモデルは以下のように表され る。 次に、図6は予測誤りモデル18を訓練するためのシステムのブロック図を示 す。図2cのシステムが、訓練されたシステムモデル12を通して調和された入 力データx′(t)および不確定性μx′(t)を先ずパスすることにより利用 され、この訓練は図2cと関連して述べた処理で達成される。ターゲット誤りΔ ytotalは、“y”の関数としてΔyに加えて、式(8)に関連して例示した同 じ処理に従ってターゲット誤り処理器を使用して計算される。次に、これはター ゲットとして調和された入力データx′(t)および不確定性μx′(t)であ る入力を持つ予測誤りモデル18に入力層される。予測誤りモデルは、多くの方 法、例えばルックアップテーブルやニューラルネットワークで例示できる。ニュ ーラルネットワークとして例示されると、慣用の逆伝播、放射状基本関数、ガウ スバ ーまたはその他のニューラルネットワーク訓練アルゴリズムを通して訓練され得 る。 モデルの妥当性の測定は、主として経歴訓練データ分布に基づいている。一般 に、ニューラルネットワークはデータから動きを学習する数学的モデルである。 かくして、それらは、それらが訓練されるデータの領域で有効であるあるだけで ある。一旦、それらが訓練され、フィードフォワードまたは試験モードで実行さ れると、(標準のニューラルネットワークでは)モデルだけの現在の状態を使用 して、有効データ点(ニューラルネットワークが訓練された領域の点)対無効デ ータ点(データのない領域の点)を区別する方法はない。モデル予測の一貫性を 有効化するために、ある機構がモデルの有効領域のトラックを保持する為にって い供されなければならない。 次に、図7は妥当性モデル16を訓練するための処理器の全体ブロック図を示 す。データ処理器10を使用して、妥当性モデル16の入力へ調和入力データx ′(t)を供給する。入力データx(t)および調和入力データx′(t)は妥 当性ターゲット発生器70に入力されて、層72への入力用の妥当性パラメータ を発生する。 妥当性測定値v(t)は、次のように規定される。 ここで、V(t)は点xの妥当性である。 Sは、次のS字状曲部のような飽和している単調増加関数である。 aiは重要な係数、自由なパラメータ、 hiはデータx(t)および訓練データ点xi(t)の局部関数、 Npatsは訓練パターンの全数、および biはバイアスパターンである。 パラメータhiは基本的に点x(t)に近い局部の点の数の関数であるデータ の局部関数であるように選択される。特定の実施例として、hiに対して次の関 係が選択される。 遠方の点が分布しないようにカットされた関数を持つ、結果として得られた関 数を図8aに示す。また、図8bに示すようなその他の関数を使用できる。 次に、図9は入力x1およびx2により表される入力空間を示す。3つの領域が あり、各々中心x1,x2およびx3を有し、各々それぞれの所定数の点n1,n2 およびn3および半径r1,r2およびr3を有することが分かる。領域の中心は、 そこで決定される点の数を持つ集団アルゴリズムにより規定される。 次に、図10は妥当性モデル16がそれに入力される新しいデータx(t)と それから出力される出力v(x(t))を持つとして示されている妥当性関数の 表示を示す。 訓練モードの入力が経歴データパターンx1(t),x2(t),...xNpats( t),σi,α,ai,biである訓練モードを示す妥当性モデル16の右に点線 が設けられている。特定の実施例では、上述の値は、全てのiに対してai=1 ,bi=2、全てのiに対してσi=0.1,α=3であるように選択される。 式14で計算するのは難しいので、以下のようにして規定される領域に要約を 分けることがより効果できである。 ここで、各セルは試験パターンを記述した図10に示されているような空間の 簡単な幾何学的区分である。 図11において、試験パターンxa(t)は、セルの大きさが、データ点xb( t)がセルC15およびC14で影響されるだけであるカットオフより大きいか それに等しい間は、セルC15,C16,C12およびC11で決定される妥当 性を有する。それ故、妥当性を見いだすアルゴリズムは、簡単である。 1)訓練パターン(x1,x2,...xNpats)niおけるシステムモデルを訓練 する。 2)例えば2進ツリーまたはK−dツリーを経てx1,...xNpatsのトラックを 保持することにより妥当性モデルを訓練する。 3)セルC1,C2... CNcells(例えばK−d)にデータ空間を区分する。 4)セルがk区分/次元およびxi∈(0,1)に等しく分割されるならば、新し いデータが例えばセルインデックス(x)=(kx1)(kx2)...(kxn)の どのセルに充填されるかを決定する。 5)セルの和を計算する。 6)n個の近くのものの和を計算する。 7)次に妥当性関数を次のように規定する。 ここで、diはx′から近いものiまでの距離、f(di)はdiの減衰関数で ある。 再度、式(18)は計算することは難しい。さらに、二三のデータ点を個々の セルに充填する場合でよい。総和の有浮名近似化は、大きなf(di)と共にこ れらの隣のものだけを含むことにより行ってもよい。式(18)で和を計算する 第2のより簡単でかつ高速の計算方法は、次のようにある領域の全ての点を平均 化することにより和を近似化することである。 領域中心xiは、セルxiの中心として、またはk−dツリーセルの中心として 、またはアルゴリズムを集める手段を介して選択される放射状基本関数の中心と して選択できる。 次に、図12は前処理器10の出力を受信し、妥当性値v(x′(t))を発 生するための妥当性モデルのブロック図を示す。上述のように、前処理器10の 出力は、調和データx′(t)および不確定性μx′(t)の両方からなる。こ れは領域選択器76に入力され、この領域選択器76は調和データが試験パター ンのどの領域にあるかを決定できる。訓練中、カウンタ78はインクリメントさ れて、システムモデル12が訓練された領域の点の数を決定する。これは領域づ つの基準で記憶され、実行モード中、ライン77で制御されるインクリメント動 作が消勢され、領域ライン79のみが付勢されて領域選択器76で決定される領 域に指示する。カウンタの出力は、領域Niの点数からなり、これは次いで、領 域活性部80に入力される。領域活性部80は関数h(x′(t))を発生し、 これは、上述のように、データx′(t)と訓練データ点x′i(t)の局部関 数である。領域活性部80の出力は、差分回路81に入力されてそれから妥当性 バイアス値“b”を差し引きされる。これは実質的にオペレータで決定される任 意の数であるオフセット補正である。差分回路81の出力はS字関数発生器83 に入力され、このS字関数発生器83は出力v(x′(t))を発生する。S字 関数は、ベクトルv(x′(t))の出力の各々に対してS字状活性値を与える 。 動作中、図12の妥当性モデル16は妥当性推定の大急ぎの計算を可能にする 。これは各領域の点数の認識および入力パターンがある領域の認識の計算を必要 とする。この情報で、妥当性値の推定を決定できる。訓練モード中、増加ライン 77は各領域の点数が決定でき、かつカウンタ78に記憶できるように付勢され る。上述のように、実行モードのみが値Niの出力を必要とする。 図7の実施例において、妥当性ターゲット発生器70は図12の構成を使用し て前処理器10への入力x(t)の各値に対するターゲット出力を計算できる。 これは妥当性モデル16にニューラルネットワークを使用できるようにし、次い で、逆伝播のような訓練アルゴリズムに従って妥当性ターゲットおよび入力デー タで訓練できるようにする。 要するに、ニューラルネットワークの実行モード中およびその訓練モード中に 使用される入力データ順列の不良または欠落を考慮する方法が提供される。不良 または欠落のデータは、調和されてシステムをモデル化するニューラルネットワ ークに対する入力に調和入力データ時系列を与える。さらに、データの不確定性 の関数として予測出力の不確定性を表す誤り、またはデータが特定のデータ点ま たは入力空間の領域の回りで活動する方法を使用して予測システム出力を制御す る。不確定性はニューラルネットワークの訓練段階中モデル化され、このネット ワークを使用して出力の不確定性の予測を提供する。これはその出力の制御また はシステムモデルの予測システム出力値の修正を行うのに使用できる。さらに、 システムの訓練中に現れるデータの相対量は、また出力に対する係数値を提供す るのに使用できる。この妥当性モデルは調和データおよびその不確定性を受信し てシステムモデルの出力に対する妥当性値を予測することができる。これは、ま た出力を制御するのに使用できる。さらに、不確定性は、高いデータの不確定性 の領域で、ネットワークに対して修正を行って訓練中所望の出力誤りの関数とし て学習率を修正できるように、システムモデルを訓練するのに使用できる。この 出力誤りは予測出力の不確定性の関数である。 好適な実施例を詳細に説明してきたけれども、本発明の要旨を逸脱することな く、種々の変更、置換および交換をなし得ることが理解されるべきである。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ファーガソン、ラルフ・ブルース アメリカ合衆国、テキサス州 78729、オ ースティン、コッパー・クリーク 9815、 アパートメント 814 【要約の続き】 不確定性はシステムモデル(12)を訓練するのに使用 できる。

Claims (1)

  1. 【特許請求の範囲】 1.予測入力空間に亙って動作する予測システムモデルの予測出力空間の誤り を推定するネットワークにおいて、 予測入力空間を占める複数の入力値からなる入力ベクトルを受ける入力部と、 予測システムモデルの予測出力空間に対応する出力空間を占める出力予測誤り ベクトルを出力する出力部と、 予測システムモデルの予測誤りの表示を通して予測出力空間に予測入力空間を 作図し、上記出力予測誤りベクトルを発生する処理層と を備えたネットワーク。 2.それと関連して実質的に上記入力ベクトルと同じ入力空間と関連する未処 理データを持つ未処理データ入力ベクトルを受ける前処理入力部と、 未処理データ入力ベクトルの未処理データを処理してその誤りを最小化し、出 力部に上記入力ベクトルを供給するデータ前処理器 をさらに備え、上記未処理データ入力ベクトルは予測入力空間の選択部分に関 連する未処理データと関連した誤りを有する請求項1記載のネットワーク。 3.上記未処理データ入力ベクトルはその使用できない部分を持つデータから なり、上記データ前処理器は未処理データを調和して使用できない部分と調和さ れたデータを置換する調和装置を備える請求項2記載のネットワーク。 4.上記データ前処理器は、該データ前処理器により出力された各値に対する 不確定性を計算して出力できる請求項2記載のネットワーク。 5.予測システムモデルは予測入力空間内にある入力を受ける入力部と、予測 出力空間内の予測出力ベクトルを出力する出力部とを有する非線形モデルを備え 、上記非線形モデルはシステムの非線形表示を通して予測出力空間に予測入力空 間を作図する請求項1記載のネットワーク。 6.予測システムモデルはそれと関連する不確定性を持つ1組の訓練データで 訓練され、上記処理層は予測システムモデルの予測誤りと訓練データの組内にお ける不確定性による訓練の組の予測誤りの組み合わせの表示を通して予測出力空 間に予測入力空間に作図することができる請求項5記載のネットワーク。 7.上記出力予測誤りベクトルに対して所定の閾値を規定する複数の決定閾値 と、 予測システムモデルから上記予測出力ベクトルの値の変化をもたらす出力制御 部と、 上記出力予測誤りベクトルを受け、それを上記決定閾値と比較し、上記出力予 測誤りベクトルの値が上記決定閾値に対する所定の関係と一致するとき、上記出 力制御部を作動して上記予測出力ベクトルの値に上記変化をもたらす決定処理器 と をさらに備える請求項5記載のネットワーク。 8.上記非線形表示は、所定の訓練アルゴリズムに従って入力空間内の入力デ ータの有限集合で訓練される訓練表示であり、入力空間内の入力ベクトルの所定 の値に対するシステムモデルの予測出力ベクトルの妥当性の表示を供給する妥当 性モデルをさらに備え、 上記妥当性モデルは、 入力空間内の入力ベクトルを受ける入力部と、 出力空間に対応する妥当性出力ベクトルを出力する出力部と、 上記入力ベクトルの入力および入力空間内の上記入力ベクトルの位置、システ ムモデルが入力ベクトルの値の周りの入力空間の領域で訓練された際の訓練デー タの量に対応する上記妥当性出力ベクトルの値に応答して上記妥当性出力ベクト ルを発生する妥当性処理器と を備えた請求項6記載のネットワーク。 9.妥当性出力ベクトルに対して所定の閾値を規定する複数の決定閾値と、 予測システムモデルから上記予測出力ベクトルの値の変化をもたらす出力制御 部と、 上記妥当性出力ベクトルを受け、該妥当性出力ベクトルを上記決定閾値と比較 し、上記妥当性出力ベクトルの値が上記決定閾値に対する所定の関係と一致する とき、上記出力制御部を作動して上記予測出力ベクトルの値に上記変化をもたら す決定処理器と をさらに備える請求項8記載のネットワーク。 10.予測出力を発生しかつ予測入力空間に亙って動作する予測システムモデ ルの予測出力空間の妥当性の測定値を発生するネットワークにおいて、 予測入力空間を占める複数の入力値からなる入力ベクトルを受ける入力部と、 予測システムモデルの予測出力空間に対応する出力空間を占める妥当性測定値 出力ベクトルを出力する出力部と、 訓練データの組で学習されたシステムモデルの妥当性の表示を通して予測出力 空間に予測入力空間を作図する処理層と を備え、システムモデルの妥当性の表示は、訓練中にそれに入力されてシステ ムモデルの妥当性の測定値を発生する予測入力空間の訓練データの分布の関数で あるネットワーク。 11.それと関連して実質的に上記入力ベクトルと同じ入力空間と関連する未 処理データを持つ未処理データ入力ベクトルを受ける前処理入力部と、 未処理データ入力ベクトルの未処理データを処理してその誤りを最小化し、出 力部に上記入力ベクトルを供給するデータ前処理器 をさらに備え、上記未処理データ入力ベクトルは予測入力空間の選択部分に関 連する未処理データと関連した誤りを有する請求項10記載のネットワーク。 12.上記未処理データ入力ベクトルはその使用できない部分を持つデータか らなり、上記データ前処理器は未処理データを調和して使用できない部分と調和 されたデータを置換する調和装置を備える請求項11記載のネットワーク。 13.上記データ前処理器は、該データ前処理器により出力された各値に対す る不確定性を計算して出力できる請求項12記載のネットワーク。 14.予測システムモデルは予測入力空間内にある入力を受ける入力部と、予 測出力空間内の予測出力ベクトルを出力する出力部とを有する非線形モデルを備 え、上記非線形モデルはシステムの非線形表示を通して予測出力空間に予測入力 空間を作図する請求項10記載のネットワーク。 15.上記妥当性測定値出力ベクトルに対して所定の閾値を規定する複数の決 定閾値と、 予測システムモデルから上記予測出力ベクトルの値の変化をもたらす出力制御 部と、 上記出力予測誤りベクトルを受け、それを上記決定閾値と比較し、上記妥当性 測定値出力ベクトルの値が上記決定閾値に対する所定の関係と一致するとき、上 記出力制御部を作動して上記予測出力ベクトルの値に上記変化をもたらす決定処 理器と をさらに備える請求項14記載のネットワーク。 16.上記処理層は、 入力空間に亙って訓練データ密度の形態を記憶するメモリと、 入力空間の入力データの位置および上記記憶された形態により規定されるよう な上記位置で訓練データの密度を処理し、入力データの入力空間の位置に近い上 記訓練データの分布の関数として上記妥当性測定値出力ベクトルを発生する処理 器と を備える請求項10記載のネットワーク。 17.予測入力空間に亙って予測システムモデルの予測出力空間の誤りを推定 する方法において、 予測入力空間を占める複数の入力値からなる入力ベクトルを受けるステップと 、 予測システムモデルの予測出力空間に対応する出力空間を占める出力予測誤り ベクトルを出力するステップと、 予測システムモデルの予測誤りの表示を通して予測出力空間に予測入力空間を 作図し、出力するステップの出力予測誤りベクトルを発生するステップと を含む方法。 18.それと関連して実質的に上記入力ベクトルと同じ入力空間と関連する未 処理データを持つ未処理データ入力ベクトルを受けるステップと、 未処理データ入力ベクトルの未処理データを処理してその誤りを最小化し、出 力部に上記入力ベクトルを供給するステップと を含み、上記未処理データ入力ベクトルは予測入力空間の選択部分に関連する 未処理データと関連した誤りを有する請求項17記載の方法。 19.未処理データ入力ベクトルを受けるステップはその使用できない部分を 持つデーからなる未処理データ入力ベクトルを受けることを含み、未処理データ を処理するステップは、未処理データを調和して使用できない部分と調和された データを置換することを含む請求項18記載の方法。 20.データを処理するステップは、さらに、処理するステップで出力された 各値に対する不確定性を計算して出力できる請求項20記載の方法 21.予測システムモデルは予測入力空間内にある入力を受ける入力部と、予 測出力空間内の予測出力ベクトルを出力する出力部とを有する非線形モデルを備 え、非線形モデルは予測出力空間に予測入力空間を作図してシステムの非線形表 示を提供することを含み、 さらに、出力予測誤りベクトルに対して所定の閾値を規定する複数の決定閾値 を記憶し、 出力予測誤りベクトルを記憶した決定閾値と比較し、 出力予測誤りベクトルの値が記憶した決定閾値に対する所定の関係と一致する とき、予測システムモデルから予測出力ベクトルの値の変化することを含む請求 項17記載の方法。 22.予測出力を発生しかつ予測入力空間に亙って動作する予測システムモデ ルの予測出力空間の妥当性の測定値を発生する方法において、 予測入力空間を占める複数の入力値からなる入力ベクトルを受けるステップと 、 予測システムモデルの予測出力空間に対応する出力空間を占める妥当性測定値 出力ベクトルを出力するステップと、 訓練データの組で学習されたシステムモデルの妥当性の表示を通して予測出力 空間に予測入力空間を作図するステップと を含み、システムモデルの妥当性の表示は、訓練中にそれに入力されてシステ ムモデルの妥当性の測定値を発生する予測入力空間の訓練データの分布の関数で ある方法。 23.それと関連して実質的に上記入力ベクトルと同じ入力空間と関連する未 処理データを持つ未処理データ入力ベクトルを受けるステップと、 未処理データ入力ベクトルの未処理データを処理してその誤りを最小化し、出 力部に上記入力ベクトルを供給するステップと をさらに含み、未処理データ入力ベクトルは予測入力空間の選択部分に関連す る未処理データと関連した誤りを有する請求項22記載の方法。 24.未処理データ入力ベクトルを受けるステップは、その使用できない部分 を持つデータからなる未処理データ入力ベクトルを受けることを含み、未処理デ ータを処理するステップは、未処理データを調和して使用できない部分と調和さ れたデータを置換することを含む請求項23記載の方法。 25.未処理データを処理するステップは、さらに、処理するステップで出力 された各値に対する不確定性を計算して出力できる請求項23記載の方法。 26.予測システムモデルは予測入力空間内にある入力を受ける入力部と、予 測出力空間内の予測出力ベクトルを出力する出力部とを有する非線形モデルを備 え、上記非線形モデルは予測出力空間に予測入力空間を作図してシステムの非線 形表示を提供し、 さらに、妥当性測定値出力ベクトルに対して所定の閾値を規定する複数の決定 しきい値を記憶し、 出力予測誤りベクトルを記憶した決定閾値と比較し、 妥当性測定値出力ベクトルの値が記憶した決定閾値に対する所定の関係と一致 するとき、予測システムモデルから予測出力ベクトルの値を変化することを含む 請求項22記載の方法。 27.入力空間を出力空間に作図してシステムの表示を提供する調整可能なパ ラメータを持つ予測モデルを提供し、 入力空間内の入力訓練データに対応する出力データ空間内のターゲット出力デ ータを提供し、 出力空間の予測出力を供給するシステムモデルと共に、モデルの訓練中に入力 訓練データをシステムの入力空間に入力し、 予測出力とターゲット出力を比較して誤りを発生し、 予測モデルのパラメータを調整して所定の訓練アルゴリズムに従って誤りを最 小化し、 入力訓練データに対応する不確定性を受け、 入力部で受けた訓練データの不確定性値の関数として訓練アルゴリズムを修正 し、所定の修正機構に従って不確定性値を補償する方法。 28.予測モデルは非線形モデルである請求項27記載の方法。 29.所定の訓練アルゴリズムはそれと関連する所定の速度を有し、所定の修 正機構は訓練アルゴリズムが動作する速度を変化する請求項27記載の方法。 30.予測モデルはニューラルネットワークであり、所定の訓練アルゴリズム は逆伝播誤りアルゴリズムであり、訓練アルゴリズムを修正するステップは入力 で受けた訓練データの不確定性値の関数として逆伝播の速度を変えて不確定性値 の関数として記憶されたシステムの表示をの補償を提供することを含む請求項2 7記載の方法。 31.それと関連して実質的に入力ベクトルと同じ入力空間と関連する未処理 データを持つ未処理データ入力ベクトルを受け、 未処理データ入力ベクトルの未処理データを処理してその誤りを最小化し、出 力部に上記入力ベクトルを供給することを含み、 未処理データ入力ベクトルは予測入力空間の選択部分に関連する未処理データ と関連した誤りを有する請求項27記載の方法。
JP6513265A 1992-11-24 1993-11-19 欠落および/または不完全なデータを有するニューラルネットワークを作動するための方法および装置 Pending JPH08505967A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US98066492A 1992-11-24 1992-11-24
US07/980,664 1992-11-24
PCT/US1993/011251 WO1994012948A1 (en) 1992-11-24 1993-11-19 Method and apparatus for operating a neural network with missing and/or incomplete data

Publications (1)

Publication Number Publication Date
JPH08505967A true JPH08505967A (ja) 1996-06-25

Family

ID=25527747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6513265A Pending JPH08505967A (ja) 1992-11-24 1993-11-19 欠落および/または不完全なデータを有するニューラルネットワークを作動するための方法および装置

Country Status (8)

Country Link
US (4) US5613041A (ja)
EP (1) EP0671038B1 (ja)
JP (1) JPH08505967A (ja)
AT (1) ATE240557T1 (ja)
AU (1) AU674227B2 (ja)
CA (1) CA2149913A1 (ja)
DE (1) DE69332980T2 (ja)
WO (1) WO1994012948A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019200453A (ja) * 2018-05-14 2019-11-21 オムロン株式会社 制御システム、学習データ作成装置、学習装置および判定装置
US11430089B2 (en) 2019-07-10 2022-08-30 Samsung Electronics Co., Ltd. Image processing method and image processing system for generating a corrected image

Families Citing this family (160)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852817A (en) * 1991-08-14 1998-12-22 Kabushiki Kaisha Toshiba Intelligent control apparatus
US6243696B1 (en) * 1992-11-24 2001-06-05 Pavilion Technologies, Inc. Automated method for building a model
EP0777881B1 (de) * 1994-08-24 1998-05-27 Siemens Aktiengesellschaft Verfahren zur festlegung des gültigkeitsbereichs für ein künstliches neuronales netzwerk
DE19530049B4 (de) * 1995-08-16 2004-12-23 Thomas Froese Verfahren zur Erkennung von fehlerhaften Vorhersagen in einer neuromodellgestützten oder neuronalen Regelung
DE19530646C1 (de) * 1995-08-21 1996-10-17 Siemens Ag Lernverfahren für ein rekurrentes neuronales Netz
US6314414B1 (en) 1998-10-06 2001-11-06 Pavilion Technologies, Inc. Method for training and/or testing a neural network with missing and/or incomplete data
US5970426A (en) * 1995-09-22 1999-10-19 Rosemount Analytical Inc. Emission monitoring system
US6879971B1 (en) * 1995-12-22 2005-04-12 Pavilion Technologies, Inc. Automated method for building a model
US5845271A (en) * 1996-01-26 1998-12-01 Thaler; Stephen L. Non-algorithmically implemented artificial neural networks and components thereof
KR19990082557A (ko) * 1996-02-09 1999-11-25 윌리암 제이. 버크 불확실한 트레이닝 데이터를 사용하여 대상을검출 및 분류하기위한 뉴럴 네트워크의 트레이닝 방법 및 장치
US5781454A (en) * 1996-03-25 1998-07-14 Raytheon Company Process modeling technique
US6236365B1 (en) * 1996-09-09 2001-05-22 Tracbeam, Llc Location of a mobile station using a plurality of commercial wireless infrastructures
US9134398B2 (en) 1996-09-09 2015-09-15 Tracbeam Llc Wireless location using network centric location estimators
US6249252B1 (en) 1996-09-09 2001-06-19 Tracbeam Llc Wireless location using multiple location estimators
US7714778B2 (en) * 1997-08-20 2010-05-11 Tracbeam Llc Wireless location gateway and applications therefor
US7764231B1 (en) * 1996-09-09 2010-07-27 Tracbeam Llc Wireless location using multiple mobile station location techniques
US7903029B2 (en) 1996-09-09 2011-03-08 Tracbeam Llc Wireless location routing applications and architecture therefor
JPH1097514A (ja) * 1996-09-24 1998-04-14 Masahiko Shizawa 多価写像学習方法
JP2981193B2 (ja) * 1997-09-02 1999-11-22 エヌケイエス株式会社 時系列連続データの予測方法及び記録媒体
US6298328B1 (en) * 1998-03-26 2001-10-02 Telecompetition, Inc. Apparatus, method, and system for sizing markets
US6810368B1 (en) * 1998-06-29 2004-10-26 International Business Machines Corporation Mechanism for constructing predictive models that allow inputs to have missing values
US8135413B2 (en) 1998-11-24 2012-03-13 Tracbeam Llc Platform and applications for wireless location and other complex services
US20030146871A1 (en) * 1998-11-24 2003-08-07 Tracbeam Llc Wireless location using signal direction and time difference of arrival
US6975219B2 (en) * 2001-03-01 2005-12-13 Fisher-Rosemount Systems, Inc. Enhanced hart device alerts in a process control system
US8044793B2 (en) * 2001-03-01 2011-10-25 Fisher-Rosemount Systems, Inc. Integrated device alerts in a process control system
US7562135B2 (en) * 2000-05-23 2009-07-14 Fisher-Rosemount Systems, Inc. Enhanced fieldbus device alerts in a process control system
US7206646B2 (en) * 1999-02-22 2007-04-17 Fisher-Rosemount Systems, Inc. Method and apparatus for performing a function in a plant using process performance monitoring with process equipment monitoring and control
US7062441B1 (en) * 1999-05-13 2006-06-13 Ordinate Corporation Automated language assessment using speech recognition modeling
US6564195B1 (en) 1999-07-22 2003-05-13 Cerebrus Solutions Limited Data classifier output interpretation
US7424439B1 (en) * 1999-09-22 2008-09-09 Microsoft Corporation Data mining for managing marketing resources
EP1286735A1 (en) 1999-09-24 2003-03-05 Dennis Jay Dupray Geographically constrained network services
US6678585B1 (en) * 1999-09-28 2004-01-13 Pavilion Technologies, Inc. Method and apparatus for maximizing power usage in a power plant
US6611735B1 (en) 1999-11-17 2003-08-26 Ethyl Corporation Method of predicting and optimizing production
US10684350B2 (en) 2000-06-02 2020-06-16 Tracbeam Llc Services and applications for a communications network
US10641861B2 (en) 2000-06-02 2020-05-05 Dennis J. Dupray Services and applications for a communications network
US9875492B2 (en) 2001-05-22 2018-01-23 Dennis J. Dupray Real estate transaction system
US6760716B1 (en) * 2000-06-08 2004-07-06 Fisher-Rosemount Systems, Inc. Adaptive predictive model in a process control system
AU2001295435A1 (en) * 2000-10-10 2002-04-22 Core A/S Expectation sampling and perception control
US8073967B2 (en) 2002-04-15 2011-12-06 Fisher-Rosemount Systems, Inc. Web services-based communications for use with process control systems
US7389204B2 (en) 2001-03-01 2008-06-17 Fisher-Rosemount Systems, Inc. Data presentation system for abnormal situation prevention in a process plant
US6795798B2 (en) 2001-03-01 2004-09-21 Fisher-Rosemount Systems, Inc. Remote analysis of process control plant data
US6954713B2 (en) * 2001-03-01 2005-10-11 Fisher-Rosemount Systems, Inc. Cavitation detection in a process plant
DE60232711D1 (de) 2001-03-01 2009-08-06 Fisher Rosemount Systems Inc Bezugsmarkierungtechnik zur schätzung und benutzung von abbau-niveaux in einer prozessanlage
US7720727B2 (en) 2001-03-01 2010-05-18 Fisher-Rosemount Systems, Inc. Economic calculations in process control system
CN1324420C (zh) * 2001-03-01 2007-07-04 费舍-柔斯芒特***股份有限公司 处理工厂内的数据共享
US20020194148A1 (en) * 2001-04-30 2002-12-19 Billet Bradford E. Predictive method
US20020174081A1 (en) * 2001-05-01 2002-11-21 Louis Charbonneau System and method for valuation of companies
US20020174088A1 (en) * 2001-05-07 2002-11-21 Tongwei Liu Segmenting information records with missing values using multiple partition trees
US8082096B2 (en) 2001-05-22 2011-12-20 Tracbeam Llc Wireless location routing applications and architecture therefor
US7293002B2 (en) * 2001-06-19 2007-11-06 Ohio University Self-organizing data driven learning hardware with local interconnections
US7162534B2 (en) 2001-07-10 2007-01-09 Fisher-Rosemount Systems, Inc. Transactional data communications for process control systems
DE10135586B4 (de) 2001-07-20 2007-02-08 Eads Deutschland Gmbh Rekonfigurations-Verfahren für ein Sensorsystem mit zwei Beobachtern und Sensorsystem zur Durchführung des Verfahrens
US20030140023A1 (en) * 2002-01-18 2003-07-24 Bruce Ferguson System and method for pre-processing input data to a non-linear model for use in electronic commerce
US20030149603A1 (en) * 2002-01-18 2003-08-07 Bruce Ferguson System and method for operating a non-linear model with missing data for use in electronic commerce
US6941301B2 (en) * 2002-01-18 2005-09-06 Pavilion Technologies, Inc. Pre-processing input data with outlier values for a support vector machine
US7020642B2 (en) * 2002-01-18 2006-03-28 Pavilion Technologies, Inc. System and method for pre-processing input data to a support vector machine
GB0209780D0 (en) * 2002-04-29 2002-06-05 Neural Technologies Ltd Method of encoding data for decoding data from and constraining a neural network
US7600234B2 (en) 2002-12-10 2009-10-06 Fisher-Rosemount Systems, Inc. Method for launching applications
US8017411B2 (en) * 2002-12-18 2011-09-13 GlobalFoundries, Inc. Dynamic adaptive sampling rate for model prediction
US8935298B2 (en) 2002-12-30 2015-01-13 Fisher-Rosemount Systems, Inc. Integrated navigational tree importation and generation in a process plant
US7493310B2 (en) 2002-12-30 2009-02-17 Fisher-Rosemount Systems, Inc. Data visualization within an integrated asset data system for a process plant
US7152072B2 (en) 2003-01-08 2006-12-19 Fisher-Rosemount Systems Inc. Methods and apparatus for importing device data into a database system used in a process plant
US7953842B2 (en) 2003-02-19 2011-05-31 Fisher-Rosemount Systems, Inc. Open network-based data acquisition, aggregation and optimization for use with process control systems
US7103427B2 (en) 2003-02-28 2006-09-05 Fisher-Rosemont Systems, Inc. Delivery of process plant notifications
US6915235B2 (en) 2003-03-13 2005-07-05 Csi Technology, Inc. Generation of data indicative of machine operational condition
US7634384B2 (en) 2003-03-18 2009-12-15 Fisher-Rosemount Systems, Inc. Asset optimization reporting in a process plant
US7242989B2 (en) * 2003-05-30 2007-07-10 Fisher-Rosemount Systems, Inc. Apparatus and method for batch property estimation
US7299415B2 (en) 2003-06-16 2007-11-20 Fisher-Rosemount Systems, Inc. Method and apparatus for providing help information in multiple formats
US7030747B2 (en) 2004-02-26 2006-04-18 Fisher-Rosemount Systems, Inc. Method and system for integrated alarms in a process control system
US7079984B2 (en) 2004-03-03 2006-07-18 Fisher-Rosemount Systems, Inc. Abnormal situation prevention in a process plant
US7676287B2 (en) 2004-03-03 2010-03-09 Fisher-Rosemount Systems, Inc. Configuration system and method for abnormal situation prevention in a process plant
US7515977B2 (en) 2004-03-30 2009-04-07 Fisher-Rosemount Systems, Inc. Integrated configuration system for use in a process plant
US7536274B2 (en) 2004-05-28 2009-05-19 Fisher-Rosemount Systems, Inc. System and method for detecting an abnormal situation associated with a heater
US20050267709A1 (en) * 2004-05-28 2005-12-01 Fisher-Rosemount Systems, Inc. System and method for detecting an abnormal situation associated with a heater
CN1969239B (zh) 2004-06-12 2011-08-03 费舍-柔斯芒特***股份有限公司 用于检测与控制回路的过程增益相关的异常状况的***和方法
US20060008781A1 (en) * 2004-07-06 2006-01-12 Ordinate Corporation System and method for measuring reading skills
US7181654B2 (en) 2004-09-17 2007-02-20 Fisher-Rosemount Systems, Inc. System and method for detecting an abnormal situation associated with a reactor
US9636450B2 (en) 2007-02-19 2017-05-02 Udo Hoss Pump system modular components for delivering medication and analyte sensing at seperate insertion sites
US7356371B2 (en) * 2005-02-11 2008-04-08 Alstom Technology Ltd Adaptive sensor model
US8768664B2 (en) * 2005-03-18 2014-07-01 CMC Solutions, LLC. Predictive emissions monitoring using a statistical hybrid model
US7421348B2 (en) * 2005-03-18 2008-09-02 Swanson Brian G Predictive emissions monitoring method
US8005647B2 (en) 2005-04-08 2011-08-23 Rosemount, Inc. Method and apparatus for monitoring and performing corrective measures in a process plant using monitoring data with corrective measures data
US9201420B2 (en) 2005-04-08 2015-12-01 Rosemount, Inc. Method and apparatus for performing a function in a process plant using monitoring data with criticality evaluation data
US20060247798A1 (en) * 2005-04-28 2006-11-02 Subbu Rajesh V Method and system for performing multi-objective predictive modeling, monitoring, and update for an asset
US7536364B2 (en) * 2005-04-28 2009-05-19 General Electric Company Method and system for performing model-based multi-objective asset optimization and decision-making
US7272531B2 (en) * 2005-09-20 2007-09-18 Fisher-Rosemount Systems, Inc. Aggregation of asset use indices within a process plant
US8880138B2 (en) 2005-09-30 2014-11-04 Abbott Diabetes Care Inc. Device for channeling fluid and methods of use
US7451004B2 (en) 2005-09-30 2008-11-11 Fisher-Rosemount Systems, Inc. On-line adaptive model predictive control in a process control system
WO2007047514A2 (en) * 2005-10-14 2007-04-26 Aethon, Inc. Robotic retrieval and delivery system
US7826879B2 (en) 2006-02-28 2010-11-02 Abbott Diabetes Care Inc. Analyte sensors and methods of use
US8374668B1 (en) 2007-10-23 2013-02-12 Abbott Diabetes Care Inc. Analyte sensor with lag compensation
US7801582B2 (en) 2006-03-31 2010-09-21 Abbott Diabetes Care Inc. Analyte monitoring and management system and methods therefor
US8140312B2 (en) 2007-05-14 2012-03-20 Abbott Diabetes Care Inc. Method and system for determining analyte levels
US7653425B2 (en) 2006-08-09 2010-01-26 Abbott Diabetes Care Inc. Method and system for providing calibration of an analyte sensor in an analyte monitoring system
US9392969B2 (en) 2008-08-31 2016-07-19 Abbott Diabetes Care Inc. Closed loop control and signal attenuation detection
US7618369B2 (en) 2006-10-02 2009-11-17 Abbott Diabetes Care Inc. Method and system for dynamically updating calibration parameters for an analyte sensor
US8473022B2 (en) 2008-01-31 2013-06-25 Abbott Diabetes Care Inc. Analyte sensor with time lag compensation
US8606544B2 (en) 2006-07-25 2013-12-10 Fisher-Rosemount Systems, Inc. Methods and systems for detecting deviation of a process variable from expected values
US7657399B2 (en) 2006-07-25 2010-02-02 Fisher-Rosemount Systems, Inc. Methods and systems for detecting deviation of a process variable from expected values
US8145358B2 (en) 2006-07-25 2012-03-27 Fisher-Rosemount Systems, Inc. Method and system for detecting abnormal operation of a level regulatory control loop
US7912676B2 (en) 2006-07-25 2011-03-22 Fisher-Rosemount Systems, Inc. Method and system for detecting abnormal operation in a process plant
US8762106B2 (en) 2006-09-28 2014-06-24 Fisher-Rosemount Systems, Inc. Abnormal situation prevention in a heat exchanger
US8489360B2 (en) 2006-09-29 2013-07-16 Fisher-Rosemount Systems, Inc. Multivariate monitoring and diagnostics of process variable data
US20080188972A1 (en) * 2006-10-11 2008-08-07 Fisher-Rosemount Systems, Inc. Method and System for Detecting Faults in a Process Plant
US20080133275A1 (en) * 2006-11-28 2008-06-05 Ihc Intellectual Asset Management, Llc Systems and methods for exploiting missing clinical data
US8032341B2 (en) 2007-01-04 2011-10-04 Fisher-Rosemount Systems, Inc. Modeling a process using a composite model comprising a plurality of regression models
US8032340B2 (en) 2007-01-04 2011-10-04 Fisher-Rosemount Systems, Inc. Method and system for modeling a process variable in a process plant
US7827006B2 (en) 2007-01-31 2010-11-02 Fisher-Rosemount Systems, Inc. Heat exchanger fouling detection
US9615780B2 (en) 2007-04-14 2017-04-11 Abbott Diabetes Care Inc. Method and apparatus for providing data processing and control in medical communication system
EP3741291A1 (en) 2007-04-14 2020-11-25 Abbott Diabetes Care, Inc. Method and apparatus for providing data processing and control in medical communication system
EP2146625B1 (en) 2007-04-14 2019-08-14 Abbott Diabetes Care Inc. Method and apparatus for providing data processing and control in medical communication system
EP2146623B1 (en) 2007-04-14 2014-01-08 Abbott Diabetes Care Inc. Method and apparatus for providing data processing and control in medical communication system
CA2683930A1 (en) 2007-04-14 2008-10-23 Abbott Diabetes Care Inc. Method and apparatus for providing data processing and control in medical communication system
US8560038B2 (en) 2007-05-14 2013-10-15 Abbott Diabetes Care Inc. Method and apparatus for providing data processing and control in a medical communication system
US8260558B2 (en) * 2007-05-14 2012-09-04 Abbott Diabetes Care Inc. Method and apparatus for providing data processing and control in a medical communication system
US8239166B2 (en) 2007-05-14 2012-08-07 Abbott Diabetes Care Inc. Method and apparatus for providing data processing and control in a medical communication system
US8103471B2 (en) 2007-05-14 2012-01-24 Abbott Diabetes Care Inc. Method and apparatus for providing data processing and control in a medical communication system
US8600681B2 (en) 2007-05-14 2013-12-03 Abbott Diabetes Care Inc. Method and apparatus for providing data processing and control in a medical communication system
US8444560B2 (en) 2007-05-14 2013-05-21 Abbott Diabetes Care Inc. Method and apparatus for providing data processing and control in a medical communication system
US9125548B2 (en) 2007-05-14 2015-09-08 Abbott Diabetes Care Inc. Method and apparatus for providing data processing and control in a medical communication system
US10002233B2 (en) 2007-05-14 2018-06-19 Abbott Diabetes Care Inc. Method and apparatus for providing data processing and control in a medical communication system
US10410145B2 (en) 2007-05-15 2019-09-10 Fisher-Rosemount Systems, Inc. Automatic maintenance estimation in a plant environment
US8834366B2 (en) 2007-07-31 2014-09-16 Abbott Diabetes Care Inc. Method and apparatus for providing analyte sensor calibration
US8301676B2 (en) 2007-08-23 2012-10-30 Fisher-Rosemount Systems, Inc. Field device with capability of calculating digital filter coefficients
US20090143725A1 (en) * 2007-08-31 2009-06-04 Abbott Diabetes Care, Inc. Method of Optimizing Efficacy of Therapeutic Agent
US7702401B2 (en) 2007-09-05 2010-04-20 Fisher-Rosemount Systems, Inc. System for preserving and displaying process control data associated with an abnormal situation
US9323247B2 (en) 2007-09-14 2016-04-26 Fisher-Rosemount Systems, Inc. Personalized plant asset data representation and search system
US8055479B2 (en) 2007-10-10 2011-11-08 Fisher-Rosemount Systems, Inc. Simplified algorithm for abnormal situation prevention in load following applications including plugged line diagnostics in a dynamic process
US8377031B2 (en) 2007-10-23 2013-02-19 Abbott Diabetes Care Inc. Closed loop control system with safety parameters and methods
US8409093B2 (en) 2007-10-23 2013-04-02 Abbott Diabetes Care Inc. Assessing measures of glycemic variability
US20090164239A1 (en) 2007-12-19 2009-06-25 Abbott Diabetes Care, Inc. Dynamic Display Of Glucose Information
WO2010009172A1 (en) 2008-07-14 2010-01-21 Abbott Diabetes Care Inc. Closed loop control system interface and methods
US8622988B2 (en) 2008-08-31 2014-01-07 Abbott Diabetes Care Inc. Variable rate closed loop control and methods
US20100057040A1 (en) 2008-08-31 2010-03-04 Abbott Diabetes Care, Inc. Robust Closed Loop Control And Methods
US9943644B2 (en) 2008-08-31 2018-04-17 Abbott Diabetes Care Inc. Closed loop control with reference measurement and methods thereof
US8734422B2 (en) 2008-08-31 2014-05-27 Abbott Diabetes Care Inc. Closed loop control with improved alarm functions
US20100063829A1 (en) * 2008-09-08 2010-03-11 Dupray Dennis J Real estate transaction system
US8986208B2 (en) 2008-09-30 2015-03-24 Abbott Diabetes Care Inc. Analyte sensor sensitivity attenuation mitigation
EP3689237B1 (en) 2009-07-23 2021-05-19 Abbott Diabetes Care, Inc. Method of manufacturing and system for continuous analyte measurement
US8798934B2 (en) 2009-07-23 2014-08-05 Abbott Diabetes Care Inc. Real time management of data relating to physiological control of glucose levels
WO2011014851A1 (en) 2009-07-31 2011-02-03 Abbott Diabetes Care Inc. Method and apparatus for providing analyte monitoring system calibration accuracy
US9538493B2 (en) 2010-08-23 2017-01-03 Finetrak, Llc Locating a mobile station and applications therefor
US11213226B2 (en) 2010-10-07 2022-01-04 Abbott Diabetes Care Inc. Analyte monitoring devices and methods
US9927788B2 (en) 2011-05-19 2018-03-27 Fisher-Rosemount Systems, Inc. Software lockout coordination between a process control system and an asset management system
US8626791B1 (en) * 2011-06-14 2014-01-07 Google Inc. Predictive model caching
US8710993B2 (en) 2011-11-23 2014-04-29 Abbott Diabetes Care Inc. Mitigating single point failure of devices in an analyte monitoring system and methods thereof
US9317656B2 (en) 2011-11-23 2016-04-19 Abbott Diabetes Care Inc. Compatibility mechanisms for devices in a continuous analyte monitoring system and methods thereof
US9529348B2 (en) 2012-01-24 2016-12-27 Emerson Process Management Power & Water Solutions, Inc. Method and apparatus for deploying industrial plant simulators using cloud computing technologies
WO2014035732A1 (en) 2012-08-30 2014-03-06 Abbot Diabetes Care Inc. Dropout detection in continuous analyte monitoring data during data excursions
US9825659B2 (en) 2014-06-03 2017-11-21 Massachusetts Institute Of Technology Digital matching of a radio frequency antenna
WO2016145516A1 (en) 2015-03-13 2016-09-22 Deep Genomics Incorporated System and method for training neural networks
US10185803B2 (en) 2015-06-15 2019-01-22 Deep Genomics Incorporated Systems and methods for classifying, prioritizing and interpreting genetic variants and therapies using a deep neural network
WO2017011346A1 (en) 2015-07-10 2017-01-19 Abbott Diabetes Care Inc. System, device and method of dynamic glucose profile response to physiological parameters
WO2018175489A1 (en) 2017-03-21 2018-09-27 Abbott Diabetes Care Inc. Methods, devices and system for providing diabetic condition diagnosis and therapy
WO2019229528A2 (en) * 2018-05-30 2019-12-05 Alexander Meyer Using machine learning to predict health conditions
WO2020237011A1 (en) * 2019-05-23 2020-11-26 Cognizant Technology Solutions U.S. Corporation Quantifying the predictive uncertainty of neural networks via residual estimation with i/o kernel
JP7222344B2 (ja) * 2019-12-06 2023-02-15 横河電機株式会社 判定装置、判定方法、判定プログラム、学習装置、学習方法、および、学習プログラム
US20230349553A1 (en) * 2020-09-10 2023-11-02 Onpoint Technologies, Llc Systems and methods for analyzing combustion system operation
US20230385639A1 (en) * 2020-10-29 2023-11-30 Schlumberger Technology Corporation Cost function engineering for estimating uncertainty correlated with prediction errors
EP4113176A1 (en) * 2021-06-29 2023-01-04 Tata Consultancy Services Limited Method and system for micro-climate management

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4773024A (en) * 1986-06-03 1988-09-20 Synaptics, Inc. Brain emulation circuit with reduced confusion
US4872122A (en) * 1987-06-19 1989-10-03 University Of Pennsylvania Interactive statistical system and method for predicting expert decisions
US5067095A (en) * 1990-01-09 1991-11-19 Motorola Inc. Spann: sequence processing artificial neural network
US5052043A (en) * 1990-05-07 1991-09-24 Eastman Kodak Company Neural network with back propagation controlled through an output confidence measure
US5113483A (en) * 1990-06-15 1992-05-12 Microelectronics And Computer Technology Corporation Neural network with semi-localized non-linear mapping of the input space
US5402519A (en) * 1990-11-26 1995-03-28 Hitachi, Ltd. Neural network system adapted for non-linear processing
US5467428A (en) * 1991-06-06 1995-11-14 Ulug; Mehmet E. Artificial neural network method and architecture adaptive signal filtering
US5335291A (en) * 1991-09-20 1994-08-02 Massachusetts Institute Of Technology Method and apparatus for pattern mapping system with self-reliability check
US5276771A (en) * 1991-12-27 1994-01-04 R & D Associates Rapidly converging projective neural network
US5353207A (en) * 1992-06-10 1994-10-04 Pavilion Technologies, Inc. Residual activation neural network
US5659667A (en) * 1995-01-17 1997-08-19 The Regents Of The University Of California Office Of Technology Transfer Adaptive model predictive process control using neural networks

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019200453A (ja) * 2018-05-14 2019-11-21 オムロン株式会社 制御システム、学習データ作成装置、学習装置および判定装置
US11430089B2 (en) 2019-07-10 2022-08-30 Samsung Electronics Co., Ltd. Image processing method and image processing system for generating a corrected image

Also Published As

Publication number Publication date
US5842189A (en) 1998-11-24
EP0671038A1 (en) 1995-09-13
DE69332980T2 (de) 2004-03-04
EP0671038B1 (en) 2003-05-14
DE69332980D1 (de) 2003-06-18
CA2149913A1 (en) 1994-06-09
US6169980B1 (en) 2001-01-02
AU674227B2 (en) 1996-12-12
WO1994012948A1 (en) 1994-06-09
ATE240557T1 (de) 2003-05-15
US5613041A (en) 1997-03-18
AU6515594A (en) 1994-06-22
US5819006A (en) 1998-10-06

Similar Documents

Publication Publication Date Title
JPH08505967A (ja) 欠落および/または不完全なデータを有するニューラルネットワークを作動するための方法および装置
US6591254B1 (en) Method and apparatus for operating a neural network with missing and/or incomplete data
CN108090558B (zh) 一种基于长短期记忆网络的时间序列缺失值自动填补方法
CN107808122B (zh) 目标跟踪方法及装置
CN110427654B (zh) 一种基于敏感状态的滑坡预测模型构建方法及***
EP0680639B1 (en) Predictive networks and method with learned preprocessing parameters
McNames A nearest trajectory strategy for time series prediction
JP2000510265A (ja) 予測、制御および最適化のための動的および定常状態プロセスをモデル化する方法および装置
Johnston et al. The variance of lead-time demand
US20150088719A1 (en) Method for Predicting Financial Market Variability
CN109065176B (zh) 一种血糖预测方法、装置、终端和存储介质
Fomby Exponential smoothing models
CN110852440A (zh) 一种基于动态模糊神经网络的海洋锋探测方法
KR20070067095A (ko) 옵트로닉 감시 시스템에서, 포인트형 타겟들을 검출 및추적하는 방법
CN117540336A (zh) 时间序列预测方法、装置及电子设备
JP2021149472A (ja) 放流水質予測装置および放流水質予測方法
KR102500534B1 (ko) 순환신경망 기반 수자원 정보 생성 장치 및 방법
JPH09257951A (ja) 気象予測装置
Yilmaz Artificial neural networks pruning approach for geodetic velocity field determination
CN115952916A (zh) 基于人工智能的风电功率预测误差修正方法、装置及设备
Sahu et al. Forecasting of Precipitation in India by Different Data Types using Investigation of Radial Basis Function Neural Network Model
KR20220067273A (ko) 조건적 적대적 신경망 딥러닝 기법을 사용한 24시간 후의 전지구적 총 전자수 함유량 예측 장치 및 그 방법
JPH09146915A (ja) カオス時系列短期予測装置
JPH09128361A (ja) レカレントニューラルネットの入力量処理方法
JP2022015249A (ja) 放流水質予測装置および放流水質予測方法