JP7012871B2 - システムを制御する装置及び方法 - Google Patents

システムを制御する装置及び方法 Download PDF

Info

Publication number
JP7012871B2
JP7012871B2 JP2020556367A JP2020556367A JP7012871B2 JP 7012871 B2 JP7012871 B2 JP 7012871B2 JP 2020556367 A JP2020556367 A JP 2020556367A JP 2020556367 A JP2020556367 A JP 2020556367A JP 7012871 B2 JP7012871 B2 JP 7012871B2
Authority
JP
Japan
Prior art keywords
neural network
event
signal
signal sources
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020556367A
Other languages
English (en)
Other versions
JP2021509995A (ja
Inventor
グオ、ジアンリン
リウ、ジー
オーリック、フィリップ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2021509995A publication Critical patent/JP2021509995A/ja
Application granted granted Critical
Publication of JP7012871B2 publication Critical patent/JP7012871B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0428—Safety, monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31263—Imbedded learning for planner, executor, monitor, controller and evaluator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31483—Verify monitored data if valid or not by comparing with reference value
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32335—Use of ann, neural network
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Description

本発明は、包括的には、機械学習技法を用いる異常及び故障検出に関し、特にニューラルネットワークを用いる異常検出に関する。
高速かつ強力な機械が複雑な一連の動作を非常に高速で実行することができる製造において、安全性及び品質を監視すること及び制御することは非常に重要である。意図した一連の動作又はタイミングから逸脱することにより、品質が劣化し、原料が無駄になり、ダウンタイム及び機器の破損がもたらされ、生産量が低下する可能性がある。作業員への危険性は重大な問題である。この理由で、予期しないイベントを最小限にするように製造工程を注意深く設計するために細心の注意を払わなければならず、種々のセンサー及び非常スイッチを使用して、生産ラインに安全装置も組み込むように設計する必要がある。
製造のタイプには、プロセス型製造及びディスクリート型製造がある。プロセス型製造では、製品は、一般に差別化されていない、例えば、石油、天然ガス及び塩である。ディスクリート型製造は、個別の品目、例えば、自動車、家具、玩具及び飛行機を生産する。
安全性を高めるとともに材料及び生産量の損失を最小限にする１つの実際的な手法は、生産ラインが正常に動作していないときを検出し、こうした場合に必要であればラインを停止させるというものである。この手法を実施する１つの方法は、測定可能な変数、例えば、温度、圧力等の範囲に関して生産ラインの正常動作の記述を使用し、許容可能な動作領域を定義し、その領域外の動作点を検出するというものである。この方法は、通常、物理的変数に対して許容可能な範囲が十分に理解されており、製品の品質に対する品質基準がこれらの変数に関して直接定義されることが多い、プロセス型製造業、例えば石油精製において一般的である。
しかしながら、ディスクリート型製造における作業工程の性質は、プロセス型製造のものとは異なり、正常な作業工程からの逸脱は非常に異なる特性を有する可能性がある。ディスクリート型製造は、機械加工、はんだ付け、組立等の作業単位で実施される一連の動作を含む。異常としては、タスクのうちの１つ以上の誤った実行、又はタスクの誤った順序を挙げることができる。異常な状況であっても、温度又は圧力等の物理的変数は範囲外にならないことが多く、そのため、こうした変数の直接監視により、こうした異常を確実に検出することができない。
例えば、特許文献１に開示されている方法は、ディスクリート型製造に対するイベントシーケンスに基づく異常検出について記載している。しかしながら、この方法は、製造システムがランダムな動作を有する場合、高い誤り率を有し、異なるタイプの製造システムに対して好適ではない可能性がある。さらに、この方法では、正常動作において一度に１つのイベントしか発生し得ないことが必要であり、複雑な製造システムでは頻繁である同時のイベント発生は考慮されていない。
米国特許出願公開第２０１５／０２７７４１６号
そのために、異なるタイプの製造システムにおいて異常を検出するために好適なシステム及び方法を開発する必要がある。
いくつかの実施の形態は、製造動作のクラス又はタイプは、プロセス型製造及びディスクリート型製造を含むことができるという認識に基づく。例えば、プロセス型製造に対する異常検出方法は、データの外れ値を検出することを目的とすることができ、ディスクリート型製造に対する異常検出方法は、動作実行の正しい順序を検出することを目的とすることができる。そのために、製造動作の異なるクラスに対して異なる異常検出方法を設計することが当然である。
しかしながら、複雑な製造システムは、プロセス型製造及びディスクリート型製造を含む異なるタイプの製造を含む可能性がある。プロセス型製造及びディスクリート型製造が信号生成ラインにおいて混合される場合、異なるタイプの製造に対して設計された異常検出方法は不正確になる可能性がある。そのため、いくつかの実施の形態の目的は、異なるタイプの製造システムにおける異常検出に好適なシステム及び方法を提供することである。
いくつかの実施の形態は、プロセス型製造及びディスクリート型製造の両方に対する異常検出に、機械学習技法を適用することができるという認識に基づく。機械学習を用いて、自動学習システムにおいて収集データを利用することができ、自動学習システムでは、データの特徴量はトレーニングを通して学習することができる。トレーニングされたモデルは、リアルタイムデータにおける異常を検出して、予知保全及びダウンタイム短縮を実現することができる。
例えば、ニューラルネットワークは、異なるタイプの製造を含む複雑な製造システムに対して実際的にトレーニングすることができる機械学習技法のうちの１つである。そのために、いくつかの実施の形態は、製造システムにおいて異常を検出するためにニューラルネットワーク法を適用する。ニューラルネットワークを使用して、領域知識から明らかではない追加の異常を検出することができる。
したがって、いくつかの実施の形態は、プロセス型製造及びディスクリート型製造の両方に精度を向上させて適用することができる機械学習に基づく異常検出方法を提供する。例えば、異なる実施の形態は、教師あり学習及び教師なし学習を通して異常を検出するように、製造システムに対するニューラルネットワークに基づく異常検出方法を提供する。
しかしながら、ニューラルネットワークの分野における難題のうちの１つは、最小限であるが、依然として応用要件を満足させるニューラルネットワークトポロジーを見つけることである。製造システムは、通常、莫大な量のデータを有する。したがって、全結合ニューラルネットワークは、複雑な製造システムにおける異常検出には計算コストが高いか又は更には実際的ではない可能性がある。
さらに、いくつかの実施の形態は、複雑な製造システムにおいて異常を検出するようにトレーニングされた全結合ニューラルネットワークを枝刈りすることにより、異常検出の性能が低下するという理解に基づく。具体的には、いくつかの実施の形態は、ニューラルネットワークの枝刈りが、ニューラルネットワークトレーニングプロセス中に行われ、それにより、ニューラルネットワークの複雑度及びトレーニング時間が増大し、異常及び故障の検出精度も低下する、という認識に基づく。
いくつかの実施の形態は、ニューラルネットワークが、人工ニューロン又は単にニューロンと呼ばれる結合されたユニット又はノードの集まりに基づくという認識に基づく。人工ニューロンの間の各結合部は、互いに信号を送信することができる。信号を受信する人工ニューロンは、信号を処理し、その処理済み信号をその人工ニューロンに結合されている他の人工ニューロンに送信することができる。このように、別のニューロンから信号を受信するニューロンに対して、送信側ニューロンはその信号の信号源である。
そのために、いくつかの実施の形態は、ニューラルネットワークの少なくともいくつかの層の各ニューロンを、製造システムにおける信号源と一致させることができるという認識に基づく。このため、製造システムにおける信号源は、ニューラルネットワークの１つの層におけるニューロンによって表される。このように、ニューラルネットワークにおけるニューロンの数は、製造システムの物理的構造を表すために最小限必要であるように選択することができる。
さらに、いくつかの実施の形態は、ニューラルネットワークが、単純なユニットの相互結合ネットワークの創発的プロセスとして心的現象又は行動現象を表すように試みるコネクショニストシステムである、という認識に基づく。このように、ニューラルネットワークの構造は、ニューラルネットワークの各レベルにおける複数のニューロンだけでなく、それらのニューロンの間の結合部としても表すことができる。
いくつかの実施の形態は、ニューラルネットワークのニューロンが、製造システムにおける信号源を表す場合、ニューラルネットワークのニューロンの間の結合部が、製造システムにおける信号源の間の結合部を表すことができる、という認識に基づく。具体的には、ニューロンは、対応する信号源が結合される場合にのみ、結合することができる。
いくつかの実施の形態は、異常検出の目的で２つの異なる信号源の間の結合部が、これらの２つの異なる信号源によって生じたイベントが後に発生する頻度の関数である、という認識に基づく。例えば、信号源は、オン状態からオフ状態にその状態を変化させることができるスイッチであるとすると仮定する。状態の変化及び／又は状態の新たな値は、信号源の信号である。第１のスイッチが状態を変化させると、第２のスイッチがその状態を常に変化させる場合、それらの２つの信号源は、強く結合されており、したがって、ニューラルネットワークにおけるこのスイッチの対に対応するニューロンも同様に結合されている。逆に、第１のスイッチが状態を変化させると、第２のスイッチがその状態を決して変化させない場合、それらの２つの信号源は結合されておらず、したがって、ニューラルネットワークにおけるこのスイッチの対に対応するニューロンは同様に結合されていない。
実際には、常に次に続くイベント又は決して次に続かないイベントはめったに発生しない。そのために、いくつかの実施の形態では、或る異なる信号源の対は、その異なる信号源の対におけるイベントが後に発生する確率が閾値を超えるときにのみ、ニューラルネットワークにおいて結合されている。閾値は、応用によって決まり、イベントが後に発生する確率は、例えば、ニューラルネットワークをトレーニングするために使用される、トレーニングデータにおけるこのように後に発生する頻度に基づいて、選択することができる。
このように、ニューロンの結合部は、製造システム内の結合性を模倣するコネクショニストシステムを表す。そのために、いくつかの実施の形態のニューラルネットワークは、イベント順序付け関係に基づくトポロジーを有する部分結合ネットワークになり、それにより、ニューラルネットワークの複雑度が低減するとともにトレーニング時間が短縮され、異常検出精度が向上する。
したがって、一実施の形態は、複数のイベントをもたらす複数の信号源を備えるシステムを制御する装置であって、前記信号源から信号を受信する入力インターフェースと、前記システムの制御状態を診断するようにトレーニングされたニューラルネットワークを記憶するメモリであって、該ニューラルネットワークは一連の層を含み、各層は一組のノードを含み、入力層と該入力層に続く第１の隠れ層との各ノードは前記システムにおける信号源に対応し、一対の異なる信号源に対応する隣接する層からの一対のノードは、前記ニューラルネットワークにおいて、該一対の異なる信号源における前記イベントが後に発生する確率が閾値を上回る場合にのみ、結合され、前記ニューラルネットワークは部分結合ニューラルネットワークである、メモリと、前記システムの前記制御状態を生成するように前記ニューラルネットワーク内に前記信号を提示するプロセッサと、前記システムの前記制御状態に従って選択された制御動作を実行するコントローラーとを備える、装置を開示する。
別の実施の形態は、複数のイベントをもたらす複数の信号源を備えるシステムを制御する方法であって、該方法は、前記システムの制御状態を診断するようにトレーニングされたニューラルネットワークを記憶するメモリに結合されたプロセッサを使用し、該プロセッサは、該方法を実施する記憶された命令に結合され、該命令は、前記プロセッサによって実行されると該方法のステップを実行し、該方法は、前記信号源から信号を受信することと、前記システムの前記制御状態を生成するように前記メモリから引き出された前記ニューラルネットワーク内に前記信号を提示することであって、前記ニューラルネットワークは一連の層を含み、各層は一組のノードを含み、入力層と該入力層に続く第１の隠れ層との各ノードは前記システムにおける信号源に対応し、一対の異なる信号源に対応する隣接する層からの一対のノードは、前記ニューラルネットワークにおいて、該一対の異なる信号源における前記イベントが後に発生する確率が閾値を上回る場合にのみ、結合される、提示することと、前記システムの前記制御状態に従って選択された制御動作を実行することとを含む、方法を開示する。
更に別の実施の形態は、方法を実行するプロセッサによって実行可能なプログラムが具現化されている非一時的コンピューター可読媒体であって、前記方法は、前記信号源から信号を受信することと、前記システムの制御状態を診断して該システムの該制御状態を生成するようにトレーニングされたニューラルネットワーク内に、前記信号を提示することであって、前記ニューラルネットワークは一連の層を含み、各層は一組のノードを含み、入力層と該入力層に続く第１の隠れ層との各ノードは前記システムにおける信号源に対応し、一対の異なる信号源に対応する隣接する層からの一対のノードは、前記ニューラルネットワークにおいて、該一対の異なる信号源における前記イベントが後に発生する確率が閾値を上回る場合にのみ、結合される、提示することと、前記システムの前記制御状態に従って選択された制御動作を実行することとを含む、媒体を開示する。
いくつかの実施形態による製造異常検出システム１００の構成要素を例示する概略図である。 教師あり機械学習のためのいくつかの実施形態によって使用されるフィードフォワードニューラルネットワークの概略図である。 教師なし機械学習のためのいくつかの実施形態によって使用されるオートエンコーダーニューラルネットワークの概略図である。 いくつかの実施形態によって使用されるイベントシーケンス生成及び特異イベント抽出の全体的なプロセスを例示する図である。 ３つのスイッチ信号を使用する図４Ａのイベントシーケンス生成及び特異イベント抽出の一例を示す図である。 いくつかの実施形態によって使用されるイベント順序付け関係テーブルの全体的な形態を示す図である。 図４Ｂに示すイベントシーケンス及び特異イベントに対するイベント順序付け関係テーブルの一例を示す図である。 いくつかの実施形態による順序関係テーブルから生成された信号結合行列の全体的な形態を示す図である。 図５Ｂに示すイベント順序付け関係テーブルに対応する信号結合行列の一例の図である。 いくつかの実施形態による、信号結合行列を使用して全結合時間遅延ニューラルネットワーク（ＴＤＮＮ：time delay neural network）を簡略化された構造化ＴＤＮＮに変換する一例を示す図である。 いくつかの実施形態によって構築された、全結合オートエンコーダーニューラルネットワークと構造化オートエンコーダーニューラルネットワークとの間の実験結果比較を示す図である。 いくつかの実施形態による、複数のイベントをもたらす複数の信号源を含むシステムを制御する装置９００のブロック図である。 １つの実施形態によるニューラルネットワークをトレーニングする方法のブロック図である。 代替実施形態によるニューラルネットワークをトレーニングする方法のブロック図である。
概説
図１は、いくつかの実施形態による製造異常検出システム１００の構成要素を示す概略図である。システム１００は、製造生産ライン１１０、トレーニングデータプール１２０、機械学習モデル１３０及び異常検出モデル１４０を備える。生産ライン１１０は、センサーを用いてデータを収集する。センサーは、デジタルセンサー、アナログセンサー、及びそれらの組合せとすることができる。収集データは、２つの目的を果たす。すなわち、データの一部は、トレーニングデータプール１２０に記憶され、機械学習モデル１３０をトレーニングするためのトレーニングデータとして使用され、データの一部は、異常検出モデル１４０により、異常を検出するために動作時間データとして使用される。機械学習モデル１３０及び異常検出モデル１４０によって同じデータを使用することができる。
製造生産ライン１１０において異常を検出するために、最初に、トレーニングデータが収集される。機械学習モデル１３０によって、トレーニングデータプール１２０のトレーニングデータを使用してニューラルネットワークがトレーニングされる。トレーニングデータプール１２０は、ラベル付きデータ又はラベルなしデータのいずれかを含むことができる。ラベル付きデータは、例えば異常又は正常のラベルでタグ付けされている。ラベルなしデータはラベルを有していない。トレーニングデータのタイプに基づき、機械学習モデル１３０は、異なるトレーニング手法を適用する。ラベル付きトレーニングデータの場合、通常、教師あり学習が使用され、ラベルなしトレーニングデータの場合、通常、教師なし学習が適用される。このように、異なる実施形態は異なるタイプのデータを扱うことができる。
機械学習モデル１３０は、正常データパターン及び異常データパターンを含むトレーニングデータの特徴量及びパターンを学習する。異常検出モデル１４０は、トレーニングされた機械学習モデル１５０及び収集された動作時間データ１６０を使用して、異常検出を実施する。動作時間データ１６０は、正常又は異常と識別することができる。例えば、正常データパターン１５５及び１５８を使用して、トレーニングされた機械学習モデル１５０は、動作時間データを正常データ１７０及び異常データ１８０に分類することができる。動作時間データＸ１ １６３及びＸ２ １６６は正常として分類され、動作時間データＸ３ １６９は異常として分類される。異常が検出されると、必要な措置が講じられる（１９０）。
異常検出プロセスは、オンラインでもオフラインでも実行することができる。オンライン異常検出は、リアルタイム予知保全を提供することができる。しかしながら、オンライン異常検出は高速計算能力が必要であり、それには、単純かつ正確な機械学習モデルが必要である。本発明の実施形態は、高速かつ正確な機械学習モデルを提供する。
製造システムにおける異常検出用のニューラルネットワーク
ニューラルネットワークを採用して、教師あり学習及び教師なし学習の両方を通して異常を検出することができる。いくつかの実施形態は、製造システムにおいて異常を検出するために時間遅延ニューラルネットワーク（ＴＤＮＮ）を適用する。時間遅延ニューラルネットワークを使用することにより、ニューラルネットワークへの入力として現データのみでなく履歴データも使用される。時間遅延ステップの数は、使用すべき履歴データ測定値の数を指定するパラメーターであり、例えば、時間遅延ステップの数が３である場合、現時点ｔにおけるデータ、時点ｔ－１におけるデータ、及び時点ｔ－２におけるデータが使用される。したがって、時間遅延ニューラルネットワークのサイズは、時間遅延ステップの数によって決まる。時間遅延ニューラルネットワークアーキテクチャは、時間領域においてデータ信号の関係を探索する。製造システムにおいて、データ信号の履歴は、重要な将来予測を提供することができる。
ＴＤＮＮは、時間遅延フィードフォワードニューラルネットワーク（ＴＦＦＮＮ）又は時間遅延オートエンコーダーニューラルネットワーク（ＴＤＡＮＮ）として実施することができる。製造システムにおける異常検出の場合、いくつかの実施形態は、時間遅延フィードフォワードニューラルネットワークを適用し、いくつかの実施形態は、時間遅延オートエンコーダーニューラルネットワークを適用する。
図２は、教師あり機械学習に対するいくつかの実施形態で使用されるフィードフォワードニューラルネットワークの概略図を示す。フィードフォワードニューラルネットワークは、ニューロン間の結合部がサイクルを形成しない人工ニューラルネットワークである。教師あり学習の場合、トレーニングデータは、正常又は異常のいずれかとしてラベル付けされる。この条件下で、トレーニングモデルに教師あり学習技法が適用される。実施形態は、時間遅延フィードフォワードニューラルネットワークを採用して、ラベル付きトレーニングデータを用いて異常を検出する。例えば、図２に示すフィードフォワードニューラルネットワークは、入力層２１０と、複数の隠れ層２２０と、出力層２３０とを含む。入力層２１０は、データ信号Ｘ２４０を取得し、抽出された特徴量を、重みベクトルＷ１２６０と活性化関数、例えばシグモイド関数とを通して第１の隠れ層に伝達する。時間遅延フィードフォワードニューラルネットワークの場合、入力データＸ２４０は、現データと履歴データとの両方を含む。各隠れ層２２０は、先行する層の出力及びバイアス２５０を取得し、抽出された特徴量を次の層に伝達する。バイアスの値は正の１である。バイアスにより、ニューラルネットワークは、活性化関数を左又は右にシフトさせることができ、それは、学習の成功のために重要である可能性がある。したがって、バイアスは、線形関数ｙ＝ａｘ＋ｂの定数ｂと同様の役割を果たす。特徴量抽出の複数の隠れ層の後、ニューラルネットワークは出力層２３０に到達し、出力層２３０は、最後の隠れ層の出力及びバイアス２５０を取得して、特定の損失関数、例えばクロスエントロピー関数を使用し、対応する最適化問題を定式化して最終出力Ｙ２７０を生成し、これにより、テストデータが正常又は異常として分類される。
製造システムにおいて異常はめったに発生せず、又は、異常データは収集が困難であるため、製造データは、正常動作条件下でのみ収集される場合がある。この状況下で、データは通常ラベル付けされず、したがって、教師なし学習技法が有用であり得る。この場合、いくつかの実施形態は、異常を検出するために時間遅延オートエンコーダーニューラルネットワークを適用する。
図３は、教師なし機械学習に対するいくつかの実施形態によって使用されるオートエンコーダーニューラルネットワークの概略図を示す。オートエンコーダーニューラルネットワークは、図３に示すように単一の又は複数の隠れ層から構成されたエンコーダー３１０及びデコーダー３２０によって入力データ信号Ｘ２４０を再構築する、特別な人工ニューラルネットワークであり、ここでは、
Figure 0007012871000001
 ３３０は、入力データ信号Ｘ２４０からの再構築データである。再構築により、
Figure 0007012871000002
 が得られる。時間遅延オートエンコーダーニューラルネットワークの場合、入力データＸ２４０は、現データ及び履歴データの両方を含む。圧縮された特徴は、ネットワーク構造において通常コード層３４０と呼ばれる中間層に現れる。オートエンコーダーニューラルネットワークもまたバイアス２５０をとることができる。２つのタイプのオートエンコーダーニューラルネットワーク、すなわち重み共有及び重み非共有がある。重み共有オートエンコーダーニューラルネットワークは対称トポロジーを有し、エンコーダー側の重みベクトルＷｉ２６０は、デコーダー側の重みベクトルＷ’ｉ３５０と同じである。一方、重み非共有オートエンコーダーニューラルネットワークの場合、ネットワークのトポロジーは必ずしも対称であるとは限らず、エンコーダー側の重みベクトルは、必ずしもデコーダー側の重みベクトルと同じであるとは限らない。
イベント順序付け関係に基づくニューラルネットワーク構造
製造システムでは、データを収集するために、何十から何百又は何千ものセンサーが使用され、それは、データの量が莫大であることを示す。その結果、異常を検出するために適用されるニューラルネットワークのサイズは非常に大きい可能性がある。したがって、ニューラルネットワークの適切なサイズを決定するという問題が重要である。
いくつかの実施形態は、ニューラルネットワークの適切なサイズを決定するという問題に対処する。全結合ニューラルネットワークはトレーニングを通してその重みを学習することができるが、ニューラルネットワークの複雑度を適切に低減させることにより、計算コストを低減させるとともに、異常検出精度を向上させることができる。そのために、いくつかの実施形態の目的は、性能を低下させることなくニューラルネットワークサイズを低減させることである。
ニューラルネットワークの複雑度は、ニューロンの数及びニューロンの間の結合部の数によって決まる。各結合部は、重みパラメーターによって表される。したがって、ニューラルネットワークの複雑度の低減は、重みの数及び／又はニューロンの数を減少させることである。いくつかの実施形態は、性能を低下させることなく、ニューラルネットワークの複雑度を低減させることを目的とする。
この問題に取り組む１つの手法は、本明細書では枝刈りと呼び、必要以上のネットワークをトレーニングすることと、その後、不要な重み及び／又はニューロンを除去することとを含む。したがって、枝刈りは時間のかかるプロセスである。
問題は、いずれの重み及び／又はニューロンが不要であるかである。従来の枝刈り技法は、通常、値が小さい方の重みを除去する。重みが小さい方が不要であるという証拠はない。その結果、枝刈りは、枝刈り損失のため、全結合ニューラルネットワークと比較して必然的に性能が低下する。したがって、枝刈り候補の選択が最重要である。
いくつかの実施形態は、イベント順序付け関係に基づくニューラルネットワーク構造化方法を提供し、これは、イベント順序付け関係情報に基づいて枝刈り候補を選択する。さらに、トレーニングプロセス中に不要な重み及び／又はニューロンを除去する代わりに、実施形態は、トレーニングの前にニューラルネットワーク構造を決定する。特に、いくつかの実施形態によって決定される部分結合ニューラルネットワークのこうした構造は、全結合ニューラルネットワークより性能が優れている。構造化ニューラルネットワークにより、トレーニング時間が短縮されるとともに、異常検出精度が向上する。より正確には、実施形態は、トレーニングデータを前処理して、ニューラルネットワークの重要なニューロン結合部を決定するために使用されるイベント順序付け関係を見つける。その後、重要でない結合部及び隔離されたニューロンは、ニューラルネットワークから除去される。
イベント順序付け関係に基づくニューラルネットワーク構造化方法について説明するために、製造システムの特定の特性を監視するセンサーから収集されたデータ測定値を、データ信号と呼び、例えば、電圧センサーは電圧信号を測定する。１つのセンサーが複数のデータ信号を測定する場合がある。データ信号は、周期的に又は非周期的に測定することができる。周期的測定の場合、異なるデータ信号を測定する期間は異なるものとすることができる。
１つのデータ信号に対して、イベントは、１つのレベルから別のレベルへの信号値変化として定義される。信号変化は、許容可能な範囲外でも許容可能範囲内でもあり得る。より具体的には、イベントは、
Figure 0007012871000003
 として定義され、式中、Ｓは、イベントをもたらすデータ信号を表し、ＴｏＳは、信号Ｓに対するイベントのタイプを示し、Ｔは、信号値が変化した時点である。例えば、スイッチ信号は、オンイベント及びオフイベントを有することができる。したがって、イベントは、システムにおける正常動作実行又は異常事象に対応することができる。
プロセス型製造の場合、イベントは、測定データが許容可能な動作範囲外である等の異常ステータス、又は、１つの状態から別の状態へのシステムの変化等の正常ステータスを表すことができる。ディスクリート型製造の場合、イベントは、正しい順序又は誤った順序での動作実行を表すことができる。
ニューラルネットワークをトレーニングする前に、トレーニングデータは、全てのトレーニングデータ信号に対してイベントを抽出するように処理される。これらのイベントは、イベント順序付け関係（ＥＯＲ）テーブルを構築するために使用される。
Ｎ個のイベントを発生させる、Ｍ個のデータ信号
Figure 0007012871000004
 があると想定する。イベント発生時点に従って、これらのイベントをイベントシーケンス
Figure 0007012871000005
 に配置する。或るタイプのイベントが複数回発生する可能性があるため、イベントシーケンス
Figure 0007012871000006
 はＫ個の特異イベント
Figure 0007012871000007
 を含むものと想定し、各
Figure 0007012871000008
 は、｛Ｓ，ＴｏＳ｝のフォーマットを有する。
図４Ａは、いくつかの実施形態によって使用されるイベントシーケンス生成及び特異イベント抽出の全体的なプロセスを例示する。トレーニングデータプール１２０における各データ信号に対して、信号値の変化、対応するイベントタイプ、及び信号値変化の対応する時点に基づき、一組のイベントが作成される（４１０）。全てのトレーニングデータ信号に対してイベントが生成された後、イベント発生時点に従って、イベントはイベントシーケンスに配置される（４２０）。複数のイベントが同時に発生した場合、これらのイベントは、イベントシーケンスにおいて任意の順序で現れる可能性がある。イベントシーケンスが作成されると、イベントシーケンスから特異イベントが抽出される（４３０）。特異イベントは、イベント発生時点とは無関係にイベントタイプのみを表す。
図４Ｂは、３つのスイッチ信号Ｓ１、Ｓ２及びＳ３４４０を使用するイベントシーケンス生成の一例を例示する。これらのスイッチ信号はイベントを発生させることができる。スイッチ信号がその値を０から１に変化させる場合、オンイベントが生成される。一方、スイッチ信号がその値を１から０に変化させる場合、オフイベントが生成される。各スイッチ信号は、異なる時点で３つのオン／オフイベントを発生させる。信号Ｓ１は、３つのイベント４５０｛Ｅ１１，Ｅ１２，Ｅ１３｝を発生させ、信号Ｓ２は、３つのイベント４６０｛Ｅ２１，Ｅ２２，Ｅ２３｝を発生させ、信号Ｓ３は、３つのイベント４７０｛Ｅ３１，Ｅ３２，Ｅ３３｝を発生させる。イベント発生時点に従って、これらの９つのイベントは、｛Ｅ１１，Ｅ２１，Ｅ３１，Ｅ３２，Ｅ２２，Ｅ１２，Ｅ３３，Ｅ２３，Ｅ１３｝としてイベントシーケンス４８０を形成する。このイベントシーケンスは、
Figure 0007012871000009
 として６つの特異イベント４９０を含む。
図５Ａは、いくつかの実施形態によって使用されるイベント順序付け関係テーブルの全体的な形態を示す。具体的には、イベントシーケンス
Figure 0007012871000010
 及び特異イベント
Figure 0007012871000011
 を使用して、図５Ａに示すように、イベント順序付け関係（ＥＯＲ）テーブル５００を構築することができ、ここで、ｅｉｊ（ｉ≠ｊ）は０に初期化される。いくつかの実施態様では、ＥＯＲテーブル構築プロセス中、ｅｉｊは、イベントシーケンス
Figure 0007012871000012
 におけるイベント対
Figure 0007012871000013
 発生ごとに１だけ増加する。イベント
Figure 0007012871000014
 及び
Figure 0007012871000015
 が同時に発生する場合、ｅｉｊ及びｅｊｉ両方が１／２だけ増加する。代替実施形態は、異なる値を使用してＥＯＲテーブルを構築する。いずれの場合も、ｅｉｊ（ｉ≠ｊ）はイベント
Figure 0007012871000016
 がイベント
Figure 0007012871000017
 に続く回数を示す。相対的に大きいｅｉｊは、イベント
Figure 0007012871000018
 がイベント
Figure 0007012871000019
 に厳密に続くことを示し、相対的に小さいｅｉｊは、イベント
Figure 0007012871000020
 がイベント
Figure 0007012871000021
 に大まかに続くことを意味し、ｅｉｊ＝０は、イベント
Figure 0007012871000022
 が
Figure 0007012871000023
 に決して続かないことを示す。ｅｉｊ及びｅｊｉ両方がゼロより大きい場合、イベント
Figure 0007012871000024
 及びイベント
Figure 0007012871000025
 は、いずれかの順序で発生する可能性がある。
図５Ｂは、図４Ｂに示すイベントシーケンス及び特異イベントに対するイベント順序付け関係テーブルの一例を示す。
イベント順序付け関係（ＥＯＲ）テーブル５００は、いくつかの実施形態により、ニューラルネットワーク結合部を構築するために使用される。イベント順序付け関係テーブルに基づき、信号結合行列（ＳＣＭ）が構築される。信号結合行列は、ニューラルネットワーク結合性構造を提供する。
図６Ａは、いくつかの実施形態によるイベント順序付け関係テーブルから生成された信号結合行列の全体的な形態を示す。この場合、Ｍ×Ｍ信号結合行列（ＳＣＭ）６００が構築され、ここで、ｃｉｊ（ｉ≠ｊ）は、信号Ｓｊのイベントが信号Ｓｉのイベントに続く回数を表す。したがって、ｃｉｊ＝０は、信号Ｓｊのイベントが信号Ｓｉのイベントに決して続かないことを示す。相対的に高いｃｉｊの値は、信号Ｓｉの変化が信号Ｓｊの変化をもたらす可能性が最も高いという意味で、信号Ｓｊが信号Ｓｉに厳密に依存することを示す。一方、相対的に低いｃｉｊの値は、信号Ｓｊが信号Ｓｉに大まかに依存することを意味する。ニューラルネットワーク結合構成に対して閾値ＣＴＨを、ｃｉｊ≧ＣＴＨである場合に信号Ｓｉを信号Ｓｊに影響を与えるものとみなすことができるように、定義することができる。この場合、信号Ｓｉに対応するニューロンから信号Ｓｊに対応するニューロンへの結合部は、重要であるものとしてみなされる。一方、ｃｉｊ＜ＣＴＨである場合、信号Ｓｉに対応するニューロンから信号Ｓｊに対応するニューロンへの結合部は、重要ではないとみなされる。
代替的に、信号結合行列は、一対のデータ信号に対してイベントが後に発生する確率を定義するためにも使用することができる。２つの信号Ｓｉ及びＳｊに対して、ｃｉｊは、信号Ｓｊのイベントが信号Ｓｉのイベントに続く回数を表す。したがって、信号Ｓｊのイベントが信号Ｓｉのイベントに続くことが後に発生する確率は、
Figure 0007012871000026
 として定義することができる。
Ｐ（Ｓｉ，Ｓｊ）及びＰ（Ｓｊ，Ｓｉ）は異なる可能性があり、すなわち、信号Ｓｉは信号Ｓｊに影響を与える可能性があるが、信号Ｓｊは必ずしも信号Ｓｉに影響を与えるとは限らないことに留意されたい。この確率を使用して、閾値ＰＴＨを、Ｐ（Ｓｉ，Ｓｊ）≧ＰＴＨである場合に信号Ｓｉを信号Ｓｊに影響を与えるものとみなすことができるように、定義することができる。したがって、信号Ｓｉに対応するニューロンから信号Ｓｊに対応するニューロンへの結合部は、重要であるものとしてみなされる。
図６Ｂは、図５Ｂに示すイベント順序付け関係テーブルに対応する信号結合行列６１０の一例である。信号結合行列（ＳＣＭ）６００及び／又は６１０を使用して、全結合ニューラルネットワークを簡略化することができる。
図７は、いくつかの実施形態による信号結合行列７３０を使用して全結合ＴＤＮＮ７１０を簡略化された構造化ＴＤＮＮに変換する一例を示し、ＴＤＮＮは、時間遅延フィードフォワードニューラルネットワーク又は時間遅延オートエンコーダーニューラルネットワークとすることができる。３つのデータ信号が｛Ｓ１，Ｓ２，Ｓ３｝であると想定すると、時間遅延ステップの数は２であり、結合閾値ＣＴＨ＝１である。ｓｉ０及びｓｉｌ（１≦ｉ≦３）は、時点ｔ及び時点ｔ－１における信号Ｓｉの測定値を示し、これら測定値は、図７のニューラルネットワークにおけるノードＳｉ０及びＳｉｌ（１≦ｉ≦３）に対応する。この例では、ニューラルネットワークの入力層及び第１の隠れ層がニューラルネットワークのトポロジーに最も影響を与えるため、これら入力層から第１の隠れ層への構造を例示する。入力層におけるノードの数は６、すなわち、データ信号の数に時間遅延ステップの数を掛けた数であり、第１の隠れ層におけるノードの数は３、すなわち、データ信号の数であることを見ることができる。第１の隠れ層ノード構成の目的は、特定のデータ信号に関連する特徴量を単一の隠れノードに集中させることである。
この例では、全結合ＴＤＮＮの場合、合計１８個の結合部がある。信号結合行列７３０を使用して、１８個の結合部は、構造化ＴＤＮＮでは１０個の結合部まで減少する。例えば、ｃ１２＝１＝ＣＴＨは、信号Ｓ１が信号Ｓ２に影響を与える可能性があることを示す。したがって、Ｈ１２は信号Ｓ２に対する情報を収集するために使用されるため、Ｓ１０及びＳ１１からＨ１２への結合部は重要である。一方、ｃ１３＝０＜ＣＴＨは、Ｓ１０及びＳ１１からＨ１３への結合部が重要ではなく、したがって、ニューラルネットワークから除去することができることを示す。
図８（Ａ）及び図８（Ｂ）は、全結合オートエンコーダーニューラルネットワークと、いくつかの実施形態によって構築された構造化オートエンコーダーニューラルネットワークとの間の実験結果比較を示す。具体的には、図８（Ａ）は、全結合オートエンコーダーニューラルネットワークの実験結果を示し、図８（Ｂ）は、対応する構造化オートエンコーダーニューラルネットワーク実験結果を示す。Ｙ軸はテストエラーを表し、Ｘ軸は時間インデックスを表し、時間インデックスは、時間インデックスの値がデータ測定の時点に一意に対応するように、データ収集時間時点を整数インデックスに変換する。データは、一組のラベルなしトレーニングデータ及び一組のテストデータ、すなわち動作時間データとともに、現実の製造生産ラインから収集される。テストデータ収集中、生産ラインにおいて異常が発生した。異常検出方法は、テストデータが異常であるか否かを検出する必要がある。異常である場合、異常発生時点を検出する必要がある。
テストエラー閾値８１０＝０．０１８の場合、図８（Ａ）は、全結合オートエンコーダーニューラルネットワークが２つの異常を検出し、一方はテストエラー８２０に対応する異常であり、他方はテストエラー８３０に対応することを示す。テストエラー８２０に対応する異常はフォールスアラームであり、テストエラー８３０に対応する異常は真の異常である。一方、構造化オートエンコーダーニューラルネットワークは、テストエラー８４０に対応する真の異常のみを検出した。したがって、構造化オートエンコーダーニューラルネットワークの方が、全結合オートエンコーダーニューラルネットワークより正確である。図８（Ａ）及び図８（Ｂ）はまた、両方法によって検出された真の異常の異常時間インデックスが同じであることも示し、これは、実際の異常発生時点より２秒後の時点に対応する。
例示的な実施形態
図９は、いくつかの実施形態による、複数のイベントをもたらす複数の信号源を含むシステムを制御する装置９００のブロック図を示す。システムの一例は製造生産ラインである。装置９００は、記憶された命令を実行するように構成されたプロセッサ９２０とともに、プロセッサによって実行可能である命令を記憶するメモリ９４０を備える。プロセッサ９２０は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスター、又は任意の数の他の構成とすることができる。メモリ９４０としては、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、又は他の任意の好適なメモリシステムを挙げることができる。プロセッサ９２０は、バス９０６を介して１つ以上の入出力デバイスに接続されている。
これらの命令は、システムの複数のイベントにおいて異常を検出及び／又は診断する方法を実施する。装置９００は、ニューラルネットワーク９３１を使用してオブジェクト異常を検出するように構成されている。こうしたニューラルネットワークは本明細書では、構築された部分結合ニューラルネットワークと呼ぶ。ニューラルネットワーク９３１は、システムの制御状態を診断するようにトレーニングされる。例えば、ニューラルネットワーク９３１は、トレーナー９３３により、システムの動作データ９３４を使用してオンラインで異常を診断するように、トレーニングデータを使用してオフラインでトレーニングすることができる。動作データの例としては、システムの動作中、例えばシステムのイベント中に収集された信号源からの信号が挙げられる。トレーニングデータの例としては、或る期間にわたって収集された、信号源からの信号が挙げられる。その期間は、動作／生産が開始する前、及び／又はシステムの動作中の或る時間間隔とすることができる。
いくつかの実施形態は、ニューラルネットワークが、人工ニューロン又は単にニューロンと呼ばれる結合されたユニット又はノードの集まりに基づくという認識に基づく。人工ニューロンの間の各結合部は、互いに信号を送信することができる。信号を受信する人工ニューロンは、信号を処理し、その処理済み信号をその人工ニューロンに結合されている他の人工ニューロンに送信することができる。このように、別のニューロンから信号を受信するニューロンに対して、送信側ニューロンはその信号の信号源である。
そのために、いくつかの実施形態は、ニューラルネットワークの少なくともいくつかの層の各ニューロンを、製造システムにおける信号源と一致させることができるという認識に基づく。このため、製造システムにおける信号源は、ニューラルネットワークの１つの層におけるニューロンによって表される。このように、ニューラルネットワークにおけるニューロンの数は、製造システムの物理的構造を表すために最小限必要であるように選択することができる。
さらに、いくつかの実施形態は、ニューラルネットワークが、単純なユニットの相互結合ネットワークの創発的プロセスとして心的現象又は行動現象を表すように試みるコネクショニストシステムである、という認識に基づく。このように、ニューラルネットワークの構造は、ニューラルネットワークの各レベルにおける複数のニューロンだけでなく、それらのニューロンの間の結合部としても表すことができる。
いくつかの実施形態は、ニューラルネットワークのニューロンが、製造システムにおける信号源を表す場合、ニューラルネットワークのニューロンの間の結合部が、製造システムにおける信号源の間の結合部を表すことができる、という認識に基づく。具体的には、ニューロンは、対応する信号源が結合される場合にのみ、結合することができる。
いくつかの実施形態は、異常検出の目的で２つの異なる信号源の間の結合部が、これらの２つの異なる信号源によって生じたイベントが後に発生する頻度の関数である、という認識に基づく。例えば、信号源は、オン状態からオフ状態にその状態を変化させることができるスイッチであるとすると仮定する。状態の変化及び／又は状態の新たな値は、信号源の信号である。第１のスイッチが状態を変化させると、第２のスイッチがその状態を常に変化させる場合、それらの２つの信号源は、強く結合されており、したがって、ニューラルネットワークにおけるこのスイッチの対に対応するニューロンも同様に結合されている。逆に、第１のスイッチが状態を変化させると、第２のスイッチがその状態を決して変化させない場合、それらの２つの信号源は結合されておらず、したがって、ニューラルネットワークにおけるこのスイッチの対に対応するニューロンは同様に結合されていない。
実際には、常に次に続くイベント又は決して次に続かないイベントはめったに発生しない。そのために、いくつかの実施形態では、或る異なる信号源の対は、その異なる信号源の対におけるイベントが後に発生する確率が閾値を超えるときにのみ、ニューラルネットワークにおいて結合されている。閾値は、応用によって決まり、イベントが後に発生する確率は、例えば、ニューラルネットワークをトレーニングするために使用される、トレーニングデータにおけるこのように後に発生する頻度に基づいて、選択することができる。
このように、ニューロンの結合部は、製造システム内の結合性を模倣するコネクショニストシステムを表す。そのために、いくつかの実施形態のニューラルネットワークは、イベント順序付け関係に基づくトポロジーを有する部分結合ネットワークになり、それにより、ニューラルネットワークの複雑度が低減するとともにトレーニング時間が短縮され、異常検出精度が向上する。
ニューラルネットワーク９３１は一連の層を含み、各層は、本明細書ではニューロンとも呼ぶ一組のノードを含む。少なくとも入力層及び入力層に続く第１の隠れ層の各ノードは、システムにおける信号源に対応する。ニューラルネットワーク９３１において、一対の異なる信号源に対応する隣接する層からの一対のノードは、ニューラルネットワークにおいて、その一対の異なる信号源におけるイベントが後に発生する確率が閾値を上回る場合にのみ結合される。複数の実施態様において、ニューラルネットワーク９３１は、部分結合ニューラルネットワークである。
そのために、装置９００は、ニューラルネットワーク９３１、及び／又は被制御システムにおけるイベントのシーケンスを表すニューロン及びそれらの結合性の構造を含む、ニューラルネットワークの構造９３２を記憶するように適合した、記憶デバイス９３０も備えることができる。さらに、記憶デバイス９３０は、ニューラルネットワーク９３１をトレーニングするトレーナー９３３と、被制御システムにおいて異常を検出するためのデータ９３４とを記憶することができる。記憶デバイス９３０は、ハードドライブ、光ドライブ、サムドライブ、ドライブのアレイ、又はそれらの任意の組合せを使用して実装することができる。
装置９００は、被制御システムの信号源から信号を受信する入力インターフェースを備える。例えば、いくつかの実施態様では、入力インターフェースは、プロセッサ９２０をキーボード９１１及びポインティングデバイス９１２に接続する、装置９００内のヒューマンマシンインターフェース９１０を含み、ここで、ポインティングデバイス９１２としては、特に、マウス、トラックボール、タッチパッド、ジョイスティック、ポインティングスティック、スタイラス又はタッチスクリーンを挙げることができる。
さらに又は代替的に、入力インターフェースは、バス９０６を介して装置９００をネットワーク９９０に接続するように適合したネットワークインターフェースコントローラー９５０を含むことができる。ネットワーク９９０を介して、被制御システムからの信号９９５をダウンロードして、記憶及び／又は更なる処理のために、トレーニングデータ及び／又は動作データ９３４として記憶システム９３０内に記憶することができる。ネットワーク９９０は、診断のために有用な信号及び信号のメタデータを提供するために、装置９００を被制御システムの信号源に又は被制御システムのインターフェースに接続する、有線ネットワーク又はワイヤレスネットワークとすることができる。
装置９００は、システムの制御状態に従って選択された制御動作を実行するコントローラーを備える。制御動作は、被制御システムのタイプに基づいて、構成及び／又は選択することができる。例えば、コントローラーは、診断の結果を描画することができる。例えば、装置９００は、バス９０６を介して、装置９００をディスプレイデバイス９６５に接続するように適合したディスプレイインターフェース９６０に連結することができ、ディスプレイデバイス９６５としては、特に、コンピューターモニター、カメラ、テレビ、プロジェクター又はモバイルデバイスを挙げることができる。
さらに又は代替的に、コントローラーは、診断の結果に基づいて、システムを直接又は間接的に制御するように構成することができる。例えば、装置９００は、１つの実施形態に従って装置を被制御システム９７５に接続するように適合したシステムインターフェース９７０に接続することができる。１つの実施形態では、コントローラーは、異常の検出に応じて被制御製造システムの製造手続きを停止させるか又は変更するコマンドを実行する。
さらに又は代替的に、コントローラーは、診断の結果に基づいて異なるアプリケーションを制御するように構成することができる。例えば、コントローラーは、製造工程に直接関与しないアプリケーションに診断の結果を提示することができる。例えば、いくつかの実施形態では、装置９００は、異常検出の結果に基づいて動作することができるアプリケーションデバイス９８５に装置９００を接続するように適合したアプリケーションインターフェース９８０に、バス９０６を介して接続される。
いくつかの実施形態では、被制御システムの構造に基づいて、ニューロンの構造９３２が選択される。例えば、１つの実施形態では、ニューラルネットワーク９３１において、入力層におけるノードの数は、システムにおける信号源の数の倍数に等しい。例えば、倍数が１に等しい場合、入力層におけるノードの数は、システムにおける信号源の数に等しい。このように、各ノードを信号源に一致させることができる。しかしながら、いくつかの実施態様では、複数のノードを共通の信号源に関連付けることができるように、倍数は１より大きい。それらの実施態様では、ニューラルネットワークは時間遅延ニューラルネットワーク（ＴＤＮＮ）であり、入力層におけるノードの数に対する倍数は、ＴＤＮＮの遅延における時間ステップの数に等しい。
さらに、隠れ層におけるノードの数もまた、信号源の数に基づいて選択することができる。例えば、１つの実施形態では、入力層に続く第１の隠れ層におけるノードの数は、信号源の数に等しい。この実施形態はまた、被制御システムの物理的構造を表すように入力層に物理的意味も与える。さらに、この実施形態により、ニューラルネットワークにおける第１の最も重要な結合部の階層、すなわち、入力層と第１の隠れ層との間の結合部が、ノードによって表される、システムにおけるイベント間の結合性を表すことができる。具体的には、入力層は、異なる信号源におけるイベントが後に発生する確率に基づいて、第１の隠れ層に部分的に結合される。
様々な実施形態において、一対の異なる信号源におけるイベントが後に発生する確率は、或る期間にわたって収集された信号におけるイベントが後に発生する頻度の関数である。例えば、いくつかの実施態様では、一対の異なる信号源におけるイベントの後の発生は、システムにおける全てのイベントの時系列におけるイベントの連続した発生である。代替実施態様では、後の発生により、所定数の介在するイベントを可能にすることができる。この実施態様により、ニューラルネットワークの構造に柔軟性が追加され、ニューラルネットワークが、異常検出の異なる要件に適合可能となる。
図１０Ａは、１つの実施形態による、ニューラルネットワーク９３１をトレーニングするためにニューラルネットワークトレーナー９３３によって使用される方法のブロック図を示す。この実施形態では、ニューラルネットワークの構造９３２は、イベントが後に発生する確率から決定され、その確率は、イベントが後に発生する頻度の関数である。そのために、本実施形態は、或る期間にわたって収集された、信号源からの信号１００５を評価して、信号源の対の異なる組合せに対して、その期間内のイベントが後に発生する頻度１０１５を求める（１０１０）。例えば、本実施形態は、図４Ａ、図４Ｂ、図５Ａ及び図５Ｂ並びにそれらの対応する説明に示すように頻度を求める。
次に、本実施形態は、その期間内のイベントが後に発生する頻度に基づき、信号源の対の異なる組合せに対して、イベントが後に発生する確率１０２５を求める（１０２０）。本実施形態は、頻度の様々な統計的分析を使用して、確率１０２５を導出することができる。例えば、いくつかの実施態様は、式（２）を使用して、一対の信号に対するイベントが後に発生する確率を求める。
この実施形態は、複雑な製造システムが、異なる固有の頻度で異なるタイプのイベントを有する可能性があるという認識に基づく。例えば、システムは、正常動作下で、第１のイベントが第２のイベントより１０倍の頻度であるように設計される場合がある。したがって、第２のイベントが、第１のイベントの後に１０回中１回のみ現れるという事実は、それ自体により、第１のイベントに対する第２のイベントの依存性の強度を示さない。統計的方法は、後に発生する確率１０２５を求める際にイベントの自然頻度を考慮することができる。この場合、後に発生する確率は、最大で０．１である。
確率が求められた後、本実施形態は、信号源の対の異なる組合せに対して確率１０２５イベントの後の発生を閾値１０１１と比較して、ニューラルネットワークの結合性構造１０３５を求める（１０３０）。この実施形態により、単一の閾値１０１１を使用することができ、これにより、実施形態の実施が簡略化する。結合性構造の例は、図６Ａの結合性行列６００及び図６Ｂの結合性行列６１０である。
図１０Ｂは、代替実施形態による、ニューラルネットワーク９３１をトレーニングするために、ニューラルネットワークトレーナー９３３によって使用される方法のブロック図を示す。この実施形態では、ニューラルネットワークの結合性構造１０３５は、後に発生する頻度１０１５から直接求められる。本実施形態は、信号源の対の異なる組合せに対するイベントが後に発生する頻度１０１５を１つ又はいくつかの閾値１０１２と比較して（１０３１）、ニューラルネットワークの結合性構造１０３５を求める。この実施形態は、図１０Ａの実施形態より決定論的である。
ニューラルネットワークの結合性構造１０３５が求められた後、図１０Ａ及び図１０Ｂの実施形態は、ニューラルネットワークの構造１０３５に従ってニューラルネットワーク１０４５を形成する（１０４０）。例えば、ニューラルネットワークは、入力層、出力層、及び複数の隠れ層を含む。ニューラルネットワークの入力層におけるノードの数は、システムにおける信号源の数の第１の倍数に等しく、入力層に続く第１の隠れ層におけるノードの数は、信号源の数の第２の倍数に等しい、第１の倍数及び第２の倍数は、同じである場合もあれば異なる場合もある。さらに、入力層は、結合性構造に従って、第１の隠れ層に部分的に結合される。
次に、本実施形態は、上記期間にわたって収集された信号１０５５を使用してニューラルネットワーク１０４５をトレーニングする（１０５０）。信号１０５５は、信号１００５と同じである場合もあれば異なる場合もある。トレーニング１０５０は、ニューラルネットワーク１０４５のパラメーターを最適化する。トレーニングは、確率的勾配降下法等の異なる方法を使用して、ネットワークの重みを最適化することができる。
本発明の上記の実施形態は数多くの方法のいずれかにおいて実現することができる。例えば、それらの実施形態は、ハードウェア、ソフトウェア又はその組合せを用いて実現することができる。ソフトウェアにおいて実現されるとき、そのソフトウェアコードは、単一のコンピューター内に設けられるにしても、複数のコンピューター間に分散されるにしても、任意の適切なプロセッサ、又はプロセッサの集合体において実行することができる。そのようなプロセッサは集積回路として実現することができ、集積回路コンポーネント内に１つ以上のプロセッサが含まれる。プロセッサは、任意の適切な構成の回路を用いて実現することができる。
また、本発明の実施形態は方法として具現することができ、その一例が提供されてきた。その方法の一部として実行される動作は、任意の適切な方法において順序化することができる。したがって、例示的な実施形態において順次の動作として示される場合であっても、例示されるのとは異なる順序において動作が実行される実施形態を構成することもでき、異なる順序は、いくつかの動作を同時に実行することを含むことができる。
請求項要素を変更するために特許請求の範囲において「第１の」、「第２の」のような序数の用語を使用することは、それだけで、或る請求項要素が別の請求項要素よりも優先度が高いこと、優位であること、若しくは上位にあることを、又は方法の動作が実行される時間的な順序を暗示するのではなく、請求項要素を区別するために、或る特定の名称を有する１つの請求項要素を（序数用語を使用しなければ）同じ名称を有する別の要素から区別するラベルとして単に使用される。

Claims (16)

  1. 複数のイベントをもたらす複数の信号源を備えるシステムを制御する装置であって、
    前記信号源から信号を受信する入力インターフェースと、
    前記システムの制御状態を診断するようにトレーニングされたニューラルネットワークを記憶するメモリであって、該ニューラルネットワークは一連の層を含み、各層は一組のノードを含み、入力層と該入力層に続く第１の隠れ層との各ノードは前記システムにおける信号源に対応し、一対の異なる信号源に対応する隣接する層からの一対のノードは、前記ニューラルネットワークにおいて、該一対の異なる信号源における前記イベントが続いて発生する確率が閾値を上回る場合にのみ、結合され、前記ニューラルネットワークは部分結合ニューラルネットワークである、メモリと、
    前記システムの前記制御状態を生成するように前記ニューラルネットワーク内に前記信号を提示するプロセッサと、
    前記システムの前記制御状態に従って選択された制御動作を実行するコントローラーと、
    を備え、
    前記入力層におけるノードの数は、前記システムにおける前記信号源の数の倍数に等しく、前記入力層に続く前記第１の隠れ層におけるノードの数は、前記信号源の前記数に等しく、前記入力層は、異なる信号源における前記イベントが続いて発生する確率に基づいて、前記第１の隠れ層に部分的に結合され、
    信号Ｓｊのイベントが信号Ｓｉのイベントの後に続いて発生する前記確率は、
    Figure 0007012871000027
     と定義することができ、式中、Ｍは信号の数であり、ｃｉｊは、信号Ｓｊのイベントが信号Ｓｉのイベントに続く回数である、装置。
  2. 前記ニューラルネットワークは時間遅延ニューラルネットワーク（ＴＤＮＮ）であり、前記入力層におけるノードの前記数に対する前記倍数は、前記ＴＤＮＮの遅延の時間ステップの数に等しい、請求項１に記載の装置。
  3. 前記ＴＤＮＮは、教師あり学習に基づいてトレーニングされた時間遅延フィードフォワードニューラルネットワーク、又は、教師なし学習に基づいてトレーニングされた時間遅延オートエンコーダーニューラルネットワークである、請求項２に記載の装置。
  4. 前記一対の異なる信号源における前記イベントが続いて発生する前記確率は、或る期間にわたって収集された信号におけるイベントが続いて発生する頻度の関数である、請求項１に記載の装置。
  5. 或る期間にわたって収集された、前記信号源からの前記信号を評価して、信号源の対の異なる組合せに対する前記期間内のイベントが続いて発生する頻度を求め、
    前記期間内のイベントが続いて発生する前記頻度に基づき、前記信号源の対の異なる組合せに対してイベントが続いて発生する確率を求め、
    信号源の対の異なる組合せに対するイベントが続いて発生する前記確率を前記閾値と比較して、前記ニューラルネットワークの結合性構造を求め、
    前記入力層におけるノードの数が前記システムにおける前記信号源の数の第１の倍数に等しく、前記入力層に続く前記第１の隠れ層におけるノードの数が前記信号源の前記数の第２の倍数に等しく、前記入力層が前記結合性構造に従って前記第１の隠れ層に部分的に結合されるように、前記ニューラルネットワークの前記結合性構造に従って該ニューラルネットワークを形成し、
    前記期間にわたって収集された前記信号を使用して前記ニューラルネットワークをトレーニングする、
    ように構成されたニューラルネットワークトレーナーを更に備える、請求項１に記載の装置。
  6. 或る期間にわたって収集された、前記信号源からの信号を評価して、信号源の対の異なる組合せに対する前記期間内のイベントが続いて発生する頻度を求め、
    信号源の対の異なる組合せに対する前記イベントが続いて発生する前記頻度を前記閾値と比較して、前記ニューラルネットワークの結合性構造を求め、
    前記入力層におけるノードの数が前記システムにおける前記信号源の数の第１の倍数に等しく、前記入力層に続く前記第１の隠れ層におけるノードの数が前記信号源の前記数の第２の倍数に等しく、前記入力層が前記結合性構造に従って前記第１の隠れ層に部分的に結合されるように、前記ニューラルネットワークの前記結合性構造に従って該ニューラルネットワークを形成し、
    前記期間にわたって収集された前記信号を使用して前記ニューラルネットワークをトレーニングする、
    ように構成されたニューラルネットワークトレーナーを更に備える、請求項１に記載の装置。
  7. 前記ニューラルネットワークトレーナーは、前記イベントが続いて発生する前記頻度を表す信号結合行列を形成する、請求項６に記載の装置。
  8. 前記システムは、プロセス型製造及びディスクリート型製造のうちの一方又はそれらの組合せを含む製造生産ラインである、請求項１に記載の装置。
  9. 前記一対の異なる信号源における前記イベントの後の発生は、前記システムの全てのイベントの時系列におけるイベントの連続した発生である、請求項１に記載の装置。
  10. 複数のイベントをもたらす複数の信号源を備えるシステムを制御する方法であって、該方法は、前記システムの制御状態を診断するようにトレーニングされたニューラルネットワークを記憶するメモリに結合されたプロセッサを使用し、該プロセッサは、該方法を実施する記憶された命令に結合され、該命令は、前記プロセッサによって実行されると該方法のステップを実行し、該方法は、
    前記信号源から信号を受信することと、
    前記システムの前記制御状態を生成するように前記メモリから引き出された前記ニューラルネットワーク内に前記信号を提示することであって、前記ニューラルネットワークは一連の層を含み、各層は一組のノードを含み、入力層と該入力層に続く第１の隠れ層との各ノードは前記システムにおける信号源に対応し、一対の異なる信号源に対応する隣接する層からの一対のノードは、前記ニューラルネットワークにおいて、該一対の異なる信号源における前記イベントが続いて発生する確率が閾値を上回る場合にのみ、結合される、提示することと、
    前記システムの前記制御状態に従って選択された制御動作を実行することと、
    を含み、
    前記一対の異なる信号源における前記イベントが続いて発生する前記確率は、或る期間にわたって収集された信号におけるイベントが続いて発生する頻度の関数である、方法。
  11. 前記入力層におけるノードの数は、前記システムにおける前記信号源の数の倍数に等しく、前記入力層に続く前記第１の隠れ層におけるノードの数は、前記信号源の前記数に等しく、前記入力層は、異なる信号源における前記イベントが続いて発生する確率に基づいて、前記第１の隠れ層に部分的に結合される、請求項１０に記載の方法。
  12. 前記ニューラルネットワークは時間遅延ニューラルネットワーク（ＴＤＮＮ）であり、前記入力層におけるノードの前記数に対する前記倍数は、前記ＴＤＮＮの遅延の時間ステップの数に等しく、前記ＴＤＮＮは、教師あり学習に基づいてトレーニングされた時間遅延フィードフォワードニューラルネットワーク、又は、教師なし学習に基づいてトレーニングされた時間遅延オートエンコーダーニューラルネットワークである、請求項１１に記載の方法。
  13. 前記一対の異なる信号源における前記イベントの後の発生は、前記システムにおける前記イベントの時系列におけるイベントの連続した発生である、請求項１０に記載の方法。
  14. 複数のイベントをもたらす複数の信号源を備えるシステムを制御する方法を実行するプロセッサによって実行可能なプログラムが具現化されている非一時的コンピューター可読媒体であって、前記方法は、
    前記信号源から信号を受信することと、
    前記システムの制御状態を診断して該システムの該制御状態を生成するようにトレーニングされたニューラルネットワーク内に、前記信号を提示することであって、前記ニューラルネットワークは一連の層を含み、各層は一組のノードを含み、入力層と該入力層に続く第１の隠れ層との各ノードは前記システムにおける信号源に対応し、一対の異なる信号源に対応する隣接する層からの一対のノードは、前記ニューラルネットワークにおいて、該一対の異なる信号源における前記イベントが続いて発生する確率が閾値を上回る場合にのみ、結合される、提示することと、
    前記システムの前記制御状態に従って選択された制御動作を実行することと、
    を含み、
    前記一対の異なる信号源における前記イベントの後の発生は、前記システムの前記イベントの時系列におけるイベントの連続した発生である、媒体。
  15. 前記ニューラルネットワークは時間遅延ニューラルネットワーク（ＴＤＮＮ）であり、前記入力層におけるノードの数は、前記システムにおける前記信号源の数の倍数に等しく、前記倍数は、前記ＴＤＮＮの遅延の時間ステップの数に等しく、前記ＴＤＮＮは、教師あり学習に基づいてトレーニングされた時間遅延フィードフォワードニューラルネットワーク、又は、教師なし学習に基づいてトレーニングされた時間遅延オートエンコーダーニューラルネットワークである、請求項１４に記載の媒体。
  16. 前記一対の異なる信号源における前記イベントが続いて発生する前記確率は、期間にわたって収集された信号におけるイベントが続いて発生する頻度の関数である、請求項１４に記載の媒体。
JP2020556367A 2018-03-28 2018-10-26 システムを制御する装置及び方法 Active JP7012871B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/938,411 2018-03-28
US15/938,411 US20190302707A1 (en) 2018-03-28 2018-03-28 Anomaly Detection in Manufacturing Systems Using Structured Neural Networks
PCT/JP2018/040785 WO2019187297A1 (en) 2018-03-28 2018-10-26 Apparatus and method for controlling system

Publications (2)

Publication Number Publication Date
JP2021509995A JP2021509995A (ja) 2021-04-08
JP7012871B2 true JP7012871B2 (ja) 2022-01-28

Family

ID=64500420

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020556367A Active JP7012871B2 (ja) 2018-03-28 2018-10-26 システムを制御する装置及び方法

Country Status (6)

Country Link
US (1) US20190302707A1 (ja)
EP (1) EP3776113B1 (ja)
JP (1) JP7012871B2 (ja)
CN (1) CN111902781B (ja)
TW (1) TWI682257B (ja)
WO (1) WO2019187297A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11640152B2 (en) 2017-09-28 2023-05-02 Siemens Aktiengesellschaft Method and device for providing service for a programmable logic controller
CN111295625B (zh) * 2017-12-29 2023-12-12 西门子股份公司 过程仪表的异常检测方法、***及存储介质
US11354320B2 (en) * 2018-10-11 2022-06-07 International Business Machines Corporation Determining causes of events in data
FR3095878B1 (fr) * 2019-05-10 2021-10-08 Univ De Brest Procédé d'analyse automatique d'images pour reconnaître automatiquement au moins une caractéristique rare
DE102019206858A1 (de) * 2019-05-13 2020-11-19 Zf Friedrichshafen Ag Prokuttestverfahren, Produkttestvorrichtung und Produkttestsystem zum Test elektronischer Baugruppen
KR20200141812A (ko) * 2019-06-11 2020-12-21 삼성전자주식회사 뉴럴 네트워크를 이용하여 이상 신호를 감지하는 방법 및 장치
US11100221B2 (en) * 2019-10-08 2021-08-24 Nanotronics Imaging, Inc. Dynamic monitoring and securing of factory processes, equipment and automated systems
CN110929849B (zh) * 2019-11-22 2023-09-01 迪爱斯信息技术股份有限公司 一种基于神经网络模型压缩的视频检测方法和装置
EP4088233A4 (en) * 2020-01-12 2024-02-21 Neurala, Inc. SYSTEMS AND METHODS FOR ANORMAL DETECTION AND DETECTION USING LIFE-LONG DEEP NEURONAL NETWORKS
EP3876054A1 (en) * 2020-03-05 2021-09-08 Siemens Aktiengesellschaft Methods and systems for workpiece quality control
CN111813593B (zh) * 2020-07-23 2023-08-18 平安银行股份有限公司 一种数据处理方法、设备、服务器及存储介质
JP7318612B2 (ja) * 2020-08-27 2023-08-01 横河電機株式会社 監視装置、監視方法、および監視プログラム
CN115335785B (zh) * 2020-10-14 2024-06-18 三菱电机株式会社 外部信号输入输出单元、控制***、机器学习装置及推断装置
TWI749925B (zh) * 2020-12-01 2021-12-11 英業達股份有限公司 製造設備製造參數調整控制系統及其方法
US11068786B1 (en) * 2020-12-17 2021-07-20 Moffett Technologies Co., Limited System and method for domain specific neural network pruning
JPWO2022196175A1 (ja) * 2021-03-16 2022-09-22
US20220398525A1 (en) * 2021-06-10 2022-12-15 Samsung Display Co., Ltd. Systems and methods for concept intervals clustering for defect visibility regression
US12007760B2 (en) * 2021-09-02 2024-06-11 Mitsubishi Electric Research Laboratories, Inc. Anomaly detection and diagnosis in factory automation system using pre-processed time-delay neural network with loss function adaptation
US11669617B2 (en) 2021-09-15 2023-06-06 Nanotronics Imaging, Inc. Method, systems and apparatus for intelligently emulating factory control systems and simulating response data
EP4220321A1 (de) * 2022-01-26 2023-08-02 Siemens Aktiengesellschaft Computer-implementiertes verfahren zur erkennung von abweichungen in einem herstellungsprozess
TWI795282B (zh) * 2022-04-29 2023-03-01 陳健如 機器人焊接方法
TWI822068B (zh) * 2022-05-31 2023-11-11 大陸商寧波弘訊科技股份有限公司 一種橡膠機控制方法、系統、設備以及存儲介質
US20240241508A1 (en) * 2023-01-13 2024-07-18 Anoop Cherian System and Method for Anomaly Detection using an Attention Model
CN117707101B (zh) * 2024-02-06 2024-04-30 青岛超瑞纳米新材料科技有限公司 碳纳米管规模化加工的生产线监管控制***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016173843A (ja) 2016-05-11 2016-09-29 三菱電機株式会社 処理装置、判別方法およびプログラム
US20170031329A1 (en) 2015-07-31 2017-02-02 Fanuc Corporation Machine learning method and machine learning device for learning fault conditions, and fault prediction device and fault prediction system including the machine learning device

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5386373A (en) * 1993-08-05 1995-01-31 Pavilion Technologies, Inc. Virtual continuous emission monitoring system with sensor validation
US6047221A (en) * 1997-10-03 2000-04-04 Pavilion Technologies, Inc. Method for steady-state identification based upon identified dynamics
US6278899B1 (en) * 1996-05-06 2001-08-21 Pavilion Technologies, Inc. Method for on-line optimization of a plant
US6381504B1 (en) * 1996-05-06 2002-04-30 Pavilion Technologies, Inc. Method for optimizing a plant with multiple inputs
EP1022632A1 (en) * 1999-01-21 2000-07-26 ABB Research Ltd. Monitoring diagnostic apparatus with neural network modelling the normal or abnormal functionality of an electrical device
JP2005309616A (ja) * 2004-04-19 2005-11-04 Mitsubishi Electric Corp 設備機器故障診断システム及び故障診断ルール作成方法
DE102006059037A1 (de) * 2006-12-14 2008-06-19 Volkswagen Ag Verfahren und Vorrichtung zum Diagnostizieren von Funktionen und Fahrzeugsystemen
US8352216B2 (en) * 2008-05-29 2013-01-08 General Electric Company System and method for advanced condition monitoring of an asset system
CN101697079B (zh) * 2009-09-27 2011-07-20 华中科技大学 用于航天器实时信号处理的盲***故障检测与隔离方法
US9009530B1 (en) * 2010-06-30 2015-04-14 Purdue Research Foundation Interactive, constraint-network prognostics and diagnostics to control errors and conflicts (IPDN)
AT511577B1 (de) * 2011-05-31 2015-05-15 Avl List Gmbh Maschinell umgesetztes verfahren zum erhalten von daten aus einem nicht linearen dynamischen echtsystem während eines testlaufs
US9147155B2 (en) * 2011-08-16 2015-09-29 Qualcomm Incorporated Method and apparatus for neural temporal coding, learning and recognition
US8484022B1 (en) * 2012-07-27 2013-07-09 Google Inc. Adaptive auto-encoders
JP6111057B2 (ja) * 2012-12-05 2017-04-05 学校法人中部大学 エネルギーマネージメントシステム
CN103257921B (zh) * 2013-04-16 2015-07-22 西安电子科技大学 一种基于改进随机森林算法的软件故障预测***及其方法
US9892238B2 (en) * 2013-06-07 2018-02-13 Scientific Design Company, Inc. System and method for monitoring a process
US20150277416A1 (en) 2014-03-31 2015-10-01 Mitsubishi Electric Research Laboratories, Inc. Method for Anomaly Detection in Discrete Manufacturing Processes
RU2580786C2 (ru) * 2014-05-22 2016-04-10 Максим Сергеевич Слетнев Способ мониторинга состояния узлов автоматизированных технологических комплексов производств непрерывного типа
CN104238545B (zh) * 2014-07-10 2017-02-01 中国石油大学(北京) 一种石油炼化生产过程故障诊断和预警***及其建立方法
US11340602B2 (en) * 2014-12-19 2022-05-24 Raytheon Technologies Corporation Sensor data fusion for prognostics and health monitoring
CN104914851B (zh) * 2015-05-21 2017-05-24 北京航空航天大学 一种基于深度学习的飞机旋转作动器驱动装置自适应故障检测方法
US10332028B2 (en) * 2015-08-25 2019-06-25 Qualcomm Incorporated Method for improving performance of a trained machine learning model
JP6603182B2 (ja) * 2016-07-22 2019-11-06 ファナック株式会社 機械学習モデル構築装置、数値制御装置、機械学習モデル構築方法、機械学習モデル構築プログラム、及び記録媒体
US20180053086A1 (en) * 2016-08-22 2018-02-22 Kneron Inc. Artificial neuron and controlling method thereof
CN106650918B (zh) * 2016-11-25 2019-08-30 东软集团股份有限公司 构建***模型的方法和装置
US10515302B2 (en) * 2016-12-08 2019-12-24 Via Alliance Semiconductor Co., Ltd. Neural network unit with mixed data and weight size computation capability
CN106618551B (zh) * 2016-12-09 2017-12-12 浙江铭众科技有限公司 一种用于三导联心电电极连接判别的智能终端
CN106650919A (zh) * 2016-12-23 2017-05-10 国家电网公司信息通信分公司 一种基于卷积神经网络的信息***故障诊断方法及装置
CN107479368B (zh) * 2017-06-30 2021-09-21 北京百度网讯科技有限公司 一种基于人工智能的训练无人机控制模型的方法及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170031329A1 (en) 2015-07-31 2017-02-02 Fanuc Corporation Machine learning method and machine learning device for learning fault conditions, and fault prediction device and fault prediction system including the machine learning device
JP2016173843A (ja) 2016-05-11 2016-09-29 三菱電機株式会社 処理装置、判別方法およびプログラム

Also Published As

Publication number Publication date
US20190302707A1 (en) 2019-10-03
TWI682257B (zh) 2020-01-11
CN111902781B (zh) 2023-07-07
EP3776113B1 (en) 2023-06-07
CN111902781A (zh) 2020-11-06
WO2019187297A1 (en) 2019-10-03
EP3776113A1 (en) 2021-02-17
JP2021509995A (ja) 2021-04-08
TW201942695A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
JP7012871B2 (ja) システムを制御する装置及び方法
Helbing et al. Deep Learning for fault detection in wind turbines
Lade et al. Manufacturing analytics and industrial internet of things
Wang et al. Remaining useful life estimation using functional data analysis
JP7017861B2 (ja) 異常検知システムおよび異常検知方法
EP3454289B1 (en) Plant abnormality detection method and system
JP6740247B2 (ja) 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法
Liu et al. Anomaly detection in manufacturing systems using structured neural networks
JP5306902B2 (ja) 資産システムの高性能条件監視のためのシステムおよび方法
Javadpour et al. A fuzzy neural network approach to machine condition monitoring
US10810508B1 (en) Methods and apparatus for classifying and discovering historical and future operational states based on Boolean and numerical sensor data
Wei et al. A novel deep learning model based on target transformer for fault diagnosis of chemical process
KR102005138B1 (ko) 기기 이상징후 사전감지 방법 및 시스템
Xu et al. A novel dual-stream self-attention neural network for remaining useful life estimation of mechanical systems
CN110757510B (zh) 一种机器人剩余寿命预测方法及***
Gao et al. Dual channel feature attention-based approach for RUL prediction considering the spatiotemporal difference of multisensor data
Xu et al. Global attention mechanism based deep learning for remaining useful life prediction of aero-engine
KR101995026B1 (ko) 대상 시스템의 상태 진단 및 원인 분석 시스템 및 방법
JP2022028620A (ja) 製造プロセスにおける因果推論のためのシステム及び方法
RU2559401C1 (ru) Способ диагностирования технического состояния служебных систем летательного аппарата
Aremu et al. Kullback-leibler divergence constructed health indicator for data-driven predictive maintenance of multi-sensor systems
JP2018014093A (ja) プロセスの状態診断方法及び状態診断装置
Basulaiman et al. Sequence-to-sequence forecasting-aided state estimation for power systems
Soni et al. Predictive maintenance of gas turbine using prognosis approach
Costa et al. Remaining useful life estimation using a recurrent variational autoencoder

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200701

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220118

R150 Certificate of patent or registration of utility model

Ref document number: 7012871

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150