JP6330922B2 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
JP6330922B2
JP6330922B2 JP2016570205A JP2016570205A JP6330922B2 JP 6330922 B2 JP6330922 B2 JP 6330922B2 JP 2016570205 A JP2016570205 A JP 2016570205A JP 2016570205 A JP2016570205 A JP 2016570205A JP 6330922 B2 JP6330922 B2 JP 6330922B2
Authority
JP
Japan
Prior art keywords
monitoring target
information processing
data
target data
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016570205A
Other languages
English (en)
Other versions
JPWO2016116961A1 (ja
Inventor
泰弘 遠山
泰弘 遠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2016116961A1 publication Critical patent/JPWO2016116961A1/ja
Application granted granted Critical
Publication of JP6330922B2 publication Critical patent/JP6330922B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/048Fuzzy inferencing
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G05B23/0235Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions based on a comparison with predetermined threshold or range, e.g. "classical methods", carried out during normal operation; threshold adaptation or choice; when or how to compare with the threshold
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0297Reconfiguration of monitoring system, e.g. use of virtual sensors; change monitoring method as a response to monitoring results

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Description

本発明は、昇降機、プラント装置、工作機械等の制御システムに設置されたセンサが取得した値から、異常が発生した時刻を推定する技術に関する。
原子力発電所のような大規模なプラントや昇降機、工作機械等の制御システムでは、センサを設置し、センサが取得した信号に基づいて異常を検出している。さらに、異常が発生した信号の影響により他の信号でも異常が発生することがあるため、異常を検出した信号に基づいて、異常の原因である異常原因信号を推定する技術が開示されている。
例えば、特許文献1では、信号間の物理的な因果関係から、異常が発生した場合に異常が伝搬する信号の順序である伝搬経路を抽出し、予めリスト化している。異常として検出した信号に基づいてリストから伝搬経路を抽出し、抽出された伝搬経路の最初にある信号を異常原因信号として推定している。
また、特許文献2の半導体製造装置では、異常として複数の信号が検出された場合に、検出された信号を優先順位付けしている。優先順位付けは、予め設定した重要度の高い順、検出時刻の順、あるいは発生頻度の順に異常として検出された複数の信号を順位付けている。
特開平10−020925号公報 特開平11−184589号公報
しかしながら、制御システムによっては、異常が発生してから異常が検出されるまでの時間が信号ごとに異なることがあり、異常が伝搬した信号が先に検出され、異常の原因となる信号が後に検出される場合がある。このような場合、特許文献1および2では、異常の原因の信号を誤判定する可能性があるという問題点があった。
本発明は上記のような問題点を解決するためになされたもので、信号が異常を示し始めた時刻をより正確に求める情報処理装置を得ることを目的としている。
時系列の信号から成る監視対象データの正常な値の範囲を示す正常域を上限値と下限値とから設定する設定部と、監視対象データが正常域を外れたか否かを判定し、外れたと判定した場合に監視対象データが正常域から外れた時刻である判定時刻を出力する判定部と、既知の監視対象データのうち正常な値の信号から成る複数の学習データの平均値と監視対象データとの差である外れ度合いに基づいて、判定部から入力された判定時刻より前であって監視対象データが異常を示し始めた開始時刻を検出する検出部と、を備えた。
本発明によれば、信号が異常を示し始めた時刻をより正確に求めることができる。
実施の形態1に係る情報処理装置の構成を示すブロック図。 実施の形態1に係る学習データを描画したグラフ。 実施の形態1に係る学習データから正常域を定義する例を示す図。 実施の形態1に係る設定部がバンドモデルを作成する処理の流れを示すフローチャート。 実施の形態1に係る監視対象データが正常域を外れる例を示すグラフ 実施の形態1に係る監視対象データが平均的な振る舞いから外れ始めた時刻を示すグラフ 実施の形態1に係る外れ度合いD(t)の例を示すグラフ。 実施の形態1に係る監視対象データの正常域の例を示すグラフ。 実施の形態1に係る一定幅のバンドモデルの例を示すグラフ。 実施の形態2に係る情報処理装置の構成を示すブロック図。 実施の形態2に係る情報処理システムの構成例を示す図。 実施の形態3に係る情報処理装置の構成を示すブロック図。 実施の形態3に係る表示部が表示する画面の例を示す図。 実施の形態1に係る情報処理装置のハードウェア構成を示すブロック図。
実施の形態1.
図1は、実施の形態1に係る情報処理装置101の構成を示すブロック図である。監視対象のシステムからデータを収集する手段の例として、データ収集・管理装置102の構成例、および監視対象103も併せて記載している。データ収集・管理装置102は、センサネットワーク111を介して監視対象103からデータを収集したデータを管理している。
異常開始時刻推定装置としての情報処理装置101は、第1の入力部104、設定部105、第2の入力部106、判定部107および検出部108から構成される。なお、第1の入力部104と第2の入力部106は1つの入力部で実現してもよい。
データ収集・管理装置102は、例えば、正常値学習データベース(以下、正常値学習DBと称す)109、および監視対象データベース(以下、監視対象DBと称す)110から構成される。その他構成例として、正常値学習DBと監視対象DBを1つに統合して管理する、3つ以上のDB(Data Base)に分散して管理する、DB形式ではなくファイル形式で管理してもよい。
正常値学習DB109は、監視対象データのうち正常である既知のデータを学習データとして保存する。正常値学習DB109は、本発明の情報処理装置で正常と判定された監視対象データを学習データとして追加していく。過去の監視対象データのうち既存の方法で正常と判定したデータを学習データとして保存してもよい。特に、本発明の情報処理装置の導入時等は、本発明の情報処理装置で正常と判定された監視対象データはないため、正常値学習DB109は既存の方法で正常と判定されたデータを学習データとして保存すればよい。既存の方法とは、例えば、監視対象の制御システムが有している上限値以下および下限値以上の範囲を正常と判定してもよいし、人が判断してもよい。
また、正常値学習DB109は、最初の指定した期間は既存の方法で正常と判定されたデータを学習データとして保存し、その後は、本発明の情報処理装置で正常と判定されたデータを学習データとして追加していくようにしてもよい。
正常値学習DB109は、古いデータを削除するようにしてもよい。例えば、監視対象のシステムの機器が更新され、古いデータが不要になった場合、正常値学習DB109は古いデータを削除する。また、学習データの容量が必要以上に多くなった場合にも削除してもよい。
また、監視対象のシステムなどデータ収集・管理装置102以外の場所に、正常と判定されたデータを保持するデータサーバを設け、正常値学習DB109は、データ自体を保存せず、データサーバが保持するデータへのインデックスを保存するようにしてもよい。
監視対象103は、例えば昇降機、プラント装置、工作機械等の制御システムであり、センサを備えている。監視対象103は、1つ以上の制御システムを連結、または分散して構成されていても構わない。また、監視対象103はセンサネットワーク111に接続せず、データ収集・管理装置102と直結する構成でも構わない。
次に、監視対象103とデータ収集・管理装置102との間の処理について説明する。
監視対象103のセンサから取得した信号の集合が、センサネットワーク111を通して、データ収集・管理装置101に継続的、または断続的に入力される。信号データは、監視対象103のセンサから取得した信号の集合で、時系列データである。ここで、データ収集・管理装置102は、監視対象DB110に入力された信号データを、正常値学習DB109に入力しても構わない。また、データ収集・管理装置102は、正常値学習DB109に入力された信号データを、監視対象DB110に入力しても構わない。
次に、データ収集・管理装置102と情報処理装置101との間の処理について説明する。
データ収集・管理装置102は、異常を検知するときの正常値の基準とする信号データを、正常値学習DB109から出力し、情報処理装置101の入力部104へ入力する。データ収集・管理装置102は、異常の有無、および異常の開始時刻を推定する信号データを、監視対象DB110から出力し、情報処理装置101の入力部106へ入力する。
次に、情報処理装置101を構成する各機能の概要を説明する。
入力部104は、データ収集・管理装置102の正常値学習DB109から入力された信号データを変換、整形し、設定部105に出力する。設定部105は、判定部107にて異常を判定するときの、信号データの正常な値の範囲である正常域を設定する。入力部106は、監視対象DB110から入力された信号データを変換、整形し、判定部107に出力する。
判定部107は、入力部106から入力された信号データが、設定部105から入力された正常域を外れているか判定する。検出部108は、判定部107にて正常域を外れていると判定された信号データにおいて、正常域を外れる前に始まった、正常時と異なる振る舞いを示し始めた開始時刻を検出する。
入力部106は、監視対象DB110から入力された信号データを変換、整形し、判定部107に出力する。信号データの変換は、例えば信号データのフォーマットを変換する処理である。信号データのフォーマット変換の例として、信号データの形式を既定のデータフォーマットに変換する処理がある。監視対象103のシステムごとに信号データの形式が異なる場合に、情報処理装置101の各機能を正常に動作させるために、信号データのフォーマット変換が行われる。また、信号データのフォーマット変換の例として、処理の高速化を目的として、信号データのサンプリング処理や信号データ中の不要な期間の信号の削除がある。
信号データの整形は、例えば入力された信号データが1つ以上あった場合に、信号データをある条件のもとに分類、集約する処理がある。信号データの分類、集約の例として、入力された複数の信号データを、制御システムの設定、外気温や湿度などの外部環境などにおいて、同類の条件の信号データを分類し、条件ごとに集約する処理がある。この例の集約処理では、判定部107において正常域を外れていることを判定する際に、監視対象の信号データと正常域の信号データを同類の条件同士で比較することで異常検知の精度を向上させることができる。また、信号データを分類、集約する他の例として、入力された複数の信号データを、制御システムの起動直後や定常運転時など、同種の運転の期間ごとに信号データを分割し、集約する処理がある。
次に、情報処理装置101のハードウェア構成について説明する。
図14は、実施の形態1に係る情報処理装置101のハードウェア構成例である。情報処理装置としての情報処理装置101は、受信装置1401、プロセッサ1402、メモリ1403、およびディスプレイ1404により構成される。
第1の入力部104および第2の入力部106は受信装置である。設定部105、判定部107および検出部108は、メモリに記憶されたプログラムを実行するCPU、システムLSI(Large Scale Integration)等の処理回路により、実現される。また、複数の処理回路が連携して上記機能を実行してもよい。検出部108は、算出した開始時刻をディスプレイ1404に出力してもよい。
次に、正常域を設定する例を説明する。
設定部105は、判定部107において異常を判定するときの、信号データの正常域を設定する。
図2は、実施の形態1に係る学習データ202を描画したグラフ201である。グラフ201の縦軸が信号値、横軸が時刻を示している。学習データ202は、入力部104にて分類、集約した、同条件の複数の信号データである。学習データ202は、それぞれ正常な値の信号の集合である。学習データ202は複数の信号データを示しているが、信号データそれぞれを学習データと呼んでもよい。203、204は、それぞれの時刻における信号データのばらつきの幅を示す矢印である。
グラフ201において、学習データ202は複数の信号データを重ね合わせて表示している。設定部105は、学習データ202をもとに、正常域を定義する。学習データ202は同条件の信号データを集約したものであるため、大まかには同様の挙動を示しているが、203、204の矢印が示すとおり、時刻によってばらつきの差異がある。204より203のばらつきが大きい。この時刻ごとのばらつきの差異は、実際の制御システムでも発生しうる現象である。
図3は、実施の形態1に係る学習データ303から正常域を定義する例を示す図である。301は、学習データ303を描画したグラフである。グラフ301の縦軸が信号値、横軸が時刻を示している。303は複数の信号データからなる学習データである。304は、時刻t1を示す。
302は、学習データ303を含む正常域をバンドモデルで示すグラフである。バンドモデルは、時刻ごとに幅の異なる領域を定義することができるモデルである。305は、時刻ごとの学習データの平均値である。本実施の形態において、305をバンドモデル平均と呼ぶ。306は、バンドモデルの上限値である。307は、バンドモデルの下限値である。308は、時刻t1におけるバンドモデル平均305とバンドモデルの上限値306または下限値307との差である。本実施の形態において、308をバンドモデル幅と呼ぶ。本実施の形態において、それぞれの時刻のバンドモデル平均の値とバンドモデルの上限値との差は、下限値との差と同じとして説明するが、異なる値であってもよい。
次に、バンドモデルの作成方法を説明する。
図4は、実施の形態1に係る設定部105がバンドモデルを作成する処理の流れを示すフローチャートである。バンドモデルの作成は、次に示す通り3段階からなる。学習データの平均および標準偏差を算出し(ステップS401)、バンドモデルの幅を算出し(ステップS402)、バンドモデルの上限値および下限値を算出する(ステップS403)。
次に、各ステップの詳細を説明する。
ステップS401において、設定部105は、バンドモデルを算出する要素として、学習データの平均および標準偏差を算出する。設定部105は、学習データ202の時刻ごとの平均を数式1で算出する。また、設定部105は、時刻ごとの標準偏差を、数式2で算出する。
Figure 0006330922
Figure 0006330922
ステップS402において、設定部105はバンドモデルの幅を算出する。設定部105は、グラフ302のバンドモデルの上下方向の幅306であるW(t)を、数式3で算出する。
Figure 0006330922
定数nは、バンドモデルの上下の幅nσ(t)を調整する値である。例えば、304の時刻t1におけるバンドモデルの幅306はW(t1)と表記する。
ステップS403において、設定部105は、バンドモデルの上限値、下限値を算出し、正常域の範囲を定義する。
設定部105は、バンドモデルの時刻ごとの上限値306を示すMU(t)を数式4で算出する。数式においては、MU(t)の「U」は下付き文字で表示する。
Figure 0006330922
設定部105は、バンドモデルの時刻ごとの下限値307を示すML(t)を数式5で算出する。数式においては、ML(t)の「L」は下付き文字で表示する。
Figure 0006330922
例えば、304の時刻t1における正常域は、MU(t1)以上、ML(t1)以下の範囲となる。設定部105は、信号がこの正常域を外れた場合、異常として判定する。
入力部106は、判定部107で処理するために、監視対象DB110から入力された信号データを変換、整形する。信号データの変換は、入力部104と同様、例えば信号データのフォーマットを変換する処理である。信号データのフォーマット変換の例として、信号データの形式を既定のデータフォーマットへ変換する処理がある。監視対象103のシステムごとに信号データの形式が異なる場合に、情報処理装置101の各機能を正常に動作させるために、信号データのフォーマット変換が行われる。
また、信号データのフォーマット変換の例として、処理の高速化を目的として、信号データのサンプリング処理や信号データ中の不要な期間の信号の削除がある。入力部106は、信号データのサンプリングや、信号データ中の不要な期間の信号の削除などについて、入力部104と同じポリシーを適用してもよい。また、信号データのフォーマット変換の例として、判定部107へ入力する監視対象データの長さを、一定の期間で区切る、リアルタイムで逐次入力するなど、調整してもよい。
信号データの整形は、例えば、入力された信号データを、入力部104で分類、集約した信号データと同じ条件で比較するために、入力された信号データの条件と類似した入力部104で分類、集約した信号データを抽出する処理がある。また、信号データの分類、集約の例として、入力された複数の信号データを、制御システムの起動直後や定常運転時など、同種の運転の期間ごとに信号データを分割し、集約する処理がある。入力部106は、分割する運転の期間について、入力部104と同じポリシーを適用してもよい。
次に、監視対象データが正常域を外れているか判定する方法について説明する。
判定部107は、入力部106から入力された信号データが、設定部105から入力された正常域を外れているか判定する。
図5は、実施の形態1に係る監視対象データが正常域を外れる例を示すグラフである。グラフの縦軸が信号値、横軸が時刻を示している。501は、入力部106から出力された監視対象データである。502は、監視対象データ501が正常域を外れたことを判定部107が判定した判定時刻t2である。
判定部107は、監視対象データ501がバンドモデルの上限値306を上回った場合、もしくは、バンドモデルの下限値307を下回った場合に、正常域を外れたと判定する。図5では、502の時刻t2に、監視対象データ501がバンドモデルの上限値306を上回ったことを示している。
本実施の形態では、正常域の例としてバンドモデルを使用しているが、正常域を外れた時刻を判定可能な手法であればその他の手法により定義した正常域でも構わない。
検出部108は、判定部107にて正常域を外れていると判定された信号データにおいて、正常域を外れる前に始まった、平均的な振る舞いから外れ始めた時刻である開始時刻を検出し、出力する。
図6は、実施の形態1に係る監視対象データが平均的な振る舞いから外れ始めた時刻を示すグラフである。縦軸が信号値、横軸が時刻を示している。601は、平均的な振る舞いから外れ始めた時刻である開始時刻t3を表す。開始時刻t3は、判定時刻502より前の時刻である。
検出部108は、平均的な振る舞いからの外れを、外れ度合いにより表現する。外れ度合いD(t)は、数式6で算出する。
Figure 0006330922
図7は、実施の形態1に係る外れ度合いD(t)の例を示すグラフある。縦軸が外れ度合、横軸が時刻を示している。701は、外れ度合いD(t)を表す。702は、バンドモデルの正常域に相当する領域である。703は、バンドモデルの幅W(t)を算出するときに設定した定数nである。704は、変化の有無を判定する定数n1である。定数n1は、定数nとは異なる値である。
従来の方法では、開始時刻t3と判定時刻t2との間の時間の長さが、信号データごとに差異があることを考慮せず、判定時刻t2のみ利用していた。この信号データごとの差異の影響を軽減するため、開始時刻t3を算出する。開始時刻t3は、異常の原因の信号の推定等に活用可能である。
次に、検出部108が開始時刻t3を算出する方法を説明する。図7において、判定時刻t2より前に、外れ度合いが平坦から上昇傾向に変化し始めた時刻が開始時刻t3である。本実施の形態では、外れ度合いの傾きを変化指標として外れ度合いの振る舞いの変化を算出する。検出部108は、変化指標C(t)を数式7で算出する。t≧2とする。
Figure 0006330922
変化指標C(t)が、第1の閾値を上回る場合、変化ありとみなすことが可能である。そこで、検出部108は、判定時刻t2から時刻を遡り、変化指標C(t)が第1の閾値を初めて下回った時刻を、開始時刻t3として算出する。
したがって、本実施の形態では、時系列の信号から成る監視対象データの正常な値の範囲を示す正常域を上限値と下限値とから設定する設定部と、監視対象データが正常域を外れたか否かを判定し、外れたと判定した場合に監視対象データが正常域から外れたと判定した時刻である判定時刻を出力する判定部と、既知の監視対象データのうち正常な値の信号から成る複数の学習データの平均値と監視対象データとの差を示す外れ度合いに基づいて、判定部から入力された判定時刻より前であって監視対象データが異常を示し始めた開始時刻を検出する検出部と、を備えたので、信号が異常を示し始めた時刻をより正確に求めることができる。
また、設定部は、複数の時刻それぞれで複数の学習データの最大値を上限値に設定するとともに、複数の学習データの最小値を下限値に設定するので、時点ごとの信号データのばらつきに応じた広がりを持つ正常域を定義することが可能となる。よって、ばらつきの大きい時刻において閾値を緩くすることで誤検知を抑制し、ばらつきの小さい時刻において閾値を厳しくすることで検出漏れを抑制することが可能である。
また、検出部は、判定時刻より前であって外れ度合いの傾きが第1の閾値以上となる時刻を開始時刻として検出するので、信号ごとの異常が発生してから異常が検出されるまでの時間の差異による影響を軽減することが可能である。
なお、本実施の形態において、正常域の上限値は時刻によらず同じ値を使用してもよい。下限値についても同様である。
図8は、実施の形態1に係る監視対象データの正常域の例を示すグラフである。202は、図2で示した学習データである。801は、正常域の上限値である。802は、正常域の下限値である。
監視対象の制御システムは監視対象データが上限値を上回った場合または下限値を下回った場合にアラームを通知するアラームシステムを有している場合がある。設定部105は、アラームシステムの下限値以上および上限値以下の範囲を正常域として設定しても構わない。設定部105は、あらかじめアラームシステムの上限値および下限値を入力または設定されて保持しているものとする。この場合、情報処理装置101は入力部104を保持しない構成となる。
したがって、設定部は、上限値を複数の時刻で同じ値に設定するとともに、下限値を複数の時刻で同じ値に設定するので、情報処理装置101は、監視対象システムが有しているアラームシステムの上限値および下限値を流用することで、信号データから正常域を設定する処理が不要となり、開発の省力化が可能になる。
また、本実施の形態において、設定部105は、すべての時刻でバンドモデルの平均を中心とする同じ幅の正常域を定義する一定幅のバンドモデルを使用しても構わない。一定幅のバンドモデルは、学習データのばらつきが小さく、バンドモデルの幅を適正に設定できない場合などに有効である。また、バンドモデルと一定幅バンドモデルを使い分け、または併用しても構わない。
図9は、実施の形態1に係る一定幅のバンドモデルの例を示すグラフである。901は、学習データと一定幅のバンドモデルを重ね合わせたグラフである。902は、一定幅のバンドモデルの構造を示すグラフである。903は上限値、904は下限値である。905は、一定幅のバンドモデルの幅である。
一定幅のバンドモデルの幅905は、例えばバンドモデル平均305の標準偏差の定数倍としてもよいし、バンドモデル平均305の平均値の定数倍に設定してもよい。設定部105があらかじめ幅の値または、算出方法を保持しているものとする。幅の値は、監視対象システムや監視対象データの取得条件に応じて、複数あってもよい。
したがって、本実施の形態では、設定部は、上限値と下限値について複数の学習データの平均値との差が複数の時刻で同じ値になるように上限値と下限値とを設定するので、学習データのばらつきが小さい場合、学習データが少ない場合、学習データが一定値である場合などに対応可能である。これらの場合、学習データから正常域を設定すると正常域の上下の幅が小さく、正常な監視対象データであっても異常と誤判定することが多くなってしまう。
また、本実施の形態において、設定部105は、主成分分析、独立成分分析等の手法で次元を削減した空間において正常域を設定してもよい。また、設定部105は、相関係数、マハラノビス距離等を使用した特徴量において正常域を設定してもよい。
したがって、本実施の形態では、複数の学習データから相関係数またはマハラノビス距離に基づく特徴量を算出し、特徴量の範囲から上限値と下限値とを設定するので、大規模なデータを対象とした場合に、次元を削減することにより処理時間の短縮が可能となる。また、バンドモデルとの時刻ごとの差以外の指標により、異常を多角的に評価することが可能である。
また、本実施の形態において、検出部108は、平均的な振る舞いから外れ始めた開始時刻を算出するときに、変化指標C(t)が第1の閾値を上回る場合に加え、外れ度合いD(t)が第2の閾値を上回る場合を、変化ありとみなしてもよい。例えば、第2の閾値は定数n1とする。
したがって、本実施の形態では、判定時刻より前であって外れ度合いの傾きが第1の閾値以上となるとともに、外れ度合いが第2の閾値以上となる時刻を開始時刻として検出するので、外れ度合いD(t)の変化が緩やかで、変化指標C(t)が第1の閾値を外れない場合に、開始時刻の算出もれを抑制できる可能性がある。
また、本実施の形態において、検出部108は、外れ度合いD(t)から既知の変化点検出手法により算出した変化指標を使用してもよい。変化点検出手法の例として、ベイズの変化点検出などがある。
したがって、本実施の形態では、外れ度合いからベイズの変化点検出に基づいて開始時刻を検出するので、外れ度合いD(t)の傾き以外の指標により、平均的な振る舞いから外れ始めた開始時刻を多角的に算出することが可能である。
また、本実施の形態において、検出部108は、外れ度合いD(t)もしくは変化指標C(t)を平滑化処理した後、平均的な振る舞いから外れ始めた開始時刻を算出してもよい。
したがって、本実施の形態では、外れ度合いまたは外れ度合いの傾きを平滑化処理した後、開始時刻を検出するので、外れ度合いD(t)の値が上下に振動することが多い場合、平均的な振る舞いから外れ始めた開始時刻の誤算出を抑制できる可能性がある。
なお、本実施の形態において、設定部105が正常域を設定する手法と検出部108が平均的な振る舞いから外れ始めた開始時刻を検出する手法について、複数の方法を示した。これらの方法を適宜組み合わせて実現してもよい。
実施の形態2.
以上の実施の形態1では、信号に異常が発生した時刻を推定するようにしたものであるが、本実施の形態においては、異常の原因の信号を推定する実施の形態を示す。
図10は、実施の形態2に係る情報処理装置1001の構成を示すブロック図である。情報処理装置1001は、異常開始時刻推定装置としての情報処理装置101を活用した装置の例であり、異常の原因の信号を推定する異常原因信号推定装置である。図10では、監視対象の制御システムからデータを収集する手段の例として、図1と同じく、データ収集・管理装置102の構成例、および監視対象103も併せて記載している。
情報処理装置1001の情報処理装置10との違いは、推定部1002を追加したことである。推定部1002は、検出部108から入力された正常域を外れたと判定された複数の信号から、平均的な振る舞いから外れ始めた開始時刻をもとに、異常の原因と推定される信号を出力する。
推定部1002では、検出部108から入力された信号のうち、最初に変化し始めた信号を、異常の原因の信号として出力する。最初に変化し始めた信号を特定するために、推定部1002は入力された正常域を外れた複数の信号を、開始時刻が早い順に並び替え、最初に変化した信号を出力する。開始時刻が早い順に並び替えた表を出力してもよい。
情報処理装置1001のハードウェア構成例は、図14に示した実施の形態1のハードウェア構成と同じである。推定部1002は、CPU、システムLSI等の処理回路により、実現される。また、複数の処理回路が連携して実行してもよい。推定部1002は、推定した開始時刻をディスプレイ1404に出力してもよい。
図11は、実施の形態2に係る情報処理システム1100の構成例を示す図である。情報処理システム1100は、異常原因信号推定装置としての情報処理装置1001を利用して異常の原因となった信号を推定する異常原因信号推定システムである。データ収集・管理装置102は、監視対象103からデータを収集したデータを管理している。監視対象103は、センサを搭載している制御システムであればよく、空調機器、昇降機、プラント機器、自動車、鉄道車両などのシステムに適用が可能である。
なお、データ収集・管理装置102を設けず、情報処理装置1001がデータ収集・管理装置102に相当する機能部を保持するようにしてもよい。計算機を用いて情報処理装置1001を実現する場合には、データ収集・管理部が同じ計算機に搭載されることになる。
したがって、本実施の形態では、検出部から入力された複数の監視対象データの開始時刻のうち、最も早い時刻の開始時刻の監視対象データが異常の原因の信号データであると推定する推定部を備えたので、因果関係が未知の異常に対し、異常の原因となった信号を推定することが可能である。
なお、本実施の形態において、推定部1002は信号間の物理的な因果関係を示すリストを保持し、このリストから異常の原因となる信号を推定する方法を併用してもよい。推定部1002は、あらかじめリストを保持し、検出部108から入力された信号がリストにあるか否かを判定する。推定部1002は、リストにあれば物理的な因果関係から異常の原因となる信号を推定し、リストになければ平均的な振る舞いから外れ始めの開始時刻をもとに、異常の原因と推定される信号を推定する。物理的な因果関係を把握している信号については、効率的に異常の原因となる信号を推定することができる。
したがって、本実施の形態では推定部は、複数の監視対象データの物理的な因果関係のリストを保持し、検出部から入力された監視対象データがリストにある場合、リストに基づいて異常の原因の監視対象データを推定するので、物理的な因果関係を把握している信号については、効率的に異常の原因となる信号を推定することが可能である。
実施の形態3.
以上の実施の形態2では、異常が発生した原因の信号を推定するようにしたものであるが、本実施の形態においては、異常を判定した判定時刻と平均的な振る舞いから外れ始めた開始時刻を表示する実施の形態を示す。
図12は、実施の形態3に係る情報処理装置1201の構成を示すブロック図である。情報処理装置1201と情報処理装置101との違いは、表示部1202を追加したことである。表示部1202は、判定部107から出力された判定時刻と検出部108から出力された開始時刻を画面に表示する。
図13は、実施の形態3に係る表示部1202が表示する画面の例を示す図である。1301は監視対象データと正常域を重ね合わせたグラフである。1302は正常域を外れたと判定された信号を開始時刻の順に並べ替えた表である。
1303は監視対象データ、1304は正常域の上限値、1305は正常域の下限値を示す。1306は、判定部107にて異常と判定した判定時刻を示す。1307は、検出部108にて検出した開始時刻を示す。1308は正常域を外れたと判定された信号の信号名、1309は各監視対象データにおいて推定した開始時刻、1310は各監視対象データにおいて異常と判定した判定時刻を示す。
情報処理装置1201のハードウェア構成例は、図14に示した実施の形態1のハードウェア構成と同じである。表示部1202は、ディスプレイ1404である。
したがって、本実施の形態では監視対象データをグラフで表示するとともに判定部から出力される判定時刻と検出部が検出した開始時刻とをグラフ上に表示する表示部を備えたので、正常域と監視対象データの差異、および異常と判定した判定時刻と開始時刻との差異を視覚化することが可能である。
また、表示部は複数の監視対象データについて検出部が検出した開始時刻の順に表示するので、異常の原因の監視対象データの候補を、異常の原因である可能性が高い順に提示することも可能である。
101、1201 情報処理装置
102 データ管理装置
103 監視対象の制御システム
104、106 入力部
105 設定部
107 判定部
108 検出部
109 正常値学習DB
110 監視対象DB
111 センサネットワーク
201、301、302、901、902、1301 グラフ
202、303 信号データ
203、204 データのばらつきを示す幅
304、502、601、1306、1307 時刻
305 平均
306 上限値
307 下限値
308 バンドモデル幅
501、1303 監視対象データ
701 外れ度合いデータ
702 バンドモデル正常域相当領域
703、704 定数
801、903、1304 上限値
802、904、1305 下限値
805 バンドモデル幅
1001 情報処理装置
1002 推定部
1202 表示部
1302 表
1308 信号名
1309 開始時刻
1310 判定時刻

Claims (16)

  1. 時系列の信号から成る監視対象データの正常な値の範囲を示す正常域を上限値と下限値とから設定する設定部と、
    前記監視対象データが前記正常域を外れたか否かを判定し、外れたと判定した場合に前記監視対象データが前記正常域から外れたと判定した時刻である判定時刻を出力する判定部と、
    既知の監視対象データのうち正常な値の信号から成る複数の学習データの平均値と前記監視対象データとの差を示す外れ度合いに基づいて、前記判定部から入力された前記判定時刻より前であって前記監視対象データが異常を示し始めた開始時刻を検出する検出部と、
    を備えることを特徴とする情報処理装置。
  2. 前記設定部は、複数の時刻それぞれで前記複数の学習データの最大値を前記上限値に設定するとともに、前記複数の学習データの最小値を前記下限値に設定することを特徴とする請求項1に記載の情報処理装置。
  3. 前記設定部は、前記上限値を前記複数の時刻で同じ値に設定するとともに、前記下限値を前記複数の時刻で同じ値に設定することを特徴とする請求項1に記載の情報処理装置。
  4. 前記設定部は、前記上限値と前記下限値について前記複数の学習データの平均値との差が前記複数の時刻で同じ値になるように前記上限値と前記下限値とを設定することを特徴とする請求項1に記載の情報処理装置。
  5. 前記設定部は、前記複数の学習データから相関係数に基づく特徴量を算出し、前記特徴量の範囲から前記上限値と前記下限値とを設定することを特徴とする請求項1に記載の情報処理装置。
  6. 前記設定部は、前記複数の学習データからマハラノビス距離に基づく特徴量を算出し、前記特徴量の範囲から前記上限値と前記下限値とを設定することを特徴とする請求項1に記載の情報処理装置。
  7. 前記検出部は、前記判定時刻より前であって前記外れ度合いの傾きが第1の閾値以上となる時刻を前記開始時刻として検出することを特徴とする請求項1から6のいずれか一項に記載の情報処理装置。
  8. 前記検出部は、前記外れ度合いの傾きを平滑化処理した後、前記開始時刻を検出することを特徴とする請求項7に記載の情報処理装置。
  9. 前記検出部は、前記判定時刻より前であって前記外れ度合いの傾きが第1の閾値以上となるとともに、前記外れ度合いが第2の閾値以上となる時刻を前記開始時刻として検出することを特徴とする請求項1から6のいずれか一項に記載の情報処理装置。
  10. 前記検出部は、前記外れ度合いまたは前記外れ度合いの傾きを平滑化処理した後、前記開始時刻を検出することを特徴とする請求項9に記載の情報処理装置。
  11. 前記検出部は、前記外れ度合いからベイズの変化点検出に基づいて前記開始時刻を検出することを特徴とする請求項1から6のいずれか一項に記載の情報処理装置。
  12. 前記検出部から入力された複数の監視対象データの前記開始時刻のうち、最も早い時刻の前記開始時刻の監視対象データが異常の原因の信号データであると推定する推定部を備えたことを特徴とする請求項1から11のいずれか一項に記載の情報処理装置。
  13. 前記推定部は、複数の監視対象データの物理的な因果関係のリストを保持し、前記検出部から入力された監視対象データが前記リストにある場合、前記リストに基づいて異常の原因の監視対象データを推定することを特徴とする請求項12に記載の情報処理装置。
  14. 監視対象データをグラフで表示するとともに前記判定部から出力される前記判定時刻と前記検出部が検出した前記開始時刻とを前記グラフ上に表示する表示部を備えたことを特徴とする請求項1から11のいずれか一項に記載の情報処理装置。
  15. 複数の監視対象データについて前記検出部が検出した前記開始時刻を表示する表示部を備えたことを特徴とする請求項1から11のいずれか一項に記載の情報処理装置。
  16. 時系列の信号から成る監視対象データの正常な値の範囲を示す正常域を上限値と下限値とから設定する設定ステップと、
    前記監視対象データが前記正常域を外れたか否かを判定し、外れたと判定した場合に前記監視対象データが前記正常域から外れたと判定した時刻である判定時刻を出力する判定ステップと、
    既知の監視対象データのうち正常な値の信号から成る複数の学習データの平均値と前記監視対象データとの差を示す外れ度合いに基づいて、前記判定時刻より前であって前記監視対象データが異常を示し始めた開始時刻を検出する検出ステップと、
    を有する情報処理装置による情報処理方法。
JP2016570205A 2015-01-21 2015-01-21 情報処理装置および情報処理方法 Active JP6330922B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/000243 WO2016116961A1 (ja) 2015-01-21 2015-01-21 情報処理装置および情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2016116961A1 JPWO2016116961A1 (ja) 2017-08-10
JP6330922B2 true JP6330922B2 (ja) 2018-05-30

Family

ID=56416534

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016570205A Active JP6330922B2 (ja) 2015-01-21 2015-01-21 情報処理装置および情報処理方法

Country Status (5)

Country Link
US (1) US20170316329A1 (ja)
EP (1) EP3249483B1 (ja)
JP (1) JP6330922B2 (ja)
CN (1) CN107209508B (ja)
WO (1) WO2016116961A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5845374B1 (ja) * 2015-08-05 2016-01-20 株式会社日立パワーソリューションズ 異常予兆診断システム及び異常予兆診断方法
US20200333777A1 (en) * 2016-09-27 2020-10-22 Tokyo Electron Limited Abnormality detection method and abnormality detection apparatus
CN106656837A (zh) * 2016-10-14 2017-05-10 东软集团股份有限公司 网络拥塞问题的定位方法以及装置
JP2018077764A (ja) * 2016-11-11 2018-05-17 東京エレクトロン株式会社 異常検知装置
JP6950204B2 (ja) * 2017-03-06 2021-10-13 株式会社大林組 異常判定システム
RU2019139907A (ru) 2017-05-12 2021-06-07 Мицубиси Электрик Корпорейшн Устройство обработки данных временного ряда, система обработки данных временного ряда и способ обработки данных временного ряда
JP6779377B2 (ja) * 2017-08-11 2020-11-04 アイティーエス カンパニー リミテッドIts Co., Ltd. 駆動部の精密予知保全方法
CN109923486B (zh) * 2017-08-11 2022-02-18 李荣圭 一种对驱动部的精准预知性维护方法
DE102017219549A1 (de) * 2017-11-03 2019-05-09 Volkswagen Aktiengesellschaft Verfahren zur Zustandsüberwachung einer Fertigungsanlage
JP6721563B2 (ja) * 2017-11-28 2020-07-15 ファナック株式会社 数値制御装置
DE112017008197T5 (de) * 2017-12-18 2020-07-30 Mitsubishi Electric Corporation Anzeigesteuerungseinrichtung, Anzeigesystem, Anzeigeeinrichtung, Anzeigeverfahren und Anzeigeprogramm
WO2019159227A1 (ja) * 2018-02-13 2019-08-22 三菱電機株式会社 鉄道車両の状態監視システム
WO2019180801A1 (ja) * 2018-03-20 2019-09-26 三菱電機株式会社 表示装置、表示システム、および表示画面生成方法
JP6456580B1 (ja) * 2018-06-14 2019-01-23 三菱電機株式会社 異常検知装置、異常検知方法及び異常検知プログラム
JP7031512B2 (ja) * 2018-06-25 2022-03-08 東芝三菱電機産業システム株式会社 鉄鋼プラント用監視作業支援システム
CN112567306A (zh) * 2018-08-31 2021-03-26 东芝三菱电机产业***株式会社 制造过程监视装置
WO2020049615A1 (ja) * 2018-09-03 2020-03-12 三菱電機株式会社 信号表示制御装置および信号表示制御プログラム
JP7034038B2 (ja) * 2018-09-06 2022-03-11 日立Astemo株式会社 データ検証装置、状態監視装置、及びデータ検証方法
JP7153855B2 (ja) * 2018-09-06 2022-10-17 パナソニックIpマネジメント株式会社 実装システム、異常判断装置及び異常判断方法
JP6631746B1 (ja) * 2018-09-28 2020-01-15 ダイキン工業株式会社 クラスタ分類装置、環境生成装置及び環境生成システム
JP6760348B2 (ja) * 2018-10-11 2020-09-23 株式会社富士通ゼネラル 空気調和機、データ送信方法及び空気調和システム
JP6827608B2 (ja) * 2018-12-05 2021-02-10 三菱電機株式会社 異常検知装置及び異常検知方法
CN113330379A (zh) * 2019-01-21 2021-08-31 三菱电机株式会社 异常原因推定装置、异常原因推定方法及程序
CN113302632B (zh) * 2019-01-28 2024-06-14 三菱电机株式会社 开发辅助装置、开发辅助***和开发辅助方法
JP7115346B2 (ja) * 2019-02-07 2022-08-09 株式会社デンソー 異常検知装置
JP6790154B2 (ja) * 2019-03-07 2020-11-25 東芝デジタルソリューションズ株式会社 協調型学習システム及び監視システム
FR3099596B1 (fr) * 2019-07-30 2023-09-01 Commissariat Energie Atomique Procédé d’analyse et procédé de détermination et de prédiction du régime de fonctionnement d’un système énergétique
WO2021065068A1 (ja) * 2019-09-30 2021-04-08 株式会社オートネットワーク技術研究所 検知装置、車両、検知方法および検知プログラム
JP7205514B2 (ja) * 2020-03-31 2023-01-17 横河電機株式会社 学習データ処理装置、学習データ処理方法、学習データ処理プログラム、及び非一時的なコンピュータ読み取り可能な媒体
JP7214054B2 (ja) * 2020-09-03 2023-01-27 三菱電機株式会社 機器分析装置、機器分析方法および機器分析プログラム
US11620162B2 (en) * 2021-05-24 2023-04-04 Capital One Services, Llc Resource allocation optimization for multi-dimensional machine learning environments

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0916250A (ja) * 1995-06-26 1997-01-17 Toshiba Eng Co Ltd 監視制御装置
JP4103029B2 (ja) * 2001-05-18 2008-06-18 有限会社 ソフトロックス 加工工程の監視方法
JP2006252229A (ja) * 2005-03-11 2006-09-21 Nec Electronics Corp 異常検出システムおよび異常検出方法
US8285513B2 (en) * 2007-02-27 2012-10-09 Exxonmobil Research And Engineering Company Method and system of using inferential measurements for abnormal event detection in continuous industrial processes
JP2009075692A (ja) * 2007-09-19 2009-04-09 Toshiba Corp プラント警報装置およびプラント警報方法
JP2010211440A (ja) * 2009-03-10 2010-09-24 Railway Technical Res Inst 異常予測装置、異常予測システム、異常予測方法、及びプログラム
JP2011170518A (ja) * 2010-02-17 2011-09-01 Nec Corp 状態監視装置及び方法
JP5484591B2 (ja) * 2010-12-02 2014-05-07 株式会社日立製作所 プラントの診断装置及びプラントの診断方法
JP5081998B1 (ja) * 2011-06-22 2012-11-28 株式会社日立エンジニアリング・アンド・サービス 異常予兆診断装置及び異常予兆診断方法
US9405291B2 (en) * 2012-07-31 2016-08-02 Fisher-Rosemount Systems, Inc. Systems and methods to monitor an asset in an operating process unit
GB201215649D0 (en) * 2012-09-03 2012-10-17 Isis Innovation System monitoring

Also Published As

Publication number Publication date
US20170316329A1 (en) 2017-11-02
EP3249483A1 (en) 2017-11-29
EP3249483A4 (en) 2018-09-12
JPWO2016116961A1 (ja) 2017-08-10
EP3249483B1 (en) 2020-05-20
CN107209508B (zh) 2018-08-28
WO2016116961A1 (ja) 2016-07-28
CN107209508A (zh) 2017-09-26

Similar Documents

Publication Publication Date Title
JP6330922B2 (ja) 情報処理装置および情報処理方法
US9658916B2 (en) System analysis device, system analysis method and system analysis program
US9753801B2 (en) Detection method and information processing device
US11067973B2 (en) Data collection system, abnormality detection method, and gateway device
US10747188B2 (en) Information processing apparatus, information processing method, and, recording medium
JP5874936B2 (ja) 運用管理装置、運用管理方法、及びプログラム
US20150379417A1 (en) System analysis device and system analysis method
JPWO2018104985A1 (ja) 異常分析方法、プログラムおよびシステム
US20150046757A1 (en) Performance Metrics of a Computer System
JP6125625B2 (ja) 検出装置、検出方法、および記録媒体
US20210019300A1 (en) Method and system for automatic anomaly detection in data
EP2963552B1 (en) System analysis device and system analysis method
WO2018073960A1 (ja) 表示方法、表示装置、および、プログラム
JP6489235B2 (ja) システム分析方法、システム分析装置、および、プログラム
JP5928104B2 (ja) 性能監視装置、性能監視方法、及びそのプログラム
US20190064789A1 (en) System analyzing device, system analyzing method, and computer-readable recording medium
WO2018122890A1 (ja) ログ分析方法、システムおよびプログラム
US20210089962A1 (en) Information processing device, information processing method, and recording medium
US10140577B2 (en) Data processing method and apparatus
US10339203B2 (en) Correlation coefficient calculation method, computer-readable recording medium, and correlation coefficient calculation device
US10845794B2 (en) State identification device, state identification method and mechanical device
TWI636419B (zh) Information processing device, information processing method and information processing program product
JP2016076211A (ja) データ処理プログラム、データ処理方法及びデータ処理装置
US20210183528A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP6627258B2 (ja) システムモデル生成支援装置、システムモデル生成支援方法、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180409

R151 Written notification of patent or utility model registration

Ref document number: 6330922

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250