JPWO2016147656A1 - 情報処理装置、情報処理方法、及び、記録媒体 - Google Patents

情報処理装置、情報処理方法、及び、記録媒体 Download PDF

Info

Publication number
JPWO2016147656A1
JPWO2016147656A1 JP2017506097A JP2017506097A JPWO2016147656A1 JP WO2016147656 A1 JPWO2016147656 A1 JP WO2016147656A1 JP 2017506097 A JP2017506097 A JP 2017506097A JP 2017506097 A JP2017506097 A JP 2017506097A JP WO2016147656 A1 JPWO2016147656 A1 JP WO2016147656A1
Authority
JP
Japan
Prior art keywords
model
relationship
metrics
indicated
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017506097A
Other languages
English (en)
Other versions
JP6777069B2 (ja
Inventor
慎一郎 吉田
慎一郎 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2016147656A1 publication Critical patent/JPWO2016147656A1/ja
Application granted granted Critical
Publication of JP6777069B2 publication Critical patent/JP6777069B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B1/00—Comparing elements, i.e. elements for effecting comparison directly or indirectly between a desired value and existing or anticipated values
    • G05B1/01—Comparing elements, i.e. elements for effecting comparison directly or indirectly between a desired value and existing or anticipated values electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/006—Identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0769—Readable error formats, e.g. cross-platform generic formats, human understandable formats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

システムの異常が、障害に起因した異常か、経年劣化に起因した異常かを判別する。監視装置（１００）は、モデル記憶部（１２２）、モデル生成部（１１２）、及び、判定部（１１４）を含む。モデル記憶部（１２２）は、システムの複数のメトリック間の関係性を示すモデルであって、一の時点のモデルである、監視用モデルを記憶する。モデル生成部（１１２）は、複数のメトリック間の関係性が監視用モデルに適合しない時点のモデルである、比較用モデルを生成する。判定部（１１４）は、監視用モデルにおいて関係性が示されているメトリック間の関係性が、比較用モデルにおいて示されている場合、システムのメトリック間の関係性が変化したと判定し、判定結果を出力する。

Description

本発明は、情報処理装置、情報処理方法、及び、記録媒体に関する。
化学プラントや石油精製プラント等のプラントシステムでは、経年劣化によって、配管の内壁にゴミ等が付着し、プラントの動作に支障をきたす可能性がある。このため、配管の定期的な点検や清掃が行われる。点検や清掃の間隔は、一般に、経験則に従って決められており、その間隔が適当であるかどうかは明らかでない。したがって、点検や清掃の間隔を適正化して保守コストを低減するために、経年劣化の発生を検出することが求められる。
プラントシステムの異常を検出するための技術として、例えば、特許文献１に記載されている不変関係分析が知られている。不変関係分析では、システムのメトリック（性能指標）間の統計的関係性を示す相関モデルが生成され、システムの挙動と相関モデル間に差異がある場合、システムの異常として検出される。
なお、関連技術として、特許文献２には、不変関係分析において、障害発生時に相関破壊が検出された相関関係の情報を用いて、不具合要因を推測する技術が開示されている。また、特許文献３には、不変関係分析において、正常時や異常時の相関破壊の分布を用いて、システムの障害の予兆を検出する技術が開示されている。
特許第４８７２９４４号公報 特許第５２６７７３６号公報 特許第５４５９４３１号公報
上述の特許文献１に記載の不変関係分析をプラントシステムに適用した場合、システムの異常（システムの挙動とモデルとの間に差異が生じた状態）は検出できる。しかしながら、検出されたシステムの異常が、障害に起因した異常か、経年劣化に起因した異常かを判別できないという課題があった。
本発明の目的は、上述した課題を解決し、システムの異常が、障害に起因した異常か、経年劣化に起因した異常かを判別できる、情報処理装置、情報処理方法、及び、記録媒体を提供することである。
本発明の情報処理装置は、システムの複数のメトリック間の関係性を示すモデルであって、一の時点のモデルである、第１のモデルを記憶するモデル記憶手段と、前記複数のメトリック間の関係性が前記第１のモデルに適合しない時点の前記モデルである、第２のモデルを生成するモデル生成手段と、前記第１のモデルにおいて関係性が示されているメトリック間の関係性が、前記第２のモデルにおいて示されている場合、前記システムのメトリック間の関係性が変化したと判定し、判定結果を出力する、判定手段と、を備える。
本発明の情報処理方法は、システムの複数のメトリック間の関係性を示すモデルであって、一の時点のモデルである、第１のモデルを記憶し、前記複数のメトリック間の関係性が前記第１のモデルに適合しない時点の前記モデルである、第２のモデルを生成し、前記第１のモデルにおいて関係性が示されているメトリック間の関係性が、前記第２のモデルにおいて示されている場合、前記システムのメトリック間の関係性が変化したと判定し、判定結果を出力する。
本発明のコンピュータが読み取り可能な記録媒体は、コンピュータに、システムの複数のメトリック間の関係性を示すモデルであって、一の時点のモデルである、第１のモデルを記憶し、前記複数のメトリック間の関係性が前記第１のモデルに適合しない時点の前記モデルである、第２のモデルを生成し、前記第１のモデルにおいて関係性が示されているメトリック間の関係性が、前記第２のモデルにおいて示されている場合、前記システムのメトリック間の関係性が変化したと判定し、判定結果を出力する、処理を実行させるプログラムを格納する。
本発明の効果は、システムの異常が、障害に起因した異常か、経年劣化に起因した異常かを判別できることである。
本発明の実施の形態の特徴的な構成を示すブロック図である。 本発明の実施の形態における、監視システム１の構成を示すブロック図である。 本発明の実施の形態における、コンピュータにより実現された監視装置１００の構成を示すブロック図である。 本発明の実施の形態における、監視装置１００の処理を示すフローチャートである。 本発明の実施の形態における、異常要因判定処理（ステップＳ１０５）の詳細を示すフローチャートである。 本発明の実施の形態における、監視用モデル１３２の例を示す図である。 本発明の実施の形態における、比較用モデル１３３の例を示す図である。 本発明の実施の形態における、異常要因判定の例を示す図である。 本発明の実施の形態における、判定結果履歴１３４の例を示す図である。 本発明の実施の形態における、関係式比較結果１３５の例を示す図である。 本発明の実施の形態における、判定結果画面２００の例を示す図である。 本発明の実施の形態における、比較用モデル１３３の他の例を示す図である。 本発明の実施の形態における、異常要因判定の他の例を示す図である。 本発明の実施の形態における、判定結果画面２００の他の例を示す図である。
（第１の実施の形態）
本発明の実施の形態について説明する。
はじめに、本発明の実施の形態の構成を説明する。図２は、本発明の実施の形態における、監視システム１の構成を示すブロック図である。
図２を参照すると、監視システム１は、監視装置１００、及び、対象システム５００（または、単にシステムとも記載する）を含む。監視装置１００と対象システム５００は、ネットワーク等により接続される。監視システム１は、本発明の情報処理システムの一実施形態である。また、監視装置１００は、本発明の情報処理装置の一実施形態である。
監視システム１は、例えば、プラントシステムである。この場合、対象システム５００は、例えば、化学プラントや、石油精製プラント、製鉄プラント等、所定の処理を行うプラントである。
対象システム５００は、センサ５０１を含む。センサ５０１は、対象システム５００における監視対象である、複数のメトリック（指標）の値を一定間隔毎に測定する。ここで、メトリックとして、例えば、対象システム５００の各部の温度や圧力、振動、電力、電圧、電流等が用いられる。また、メトリックとして、対象システム５００の各部における、原料や生産物の重さ、量、割合等が用いられてもよい。以下、監視対象の複数のメトリックを監視データとも呼ぶ。
監視装置１００は、対象システム５００の異常を検出する。
監視装置１００は、監視データ収集部１１１、モデル生成部１１２、分析部１１３、判定部１１４、出力部１１５、監視データ記憶部１２１、モデル記憶部１２２、及び、判定結果記憶部１２４を含む。
監視データ収集部１１１は、対象システム５００から監視データの時系列を収集する。
監視データ記憶部１２１は、収集した監視データの時系列を記憶する。
モデル生成部１１２は、監視データ記憶部１２１に記憶された、所定長のモデル化期間の監視データの時系列をもとに、監視対象の複数のメトリック間の統計的関係性（以下、単に関係性とも記載する）を表すモデルを生成する。モデル生成部１１２は、モデルとして、監視用モデル１３２（第１のモデル）、及び、比較用モデル１３３（第２のモデル）を生成する。監視用モデル１３２は、対象システム５００の正常動作時に生成されるモデルである。比較用モデル１３３は、対象システム５００の異常検出時に生成されるモデルである。ここで、対象システム５００の異常とは、対象システム５００のメトリック間の関係性が監視用モデル１３２に適合しない（対象システム５００の挙動と監視用モデル１３２との差異がある）状態である。
また、本発明の実施の形態では、モデル生成部１１２は、モデルとして、相関モデルを生成する。相関モデルは、監視対象の複数のメトリックの各ペア（対）の相関関係を示す関係式である、相関関数の集合である。
相関関数は、メトリックのペアの内の一方のメトリック（入力メトリック）の時刻ｔの値ｘ（ｔ）、他方のメトリック（出力メトリック）の時刻ｔの値をｙ（ｔ）とした場合、例えば、数１式で表される。
Figure 2016147656
ここで、ｎ（ｎは１以上の整数）、ｍ（ｍは１以上の整数）、ｋ（ｋは０以上の整数）は相関関数のパラメータ、ａｉ（１≦ｉ≦ｎ）、ｂｊ（１≦ｊ≦ｍ）、ｃは、相関関数の係数である。
モデル生成部１１２は、例えば、監視対象の複数のメトリックの全ペアについて、特許文献１の運用管理装置と同様に、相関関数を算出する。モデル生成部１１２は、例えば、メトリックの各ペアについて、パラメータｎ、ｍ、ｋの複数の組み合わせについて、相関関数を算出し、変換誤差が最小となるようなパラメータの組み合わせに対する相関関数を当該ペアの相関関数として選択する。さらに、モデル生成部１１２は、メトリックの全ペアの相関関数から、変換誤差が所定の閾値以下の相関関数（有効な相関関数）を抽出し、当該抽出された相関関数の集合を相関モデルに設定する。
モデル記憶部１２２は、モデル生成部１１２が生成した監視用モデル１３２、及び、比較用モデル１３３を記憶する。
分析部１１３は、監視用モデル１３２を用いて、対象システム５００の異常を検出する。
分析部１１３は、特許文献１の運用管理装置と同様に、新たに取得した監視データについて、監視用モデル１３２に含まれる相関関数に対する相関破壊を検出することにより、対象システム５００の異常を検出する。ここで、分析部１１３は、メトリックの各ペアについて、入力メトリックの測定値を相関関数に入力して得られた出力メトリックの予測値と、当該出力メトリックの測定値との差分（相関関数による変換誤差）を算出する。分析部１１３は、差分が所定値以上の場合、当該ペアの相関関数に対する相関破壊として検出する。そして、分析部１１３は、例えば、相関破壊が検出された相関関数の数が所定の閾値以上の場合、対象システム５００が異常であると判定する。
また、分析部１１３は、監視用モデル１３２に対する異常が検出されたときに、モデル生成部１１２に、比較用モデル１３３の生成を指示する。
判定部１１４は、監視用モデル１３２に対する異常が検出されたときに、監視用モデル１３２と比較用モデル１３３を比較することにより、当該異常の要因を判定する。
ここで、監視用モデル１３２で関係性が示されているメトリックと同じメトリック間の関係性が、比較用モデル１３３でも示されている場合は、例えば、経年変化等により、メトリック間の関係は保たれているが、関係の度合いが変化したと考えられる。一方、監視用モデル１３２で関係性が示されているメトリックと同じメトリック間の関係性が、比較用モデル１３３で示されていない場合は、例えば、障害等により、メトリック間の関連性が消失したと考えられる。
そこで、判定部１１４は、対象システム５００の異常の要因を、次のように判定する。判定部１１４は、監視用モデル１３２において関係性が示されているメトリック間の関係性が、比較用モデル１３３でも示されており、監視用モデル１３２と比較用モデル１３３との間で変化した相関関数の数が所定の閾値以上の場合、「関係性変化」と判定する。また、判定部１１４は、監視用モデル１３２において関係性が示されているメトリック間の関係性が、比較用モデル１３３で示されていない場合、「障害」と判定する。
また、判定部１１４は、「監視用モデル１３２において関係性が示されていると同じメトリック間の関係性（以下、対象関係性とも記載する）が、比較用モデル１３３でも示されているかどうか」を、次のように判定する。判定部１１４は、監視用モデル１３２のメトリックの全ペアの相関関数が比較用モデル１３３にも存在する場合、「対象関係性が、比較用モデル１３３でも示されている」と判定する。また、判定部１１４は、監視用モデル１３２のメトリックのペアの内の少なくとも１つのペアの相関関数が比較用モデル１３３に存在しない場合、「対象関係性が比較用モデル１３３では示されていない」と判定する。
判定結果記憶部１２４は、判定部１１４により生成された判定結果履歴１３４、及び、関係式比較結果１３５を記憶する。判定結果履歴１３４は、判定結果（「障害」または「関係性変化」）の履歴を示す。関係式比較結果１３５は、監視用モデル１３２と比較用モデル１３３の間の相関関数の比較結果を示す。
出力部１１５は、判定結果を示す判定結果画面２００を、ユーザ等に出力（表示）する。
なお、監視装置１００は、ＣＰＵ（Central Processing Unit）とプログラムを記憶した記憶媒体を含み、プログラムに基づく制御によって動作するコンピュータであってもよい。
図３は、本発明の実施の形態における、コンピュータにより実現された監視装置１００の構成を示すブロック図である。監視装置１００は、ＣＰＵ１０１、ハードディスクやメモリ等の記憶デバイス１０２（記憶媒体）、他の装置等とデータ通信を行う通信デバイス１０３、キーボード等の入力デバイス１０４、及び、ディスプレイ等の出力デバイス１０５を含む。
ＣＰＵ１０１は、監視装置１００、監視データ収集部１１１、モデル生成部１１２、分析部１１３、判定部１１４、及び、出力部１１５の機能を実現するためのコンピュータプログラムを実行する。記憶デバイス１０２は、監視データ記憶部１２１、モデル記憶部１２２、及び、判定結果記憶部１２４に格納される情報を記憶する。通信デバイス１０３は、対象システム５００から、監視データを受信する。入力デバイス１０４は、ユーザ等から、監視に係る指示を受け付ける。出力デバイス１０５は、ユーザ等へ、判定結果画面２００を出力（表示）する。
なお、監視装置１００の各構成要素は、独立した論理回路でもよい。また、監視装置１００の各構成要素は、有線または無線で接続された複数の物理的な装置に分散的に配置されていてもよい。
次に、本発明の実施の形態の動作を説明する。
図４は、本発明の実施の形態における、監視装置１００の処理を示すフローチャートである。
ここでは、監視データ収集部１１１が、対象システム５００において測定された監視データの値を、例えば、定期的に取得し、監視データ記憶部１２１に保存していると仮定する。
モデル生成部１１２は、監視用モデル１３２を生成する（ステップＳ１０１）。モデル生成部１１２は、生成した監視用モデル１３２をモデル記憶部１２２に保存する。
ここで、モデル生成部１１２は、対象システム５００が正常に動作しているときのモデル化期間の監視データをもとに、監視用モデル１３２を生成する。
図６は、本発明の実施の形態における、監視用モデル１３２の例を示す図である。図６の監視用モデル１３２では、入出力メトリックのペア「Ａ，Ｂ」、「Ａ，Ｃ」、「Ａ，Ｄ」、「Ｃ，Ｅ」、及び、「Ｃ，Ｆ」について、相関関数が設定されている。
例えば、モデル生成部１１２は、図６のような監視用モデル１３２を生成する。
分析部１１３は、監視用モデル１３２を用いて、新たに取得した監視データに対して、対象システム５００の異常の有無を監視する（ステップＳ１０２）。
ステップＳ１０２で異常が検出されない場合（ステップＳ１０３／Ｎ）、分析部１１３は、ステップＳ１０２からの処理を繰り返す。
ステップＳ１０２で異常が検出された場合（ステップＳ１０３／Ｙ）、分析部１１３は、モデル生成部１１２に、比較用モデル１３３の生成を指示する。
モデル生成部１１２は、比較用モデル１３３を生成する（ステップＳ１０４）。モデル生成部１１２は、生成した比較用モデル１３３をモデル記憶部１２２に保存する。
ここで、モデル生成部１１２は、異常検出時刻を含むモデル化期間、或いは、異常検出時刻近傍（例えば、異常検出時刻直後）のモデル化期間の監視データをもとに、上述の監視用モデル１３２の生成方法と同様の方法で、比較用モデル１３３を生成する。
図７は、本発明の実施の形態における、比較用モデル１３３の例を示す図である。図７の比較用モデル１３３でも、入出力メトリックのペア「Ａ，Ｂ」、「Ａ，Ｃ」、「Ａ，Ｄ」、「Ｃ，Ｅ」、及び、「Ｃ，Ｆ」について、相関関数が設定されている。
例えば、時刻Ｔ１１における異常検出時に、モデル生成部１１２は、図７のような比較用モデル１３３を生成する。
判定部１１４は、ステップＳ１０１で生成した監視用モデル１３２とステップＳ１０４で生成した比較用モデル１３３とを比較し、異常の要因が、対象システム５００の障害か、関係性の変化かを判定する（ステップＳ１０５）。
図５は、本発明の実施の形態における、異常要因判定処理（ステップＳ１０５）の詳細を示すフローチャートである。
はじめに、判定部１１４は、変化した相関関数の数をカウントするためのカウンタを初期化（０を設定）する（ステップＳ２０１）。
判定部１１４は、監視用モデル１３２に含まれる相関関数に係るメトリックのペアの中から、ペアを１つ選択する（ステップＳ２０２）。
判定部１１４は、比較用モデル１３３において、選択したメトリックのペアと同じペアに係る相関関数があるかどうかを判定する（ステップＳ２０３）。
ステップＳ２０３で同じペアに係る相関関数がある場合（ステップＳ２０３／Ｙ）、判定部１１４は、監視用モデル１３２と比較用モデル１３３との間で、相関関数が変化したかどうかを判定する（ステップＳ２０４）。
ここで、判定部１１４は、例えば、次のいずれかの条件を満たしている場合、相関関数が変化したと判定する。１）監視用モデル１３２と比較用モデル１３３との間で、数１式におけるパラメータｎ、ｍ、ｋの内の少なくとも１つの値が異なる場合。すなわち、出力メトリックｙ（ｔ）が依存する入出力メトリックｘ（ｔ）、ｙ（ｔ）の時間軸上の範囲が異なる場合や、時間軸上の移動がある場合。この場合、例えば、配管内の流れの滞り等により、相関関数の時間軸上の変化が生じたと考えられる。２）監視用モデル１３２と比較用モデル１３３との間で、数１式における係数ａｉ、ｂｊ、ｃの内の少なくとも１つの差分が所定の差分閾値以上の場合。すなわち、出力メトリックｙ（ｔ）が依存する各時刻の入出力メトリックｘ（ｔ）、ｙ（ｔ）の依存度が異なる場合。この場合、例えば、配管の詰まり等により、相関関数の絶対値方向の変化が生じたと考えられる。
ステップＳ２０４で相関関数が変化している場合（ステップＳ２０４／Ｙ）、判定部１１４は、カウンタに１を加算する（ステップＳ２０５）。
判定部１１４は、監視用モデル１３２に含まれる相関関数に係るメトリックの全ペアについて、ステップＳ２０２からの処理を繰り返す（ステップＳ２０６）。
メトリックの全ペアについて処理が行われた後で、カウンタの値が所定の閾値以上の場合（ステップＳ２０７／Ｙ）、判定部１１４は、異常の要因を、経年劣化等の「関係性変化」と判定し（ステップＳ２０８）、処理を終了する。
一方、ステップＳ２０３で同じペアに係る相関関数が無い場合（ステップＳ２０３／Ｎ）、判定部１１４は、異常の要因を対象システム５００の「障害」と判定し（ステップＳ２０９）、処理を終了する。
図８は、本発明の実施の形態における、異常要因判定の例を示す図である。
例えば、図６の監視用モデル１３２と図７の比較用モデル１３３とを比較した場合、監視用モデル１３２に含まれるメトリックの各ペアと同じペアに係る相関関数が、比較用モデル１３３にも存在する。また、監視用モデル１３２に含まれるメトリックの５つのペアの内、３つのペア「Ａ，Ｂ」、「Ａ，Ｃ」、「Ｃ，Ｅ」の相関関数が変化している。ここで、「関係性変化」と判定するための閾値が、監視用モデル１３２に含まれるメトリックのペアの数の２０％の場合、判定部１１４は、異常の要因を「関係性変化」と判定する。
次に、判定部１１４は、判定結果（「障害」、「関係性変化」）を、判定結果記憶部１２４の判定結果履歴１３４に登録する（ステップＳ１０６）。また、判定部１１４は、判定結果記憶部１２４に、関係式比較結果１３５も保存する。
図９は、本発明の実施の形態における、判定結果履歴１３４の例を示す図である。図１０は、本発明の実施の形態における、関係式比較結果１３５の例を示す図である。
例えば、判定部１１４は、異常検出時刻Ｔ１１について、図９のように、判定結果「関係性変化」を判定結果履歴１３４に登録する。また、判定部１１４は、異常検出時刻Ｔ１１について、図１０のような関係式比較結果１３５ａを保存する。
判定部１１４は、判定結果を、出力部１１５を介して、ユーザ等に出力する（ステップＳ１０７）。
図１１は、本発明の実施の形態における、判定結果画面２００の例を示す図である。図１１の例では、判定結果画面２００は、関係式比較領域２０１、及び、関係式表示領域２０２を含む。関係式比較領域２０１には、監視用モデル１３２と比較用モデル１３３との間の各相関関数の変化の有無が、当該相関関数に係るメトリック、及び、当該メトリックの値が測定される装置と関連付けて示されている。また、関係式表示領域２０２には、監視用モデル１３２と比較用モデル１３３に含まれる各相関関数が示されている。
例えば、出力部１１５は、図９の判定結果履歴１３４、及び、図１０の関係式比較結果１３５ａをもとに、図１１のような判定結果画面２００を生成し、ユーザ等へ出力（表示）する。
以下、ステップＳ１０２からの処理が繰り返し実行される。
図１２は、本発明の実施の形態における、比較用モデル１３３の他の例を示す図である。図１２の比較用モデル１３３では、入出力メトリックのペア「Ａ，Ｂ」、「Ａ，Ｃ」、及び、「Ａ，Ｄ」について、相関関数が設定されている。
例えば、時刻Ｔ２１における異常検出時に、モデル生成部１１２は、図１２のような比較用モデル１３３を生成する。
図１３は、本発明の実施の形態における、異常要因判定の他の例を示す図である。
例えば、図６の監視用モデル１３２と図１３の比較用モデル１３３とを比較した場合、監視用モデル１３２に含まれるメトリックのペア「Ｃ，Ｅ」、「Ｃ，Ｆ」と同じペアに係る相関関数が、比較用モデル１３３には存在しない。
したがって、判定部１１４は、異常の要因を「障害」と判定する。そして、判定部１１４は、異常検出時刻Ｔ２１について、図９のように、判定結果「障害」を判定結果履歴１３４に登録する。また、判定部１１４は、異常検出時刻Ｔ２１について、図１０のような関係式比較結果１３５ｂを保存する。
図１４は、本発明の実施の形態における、判定結果画面２１０の他の例を示す図である。図１４の例では、判定結果画面２１０は、関係式比較領域２１１を含む。関係式比較領域２１１には、監視用モデル１３２に含まれる各相関関数の、比較用モデル１３３における存在有無が、当該相関関数に係るメトリック、及び、当該メトリックの値が測定される装置と関連付けて示されている。
例えば、出力部１１５は、図９の判定結果履歴１３４、及び、図１０の関係式比較結果１３５ｂをもとに、図１４のような判定結果画面２１０を生成し、ユーザ等へ出力（表示）する。
なお、出力部１１５は、ユーザ等からの要求に応じて、さらに、判定結果履歴１３４により示される判定結果の履歴を表示してもよい。また、出力部１１５は、ユーザ等からの要求に応じて、指定された異常検出時刻について、判定結果画面２００、２１０を表示してもよい。
以上により、本発明の実施の形態の動作が完了する。
なお、本発明の実施の形態では、モデルとして相関モデルを用いた。しかしながら、これに限らず、メトリック間の統計的関係性を表すことができれば、モデルとして、統計処理の分野でよく知られた手法に基づく他のモデルを用いてもよい。例えば、モデルとして、自己回帰モデル、ロジスティック回帰モデル等の線形、非線形モデルや、確率分布モデルを用いてもよい。
また、判定部１１４は、監視用モデル１３２のメトリックの全ペアの相関関数が比較用モデル１３３に存在する場合、対象関係性が、比較用モデル１３３でも示されていると判定した。しかしながら、これに限らず、判定部１１４は、監視用モデル１３２のメトリックペアの内の、所定の閾値以上のペアの相関関数が比較用モデル１３３に存在する場合、対象関係性が比較用モデル１３３でも示されていると判定してもよい。
また、判定部１１４は、監視用モデル１３２のメトリックのペアの内の少なくとも１つのペアの相関関数が比較用モデル１３３に存在しない場合、対象関係性が比較用モデル１３３では示されていないと判定した。しかしながら、これに限らず、判定部１１４は、監視用モデル１３２のメトリックのペアの内の、所定の閾値以上のペアの相関関数が比較用モデル１３３に存在しない場合に、対象関係性が比較用モデル１３３で示されていないと判定してもよい。
また、判定部１１４は、対象関係性が比較用モデル１３３でも示されており、変化した相関関数の数が所定の閾値以上の場合、異常の要因を「関係性変化」と判定した。しかしながら、これに限らず、判定部１１４は、対象システム５００の異常が検出された場合に、対象関係性が比較用モデル１３３でも示されている場合、相関関数の変化を検出することなく、異常の要因を「関係性変化」と判定してもよい。
また、本発明の実施の形態では、相関関数の変化を、パラメータや係数の変化により検出した。しかしながら、これに限らず、相関関数の変化を、入力メトリックｘ（ｔ）の値の定義域に対する出力メトリックｙ（ｔ）の値のとりうる範囲をもとに検出してもよい。この場合、例えば、監視用モデル１３２と比較用モデル１３３との間で、出力メトリックｙ（ｔ）の値のとりうる範囲の差分が、所定の閾値以上の場合、相関関数が変化したと判定される。
また、本発明の実施の形態では、比較用モデル１３３の生成、及び、監視用モデル１３２と比較用モデル１３３の比較を、対象システム５００の異常検出時に行っている。しかしながら、これに限らず、対象システム５００の異常が検出されていなくても、例えば、定期的に、比較用モデル１３３を生成してもよい。この場合、判定部１１４は、監視用モデル１３２と比較用モデル１３３の間で、変化した相関関数の数が所定の閾値以上の場合、対象関係性が変化したと判定してもよい。
また、本発明の実施の形態では、対象システム５００がプラントの場合を例に説明した。しかしながら、これに限らず、監視対象の複数のメトリックの値を取得できれば、対象システム５００は、１以上のコンピュータを含むＩＴ（Information Technology）システムでもよい。この場合、メトリックとして、ＣＰＵ使用率、メモリ使用率、ディスクアクセス頻度等、コンピュータリソースやネットワークリソースの使用率、使用量等が用いられてもよい。また、対象システム５００は、発電所のシステムや、キャリアの通信設備、自動車や鉄道、航空機、船舶等の移動体でもよい。また、対象システム５００は、建物や橋梁等の構造物であってもよい。
次に、本発明の実施の形態の特徴的な構成を説明する。図１は、本発明の実施の形態の特徴的な構成を示すブロック図である。
監視装置１００（情報処理装置）は、モデル記憶部１２２、モデル生成部１１２、及び、判定部１１４を含む。モデル記憶部１２２は、システムの複数のメトリック間の関係性を示すモデルであって、一の時点のモデルである、監視用モデル１３２（第１のモデル）を記憶する。モデル生成部１１２は、複数のメトリック間の関係性が監視用モデル１３２に適合しない時点のモデルである、比較用モデル１３３（第２のモデル）を生成する。判定部１１４は、監視用モデル１３２において関係性が示されているメトリック間の関係性が、比較用モデル１３３において示されている場合、システムのメトリック間の関係性が変化したと判定し、判定結果を出力する。
次に、本発明の実施の形態の効果を説明する。
本発明の実施の形態によれば、システムの異常が、障害に起因した異常か、経年劣化に起因した異常かを判別できる。その理由は、モデル生成部１１２が、システムの異常検出時に比較用モデル１３３を生成し、判定部１１４が、監視用モデル１３２で関係性が示されているメトリック間の関係性が比較用モデル１３３で示されている場合、関係性が変化したと判定するためである。
また、本発明の実施の形態によれば、ユーザ等が、経年劣化の状況を容易に把握できる。その理由は、出力部１１５が、監視用モデル１３２と比較用モデル１３３の間の各相関関数の変化の有無、及び、監視用モデル１３２と比較用モデル１３３に含まれる各相関関数を示す判定結果画面２００を表示するためである。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１５年３月１６日に出願された日本出願特願２０１５−０５２２１４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１ 監視システム
１００ 監視装置
１０１ ＣＰＵ
１０２ 記憶デバイス
１０３ 通信デバイス
１０４ 入力デバイス
１０５ 出力デバイス
１１１ 監視データ収集部
１１２ モデル生成部
１１３ 分析部
１１４ 判定部
１１５ 出力部
１２１ 監視データ記憶部
１２２ モデル記憶部
１２４ 判定結果記憶部
１３２ 監視用モデル
１３３ 比較用モデル
１３４ 判定結果履歴
１３５ 関係式比較結果
２００ 判定結果画面
２０１ 関係式比較領域
２０２ 関係式表示領域
２１０ 判定結果画面
２１１ 関係式比較領域
５００ 対象システム
５０１ センサ

Claims (8)

  1. システムの複数のメトリック間の関係性を示すモデルであって、一の時点のモデルである、第１のモデルを記憶するモデル記憶手段と、
    前記複数のメトリック間の関係性が前記第１のモデルに適合しない時点の前記モデルである、第２のモデルを生成するモデル生成手段と、
    前記第１のモデルにおいて関係性が示されているメトリック間の関係性が、前記第２のモデルにおいて示されている場合、前記システムのメトリック間の関係性が変化したと判定し、判定結果を出力する、判定手段と、
    を備える情報処理装置。
  2. 前記判定手段は、前記第１のモデルにおいて関係性が示されているメトリック間の関係性が、前記第２のモデルにおいて示されていない場合、前記システムの障害が発生したと判定する、
    請求項１に記載の情報処理装置。
  3. 前記モデルは、前記複数のメトリック間の関係性を、当該複数のメトリックの内の一のメトリックと他のメトリックとの間のメトリックの値の関係式により示し、
    前記判定手段は、前記第１のモデルに含まれるメトリックのペアと同じペアの前記関係式が前記第２のモデルに存在する場合、前記第１のモデルにおいて関係性が示されているメトリック間の関係性が、前記第２のモデルにおいて示されていると判定する、
    請求項１または２に記載の情報処理装置。
  4. 前記判定手段は、前記第１のモデルに含まれるメトリックのペアと同じペアの前記関係式が前記第２のモデルに存在し、かつ、前記第１のモデルと前記第２のモデルとの間で変化した同じペアの前記関係式の数が所定の閾値以上の場合、前記システムのメトリック間の関係性が変化したと判定する、
    請求項３に記載の情報処理装置。
  5. 前記関係式は、前記一のメトリックの時刻ｔの値をｘ（ｔ）、前記他のメトリックの時刻ｔの値をｙ（ｔ）とした場合、パラメータｎ（ｎは１以上の整数）、ｍ（ｍは１以上の整数）、ｋ（ｋは０以上の整数）、及び、係数ａｉ（１≦ｉ≦ｎ）、ｂｊ（１≦ｊ≦ｍ）、ｃを用いて、次式で表され、
    Figure 2016147656
    前記判定手段は、前記第１のモデルと前記第２のモデルとの間で、同じペアの前記関係式の前記係数ａｉ、ｂｊ、及び、ｃのいずれかの差分が所定の閾値以上の場合、または、前記パラメータｎ、ｍ、ｋのいずれかが変化した場合、当該同じペアの関係式が変化したと判定する、
    請求項４に記載の情報処理装置。
  6. 前記判定手段は、前記第１のモデル、及び、前記第２のモデルの各々の、前記変化した関係式を出力する、
    請求項４または５に記載の情報処理装置。
  7. システムの複数のメトリック間の関係性を示すモデルであって、一の時点のモデルである、第１のモデルを記憶し、
    前記複数のメトリック間の関係性が前記第１のモデルに適合しない時点の前記モデルである、第２のモデルを生成し、
    前記第１のモデルにおいて関係性が示されているメトリック間の関係性が、前記第２のモデルにおいて示されている場合、前記システムのメトリック間の関係性が変化したと判定し、判定結果を出力する、
    情報処理方法。
  8. コンピュータに、
    システムの複数のメトリック間の関係性を示すモデルであって、一の時点のモデルである、第１のモデルを記憶し、
    前記複数のメトリック間の関係性が前記第１のモデルに適合しない時点の前記モデルである、第２のモデルを生成し、
    前記第１のモデルにおいて関係性が示されているメトリック間の関係性が、前記第２のモデルにおいて示されている場合、前記システムのメトリック間の関係性が変化したと判定し、判定結果を出力する、
    処理を実行させるプログラムを格納する、コンピュータが読み取り可能な記録媒体。
JP2017506097A 2015-03-16 2016-03-15 情報処理装置、情報処理方法、及び、プログラム Active JP6777069B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015052214 2015-03-16
JP2015052214 2015-03-16
PCT/JP2016/001466 WO2016147656A1 (ja) 2015-03-16 2016-03-15 情報処理装置、情報処理方法、及び、記録媒体

Publications (2)

Publication Number Publication Date
JPWO2016147656A1 true JPWO2016147656A1 (ja) 2017-12-28
JP6777069B2 JP6777069B2 (ja) 2020-10-28

Family

ID=56919609

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017506097A Active JP6777069B2 (ja) 2015-03-16 2016-03-15 情報処理装置、情報処理方法、及び、プログラム

Country Status (3)

Country Link
US (1) US10747188B2 (ja)
JP (1) JP6777069B2 (ja)
WO (1) WO2016147656A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10331802B2 (en) 2016-02-29 2019-06-25 Oracle International Corporation System for detecting and characterizing seasons
US10867421B2 (en) 2016-02-29 2020-12-15 Oracle International Corporation Seasonal aware method for forecasting and capacity planning
US10885461B2 (en) 2016-02-29 2021-01-05 Oracle International Corporation Unsupervised method for classifying seasonal patterns
US10198339B2 (en) * 2016-05-16 2019-02-05 Oracle International Corporation Correlation-based analytic for time-series data
US11082439B2 (en) 2016-08-04 2021-08-03 Oracle International Corporation Unsupervised method for baselining and anomaly detection in time-series data for enterprise systems
US10915830B2 (en) 2017-02-24 2021-02-09 Oracle International Corporation Multiscale method for predictive alerting
US10949436B2 (en) 2017-02-24 2021-03-16 Oracle International Corporation Optimization for scalable analytics using time series models
US11073825B2 (en) 2017-04-27 2021-07-27 Nec Corporation Causal relationship learning method, program, device, and anomaly analysis system
US10817803B2 (en) 2017-06-02 2020-10-27 Oracle International Corporation Data driven methods and systems for what if analysis
WO2018220813A1 (ja) * 2017-06-02 2018-12-06 富士通株式会社 判定装置、判定方法及び判定プログラム
US10823572B2 (en) * 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10997517B2 (en) 2018-06-05 2021-05-04 Oracle International Corporation Methods and systems for aggregating distribution approximations
US10963346B2 (en) 2018-06-05 2021-03-30 Oracle International Corporation Scalable methods and systems for approximating statistical distributions
US12001926B2 (en) 2018-10-23 2024-06-04 Oracle International Corporation Systems and methods for detecting long term seasons
US11138090B2 (en) 2018-10-23 2021-10-05 Oracle International Corporation Systems and methods for forecasting time series with variable seasonality
US10855548B2 (en) 2019-02-15 2020-12-01 Oracle International Corporation Systems and methods for automatically detecting, summarizing, and responding to anomalies
JP7248103B2 (ja) * 2019-03-26 2023-03-29 日本電気株式会社 異常検知方法、異常検知装置、プログラム
US11533326B2 (en) 2019-05-01 2022-12-20 Oracle International Corporation Systems and methods for multivariate anomaly detection in software monitoring
US11537940B2 (en) 2019-05-13 2022-12-27 Oracle International Corporation Systems and methods for unsupervised anomaly detection using non-parametric tolerance intervals over a sliding window of t-digests
US11334410B1 (en) * 2019-07-22 2022-05-17 Intuit Inc. Determining aberrant members of a homogenous cluster of systems using external monitors
US11887015B2 (en) 2019-09-13 2024-01-30 Oracle International Corporation Automatically-generated labels for time series data and numerical lists to use in analytic and machine learning systems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110708A (ja) * 1993-10-13 1995-04-25 Hitachi Ltd 故障診断装置および方法
JP2001184121A (ja) * 1999-12-22 2001-07-06 Mitsubishi Heavy Ind Ltd センサ劣化検知装置
WO2014091952A1 (ja) * 2012-12-14 2014-06-19 日本電気株式会社 センサ監視装置、センサ監視方法、及びセンサ監視プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7076695B2 (en) * 2001-07-20 2006-07-11 Opnet Technologies, Inc. System and methods for adaptive threshold determination for performance metrics
JP4872944B2 (ja) 2008-02-25 2012-02-08 日本電気株式会社 運用管理装置、運用管理システム、情報処理方法、及び運用管理プログラム
JP4913913B2 (ja) * 2010-04-28 2012-04-11 新日鉄ソリューションズ株式会社 情報処理システム、情報処理方法及びプログラム
US8880946B2 (en) 2010-06-07 2014-11-04 Nec Corporation Fault detection apparatus, a fault detection method and a program recording medium
JP5459431B2 (ja) 2013-07-08 2014-04-02 日本電気株式会社 運用管理装置および運用管理方法
US9880892B2 (en) * 2014-02-24 2018-01-30 International Business Machines Corporation System and method for managing semiconductor manufacturing defects
US20160378583A1 (en) * 2014-07-28 2016-12-29 Hitachi, Ltd. Management computer and method for evaluating performance threshold value

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110708A (ja) * 1993-10-13 1995-04-25 Hitachi Ltd 故障診断装置および方法
JP2001184121A (ja) * 1999-12-22 2001-07-06 Mitsubishi Heavy Ind Ltd センサ劣化検知装置
WO2014091952A1 (ja) * 2012-12-14 2014-06-19 日本電気株式会社 センサ監視装置、センサ監視方法、及びセンサ監視プログラム

Also Published As

Publication number Publication date
JP6777069B2 (ja) 2020-10-28
US10747188B2 (en) 2020-08-18
WO2016147656A1 (ja) 2016-09-22
US20180059628A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
WO2016147656A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
US11115295B2 (en) Methods and systems for online monitoring using a variable data
JP2017126363A (ja) 運用管理装置、運用管理方法、及びプログラム
JP6708203B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
EP2963553B1 (en) System analysis device and system analysis method
JP6489235B2 (ja) システム分析方法、システム分析装置、および、プログラム
WO2018073960A1 (ja) 表示方法、表示装置、および、プログラム
EP2880578A2 (en) Estimating remaining useful life from prognostic features discovered using genetic programming
WO2017126585A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
JP5971395B2 (ja) システム分析装置、及び、システム分析方法
JP6915693B2 (ja) システム分析方法、システム分析装置、および、プログラム
US10157113B2 (en) Information processing device, analysis method, and recording medium
JP6733656B2 (ja) 情報処理装置、情報処理システム、プラントシステム、情報処理方法、及び、プログラム
JP6627258B2 (ja) システムモデル生成支援装置、システムモデル生成支援方法、及び、プログラム
Sarada et al. On a random lead time and threshold shock model using phase‐type geometric processes
WO2021130936A1 (ja) 時系列データ処理方法
JP6973445B2 (ja) 表示方法、表示装置、および、プログラム
JP7355108B2 (ja) 予測方法、予測装置、記録媒体
JP6071464B2 (ja) 故障判断支援装置および方法、ならびにプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200921

R150 Certificate of patent or registration of utility model

Ref document number: 6777069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150