JP6772963B2 - 異常診断装置及び異常診断方法 - Google Patents

異常診断装置及び異常診断方法 Download PDF

Info

Publication number
JP6772963B2
JP6772963B2 JP2017110747A JP2017110747A JP6772963B2 JP 6772963 B2 JP6772963 B2 JP 6772963B2 JP 2017110747 A JP2017110747 A JP 2017110747A JP 2017110747 A JP2017110747 A JP 2017110747A JP 6772963 B2 JP6772963 B2 JP 6772963B2
Authority
JP
Japan
Prior art keywords
data
abnormality
determination
inspection
inspection target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017110747A
Other languages
English (en)
Other versions
JP2018206061A (ja
Inventor
憲治 尾嶋
憲治 尾嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017110747A priority Critical patent/JP6772963B2/ja
Priority to US15/946,053 priority patent/US10794941B2/en
Priority to CN201810437551.2A priority patent/CN108983744B/zh
Publication of JP2018206061A publication Critical patent/JP2018206061A/ja
Application granted granted Critical
Publication of JP6772963B2 publication Critical patent/JP6772963B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0208—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
    • G05B23/021—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system adopting a different treatment of each operating region or a different mode of the monitored system, e.g. transient modes; different operating configurations of monitored system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/08—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness for measuring thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R19/00—Arrangements for measuring currents or voltages or for indicating presence or sign thereof
    • G01R19/25—Arrangements for measuring currents or voltages or for indicating presence or sign thereof using digital measurement techniques
    • G01R19/2506—Arrangements for conditioning or analysing measured signals, e.g. for indicating peak values ; Details concerning sampling, digitizing or waveform capturing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R23/00—Arrangements for measuring frequencies; Arrangements for analysing frequency spectra
    • G01R23/16—Spectrum analysis; Fourier analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/36—Arrangements for testing, measuring or monitoring the electrical condition of accumulators or electric batteries, e.g. capacity or state of charge [SoC]
    • G01R31/367—Software therefor, e.g. for battery testing using modelling or look-up tables
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/24—Pc safety
    • G05B2219/24065—Real time diagnostics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G06F2218/16—Classification; Matching by matching signal segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Automation & Control Theory (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Description

本発明は異常診断装置及び異常診断方法に関する。
装置から出力されるデータに基づいて、装置の異常の有無を診断する技術が知られている。例えば、特許文献１では、プラントのセンサから取得されたプラントデータの波形画像を表示することで、異常の有無の判断を助ける技術が開示されている。また、特許文献２は、検査対象から出力される波形データの特徴量に基づいて、検査対象の異常の有無を判定することについて開示している。
特開２０１０−０４９５３３号公報 特開２００７−１０１２４３号公報
これらの文献で示される技術では、検査対象の異常の有無を決定づける所定の属性値の波形のみに着目して異常の有無が判断される。しかしながら、この属性値は他の条件に影響を受けるため、この属性値のみの波形からでは正確に異常の有無を判断することが困難である。したがって、判断に際し、この他の条件が考慮されることが好ましい。一方で、上述の他の条件が、複数の条件であることもある。このような場合には、全ての条件について考慮しつつ、異常の判定を行わなければならないため、その判定方法は複雑となってしまう恐れがある。
本発明は、上記した事情を背景としてなされたものであり、検査対象の異常の有無を容易かつ正確に診断することができる異常診断装置及び異常診断方法を提供することを目的とする。
上記目的を達成するための本発明の一態様は、検査対象に異常があるか否かについて診断する異常診断装置であって、前記検査対象から所定の時間にわたって取得される前記検査対象の異常の有無を決定づける所定の属性値の時系列データである検査データと、前記所定の時間の前記検査データに対応する、前記属性値に影響を及ぼす変数についての時系列データである変数データとを取得する時系列データ取得手段と、前記検査データの波形と前記変数データの波形とを重畳した画像データである重畳画像データを生成する重畳画像生成手段と、予め異常又は正常の判定値が付与されている前記重畳画像データと、前記重畳画像生成手段が生成した前記重畳画像データとの類似度に基づいて、前記検査対象の異常の有無を判定する判定手段とを有する異常診断装置である。
この異常診断装置によれば、検査対象の異常の有無を決定づける所定の属性値の波形データ（検査データ）のみならず、この属性値に影響を及ぼす変数についての波形データ（変数データ）を用いた判定が行われる。このため、検査データのみを用いた判定に比べ、より正確に判定することができる。また、この判定では、検査データと変数データとを重畳した画像についての類似度により異常の有無が判定される。このため、検査データと変数データとの関係などについて詳細な解析を要さず、容易に判定することができる。
上記の一態様において、前記判定手段は、予め異常又は正常の判定値が付与されている前記重畳画像データを用いて学習された判定モデルを用いて判定を行い、前記異常診断装置は、前記判定手段による判定方法とは異なる他の異常判定方法による、前記判定手段により判定された前記検査対象についての判定結果に基づいて、前記判定モデルを更新する判定モデル更新手段をさらに有してもよい。
このようにすることで、より正確な判定結果を判定モデルに反映させ、異常診断装置の判定精度を向上させることができる。
上記の一態様において、前記判定モデル更新手段は、前記類似度が所定の基準値未満である前記検査対象についての前記他の異常判定方法による判定結果に基づいて前記判定モデルを更新してもよい。
このようにすることで、判定精度が特に低いデータに対する判定精度を向上することができる。
上記の一態様において、前記検査データと前記変数データが、前記検査対象の前記所定の時間における動作中の時系列データであってもよい。
この場合、検査対象の動作中に発生する各種の値から検査対象の異常の有無を判定することができる。
上記の一態様において、前記変数データは、前記検査対象に対する所定の加工のための制御状態を示す値の時系列データであり、前記検査データは、前記所定の加工後の前記検査対象の状態を示す値の時系列データであってもよい。
この場合、検査対象の加工後の状態に影響を与える加工時の条件を考慮した診断を行うことができる。
また、上記目的を達成するための本発明の一態様は、検査対象に異常があるか否かについて診断する異常診断方法であって、前記検査対象から所定の時間にわたって取得される前記検査対象の異常の有無を決定づける所定の属性値の時系列データである検査データと、前記所定の時間の前記検査データに対応する、前記属性値に影響を及ぼす変数についての時系列データである変数データとを取得し、前記検査データの波形と前記変数データの波形とを重畳した画像データである重畳画像データを生成し、予め異常又は正常の判定値が付与されている前記重畳画像データと、生成した前記重畳画像データとの類似度に基づいて、前記検査対象の異常の有無を判定する異常診断方法である。
この異常診断方法では、検査対象の異常の有無を決定づける所定の属性値の波形データ（検査データ）のみならず、この属性値に影響を及ぼす変数についての波形データ（変数データ）を用いた判定が行われる。このため、検査データのみを用いた判定に比べ、より正確に判定することができる。また、この判定では、検査データと変数データとを重畳した画像についての類似度により異常の有無が判定される。このため、検査データと変数データとの関係などについて詳細な解析を要さず、容易に判定することができる。
上記の一態様において、複数の検査対象のうち前記類似度が所定の基準値未満である前記検査対象について、前記重畳画像データの前記類似度による判定方法とは異なる他の異常判定方法により異常の有無を判定してもよい。
この方法では、重畳画像データの類似度による判定が行われた全ての検査対象のうち、判定精度が低い一部の検査対象のみについて、他の異常判定方法を実施することができる。このため、効率的な異常判定が可能となる。
本発明によれば、検査対象の異常の有無を容易かつ正確に診断することができる異常診断装置及び異常診断方法を提供することができる。
実施の形態にかかる異常診断装置の機能構成の一例を示すブロック図である。 実施の形態にかかる異常診断装置のハードウェア構成の一例を示すブロック図である。 実施の形態にかかる異常診断装置を用いた異常診断方法の流れの一例を示すフローチャートである。 実施の形態にかかる異常診断装置を用いた異常診断方法の流れの別の例を示すフローチャートである。 実施の形態にかかる異常診断装置を用いた診断の第１の具体例を示す模式図である。 重畳画像生成部により生成される画像データの一例を示す模式図である。 実施の形態にかかる異常診断装置を用いた診断の第２の具体例を示す模式図である。 重畳画像生成部により生成される画像データの一例を示す模式図である。
以下、図面を参照して本発明の実施の形態について説明する。図１は、実施の形態にかかる異常診断装置１０の機能構成の一例を示すブロック図である。また、図２は、実施の形態にかかる異常診断装置１０のハードウェア構成の一例を示すブロック図である。
異常診断装置１０は、検査対象に異常があるか否かについて診断する装置である。異常診断装置１０は、図１に示されるように、時系列データ取得部１０１と、波形表示部１０２と、重畳画像生成部１０３と、特徴量算出部１０４と、判定部１０５と、判定結果出力部１０６と、判定結果入力部１０７と、判定モデル学習部１０８と、データベース１０９とを有する。
時系列データ取得部（時系列データ取得手段）１０１は、検査データと、変数データとを取得する。ここで、検査データとは、検査対象から所定の時間（以下、検出期間と称す。）にわたって取得される時系列データであり、かつ、検査対象の異常の有無を決定づける所定の属性値の時系列データである。検査データは、例えば、検査対象の動作中の出力値又は状態値の時系列データにより構成されるデータでもよいし、検査対象に対して所定の測定を行った際の時系列データにより構成されるデータでもよい。また、変数データは、上述の属性値に影響を及ぼす変数についての時系列データである。なお、時系列データ取得部１０１により取得される変数データは、上記検出期間における検査データに対応する時系列データである。
例えば、検査データと変数データは、検査対象の上記検出期間における動作中の時系列データである。又は、例えば、変数データは、検査対象に対する所定の加工のための制御状態を示す値の時系列データであり、検査データは、この所定の加工後の検査対象の状態を示す値の時系列データである。
時系列データ取得部１０１は、変数データとして、複数の変数についてのそれぞれの時系列データを取得してもよい。また、時系列データ取得部１０１は、検査データとして、複数の属性値の時系列データを取得してもよい。
なお、時系列データ取得部１０１は、任意の方法により時系列データを取得すればよい。例えば、時系列データ取得部１０１は、異常診断装置１０と接続された検査対象から直接取得してもよいし、当該検査対象と接続された測定器から取得してもよいし、記録媒体に記録された時系列データを読み出すことにより取得してもよい。また、時系列データ取得部１０１は、有線又は無線により接続したネットワークを介して取得してもよい。
波形表示部１０２は、時系列データ取得部１０１により取得された時系列データの波形をディスプレイ１１に表示する。波形表示部１０２は、時系列データ取得部１０１により取得された時系列データのそれぞれの波形を重畳して表示する。
重畳画像生成部（重畳画像生成手段）１０３は、検査データの波形と変数データの波形とを重畳した画像データである重畳画像データを生成する。すなわち、重畳画像生成部１０３は、時系列データ取得部１０１により取得された時系列データのそれぞれの波形画像を全て重畳した画像データを生成する。重畳画像生成部１０３は、波形表示部１０２による表示画像を画像データとしてメモリ１２に記憶する。これにより、重畳画像データが生成される。なお、重畳画像生成部１０３は、任意の方法により、上述の重畳画像データを生成すればよく、生成方法は限定されない。
特徴量算出部１０４は、重畳画像生成部１０３により生成された重畳画像データについて、所定の特徴量を算出する。なお、ここで算出される所定の特徴量は、判定部１０５で用いられる判定モデルに対応した画像特徴量である。具体的には、この画像特徴量は、例えば、Ｇｒｉｄ Ｆｏｕｒｉｅｒ又はＬｉｎｅ Ｄｉｒｅｃｔｉｏｎなどであるが、これらに限定されない。
判定部（判定手段）１０５は、予め異常又は正常の判定値が付与されている重畳画像データと、検査対象に対して重畳画像生成部１０３が生成した重畳画像データとの類似度に基づいて、検査対象の異常の有無を判定する。判定部１０５は、具体的には、予め異常又は正常の判定値が付与されている重畳画像データを用いて学習された判定モデルを用いて類似度を判定する。判定モデルは、予め異常又は正常の判定値が付与されている多数の重畳画像データの特徴量を用いて、学習されている。なお、学習に用いられる重畳画像データは、検査対象に対して時系列データ取得部１０１が取得する変数データと同じ変数の変数データと、検査対象に対して時系列データ取得部１０１が取得する検査データと同じ属性の検査データである。学習に用いられる各重畳画像データについては、例えば他の異常判定手法による判定結果に基づいて異常又は正常のいずれかの判定値が対応づけられている。
判定モデルは、例えば、任意の機械学習を用いて生成されるモデルである。このような判定モデルの一例としては、ランダムフォレスト、ＳＶＭ（サポートベクターマシン）、ディープラーニングなどが挙げられるが、これらに限られない。
具体的には、判定部１０５は、データベース１０９に格納された判定モデルを読み出し、この判定モデルに対して特徴量算出部１０４により算出された特徴量を入力することで、検査対象の異常又は正常を判定する。なお、データベース１０９が複数の判定モデルを格納している場合には、複数の判定モデルのうち、今回行う検査内容に対応する判定モデルを読み出して、判定を行う。例えば、判定部１０５は、判定モデルを利用することにより、判定値が予め付与されている複数の重畳画像データのうち、検査対象についての重畳画像データとの類似度合いが、所定の基準値以上であり、かつ、最も高いものに対応づけられている判定値（すなわち、正常又は異常）を検査対象の判定値とする。
判定結果出力部１０６は、判定部１０５により判定された判定結果、すなわち判定値を出力する。例えば、判定結果出力部１０６は、判定値をディスプレイ１１に出力する。
判定結果入力部１０７は、判定部１０５による判定方法とは異なる他の異常判定方法による判定結果の入力を受け付ける。すなわち、判定結果入力部１０７は、判定部１０５により判定された検査対象についての他の異常判定方法による判定結果の入力を受け付ける。ここで、他の異常判定方法は、例えば、判定部１０５による判定よりも判定精度の高い任意の異常判定方法である。判定結果入力部１０７は、ユーザからの入力を受け付けてもよいし、他の異常診断装置などから送信された判定結果を受け付けてもよい。判定結果入力部１０７は、受け付けた判定結果を、当該検査対象の重畳画像データ又はその特徴量と対応づけてデータベース１０９に格納する。
判定モデル学習部（判定モデル更新手段）１０８は、予め異常又は正常の判定値が付与されている重畳画像データを用いて判定モデルの学習を行う。また、判定モデル学習部１０８は、判定結果入力部１０７に入力された判定結果に基づいて、判定モデルを更新する。このようにすることで、例えば他の異常判定方法による、より正確な判定結果を判定モデルに反映させ、異常診断装置１０の判定精度を向上させることができる。
データベース１０９は、判定処理に用いられる種々のデータを格納する。データベース１０９には、具体的には、判定モデルの学習に用いられる重畳画像データと、これに対応づけられた判定値と、判定モデルとが、格納されている。また、判定結果入力部１０７が入力を受け付けた場合には、判定結果入力部１０７が取得した判定結果と、これに対応する重畳画像データとが、データベース１０９に格納されることとなる。
次に、異常診断装置１０のハードウェア構成の一例について説明する。図２に示されるように、異常診断装置１０は、ディスプレイ１１、メモリ１２、及びプロセッサ１３を含む。
ディスプレイ１１は、任意の画像を表示する表示装置であり、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、プラズマディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどのフラットパネルディスプレイであってもよい。
メモリ１２は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２は、プロセッサ１３から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１３は、図示されていない入出力インタフェースを介してメモリ１２にアクセスしてもよい。メモリ１２は、プロセッサ１３により実行されるソフトウェア（コンピュータプログラム）などを格納するために使用される。
プロセッサ１３は、メモリ１２からソフトウェア（コンピュータプログラム）を読み出して実行することで、時系列データ取得部１０１、波形表示部１０２、重畳画像生成部１０３、特徴量算出部１０４、判定部１０５、判定結果出力部１０６、判定結果入力部１０７、及び、判定モデル学習部１０８を実現する。このように、異常診断装置１０は、コンピュータとしての機能を備えている。プロセッサ１３は、例えば、マイクロプロセッサ、ＭＰＵ、又はＣＰＵであってもよい。プロセッサ１３は、複数のプロセッサを含んでもよい。
なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、Compact Disc Read Only Memory（CD-ROM）、CD-R、CD-R/W、半導体メモリ（例えば、マスクROM、Programmable ROM（PROM）、Erasable PROM（EPROM）、フラッシュROM、Random Access Memory（RAM））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
データベース１０９は、例えば、メモリ１２などの記憶装置により実現されてもよい。なお、本実施の形態では、異常診断装置１０がデータベース１０９を備える構成を一例として示しているが、データベース１０９は異常診断装置１０とは別に設けられてもよい。すなわち、異常診断装置１０は、他の装置に設けられたデータベース１０９から情報を取得してもよい。
また、時系列データ取得部１０１、波形表示部１０２、重畳画像生成部１０３、特徴量算出部１０４、判定部１０５、判定結果出力部１０６、判定結果入力部１０７、及び、判定モデル学習部１０８は、プログラムによるソフトウェアでの実現に限ることなく、これらがハードウェア回路により実現されてもよいし、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現されてもよい。
次に、異常診断装置１０を用いた異常診断方法について説明する。図３は、異常診断装置１０を用いた異常診断方法の流れの一例を示すフローチャートである。以下、図３に示すフローチャートに沿って、異常診断方法の流れの一例について説明する。
ステップ１００（Ｓ１００）において、時系列データ取得部１０１が、検査データ及び変数データの時系列データを取得する。
次に、ステップ１０１（Ｓ１０１）において、波形表示部１０２がステップ１００で取得された時系列データの波形をディスプレイ１１に表示する。
次に、ステップ１０２（Ｓ１０２）において、重畳画像生成部１０３が検査データの波形及び変数データの波形を重畳した画像データを生成する。
次に、ステップ１０３（Ｓ１０３）において、特徴量算出部１０４は、ステップ１０２で生成された画像データについての所定の特徴量を算出する。
次に、ステップ１０４（Ｓ１０４）において、判定部１０５が、特徴量の類似度に基づいて、検査対象の異常の有無を判定する。具体的には、判定部１０５は、ステップ１０３で算出された特徴量を、予め学習された判定モデルに適用し、検査対象の異常の有無を判定する。
次に、ステップ１０５（Ｓ１０５）において、判定結果出力部１０６は、ステップ１０４における判定結果をディスプレイ１１に表示する。
次に、ステップ１０６（Ｓ１０６）において、ステップ１０４における判定が行われた検査対象についての他の異常判定方法による診断が行われる。なお、この診断は、人による検査又は異常診断装置１０とは別の装置による検査などによって行われる。なお、図３に示したフローチャートでは、他の異常判定方法による診断がステップ１０５の後に行われているが、ステップ１０５よりも前に行われてもよい。
次に、ステップ１０７（Ｓ１０７）において、判定結果入力部１０７が、ステップ１０６の診断による判定結果の入力を受け付ける。
次に、ステップ１０８（Ｓ１０８）において、判定モデル学習部１０８は、ステップ１０４における判定結果とステップ１０７において入力された判定結果とが同じであるか否かを判定する。両判定結果が同じである場合、本方法は終了する。なお、別の検査対象がある場合には、本ステップの後、別の検査対象について上述のフローが行われる。
両判定結果が異なる場合、ステップ１０９（Ｓ１０９）において、判定モデル学習部１０８は、ステップ１０７で入力された判定結果を用いて、判定モデルを更新する。その後、本方法は、終了する。なお、別の検査対象がある場合には、本ステップの後、別の検査対象について上述のフローが行われる。
図３を参照して異常診断装置１０を用いた異常診断方法について説明したが、図４示すような異常診断方法が実施されてもよい。図４は、異常診断装置１０を用いた異常診断方法の流れの別の例を示すフローチャートである。以下、図４に示すフローチャートに沿って、異常診断方法の流れの別の例について説明する。なお、図４に示したフローチャートは、ステップ１０５までが図３に示したフローチャートと同じである。したがって、ステップ１０５以降の流れについて、説明する。
図４に示したフローチャートでは、ステップ１０５の後、ステップ１１０が行われる。ステップ１１０（Ｓ１１０）において、判定部１０５は、検査対象についての重畳画像データと、予め異常又は正常の判定値が付与されている重畳画像データとの類似度が所定の基準値未満であるか否かについて判定する。類似度が基準値以上である場合、本方法は終了する。なお、別の検査対象がある場合には、本ステップの後、別の検査対象について上述のフローが行われる。
類似度が基準値未満である場合、ステップ１１１（Ｓ１１１）において、ステップ１０６と同様、ステップ１０４における判定が行われた検査対象についての他の異常判定方法による診断が行われる。すなわち、本方法では、複数の検査対象のうち類似度が所定の基準値未満である検査対象について、重畳画像データの類似度による判定方法とは異なる他の異常判定方法により異常の有無を判定する。言い換えると、本方法では、異常診断装置１０により検査される全ての検査対象に対して他の異常判定方法による診断が行われるのではなく、類似度が所定の基準値未満である検査対象についてのみ他の異常判定方法による診断が行われる。したがって、この方法では、重畳画像データの類似度による判定が行われた全ての検査対象のうち、判定精度が低い一部の検査対象のみについて、他の異常判定方法が実施される。このため、効率的な異常判定が可能となる。
次に、ステップ１１２（Ｓ１１２）において、ステップ１０７と同様、判定結果入力部１０７が、ステップ１１１の診断による判定結果の入力を受け付ける。
次に、ステップ１１３（Ｓ１１３）において、ステップ１０９と同様、判定モデル学習部１０８は、ステップ１１２で入力された判定結果を用いて、判定モデルを更新する。その後、本方法は、終了する。なお、別の検査対象がある場合には、本ステップの後、別の検査対象について上述のフローが行われる。
このように、本方法では、判定モデル学習部１０８は、類似度が所定の基準値未満である検査対象についての他の異常判定方法による判定結果に基づいて判定モデルを更新する。このため、本方法では、判定精度が特に低いデータに対する判定精度を向上することができる。
次に、異常診断装置１０を用いた検査対象の診断の具体例について説明する。第１の例（図５参照）は、検査対象である製品２０の電圧測定検査による診断の例である。なお、図５に示す例において、製品２０は、例えば燃料電池であるが、検査対象の製品はこれに限られない。
この例では、図５に示すように、製品２０は、測定装置２００に取り付けられ、測定装置２００により検査データ及び変数データの時系列データが測定される。測定装置２００は、圧力計２０１Ａ、２０１Ｂ、温度計２０２Ａ、２０２Ｂ、電流計２０３、及び電圧計２０４によりこれらの時系列データを測定する。圧力計２０１Ａは、製品２０の発電に必要な反応ガスの入力側の圧力を測定する。圧力計２０１Ｂは、製品２０の発電に必要な反応ガスの出力側の圧力を測定する。温度計２０２Ａは、発電時に製品２０の冷却を行うための冷却水の入力側の水温を測定する。温度計２０２Ｂは、発電時に製品２０の冷却を行うための冷却水の出力側の水温を測定する。電流計２０３は、電源２０５により製品２０に供給される電流の電流値を測定する。電圧計２０４は、製品２０による発電により得られる電圧値を測定する。
圧力計２０１Ａ、２０１Ｂ、温度計２０２Ａ、２０２Ｂ、電流計２０３の各測定値は、電圧計２０４の測定値と関連がある。すなわち、圧力計２０１Ａ、２０１Ｂ、温度計２０２Ａ、２０２Ｂ、電流計２０３の各測定値の時系列データは、変数データに相当する。また、電圧計２０４の測定値は、検査データに相当する。つまり、この具体例では、電圧が、製品２０の異常の有無を決定づける属性値である。各測定値は、異常診断装置１０に入力される。したがって、図５に示した例では、時系列データ取得部１０１は、製品２０が検査のために動作している期間（検査期間）である第１の時刻ｔ１から第２の時刻ｔ２までの期間の各測定値（すなわち、圧力計２０１Ａ、２０１Ｂ、温度計２０２Ａ、２０２Ｂ、電流計２０３、及び電圧計２０４から送信される各時系列データ）についての時系列データを取得する。このように、図５に示した例では、検査データと変数データは、検査対象の検出期間における動作中の時系列データである。したがって、変数データは、検出期間における検査データに対応する時系列データである。
図６は、重畳画像生成部１０３により生成される画像データの一例を示す模式図である。図６に示される各画像のうち左側の４つは、時系列データ取得部１０１が取得した各時系列データの波形を示す画像である。左側の上から１番目の画像は、電流計２０３の測定値を示す波形の画像である。左側の上から２番目の画像は、温度計２０２Ａ、２０２Ｂの測定値を示す波形の画像である。左側の上から３番目の画像は、圧力計２０１Ａ、２０１Ｂの測定値を示す波形の画像である。左側の上から４番目の画像は、電圧計２０４の測定値を示す波形の画像である。そして、これらの画像の波形を重畳した画像が図６の右側に示される画像である。特徴量算出部１０４は、この重畳画像についての特徴量を算出し、判定部１０５は算出された特徴量に基づいて、製品２０の異常の有無を判定する。
本具体例では、上述の通り、検査データと変数データが、検査対象の所定の時間における動作中の時系列データである。このため、検査対象の動作中に発生する各種の値から検査対象の異常の有無を判定することができる。具体的には、動作中の電流値、温度値、及び圧力値を考慮して、動作中の電圧の異常、すなわち製品２０の異常を判定することができる。なお、本具体例では、燃料電池を例に挙げたが、これに限らず任意の製品が診断対象となりうる。
次に、別の具体例について説明する。第２の例（図７参照）は、検査対象である製品３０に対するロボット３００Ａ〜３００Ｄの加工結果に異常がないか否かを診断する例である。なお、図７に示す例において、製品３０は、例えば自動車のボディであるが、検査対象の製品はこれに限られない。また、加工内容として、一例としてボディへの塗料の塗布を挙げるが、加工内容はこれに限られない。
この例では、図７に示すように、製品３０に対し、ロボット３００Ａ〜３００Ｄが塗料を塗布する加工を行う。加工時のロボット３００Ａ〜３００Ｄの制御状態を示すパラメータの各値は、変数データとして、異常診断装置１０に入力される。このパラメータは、例えば、塗料の吹き出し口の向きを変更するための軸の回転角度であるが、これに限定されない。例えば、吹き出す塗料の量であってもよい。このため、ロボット３００Ａ〜３００Ｄによる加工が行われている際のパラメータの値の時系列データが、時系列データ取得部１０１に取得される。
ロボット３００Ａ〜３００Ｄのパラメータの値は、加工結果（ここでの例では、塗膜の膜厚）と関連がある。すなわち、ロボット３００Ａ〜３００Ｄのパラメータの値の時系列データは、変数データに相当する。また、加工結果である膜厚は、検査データに相当する。つまり、この具体例では、膜厚が、製品３０の異常の有無を決定づける属性値である。なお、検査データは、加工後の製品３０に対する測定により得られる。膜厚は、加工後に、膜厚センサ（測定器３０１）により測定される。センサにより、塗装が行われた領域の各位置について、順次、膜厚が測定される。このため、各測定値が時系列データを構成することとなる。この時系列データについても、検査データとして時系列データ取得部１０１に取得される。したがって、図７に示した例では、時系列データ取得部１０１が取得する変数データは、検査対象である製品３０に対する所定の加工のための制御状態を示す値の時系列データであり、時系列データ取得部１０１が取得する検査データは、所定の加工後の製品３０の状態を示す値の時系列データである。
ここで、検査データは、予め定められたペースで各位置の測定が連続的に行われることにより得られる測定値である。例えば、ロボット３００Ａ〜３００Ｄによる加工が第１の期間の間、行われ、加工後の測定が、第２の期間の間、行われたとする。この場合、変数データは、第１の期間における時系列データであり、検査データは、第２の期間における時系列データである。ただし、この第２の期間、すなわち検出期間は、第１の期間においてなされた加工の結果を測定するのに要する期間である。言い換えると、第１の期間の変数データは、第２の期間（検出期間）における検査データに対応する時系列データともいえる。なお、変数データの取得と検査データの取得が並行して行われてもよい。すなわち、例えば、加工作業が進行中に、加工後の領域についての検査データの取得が行われてもよい。
図８は、重畳画像生成部１０３により生成される画像データの一例を示す模式図である。図８に示される各画像のうち左側の５つは、図７に示した具体例において、時系列データ取得部１０１が取得した各時系列データの波形を示す画像である。左側の上から１番目の画像は、ロボット３００Ａの変動データを示す波形の画像である。左側の上から２番目の画像は、ロボット３００Ｂの変動データを示す波形の画像である。左側の上から３番目の画像は、ロボット３００Ｃの変動データを示す波形の画像である。左側の上から４番目の画像は、ロボット３００Ｄの変動データを示す波形の画像である。左側の上から５番目の画像は、検査データを示す波形の画像である。
そして、これらの画像の波形を重畳した画像が図８の右側に示される画像である。特徴量算出部１０４は、この重畳画像についての特徴量を算出し、判定部１０５は算出された特徴量に基づいて、製品３０の異常の有無を判定する。
本具体例では、上述の通り、変数データは、検査対象に対する所定の加工のための制御状態を示す値の時系列データであり、検査データは、所定の加工後の検査対象の状態を示す値の時系列データである。このため、検査対象の加工後の状態に影響を与える加工時の条件を考慮した診断を行うことができる。具体的には、加工時のロボット３００Ａ〜３００Ｄのパラメータの値を考慮して、加工結果の異常、すなわち製品３０の異常を判定することができる。なお、本具体例では、自動車の塗装を例に挙げたが、これに限らず任意の製品の任意の加工についての診断が可能である。
以上、実施の形態にかかる異常診断装置１０について説明した。異常診断装置１０によれば、検査対象の異常の有無を決定づける属性値の波形データである検査データのみならず、この属性値に影響を及ぼす変数についての波形データである変数データを用いた判定が行われる。このため、検査対象の異常の有無を決定づける属性値のみを用いた判定に比べ、より正確に異常の有無を判定することができる。さらに、異常診断装置１０は、検査データの波形と変数データの波形とを重畳した画像についての類似度により異常を判定する。このため、検査データと変数データとの関係などについて詳細な解析を要さず、容易に判定することができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
１０ 異常診断装置
１０１ 時系列データ取得部
１０２ 波形表示部
１０３ 重畳画像生成部
１０４ 特徴量算出部
１０５ 判定部
１０６ 判定結果出力部
１０７ 判定結果入力部
１０８ 判定モデル学習部
１０９ データベース

Claims (7)

  1. 検査対象に異常があるか否かについて診断する異常診断装置であって、
    前記検査対象から所定の時間にわたって取得される前記検査対象の異常の有無を決定づける所定の属性値の時系列データである検査データと、前記所定の時間の前記検査データに対応する、前記属性値に影響を及ぼす変数についての時系列データである変数データとを取得する時系列データ取得手段と、
    前記検査データの波形と前記変数データの波形とを重畳した画像データである重畳画像データを生成する重畳画像生成手段と、
    予め異常又は正常の判定値が付与されている前記重畳画像データと、前記重畳画像生成手段が生成した前記重畳画像データとの類似度に基づいて、前記検査対象の異常の有無を判定する判定手段と
    を有する異常診断装置。
  2. 前記判定手段は、予め異常又は正常の判定値が付与されている前記重畳画像データを用いて学習された判定モデルを用いて判定を行い、
    前記異常診断装置は、前記判定手段による判定方法とは異なる他の異常判定方法による、前記判定手段により判定された前記検査対象についての判定結果に基づいて、前記判定モデルを更新する判定モデル更新手段をさらに有する
    請求項１に記載の異常診断装置。
  3. 前記判定モデル更新手段は、前記類似度が所定の基準値未満である前記検査対象についての前記他の異常判定方法による判定結果に基づいて前記判定モデルを更新する
    請求項２に記載の異常診断装置。
  4. 前記検査データと前記変数データが、前記検査対象の前記所定の時間における動作中の時系列データである
    請求項１乃至３のいずれか１項に記載の異常診断装置。
  5. 前記変数データは、前記検査対象に対する所定の加工のための制御状態を示す値の時系列データであり、前記検査データは、前記所定の加工後の前記検査対象の状態を示す値の時系列データである
    請求項１乃至３のいずれか１項に記載の異常診断装置。
  6. 検査対象に異常があるか否かについて診断する異常診断方法であって、
    前記検査対象から所定の時間にわたって取得される前記検査対象の異常の有無を決定づける所定の属性値の時系列データである検査データと、前記所定の時間の前記検査データに対応する、前記属性値に影響を及ぼす変数についての時系列データである変数データとを取得し、
    前記検査データの波形と前記変数データの波形とを重畳した画像データである重畳画像データを生成し、
    予め異常又は正常の判定値が付与されている前記重畳画像データと、生成した前記重畳画像データとの類似度に基づいて、前記検査対象の異常の有無を判定する
    異常診断方法。
  7. 複数の検査対象のうち前記類似度が所定の基準値未満である前記検査対象について、前記重畳画像データの前記類似度による判定方法とは異なる他の異常判定方法により異常の有無を判定する
    請求項６に記載の異常診断方法。
JP2017110747A 2017-06-05 2017-06-05 異常診断装置及び異常診断方法 Active JP6772963B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017110747A JP6772963B2 (ja) 2017-06-05 2017-06-05 異常診断装置及び異常診断方法
US15/946,053 US10794941B2 (en) 2017-06-05 2018-04-05 Abnormality diagnosis apparatus and abnormality diagnosis method
CN201810437551.2A CN108983744B (zh) 2017-06-05 2018-05-09 异常诊断设备和异常诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017110747A JP6772963B2 (ja) 2017-06-05 2017-06-05 異常診断装置及び異常診断方法

Publications (2)

Publication Number Publication Date
JP2018206061A JP2018206061A (ja) 2018-12-27
JP6772963B2 true JP6772963B2 (ja) 2020-10-21

Family

ID=64459474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017110747A Active JP6772963B2 (ja) 2017-06-05 2017-06-05 異常診断装置及び異常診断方法

Country Status (3)

Country Link
US (1) US10794941B2 (ja)
JP (1) JP6772963B2 (ja)
CN (1) CN108983744B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6456580B1 (ja) * 2018-06-14 2019-01-23 三菱電機株式会社 異常検知装置、異常検知方法及び異常検知プログラム
CN110108929B (zh) * 2019-05-22 2021-01-26 电子科技大学 一种抗干扰型雷电流采集装置
JP7204584B2 (ja) * 2019-06-14 2023-01-16 ルネサスエレクトロニクス株式会社 異常検知システム、異常検知装置および異常検知方法
JP7363407B2 (ja) * 2019-11-21 2023-10-18 オムロン株式会社 追加学習装置、方法、及びプログラム
CN113157760A (zh) * 2020-01-22 2021-07-23 阿里巴巴集团控股有限公司 目标数据确定方法及装置
JP7482662B2 (ja) * 2020-03-25 2024-05-14 東京エレクトロン株式会社 異常検出装置及び異常検出方法
WO2022091291A1 (ja) * 2020-10-29 2022-05-05 日本電気株式会社 情報処理装置、情報処理方法および記録媒体
WO2022153645A1 (ja) * 2021-01-12 2022-07-21 三菱電機株式会社 計測装置、計測方法および射出成形装置
KR20230096364A (ko) * 2021-12-23 2023-06-30 (주)아이티공간 Gan 알고리즘을 이용한 기기의 예지 보전방법
CN116972914B (zh) * 2023-09-22 2023-12-26 华夏天信智能物联股份有限公司 变频一体机智能测试方法和***

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6952662B2 (en) * 2000-03-30 2005-10-04 Smartsignal Corporation Signal differentiation system using improved non-linear operator
JP4359777B2 (ja) 2005-09-30 2009-11-04 オムロン株式会社 支援装置
US8700550B1 (en) * 2007-11-30 2014-04-15 Intellectual Assets Llc Adaptive model training system and method
JP2010049533A (ja) 2008-08-22 2010-03-04 Toshiba Corp データ表示装置
JP5301310B2 (ja) * 2009-02-17 2013-09-25 株式会社日立製作所 異常検知方法及び異常検知システム
US8660368B2 (en) * 2011-03-16 2014-02-25 International Business Machines Corporation Anomalous pattern discovery
JP5808605B2 (ja) * 2011-08-17 2015-11-10 株式会社日立製作所 異常検知・診断方法、および異常検知・診断システム
JP5337853B2 (ja) * 2011-09-12 2013-11-06 株式会社日立製作所 発電プラントの診断装置、及び発電プラントの診断方法
JP6076751B2 (ja) * 2013-01-22 2017-02-08 株式会社日立製作所 異常診断方法およびその装置
JP6523815B2 (ja) * 2015-06-22 2019-06-05 株式会社日立製作所 プラント診断装置及びプラント診断方法
CN105467975B (zh) * 2015-12-29 2018-08-03 山东鲁能软件技术有限公司 一种设备故障诊断方法
CN105631596B (zh) * 2015-12-29 2020-12-29 山东鲁能软件技术有限公司 一种基于多维分段拟合的设备故障诊断方法
US10915558B2 (en) * 2017-01-25 2021-02-09 General Electric Company Anomaly classifier
US10375098B2 (en) * 2017-01-31 2019-08-06 Splunk Inc. Anomaly detection based on relationships between multiple time series

Also Published As

Publication number Publication date
CN108983744A (zh) 2018-12-11
JP2018206061A (ja) 2018-12-27
CN108983744B (zh) 2021-05-14
US20180348269A1 (en) 2018-12-06
US10794941B2 (en) 2020-10-06

Similar Documents

Publication Publication Date Title
JP6772963B2 (ja) 異常診断装置及び異常診断方法
CN109202538B (zh) 热位移修正装置
JP6610987B2 (ja) 異常診断方法及び異常診断システム
JP2017038844A5 (ja)
JP2013073414A (ja) プラントのセンサ診断装置およびセンサ診断方法
JP7468724B2 (ja) 配管診断装置、配管診断方法、及びプログラム
CN108983001A (zh) 曲面屏触控性能测试控制方法、装置及测试***
WO2020085327A1 (ja) 診断装置及び診断方法
TW201640080A (zh) 使用預先定義的工作流程來收集現場測量資料
US11982998B2 (en) Manufacturing monitoring assistance device, manufacturing monitoring assistance method, and manufacturing monitoring assistance program
JP5746480B2 (ja) 解析結果表示装置および解析結果表示方法
US20230395411A1 (en) Data collection system, data collection apparatus, data collection method, and data collection program
JP2020129233A (ja) 異常検知装置
CN117095236A (zh) 一种用于评估叶根轮槽试验精确性的方法及***
ES2852401T3 (es) Método, dispositivo y sistema de posicionamiento para posicionar un sensor
JP7223947B2 (ja) 製造条件計算装置、製造条件計算方法及び製造条件計算プログラム
JP2006088160A (ja) 溶接位置検査装置および溶接位置検査プログラム
CN114459615A (zh) 一种应用于红外热成像测温设备的补偿的方法及装置
US20230003626A1 (en) Crack estimation device, crack estimation method, crack inspection method, and failure diagnosis method
JP5363089B2 (ja) 推定用多項式生成装置、入力パラメータ極性通知装置、推定装置および方法
JP6879863B2 (ja) サーボ機構の診断装置及び診断方法並びに診断プログラム
TWI792086B (zh) 行動式設備診斷裝置及設備診斷資訊顯示方法
CN117074181B (zh) 曲面柔性屏的压力测试方法、装置、设备及存储介质
CN116678086B (zh) 基于卷积神经网络的室内温度控制方法及***
CN112798628B (zh) 利用oct成像检测工业内部缺陷的可行性验证方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190827

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200826

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200914

R151 Written notification of patent or utility model registration

Ref document number: 6772963

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151