JP2021163162A - 学習データ処理装置、学習データ処理方法、学習データ処理プログラム、及び非一時的なコンピュータ読み取り可能な媒体 - Google Patents
学習データ処理装置、学習データ処理方法、学習データ処理プログラム、及び非一時的なコンピュータ読み取り可能な媒体 Download PDFInfo
- Publication number
- JP2021163162A JP2021163162A JP2020063701A JP2020063701A JP2021163162A JP 2021163162 A JP2021163162 A JP 2021163162A JP 2020063701 A JP2020063701 A JP 2020063701A JP 2020063701 A JP2020063701 A JP 2020063701A JP 2021163162 A JP2021163162 A JP 2021163162A
- Authority
- JP
- Japan
- Prior art keywords
- value
- data
- data processing
- learning
- outlier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
【解決手段】学習データ処理装置10は、学習モデルを生成する学習装置30において用いられる学習データを少なくとも1種類の測定値を含む時系列データに基づいて生成するデータ処理部12を備える。データ処理部12は、時系列データのうちの1つ又は複数の所定期間に含まれる測定値の統計値と、統計値に基づく外れ値判定上限値又は外れ値判定下限値の少なくとも一方とを算出し、所定期間に含まれる測定値のうち外れ値判定上限値以上又は外れ値判定下限値以下の少なくとも一方となる測定値を時系列データから除外する第1除外処理、又は、時系列データに含まれる測定値のうち所定条件を満たす測定値を時系列データから除外する第2除外処理のうち少なくとも一方の除外処理を実行する。
【選択図】図3
Description
図1に示されるように、比較例に係る学習システム9は、測定対象から測定値を取得するデータ入出力装置92と、学習装置93と、学習モデル記憶装置94と、判定装置95とを備える。学習システム9は、測定値をモデルに適用することによって測定対象のメンテナンスのタイミングを判定する。学習システム9は、測定値を適用するモデルとして、学習データに基づく学習モデルを生成する。
図3に示されるように、本開示の一実施形態に係る学習システム1は、学習データ処理装置10と、データ入出力装置20と、学習装置30と、学習モデル記憶装置40と、判定装置50と、データ記憶装置60と、出力装置70とを備える。
学習システム1は、測定対象の物理量を測定して得られた測定値にモデルを適用することによって測定対象の状態を評価し、測定対象に対してとるべきアクションを判定する。測定対象は、例えばプラントの配管若しくはポンプ等の設備、又は、電気設備等を含んでよい。また、学習システム1は、プラントに限られず、センサによって物理量を測定する必要がある設備等を有するサイト等にも適用される。つまり、測定対象は、サイトの設備を含んでよい。
以下、学習システム1の各構成部の具体例が説明される。
学習システム1において、学習装置30が生成する学習モデルの精度が高いほど、判定装置50は、測定対象の状態を高精度で判定できる。学習モデルの精度は、測定対象から得られた測定値に基づいて判定される測定対象の状態が実際の状態と一致する確率に対応し得る。また、学習モデルの精度は、測定対象から得られた測定値に基づいて算出される測定対象の状態を表すスコアが実際の状態に対応するスコアにどの程度近いかに対応し得る。
データ処理部12は、時系列データに含まれる全ての測定値(例えば、図2のP1、P2及びP3を含む全期間の測定値)の統計値を算出する。本実施形態において、データ処理部12は、統計値として測定値の平均値及び標準偏差を算出する。データ処理部12は、統計値として、例えば中央値、最大値若しくは最小値、又は、第1四分位若しくは第3四分位等の他の種々の統計量を算出してもよい。
データ処理部12は、時系列データに含まれる所定の物理量の測定値が所定条件を満たす場合、その測定値を除外データとして特定する。具体的には、データ処理部12は、測定対象が稼働していない可能性が高いときに取得されたデータを除外データとして特定して除外する停止時データ除外処理を実行する。
例えば図4に示される時系列データにおいて、Xで表される測定値は、除外データとして特定されることが望まれる。Xで表される測定値は、期間P6に含まれる他の測定値に対して大きい差を有する。一方で、Xで表される測定値は、全期間(期間P4)に含まれる測定値の一部の測定値(期間P5に含まれる測定値)に対して小さい差しか有しない。そうしてみると、全期間(期間P4)に含まれる測定値に対して上述の外れ値除外処理が実行された場合、Xで表される測定値は、除外データとして特定されにくい。
瞬時値除外処理において設定される一部の期間は、判定対象期間とも称される。データ処理部12は、瞬時値除外処理において除外データを適切に特定できるように、例えば以下に述べる方法によって判定対象期間の長さを設定してよい。
時系列データは、例えば、以下の表1に示されるように、タグA、タグB及びタグCそれぞれの測定値を含むとする。タグは、測定値を取得するセンサの識別子である。タグA、タグB及びタグCはそれぞれ、測定対象の加速度、速度及び温度を測定するセンサに対応する。各タグの測定値は、時刻データと関連づけられる。表1において、時系列データは、TM1からTM5までの5つの時刻における各タグの測定値を含むとする。表1に示されるセルのうち、網掛けのハッチングが付されているセルの測定値は、除外データに対応する。
以上述べてきたように、本実施形態に係る学習システム1において、学習データ処理装置10は、異常な測定値、又は、測定対象が稼働していない期間に得られる測定値を特定して学習データから除外できる。その結果、学習モデルを生成するという観点において学習データの品質が高められる。また、測定対象の管理者又は保全作業者等のユーザが異常な測定値を指定したり測定対象が稼働していない期間の測定値を指定したりすることなく、学習データの品質が簡便に高められる。
学習データ処理装置10は、時系列データを処理して学習データを生成する学習データ処理方法として、図8のフローチャートに例示される手順を実行してよい。図8のフローチャートに例示される手順は、学習データ処理装置10のデータ処理部12を構成するプロセッサに実行させる学習データ処理プログラムとして実現されてもよい。学習データ処理プログラムは、電磁記憶媒体等の非一時的なコンピュータ読み取り可能な媒体に格納されてもよい。
一実施形態に係る学習システム1は、少なくとも一部の構成部を、クラウドコンピュータ上のハードウェア資源によって実現してもよい。例えば、学習装置30、学習モデル記憶装置40、又は判定装置50等は、クラウドコンピュータ上のサーバ又は記憶装置等のハードウェア資源によって実現されてよい。
10 学習データ処理装置(12:データ処理部、14:入力部)
20 データ入出力装置
30 学習装置
40 学習モデル記憶装置
50 判定装置
60 データ記憶装置
70 出力装置
Claims (8)
- 学習モデルを生成する学習装置において用いられる学習データを、少なくとも1種類の測定値を含む時系列データに基づいて生成するデータ処理部を備え、
前記データ処理部は、前記時系列データのうちの1つ又は複数の所定期間に含まれる測定値の統計値と、前記統計値に基づく外れ値判定上限値又は外れ値判定下限値の少なくとも一方とを算出し、前記所定期間に含まれる測定値のうち前記外れ値判定上限値以上又は前記外れ値判定下限値以下の少なくとも一方となる測定値を前記時系列データから除外する第1除外処理、又は、
前記時系列データに含まれる測定値のうち所定条件を満たす測定値を前記時系列データから除外する第2除外処理
のうち少なくとも一方の除外処理を実行する、学習データ処理装置。 - 前記データ処理部は、前記第1除外処理及び前記第2除外処理を両方とも実行する、請求項1に記載の学習データ処理装置。
- 前記第1除外処理は、前記複数の所定期間における除外処理を行う場合に、前記時系列データのうちの異なる複数の所定期間に含まれる測定値の前記統計値と、前記統計値に基づく外れ値判定上限値又は外れ値判定下限値の少なくとも一方とを算出し、前記複数の所定期間のそれぞれに含まれる測定値のうち前記外れ値判定上限値以上又は前記外れ値判定下限値以下の少なくとも一方となる測定値を前記時系列データから除外する処理を含む、請求項1又は2に記載の学習データ処理装置。
- 前記複数の所定期間は、第1所定期間と、前記第1所定期間のうちの一部の期間である第2所定期間とを含み、
前記第1除外処理は、
前記第1所定期間に含まれる測定値の第1統計値と、前記第1統計値に基づく第1外れ値判定上限値又は第1外れ値判定下限値の少なくとも一方を算出し、前記第1所定期間に含まれる測定値のうち前記第1外れ値判定上限値以上又は前記第1外れ値判定下限値以下の少なくとも一方となる測定値を除外する第3除外処理と、
前記第3除外処理を実行することによって得られた除外後の測定値のうち前記第2所定期間に含まれる除外後の測定値の第2統計値と、前記第2統計値に基づく第2外れ値判定上限値又は第2外れ値判定下限値の少なくとも一方を算出し、前記第2所定期間に含まれる前記除外後の測定値のうち前記第2外れ値判定上限値以上又は前記第2外れ値判定下限値以下の少なくとも一方となる測定値を除外する第4除外処理と
を含む、請求項3に記載の学習データ処理装置。 - 前記データ処理部は、前記時系列データの自己相関に基づいて前記第2所定期間の長さを設定する、請求項4に記載の学習データ処理装置。
- 学習モデルを生成する学習装置において用いられる学習データを、少なくとも1種類の測定値を含む時系列データに基づいて生成する学習データ処理方法であって、
前記時系列データのうちの1つ又は複数の所定期間に含まれる測定値の統計値と、前記統計値に基づく外れ値判定上限値又は外れ値判定下限値の少なくとも一方とを算出し、前記所定期間に含まれる測定値のうち前記外れ値判定上限値以上又は前記外れ値判定下限値以下の少なくとも一方となる測定値を前記時系列データから除外する第1ステップ、又は、
前記時系列データに含まれる測定値のうち所定条件を満たす測定値を前記時系列データから除外する第2ステップ
のうち少なくとも一方のステップを含む、学習データ処理方法。 - プロセッサに、学習モデルを生成する学習装置において用いられる学習データを、少なくとも1種類の測定値を含む時系列データに基づいて生成させる、学習データ処理プログラムであって、
前記時系列データのうちの1つ又は複数の所定期間に含まれる測定値の統計値と、前記統計値に基づく外れ値判定上限値又は外れ値判定下限値の少なくとも一方とを算出し、前記所定期間に含まれる測定値のうち前記外れ値判定上限値以上又は前記外れ値判定下限値以下の少なくとも一方となる測定値を前記時系列データから除外する第1ステップ、又は、
前記時系列データに含まれる測定値のうち所定条件を満たす測定値を前記時系列データから除外する第2ステップ
のうち少なくとも一方のステップを前記プロセッサに実行させる、学習データ処理プログラム。 - プロセッサに、学習モデルを生成する学習装置において用いられる学習データを、少なくとも1種類の測定値を含む時系列データに基づいて生成させる学習データ処理プログラムを格納する非一時的なコンピュータ読み取り可能な媒体であって、
前記学習データ処理プログラムは、
前記時系列データのうちの1つ又は複数の所定期間に含まれる測定値の統計値と、前記統計値に基づく外れ値判定上限値又は外れ値判定下限値の少なくとも一方とを算出し、前記所定期間に含まれる測定値のうち前記外れ値判定上限値以上又は前記外れ値判定下限値以下の少なくとも一方となる測定値を前記時系列データから除外する第1ステップ、又は、
前記時系列データに含まれる測定値のうち所定条件を満たす測定値を前記時系列データから除外する第2ステップ
のうち少なくとも一方のステップを前記プロセッサに実行させる、非一時的なコンピュータ読み取り可能な媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020063701A JP7205514B2 (ja) | 2020-03-31 | 2020-03-31 | 学習データ処理装置、学習データ処理方法、学習データ処理プログラム、及び非一時的なコンピュータ読み取り可能な媒体 |
US17/206,731 US20220036235A1 (en) | 2020-03-31 | 2021-03-19 | Learning data processing device, learning data processing method and non-transitory computer-readable medium |
EP21164597.3A EP3889850A1 (en) | 2020-03-31 | 2021-03-24 | Learning data processing device, learning data processing method and non-transitory computer-readable medium |
CN202110351043.4A CN113468151B (zh) | 2020-03-31 | 2021-03-31 | 学习数据处理装置、学习数据处理方法和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020063701A JP7205514B2 (ja) | 2020-03-31 | 2020-03-31 | 学習データ処理装置、学習データ処理方法、学習データ処理プログラム、及び非一時的なコンピュータ読み取り可能な媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021163162A true JP2021163162A (ja) | 2021-10-11 |
JP7205514B2 JP7205514B2 (ja) | 2023-01-17 |
Family
ID=75203210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020063701A Active JP7205514B2 (ja) | 2020-03-31 | 2020-03-31 | 学習データ処理装置、学習データ処理方法、学習データ処理プログラム、及び非一時的なコンピュータ読み取り可能な媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220036235A1 (ja) |
EP (1) | EP3889850A1 (ja) |
JP (1) | JP7205514B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014059910A (ja) * | 2009-08-28 | 2014-04-03 | Hitachi Ltd | 設備状態監視方法 |
JP2016057651A (ja) * | 2014-09-05 | 2016-04-21 | 株式会社明電舎 | 時系列データの解析方法及び時系列データの異常監視装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8010324B1 (en) * | 2005-05-09 | 2011-08-30 | Sas Institute Inc. | Computer-implemented system and method for storing data analysis models |
US7346471B2 (en) * | 2005-09-02 | 2008-03-18 | Microsoft Corporation | Web data outlier detection and mitigation |
US20180107450A1 (en) * | 2016-10-17 | 2018-04-19 | Tata Consultancy Services Limited | System and method for data pre-processing |
JP2018077757A (ja) | 2016-11-11 | 2018-05-17 | 横河電機株式会社 | 情報処理装置、情報処理方法、情報処理プログラム及び記録媒体 |
US10636007B2 (en) * | 2017-05-15 | 2020-04-28 | Tata Consultancy Services Limited | Method and system for data-based optimization of performance indicators in process and manufacturing industries |
US12019433B2 (en) * | 2018-08-03 | 2024-06-25 | Nec Corporation | Periodicity analysis apparatus, method and program recording medium |
-
2020
- 2020-03-31 JP JP2020063701A patent/JP7205514B2/ja active Active
-
2021
- 2021-03-19 US US17/206,731 patent/US20220036235A1/en active Pending
- 2021-03-24 EP EP21164597.3A patent/EP3889850A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014059910A (ja) * | 2009-08-28 | 2014-04-03 | Hitachi Ltd | 設備状態監視方法 |
JP2016057651A (ja) * | 2014-09-05 | 2016-04-21 | 株式会社明電舎 | 時系列データの解析方法及び時系列データの異常監視装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3889850A1 (en) | 2021-10-06 |
JP7205514B2 (ja) | 2023-01-17 |
CN113468151A (zh) | 2021-10-01 |
US20220036235A1 (en) | 2022-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107766299B (zh) | 数据指标异常的监控方法及其***、存储介质、电子设备 | |
JP6076571B1 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
US11067973B2 (en) | Data collection system, abnormality detection method, and gateway device | |
TWI663510B (zh) | 設備保養預測系統及其操作方法 | |
Joekes et al. | An improved attribute control chart for monitoring non-conforming proportion in high quality processes | |
US10585423B2 (en) | Data processing apparatus, data processing system, data processing method, and program | |
US20140269339A1 (en) | System for analysing network traffic and a method thereof | |
WO2020066052A1 (ja) | 監視システム及び監視方法 | |
JP2020052714A5 (ja) | ||
WO2019229977A1 (ja) | 推定システム、推定方法及び推定プログラム | |
JP6618846B2 (ja) | 管理装置および制御方法 | |
WO2019071438A1 (zh) | 对流程行业中的设备进行状态监测的方法、装置及介质 | |
JPWO2020188696A1 (ja) | 異常検知装置および異常検知方法 | |
JP6948197B2 (ja) | プロセス監視装置 | |
JP2011008756A (ja) | シミュレーション評価システム | |
US10613830B2 (en) | Data processing device, data processing method, and storage medium | |
JP6273835B2 (ja) | 状態判定装置、状態判定方法および状態判定プログラム | |
JP2021163162A (ja) | 学習データ処理装置、学習データ処理方法、学習データ処理プログラム、及び非一時的なコンピュータ読み取り可能な媒体 | |
JP2015108953A (ja) | 演算装置 | |
CN113468151B (zh) | 学习数据处理装置、学习数据处理方法和介质 | |
CN110956193A (zh) | 用于改进边界偏移检测的方法、***、制品和装置 | |
JP2007164346A (ja) | 決定木変更方法、異常性判定方法およびプログラム | |
KR101977214B1 (ko) | 이상치 탐지 방법, 이를 이용하는 장치 및 시스템 | |
WO2020261621A1 (ja) | 監視システム、監視方法及びプログラム | |
KR20160053977A (ko) | 모델 적응을 위한 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220323 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221014 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221014 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221101 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7205514 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |