JP7434073B2 - モデル運用支援システム及び方法 - Google Patents
モデル運用支援システム及び方法 Download PDFInfo
- Publication number
- JP7434073B2 JP7434073B2 JP2020103530A JP2020103530A JP7434073B2 JP 7434073 B2 JP7434073 B2 JP 7434073B2 JP 2020103530 A JP2020103530 A JP 2020103530A JP 2020103530 A JP2020103530 A JP 2020103530A JP 7434073 B2 JP7434073 B2 JP 7434073B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- period
- model
- training data
- candidates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000012549 training Methods 0.000 claims description 101
- 238000012360 testing method Methods 0.000 claims description 40
- 238000011156 evaluation Methods 0.000 claims description 32
- 238000009826 distribution Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 13
- 230000007717 exclusion Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000002085 persistent effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 229910052704 radon Inorganic materials 0.000 description 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Algebra (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
・一つ以上のI/O(Input/Output)インターフェースデバイス。I/O(Input/Output)インターフェースデバイスは、I/Oデバイスと遠隔の表示用計算機とのうちの少なくとも一つに対するインターフェースデバイスである。表示用計算機に対するI/Oインターフェースデバイスは、通信インターフェースデバイスでよい。少なくとも一つのI/Oデバイスは、ユーザインターフェースデバイス、例えば、キーボード及びポインティングデバイスのような入力デバイスと、表示デバイスのような出力デバイスとのうちのいずれでもよい。
・一つ以上の通信インターフェースデバイス。一つ以上の通信インターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス(例えば一つ以上のNIC(Network Interface Card))であってもよいし二つ以上の異種の通信インターフェースデバイス(例えばNICとHBA(Host Bus Adapter))であってもよい。
・1次元離散分布の場合、二つのサンプルA及びBに関し、それぞれがソートされ、element-wiseな差の絶対値の和が、SWDである。
・同じ分布からサンプリングされたサンプルのSWDの大きさは、サンプルサイズ(集合における要素の数)に依存する。例えば、輸送される必要がある要素が多ければ、SWDは大きい。
・分布のばらつき具合にSWDの大きさは依存する。例えば、輸送距離が長ければ、SWDは大きい。
・S707の判定結果が真でるか偽であるかは、自動デプロイすることが予め設定されているか否かでよい。
・S707の判定結果が真でるか偽であるかは、再学習後の学習モデルの評価が、第2の評価以上であるか、或いは、第1の評価以上であるが第2の評価未満であるかでよい。
Claims (13)
- 第1の期間の終了時刻から機械学習の学習モデルの再学習タイミングまでの期間である全体期間のうちの一つ以上の第2の期間の各々について、対象データとベースデータとの分布間距離を算出する分布間距離算出部と、
前記一つ以上の第2の期間の各々について、前記対象データは、全体データのうちの当該第2の期間分のデータであり、
前記全体データは、前記全体期間分のデータであって前記学習モデルに関わるデータであり、
前記ベースデータは、前記第1の期間分のデータであって前記学習モデルの作成に関わったデータであり、
前記一つ以上の第2の期間の各々について、前記算出された分布間距離が第1の閾値以上であるか否かを判定し、当該判定の結果が真の場合に当該第2の期間に従う時刻を変動点として特定する変動点特定部と、
前記全体データの一部又は全部から前記全体期間のうちの一つ以上の期間にそれぞれ対応した一つ以上の訓練データ候補を一つ以上の変動点に基づいて決定する候補決定部と、
前記決定された一つ以上の訓練データ候補又はそれのメタ情報を前記学習モデルの再学習のために出力する結果出力部と
を備えるモデル運用支援システム。 - 前記結果出力部は、前記決定された一つ以上の訓練データ候補又はそれのメタ情報を表示したユーザインターフェースを提供し、
前記メタ情報は、前記決定された一つ以上の訓練データ候補の各々について、当該訓練データ候補に対応した期間の開始時刻及び終了時刻を表す情報を含み、
前記決定された一つ以上の訓練データ候補の各々について、当該訓練データ候補に対応した期間の開始時刻及び終了時刻のうちの少なくとも一方が、いずれかの変動点である、
請求項1に記載のモデル運用支援システム。 - 前記分布間距離算出部は、前記一つ以上の第2の期間の各々について、前記対象データのうちの複数のサブ対象データ集合と、前記ベースデータのうちの複数のサブベースデータ集合とのそれぞれの分布間距離を基に、前記対象データと前記ベースデータとの分布間距離を算出し、
前記候補決定部が、分布間距離が連続的に第1の閾値未満第2の閾値以上である期間があれば、前記全体期間から当該期間を除いた期間分のデータから、訓練データ候補を決定する、
請求項1に記載のモデル運用支援システム。 - 前記一つ以上の第2の期間の各々について、前記対象データは、当該第2の期間に属する複数の対象データ要素の集合であり、
前記ベースデータは、複数のベースデータ要素の集合であり、
前記分布間距離算出部は、前記一つ以上の第2の期間の各々について、
前記複数の対象データ要素の複数のラベルのうち二つ以上のラベルの各々について、K(Kは自然数)のサブ対象集合とKのサブベース集合とのそれぞれの分布間距離であるKのサブ分布間距離を算出し、Kのサブ分布間距離を基に当該ラベルについて分布間距離を算出し、
前記二つ以上のラベルにそれぞれ対応した二つ以上の分布間距離を基に、前記対象データと前記ベースデータとの分布間距離を算出し、
前記複数のラベルの各々について、
Kのサブ対象集合は、当該ラベルが関連付いた対象データ要素の集合におけるKの集合であり、
Kのサブベース集合は、当該ラベルが関連付いたベースデータ要素の集合におけるKの集合であり、
サブ対象集合毎の対象データ要素の数と、サブベース集合毎のベースデータ要素の数は、同数である、
請求項1に記載のモデル運用支援システム。 - 一つ以上の無効ラベルがあれば、前記二つ以上のラベルは、前記複数のラベルのうちの前記一つ以上の無効ラベル以外のラベルである二つ以上の有効ラベルであり、
各無効ラベルは、対象データ要素の数が所定数未満であるラベルである、
請求項4に記載のモデル運用支援システム。 - 推論モデルへの入力と推論モデルからの出力とを含む推論の傾向の変化度合が一定度合以上になったか否かを監視するモデル監視部、
を更に備え、
前記再学習タイミングは、前記変化度合が前記一定度合以上であることが検出されたタイミングであり、
前記変化度合が前記一定度合以上になったことが検出された場合、前記一つ以上の変動点の特定、及び、前記一つ以上の訓練データ候補の決定が行われる、
請求項1に記載のモデル運用支援システム。 - 前記再学習タイミングが検出された場合、
前記結果出力部が、前記決定された一つ以上の訓練データ候補を前記学習モデルの再学習のために出力し、
前記結果出力部が、当該再学習後の学習モデルの評価を行い、
当該評価が第1の評価以上であり第2の評価未満の場合、前記結果出力部が、前記決定された一つ以上の訓練データ候補又はそれのメタ情報を提示し、
当該評価が前記第2の評価以上の場合、前記決定された一つ以上の訓練データ候補又はそれのメタ情報を提示すること無しに、前記結果出力部が、推論モデルを前記学習モデルから前記再学習後の学習モデルに差し替えることであるモデルデプロイを行う、
請求項1に記載のモデル運用支援システム。 - 前記一つ以上の訓練データ候補は、ラベル別に異なる期間の訓練データ候補である、
請求項1に記載のモデル運用支援システム。 - ラベルの無い対象データ要素がある場合、当該対象データ要素に対する疑似ラベルを生成する疑似ラベル生成部、
を更に備える請求項4に記載のモデル運用支援システム。 - 前記結果出力部が、一つ以上の訓練データ候補が決定された場合、当該一つ以上の訓練データ候補を前記学習モデルの再学習のために出力して、当該再学習後の学習モデルの評価を行い、
当該評価が所定の評価未満の場合、前記候補決定部が、前記一つ以上の訓練データ候補の少なくとも一つの訓練データ候補に対応した期間を当該期間の次の変動点まで延ばす又は縮めることで、新たな一つ以上の訓練データ候補を決定する、
請求項1に記載のモデル運用支援システム。 - 前記結果出力部が、
前記一つ以上の訓練データ候補を前記学習モデルの再学習のために出力し、
マニュアルでの指示に応答して又はマニュアルでの指示無しに、推論モデルを前記学習モデルから前記再学習後の学習モデルに差し替えることであるモデルデプロイを行う、
請求項1に記載のモデル運用支援システム。 - 前記再学習タイミングを終了時刻とする過去の期間をテスト期間とするテスト期間決定部、
を更に備え、
前記候補決定部は、前記テスト期間の開始時刻から当該開始時刻より過去の一つ又は複数の変動点を基に、前記全体期間のうちの前記テスト期間以外の期間分のデータから一つ以上の訓練データ候補を決定し、
当該一つ以上の訓練データ候補の各々について、当該訓練データ候補に対応した期間の開始時刻及び終了時刻の少なくとも一つは、いずれかの変動点である、
請求項1に記載のモデル運用支援システム。 - コンピュータが、第1の期間の終了時刻から機械学習の学習モデルの再学習タイミングまでの期間である全体期間のうちの一つ以上の第2の期間の各々について、対象データとベースデータとの分布間距離を算出し、
前記一つ以上の第2の期間の各々について、前記対象データは、全体データのうちの当該第2の期間分のデータであり、
前記全体データは、前記全体期間分のデータであって前記学習モデルに関わるデータであり、
前記ベースデータは、前記第1の期間分のデータであって前記学習モデルの作成に関わったデータであり、
コンピュータが、前記一つ以上の第2の期間の各々について、前記算出された分布間距離が閾値以上であるか否かを判定し、当該判定の結果が真の場合に当該第2の期間に従う時刻を変動点として特定し、
コンピュータが、前記全体データの一部又は全部から前記全体期間のうちの一つ以上の期間にそれぞれ対応した一つ以上の訓練データ候補を一つ以上の変動点に基づいて決定し、
コンピュータが、前記決定された一つ以上の訓練データ候補又はそれのメタ情報を前記学習モデルの再学習のために出力する、
モデル運用支援方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020103530A JP7434073B2 (ja) | 2020-06-16 | 2020-06-16 | モデル運用支援システム及び方法 |
PCT/JP2021/019404 WO2021256171A1 (ja) | 2020-06-16 | 2021-05-21 | モデル運用支援システム及び方法 |
US17/919,757 US20230144809A1 (en) | 2020-06-16 | 2021-05-21 | Model operation support system and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020103530A JP7434073B2 (ja) | 2020-06-16 | 2020-06-16 | モデル運用支援システム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021196921A JP2021196921A (ja) | 2021-12-27 |
JP7434073B2 true JP7434073B2 (ja) | 2024-02-20 |
Family
ID=79195644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020103530A Active JP7434073B2 (ja) | 2020-06-16 | 2020-06-16 | モデル運用支援システム及び方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230144809A1 (ja) |
JP (1) | JP7434073B2 (ja) |
WO (1) | WO2021256171A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2023058433A1 (ja) * | 2021-10-06 | 2023-04-13 | ||
JP7176656B1 (ja) * | 2022-05-19 | 2022-11-22 | 富士電機株式会社 | 予測モデル再学習装置、予測モデル再学習方法及びプログラム |
KR102616968B1 (ko) * | 2023-07-13 | 2023-12-27 | 주식회사 마키나락스 | 이상 탐지 모델의 추가 학습 여부 및 학습 데이터 적절성 판단 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017130100A (ja) | 2016-01-21 | 2017-07-27 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JP2018513490A (ja) | 2015-04-16 | 2018-05-24 | シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft | 自動化システムを動作させる方法及び装置 |
JP2019169011A (ja) | 2018-03-25 | 2019-10-03 | 株式会社知能フレームワーク研究所 | 予兆検知システムおよびプログラム |
US20200074369A1 (en) | 2018-08-31 | 2020-03-05 | Orthogonal Networks, Inc. | Systems and methods for optimizing automated modelling of resource allocation |
-
2020
- 2020-06-16 JP JP2020103530A patent/JP7434073B2/ja active Active
-
2021
- 2021-05-21 US US17/919,757 patent/US20230144809A1/en active Pending
- 2021-05-21 WO PCT/JP2021/019404 patent/WO2021256171A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018513490A (ja) | 2015-04-16 | 2018-05-24 | シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft | 自動化システムを動作させる方法及び装置 |
JP2017130100A (ja) | 2016-01-21 | 2017-07-27 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JP2019169011A (ja) | 2018-03-25 | 2019-10-03 | 株式会社知能フレームワーク研究所 | 予兆検知システムおよびプログラム |
US20200074369A1 (en) | 2018-08-31 | 2020-03-05 | Orthogonal Networks, Inc. | Systems and methods for optimizing automated modelling of resource allocation |
Also Published As
Publication number | Publication date |
---|---|
JP2021196921A (ja) | 2021-12-27 |
US20230144809A1 (en) | 2023-05-11 |
WO2021256171A1 (ja) | 2021-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7434073B2 (ja) | モデル運用支援システム及び方法 | |
US9753801B2 (en) | Detection method and information processing device | |
US10572512B2 (en) | Detection method and information processing device | |
KR101711936B1 (ko) | 머신 상태 모니터링에서 결함 진단을 위한 일반화된 패턴 인식 | |
US20180174062A1 (en) | Root cause analysis for sequences of datacenter states | |
KR101968200B1 (ko) | 진단명, 수술명 및 치료명에 기초한 의료정보 추천시스템 | |
US9122995B2 (en) | Classification of stream-based data using machine learning | |
JP6521096B2 (ja) | 表示方法、表示装置、および、プログラム | |
US20220253725A1 (en) | Machine learning model for entity resolution | |
US11429899B2 (en) | Data model processing in machine learning using a reduced set of features | |
JPWO2019026134A1 (ja) | 情報処理装置および情報処理方法 | |
US20190064789A1 (en) | System analyzing device, system analyzing method, and computer-readable recording medium | |
US11593700B1 (en) | Network-accessible service for exploration of machine learning models and results | |
JP7355299B2 (ja) | 学習用データセット生成システム、学習サーバ、及び学習用データセット生成プログラム | |
JP7207540B2 (ja) | 学習支援装置、学習支援方法、及びプログラム | |
Siddalingappa et al. | Anomaly detection on medical images using autoencoder and convolutional neural network | |
WO2022266745A1 (en) | Visualizing feature variation effects on computer model prediction | |
US20220198274A1 (en) | Method and system for unstructured information analysis using a pipeline of ml algorithms | |
WO2021106028A1 (ja) | 機械学習装置、機械学習方法、及び、機械学習プログラムが格納された記録媒体 | |
KR102230559B1 (ko) | 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치 | |
US20230153980A1 (en) | Clustering Images for Anomaly Detection | |
WO2020167156A1 (ru) | Способ отладки обученной рекуррентной нейронной сети | |
US20220129792A1 (en) | Method and apparatus for presenting determination result | |
JP2022060512A (ja) | 運用支援システム及び方法 | |
KR20210031444A (ko) | 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7434073 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |