JP7239519B2 - 機械学習モデル運用管理システムおよび運用管理方法 - Google Patents
機械学習モデル運用管理システムおよび運用管理方法 Download PDFInfo
- Publication number
- JP7239519B2 JP7239519B2 JP2020054839A JP2020054839A JP7239519B2 JP 7239519 B2 JP7239519 B2 JP 7239519B2 JP 2020054839 A JP2020054839 A JP 2020054839A JP 2020054839 A JP2020054839 A JP 2020054839A JP 7239519 B2 JP7239519 B2 JP 7239519B2
- Authority
- JP
- Japan
- Prior art keywords
- inference
- log
- business
- machine learning
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Debugging And Monitoring (AREA)
Description
(ステップ805)モデルID402およびモデルバージョン403をキーとして、実験管理ログ11から、該当するUUID302のログ行からキーが一致する情報を取得し、そこに含まれる学習データ305を抽出する。
Claims (5)
- 業務に対する処理を実行し、業務内容に関する複数の種類のデータをそれぞれ含む複数のログ行を含む業務内容ログを出力する業務処理サーバと接続され、機械学習モデルの運用管理を行う機械学習モデル運用管理システムであって、
前記機械学習モデルに基づく推論を行い、当該推論の推論結果と当該推論に用いた機械学習モデルの識別子とを含む、推論結果に関する複数の種類のデータをそれぞれ含む複数のログ行を含む推論結果ログを出力する推論処理サーバと、
前記推論結果に関する特定のログ行と前記業務内容に関する特定のログ行とを対応付ける情報であるキー情報に基づいて、前記推論結果に対する前記複数のログ行と、前記業務内容に関する前記複数のログ行を対応付ける業務推論対応付け部を有するモデル管理サーバと、
を備える機械学習モデル運用管理システム。 - 前記キー情報は、業務処理を一意に識別する業務IDを含み推論結果に関するログ行を一意に特定する識別子であるトランザクションIDであり、
前記機械学習モデルは、前記業務IDを含む複数の業務内容ログから生成されたものであり、
前記業務推論対応付け部は、前記トランザクションIDが互いに一致する前記推論結果に対する前記複数のログ行と前記業務内容に関する前記複数のログ行とを対応付ける、
請求項1に記載の機械学習モデル運用管理システム。 - 前記モデル管理サーバは、推論処理と業務処理の対応付けを特定するための処理の前後関係を示す結合関係情報を保持する、
請求項1に記載の機械学習モデル運用管理システム。 - 前記業務推論対応付け部は、前記推論結果ログと前記業務内容ログとを比較する情報を出力し、推論処理に対するフィードバックの情報である評価情報の入力を受け付ける、
請求項1に記載の機械学習モデル運用管理システム。 - 推論処理サーバと、業務推論対応付け部を有するモデル管理サーバと、を備え、業務に対する処理を実行し、業務内容に関する複数の種類のデータをそれぞれ含む複数のログ行を含む業務内容ログを出力する業務処理サーバと接続される機械学習モデル運用管理システムにより、機械学習モデルの運用管理を行うための運用管理方法であって、
前記推論処理サーバが、前記機械学習モデルに基づく推論を行い、当該推論の推論結果と当該推論に用いた機械学習モデルの識別子とを含む、推論結果に関する複数の種類のデータをそれぞれ含む複数のログ行を含む推論結果ログを出力し、
前記業務推論対応付け部が、前記推論結果に関する特定のログ行と前記業務内容に関する特定のログ行とを対応付ける情報であるキー情報に基づいて、前記推論結果に対する前記複数のログ行と、前記業務内容に関する前記複数のログ行を対応付ける、
運用管理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020054839A JP7239519B2 (ja) | 2020-03-25 | 2020-03-25 | 機械学習モデル運用管理システムおよび運用管理方法 |
US17/029,812 US12073295B2 (en) | 2020-03-25 | 2020-09-23 | Machine learning model operation management system and method |
JP2023032160A JP7538272B2 (ja) | 2020-03-25 | 2023-03-02 | 機械学習モデル運用管理システム、運用管理方法及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020054839A JP7239519B2 (ja) | 2020-03-25 | 2020-03-25 | 機械学習モデル運用管理システムおよび運用管理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023032160A Division JP7538272B2 (ja) | 2020-03-25 | 2023-03-02 | 機械学習モデル運用管理システム、運用管理方法及びコンピュータプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021157313A JP2021157313A (ja) | 2021-10-07 |
JP2021157313A5 JP2021157313A5 (ja) | 2022-10-26 |
JP7239519B2 true JP7239519B2 (ja) | 2023-03-14 |
Family
ID=77856146
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020054839A Active JP7239519B2 (ja) | 2020-03-25 | 2020-03-25 | 機械学習モデル運用管理システムおよび運用管理方法 |
JP2023032160A Active JP7538272B2 (ja) | 2020-03-25 | 2023-03-02 | 機械学習モデル運用管理システム、運用管理方法及びコンピュータプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023032160A Active JP7538272B2 (ja) | 2020-03-25 | 2023-03-02 | 機械学習モデル運用管理システム、運用管理方法及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7239519B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102679930B1 (ko) * | 2022-11-17 | 2024-07-02 | (주) 웨다 | 머신러닝 작업 기능을 포함하는 머신러닝 플랫폼 시스템 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003067222A (ja) | 2001-08-28 | 2003-03-07 | Hitachi Ltd | 業務フローの稼動情報取得方法および業務フローシステム |
JP2014134987A (ja) | 2013-01-11 | 2014-07-24 | Hitachi Ltd | 情報処理システム監視装置、監視方法、及び監視プログラム |
JP2016192185A (ja) | 2015-03-31 | 2016-11-10 | 株式会社日立製作所 | なりすまし検出システムおよびなりすまし検出方法 |
JP2017215828A (ja) | 2016-06-01 | 2017-12-07 | 富士通株式会社 | 学習モデル差分提供プログラム、学習モデル差分提供方法、および学習モデル差分提供システム |
-
2020
- 2020-03-25 JP JP2020054839A patent/JP7239519B2/ja active Active
-
2023
- 2023-03-02 JP JP2023032160A patent/JP7538272B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003067222A (ja) | 2001-08-28 | 2003-03-07 | Hitachi Ltd | 業務フローの稼動情報取得方法および業務フローシステム |
JP2014134987A (ja) | 2013-01-11 | 2014-07-24 | Hitachi Ltd | 情報処理システム監視装置、監視方法、及び監視プログラム |
JP2016192185A (ja) | 2015-03-31 | 2016-11-10 | 株式会社日立製作所 | なりすまし検出システムおよびなりすまし検出方法 |
JP2017215828A (ja) | 2016-06-01 | 2017-12-07 | 富士通株式会社 | 学習モデル差分提供プログラム、学習モデル差分提供方法、および学習モデル差分提供システム |
Also Published As
Publication number | Publication date |
---|---|
JP2021157313A (ja) | 2021-10-07 |
JP2023060106A (ja) | 2023-04-27 |
US20210304070A1 (en) | 2021-09-30 |
JP7538272B2 (ja) | 2024-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11625387B2 (en) | Structuring data | |
US11650854B2 (en) | Executing algorithms in parallel | |
US7418453B2 (en) | Updating a data warehouse schema based on changes in an observation model | |
Kamimura et al. | Extracting candidates of microservices from monolithic application code | |
US8589884B2 (en) | Method and system for identifying regression test cases for a software | |
US20190171669A1 (en) | A method for generating a graph model for monitoring machinery health | |
JP2019502191A (ja) | サービス呼び出し情報処理の方法及びデバイス | |
US9311176B1 (en) | Evaluating a set of storage devices and providing recommended activities | |
US20200184026A1 (en) | Computing system simulation and testing environment | |
CN105580032A (zh) | 用于降低升级软件时的不稳定性的方法和*** | |
JP2019192158A (ja) | ビジュアルプログラミングツールを用いてフローを作成することを支援する装置および方法 | |
JP6847590B2 (ja) | 統合監視運用システムおよび方法 | |
US20130238550A1 (en) | Method to detect transcoding tables in etl processes | |
JP7538272B2 (ja) | 機械学習モデル運用管理システム、運用管理方法及びコンピュータプログラム | |
Mazkatli et al. | Continuous integration of performance model | |
Kaur et al. | Differential analysis of token metric and object oriented metrics for fault prediction | |
CN116561134A (zh) | 业务规则处理方法、装置、设备及存储介质 | |
US12073295B2 (en) | Machine learning model operation management system and method | |
Turnu et al. | Entropy of some CK metrics to assess object-oriented software quality | |
JP5197128B2 (ja) | 依存関係推定装置及び依存関係推定プログラム及び記録媒体 | |
EP3671467A1 (en) | Gui application testing using bots | |
Ramos-Gutiérrez et al. | Towards the detection of promising processes by analysing the relational data | |
JP7284687B2 (ja) | マッピングシステム及びマッピング方法 | |
US11829230B2 (en) | Globally unique error codes for knowledge document indexing in software systems | |
Azmi et al. | Test management traceability model to support software testing documentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221018 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230302 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7239519 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |