JP7195264B2 - 段階的な機械学習を使用する自動化された意思決定 - Google Patents
段階的な機械学習を使用する自動化された意思決定 Download PDFInfo
- Publication number
- JP7195264B2 JP7195264B2 JP2019550584A JP2019550584A JP7195264B2 JP 7195264 B2 JP7195264 B2 JP 7195264B2 JP 2019550584 A JP2019550584 A JP 2019550584A JP 2019550584 A JP2019550584 A JP 2019550584A JP 7195264 B2 JP7195264 B2 JP 7195264B2
- Authority
- JP
- Japan
- Prior art keywords
- machine learning
- category
- learning stage
- stage
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/34—Graphical or visual programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/76—Architectures of general purpose stored program computers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/453—Help systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Human Resources & Organizations (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
システム問題を解決するプロセスは、典型的には、カテゴリに分類できる。最初の質問が回答されると、問題の新しい次元が明らかになる。例えば、あるサイトにアラームに起因した問題があることが分かると、この種の問題がエスカレーションを要するかどうかについての質問が生じる。別の例として、最初の問題が特定の地理的エリア(例えば、クラスタ)で検出された場合、問題が局所的かどうか、又はそれがより広範な問題の一部であるかについての質問が生じる。
図2は、本説明の手法が実装され得る例示的なコンピューティング装置200のブロック図である。以下の議論において、特定の相互作用が特定のコンポーネントに帰することがある。本明細書で詳細に説明されない少なくとも1つの代替的な実装において、他のコンポーネント相互作用及び通信が提供され得ることに留意されたい。以下の図2の議論は、全ての可能な実装のサブセットを表すに過ぎない。さらに、他の実装は異なる可能性があるが、例示的なコンピューティング装置200の1つ以上の要素は、プロセッサ実行可能命令のコードセグメントを含むソフトウェアアプリケーションとして説明され、該コードセグメントを含むコンポーネントを有する。そのようなものとして、本説明において特定のコンポーネントに帰する特定の特性は、代わりの実装において1つ以上の他のコンポーネントにより実行されてもよい。例示的なコンピューティング装置200内の属性又は機能の代わりの帰属は、本明細書で説明される手法又はこれに対し別記の特許請求の範囲を制限することを意図しない。さらに、コンピューティング装置200に示される要素は、複数のコンピューティング装置上に分散して実装されてもよく、あるいは、ここに示されるように単一のコンピューティング装置に含まれてもよい。
機械学習アルゴリズムの複雑さを簡素化するために、比較的複雑な特徴が生成され、これらはネットワーク技術者からの特定ドメイン知識から導出される。KPI、パラメータ等のようなデータ入力を単に供給する代わりに、本明細書で説明される手法は、この情報を、技術者が意思決定プロセスにおいて典型的に使用する典型的な情報ビットに整理することを企図する。こうした特徴の例は、これらに限られないが、(a)ネットワーク上のノードが輻輳しているか否か、(b)システム端末がLTE700帯域をサポートするか否か、(c)水淡水化システムの膜が低効率で動作しているかどうか、及び(d)前の期間にシステム要素においてクリティカルアラームがアクティブであったか否かを含む。
図3は、本明細書で説明される実装の1つ以上で使用され得る機械学習訓練を提供するための例示的なユーザインターフェース300を示す。機械学習段階に基づく新しいツール、プロセス、又はアルゴリズムの作成が一連のUIユーティリティを介して容易にされ、これにおいて、ユーザは、タスクに必要になる異なる段階及び/又はカテゴリを作成し、各段階について関連する特徴セットを選択し、機械学習段階の各々の性能を監視することができる。
図4は、本明細書の少なくとも1つの実装で説明される、新しいカテゴリモデルを定義するための例示的な手法の図400を示す。本明細書で説明される1つ以上の実装において、ユーザが現在の発生を使用してモデルを訓練するよう決定すると、画面ユーティリティ402、404のセットが表示される。これらのユーティリティは、ユーザ技術者による決定を記録することを意図している。既存の分析が存在しない(すなわち、分析がユーザに提示されていない)場合、ユーザは、この段階で使用される特定の機械学習モデルと、モデルに入力すべき特徴の初期セットとを選択することができる。
自動特徴調整モジュール220(図2)は、入力特徴を自動的に調整して、機械学習アルゴリズムが適切に機能し、特定の分析に向けて歪められないことを確実にするように構成される。特徴調整モジュールは、スケーリング機能を準備し、ツール/プロセス/アルゴリズムに供給される任意の将来のサンプルにスケーリングを適用するように構成される。
自動特徴簡素化モジュール224(図2)は、あらゆる段階モデルにおいて、分類の間に使用される最も関連する特徴を評価するように構成される。該モジュールは、さらに、特徴をランク付けし、結果を対応するユーザインターフェースを介してユーザに提示するように構成される。
信頼性算出器228(図2)は、所与の機械学習モデルの性能及び信頼性を理解するために有用な一連のメトリクスを提供するように構成される。機械学習モデル及び訓練セットを所与として、信頼性モジュールは、適切な推定を提供するのに十分な数の訓練サンプルがあるかを決定するように構成される。この指示は、各カテゴリについて、及びモデル全体について提供される。この情報を有することで、モデルが信頼できるとみなされるために特定のカテゴリがさらなる訓練データを必要とするかどうかの判断力を提供する。この情報は、特徴数とモデル内のクラス数とに基づいて算出される。含まれる特徴がより多く、モデル内のクラス数がより大きいほど、モデルを適切に訓練するためにより多くのサンプルが必要とされる。
少なくとも1つの実装において、初期段階の間に訓練サンプルを生成する代替方法が使用され(「新カテゴリ検出器」224、図2)、ここで、教師なし分類機構が元のラベル付けされていないデータセットに適用される。これを行うことで、特徴セットに基づく自然なグループ化パターンを明らかにすることができる。この機能は、K‐Means、DBScan、又は他の機能などのクラスタリング機構を使用してもよい。K‐Meansのように、クラスタ数が事前に分からない場合、全体的な誤差対クラスタサイズを解析することにより、最適なクラスタ数を選択する方法がある。
対象事項が構造的特徴及び/又は方法論的動作に特有の言語で説明されたが、別記の特許請求の範囲で定義される対象事項は必ずしも上記の特定の特徴又は動作に限定されないことを理解されたい。むしろ、上述された特定の特徴及び動作は、特許請求の範囲を実施する例示的な形態として開示されている。
Claims (15)
- コンピュータが、
システムに関連した性能指標を含む第1のデータセットを入力するステップと、
前記第1のデータセットに第1の機械学習段階を適用して前記第1のデータセット内のデータをカテゴリ化するステップと、
前記第1の機械学習段階から第1のカテゴリを受信するステップと、
前記第1のカテゴリに関連した第2のデータセットに第2の機械学習段階を適用するステップと、
前記第2の機械学習段階から第2のカテゴリを受信するステップと、
前記第2のカテゴリを使用して、前記システムにおける問題の識別、前記問題についての新しい質問、及び前記システムに対する推奨されたアクションのうちの1つ以上を提供するステップと、
を含む方法。 - 前記第2のカテゴリは前記第1のカテゴリより特定的である、請求項1に記載の方法。
- 前記第2のカテゴリに関連した第3のデータセットに第3の機械学習段階を適用し、前記第3の機械学習段階から第3のカテゴリを受信するステップ、をさらに含む請求項1に記載の方法。
- 前記第1の機械学習段階及び訓練データをデータベースに記憶し、前記第1の機械学習段階及び訓練データを、前記第1の機械学習段階を作成した第1のユーザに関連づけるステップと、
前記第2の機械学習段階及び訓練データを前記データベースに記憶し、前記第2の機械学習段階及び訓練データを、前記第2の機械学習段階を作成した第2のユーザに関連づけるステップと、
をさらに含む請求項1に記載の方法。 - 前記データベースに記憶された機械学習段階からマスタ機械学習段階を選択するステップ、をさらに含む請求項4に記載の方法。
- 前記システムは電子デバイスのネットワークをさらに含む、請求項1に記載の方法。
- 前記第1のデータセットは、前記システムに関連した特定ドメイン情報から導出された特徴から導出された特徴をさらに含む、請求項1に記載の方法。
- コンピュータに、
システムヘルス指標に関連した入力データセットに第1の機械学習段階を適用する動作と、
前記第1の機械学習段階から出力として第1のカテゴリを受信する動作と、
前記第1のカテゴリを関連メトリクスと共に表示する動作と、
機械学習モデルと第2の機械学習段階への入力のための特徴の初期セットとを含む選択を受信して、前記第2の機械学習段階を作成する動作と、
前記第1のカテゴリに関連した入力データに前記第2の機械学習段階を適用する動作と、
前記第2の機械学習段階から出力として第2のカテゴリを受信する動作と、
前記第2のカテゴリを関連メトリクスと共に表示する動作と、
を実行させ、
前記第2のカテゴリは前記第1のカテゴリより粒度が細かい、コンピュータプログラム。 - コンピュータに、前記第2のカテゴリに関して取るべき推奨されたアクションを表示するさらなる動作をさらに実行させる、請求項8に記載のコンピュータプログラム。
- コンピュータに、各カテゴリについて信頼性スコアを決定し、各カテゴリと共に前記信頼性スコアを表示するさらなる動作をさらに実行させる、請求項8に記載のコンピュータプログラム。
- 第2の機械学習段階を作成する動作は、前記第1の機械学習段階に対して新しいサブカテゴリを作成する動作をさらに含む、請求項8に記載のコンピュータプログラム。
- 前記入力データセットは、主要性能メトリクス(KPI)とネットワークに特有のドメイン情報に関連した特徴とを含む特徴のセットをさらに含む、請求項10に記載のコンピュータプログラム。
- プロセッサと、
メモリと、
前記メモリに記憶され、複数の機械学習段階を含む多段階機械学習アプリケーションと、を含み、
前記多段階機械学習アプリケーションは、
ネットワークの特定ドメイン知識と前記ネットワークの主要性能指標(KPI)とから複数の特徴セットを導出するように構成された特徴定義コンポーネントであり、各特徴セットは機械学習段階への入力として使用される1つ以上の特徴を含む、特徴定義コンポーネントと、
ユーザが機械学習段階及びカテゴリを作成して、前記機械学習段階について前記複数の特徴セットのうちの1つ以上の関連特徴セットを決定し、かつ機械学習段階の性能を監視するための方法を提供するように構成されたユーザインターフェースユーティリティと、
機械学習段階について、複数の特徴のうちいずれが分類動作に最も関連するかを評価するように構成された特徴簡素化コンポーネントと、
前記複数の機械学習段階のうちの第1の機械学習段階であり、前記第1の機械学習段階は、前記複数の特徴セットのうちの第1の特徴セットを処理することにより複数のカテゴリの中から第1のカテゴリを決定するように構成される、第1の機械学習段階と、
前記第1のカテゴリに従って前記複数の機械学習段階から選択され、かつ前記複数の特徴セットから選択された第2の特徴セットを処理することにより出力を決定するように構成された第2の機械学習段階と、
を含む、システム。 - 元のラベル付けされていないデータセットに教師なし分類機構を適用して、導出された特徴に基づいて自然グループ化パターンを発見するように構成された新カテゴリ検出器、をさらに含む請求項13に記載のシステム。
- スケーリング機能を準備及び適用し、カテゴリの相当な不均衡が検出されたときにカテゴリの均衡を保つように構成された特徴調整コンポーネント、をさらに含む請求項13に記載のシステム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762471319P | 2017-03-14 | 2017-03-14 | |
US62/471,319 | 2017-03-14 | ||
US15/919,435 US20180268258A1 (en) | 2017-03-14 | 2018-03-13 | Automated decision making using staged machine learning |
PCT/US2018/022272 WO2018170028A1 (en) | 2017-03-14 | 2018-03-13 | Automated decision making using staged machine learning |
US15/919,435 | 2018-03-13 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020512631A JP2020512631A (ja) | 2020-04-23 |
JP7195264B2 true JP7195264B2 (ja) | 2022-12-23 |
Family
ID=63520207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019550584A Active JP7195264B2 (ja) | 2017-03-14 | 2018-03-13 | 段階的な機械学習を使用する自動化された意思決定 |
Country Status (4)
Country | Link |
---|---|
US (2) | US20180268258A1 (ja) |
EP (1) | EP3596670A4 (ja) |
JP (1) | JP7195264B2 (ja) |
WO (1) | WO2018170028A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11538049B2 (en) * | 2018-06-04 | 2022-12-27 | Zuora, Inc. | Systems and methods for predicting churn in a multi-tenant system |
US10810994B2 (en) * | 2018-07-19 | 2020-10-20 | International Business Machines Corporation | Conversational optimization of cognitive models |
US11385863B2 (en) * | 2018-08-01 | 2022-07-12 | Hewlett Packard Enterprise Development Lp | Adjustable precision for multi-stage compute processes |
US11373119B1 (en) * | 2019-03-29 | 2022-06-28 | Amazon Technologies, Inc. | Framework for building, orchestrating and deploying large-scale machine learning applications |
US11281999B2 (en) * | 2019-05-14 | 2022-03-22 | International Business Machines Corporation Armonk, New York | Predictive accuracy of classifiers using balanced training sets |
US20200410296A1 (en) * | 2019-06-30 | 2020-12-31 | Td Ameritrade Ip Company, Inc. | Selective Data Rejection for Computationally Efficient Distributed Analytics Platform |
US12045585B2 (en) * | 2019-08-23 | 2024-07-23 | Google Llc | No-coding machine learning pipeline |
US20220342913A1 (en) * | 2019-10-07 | 2022-10-27 | Panasonic Intellectual Property Management Co., Ltd. | Classification system, classification method, and program |
US11699085B2 (en) * | 2020-06-05 | 2023-07-11 | Intel Corporation | Methods and arrangements to identify activation profile context in training data |
WO2021262179A1 (en) | 2020-06-25 | 2021-12-30 | Hitachi Vantara Llc | Automated machine learning: a unified, customizable, and extensible system |
US11373131B1 (en) * | 2021-01-21 | 2022-06-28 | Dell Products L.P. | Automatically identifying and correcting erroneous process actions using artificial intelligence techniques |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005309535A (ja) | 2004-04-16 | 2005-11-04 | Hitachi High-Technologies Corp | 画像自動分類方法 |
JP2012073761A (ja) | 2010-09-28 | 2012-04-12 | Dainippon Screen Mfg Co Ltd | 分類のための特徴量選出方法、画像の分類方法、外観検査方法および外観検査装置 |
JP2013167964A (ja) | 2012-02-14 | 2013-08-29 | Kddi Corp | 情報処理装置、情報処理方法、プログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9092802B1 (en) * | 2011-08-15 | 2015-07-28 | Ramakrishna Akella | Statistical machine learning and business process models systems and methods |
US20150170053A1 (en) * | 2013-12-13 | 2015-06-18 | Microsoft Corporation | Personalized machine learning models |
US10489707B2 (en) * | 2014-03-20 | 2019-11-26 | The Regents Of The University Of California | Unsupervised high-dimensional behavioral data classifier |
US10318882B2 (en) * | 2014-09-11 | 2019-06-11 | Amazon Technologies, Inc. | Optimized training of linear machine learning models |
WO2016068926A1 (en) * | 2014-10-30 | 2016-05-06 | Nokia Solutions And Networks Oy | Method and system for network performance root cause analysis |
US9659259B2 (en) * | 2014-12-20 | 2017-05-23 | Microsoft Corporation | Latency-efficient multi-stage tagging mechanism |
CN105938558B (zh) * | 2015-03-06 | 2021-02-09 | 松下知识产权经营株式会社 | 学习方法 |
US10824120B2 (en) * | 2015-03-11 | 2020-11-03 | Siemens Industry, Inc. | Diagnostics in building automation |
US9996804B2 (en) * | 2015-04-10 | 2018-06-12 | Facebook, Inc. | Machine learning model tracking platform |
US9965719B2 (en) * | 2015-11-04 | 2018-05-08 | Nec Corporation | Subcategory-aware convolutional neural networks for object detection |
-
2018
- 2018-03-13 WO PCT/US2018/022272 patent/WO2018170028A1/en unknown
- 2018-03-13 US US15/919,435 patent/US20180268258A1/en not_active Abandoned
- 2018-03-13 EP EP18767687.9A patent/EP3596670A4/en active Pending
- 2018-03-13 JP JP2019550584A patent/JP7195264B2/ja active Active
-
2023
- 2023-08-10 US US18/448,048 patent/US20230385034A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005309535A (ja) | 2004-04-16 | 2005-11-04 | Hitachi High-Technologies Corp | 画像自動分類方法 |
JP2012073761A (ja) | 2010-09-28 | 2012-04-12 | Dainippon Screen Mfg Co Ltd | 分類のための特徴量選出方法、画像の分類方法、外観検査方法および外観検査装置 |
JP2013167964A (ja) | 2012-02-14 | 2013-08-29 | Kddi Corp | 情報処理装置、情報処理方法、プログラム |
Non-Patent Citations (1)
Title |
---|
RAVNEET SINGH SIDHU,"MACHINE LEARNING BASED DATACENTER MONITORING FRAMEWORK",[online],2016年12月,pp. 1-58,[2022年1月25日検索],インターネット:<URL: https://rc.library.uta.edu/uta-ir/bitstream/handle/10106/26427/SIDHU-THESIS-2016.pdf?sequence=1&isAllowed=y> |
Also Published As
Publication number | Publication date |
---|---|
JP2020512631A (ja) | 2020-04-23 |
EP3596670A1 (en) | 2020-01-22 |
EP3596670A4 (en) | 2021-02-17 |
US20180268258A1 (en) | 2018-09-20 |
WO2018170028A1 (en) | 2018-09-20 |
US20230385034A1 (en) | 2023-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7195264B2 (ja) | 段階的な機械学習を使用する自動化された意思決定 | |
US11645581B2 (en) | Meaningfully explaining black-box machine learning models | |
EP3295611B1 (en) | Early warning and recommendation system for the proactive management of wireless broadband networks | |
JP7145764B2 (ja) | 人工知能に基づくネットワークアドバイザー | |
US20200279266A1 (en) | Multi-page online application origination (oao) service for fraud prevention systems | |
US11263566B2 (en) | Seasonality validation and determination of patterns | |
US11595415B2 (en) | Root cause analysis in multivariate unsupervised anomaly detection | |
US10884891B2 (en) | Interactive detection of system anomalies | |
US10210189B2 (en) | Root cause analysis of performance problems | |
US9378112B2 (en) | Predictive alert threshold determination tool | |
US9047558B2 (en) | Probabilistic event networks based on distributed time-stamped data | |
US20140180738A1 (en) | Machine learning for systems management | |
US10504028B1 (en) | Techniques to use machine learning for risk management | |
Tekin et al. | Adaptive ensemble learning with confidence bounds | |
US11373189B2 (en) | Self-learning online multi-layer method for unsupervised risk assessment | |
US20150326446A1 (en) | Automatic alert generation | |
US20210365813A1 (en) | Management computer, management program, and management method | |
WO2019123478A1 (en) | A system for extracting and analyzing data and a method thereof | |
US11151483B2 (en) | System and a method for assessing data for analytics | |
Landin et al. | A Dynamic Threshold Based Approach forDetecting the Test Limits | |
US11829918B2 (en) | Automatically learning process characteristics for model optimization | |
US20230342659A1 (en) | Discrimination likelihood estimate for trained machine learning model | |
US20220027831A1 (en) | System and method for security analyst modeling and management | |
US20240211331A1 (en) | Systems and methods for a profile-based model selector | |
US20220284368A1 (en) | Automatically Learning Process Characteristics for Model Optimization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210303 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220201 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220428 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220729 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7195264 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |