JP2018136656A - Troubleshooting supporting system - Google Patents
Troubleshooting supporting system Download PDFInfo
- Publication number
- JP2018136656A JP2018136656A JP2017029690A JP2017029690A JP2018136656A JP 2018136656 A JP2018136656 A JP 2018136656A JP 2017029690 A JP2017029690 A JP 2017029690A JP 2017029690 A JP2017029690 A JP 2017029690A JP 2018136656 A JP2018136656 A JP 2018136656A
- Authority
- JP
- Japan
- Prior art keywords
- failure
- response
- machine learning
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013024 troubleshooting Methods 0.000 title abstract 5
- 230000004044 response Effects 0.000 claims abstract description 101
- 238000004458 analytical method Methods 0.000 claims abstract description 72
- 238000010801 machine learning Methods 0.000 claims abstract description 66
- 238000012544 monitoring process Methods 0.000 claims abstract description 18
- 239000000284 extract Substances 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 abstract description 36
- 238000004891 communication Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 11
- 238000007781 pre-processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 230000000877 morphologic effect Effects 0.000 description 7
- 230000010365 information processing Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010923 batch production Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、情報処理システム等における障害対応の技術に関し、特に検知された障害に対する対応方法を担当者に提示する障害対応支援システムに適用して有効な技術に関するものである。 The present invention relates to a failure handling technique in an information processing system and the like, and more particularly to a technique effective when applied to a failure handling support system that presents a person in charge with a handling method for a detected fault.
例えば、各種のサーバ等を有する情報処理システムに係る運用管理業務においては、監視システム等によって障害発生の有無を監視し、障害発生を検知した場合にこれに迅速に対応することが含まれる。ここでは、例えば、監視システム等が検知した障害についてオペレータ等による一次対応で解決できない場合に、もしくは障害の内容によっては即時に、開発者やエンジニア等のその場に所在しない担当者に対して連絡がなされ、当該担当者による対応が行われる。担当者へのこのような連絡は、運用する情報処理システムによっては夜間になされる場合もある。この場合、現場に所在しない担当者は、遠隔から独力で障害対応を行わなければならない場合もある。また、顧客への連絡が必要と判断した場合には顧客への連絡も行わなければならない。 For example, in an operation management work related to an information processing system having various servers and the like, the monitoring system or the like monitors whether or not a failure has occurred, and responds promptly when the occurrence of the failure is detected. Here, for example, when a failure detected by a monitoring system or the like cannot be solved by a primary response by an operator or the like, or depending on the content of the failure, immediately contact a person in charge such as a developer or engineer who is not located there. The person in charge will take action. Such contact with the person in charge may be made at night depending on the information processing system used. In this case, the person in charge who is not present at the site may have to deal with the failure by himself / herself remotely. In addition, if it is determined that the customer needs to be contacted, the customer must also be contacted.
障害対応の自動化や迅速化等に関連する技術として、例えば、特開2005−202446号公報(特許文献1)には、業務サーバ、ネットワーク機器、業務アプリケーションが存在する環境で障害の発生を検知し、障害内容をログ情報より抽出し、障害対策情報を検索することにより、障害発生時の早期対策の実施と復旧時間の短縮を可能とする旨が記載されている。また、障害対策情報にない場合は、調査に必要なログ情報やリソース情報を編集し提供することにより、専門知識がなくても障害情報を抽出可能とする旨が記載されている。 For example, Japanese Patent Application Laid-Open No. 2005-202446 (Patent Document 1) detects a failure in an environment where a business server, a network device, and a business application exist as a technology related to automation and speedup of failure handling. In addition, it is described that the failure contents can be extracted from the log information and the failure countermeasure information can be searched to implement early countermeasures and reduce the recovery time when a failure occurs. Further, it is described that, when there is no failure countermeasure information, it is possible to extract failure information without specialized knowledge by editing and providing log information and resource information necessary for the investigation.
また、特開2009−276929号公報(特許文献2)には、監視対象サーバを定期的に監視し、障害を検知した場合にその前後の動作ログを採取して、障害発生のトリガーとなったエラーログを検索してエラーコード等のキーワードを抽出するとともに、当該キーワードによって事例DBから類似事例を抽出して障害回避情報を取得し、これに基づいて障害回避ファイルを生成して監視対象サーバに適用する旨が記載されている。 In JP 2009-276929 A (Patent Document 2), a monitored server is periodically monitored, and when a failure is detected, an operation log before and after the failure is collected to trigger a failure occurrence. Search the error log to extract keywords such as error codes, extract similar cases from the case DB by using the keywords, obtain failure avoidance information, generate a failure avoidance file based on this and create a failure avoidance file on the monitored server It is stated that it applies.
従来技術のように、障害発生を検知した場合、その障害メッセージの内容等に基づいて、過去の障害対応履歴や障害対策情報等から該当もしくは類似するものを検索し、検索結果から対応方法を取得して担当者等に提示することは行われている。 When a failure is detected, as in the prior art, based on the content of the failure message, search for relevant or similar information from past failure response history, failure countermeasure information, etc., and obtain the response method from the search results And presenting it to the person in charge.
これに対し、対応方法を抽出する際に、近年適用が広がっているAI(Artificial Intelligence)・機械学習を用いて、抽出の精度の向上を図ることが検討されている。このとき、機械学習エンジンや機械学習サービス(以下ではこれらを「機械学習エンジン」と総称する)と、既存のものも含む監視システムとをどのように連携させるかが課題となる。例えば、障害検知時に、その内容をどのように機械学習エンジンに自動的に入力・連携して、学習済みのモデルに基づく計算結果の出力を得るかが課題となる。また、実際に障害対応を実施した結果を学習データとしてどのタイミングでどのように機械学習エンジンに反映させ、学習モデルを更新(再学習)するかも課題となる。 On the other hand, when extracting a correspondence method, it is considered to improve the extraction accuracy by using AI (Artificial Intelligence) / machine learning, which has been widely applied in recent years. At this time, a problem is how to link a machine learning engine or a machine learning service (hereinafter collectively referred to as a “machine learning engine”) and a monitoring system including existing ones. For example, when a failure is detected, how to obtain the output of a calculation result based on a learned model is automatically determined and linked to the machine learning engine. Another problem is how to update the learning model (re-learning) by reflecting the result of actual failure handling as learning data at what timing and how it is reflected in the machine learning engine.
そこで本発明の目的は、機械学習エンジンと効率的に連携し、監視システム等により検知された障害に対して精度の高い対応方法を提示・推奨することを可能とする障害対応支援システムを適用することにある。 Therefore, an object of the present invention is to apply a failure response support system that can efficiently cooperate with a machine learning engine and present and recommend a highly accurate response method for a failure detected by a monitoring system or the like. There is.
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。 The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。 Of the inventions disclosed in this application, the outline of typical ones will be briefly described as follows.
本発明の代表的な実施の形態による障害対応支援システムは、監視対象に発生した障害について、ユーザに対して推奨する対応内容を出力する障害対応支援システムであって、前記障害に係る障害メッセージを含む障害通知を送信する障害通知装置と、前記障害メッセージに基づいて前記対応内容を取得し、前記対応内容を含む対応内容通知を前記ユーザに対して送信する障害対応支援装置と、前記障害メッセージに対して、過去の障害対応の蓄積情報に基づいて予め機械学習により構築された分析モデルを用いて、前記対応内容を取得する機械学習装置と、を有するものである。 A failure response support system according to a typical embodiment of the present invention is a failure response support system that outputs a recommended response content to a user for a failure that has occurred in a monitoring target, and includes a failure message related to the failure. A failure notification device that transmits a failure notification including the failure notification support device that acquires the response content based on the failure message and transmits a response content notification including the response content to the user, and the failure message. On the other hand, a machine learning device that acquires the content of correspondence using an analysis model previously constructed by machine learning based on accumulated information corresponding to past failures is provided.
そして、前記障害通知装置は、前記障害通知を前記ユーザおよび前記障害対応支援装置に対して送信し、前記障害対応支援装置は、受信した前記障害通知から前記障害メッセージを抽出し、抽出した前記障害メッセージについて前記機械学習装置に対して前記対応内容の取得を要求し、前記機械学習装置は、取得した前記障害メッセージについて、前記障害についての前記ユーザからの顧客への連絡の要否を分類する第1の分析モデル、および/または、前記障害と類似する過去の障害対応から前記対応内容の候補を抽出する第2の分析モデルにより、前記対応内容を取得する。 Then, the failure notification device transmits the failure notification to the user and the failure response support device, and the failure response support device extracts the failure message from the received failure notification and extracts the failure The machine learning device requests the machine learning device to acquire the correspondence content, and the machine learning device classifies whether the user needs to contact the customer about the failure for the acquired failure message. The correspondence content is acquired by one analysis model and / or a second analysis model that extracts candidates for the correspondence content from past failure responses similar to the failure.
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。 Among the inventions disclosed in the present application, effects obtained by typical ones will be briefly described as follows.
すなわち、本発明の代表的な実施の形態によれば、機械学習エンジンと効率的に連携し、監視システム等により検知された障害に対して精度の高い対応方法を提示・推奨することが可能となる。 In other words, according to a typical embodiment of the present invention, it is possible to efficiently present and recommend a highly accurate response method for a failure detected by a monitoring system or the like by efficiently cooperating with a machine learning engine. Become.
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、他の図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Note that components having the same function are denoted by the same reference symbols throughout the drawings for describing the embodiment, and the repetitive description thereof will be omitted. On the other hand, parts described with reference numerals in some drawings may be referred to with the same reference numerals although not illustrated again in the description of other drawings.
<システム構成>
図1は、本発明の一実施の形態である障害対応支援システムの構成例について概要を示した図である。本実施の形態の障害対応支援システム1は、例えば、企業等が運営する複数のWebサーバ等からなる監視対象サーバ10における障害の発生が監視システム20によって検知された場合に、開発者等の担当者2に対して対応内容を推奨・レコメンドすることで支援するサーバシステムである。
<System configuration>
FIG. 1 is a diagram showing an outline of a configuration example of a failure handling support system according to an embodiment of the present invention. The failure
障害対応支援システム1は、例えば、障害メールサーバ30と、障害対応支援サーバ40と、機械学習サーバ50とにより構成される。障害メールサーバ30は、監視対象サーバ10における障害の発生を監視システム20が検知した場合に、これを通知する電子メールを発信する機能を有するサーバシステムである。障害対応支援サーバ40は、発生した障害に対する対応内容を担当者2に対して推奨・レコメンドする機能を有するサーバシステムである。機械学習サーバ50は、過去の対応内容の蓄積に基づいて対応内容を抽出・決定するための分析モデルを機械学習により作成し、分析を行う機能を有するサーバシステムである。
The
いずれのサーバも、例えば、サーバ機器やクラウドコンピューティングサービス上に構築された仮想サーバ等により構成され、図示しないインターネットやVPN(Virtual Private Network)、LAN(Local Area Network)等のネットワークにそれぞれ接続されている。そして、それぞれ、図示しないCPU(Central Processing Unit)により、HDD(Hard Disk Drive)等の記録装置からメモリ上に展開したOS(Operating System)やDBMS(DataBase Management System)、Webサーバプログラム等のミドルウェアや、その上で稼働するソフトウェアを実行することで、障害対応支援に係る各種機能を実現する。なお、図1の例では、それぞれを独立したサーバシステムとして記載しているが、1つ以上のサーバが同一のサーバシステム上に構築されていてもよい。また、可能な場合にはサーバに代えてPC(Personal Computer)等の情報処理装置を用いてもよい。 Each server is configured by, for example, a server device or a virtual server constructed on a cloud computing service, and is connected to a network such as the Internet, VPN (Virtual Private Network), or LAN (Local Area Network) not shown. ing. Then, middleware such as OS (Operating System), DBMS (DataBase Management System), and Web server program developed on a memory from a recording device such as HDD (Hard Disk Drive) by a CPU (Central Processing Unit) (not shown), respectively. By executing the software that runs on it, various functions related to failure support are realized. In the example of FIG. 1, each is described as an independent server system, but one or more servers may be constructed on the same server system. If possible, an information processing apparatus such as a PC (Personal Computer) may be used instead of the server.
障害メールサーバ30は、監視対象サーバ10における障害の発生を監視する監視システム20から障害発生の通知を受けて、これを通知する電子メールである障害メール31を発行するメールサーバである。例えば、障害が発生した監視対象サーバ10やアプリケーション、障害の内容等に応じて、予め登録された担当者2のメールアドレス宛に、障害メッセージ等の障害内容が記載された障害メール31を作成して送信する。通常、担当者2はこの障害メール31を受信して、その内容に基づいて、障害の内容や程度、対応内容、顧客3への連絡の要否等の各種事項についての判断を行っている。
The fault mail server 30 is a mail server that receives a fault occurrence notification from the monitoring system 20 that monitors the occurrence of a fault in the monitored
なお、本実施の形態では、通知を行う際の具体的手段として電子メールを用いるものとしているが、通知を行う手段であれば、これに加えて、もしくはこれに代えて、他の具体的手段を用いてもよい。例えば、既に普及しているSMS(Short Message Service)を用いてもよいし、SMTP(Simple Mail Transfer Protocol)による通知に代えて本実施の形態独自のメッセージプロトコルを実装してもよい。 In the present embodiment, e-mail is used as a specific means for performing the notification. However, in addition to or instead of this, any other specific means may be used as long as it is a means for performing the notification. May be used. For example, SMS (Short Message Service) that has been widely used may be used, or a message protocol unique to the present embodiment may be implemented instead of notification by SMTP (Simple Mail Transfer Protocol).
本実施の形態では、障害メールサーバ30は、さらに、同内容の障害メール31を、障害対応支援サーバ40(すなわち、障害対応支援サーバ40が受信可能なメールアドレス)に対しても送信する。例えば、障害メールサーバ30が、障害メール31を送信する宛先を同報通信(メーリングリスト)用のメールアドレスとしておき、これに障害対応支援サーバ40が受信可能なメールアドレスを追加することで容易に実現することができる。なお、障害メール31を送信することが可能であれば、メールサーバ機能を有することは必須ではなく、図示しない他のメールサーバや電子メールサービスを利用して障害メール31を送信するメールクライアントであってもよい。
In the present embodiment, the failure mail server 30 further transmits a
障害対応支援サーバ40は、障害メールサーバ30からの障害メール31を受信して、その内容に基づいて、担当者2に対して対応内容を推奨・レコメンドする対応内容メール44を送信する機能を有するサーバシステムである。担当者2への対応内容の推奨に際しては、例えば、対応内容が記載された電子メールである対応内容メール44を担当者2に対して送信する。障害対応支援サーバ40は、例えば、ソフトウェアとして実装された障害メッセージ抽出部41、対応内容取得部42、および対応内容反映部43等の各部を有する。
The failure
障害メッセージ抽出部41は、障害メールサーバ30から受信した障害メール31に対して、対応内容の分析に必要な障害メッセージの部分のみを抽出する処理を行う。図2は、一般的な障害メール31の内容について例を示した図である。担当者2宛の障害メール31には、例えば、定形文等からなるヘッダーやフッター、挨拶文等、障害の分析のためには不要もしくは無意味な情報が多く含まれる。図2の例では、破線枠内の部分、すなわち監視対象サーバ10を特定する情報や障害メッセージ等の情報が記載された部分のみが必要な情報であり、その他の部分は分析のためには不要な情報である。本実施の形態では、障害メッセージ抽出部41によりこれらの障害メッセージのみを必要部分として抽出する。これにより、機械学習サーバ50での無用な分析を排除して分析負荷を低減するとともに、ノイズを排除して分析の精度を向上させる。
The failure
なお、障害メール31から必要部分を抽出する手法は特に限定されず、障害メール31の仕様に応じて適当な手法をとることができる。例えば、行番号や文字数等により定型的なヘッダーやフッター等の所定の領域を指定して、もしくは目印となる文字列やタグ等によってこれらの領域を特定して、当該領域を一律に削除することができる。逆に、これらの手法により必要部分を特定して抽出するようにしてもよい。
The method for extracting a necessary part from the
図1に戻り、対応内容取得部42は、障害メッセージ抽出部41によって障害メール31の中の必要部分のみが抽出された情報に対して、機械学習サーバ50によって学習済みの分析モデルを用いて対応内容を分析し、推奨・レコメンドする対応内容の候補を取得する機能を有する。機械学習サーバ50に対する分析の依頼方法は、機械学習サーバ50が提供する外部インタフェースの仕様に応じて適当なものを用いることができる。例えば、API(Application Programming Interface)の呼び出しを行なってもよいし、実行指示の電子メールを送信してもよい。機械学習サーバ50での分析によって取得する対応内容の候補は複数であってもよい。対応内容取得部42は、取得した対応内容の候補を整形し、担当者2のメールアドレス宛に対応内容メール44として通知する機能も有する。
Returning to FIG. 1, the
図3は、本実施の形態における対応内容メール44の内容について例を示した図である。図3の例では、「◆」の記号で囲まれた領域に、推奨する対応内容が記載されている。対応内容には、後述するように、(A)顧客連絡の要否、および(B)ワークアラウンド(応急措置)の候補の2つの項目が含まれる。
FIG. 3 is a diagram showing an example of the content of the
顧客連絡の要否には、機械学習サーバ50によって算出された、連絡が必要な可能性や確からしさを示す値(例えばパーセンテージ)が含まれる。また、ワークアラウンドには、機械学習サーバ50によって算出された、過去の類似する障害事例との類似の程度や確からしさを示す値、および当該事例においてとられた対応内容の情報が含まれる。担当者2は、PCやタブレット端末、スマートフォン等の情報処理端末である担当者端末60によって対応内容メール44を受信し、その内容を参照して、障害対応を行う際の有益な参考情報とすることができる。
The necessity of customer contact includes a value (for example, a percentage) that is calculated by the
図1に戻り、対応内容反映部43は、担当者2による対応内容の実施の結果について、担当者2(担当者端末60)からフィードバックの情報を取得し、その内容を新たな学習データとして、機械学習サーバ50により再学習を行なって学習済みの分析モデルを更新する機能を有する。このとき、担当者2の作業負荷を低減させるため、担当者2は、障害対応支援サーバ40から先に受信した対応内容メール44に対して対応返信メール45を返信することで、容易に結果のフィードバックを通知できるものとする。対応返信メール45によるフィードバックの手法については後述する。
Returning to FIG. 1, the correspondence
機械学習サーバ50は、過去の対応内容の蓄積を教師データとして、対応内容を抽出・決定するための分析モデル53を機械学習により作成し、分析を行う機能を有するサーバシステムであり、例えば、ソフトウェアとして実装された前処理部51、および分析部52等の各部を有する。
The
前処理部51は、機械学習エンジンによる分析を行う前処理として、障害内容を含むテキストデータからなる障害メッセージについて、自然言語処理を行なって障害内容を分析できる形式に正規化するクレンジング機能を有する。形態素解析等の自然言語処理を行う機能については、公知の一般に利用可能な自然言語処理エンジンやライブラリ等を適宜用いることができる。クレンジング機能の内容につては後述する。
The preprocessing
分析部52は、過去の対応履歴の内容(前処理部51により障害メッセージがクレンジングされたもの)に基づいて予め機械学習を行って、学習済みの分析モデル53を作成する機能を有する。また、新たに発生した障害に係る障害メッセージの内容(前処理部51によりクレンジングされたもの)について、分析モデル53に基づいて対応内容の候補を取得して障害対応支援サーバ40に応答する機能を有する。機械学習の機能については、公知の一般に利用可能な機械学習エンジンや機械学習サービス等を適宜用いることができる。
The
<処理の流れ>
図4は、本実施の形態における分析モデルを事前に構築する処理の流れの例について概要を示した図である。ここでは、機械学習サーバ50により、過去の対応内容の蓄積に基づいて対応内容を抽出・決定するための分析モデル53を機械学習により構築する、もしくは最新のものに更新する。当該処理は、例えば、月次のバッチ処理により、もしくは担当者2からの指示に基づいて随時実行される。
<Process flow>
FIG. 4 is a diagram showing an overview of an example of a flow of processing for building an analysis model in advance in the present embodiment. Here, the
まず、機械学習サーバ50は、新たな学習データ、すなわち過去の対応内容の履歴情報を取得する(S01)。取得方法は特に限定されず、例えば、障害対応支援サーバ40等に記録された履歴情報を自動的に機械学習サーバ50に送信してもよいし、ユーザが機械学習サーバ50にアクセスして手動でアップロードしてもよい。
First, the
その後、前処理部51により、学習データに含まれる障害メッセージ(学習データに障害メッセージ以外の不要な内容が含まれている場合は、障害メッセージ部分を抽出した上で処理するものとする)についてクレンジング処理を行う。まず、障害メッセージに対して形態素解析を行い品詞に分解する(S02)。分解した結果について、全ての品詞の語句を用いるようにしてもよいし、所定の品詞の語句に限定して用いるようにしてもよい。通常は、所定の品詞(例えば名詞)に限定した方が分析の精度が上がるものと考えられる。
Thereafter, the
次に、形態素解析した結果の語句について、障害メッセージ毎にBoW(Bag of Words)コーパスを作成して数値(ベクトル)により正規化し(S03)、さらに、分析精度を向上させるための重み付け要素として、昼夜区分の項目を追加する(S04)。 Next, for the words and phrases obtained as a result of the morphological analysis, a BoW (Bag of Words) corpus is created for each failure message, normalized by a numerical value (vector) (S03), and further, as a weighting element for improving analysis accuracy, An item of day / night classification is added (S04).
図5は、本実施の形態におけるBoWコーパスを作成する例について概要を示した図である。図5の上段左側には、3つの障害メッセージについて形態素解析を行って品詞に分解した結果イメージの例を形態素解析済みメッセージ411として示している。
FIG. 5 is a diagram showing an outline of an example of creating a BoW corpus according to the present embodiment. On the upper left side of FIG. 5, an example of a result image obtained by performing morphological analysis on three failure messages and disassembling them into parts of speech is shown as a morphological analysis completed
ここではまず、形態素解析済みメッセージ411に基づいて、図5の上段右側に示すような辞書412を作成する。辞書412には、例えば、各形態素解析済みメッセージ411に現れる全ての語句について、重複を排除した上で一意となる識別番号を付与(図5の例では、語句‘あいう’に1、語句‘かきく’に2、…等)したデータを保持している。そして、図5の中段に示すように、各障害メッセージについて、辞書412に登録された全ての語句の順にそれぞれの出現回数を要素として有するBoWコーパス413(出現頻度ベクトル)を作成する。
Here, first, a
ところで、障害メッセージに対して推奨・レコメンドする対応内容に含まれる情報としては、上述したように、(A)顧客連絡の要否、および(B)ワークアラウンドの候補の2つの項目がある。このうち、(A)顧客連絡の要否については、障害の重要度に加えて、例えば、障害メッセージが発生したタイミングが昼であるか夜であるかで、その要否の判断基準が大きく変わり得る(夜である場合は顧客連絡をできるだけ控える)ことが経験則上分かっている。 By the way, as described above, there are two items of information included in the response content recommended / recommended for the failure message: (A) Necessity of customer contact and (B) Workaround candidate. Of these, regarding (A) the necessity of customer contact, in addition to the importance of the failure, for example, whether or not the timing of occurrence of the failure message is daytime or night, the judgment criteria for the necessity greatly change The rule of thumb is that you can get (refrain from contacting the customer as much as possible at night).
そこで、本実施の形態では、このような障害メッセージに直接現れない特徴項目に対して重み付けして判断することができるよう、特徴項目に所定の重み付けをした値をBoWコーパス413に追加する。例えば、図5の下段に示すように、各BoWコーパス413に対して、その末尾に昼夜区分の項目の値を追加する。ここでは、例えば、障害メッセージに含まれるタイムスタンプの情報等に基づいて昼であるのか夜であるのかを判断し、該当する区分の値(1か0)に対して10倍の重み付けをして追加していることを示している。これにより、障害発生時の昼夜の区分を、(A)顧客連絡の要否の判断の際に重視するよう調整することができる。
Therefore, in the present embodiment, a value obtained by weighting the feature item with a predetermined weight is added to the
図4に戻り、次に、各BoWコーパス413に対して、語句の出現頻度によって特徴量の評価を行うため、TF−IDF(Term Frequency - Inverse Document Frequency)を計算する(S05)。TF−IDFは、文章の特徴を表す指標として一般的に用いられているものであり、ある語句について、対象の文章中での出現頻度の高さを示す値と、他の文章での出現頻度の低さを示す値とを乗算して得られる数値である。この値が高い語句は、対象の文章をよく特徴付ける語句であるということができる。これを各BoWコーパス413中の各語句について計算することで、各BoWコーパス413を各障害メッセージについての特徴ベクトルに変換することができる。なお、ステップS04でBoWコーパス413に追加した昼夜区分の項目については、TF−IDFの計算の対象外とする。
Returning to FIG. 4, TF-IDF (Term Frequency-Inverse Document Frequency) is then calculated for each
データのクレンジング(正規化)と特徴量の評価が完了すると、分析部52により、これらのデータを教師データとして機械学習を行い、分析モデル53を構築する(S06)。そして、構築した分析モデル53をファイルやデータベース等に記録して保存し(S07)、処理を終了する。
When the data cleansing (normalization) and the evaluation of the feature amount are completed, the
推奨・レコメンドする対応内容に含まれる(A)顧客連絡の要否と(B)ワークアラウンドの候補とでは、分析モデル53の内容も分析に用いるアルゴリズムも異なる。(A)顧客連絡の要否を判断する分析モデル53は、対象の障害メッセージに対して「不要(0)/要(1)」のいずれかを判断するものであり、いわゆるクラス分類アルゴリズムが用いられる。一方、(B)ワークアラウンドの候補については、過去の類似する障害事例を抽出し、その際の対応内容を推奨・レコメンドするものであり、類似度を分析する各種のアルゴリズムを適宜用いることができる。例えば、所定の幾何学的距離の近さやベクトルの向きの近さ(なす角度の小ささ)を計算する手法、集合体の類似度を計算する手法等、様々なアルゴリズムが提案されている。
The content of the
図6は、本実施の形態におけるオンラインでの分析処理の流れの例について概要を示した図である。ここでは、監視対象サーバ10での障害の発生が監視システム20により検知され、障害メールサーバ30から障害メール31が送信された場合に、これを受信した障害対応支援サーバ40が、機械学習サーバ50によって障害メッセージの分析を行い、対応内容を取得して対応内容メール44として担当者2(担当者端末60)に送信する。したがって、当該処理は、障害対応支援サーバ40が障害メッセージを受信したことをトリガーとして実行される。
FIG. 6 is a diagram showing an outline of an example of the flow of online analysis processing in the present embodiment. Here, when the occurrence of a failure in the
まず、障害対応支援サーバ40の障害メッセージ抽出部41は、障害メール31を受信すると(S11)、その中から図2の例に示したように分析に必要となる障害メッセージの部分のみを抽出する(S12)。そして、抽出した障害メッセージをパラメータとして、機械学習サーバ50の分析処理を呼び出す(S13)。呼び出しの方法は、上述したように、機械学習サーバ50が提供する外部インタフェースの仕様に応じて、APIの呼び出しや実行指示の電子メールを送信等、各種の方法をとることができる。
First, when receiving the failure mail 31 (S11), the failure
機械学習サーバ50では、取得した障害メッセージについて、図4に示したバッチ処理の場合と同様に、前処理部51により、形態素解析を行って品詞に分解し(S14)、BoWコーパス413を作成し(S15)、昼夜区分を追加して(S16)、TF−IDFを計算することで(S17)、障害メッセージのクレンジング・正規化と特徴量の評価を行う。これらの処理は、図4の例におけるステップS02〜S05と基本的に同様であるため、再度の説明は省略する。
In the
なお、図4の例におけるステップS03のBoWコーパス413の作成処理では、図5に示すように、学習対象の教師データである障害メッセージを品詞に分解した形態素解析済みメッセージ411から辞書412を作成し、この辞書412に登録されている語句に基づいてBoWコーパス413を作成している。すなわち、辞書412に登録されている語句は、学習対象とした障害メッセージ(形態素解析済みメッセージ411)に含まれている語句である。
In the process of creating the
一方、図6のステップS15のBoWコーパス413の作成処理では、辞書412の作成(更新)は行わず、既に作成済みの辞書412を用いる。このとき、処理対象の障害メッセージが、既存の辞書412を作成したときの学習対象の教師データには含まれていない新たな障害メッセージである場合が生じ得る。すなわち、処理対象の障害メッセージに係る形態素解析済みメッセージ411に含まれる語句の中に、既存の辞書412に登録されていない新たな語句が含まれる場合がある。この場合、当該語句については、辞書412に登録されていないことからステップS15のBoWコーパス413の作成処理の際には考慮されない。したがって、分析の精度が低下する可能性が生じ得る。
On the other hand, in the process of creating the
このため、例えば、図4の例に示したバッチ処理を定期的に実施して再学習を行い、学習対象である既存の障害メッセージに係る辞書412およびBoWコーパス413を最新の情報に更新しておくのが望ましい。さらに、新たな障害メッセージに係る形態素解析済みメッセージ411に含まれる語句の中に、辞書412に登録されていない語句がある場合に、当該語句についてのみ、学習対象の既存の障害メッセージおよび新たな障害メッセージの双方についてBoWコーパス413を作成するようにしてもよい。
Therefore, for example, the batch processing shown in the example of FIG. 4 is periodically performed to perform relearning, and the
その後、図4の例におけるステップS06で構築された学習済みの分析モデル53を用いて、新たな障害メッセージに係るBoWコーパス413について分析を実施し(S18)、分析結果を障害対応支援サーバ40に応答する(S19)。分析において、例えば、(A)顧客連絡の要否の項目については、対象の障害メッセージが不要(0)/要(1)のいずれに分類されるのかを判断する。その際、分類結果とともにその確からしさや可能性を示す数値を出力するようにしてもよい。また、(B)ワークアラウンドの候補については、過去の障害メッセージから類似する障害事例を抽出し、その際の対応内容を取得してワークアラウンドとして出力する。その際、類似度を示す数値を併せて出力するようにしてもよい。
After that, the
障害対応支援サーバ40の対応内容取得部42は、機械学習サーバ50から応答された分析結果を取得し(S20)、データを図3の例に示したような対応内容メール44の形に整形して(S21)、担当者2(担当者端末60)宛に送信し(S22)、処理を終了する。
The response
担当者2は、受信した対応内容メール44を参照して障害対応、すなわち、必要な場合の顧客3への連絡と、ワークアラウンドの実施や指示を行うことができる。ここで、対応内容メール44に記載された対応内容は、障害対応支援サーバ40および機械学習サーバ50により推奨・レコメンドされたものであり、現実の状況には合致せず適切ではない場合もある。このような場合も含めて、担当者2は、実際に採った対応内容、もしくは結果的に採るべきであったと思われる対応内容を障害対応支援サーバ40にフィードバックして、再学習させることができる。本実施の形態では、フィードバックに係る担当者2の作業負荷を低減させるため、受信した対応内容メール44に対する返信として対応返信メール45を送信することで容易にフィードバックできるようにする。
The person in
図7は、本実施の形態における担当者2による対応内容のフィードバックの例について概要を示した図である。図7(a)は、障害対応支援サーバ40からの対応内容メール44において(A)顧客連絡の要否(図中の例では「要」)が推奨された場合の対応返信メール45でのフィードバックの例を示している。実際に担当者2が顧客連絡を行った、もしくは行うべきであった場合(すなわち、推奨された対応内容が適切であった場合)は、対応返信メール45として空メール(図中では「」で示す)を返信する(図中の○印)。もしくは何も返信しないものとし、障害対応支援サーバ40側で一定時間以上対応返信メール45を受信しなかった場合に適切であったと判断するようにしてもよい。
FIG. 7 is a diagram showing an outline of an example of feedback of the contents of correspondence by the person in
一方、実際には担当者2が顧客連絡を行わなかった、もしくは行うべきではなかった場合(すなわち、推奨された対応内容が不適切であった場合)は、対応返信メール45として、その旨が識別できる単純な情報(図中では「×」)を返信する(図中の×印)。これらの対応返信メール45を分析することにより、障害対応支援サーバ40では、推奨した(A)顧客連絡の要否の内容が適切であったか不適切であったかを把握し、蓄積しておくことができ、以降の分析における学習データとして分析モデル53に反映させることができる。
On the other hand, if the person in
図7(b)は、障害対応支援サーバ40からの対応内容メール44において(B)ワークアラウンドの候補(図中の例では「一時的障害なので…」)が推奨された場合の対応返信メール45でのフィードバックの例を示している。推奨されたワークアラウンドが適切であった場合は、対応返信メール45として空メールを返信する(図中の○印)。もしくは何も返信しない。一方、推奨されたワークアラウンドが不適切であった場合は、対応返信メール45として、実際に担当者2が実施した、もしくは実施すべきであったワークアラウンドの内容を文章として記載して返信する。障害対応支援サーバ40からの対応内容メール44において(B)ワークアラウンドの候補が複数推奨されている場合は、担当者2がその中から実際にどの候補を選択したかの情報を返信するようにしてもよい。
FIG. 7B shows the
これらの対応返信メール45を分析することにより、障害対応支援サーバ40では、推奨した(B)ワークアラウンドの候補が適切であったか不適切であったかを把握し、蓄積しておくことができ、以降の分析における学習データとして分析モデル53に反映させることができる。
By analyzing these response reply mails 45, the failure
上述したように、障害対応支援サーバ40は、例えば、定期的に機械学習サーバ50に対して再学習を要求して、担当者2からフィードバックされた内容を分析モデル53に反映させて最新の状態に更新する。しかし、定期的な再学習では、担当者2が不適切であったとしてフィードバックした結果が再学習されて分析モデル53に反映されるまでに、タイミングによっては間隔が開いてしまう場合がある。この場合、例えば、同様の障害が連続して発生すると、定期的な再学習が行われるまでは、前回同様の不適切な対応内容を推奨する対応内容メール44が繰り返し送信されてしまう状態となる。
As described above, for example, the
そこで、本実施の形態では、担当者2が対応返信メール45を返信する際に、即時の再学習を要求できるようにする。図7(c)は、担当者2が、対応内容のフィードバックを行うとともに即時の再学習を要求する場合の例を示している。図示するように、例えば、対応返信メール45において、フィードバックするワークアラウンドの内容等の記載に加えて、即時の再学習を要求する所定の記載(図中の例では「即時再学習」の文言)を追記する。所定の記載の内容は、障害対応支援サーバ40が認識できるものであれば特に限定されない。
Therefore, in the present embodiment, when the person in
対応返信メール45によって即時の再学習の要求を受けた障害対応支援サーバ40の対応内容反映部43では、機械学習サーバ50により、図4に示したバッチ処理と同様の処理によって再学習を行い、分析モデル53を更新することができる。このとき、学習対象となる教師データの量によっては、分析に要する時間が非常に長時間となる場合が生じ得る。
In the response
そこで本実施の形態では、即時の再学習の要求を受けた際に、対応内容反映部43が、再学習に要する時間を事前に見積もり、フィードバックした内容がいつ分析モデル53に反映されるかの情報として反映予定メール46により担当者2に返信する。図7の例では、反映予定の日時として表現しているが、「○○時間後」のように相対時間・経過時間により表現してもよい。担当者2は、反映予定メール46に記載された反映予定のタイミングに係る情報を参照し、即時の再学習を実際に行わせるか否か(次回の定期的なバッチ処理での再学習まで待つか否か)を判断することができる。
Therefore, in this embodiment, when an immediate re-learning request is received, the corresponding
再学習に要する時間の見積もり手法については特に限定されないが、例えば、各種のパラメータに基づいて所要時間を推測するモデルを構築し、当該モデルに基づいて計算することができる。当該モデルに含まれるパラメータとしては、例えば、過去の機械学習における所要時間の実績値や、機械学習サーバ50のサーバスペック、処理負荷の状況、分析対象の教師データの件数、分析モデル53におけるパラメータの数、分析に用いるアルゴリズムの種類等、各種のものを適宜用いることができる。また、上記のような所要時間を推測するモデルを、機械学習サーバ50による機械学習の対象として精度を向上させるようにしてもよい。
A method for estimating the time required for re-learning is not particularly limited. For example, a model for estimating the required time based on various parameters can be constructed and calculated based on the model. The parameters included in the model include, for example, the actual value of the required time in the past machine learning, the server specifications of the
以上に説明したように、本発明の一実施の形態である障害対応支援システム1によれば、監視対象サーバ10において障害の発生を検知した場合に、障害メッセージに基づいて機械学習サーバ50により推奨・レコメンドする対応内容を分析し、対応内容メール44として担当者2に対して送信する、という一連の流れを人手を介さずに行うことができる。これにより、機械学習エンジンと効率的に連携し、監視システム20により検知された障害に対して精度の高い対応方法を提示・推奨することが可能となる。
As described above, according to the failure handling
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 As mentioned above, the invention made by the present inventor has been specifically described based on the embodiments. However, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the invention. Needless to say. For example, the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to the one having all the configurations described. In addition, it is possible to add, delete, and replace other configurations for a part of the configuration of the above-described embodiment.
例えば、上記の実施の形態では、障害メールサーバ30からの障害メール31を障害対応支援サーバ40および担当者2に送信し、顧客3への連絡の要否を障害対応支援サーバ40で判別する構成であったが、障害発生時の初動では、障害メールサーバ30からの障害メール31は障害対応支援サーバ40のみに送信し、担当者2への連絡の要否についても障害対応支援サーバ40で判別する構成としてもよい。
For example, in the embodiment described above, the
このとき、機械学習サーバ50において、担当者2への連絡要否を判断するための分析モデル53と、顧客3への連絡要否を判断するための分析モデル53とは、同じであってもよいが、異なることが望ましい。通常は、障害の重要度が多少低いものであっても担当者2はその内容を確認すべきであり、顧客3への連絡は重要度が高いもののみに制限すべきであるという基準が採用されることが多いからである。したがって、このような基準に対応すべく、担当者2への連絡要否を判断するための分析モデル53と、顧客3への連絡要否を判断するための分析モデル53を別個に構成することが望ましい。
At this time, in the
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、SSD(Solid State Drive)等の記録装置、またはICカード、SDカード、DVD等の記録媒体に置くことができる。 Each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit. Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor. Information such as programs, tables, and files for realizing each function can be stored in a recording device such as a memory, a hard disk, or an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
本発明は、検知された障害に対する対応方法を担当者に提示する障害対応支援システムに利用可能である。 The present invention can be used in a failure response support system that presents a person in charge with a response method for a detected failure.
1…障害対応支援システム、2…担当者、3…顧客、
10…監視対象サーバ、
20…監視システム、
30…障害メールサーバ、31…障害メール、
40…障害対応支援サーバ、41…障害メッセージ抽出部、42…対応内容取得部、43…対応内容反映部、44…対応内容メール、45…対応返信メール、46…反映予定メール、
50…機械学習サーバ、51…前処理部、52…分析部、53…分析モデル、
60…担当者端末
1 ... Failure response support system, 2 ... Person in charge, 3 ... Customer,
10 ... monitored server,
20 ... monitoring system,
30 ... fault mail server, 31 ... fault mail,
40 ... Failure response support server, 41 ... Failure message extraction unit, 42 ... Response content acquisition unit, 43 ... Response content reflection unit, 44 ... Response content email, 45 ... Response reply email, 46 ... Reflection scheduled email,
50 ...
60 ... Person in charge terminal
Claims (6)
前記障害に係る障害メッセージを含む障害通知を送信する障害通知装置と、
前記障害メッセージに基づいて前記対応内容を取得し、前記対応内容を含む対応内容通知を前記ユーザに対して送信する障害対応支援装置と、
前記障害メッセージに対して、過去の障害対応の蓄積情報に基づいて予め機械学習により構築された分析モデルを用いて、前記対応内容を取得する機械学習装置と、を有し、
前記障害通知装置は、前記障害通知を前記ユーザおよび前記障害対応支援装置に対して送信し、
前記障害対応支援装置は、受信した前記障害通知から前記障害メッセージを抽出し、抽出した前記障害メッセージについて前記機械学習装置に対して前記対応内容の取得を要求し、
前記機械学習装置は、取得した前記障害メッセージについて、前記障害についての前記ユーザからの顧客への連絡の要否を分類する第1の分析モデル、および/または、前記障害と類似する過去の障害対応から前記対応内容の候補を抽出する第2の分析モデルにより、前記対応内容を取得する、障害対応支援システム。 A failure response support system that outputs a recommended response content to a user for a failure that occurred in a monitoring target,
A failure notification device for transmitting a failure notification including a failure message related to the failure;
A failure response support apparatus that acquires the response content based on the failure message and transmits a response content notification including the response content to the user;
A machine learning device that acquires the correspondence content using an analysis model that has been previously constructed by machine learning based on accumulated information of past failure correspondence for the failure message,
The failure notification device transmits the failure notification to the user and the failure handling support device,
The failure handling support device extracts the failure message from the received failure notification, requests the machine learning device to obtain the response content for the extracted failure message,
The machine learning device is configured to classify whether or not the user needs to contact the customer about the failure with respect to the acquired failure message, and / or a past failure response similar to the failure. A failure response support system that acquires the response content using a second analysis model that extracts the response content candidates from the second analysis model.
前記機械学習装置は、過去の障害対応の蓄積情報に含まれる既存障害メッセージについて、それぞれ品詞毎に語句に分解し、一部もしくは全部の品詞についての前記語句からなる辞書を作成し、前記各既存障害メッセージについて、前記辞書に含まれる前記語句を対象に、その出現頻度を要素とした第1の出現頻度ベクトルを作成し、前記第1の出現頻度ベクトルに対して、語句の出現頻度に係る特徴量を算出して第1の特徴ベクトルを生成し、前記第1の特徴ベクトルを機械学習における学習データとして前記分析モデルを構築する、障害対応支援システム。 The failure support system according to claim 1,
The machine learning device decomposes the existing failure message included in the accumulated information corresponding to the past failure into words for each part of speech, creates a dictionary composed of the words for some or all parts of speech, For the failure message, a first appearance frequency vector having the appearance frequency as an element is created for the phrase included in the dictionary, and the feature relating to the appearance frequency of the phrase with respect to the first appearance frequency vector A failure response support system that calculates a quantity to generate a first feature vector and constructs the analysis model using the first feature vector as learning data in machine learning.
前記機械学習装置は、取得した前記障害メッセージについて、品詞毎に語句に分解し、前記辞書に含まれる前記語句を対象に、その出現頻度を要素とした第2の出現頻度ベクトルを作成し、前記第2の出現頻度ベクトルに対して、語句の出現頻度に係る特徴量を算出して第2の特徴ベクトルを生成し、前記第2の特徴ベクトルに対して、前記分析モデルを適用して前記対応内容を取得する、障害対応支援システム。 The failure support system according to claim 2,
The machine learning device decomposes the acquired failure message into words for each part of speech, creates a second appearance frequency vector having the appearance frequency as an element for the word included in the dictionary, A feature quantity related to the appearance frequency of the phrase is calculated for the second appearance frequency vector to generate a second feature vector, and the analysis model is applied to the second feature vector to perform the correspondence Failure response support system that acquires content.
前記機械学習装置は、前記第1の出現頻度ベクトルおよび前記第2の出現頻度ベクトルに対して、前記第1の分析モデルに関連する所定の項目に係る重み付けされた指標を要素として追加する、障害対応支援システム。 The failure support system according to claim 3,
The machine learning device adds, as an element, a weighted index related to a predetermined item related to the first analysis model to the first appearance frequency vector and the second appearance frequency vector. Response support system.
前記障害対応支援装置は、前記ユーザから、前記対応内容通知に対する返信として、前記対応内容通知に含まれていた前記対応内容についてのフィードバック情報が記載された対応返信通知を受信し、前記フィードバック情報を、前記機械学習装置において再学習を行う際の学習データとする、障害対応支援システム。 The failure support system according to claim 1,
The failure response support apparatus receives a response reply notification describing feedback information about the response content included in the response content notification as a response to the response content notification from the user, and sends the feedback information A failure response support system that uses learning data when re-learning is performed in the machine learning device.
前記障害対応支援装置は、前記ユーザから受信した前記対応返信通知に、前記対応返信通知に含まれる前記フィードバック情報について前記機械学習装置における再学習を即時に行う旨の指示が含まれている場合、前記機械学習装置によって再学習を行う前に、再学習に要する時間を推測し、再学習の完了予定時点に係る情報を含む反映予定通知を前記ユーザに対して送信する、障害対応支援システム。 The failure support system according to claim 5,
When the failure response support apparatus includes an instruction to immediately re-learn in the machine learning apparatus for the feedback information included in the response reply notification in the response reply notification received from the user, A failure handling support system that estimates a time required for re-learning before transmitting re-learning by the machine learning device and transmits a reflection schedule notification including information related to a scheduled completion time of re-learning to the user.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017029690A JP6868416B2 (en) | 2017-02-21 | 2017-02-21 | Failure response support system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017029690A JP6868416B2 (en) | 2017-02-21 | 2017-02-21 | Failure response support system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018136656A true JP2018136656A (en) | 2018-08-30 |
JP6868416B2 JP6868416B2 (en) | 2021-05-12 |
Family
ID=63365445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017029690A Active JP6868416B2 (en) | 2017-02-21 | 2017-02-21 | Failure response support system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6868416B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020138176A1 (en) * | 2018-12-28 | 2020-07-02 | 京セラドキュメントソリューションズ株式会社 | Monitoring system, monitoring method, and monitoring program |
CN111565256A (en) * | 2019-02-13 | 2020-08-21 | 精工爱普生株式会社 | Information processing device, learning device, and non-transitory recording medium |
JPWO2021059451A1 (en) * | 2019-09-26 | 2021-04-01 | ||
US11144712B2 (en) | 2019-09-02 | 2021-10-12 | Fujitsu Limited | Dictionary creation apparatus, dictionary creation method, and non-transitory computer-readable storage medium for storing dictionary creation program |
US11296925B2 (en) | 2019-05-13 | 2022-04-05 | Fujitsu Limited | Network analyzer that provides answer to inquiry about network failure and network analyzing method |
KR20220131774A (en) * | 2021-03-22 | 2022-09-29 | 유왕상 | Artificial intelligence learning data collection method for improving recognition rate using eraser function and candidate list |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005276042A (en) * | 2004-03-26 | 2005-10-06 | Nomura Research Institute Ltd | System for monitoring job-supporting system and support program |
JP2013254451A (en) * | 2012-06-08 | 2013-12-19 | Nippon Telegr & Teleph Corp <Ntt> | Monitoring device, monitoring method and monitoring program |
-
2017
- 2017-02-21 JP JP2017029690A patent/JP6868416B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005276042A (en) * | 2004-03-26 | 2005-10-06 | Nomura Research Institute Ltd | System for monitoring job-supporting system and support program |
JP2013254451A (en) * | 2012-06-08 | 2013-12-19 | Nippon Telegr & Teleph Corp <Ntt> | Monitoring device, monitoring method and monitoring program |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020138176A1 (en) * | 2018-12-28 | 2020-07-02 | 京セラドキュメントソリューションズ株式会社 | Monitoring system, monitoring method, and monitoring program |
US11635923B2 (en) | 2018-12-28 | 2023-04-25 | Kyocera Document Solutions Inc. | Monitoring system, monitoring method, and monitoring program |
CN111565256B (en) * | 2019-02-13 | 2022-04-22 | 精工爱普生株式会社 | Information processing device, learning device, and non-transitory recording medium |
JP6992774B2 (en) | 2019-02-13 | 2022-01-13 | セイコーエプソン株式会社 | Information processing device, learning device and trained model |
US11310371B2 (en) | 2019-02-13 | 2022-04-19 | Seiko Epson Corporation | Information processing device, learning device, and non-transitory recording medium storing machine-learned model |
JP2020135008A (en) * | 2019-02-13 | 2020-08-31 | セイコーエプソン株式会社 | Information processing apparatus, learning device, and learned model |
CN111565256A (en) * | 2019-02-13 | 2020-08-21 | 精工爱普生株式会社 | Information processing device, learning device, and non-transitory recording medium |
US11296925B2 (en) | 2019-05-13 | 2022-04-05 | Fujitsu Limited | Network analyzer that provides answer to inquiry about network failure and network analyzing method |
US11144712B2 (en) | 2019-09-02 | 2021-10-12 | Fujitsu Limited | Dictionary creation apparatus, dictionary creation method, and non-transitory computer-readable storage medium for storing dictionary creation program |
JPWO2021059451A1 (en) * | 2019-09-26 | 2021-04-01 | ||
WO2021059451A1 (en) * | 2019-09-26 | 2021-04-01 | 日本電信電話株式会社 | Abnormality handling assisting device, method, and program |
JP7331935B2 (en) | 2019-09-26 | 2023-08-23 | 日本電信電話株式会社 | Abnormality handling support device, method and program |
KR20220131774A (en) * | 2021-03-22 | 2022-09-29 | 유왕상 | Artificial intelligence learning data collection method for improving recognition rate using eraser function and candidate list |
KR102508200B1 (en) | 2021-03-22 | 2023-03-09 | 주식회사 아이텍솔루션 | Artificial intelligence learning data collection method for improving recognition rate using eraser function and candidate list |
Also Published As
Publication number | Publication date |
---|---|
JP6868416B2 (en) | 2021-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6868416B2 (en) | Failure response support system | |
US10387899B2 (en) | Systems and methods for monitoring and analyzing computer and network activity | |
JP6643211B2 (en) | Anomaly detection system and anomaly detection method | |
CN116057510B (en) | System, apparatus and method for anomaly detection | |
US20170109657A1 (en) | Machine Learning-Based Model for Identifying Executions of a Business Process | |
US8832205B2 (en) | System and method for extracting calendar events from free-form email | |
US9646077B2 (en) | Time-series analysis based on world event derived from unstructured content | |
US20170109676A1 (en) | Generation of Candidate Sequences Using Links Between Nonconsecutively Performed Steps of a Business Process | |
US20170109668A1 (en) | Model for Linking Between Nonconsecutively Performed Steps in a Business Process | |
US20170109667A1 (en) | Automaton-Based Identification of Executions of a Business Process | |
US20170109636A1 (en) | Crowd-Based Model for Identifying Executions of a Business Process | |
CN105893225A (en) | Automatic error processing method and device | |
US20130268457A1 (en) | System and Method for Extracting Aspect-Based Ratings from Product and Service Reviews | |
US20210295183A1 (en) | Systems and methods for automated alert processing | |
US11157707B2 (en) | Natural language response improvement in machine assisted agents | |
US11469974B1 (en) | Analytics for edge devices to intelligently throttle data reporting | |
US20170109638A1 (en) | Ensemble-Based Identification of Executions of a Business Process | |
CN113986864A (en) | Log data processing method and device, electronic equipment and storage medium | |
US20220350690A1 (en) | Training method and apparatus for fault recognition model, fault recognition method and apparatus, and electronic device | |
AU2015203108B1 (en) | Automated predictive tag management system | |
US11822578B2 (en) | Matching machine generated data entries to pattern clusters | |
US20170109640A1 (en) | Generation of Candidate Sequences Using Crowd-Based Seeds of Commonly-Performed Steps of a Business Process | |
US20210224843A1 (en) | Method and system for determining equity index for a brand | |
US20170109637A1 (en) | Crowd-Based Model for Identifying Nonconsecutive Executions of a Business Process | |
US11562121B2 (en) | AI driven content correction built on personas |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210406 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210412 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6868416 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |