JP6503223B2 - 運用損失を考慮して障害予測結果を評価する装置、システム、プログラム及び方法 - Google Patents
運用損失を考慮して障害予測結果を評価する装置、システム、プログラム及び方法 Download PDFInfo
- Publication number
- JP6503223B2 JP6503223B2 JP2015101339A JP2015101339A JP6503223B2 JP 6503223 B2 JP6503223 B2 JP 6503223B2 JP 2015101339 A JP2015101339 A JP 2015101339A JP 2015101339 A JP2015101339 A JP 2015101339A JP 6503223 B2 JP6503223 B2 JP 6503223B2
- Authority
- JP
- Japan
- Prior art keywords
- failure
- prediction
- type
- predicted
- correct
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Maintenance And Management Of Digital Transmission (AREA)
- Debugging And Monitoring (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Small-Scale Networks (AREA)
Description
本発明は、事業システムでの障害の発生を予測する障害予測手段による予測結果を評価する技術に関する。
今日の通信サービス事業者やインターネット関連サービス事業者にとって、通信ネットワーク（ＮＷ）システムに設置されたＮＷ設備等での障害の発生を予測することは、迅速な障害復旧を可能とするＮＷ運用を実現するために重要となる。
実際、今日まで、様々な事業システムにおいて種々の障害予測技術が研究開発されている。例えば、特許文献１〜３に記載された技術では、分類学習アルゴリズムとしてナイーブベイズ（例えば非特許文献１参照）やサポートベクタマシン（例えば非特許文献２参照）、決定木（例えば非特許文献３参照）等の機械学習を利用し、監視設備が取得するデータに基づいて障害の発生を予測している。
ここで、これらの障害予測技術による予測結果が実際にどこまで有効であるかを評価し、対象となる通信ＮＷ等の事業システムにとってどのような障害予測手法を適用すべきかを判断することは非常に大事である。
このような発生し得る事象の予測結果の有効性を測る従来の指標としては、非特許文献４に記載されたAccuracy、F-measure、Precision及びRecall、即ち、
が挙げられる。上式（１）において、kは事象種別を指定する指数であり、Kは全事象種別を含む集合である。また、Accuracyは予測全体の正解率を示し、F-measurekは事象種別k毎の予測性能を示す。さらに、Precisionkは、ある事象種別kであると予測された場合に正解もその事象種別kである割合を示し、Recallkは、ある事象種別kが正解である場合に予測結果もその事象種別kである割合を示す。このうち、F-measurekはPrecisionkとRecallkとの調和平均として算出される。
これらの指標は、上式（１）に示すように、TP（True Positive）、FP（False Positive）、FN（False Negative）及びTN（True Negative）から算出される。ここで、事象の予測結果の評価は事象種別k毎の正解率を把握することが基本となるため、TP、FP、FN及びTNは以下のように定義されてその値が取得される。
TPk：事象種別kが、正しく事象種別kと予測された件数
FPk：事象種別kでない障害が、誤って事象種別kと予測された件数
FNk：事象種別kが、誤って事象種別kでない障害と予測された件数
TNk：事象種別kでない障害が、正しく事象種別kではない障害と予測された件数
TPk：事象種別kが、正しく事象種別kと予測された件数
FPk：事象種別kでない障害が、誤って事象種別kと予測された件数
FNk：事象種別kが、誤って事象種別kでない障害と予測された件数
TNk：事象種別kでない障害が、正しく事象種別kではない障害と予測された件数
Pedro Domingos及びMichael Pazzani、「On the Optimality of the Simple Bayesian Classifier under Zero-One Loss」、Machine learning、Vol.29、pp.103-130、1997年
Corinna Cortes及びVladimir Vapnik、「Support-Vector Networks」、Machine Learning、Vol.20、pp.273-297、1995年
Rokach, Lior及びMaimon, O.、「Data mining with decision trees: theory and applications」、World Scientific Pub Co Inc.、2007年
元田浩、津本周作、山口高平、及び沼尾正行、「IT Text データマイニングの基礎」、オーム社、2006年
しかしながら、例え、上述した従来のAccuracy、F-measurek、Precisionk及びRecallkといった指標を用いて障害予測技術による予測結果を評価したとしても、尚、事業システムの運用における、障害予測による現実的なメリット・デメリットを評価することは困難である。
実際、上述したAccuracy、F-measurek、Precisionk及びRecallkといった指標は、TPk、FPk、FNk及びTNkといった事象種別に係る予測結果の単純な総件数に基づいて算出される。一方、特許文献１〜３に記載された障害予測技術においては、その予測結果に、事業システムの運用コスト等の運用面での事情は何ら反映されない。従って、これらの指標による評価結果も、そのような運用面での事情を考慮したものとはなり得ない。
これに対し、実際の事業システムの運用においては、例えば障害の発生を予測した場合、故障した設備の交換に要するコストや、障害の発生した現地への出動等に要するコストも考慮した上で、この予測の結果を評価する必要がある。また、予測結果に基づいて障害に対応した際に、提供するサービスがどの程度劣化するかや、障害復旧にどれだけの時間が費やされるかといった運用上発生する損失の度合いも考慮可能であることも望まれる。しかしながら、そのような運用コストを含めた運用損失の観点から障害予測結果を評価することは、従来何ら提案されてこなかった。
そこで、本発明は、事業システムの運用損失をも考慮して、障害発生の予測結果を評価することができる装置、システム、プログラム及び方法を提供することを目的とする。
本発明によれば、事業システムにおける障害の発生を予測する障害予測手段による予測結果を評価する障害予測評価装置であって、
当該障害予測手段による予測結果としての複数の障害種別の各々について、予測した際に正解であった障害種別である正解障害種別毎に、当該障害種別が実際に予測障害種別として予測された回数に係る予測回数情報を取得する予測結果取得手段と、
当該正解障害種別毎に、当該予測障害種別の各々について、当該予測障害種別の内容に従って対処又は放置した際に発生する運用コストを含む運用損失に係る情報である運用損失情報を取得する運用損失取得手段と、
当該正解障害種別と当該予測障害種別との組毎に、１つの予測障害種別における当該正解障害種別毎に、又は１つの正解障害種別における当該予測障害種別毎に、対応する当該予測回数情報を当該運用損失情報によって重み付けした値に基づいて、当該障害予測手段による予測結果の評価の指標となる評価値を算出する評価値算出手段と
を有する障害予測評価装置が提供される。
当該障害予測手段による予測結果としての複数の障害種別の各々について、予測した際に正解であった障害種別である正解障害種別毎に、当該障害種別が実際に予測障害種別として予測された回数に係る予測回数情報を取得する予測結果取得手段と、
当該正解障害種別毎に、当該予測障害種別の各々について、当該予測障害種別の内容に従って対処又は放置した際に発生する運用コストを含む運用損失に係る情報である運用損失情報を取得する運用損失取得手段と、
当該正解障害種別と当該予測障害種別との組毎に、１つの予測障害種別における当該正解障害種別毎に、又は１つの正解障害種別における当該予測障害種別毎に、対応する当該予測回数情報を当該運用損失情報によって重み付けした値に基づいて、当該障害予測手段による予測結果の評価の指標となる評価値を算出する評価値算出手段と
を有する障害予測評価装置が提供される。
ここで、本発明における障害発生予測対象である事業システムは、少なくとも１つの設備を備えており、
予測結果取得手段は、当該設備の交換又は修理が必要な障害である旨の障害種別、及び当該設備の交換又は修理が不要な障害である旨の障害種別についての当該予測回数情報を取得し、
運用損失取得手段は、当該設備の交換又は修理が不要な障害である旨の正解予測種別と、当該設備の交換又は修理が必要な障害である旨の予測障害種別とに対応する運用損失情報として、当該設備の交換又は修理に係るコスト分が加算された値を採用することも好ましい。
予測結果取得手段は、当該設備の交換又は修理が必要な障害である旨の障害種別、及び当該設備の交換又は修理が不要な障害である旨の障害種別についての当該予測回数情報を取得し、
運用損失取得手段は、当該設備の交換又は修理が不要な障害である旨の正解予測種別と、当該設備の交換又は修理が必要な障害である旨の予測障害種別とに対応する運用損失情報として、当該設備の交換又は修理に係るコスト分が加算された値を採用することも好ましい。
さらに、障害発生予測対象である事業システムは、障害発生時にその場で対応が必要となる少なくとも１つの現地を有し、
予測結果取得手段は、当該現地での対応が必要な障害である旨の障害種別、及び当該現地での対応が不要な障害である旨の障害種別についての当該予測回数情報を取得し、
運用損失取得手段は、当該現地での対応が不要な障害である旨の正解予測種別と、当該現地での対応が必要な障害である旨の予測障害種別とに対応する運用損失情報として、当該現地への出動コスト分が加算された値を採用することも好ましい。
予測結果取得手段は、当該現地での対応が必要な障害である旨の障害種別、及び当該現地での対応が不要な障害である旨の障害種別についての当該予測回数情報を取得し、
運用損失取得手段は、当該現地での対応が不要な障害である旨の正解予測種別と、当該現地での対応が必要な障害である旨の予測障害種別とに対応する運用損失情報として、当該現地への出動コスト分が加算された値を採用することも好ましい。
さらにまた、障害発生予測対象である事業システムは、少なくとも１つの設備を備え、障害発生時にその場で対応が必要となり得る少なくとも１つの現地を有する通信ネットワークシステムであることも好ましい。
また、通信ネットワークシステムが障害発生予測対象である実施形態において、予測結果取得手段によって取得される予測回数情報を導出するための当該予測結果は、当該障害予測手段が、当該設備から又は予めネットワークに設置された監視設備から収集されるネットワークに係るアラーム情報と、当該正解障害種別とを教師データセットとして学習させて構築した学習器に対し、予測対象であるアラーム情報を入力することによって取得した予測結果であることも好ましい。
さらに、本発明による障害予測評価装置の一実施形態として、当該複数の障害種別は、（ａ）対処が不要な障害である旨の障害種別、
（ｂ）遠隔リセットが必要な障害である旨の障害種別、
（ｃ）事業システムにおける現地での対応が必要な障害である旨の障害種別、及び
（ｄ）事業システムの有する設備の交換又は修理が必要な障害である旨の障害種別
からなる群から選択された少なくとも１つを含むことも好ましい。
（ｂ）遠隔リセットが必要な障害である旨の障害種別、
（ｃ）事業システムにおける現地での対応が必要な障害である旨の障害種別、及び
（ｄ）事業システムの有する設備の交換又は修理が必要な障害である旨の障害種別
からなる群から選択された少なくとも１つを含むことも好ましい。
さらにまた、本発明による障害予測評価装置の他の実施形態として、当該運用損失情報は、
（ａ）障害予測のない場合に必要となる運用コストと比較した運用コストの増減分、
（ｂ）障害予測が外れる又は当たることによって生じるサービスの向上又は劣化の度合い、及び
（ｃ）障害予測のない場合に必要となる障害復旧のための時間と比較した障害復旧時間の増減分
からなる群から選択された少なくとも１つを含むことも好ましい。
（ａ）障害予測のない場合に必要となる運用コストと比較した運用コストの増減分、
（ｂ）障害予測が外れる又は当たることによって生じるサービスの向上又は劣化の度合い、及び
（ｃ）障害予測のない場合に必要となる障害復旧のための時間と比較した障害復旧時間の増減分
からなる群から選択された少なくとも１つを含むことも好ましい。
また、本発明において、当該運用損失情報は、対応する当該正解障害種別及び当該予測障害種別が一致する場合に負値又はゼロをとり且つ一致しない場合に正値又はゼロをとり、当該評価値は、負値をとる場合にその絶対値が大きいほど、当該障害予測手段による予測結果の有効性がより高いとの評価を示すことも好ましい。
さらに、事業システムが少なくとも１つの設備を備えている実施形態において、評価値算出手段は、当該設備の交換又は修理が必要な障害である旨の予測障害種別における当該正解障害種別毎に、対応する当該予測回数情報を当該運用損失情報によって重み付けした値に基づいて、当該設備の交換又は修理が必要である旨の予測結果に対する有効性を評価する評価値を算出することも好ましい。
本発明によれば、また、少なくとも１つの設備を備えた通信ネットワークシステムにおける障害の発生を予測する障害予測手段と、この障害予測手段による予測結果を評価する障害予測評価装置とを備えた障害予測システムであって、障害予測評価装置は、
障害予測手段による予測結果としての複数の障害種別であって、当該設備の交換又は修理が必要な障害である旨の障害種別、及び当該設備の交換又は修理が不要な障害である旨の障害種別を含む複数の障害種別の各々について、予測した際に正解であった障害種別である正解障害種別毎に、当該障害種別が実際に予測障害種別として予測された回数に係る予測回数情報を取得する予測結果取得手段と、
当該正解障害種別毎に、当該予測障害種別の各々について、当該予測障害種別の内容に従って対処又は放置した際に発生する運用コストであって、設備の交換又は修理が不要な障害である旨の正解予測種別と、当該設備の交換又は修理が必要な障害である旨の予測障害種別とに対応しており当該設備の交換又は修理に係るコスト分が加算された値を有する運用コストを含む運用損失に係る情報である運用損失情報を取得する運用損失取得手段と、
当該正解障害種別と当該予測障害種別との組毎に、１つの予測障害種別における当該正解障害種別毎に、又は１つの正解障害種別における当該予測障害種別毎に、対応する当該予測回数情報を当該運用損失情報によって重み付けした値に基づいて、当該障害予測手段による予測結果の評価の指標となる評価値を算出する評価値算出手段と
を有する障害予測システムが提供される。
障害予測手段による予測結果としての複数の障害種別であって、当該設備の交換又は修理が必要な障害である旨の障害種別、及び当該設備の交換又は修理が不要な障害である旨の障害種別を含む複数の障害種別の各々について、予測した際に正解であった障害種別である正解障害種別毎に、当該障害種別が実際に予測障害種別として予測された回数に係る予測回数情報を取得する予測結果取得手段と、
当該正解障害種別毎に、当該予測障害種別の各々について、当該予測障害種別の内容に従って対処又は放置した際に発生する運用コストであって、設備の交換又は修理が不要な障害である旨の正解予測種別と、当該設備の交換又は修理が必要な障害である旨の予測障害種別とに対応しており当該設備の交換又は修理に係るコスト分が加算された値を有する運用コストを含む運用損失に係る情報である運用損失情報を取得する運用損失取得手段と、
当該正解障害種別と当該予測障害種別との組毎に、１つの予測障害種別における当該正解障害種別毎に、又は１つの正解障害種別における当該予測障害種別毎に、対応する当該予測回数情報を当該運用損失情報によって重み付けした値に基づいて、当該障害予測手段による予測結果の評価の指標となる評価値を算出する評価値算出手段と
を有する障害予測システムが提供される。
本発明によれば、さらに、事業システムにおける障害の発生を予測する障害予測手段による予測結果を評価する装置に搭載されたコンピュータを機能させるプログラムであって、
当該障害予測手段による予測結果としての複数の障害種別の各々について、予測した際に正解であった障害種別である正解障害種別毎に、当該障害種別が実際に予測障害種別として予測された回数に係る予測回数情報を取得する予測結果取得手段と、
当該正解障害種別毎に、当該予測障害種別の各々について、当該予測障害種別の内容に従って対処又は放置した際に発生する運用コストを含む運用損失に係る情報である運用損失情報を取得する運用損失取得手段と、
当該正解障害種別と当該予測障害種別との組毎に、１つの予測障害種別における当該正解障害種別毎に、又は１つの正解障害種別における当該予測障害種別毎に、対応する当該予測回数情報を当該運用損失情報によって重み付けした値に基づいて、当該障害予測手段による予測結果の評価の指標となる評価値を算出する評価値算出手段と
してコンピュータを機能させる障害予測評価プログラムが提供される。
当該障害予測手段による予測結果としての複数の障害種別の各々について、予測した際に正解であった障害種別である正解障害種別毎に、当該障害種別が実際に予測障害種別として予測された回数に係る予測回数情報を取得する予測結果取得手段と、
当該正解障害種別毎に、当該予測障害種別の各々について、当該予測障害種別の内容に従って対処又は放置した際に発生する運用コストを含む運用損失に係る情報である運用損失情報を取得する運用損失取得手段と、
当該正解障害種別と当該予測障害種別との組毎に、１つの予測障害種別における当該正解障害種別毎に、又は１つの正解障害種別における当該予測障害種別毎に、対応する当該予測回数情報を当該運用損失情報によって重み付けした値に基づいて、当該障害予測手段による予測結果の評価の指標となる評価値を算出する評価値算出手段と
してコンピュータを機能させる障害予測評価プログラムが提供される。
本発明によれば、さらにまた、事業システムにおける障害の発生を予測する障害予測手段による予測結果を評価する方法であって、
当該障害予測手段による予測結果としての複数の障害種別の各々について、予測した際に正解であった障害種別である正解障害種別毎に、当該障害種別が実際に予測障害種別として予測された回数に係る予測回数情報を取得するステップと、
当該正解障害種別毎に、当該予測障害種別の各々について、当該予測障害種別の内容に従って対処又は放置した際に発生する運用コストを含む運用損失に係る情報である運用損失情報を取得するステップと、
当該正解障害種別と当該予測障害種別との組毎に、１つの予測障害種別における当該正解障害種別毎に、又は１つの正解障害種別における当該予測障害種別毎に、対応する当該予測回数情報を当該運用損失情報によって重み付けした値に基づいて、当該障害予測手段による予測結果の評価の指標となる評価値を算出するステップと
を有する障害予測評価方法が提供される。
当該障害予測手段による予測結果としての複数の障害種別の各々について、予測した際に正解であった障害種別である正解障害種別毎に、当該障害種別が実際に予測障害種別として予測された回数に係る予測回数情報を取得するステップと、
当該正解障害種別毎に、当該予測障害種別の各々について、当該予測障害種別の内容に従って対処又は放置した際に発生する運用コストを含む運用損失に係る情報である運用損失情報を取得するステップと、
当該正解障害種別と当該予測障害種別との組毎に、１つの予測障害種別における当該正解障害種別毎に、又は１つの正解障害種別における当該予測障害種別毎に、対応する当該予測回数情報を当該運用損失情報によって重み付けした値に基づいて、当該障害予測手段による予測結果の評価の指標となる評価値を算出するステップと
を有する障害予測評価方法が提供される。
本発明の障害予測評価装置、システム、プログラム及び方法によれば、事業システムの運用損失をも考慮して、障害発生の予測結果を評価することができる。
以下、本発明の実施形態について、図面を用いて詳細に説明する。
［障害予測評価システム］
図１は、本発明による障害予測評価装置を含む障害予測評価システムの一実施形態を示す模式図である。
図１は、本発明による障害予測評価装置を含む障害予測評価システムの一実施形態を示す模式図である。
図１において、本実施形態の障害予測評価システムは、
（ａ）事業システムとしての通信ネットワーク（ＮＷ）システム３における障害の発生を予測する障害予測手段としての障害予測装置２と、
（ｂ）障害予測装置２から出力される予測結果を評価する障害予測評価装置１と
を備えている。
（ａ）事業システムとしての通信ネットワーク（ＮＷ）システム３における障害の発生を予測する障害予測手段としての障害予測装置２と、
（ｂ）障害予測装置２から出力される予測結果を評価する障害予測評価装置１と
を備えている。
通信ＮＷシステム３は、事業者通信網であり、例えば、携帯電話通信網であるＬＴＥ(Long Term Evolution)やＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）等の無線系アクセスネットワークであってもよく、光ファイバ網等の固定系アクセスネットワークであってもよい。通信ＮＷシステム３は、複数の通信設備３１を備えており、さらに、ネットワークの状態を監視する監視設備３２を備えていてもよい。監視設備３２は、通信ＮＷシステム３における様々な測定項目データや各種のアラームを通信設備３１等から受信し、取りまとめて障害予測装置２に送信する。
障害予測装置２は、監視設備３２や通信設備３１から、通信ＮＷシステム３における測定項目データやアラームを受信し、受信したこれらのデータに基づいて、通信ＮＷシステム３における障害の発生の予測結果を生成し出力する。ここで、アラームは、通信ＮＷシステム３の動作・運用における異常や不具合等に係る情報であり、例えば、ＮＷリンクダウンエラーの情報や、信号同期処理エラーの情報等が挙げられる。
また、本実施形態において、障害予測装置２による予測結果は、予測される障害の種類である障害種別となる。障害種別としては、例えば、「対処が不要な障害」、「遠隔リセットが必要な障害」、「現地対応が必要な障害」、「設備交換が必要な障害」等が挙げられる。ここで、例えば、交換対象となり得る通信設備３１が複数存在する場合、障害種別として、「設備Ａの交換が必要な障害」、「設備Ｂの交換が必要な障害」、「設備Ａ及び設備Ｃの交換が必要な障害」等、設備毎又は設備の組毎の種別が挙げられることも好ましい。
さらに、例えば、通信ＮＷシステム３において障害時に対応の必要となる現地が複数存在する場合、障害種別として、「現地Ｄへの対応が必要な障害」、「現地Ｅへの対応が必要な障害」、「現地Ｄ及び現地Ｆへの対応が必要な障害」等、現地毎又は現地の組毎の種別が挙げられることも好ましい。
次いで、障害予測評価装置１は、障害予測装置２から、予測結果としての障害種別を受信する。ここで、障害予測評価装置１と障害予測装置２とは、有線又は無線のネットワークで、又は事象者通信網及びインターネットを介して通信接続されている。また、変更態様として、障害予測評価装置１と障害予測装置２とが、１つの装置に組み込まれていてもよい。
さらに、障害予測評価装置１は、１つの障害種別を取得した際、実際に正解であった障害種別である正解障害種別の情報も取得する。この正解障害種別は、例えば、事業者（ＮＷ運用者）が、通信ＮＷシステム３における障害発生の実際の状況を、障害予測発生毎に又は対処を実施した後に調査して取りまとめ、記録しておくことによって取得することができる。また、この正解障害種別として、後に図２（Ａ）で示す障害予測装置２の学習フェーズで使用される教師データとしての正解障害種別を用いてもよい。
障害予測評価装置１は、さらに、
（Ａ）予測結果としての複数の障害種別の各々について、予測した際の正解障害種別毎に、当該障害種別が実際に予測障害種別として予測された回数に係る「予測回数情報」を取得し、
（Ｂ）正解障害種別毎に、予測障害種別の各々について、当該予測障害種別の内容に従って対処又は放置した際に発生する運用コストを含む運用損失に係る情報である「運用損失情報」を取得し、
（Ｃ）正解障害種別と予測障害種別との組毎に、対応する「予測回数情報」を「運用損失情報」によって重み付けした値に基づいて、障害予測装置２による予測結果の評価の指標となる「評価値」を算出する。
（Ａ）予測結果としての複数の障害種別の各々について、予測した際の正解障害種別毎に、当該障害種別が実際に予測障害種別として予測された回数に係る「予測回数情報」を取得し、
（Ｂ）正解障害種別毎に、予測障害種別の各々について、当該予測障害種別の内容に従って対処又は放置した際に発生する運用コストを含む運用損失に係る情報である「運用損失情報」を取得し、
（Ｃ）正解障害種別と予測障害種別との組毎に、対応する「予測回数情報」を「運用損失情報」によって重み付けした値に基づいて、障害予測装置２による予測結果の評価の指標となる「評価値」を算出する。
ここで、上記（Ｂ）における「運用損失情報」は、
（Ｂ１）障害予測のない場合に必要となる運用コストと比較した運用コスト（例えば金額）の増減分、
（Ｂ２）障害予測が外れる又は当たることによって生じるサービスの向上又は劣化の度合い、又は
（Ｂ３）障害予測のない場合に必要となる障害復旧のための時間と比較した障害復旧時間の増減分
とすることができる。さらには、上記（Ｂ１）〜（Ｂ３）から選択された２つ又は上記（Ｂ１）〜（Ｂ３）の全部を「運用損失情報」とすることも可能である。
（Ｂ１）障害予測のない場合に必要となる運用コストと比較した運用コスト（例えば金額）の増減分、
（Ｂ２）障害予測が外れる又は当たることによって生じるサービスの向上又は劣化の度合い、又は
（Ｂ３）障害予測のない場合に必要となる障害復旧のための時間と比較した障害復旧時間の増減分
とすることができる。さらには、上記（Ｂ１）〜（Ｂ３）から選択された２つ又は上記（Ｂ１）〜（Ｂ３）の全部を「運用損失情報」とすることも可能である。
このように、障害予測評価装置１によれば、通信ＮＷシステム３に対する実際の運用に係る情報をも考慮して、障害予測装置２による予測結果を評価することができる。即ち、事業システムの運用における、障害予測による現実的なメリット・デメリットを評価することが可能となるのである。
また、このような運用損失を考慮した予測結果の評価を行うことによって、後述するように、予測結果に従い運用対処を実施した又は放置した場合に発生する運用コスト（金額）を算出することもできる。さらに、この算出された運用コストを評価指標として、障害予測装置２を評価することも可能となる。即ち、運用コストの観点から最適な障害予測装置（システム）を決定することもできるのである。さらにまた、予測結果毎の運用コスト面での重要度を考慮して障害予測装置（システム）を評価することも可能となる。
尚、上記（Ｃ）の「評価値」の算出においては、対応する「予測回数情報」を「運用損失情報」によって重み付けするのは、
（Ｃ１）正解障害種別と予測障害種別との組毎に
行われる以外にも、
（Ｃ２）１つの予測障害種別における正解障害種別毎に、又は
（Ｃ３）１つの正解障害種別における予測障害種別毎に
行われてもよい。（Ｃ１）〜（Ｃ３）の場合、後に詳述するように、それぞれAccuracy、Precision及びRecallに対応した評価値が算出される。このように、障害予測評価装置１によれば、所望の評価基準に対応した「評価値」を算出することも可能となるのである。
（Ｃ１）正解障害種別と予測障害種別との組毎に
行われる以外にも、
（Ｃ２）１つの予測障害種別における正解障害種別毎に、又は
（Ｃ３）１つの正解障害種別における予測障害種別毎に
行われてもよい。（Ｃ１）〜（Ｃ３）の場合、後に詳述するように、それぞれAccuracy、Precision及びRecallに対応した評価値が算出される。このように、障害予測評価装置１によれば、所望の評価基準に対応した「評価値」を算出することも可能となるのである。
［障害予測装置］
図２は、障害予測装置２の動作フェーズを概略的に説明するための模式図である。障害予測装置２における動作フェーズとして、「動作フェーズ」、「学習器評価フェーズ」及び「予測フェーズ」が挙げられる。
図２は、障害予測装置２の動作フェーズを概略的に説明するための模式図である。障害予測装置２における動作フェーズとして、「動作フェーズ」、「学習器評価フェーズ」及び「予測フェーズ」が挙げられる。
図２（Ａ）によれば、障害予測装置２の学習フェーズでは、
（ａ）過去に又は現時点で収集した通信設備３１等から発生したアラームと、
（ｂ）当該アラーム発生の際に実際に生じていた障害の種類である正解障害種別と
を教師データセットとし、上記（ａ）に係るアラーム群から生成された複数の教師データセットを障害予測装置２に入力して、機械学習の学習器を構築する。
（ａ）過去に又は現時点で収集した通信設備３１等から発生したアラームと、
（ｂ）当該アラーム発生の際に実際に生じていた障害の種類である正解障害種別と
を教師データセットとし、上記（ａ）に係るアラーム群から生成された複数の教師データセットを障害予測装置２に入力して、機械学習の学習器を構築する。
ここで、構築される学習器は、学習方法（機械学習の種類、機械学習のパラメータ、教師データセットの形式等）により異なる。機械学習の種類としては、ナイーブベイズ、サポートベクタマシン（ＳＶＭ）、又は決定木といった、教師有り学習を行うものならば種々のアルゴリズムが採用可能である。
次いで、図２（Ｂ）によれば、学習器評価フェーズでは、構築した学習器に対し、学習フェーズで教師データとして使用したアラーム群を入力し、試験的に、入力したアラーム毎の予測結果（障害種別）を出力させる。次に、出力された予測結果を、学習フェーズで教師データとして使用した障害種別データと比較し、例えば両者の一致率を算出して、構築した学習器の予測性能を評価する。ここで、評価結果が良くない場合（例えば一致率が所定の値を下回る場合）、学習器を再構築することも好ましい。
さらに、図２（Ｃ）によれば、予測フェーズでは、学習器評価フェーズでの処理を経た学習器に対し、予測対象のアラーム（群）を入力し、予測結果としての障害種別を出力させる。
以上説明したように、障害予測評価装置１によって取得される障害予測装置２からの予測結果は、障害予測装置２が、通信設備３１や監視設備３２等から収集されるネットワークに係るアラーム情報と、正解障害種別とを教師データセットとして学習させて構築した学習器に対し、予測対象であるアラーム情報を入力することによって出力した予測結果となっている。
［障害予測評価装置］
図３は、本発明による障害予測評価装置の一実施形態における機能構成を示す機能ブロック図である。
図３は、本発明による障害予測評価装置の一実施形態における機能構成を示す機能ブロック図である。
図３によれば、障害予測評価装置１は、通信インタフェース部１０１と、予測結果蓄積部１０２と、運用コスト蓄積部１０３と、評価結果蓄積部１０４と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、障害予測評価装置１に搭載されたコンピュータを機能させるプログラムを実行することによって、障害予測装置２による予測結果の有効性を評価する機能を実現させる。
また、プロセッサ・メモリは、予測結果取得部１１１と、運用損失取得手段としての運用コスト取得部１１２と、評価値算出部１１３と、通信制御部１２１とを有する。ここで、運用コスト取得部１１２は、設備交換コスト算定部１１２ａと、現地出動コスト算定部１１２ｂとを有する。さらに、評価値算出部１１３は、アキュラシ対応評価値算出部１１３ａと、プレシジョン対応評価値算出部１１３ｂと、リコール対応評価値算出部１１３ｃとを有する。尚、図３における各機能構成部を矢印で接続した処理の流れは、本発明による障害予測評価方法の一実施形態としても理解される。
通信インタフェース部１０１は、障害予測装置２から、
（ａ）予測結果としての障害種別の情報と、当該予測結果の出力の際に正解であった障害種別の情報とを受信し、また、
（ｂ）後述する評価値算出部１１３で算出された評価値を含む評価結果を、外部の通知先、例えば通信ＮＷシステム３を管理する事業者の情報処理装置宛てに送信する。
（ａ）予測結果としての障害種別の情報と、当該予測結果の出力の際に正解であった障害種別の情報とを受信し、また、
（ｂ）後述する評価値算出部１１３で算出された評価値を含む評価結果を、外部の通知先、例えば通信ＮＷシステム３を管理する事業者の情報処理装置宛てに送信する。
通信制御部１２１は、通信インタフェース部１０１を介して受信した予測障害種別情報及び正解障害種別情報を予測結果取得部１１１に出力し、一方、予測障害種別及び正解障害種別として挙げられている障害種別が何であるかの情報を運用コスト取得部１１２に出力する。また、後述する評価値算出部１１３で算出された評価値を含む評価結果を外部に送信すべく通信インタフェース部１０１に出力する。
予測結果取得部１１１は、障害予測装置２による予測結果としての複数の障害種別の各々について、予測した際に正解であった障害種別である正解障害種別毎に、当該障害種別が実際に予測障害種別として予測された回数に係る予測回数情報を取得し、障害種別テーブル１１１ｔを生成する。生成された障害種別テーブル１１１ｔは、予測結果蓄積部１０２に蓄積されることも好ましい。
尚、予測結果取得部１１１は、予測障害種別に対応した正解障害種別情報を、装置１に設けられた（図示していない）入力インタフェース、例えばタッチパネルやキーボードを介した評価者による入力によって取得してもよい。
図４は、障害種別テーブル１１１ｔの一実施形態を示すテーブル図である。
図４によれば、障害種別テーブル１１１ｔにおいては、障害予測装置２から取得した予測結果としてのＮ個の予測障害種別が列項目として並び、予測時での実際の障害種別であるＮ個の正解障害種別が行項目として並んでいる。並べられた予測障害種別及び正解障害種別の各々には、「対処不要の障害」、「遠隔リセットが必要な障害」、「現地対応が必要な障害」及び「設備の交換（又は修理）が必要な障害」が含まれている。
また、テーブル１１１ｔの各欄におけるデータxij（i＝1, 2, ・・・, N、j＝1, 2, ・・・, N）は、当該欄の行項目及び列項目に対応する事態の発生した件数を示す。例えば、テーブル１１１ｔのＡ欄は、「設備交換が必要な障害」であると予測されたが、正解は「対処不要の障害」であったという予測失敗の事態に対応しており、Ａ欄の値x1Nは、このような予測失敗事態の発生した件数を示す。一方、テーブル１１１ｔのＢ欄は、予測された「設備交換が必要な障害」が実際に正解であったという予測成功の事態に対応しており、Ｂ欄の値xNNは、このような予測成功事態の発生した件数を示す。
尚、予測障害種別及び正解障害種別は、テーブル１１１ｔに並べられたものに限定されない。予測障害種別及び正解障害種別が各々、「対処不要の障害」、「遠隔リセットが必要な障害」、「現地対応が必要な障害」及び「設備の交換（又は修理）が必要な障害」のうち少なくとも１つを含む形態であってもよく、また、上述したように設備毎若しくは設備の組毎の障害種別、又は現地毎若しくは現地の組毎の障害種別が個別に採用されることも好ましい。
また、テーブル１１１ｔの各欄におけるデータxijの単位は、件数でなく、例えばテーブル１１１ｔ内における件数の割合であってもよい。但し、この単位を件数としておくことによって、後に算出する評価値を、例えば運用コスト額（金額）とし、意味を解釈し易い値とすることができる。
図３に戻って、運用コスト取得部１１２は、正解障害種別毎に、予測障害種別の各々について、当該予測障害種別の内容に従って対処又は放置した際に発生する運用コストに係る情報である運用コスト情報を取得し、運用コストテーブル１１２ｔを生成する。生成された運用コストテーブル１１２ｔは、運用コスト蓄積部１０３に蓄積されることも好ましい。
ここで、本実施形態では、障害種別テーブル１１１ｔ（図４）において、設備の交換（又は修理）が必要な障害である旨の障害種別、及び設備の交換（又は修理）が不要な障害である旨の障害種別が、予測障害種別及び正解障害種別に挙げられており、これらに対応する予測回数情報が取得されている。このような実施形態において、運用コスト取得部１１２は、設備交換コスト算定部１１２ａを有することも好ましい。
この設備交換コスト算定部１１２ａは、設備の交換（又は修理）が不要な障害である旨の正解予測種別と、設備の交換（又は修理）が必要な障害である旨の予測障害種別とに対応する運用コスト情報として、当該設備の交換（又は修理）に係るコスト分が加算された値（例えば金額）を採用する。
さらに、本実施形態では、障害種別テーブル１１１ｔ（図４）において、現地での対応が必要な障害である旨の障害種別、及び現地での対応が不要な障害である旨の障害種別が、予測障害種別及び正解障害種別に挙げられており、これらに対応する予測回数情報が取得されている。このような実施形態において、運用コスト取得部１１２は、現地出動コスト算定部１１２ｂを有することも好ましい。
この現地出動コスト算定部１１２ｂは、現地での対応が不要な障害である旨の正解予測種別と、現地での対応が必要な障害である旨の予測障害種別とに対応する運用コスト情報として、当該現地への出動コスト分が加算された値（例えば金額）を採用する。
図５は、運用コストテーブル１１２ｔの一実施形態を示すテーブル図である。
図５によれば、運用コストテーブル１１２ｔにおいては、列項目及び行項目として、それぞれ障害種別テーブル１１１ｔ（図４）と同一のＮ個の予測障害種別及びＮ個の正解障害種別が並んでいる。
また、テーブル１１２ｔ内の各欄におけるデータyij（i＝1, 2, ・・・, N、j＝1, 2, ・・・, N）は、当該欄の行項目及び列項目に対応する運用コストの増減分（例えば金額）を示す。
例えば、テーブル１１２ｔのＣ欄は、「設備交換が必要な障害」であると予測されたが、正解は「対処不要の障害」であったという予測失敗の事態に対応しており、Ｃ欄の値y1Nは、この誤った予測結果に従って本来は不要な設備交換を実施してしまうことによる運用コストの増加分（正の金額値）を示す。一方、テーブル１１２ｔのＤ欄は、予測された「設備交換が必要な障害」が実際に正解であったという予測成功の事態に対応しており、Ｄ欄の値yNNは、この正しい予測結果に従って必要な設備交換を実施することによる本来必要な運用コストの削減分（予測結果を得ていない状況で設備交換が必要であると判断するまでの調査費用分等）を示す。この場合、yNNは削減分として負の金額値となる。
このように、運用コスト（運用損失）情報は、対応する正解障害種別及び予測障害種別が一致する場合に負値（又はゼロ）をとり、一致しない場合に正値又（はゼロ）をとるように設定される。これにより、後に導出される評価値に対し、予測結果の有効性を評価する値としての方向性をつけることができる。
尚、本実施形態では、各予測結果に従い対応する対処を実施した（又は対応する放置処置をとった）場合に、本来必要となる運用コストと比較して、運用コストがどれだけ増大するか又は削減されるかの金額（yij）を予め見積もっておくことを前提とする。運用コスト増減分yijの決定方法として、例えば、以下の見積り方が採用可能である。
（ａ）正しい対処のみを実施した場合に省けた工数に基づく対処コストの低減分。
（ｂ）誤って設備交換を実施した場合の、設備の値段及び設置費用に基づく設備コスト。
（ｃ）誤って設備をベンダへ修理に出した場合の、ベンダとの契約に基づく修理コスト。
（ｄ）誤って現地作業を実施した場合の、現地までの距離、赴く人数、作業量及び時間帯に基づく出動コスト。
（ｅ）誤って必要な対処を省いた場合の、サービス影響時間及び影響人数に基づく損失コスト。
（ａ）正しい対処のみを実施した場合に省けた工数に基づく対処コストの低減分。
（ｂ）誤って設備交換を実施した場合の、設備の値段及び設置費用に基づく設備コスト。
（ｃ）誤って設備をベンダへ修理に出した場合の、ベンダとの契約に基づく修理コスト。
（ｄ）誤って現地作業を実施した場合の、現地までの距離、赴く人数、作業量及び時間帯に基づく出動コスト。
（ｅ）誤って必要な対処を省いた場合の、サービス影響時間及び影響人数に基づく損失コスト。
尚、運用コスト取得部１１２は、上記（ａ）〜（ｅ）の情報を、装置１に設けられた（図示していない）入力インタフェース、例えばタッチパネルやキーボードを介した評価者による入力によって取得してもよい。
また、変更態様として、運用コストと共に又は運用コストに代わって、障害予測が外れる又は当たることによって生じるサービスの向上又は劣化の度合い、及び／又は障害予測のない場合に必要となる障害復旧のための時間と比較した障害復旧時間の増減分といった運用損失（運用リスク）を数値化、例えば金額化したものを用いて、運用コストテーブル１１２ｔと同様の形式の運用損失テーブルを生成し、予測結果の評価に使用することもできる。この場合、サービス品質や障害復旧時間をも考慮した障害予測結果の評価が可能となる。
図３に戻って、評価値算出部１１３は、
（Ｃ１）正解障害種別と予測障害種別との組毎に、
（Ｃ２）１つの予測障害種別における正解障害種別毎に、又は
（Ｃ３）１つの正解障害種別における予測障害種別毎に
対応する予測回数情報を運用損失情報によって重み付けして加算した値に基づいて、障害予測装置２による予測結果の評価の指標となる評価値を算出する。尚、算出された評価値は、評価対象となった装置２の学習器に付与された識別子、又は評価対象となった装置２の学習器における学習方法（機械学習の種類、機械学習のパラメータ、教師データセットの形式等）毎に付与された識別子と対応付けて評価結果蓄積部１０４に保存されることも好ましい。
（Ｃ１）正解障害種別と予測障害種別との組毎に、
（Ｃ２）１つの予測障害種別における正解障害種別毎に、又は
（Ｃ３）１つの正解障害種別における予測障害種別毎に
対応する予測回数情報を運用損失情報によって重み付けして加算した値に基づいて、障害予測装置２による予測結果の評価の指標となる評価値を算出する。尚、算出された評価値は、評価対象となった装置２の学習器に付与された識別子、又は評価対象となった装置２の学習器における学習方法（機械学習の種類、機械学習のパラメータ、教師データセットの形式等）毎に付与された識別子と対応付けて評価結果蓄積部１０４に保存されることも好ましい。
具体的に、評価値算出部１１３では、障害種別テーブル１１１ｔ（図４）のデータxijと運用コストテーブル１１２ｔ（図５）のデータyijとを組み合わせて評価値を算出する。
ここで、評価値算出部１１３のアキュラシ対応評価値算出部１１３ａは、上記（Ｃ１）の場合のAccuracy（アキュラシ）対応評価値Ea、即ち、
（２） Ea＝Σi=1 NΣj=1 Nxijyij
を算出する。上式（２）において、Σi=1 Nはiについての１からＮまでの総和であり、Σj=1 Nはjについての１からＮまでの総和である。この評価値Eaは、障害種別テーブル１１１ｔにおいていわゆるAccuracyに対応する範囲を評価対象としたものであり、全ての予測結果に従って対応する対処を実施した（対応する放置処置をとった）場合に、本来必要となった運用コストと比較した際の運用コストの増大・削減分の総合計を示した値（金額）となる。
（２） Ea＝Σi=1 NΣj=1 Nxijyij
を算出する。上式（２）において、Σi=1 Nはiについての１からＮまでの総和であり、Σj=1 Nはjについての１からＮまでの総和である。この評価値Eaは、障害種別テーブル１１１ｔにおいていわゆるAccuracyに対応する範囲を評価対象としたものであり、全ての予測結果に従って対応する対処を実施した（対応する放置処置をとった）場合に、本来必要となった運用コストと比較した際の運用コストの増大・削減分の総合計を示した値（金額）となる。
実際、運用コストの増減分yij（図５）は対応する当該正解障害種別及び当該予測障害種別が一致する場合に負値又はゼロをとり且つ一致しない場合に正値又はゼロをとるので、評価値Eaは、負値としての絶対値が大きいほど、障害予測装置２による予測結果の有効性がより高いとの評価を示すことになる。
また、評価値算出部１１３のプレシジョン対応評価値算出部１１３ｂは、上記（Ｃ２）の場合のPrecision（プレシジョン）対応評価値Epj、即ち、
（３） Epj＝Σi=1 Nxijyij
を算出する。上式（３）において、Σi=1 Nはiについての１からＮまでの総和である。この評価値Epjは、障害種別テーブル１１１ｔにおいていわゆるPrecisionに対応する範囲を評価対象としたものであり、１つの予測結果に従って対応する対処を実施した（対応する放置処置をとった）場合に、本来必要となった運用コストと比較した際の運用コストの増大・削減分の合計を示した値（金額）となる。
（３） Epj＝Σi=1 Nxijyij
を算出する。上式（３）において、Σi=1 Nはiについての１からＮまでの総和である。この評価値Epjは、障害種別テーブル１１１ｔにおいていわゆるPrecisionに対応する範囲を評価対象としたものであり、１つの予測結果に従って対応する対処を実施した（対応する放置処置をとった）場合に、本来必要となった運用コストと比較した際の運用コストの増大・削減分の合計を示した値（金額）となる。
このプレシジョン対応評価値算出部１１３ｂによれば、例えば、「設備の交換（又は修理）が必要な障害」との予測障害種別に従って当該設備を交換（又は修理）した場合における、運用コストの増大・削減分の合計を示す評価値Epjが得られる。この場合、得られた評価値Epjの負値としての絶対値が大きいほど、「設備の交換（又は修理）が必要な障害」との予測結果における運用コストを考慮した有効性がより高いことになる。
さらに、評価値算出部１１３のリコール対応評価値算出部１１３ｃは、上記（Ｃ３）の場合のRecall（リコール）対応評価値Er、即ち、
（４） Eri＝Σj=1 Nxijyij
を算出する。上式（４）において、Σj=1 Nはjについての１からＮまでの総和である。この評価値Eriは、障害種別テーブル１１１ｔにおいていわゆるRecallに対応する範囲を評価対象としたものであり、１つの正解予測結果がある状況で、予測結果に従って対応する対処を実施した（対応する放置処置をとった）場合に、本来必要となった運用コストと比較した際の運用コストの増大・削減分の合計を示した値（金額）となる。
（４） Eri＝Σj=1 Nxijyij
を算出する。上式（４）において、Σj=1 Nはjについての１からＮまでの総和である。この評価値Eriは、障害種別テーブル１１１ｔにおいていわゆるRecallに対応する範囲を評価対象としたものであり、１つの正解予測結果がある状況で、予測結果に従って対応する対処を実施した（対応する放置処置をとった）場合に、本来必要となった運用コストと比較した際の運用コストの増大・削減分の合計を示した値（金額）となる。
ここで、比較のため、非特許文献４に記載された従来の評価指標としてのAccuracy、Precision及びRecallを算出することを考える。これら従来の評価指標は、運用コストを何ら考慮せず、従って運用コストテーブル１１２ｔ（図５）を用いることなく、障害種別テーブル１１１ｔ（図４）のみで算出される。具体的に、Accuracyは、テーブル１１１ｔの対角成分が予測正解を示していることから、
（５） Accuracy＝Σi=1 Nxii／Σi=1 NΣj=1 Nxij
との形で算出される。また、例えば、「設備交換が必要な障害」について着目すると、Precisionは、
（６） Precision＝xNN／Σi=1 NxiN
となり、Recallは、
（７） Recall＝xNN／Σj=1 NxNj
との形で算出される。
（５） Accuracy＝Σi=1 Nxii／Σi=1 NΣj=1 Nxij
との形で算出される。また、例えば、「設備交換が必要な障害」について着目すると、Precisionは、
（６） Precision＝xNN／Σi=1 NxiN
となり、Recallは、
（７） Recall＝xNN／Σj=1 NxNj
との形で算出される。
しかしながら、実際のＮＷ運用では、障害種別毎に運用コスト面での重要度が異なる。このため、例えば１つの障害予測装置による予測結果のAccuracyが高いとしても、運用コストの観点から見ると、この障害予測装置又は予測結果は好適であるとは言えない場合が生じ得る。また、このことは上述したPrecisionやRecallによる評価にも当てはまる。
これに対し、障害予測評価装置１では、取得された障害発生の予測結果に従って対応する運用対処を実施した（又は対応する放置処置をとった）場合に、本来必要となる運用コストと比較してどれだけ運用コストが発生するか又は削減されるかの情報を予め設定することによって、運用コストをも考慮した障害予測結果の有効性の評価を実施する。これにより、事業システムでの現状の障害予測における運用コスト面から見たメリット・デメリットを評価することも可能となるのである。以下、従来の評価指標と比較した、本発明による障害予測評価の効果について、実施例を用いて説明する。
［障害予測処理の実施例］
図６、図７及び図８は、本発明による障害予測評価処理の一実施例を説明するためのテーブル図である。
図６、図７及び図８は、本発明による障害予測評価処理の一実施例を説明するためのテーブル図である。
図６〜８に示した実施例においては、最初に、ある学習対象データに対し、学習方法α及び学習方法βの互いに異なる学習方法によって５種類の障害種別について学習を行い、それぞれの方法で学習器を構築した。次いで、構築した学習器のそれぞれに対し、同じ予測対象データを入力して予測処理を複数回実施した。図６に、学習方法αで構築した学習器による予測結果を、障害種別テーブルの形で示す。また、図７に、学習方法βで構築した学習器による予測結果を、同じく障害種別テーブルの形で示す。ここで、図６及び図７のテーブルにおける各欄の数値は、該当する回数（単位：回）となっている。また、いずれのテーブルにおいても、予測及び正解障害種別には、個別の設備についての障害種別である「設備Ａの交換が必要な障害」及び「設備Ｂの交換が必要な障害」が挙げられている。
さらに、図８に、本実施例の予測結果に従って対応する運用対処を実施した（対応する放置処置をとった）場合に、本来必要となる運用コストと比較してどれだけの運用コストが発生するか又は削減されるかをまとめたものを、運用コストテーブルの形で示す。ここで、図８のテーブルにおける各欄の数値は、該当する金額（単位：万円）となっている。
次いで、以上に示した障害種別テーブル（図６及び図７）及び運用コストテーブル（図８）の結果を用いて、学習方法α及びβのそれぞれに対する運用コストを考慮した評価値を、上式（２）を用いて導出した。また、比較のために従来の指標として学習方法α及びβのそれぞれに対するAccuracyを、上式（５）を用いて算出した。その結果、
学習方法αを用いた障害予測に対する評価として、
（８） Ea＝−２３０（万円）
（９） Accuracy＝０.８０５
が算出された。また、
学習方法βを用いた障害予測に対する評価として、
（１０） Ea＝−３８５（万円）
（１１） Accuracy＝０.７９１
が算出された。
学習方法αを用いた障害予測に対する評価として、
（８） Ea＝−２３０（万円）
（９） Accuracy＝０.８０５
が算出された。また、
学習方法βを用いた障害予測に対する評価として、
（１０） Ea＝−３８５（万円）
（１１） Accuracy＝０.７９１
が算出された。
ここで、学習方法αと学習方法βとを比較すると、従来の評価指標であるAccuracyが高いのは学習方法αである。しかしながら、本実施例の評価値Eaをもって評価すると、実際、学習方法βにおいて運用コストの削減額がより大きくなることが分かる。従って、運用コストを考慮した場合、学習方法βを用いた障害予測の方がより優れていると評価される。
以上、詳細に説明したように、本発明によれば、事業システムに対する実際の運用に係る情報をも考慮して、この事業スステムにおける障害予測装置による障害発生の予測結果の有効性を評価することができる。即ち、事業システムの運用における、障害予測による現実的なメリット・デメリットを評価することが可能となるのである。
また、この場合、障害予測装置において使用された機械学習の種類、当該機械学習におけるパラメータ、又は用いた教師データセットの形式等に対して、直接、障害予測における有効性を評価することも可能となる。例えば、現状の事業システムにおいて如何なる種類の機械学習アルゴリズムを用いるのが有効であるか、といった課題に対する解答を得ることもできるのである。
さらに、運用損失として運用コストを考慮した予測結果の評価を行うことによって、予測結果に従い運用対処を実施した又は放置した場合に発生する具体的な運用コスト（金額）を算出することも可能となる。この場合、運用コストの観点から、最適な障害予測装置（システム）を決定してもよい。また、予測結果毎の運用コスト面での重要度を考慮して障害予測装置（システム）を評価することも可能となる。
尚、本発明による障害予測評価の手法は、上述したような通信ＮＷシステムだけではなく、発電・送電システムや、水道等の配給システム、さらには各種生産・製造プラント等様々な事業システムにおける障害予測に対して適用可能である。
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
１ 障害予測評価装置
１０１ 通信インタフェース部
１０２ 予測結果蓄積部
１０３ 運用コスト蓄積部
１０４ 評価結果蓄積部
１１１ 測結果取得部
１１１ｔ 障害種別テーブル
１１２ 運用コスト取得部（運用損失取得手段）
１１２ａ 設備交換コスト算定部
１１２ｂ 現地出動コスト算定部
１１２ｔ 運用コストテーブル
１１３ 評価値算出部
１１３ａ アキュラシ対応評価値算出部
１１３ｂ プレシジョン対応評価値算出部
１１３ｃ リコール対応評価値算出部
１２１ 通信制御部
２ 障害予測装置
３ 通信ネットワークシステム
１０１ 通信インタフェース部
１０２ 予測結果蓄積部
１０３ 運用コスト蓄積部
１０４ 評価結果蓄積部
１１１ 測結果取得部
１１１ｔ 障害種別テーブル
１１２ 運用コスト取得部（運用損失取得手段）
１１２ａ 設備交換コスト算定部
１１２ｂ 現地出動コスト算定部
１１２ｔ 運用コストテーブル
１１３ 評価値算出部
１１３ａ アキュラシ対応評価値算出部
１１３ｂ プレシジョン対応評価値算出部
１１３ｃ リコール対応評価値算出部
１２１ 通信制御部
２ 障害予測装置
３ 通信ネットワークシステム
Claims (12)
- 事業システムにおける障害の発生を予測する障害予測手段による予測結果を評価する障害予測評価装置であって、
当該障害予測手段による予測結果としての複数の障害種別の各々について、予測した際に正解であった障害種別である正解障害種別毎に、当該障害種別が実際に予測障害種別として予測された回数に係る予測回数情報を取得する予測結果取得手段と、
当該正解障害種別毎に、当該予測障害種別の各々について、当該予測障害種別の内容に従って対処又は放置した際に発生する運用コストを含む運用損失に係る情報である運用損失情報を取得する運用損失取得手段と、
当該正解障害種別と当該予測障害種別との組毎に、１つの予測障害種別における当該正解障害種別毎に、又は１つの正解障害種別における当該予測障害種別毎に、対応する当該予測回数情報を当該運用損失情報によって重み付けした値に基づいて、当該障害予測手段による予測結果の評価の指標となる評価値を算出する評価値算出手段と
を有することを特徴とする障害予測評価装置。 - 前記事業システムは、少なくとも１つの設備を備えており、
前記予測結果取得手段は、当該設備の交換又は修理が必要な障害である旨の障害種別、及び当該設備の交換又は修理が不要な障害である旨の障害種別についての当該予測回数情報を取得し、
前記運用損失取得手段は、当該設備の交換又は修理が不要な障害である旨の正解予測種別と、当該設備の交換又は修理が必要な障害である旨の予測障害種別とに対応する運用損失情報として、当該設備の交換又は修理に係るコスト分が加算された値を採用する
ことを特徴とする請求項１に記載の障害予測評価装置。 - 前記事業システムは、障害発生時にその場で対応が必要となる少なくとも１つの現地を有し、
前記予測結果取得手段は、当該現地での対応が必要な障害である旨の障害種別、及び当該現地での対応が不要な障害である旨の障害種別についての当該予測回数情報を取得し、
前記運用損失取得手段は、当該現地での対応が不要な障害である旨の正解予測種別と、当該現地での対応が必要な障害である旨の予測障害種別とに対応する運用損失情報として、当該現地への出動コスト分が加算された値を採用する
ことを特徴とする請求項１又は２に記載の障害予測評価装置。 - 前記事業システムは、少なくとも１つの設備を備え、障害発生時にその場で対応が必要となり得る少なくとも１つの現地を有する通信ネットワークシステムであることを特徴とする請求項１から３のいずれか１項に記載の障害予測評価装置。
- 前記予測結果取得手段によって取得される予測回数情報を導出するための当該予測結果は、当該障害予測手段が、当該設備から又は予めネットワークに設置された監視設備から収集されるネットワークに係るアラーム情報と、当該正解障害種別とを教師データセットとして学習させて構築した学習器に対し、予測対象であるアラーム情報を入力することによって取得した予測結果であることを特徴とする請求項４に記載の障害予測評価装置。
- 当該複数の障害種別は、対処が不要な障害である旨の障害種別、遠隔リセットが必要な障害である旨の障害種別、前記事業システムにおける現地での対応が必要な障害である旨の障害種別、及び前記事業システムの有する設備の交換又は修理が必要な障害である旨の障害種別からなる群から選択された少なくとも１つを含むことを特徴とする請求項１から５のいずれか１項に記載の障害予測評価装置。
- 当該運用損失情報は、障害予測のない場合に必要となる運用コストと比較した運用コストの増減分、障害予測が外れる又は当たることによって生じるサービスの向上又は劣化の度合い、及び障害予測のない場合に必要となる障害復旧のための時間と比較した障害復旧時間の増減分からなる群から選択された少なくとも１つを含むことを特徴とする請求項１から６のいずれか１項に記載の障害予測評価装置。
- 当該運用損失情報は、対応する当該正解障害種別及び当該予測障害種別が一致する場合に負値又はゼロをとり且つ一致しない場合に正値又はゼロをとり、当該評価値は、負値をとる場合にその絶対値が大きいほど、当該障害予測手段による予測結果の有効性がより高いとの評価を示すことを特徴とする請求項１から７のいずれか１項に記載の障害予測評価装置。
- 前記評価値算出手段は、当該設備の交換又は修理が必要な障害である旨の予測障害種別における当該正解障害種別毎に、対応する当該予測回数情報を当該運用損失情報によって重み付けした値に基づいて、当該設備の交換又は修理が必要である旨の予測結果に対する有効性を評価する評価値を算出することを特徴とする請求項２に記載の障害予測評価装置。
- 少なくとも１つの設備を備えた通信ネットワークシステムにおける障害の発生を予測する障害予測手段と、前記障害予測手段による予測結果を評価する障害予測評価装置とを備えた障害予測システムであって、前記障害予測評価装置は、
前記障害予測手段による予測結果としての複数の障害種別であって、当該設備の交換又は修理が必要な障害である旨の障害種別、及び当該設備の交換又は修理が不要な障害である旨の障害種別を含む複数の障害種別の各々について、予測した際に正解であった障害種別である正解障害種別毎に、当該障害種別が実際に予測障害種別として予測された回数に係る予測回数情報を取得する予測結果取得手段と、
当該正解障害種別毎に、当該予測障害種別の各々について、当該予測障害種別の内容に従って対処又は放置した際に発生する運用コストであって、設備の交換又は修理が不要な障害である旨の正解予測種別と、当該設備の交換又は修理が必要な障害である旨の予測障害種別とに対応しており当該設備の交換又は修理に係るコスト分が加算された値を有する運用コストを含む運用損失に係る情報である運用損失情報を取得する運用損失取得手段と、
当該正解障害種別と当該予測障害種別との組毎に、１つの予測障害種別における当該正解障害種別毎に、又は１つの正解障害種別における当該予測障害種別毎に、対応する当該予測回数情報を当該運用損失情報によって重み付けした値に基づいて、当該障害予測手段による予測結果の評価の指標となる評価値を算出する評価値算出手段と
を有することを特徴とする障害予測システム。 - 事業システムにおける障害の発生を予測する障害予測手段による予測結果を評価する装置に搭載されたコンピュータを機能させるプログラムであって、
当該障害予測手段による予測結果としての複数の障害種別の各々について、予測した際に正解であった障害種別である正解障害種別毎に、当該障害種別が実際に予測障害種別として予測された回数に係る予測回数情報を取得する予測結果取得手段と、
当該正解障害種別毎に、当該予測障害種別の各々について、当該予測障害種別の内容に従って対処又は放置した際に発生する運用コストを含む運用損失に係る情報である運用損失情報を取得する運用損失取得手段と、
当該正解障害種別と当該予測障害種別との組毎に、１つの予測障害種別における当該正解障害種別毎に、又は１つの正解障害種別における当該予測障害種別毎に、対応する当該予測回数情報を当該運用損失情報によって重み付けした値に基づいて、当該障害予測手段による予測結果の評価の指標となる評価値を算出する評価値算出手段と
してコンピュータを機能させることを特徴とする障害予測評価プログラム。 - 事業システムにおける障害の発生を予測する障害予測手段による予測結果を評価する方法であって、
当該障害予測手段による予測結果としての複数の障害種別の各々について、予測した際に正解であった障害種別である正解障害種別毎に、当該障害種別が実際に予測障害種別として予測された回数に係る予測回数情報を取得するステップと、
当該正解障害種別毎に、当該予測障害種別の各々について、当該予測障害種別の内容に従って対処又は放置した際に発生する運用コストを含む運用損失に係る情報である運用損失情報を取得するステップと、
当該正解障害種別と当該予測障害種別との組毎に、１つの予測障害種別における当該正解障害種別毎に、又は１つの正解障害種別における当該予測障害種別毎に、対応する当該予測回数情報を当該運用損失情報によって重み付けした値に基づいて、当該障害予測手段による予測結果の評価の指標となる評価値を算出するステップと
を有することを特徴とする障害予測評価方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015101339A JP6503223B2 (ja) | 2015-05-18 | 2015-05-18 | 運用損失を考慮して障害予測結果を評価する装置、システム、プログラム及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015101339A JP6503223B2 (ja) | 2015-05-18 | 2015-05-18 | 運用損失を考慮して障害予測結果を評価する装置、システム、プログラム及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016219962A JP2016219962A (ja) | 2016-12-22 |
| JP6503223B2 true JP6503223B2 (ja) | 2019-04-17 |
Family
ID=57581681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015101339A Expired - Fee Related JP6503223B2 (ja) | 2015-05-18 | 2015-05-18 | 運用損失を考慮して障害予測結果を評価する装置、システム、プログラム及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6503223B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102418594B1 (ko) * | 2017-10-30 | 2022-07-08 | 주식회사 케이티 | Ict 장비 관리 시스템 및 방법 |
| CN109886443A (zh) * | 2017-12-26 | 2019-06-14 | 广东电网有限责任公司电力调度控制中心 | 一种基于灰色***理论的故障预估*** |
| JP2019140501A (ja) * | 2018-02-09 | 2019-08-22 | 日本電信電話株式会社 | 設定規制制御装置、設定規制制御方法、および、設定規制制御プログラム |
| WO2021149191A1 (ja) * | 2020-01-22 | 2021-07-29 | 三菱電機株式会社 | 制御プログラムを更新するサービスシステム、サーバ装置及びサーバ装置における制御プログラム更新方法 |
| CN116562618A (zh) * | 2020-05-19 | 2023-08-08 | 三峡大学 | 一种获得动态安全评估模型的方法 |
| JPWO2023089688A1 (ja) * | 2021-11-17 | 2023-05-25 | ||
| CN114865607B (zh) * | 2022-04-21 | 2024-07-02 | 国网伊犁伊河供电有限责任公司 | 一种零损耗深度限流方法及限流*** |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3579834B2 (ja) * | 2001-06-29 | 2004-10-20 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 管理可能なネットワークにおける事前対策オンライン診断 |
| JP4701148B2 (ja) * | 2006-03-02 | 2011-06-15 | アラクサラネットワークス株式会社 | 障害回復システム及びサーバ |
-
2015
- 2015-05-18 JP JP2015101339A patent/JP6503223B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016219962A (ja) | 2016-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6503223B2 (ja) | 運用損失を考慮して障害予測結果を評価する装置、システム、プログラム及び方法 | |
| KR101984730B1 (ko) | 서버 장애 자동 예측 시스템 및 자동 예측 방법 | |
| Carpitella et al. | A risk evaluation framework for the best maintenance strategy: The case of a marine salt manufacture firm | |
| US20210110319A1 (en) | Framework to quantify cybersecurity risks and consequences for critical infrastructure | |
| CN110428018A (zh) | 一种全链路监控***中的异常预测方法及装置 | |
| US20160092808A1 (en) | Predictive maintenance for critical components based on causality analysis | |
| Zhang et al. | A model-based reinforcement learning approach for maintenance optimization of degrading systems in a large state space | |
| Wu et al. | Risk-averse optimization for resilience enhancement of complex engineering systems under uncertainties | |
| Blancke et al. | A holistic multi-failure mode prognosis approach for complex equipment | |
| AU2020309879B2 (en) | Failure probability assessment system and method therefor | |
| Lee et al. | An analytical approach to quantitative effect estimation of operation advisory system based on human cognitive process using the Bayesian belief network | |
| JP6812312B2 (ja) | プラント支援評価システム及びプラント支援評価方法 | |
| Xing et al. | Dynamic business continuity assessment using condition monitoring data | |
| Tu et al. | A Bayes-SLIM based methodology for human reliability analysis of lifting operations | |
| Ramuhalli et al. | Concepts for Autonomous Operation of Microreactors | |
| JP2013105221A (ja) | 保守部品配送支援システム，保守部品配送支援装置および保守部品配送支援プログラム | |
| Ansari et al. | AI-enhanced maintenance for building resilience and viability in supply chains | |
| CN105868265A (zh) | 更新、证据和触发事件的案例管理链接 | |
| JP7466479B2 (ja) | 業務改善支援装置、プログラムおよびプログラムを格納した記憶媒体 | |
| Baraldi et al. | Uncertainty treatment in expert information systems for maintenance policy assessment | |
| Pinto et al. | Increasing the reliability of an electrical power system in a big european hospital through the petri nets and fuzzy inference system mamdani modelling | |
| JP5200678B2 (ja) | サービシステム、サービスシステム管理方法、及びプログラム | |
| Shafiee et al. | A Bayesian network model for the probabilistic safety assessment of offshore wind decommissioning | |
| Mandelli et al. | Reliability modeling in a predictive maintenance context: A margin-based approach | |
| Bellini et al. | A deep learning approach for short term prediction of industrial plant working status |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190315 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190325 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6503223 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |