JP4265296B2 - 変化点検出装置，変化点検出方法および変化点検出用プログラム - Google Patents
変化点検出装置，変化点検出方法および変化点検出用プログラム Download PDFInfo
- Publication number
- JP4265296B2 JP4265296B2 JP2003169986A JP2003169986A JP4265296B2 JP 4265296 B2 JP4265296 B2 JP 4265296B2 JP 2003169986 A JP2003169986 A JP 2003169986A JP 2003169986 A JP2003169986 A JP 2003169986A JP 4265296 B2 JP4265296 B2 JP 4265296B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- change point
- complexity
- parameter
- point detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Databases & Information Systems (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Complex Calculations (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は変化点検出装置，変化点検出方法および変化点検出用プログラムに関し、特に時系列データにおいて急激に変化した時点を検出できる変化点検出装置，変化点検出方法および変化点検出用プログラムに関する。
【０００２】
【従来の技術】
従来の変化点検出装置の一例が、V.Guralnik，J.Stivastavaによる方式（例えば、非特許文献１参照）に記載されている。V.Guralnik，J.Stivastavaによる方式では、変化点がないとして曲線当てはめをした場合の当てはめ誤差の総和と、変化点の候補の前後で別々に曲線当てはめをした場合の当てはめ誤差の総和とを計算して、その差がある値以上になった場合に、変化点が生じたものと判定していた。
【０００３】
【非特許文献１】
V.Guralnik and J.Srivastava, Event Detection from Time Series Data, in Proceedings of the Fifth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp:33-42, ACM Press, 1999.
【０００４】
【発明が解決しようとする課題】
第１の問題点は、従来技術では、当てはめ誤差がオンラインで計算できないということである。その理由は、V.Guralnik, J.Srivastavaによる方法では、当てはめ誤差をバッチで計算する方法をとっているため、データが追加されるごとに全体の当てはめ誤差を計算し直さなければならないからである。また、バッチでモデルの当てはめを行っているため、区間内のパラメータは一定値をとるものと仮定しており、パラメータ値のゆるやかな時間的変化をとらえることができず、変化点検出の精度を下げてしまうからである。
【０００５】
本発明の目的は、時系列データに対して、オンラインで当てはめおよび当てはめ誤差に相当するコンプレキシティを計算することにより効率的に変化点検出を行い、かつモデルの非連続性に対応してモデル当てはめを行うことにより効果的に変化点を検出できる変化点検出装置，変化点検出方法および変化点検出用プログラムを提供することにある。
【０００６】
本発明の第１の視点において変化点検出装置は、時系列データを入力として逐次的に読み込みつつ、該入力時系列データにおいて急激に変化した時点である変化点を検出する変化点検出装置であって、時系列データを読み込みながら時系列モデルのパラメータを逐次的に学習する時系列モデル学習手段と、前記時系列モデル学習手段により学習された該時系列モデルのパラメータおよび該時系列モデルの該入力時系列データへの当てはめ誤差としてのコンプレキシティを記憶する記憶装置と、前記記憶装置からパラメータを読み込んで、該入力時系列データの１つ１つに対して該時系列モデルの損失を計算する損失関数計算手段と、前記記憶装置からパラメータおよびコンプレキシティを読み込んで、該入力時系列データの部分列のコンプレキシティを逐次的に更新しながら計算して前記記憶装置の記憶内容を更新するコンプレキシティ計算手段と、該入力時系列データの全ての変化点候補に対して、変化点候補の前後の時系列データに対するコンプレキシティを前記記憶装置から読み込み、変化点候補の前後のコンプレキシティの和と変化点がないとしたときのコンプレキシティとを比較することにより変化点スコアを計算して変化点を検出する変化点探索手段とを備え、前記変化点探索手段が検出した変化点を出力する。
【０００７】
本発明の第２の視点において変化点検出装置は、時系列データを入力として逐次的に読み込みつつ、該入力時系列データにおいて急激に変化した時点である変化点を検出する変化点検出装置であって、時系列データを読み込みながら時系列モデルのパラメータを逐次的に学習する時系列モデル学習手段と、前記時系列モデル学習手段により学習された該時系列モデルのパラメータおよび該時系列モデルの該入力時系列データへの当てはめ誤差としてのコンプレキシティを記憶する記憶装置と、前記記憶装置からパラメータを読み込んで、該入力時系列データの１つ１つに対して該時系列モデルの損失を計算する損失関数計算手段と、前記記憶装置から読み込んだコンプレキシティに前記損失関数計算手段により計算された損失値を逐次的に加算することにより、該入力時系列データの部分列のモデルへの当てはめ誤差としてのコンプレキシティを計算して前記記憶装置の記憶内容を更新するコンプレキシティ計算手段と、該入力時系列データの全ての変化点候補に対して、変化点候補の前後の時系列データに対するコンプレキシティを前記記憶装置から読み込み、変化点候補の前後のコンプレキシティの和と変化点がないとしたときのコンプレキシティとを比較することにより変化点スコアを計算して変化点を検出する変化点判定手段とを備え、前記変化点判定手段が検出した変化点を出力する。
【０００８】
本発明の第３の視点において変化点検出方法は、時系列データを入力として逐次的に読み込みつつ、該入力時系列データにおいて急激に変化した時点である変化点を検出する変化点検出方法であって、時系列データを逐次的に読み込む工程と、該入力時系列データから時系列モデルのパラメータを逐次的に学習する工程と、該入力時系列データの１つ１つに対して該時系列モデルの損失を計算する損失関数計算工程と、該時系列モデルの該入力時系列データへの当てはめ誤差としてのコンプレキシティを逐次的に計算するコンプレキシティ計算工程と、該入力時系列データの全ての変化点候補に対して、変化点候補の前後の時系列データに対するコンプレキシティを計算して、変化点候補の前後のコンプレキシティの和と変化点がないとしたときのコンプレキシティとを比較することにより変化点スコアを計算して変化点を検出する変化点探索工程とを備え、該変化点探索工程で検出した変化点を出力する。
【０００９】
本発明の第４の視点において変化点検出方法は、時系列データを入力として逐次的に読み込みつつ、該入力時系列データにおいて急激に変化した時点である変化点を検出する変化点検出方法であって、時系列データを逐次的に読み込む工程と、該入力時系列データから時系列モデルのパラメータを逐次的に学習する工程と、該入力時系列データの１つ１つに対して該時系列モデルの損失を計算する損失関数計算工程と、該損失関数計算工程で計算した損失値を逐次的に加算することにより、該入力時系列データの部分列のモデルへの当てはめ誤差としてのコンプレキシティを計算するコンプレキシティ計算工程と、該入力時系列データの全ての変化点候補に対して、変化点候補の前後の時系列データに対するコンプレキシティを前記記憶装置から読み込み、変化点候補の前後のコンプレキシティの和と変化点がないとしたときのコンプレキシティとを比較することにより変化点スコアを計算して変化点を検出する変化点判定工程とを備え、該変化点判定工程が検出した変化点を出力する。
【００１０】
本発明の第５の視点において変化点検出用プログラムは、コンピュータを、時系列データを読み込みながら時系列モデルのパラメータを逐次的に学習する時系列モデル学習手段，前記時系列モデル学習手段により学習された該時系列モデルのパラメータおよび該時系列モデルの該入力時系列データへの当てはめ誤差としてのコンプレキシティを記憶する記憶装置，前記記憶装置からパラメータを読み込んで、該入力時系列データの１つ１つに対して該時系列モデルの損失を計算する損失関数計算手段，前記記憶装置からパラメータおよびコンプレキシティを読み込んで、該入力時系列データの部分列のコンプレキシティを逐次的に更新しながら計算して前記記憶装置の記憶内容を更新するコンプレキシティ計算手段，ならびに該入力時系列データの全ての変化点候補に対して、変化点候補の前後の時系列データに対するコンプレキシティを前記記憶装置から読み込み、変化点候補の前後のコンプレキシティの和と変化点がないとしたときのコンプレキシティとを比較することにより変化点スコアを計算して変化点を検出する変化点探索装置として動作させる。
【００１１】
本発明の第６の視点において変化点検出用プログラムは、コンピュータを、時系列データを読み込みながら時系列モデルのパラメータを逐次的に学習する時系列モデル学習手段，前記時系列モデル学習手段により学習された該時系列モデルのパラメータおよび該時系列モデルの該入力時系列データへの当てはめ誤差としてのコンプレキシティを記憶する記憶装置，前記記憶装置からパラメータを読み込んで、該入力時系列データの１つ１つに対して該時系列モデルの損失を計算する損失関数計算手段，前記記憶装置から読み込んだコンプレキシティに前記損失関数計算手段により計算された損失値を逐次的に加算することにより、該入力時系列データの部分列のモデルへの当てはめ誤差としてのコンプレキシティを計算して前記記憶装置の記憶内容を更新するコンプレキシティ計算手段，および該入力時系列データの全ての変化点候補に対して、変化点候補の前後の時系列データに対するコンプレキシティを前記記憶装置から読み込み、変化点候補の前後のコンプレキシティの和と変化点がないとしたときのコンプレキシティとを比較することにより変化点スコアを計算して変化点を検出する変化点探索装置として動作させる。
特に、本発明の第７の視点において変化点検出装置は、時系列｛ｘ ｔ ｝（時刻ｔは１からＮまでの自然数である。）における変化点を検出する変化点検出装置であって、前記時系列のうち時刻αからβまでの部分列｛ｘ ｔ ｝が従う確率密度関数を規定するパラメータθ（α、β）を忘却型学習アルゴリズムによって求めるように構成された時系列モデル学習装置と、前記パラメータを記録するように構成された記憶装置と、時刻αから時刻β−１までの部分列｛ｘ ｔ ｝が従う確率密度関数を規定するパラメータθ（α、β−１）を忘却型学習アルゴリズムによって求め、求めたパラメータθ（α、β−１）によって規定される確率密度関数に基づいて時刻βにおけるデータｘ β に対する損失関数（当てはめ誤差）Ｌ（α、β）を求めるように構成された損失関数計算装置と、前記損失関数Ｌ（１、β）のうち引数βが時刻１ないし時刻Ｎであるものを足し合わせて得られる第１の予測的確率的コンプレキシティ、前記損失関数Ｌ（１、β）のうち引数βが時刻１ないし時刻ｒであるものを足し合わせて得られる第２の予測的確率的コンプレキシティ、及び、前記損失関数Ｌ（ｒ、β）のうち引数βが時刻ｒ＋１ないし時刻Ｎであるものを足し合わせて得られる第３の予測的確率的コンプレキシティを求めるように構成されたコンプレキシティ計算装置と、前記第１の予測的確率的コンプレキシティから前記第２の予測的確率的コンプレキシティと前記第３の予測的確率的コンプレキシティの和を差し引いた値を時刻ｒのそれぞれについて求め、求めた値のうちの最大、かつ、所定の閾値を超えるものに対する時刻ｒを変化点として検出するように構成された変化点探索装置と、を備える。
また、変化点検出装置は、前記時系列モデル学習装置が、忘却パラメータをτ（τは０より大きく１以下の実数である。）として、過去の十分統計量を（１−τ）倍するとともに新しい十分統計量をτ倍した重み付き平均によって十分統計量を更新するように構成されることが好ましい。
さらに、変化点検出装置は、前記損失関数Ｌ（α、β）が対数損失であることが好ましい。
また、変化点検出装置は、前記変化点が検出された場合には、その前後の部分列｛ｘ ｔ ｝について変化点をさらに検出するように構成されることが好ましい。
特に、本発明の第８の視点において変化点検出方法は、時系列｛ｘ ｔ ｝（時刻ｔは１からＮまでの自然数である。）における変化点をコンピュータによって検出する変化点検出方法であって、前記時系列のうち時刻αからβまでの部分列｛ｘ ｔ ｝が従う確率密度関数を規定するパラメータθ（α、β）を忘却型学習アルゴリズムによって求める工程と、前記パラメータを記憶装置に記録する工程と、時刻αから時刻β−１までの部分列｛ｘ ｔ ｝が従う確率密度関数を規定するパラメータθ（α、β−１）を忘却型学習アルゴリズムによって求め、求めたパラメータθ（α、β−１）によって規定される確率密度関数に基づいて時刻βにおけるデータｘ β に対する損失関数（当てはめ誤差）Ｌ（α、β）を求める工程と、前記損失関数Ｌ（１、β）のうち引数βが時刻１ないし時刻Ｎであるものを足し合わせて得られる第１の予測的確率的コンプレキシティ、前記損失関数Ｌ（１、β）のう ち引数βが時刻１ないし時刻ｒであるものを足し合わせて得られる第２の予測的確率的コンプレキシティ、及び、前記損失関数Ｌ（ｒ、β）のうち引数βが時刻ｒ＋１ないし時刻Ｎであるものを足し合わせて得られる第３の予測的確率的コンプレキシティを求める工程と、前記第１の予測的確率的コンプレキシティから前記第２の予測的確率的コンプレキシティと前記第３の予測的確率的コンプレキシティの和を差し引いた値を時刻ｒのそれぞれについて求め、求めた値のうちの最大、かつ、所定の閾値を超えるものに対する時刻ｒを変化点として検出する工程と、を含む。
また、変化点検出方法は、前記パラメータθを求める工程において、忘却パラメータをτ（τは０より大きく１以下の実数である。）として、過去の十分統計量を（１−τ）倍するとともに新しい十分統計量をτ倍した重み付き平均によって十分統計量を更新することが好ましい。
さらに、変化点検出方法は、前記損失関数Ｌ（α、β）が対数損失であることが好ましい。
また、変化点検出方法は、前記変化点が検出された場合には、その前後の部分列｛ｘ ｔ ｝について変化点をさらに検出する工程を含むことが好ましい。
特に、本発明の第９の視点において変化点検出プログラムは、時系列｛ｘ ｔ ｝（時刻ｔは１からＮまでの自然数である。）における変化点をコンピュータによって検出する変化点検出プログラムであって、前記時系列のうち時刻αからβまでの部分列｛ｘ ｔ ｝が従う確率密度関数を規定するパラメータθ（α、β）を忘却型学習アルゴリズムによって求める処理と、前記パラメータを記憶装置に記録する処理と、時刻αから時刻β−１までの部分列｛ｘ ｔ ｝が従う確率密度関数を規定するパラメータθ（α、β−１）を忘却型学習アルゴリズムによって求め、求めたθ（α、β−１）によって規定される確率密度関数に基づいて時刻βにおけるデータｘ β に対する損失関数（当てはめ誤差）Ｌ（α、β）を求める処理と、前記損失関数Ｌ（１、β）のうち引数βが時刻１ないし時刻Ｎであるものを足し合わせて得られる第１の予測的確率的コンプレキシティ、前記損失関数Ｌ（１、β）のうち引数βが時刻１ないし時刻ｒであるものを足し合わせて得られる第２の予測的確率的コンプレキシティ、及び、前記損失関数Ｌ（ｒ、β）のうち引数βが時刻ｒ＋１ないし時刻Ｎであるものを足し合わせて得られる第３の予測的確率的コンプレキシティを求める処理と、前記第１の予測的確率的コンプレキシティから前記第２の予測的確率的コンプレキシティと前記第３の予測的確率的コンプレキシティの和を差し引いた値を時刻ｒのそれぞれについて求め、求めた値のうちの最大、かつ、所定の閾値を超えるものに対する時刻ｒを変化点として検出する処理と、をコンピュータに実行させる。
また、変化点検出プログラムは、前記パラメータθを求める処理において、忘却パラメータをτ（τは０より大きく１以下の実数である。）として、過去の十分統計量を（１−τ）倍するとともに新しい十分統計量をτ倍した重み付き平均によって十分統計量を更新することが好ましい。
さらに、変化点検出プログラムは、前記損失関数Ｌ（α、β）が対数損失であることが好ましい。
また、変化点検出プログラムは、前記変化点が検出された場合には、その前後の部分列｛ｘ ｔ ｝について変化点をさらに検出する処理をコンピュータに実行させることが好ましい。
【００１２】
【発明の実施の形態】
次に、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１３】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る変化点検出装置の構成を示すブロック図である。本実施の形態では、Ｎ個の与えられたデータ列ｘＮ＝ｘ１，…，ｘＮから変化点を検出する。本実施の形態に係る変化点検出装置は、時系列モデル学習装置１１と、コンプレキシティ計算装置１２と、損失関数計算装置１３と、コンプレキシティ及びパラメータ記憶装置１４と、変化点探索装置１５とから構成されている。
【００１４】
図２は、図１の変化点検出装置の概略動作を表すフローチャートであり、図１の変化点検出装置は以下のように動作する。
【００１５】
時系列モデル学習装置１１は、パラメトリックな時系列モデルを用意して、時系列データを逐次的に取り入れながら、パラメータを更新する。
【００１６】
以下、時系列モデルを記述する。Ｎ個のデータからなる系列をｘＮ＝ｘ１，ｘ２，…，ｘＮと表す。
【００１７】
ｎを与えられた正整数として、各データはｎ次元であり、それぞれの要素は実数値をとるものとする。
【００１８】
このような系列が確率密度関数ｐ（ｘＮ|Θ）（Ｎ＝１，…）をもつ時系列モデルにしたがって発生しているとする。Θは確率密度を指定するパラメータである。また、ｔ番目のデータｘｔの確率密度はそれまでの系列ｘｔ−１に依存して定まるので、ｐ（ｘｔ|ｘｔ−１，Θ）と書く。
【００１９】
確率密度関数の例としては、例えば、自己回帰モデル（ＡＲ（auto-regresssion）モデル）を用いることができる。ｋを与えられた正整数として、ｋ次ＡＲモデルは、μをパラメータとして、ｔ番目のデータｘｔを、数１と書くとき、過去のｋ個のデータによってきまり、数２で表されるモデルである。ここに、Ａｉ（ｉ＝１，…，ｋ）はｎ次正方行列であり、εは平均値０、共分散行列Σの正規分布に従う確率変数である。
【００２０】
【数１】
【００２１】
【数２】
【００２２】
今、数３のように表すとき、データｘｔの確率密度関数は、数４で記述される。
【００２３】
【数３】
【００２４】
【数４】
【００２５】
ただし、数５であり、パラメータベクトルを、数６とおいた。
【００２６】
【数５】
【００２７】
【数６】
【００２８】
本発明の変化点探索装置は、ＡＲモデルに限らず、自己回帰移動平均（ＡＲＭＡ：Auto Regression Moving Average）モデルや移動平均（ＭＡ：Moving Average）モデルのような他の時系列モデルを用いてもよい。
【００２９】
図３は、時系列モデル学習装置１１のより詳細な構成を示すブロック図である。この時系列モデル学習装置１１は、忘却型統計量計算装置１０１と、パラメータ更新装置１０２と、データ，パラメータ及び統計量記憶装置１０３とから構成されている。
【００３０】
図４は、図３の時系列モデル学習装置１１の概略動作を表すフローチャートであり、図１の時系列モデル学習装置１１は、以下のように動作する。
【００３１】
時系列モデル学習装置１１は、データの系列を逐次読み込みながら読み込んだデータに基づいて逐次的にパラメータを変更する。ここで、データｘ１からｘｔまでを用いて学習した結果得られるパラメータの値をΘ（ｔ）書く。時系列モデルをＡＲモデルとするときは、パラメータ値Θ（ｔ）を更新することができる。以下、その概要を述べる。
【００３２】
まず、データが読み込まれる前にデータ，パラメータ及び統計量記憶装置１０３に格納されている各パラメータの値が初期化される（ステップＳ１０１）。
【００３３】
次に、ｔ番目のデータｘｔが入力される度に、以下のように動作する。
【００３４】
データｘｔが、忘却型統計量計算装置１０１およびデータ，パラメータ及び統計量記憶装置１０３に入力されると（ステップＳ１０２）、データ，パラメータ及び統計量記憶装置１０３は、記憶していたデータのうち最も古いものを消去し、代わりに最新のデータｘｔを記憶し、データの列ｘｔ，ｘｔ - １，…，ｘｔ - ｋ + １を得る。
【００３５】
忘却型統計量計算装置１０１は、データ，パラメータ及び統計量記憶装置１０３から供給されたデータ列ｘｔ，ｘｔ - １，…，ｘｔ - ｋ + １と保持している十分統計量μ，Ｃｊ（ｊ＝０，…，ｋ）を数７および数８の更新ルールにより更新し（ステップ１０３）、得られた十分統計量をデータ，パラメータ及び統計量記憶装置１０３に送り込んで記憶させ、またパラメータ更新装置１０２に送り込む。
【００３６】
【数７】
【００３７】
【数８】
【００３８】
パラメータ更新装置１０２は、ｎ次正方行列Ｂｉ（ｉ＝１，…，ｋ）を未知数とする連立方程式である数９の解を求める。
【００３９】
【数９】
【００４０】
ただし、数１０とする。
【００４１】
【数１０】
【００４２】
次に、パラメータ更新装置１０２は、求めた解をＡｉに代入し、数１１および数１２によってパラメータを計算し（ステップ１０３）、得られたパラメータ値Θ＝（Ａ１，…，Ａｋ，μ，Σ）を出力する（ステップ１０４）。
【００４３】
【数１１】
【００４４】
【数１２】
【００４５】
また、このパラメータ値Θをデータ，パラメータ及び統計量記憶装置１０３に送り込んで記憶させる。
【００４６】
時系列モデル学習装置１１は、０から１までの値をとる忘却パラメータをτとして、過去の十分統計量を（１−τ）倍し、新しい十分統計量をτ倍して重み付き平均によって十分統計量を更新することにより推定パラメータ値を更新する装置であり、古いデータの影響を徐々に忘却する効果をもつ。忘却パラメータτを入力データ列中のｔ番目のデータｘｔに対しては、１／ｔとおくと、通常の最尤推定を逐次的に実行することに相当する。
【００４７】
時系列モデル学習装置１１が計算したパラメータ値Θは、コンプレキシティ及びパラメータ記憶装置１４に供給される。
【００４８】
損失関数計算装置１３は、各時点ｔにおける入力データｘｔに対して時系列モデル学習装置１１またはコンプレキシティ及びパラメータ記憶装置１４から時点前のパラメータ値Θ（ｔ−１）を読み込み、数１３のように損失を計算する（ステップＳ１３）。
【００４９】
【数１３】
【００５０】
ここで計算された損失値は、時系列モデルのデータに対する当てはめ誤差の意味をもつ。この損失値は、コンプレキシティ計算装置１２に送り込まれ、各時点ｒに対して、コンプレキシティとして、数１４，数１５および数１６を計算する（ステップＳ１４）。
【００５１】
【数１４】
【００５２】
【数１５】
【００５３】
【数１６】
【００５４】
ただし、数１７は、ｘｒ + １，…，ｘｉ - １を用いて推定したパラメータの値を表している。
【００５５】
【数１７】
【００５６】
この値も、また、時系列モデル学習装置１１によって計算され、その結果はコンプレキシティ及びパラメータ記憶装置１４に供給され記憶される。
【００５７】
数１４の値は、データ列ｘＮ＝ｘ１，ｘ２，…，ｘＮに対する予測的確率的コンプレキシティとよばれる量であり、データ列ｘＮを各ｘｔについてパラメータ値Θ（ｔ−１）を用いて逐次的に符号化したときの総符号長である。
【００５８】
ここで、数１８なる関係があるので、コンプレキシティ計算装置１２は、予測的確率的コンプレキシティの計算を逐次的に行うことができる。
【００５９】
【数１８】
【００６０】
コンプレキシティ計算装置１２の計算結果は、コンプレキシティ及びパラメータ記憶装置１４に供給される。
【００６１】
変化点探索装置１５は、各時点ｒ（ｒ＝２，…，Ｎ）に対して、コンプレキシティ及びパラメータ記憶装置１４から供給された数１４，数１５および数１６の値を用いて変化点スコアＳＣＯＲＥ（ｒ）を計算する（ステップＳ１５）。変化点スコアＳＣＯＲＥ（ｒ）は、時点ｒが変化点である可能性の大きさを表す。例えば、数１９のように計算する。
【００６２】
【数１９】
【００６３】
数１４で計算される値はデータ列ｘＮを単一のモデルで記述したときの予測的確率的コンプレキシティであるのに対し、数１５と数１６との和は時点ｒを境にして不連続にモデルを当てはめたときの予測的確率的コンプレキシティの総和である。
【００６４】
もし時点ｒが本当に変化点であれば、数１５と数１６との和は、数１４の値よりも有意に小さくなる。したがって、数１９が大きいほど時点ｒが変化点である可能性が高いことがわかる。
【００６５】
変化点探索装置１５は、例えばある閾値δを設けてＳＣＯＲＥ（ｒ）の値が閾値δより大の時点の中で最大の値をもつものを探索して、この時点ｒを変化点とみなしてこれを出力する（ステップＳ１６）。
【００６６】
この方法では、入力データ列ｘＮ中に１つ変化点を発見することができる。これを再帰的に行い、複数の変化点を見つけることもできる。
【００６７】
また、数１９の代わりに、数２０のようなスコアを考えることもできる。
【００６８】
【数２０】
【００６９】
以上において、数１３では符号長を損失関数としているが、＾ｘｔを時点ｔのデータｘｔに対する予測値として、二乗損失関数である数２１を用いることもできる。
【００７０】
【数２１】
【００７１】
さらに、一般の損失関数である数２２に置き換えてもよい。
【００７２】
【数２２】
【００７３】
そのとき、予測的確率的コンプレキシティＥＳＣは、数２３のように一般の損失関数に関する累積予測損失に置き換えられる。以下は、一般にそのような場合に拡張されるものとする。
【００７４】
【数２３】
【００７５】
［第２の実施の形態］
図５は、本発明の第２の実施の形態に係る変化点検出装置の構成を示すブロック図である。本実施の形態に係る変化点検出装置は、時系列モデル学習装置２１と、コンプレキシティ計算装置２２と、損失関数計算装置２３と、コンプレキシティ及びパラメータ記憶装置２４と、変化点判定装置２５とから構成され、データを逐次的に読み込み、過去に読み込んだデータ列の中に変化点を検出する。
【００７６】
図６は、第１の実施の形態に係る変化点検出装置の概略動作を示すフローチャートである。
【００７７】
なお、特に言及しない部分は、図１に示した第１の実施の形態に係る変化点検出装置における対応部分と同様に構成されているので、それらの詳しい説明は省略する。
【００７８】
次に、このように構成された第２の実施の形態に係る変化点検出装置の動作について、図５および図６を参照しながら説明する。
【００７９】
ステップＳ２１〜Ｓ２４の動作は基本的に図２のステップＳ１１〜Ｓ１４の動作と同じであるが、データの逐次的入力に伴い、計算を開始する時点が、変化点判定装置２５で最後に検出された変化点の時点であることと、終点が固定されたＮではなく、変化する時点ｔである点のみが異なる。
【００８０】
具体的には、時系列モデル学習装置２１では、パラメータを推定するのに、現時点のデータを取り込み（ステップＳ２１）、これと変化点判定装置２５で最後に検出された変化点の時点を入力として、これを開始点とし、現在の時点までのパラメータを時系列モデル学習装置１１と同様に逐次的に計算し（ステップＳ２２）、この値をコンプレキシティ及びパラメータ記憶装置２４に送り記憶させる。
【００８１】
損失関数計算装置２３は、入力データとコンプレキシティ及びパラメータ記憶装置２４から供給されたパラメータ値とを用いて、損失関数計算装置１３と同様に損失関数の値を計算して、コンプレキシティ計算装置２２に送る（ステップＳ２３）。
【００８２】
コンプレキシティ計算装置２２は、損失関数計算装置２３とコンプレキシティ及びパラメータ記憶装置２４との入力を受け、変化点判定装置２５で最後に検出された変化点の時点を入力として、これを開始点とし、現在の時点を終点とする、コンプレキシティの値を、コンプレキシティ計算装置１１と同様に計算する（ステップＳ２４）。
【００８３】
変化点判定装置２５は、現在の時点をｔとして、過去に変化点が見つかっていれば、その時点を起点とする範囲の中で変化点の探索を行う。すなわち、過去最後に検出した変化点をｖｉとすると、時点ｒ（ｖｉ＜ｒ＜ｔ）での変化点スコアＳＣＯＲＥ（ｒ；ｖｉ，ｔ）を計算する。変化点スコアＳＣＯＲＥ（ｒ；ｖｉ，ｔ）は、例えば、数２４のように計算する。
【００８４】
【数２４】
【００８５】
そこで、時点ｒに関する最小化、数２５を考えて、あらかじめ与えられた閾値δを超えた場合、数２５の最小値を与える時点ｒにおいて変化点が起こったと判定し（ステップＳ２５）、変化点を出力する（ステップＳ２６）。
【００８６】
【数２５】
【００８７】
そして、またデータを入力して、ステップＳ２１に戻る。
【００８８】
時点ｒの動く範囲はｖｉ＋１からｔ−１までとするが、ある幅Ｄを設けてｔ−Ｄからｔ−１までとすることにより、必要なメモリ量および計算量を一定以下にしてもよいとする。
【００８９】
変化点判定装置２５は、数２４を効率的に計算することができる。以下、その計算方法を説明する。ここで、データを１つ読み込んで行う計算手続きを、１イタレーションと呼ぶことにする。
【００９０】
データｘｔを新たに読み込んだ１イタレーションにおいて、時点ｒ＝ｔ−Ｄ，…，ｔ−１（またはｒ＝ｖｉ＋１，…，ｔ−１）について求められた数２６をコンプレキシティ及びパラメータ記憶装置２４に送り、記憶させる。
【００９１】
【数２６】
【００９２】
次に、データｘｔ＋１を新たに読み込んだ１イタレーションにおいては、時点ｒ＝ｔ−Ｄ＋１，…，ｔ（またはｒ＝ｖｉ＋１，…，ｔ）について、数２７を求める。
【００９３】
【数２７】
【００９４】
この際、数２８は、前のイタレーションで既に求めたものをコンプレキシティ及びパラメータ記憶装置２４から読み出して用いる。
【００９５】
【数２８】
【００９６】
また、時点ｒ＝ｔについては、損失関数計算装置２３で求めた計算結果を用いて、数２９のように逐次的に計算して、これをコンプレキシティ及びパラメータ記憶装置２４に送り記憶させる。
【００９７】
【数２９】
【００９８】
ここで、時系列モデルがＡＲモデルの場合、推定パラメータ値と同時に十分統計量も記憶させておけば、過去のデータを使わずに求められる。すなわち、古いデータは記憶しておく必要がない。
【００９９】
さらに、時点ｒ＝ｔ＋１については、損失関数計算装置２３で求めた計算結果を用いて、以下のように逐次的に計算する。
【０１００】
【数３０】
【０１０１】
上記計算法では、常に２Ｄ個のＳＣの値を記憶しておき、１イタレーション毎にそのうち１＋Ｄ個を消去し、更新して得られるＤ個を新たに記憶することになる。
【０１０２】
すなわち、以下の量を記憶しておく。
【０１０３】
【数３１】
【０１０４】
新たにデータｘｔ＋１を読み込んだときに、必要な量は、数３２であり、１行目において新たに計算すべき量は最後の１つのみである。
【０１０５】
【数３２】
【０１０６】
２行目はすべての量を更新する必要があるが、それは、数３０と同様な計算を行うことで逐次的に行える。
【０１０７】
また、時点ｒの探索範囲を、整数Ｉで割り切れる値に制限することにより、記憶する数と更新する数を１／Ｉに削減することもできる。
【０１０８】
［第３の実施の形態］
図７は、本発明の第３の実施の形態に係る変化点検出装置の構成を示すブロック図である。本実施の形態に係る変化点検出装置は、図１に示した第１の実施の形態に係る変化点検出装置を実現するコンピュータ１００に対して、変化点検出用プログラム１１０を付加するようにした点だけが異なる。したがって、その他の特に言及しない部分には、同一符号を付してそれらの詳しい説明を省略する。
【０１０９】
変化点検出用プログラム１１０は、コンピュータ１００に読み込まれ、コンピュータ１００の動作を、時系列モデル学習装置１１，コンプレキシティ計算装置１２，損失関数計算装置１３，コンプレキシティ及びパラメータ記憶装置１４，および変化点探索装置１５を備える変化点検出装置として制御する。変化点検出用プログラム１１０の制御によるコンピュータ１００の動作は、第１の実施の形態における変化点検出装置の動作と全く同様になるので、その詳しい説明を割愛する。
【０１１０】
［第４の実施の形態］
図８は、本発明の第４の実施の形態に係る変化点検出装置の構成を示すブロック図である。本実施の形態に係る変化点検出装置は、図５に示した第２の実施の形態に係る変化点検出装置を実現するコンピュータ２００に対して、変化点検出用プログラム２１０を付加するようにした点だけが異なる。したがって、その他の特に言及しない部分には、同一符号を付してそれらの詳しい説明を省略する。
【０１１１】
変化点検出用プログラム２１０は、コンピュータ２００に読み込まれ、コンピュータ２００の動作を、時系列モデル学習装置２１，コンプレキシティ計算装置２２，損失関数計算装置２３，コンプレキシティ及びパラメータ記憶装置１４，および変化点探索装置１５を備える変化点検出装置として制御する。変化点検出用プログラム１１０の制御によるコンピュータ１００の動作は、第２の実施の形態における変化点検出装置の動作と全く同様になるので、その詳しい説明を割愛する。
【０１１２】
【発明の効果】
第１の効果は、オンラインで当てはめおよび当てはめ誤差を計算することができ、効率的に変化点検出ができることである。その理由は、逐次的に計算可能な予測的確率コンプレキシティを規準にして当てはめ誤差を計算し、これに基づいて変化点を検出しているためである。
【０１１３】
第２の効果は、モデルの非連続性に対応してモデル当てはめを行うことにより効果的に変化点を検出できることである。その理由は、変化点の前後で異なるモデルを当てはめ、その当てはめ誤差を予測的確率的コンプレキシティを用いて計算し、変化点がないと仮定した際のモデルの当てはめ誤差と比較することによって変化点を検出するためである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る変化点検出装置の構成を示すブロック図である。
【図２】第１の実施の形態に係る変化点検出装置の動作を示すフローチャートである。
【図３】図１中の時系列モデル学習装置の構成を示すブロック図である。
【図４】図３の時系列モデルの学習装置の動作を示すフローチャートである。
【図５】本発明の第２の実施の形態に係る変化点検出装置の構成を示すブロック図である。
【図６】第２の実施の形態に係る変化点検出装置の変化点検出装置の動作を示すフローである。
【図７】本発明の第３の実施の形態に係る変化点検出装置の構成を示すブロック図である。
【図８】本発明の第４の実施の形態に係る変化点検出装置の構成を示すブロック図である。
【符号の説明】
１１ 時系列モデル学習装置
１２ コンプレキシティ計算装置
１３ 損失関数計算装置
１４ コンプレキシティ及びパラメータ記憶装置
１５ 変化点探索装置
２１ 時系列モデル学習装置
２２ コンプレキシティ計算装置
２２ コンプレキシティ及びパラメータ記憶装置
２３ 損失関数計算装置
２４ コンプレキシティ及びパラメータ記憶装置
２５ 変化点判定装置
１００，２００ コンピュータ
１０１ 忘却型統計量計算装置
１０２ パラメータ更新装置
１０３ データ，パラメータ及び統計量記憶装置
１１０，２１０ 変化点検出用プログラム
【発明の属する技術分野】
本発明は変化点検出装置，変化点検出方法および変化点検出用プログラムに関し、特に時系列データにおいて急激に変化した時点を検出できる変化点検出装置，変化点検出方法および変化点検出用プログラムに関する。
【０００２】
【従来の技術】
従来の変化点検出装置の一例が、V.Guralnik，J.Stivastavaによる方式（例えば、非特許文献１参照）に記載されている。V.Guralnik，J.Stivastavaによる方式では、変化点がないとして曲線当てはめをした場合の当てはめ誤差の総和と、変化点の候補の前後で別々に曲線当てはめをした場合の当てはめ誤差の総和とを計算して、その差がある値以上になった場合に、変化点が生じたものと判定していた。
【０００３】
【非特許文献１】
V.Guralnik and J.Srivastava, Event Detection from Time Series Data, in Proceedings of the Fifth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp:33-42, ACM Press, 1999.
【０００４】
【発明が解決しようとする課題】
第１の問題点は、従来技術では、当てはめ誤差がオンラインで計算できないということである。その理由は、V.Guralnik, J.Srivastavaによる方法では、当てはめ誤差をバッチで計算する方法をとっているため、データが追加されるごとに全体の当てはめ誤差を計算し直さなければならないからである。また、バッチでモデルの当てはめを行っているため、区間内のパラメータは一定値をとるものと仮定しており、パラメータ値のゆるやかな時間的変化をとらえることができず、変化点検出の精度を下げてしまうからである。
【０００５】
本発明の目的は、時系列データに対して、オンラインで当てはめおよび当てはめ誤差に相当するコンプレキシティを計算することにより効率的に変化点検出を行い、かつモデルの非連続性に対応してモデル当てはめを行うことにより効果的に変化点を検出できる変化点検出装置，変化点検出方法および変化点検出用プログラムを提供することにある。
【０００６】
本発明の第１の視点において変化点検出装置は、時系列データを入力として逐次的に読み込みつつ、該入力時系列データにおいて急激に変化した時点である変化点を検出する変化点検出装置であって、時系列データを読み込みながら時系列モデルのパラメータを逐次的に学習する時系列モデル学習手段と、前記時系列モデル学習手段により学習された該時系列モデルのパラメータおよび該時系列モデルの該入力時系列データへの当てはめ誤差としてのコンプレキシティを記憶する記憶装置と、前記記憶装置からパラメータを読み込んで、該入力時系列データの１つ１つに対して該時系列モデルの損失を計算する損失関数計算手段と、前記記憶装置からパラメータおよびコンプレキシティを読み込んで、該入力時系列データの部分列のコンプレキシティを逐次的に更新しながら計算して前記記憶装置の記憶内容を更新するコンプレキシティ計算手段と、該入力時系列データの全ての変化点候補に対して、変化点候補の前後の時系列データに対するコンプレキシティを前記記憶装置から読み込み、変化点候補の前後のコンプレキシティの和と変化点がないとしたときのコンプレキシティとを比較することにより変化点スコアを計算して変化点を検出する変化点探索手段とを備え、前記変化点探索手段が検出した変化点を出力する。
【０００７】
本発明の第２の視点において変化点検出装置は、時系列データを入力として逐次的に読み込みつつ、該入力時系列データにおいて急激に変化した時点である変化点を検出する変化点検出装置であって、時系列データを読み込みながら時系列モデルのパラメータを逐次的に学習する時系列モデル学習手段と、前記時系列モデル学習手段により学習された該時系列モデルのパラメータおよび該時系列モデルの該入力時系列データへの当てはめ誤差としてのコンプレキシティを記憶する記憶装置と、前記記憶装置からパラメータを読み込んで、該入力時系列データの１つ１つに対して該時系列モデルの損失を計算する損失関数計算手段と、前記記憶装置から読み込んだコンプレキシティに前記損失関数計算手段により計算された損失値を逐次的に加算することにより、該入力時系列データの部分列のモデルへの当てはめ誤差としてのコンプレキシティを計算して前記記憶装置の記憶内容を更新するコンプレキシティ計算手段と、該入力時系列データの全ての変化点候補に対して、変化点候補の前後の時系列データに対するコンプレキシティを前記記憶装置から読み込み、変化点候補の前後のコンプレキシティの和と変化点がないとしたときのコンプレキシティとを比較することにより変化点スコアを計算して変化点を検出する変化点判定手段とを備え、前記変化点判定手段が検出した変化点を出力する。
【０００８】
本発明の第３の視点において変化点検出方法は、時系列データを入力として逐次的に読み込みつつ、該入力時系列データにおいて急激に変化した時点である変化点を検出する変化点検出方法であって、時系列データを逐次的に読み込む工程と、該入力時系列データから時系列モデルのパラメータを逐次的に学習する工程と、該入力時系列データの１つ１つに対して該時系列モデルの損失を計算する損失関数計算工程と、該時系列モデルの該入力時系列データへの当てはめ誤差としてのコンプレキシティを逐次的に計算するコンプレキシティ計算工程と、該入力時系列データの全ての変化点候補に対して、変化点候補の前後の時系列データに対するコンプレキシティを計算して、変化点候補の前後のコンプレキシティの和と変化点がないとしたときのコンプレキシティとを比較することにより変化点スコアを計算して変化点を検出する変化点探索工程とを備え、該変化点探索工程で検出した変化点を出力する。
【０００９】
本発明の第４の視点において変化点検出方法は、時系列データを入力として逐次的に読み込みつつ、該入力時系列データにおいて急激に変化した時点である変化点を検出する変化点検出方法であって、時系列データを逐次的に読み込む工程と、該入力時系列データから時系列モデルのパラメータを逐次的に学習する工程と、該入力時系列データの１つ１つに対して該時系列モデルの損失を計算する損失関数計算工程と、該損失関数計算工程で計算した損失値を逐次的に加算することにより、該入力時系列データの部分列のモデルへの当てはめ誤差としてのコンプレキシティを計算するコンプレキシティ計算工程と、該入力時系列データの全ての変化点候補に対して、変化点候補の前後の時系列データに対するコンプレキシティを前記記憶装置から読み込み、変化点候補の前後のコンプレキシティの和と変化点がないとしたときのコンプレキシティとを比較することにより変化点スコアを計算して変化点を検出する変化点判定工程とを備え、該変化点判定工程が検出した変化点を出力する。
【００１０】
本発明の第５の視点において変化点検出用プログラムは、コンピュータを、時系列データを読み込みながら時系列モデルのパラメータを逐次的に学習する時系列モデル学習手段，前記時系列モデル学習手段により学習された該時系列モデルのパラメータおよび該時系列モデルの該入力時系列データへの当てはめ誤差としてのコンプレキシティを記憶する記憶装置，前記記憶装置からパラメータを読み込んで、該入力時系列データの１つ１つに対して該時系列モデルの損失を計算する損失関数計算手段，前記記憶装置からパラメータおよびコンプレキシティを読み込んで、該入力時系列データの部分列のコンプレキシティを逐次的に更新しながら計算して前記記憶装置の記憶内容を更新するコンプレキシティ計算手段，ならびに該入力時系列データの全ての変化点候補に対して、変化点候補の前後の時系列データに対するコンプレキシティを前記記憶装置から読み込み、変化点候補の前後のコンプレキシティの和と変化点がないとしたときのコンプレキシティとを比較することにより変化点スコアを計算して変化点を検出する変化点探索装置として動作させる。
【００１１】
本発明の第６の視点において変化点検出用プログラムは、コンピュータを、時系列データを読み込みながら時系列モデルのパラメータを逐次的に学習する時系列モデル学習手段，前記時系列モデル学習手段により学習された該時系列モデルのパラメータおよび該時系列モデルの該入力時系列データへの当てはめ誤差としてのコンプレキシティを記憶する記憶装置，前記記憶装置からパラメータを読み込んで、該入力時系列データの１つ１つに対して該時系列モデルの損失を計算する損失関数計算手段，前記記憶装置から読み込んだコンプレキシティに前記損失関数計算手段により計算された損失値を逐次的に加算することにより、該入力時系列データの部分列のモデルへの当てはめ誤差としてのコンプレキシティを計算して前記記憶装置の記憶内容を更新するコンプレキシティ計算手段，および該入力時系列データの全ての変化点候補に対して、変化点候補の前後の時系列データに対するコンプレキシティを前記記憶装置から読み込み、変化点候補の前後のコンプレキシティの和と変化点がないとしたときのコンプレキシティとを比較することにより変化点スコアを計算して変化点を検出する変化点探索装置として動作させる。
特に、本発明の第７の視点において変化点検出装置は、時系列｛ｘ ｔ ｝（時刻ｔは１からＮまでの自然数である。）における変化点を検出する変化点検出装置であって、前記時系列のうち時刻αからβまでの部分列｛ｘ ｔ ｝が従う確率密度関数を規定するパラメータθ（α、β）を忘却型学習アルゴリズムによって求めるように構成された時系列モデル学習装置と、前記パラメータを記録するように構成された記憶装置と、時刻αから時刻β−１までの部分列｛ｘ ｔ ｝が従う確率密度関数を規定するパラメータθ（α、β−１）を忘却型学習アルゴリズムによって求め、求めたパラメータθ（α、β−１）によって規定される確率密度関数に基づいて時刻βにおけるデータｘ β に対する損失関数（当てはめ誤差）Ｌ（α、β）を求めるように構成された損失関数計算装置と、前記損失関数Ｌ（１、β）のうち引数βが時刻１ないし時刻Ｎであるものを足し合わせて得られる第１の予測的確率的コンプレキシティ、前記損失関数Ｌ（１、β）のうち引数βが時刻１ないし時刻ｒであるものを足し合わせて得られる第２の予測的確率的コンプレキシティ、及び、前記損失関数Ｌ（ｒ、β）のうち引数βが時刻ｒ＋１ないし時刻Ｎであるものを足し合わせて得られる第３の予測的確率的コンプレキシティを求めるように構成されたコンプレキシティ計算装置と、前記第１の予測的確率的コンプレキシティから前記第２の予測的確率的コンプレキシティと前記第３の予測的確率的コンプレキシティの和を差し引いた値を時刻ｒのそれぞれについて求め、求めた値のうちの最大、かつ、所定の閾値を超えるものに対する時刻ｒを変化点として検出するように構成された変化点探索装置と、を備える。
また、変化点検出装置は、前記時系列モデル学習装置が、忘却パラメータをτ（τは０より大きく１以下の実数である。）として、過去の十分統計量を（１−τ）倍するとともに新しい十分統計量をτ倍した重み付き平均によって十分統計量を更新するように構成されることが好ましい。
さらに、変化点検出装置は、前記損失関数Ｌ（α、β）が対数損失であることが好ましい。
また、変化点検出装置は、前記変化点が検出された場合には、その前後の部分列｛ｘ ｔ ｝について変化点をさらに検出するように構成されることが好ましい。
特に、本発明の第８の視点において変化点検出方法は、時系列｛ｘ ｔ ｝（時刻ｔは１からＮまでの自然数である。）における変化点をコンピュータによって検出する変化点検出方法であって、前記時系列のうち時刻αからβまでの部分列｛ｘ ｔ ｝が従う確率密度関数を規定するパラメータθ（α、β）を忘却型学習アルゴリズムによって求める工程と、前記パラメータを記憶装置に記録する工程と、時刻αから時刻β−１までの部分列｛ｘ ｔ ｝が従う確率密度関数を規定するパラメータθ（α、β−１）を忘却型学習アルゴリズムによって求め、求めたパラメータθ（α、β−１）によって規定される確率密度関数に基づいて時刻βにおけるデータｘ β に対する損失関数（当てはめ誤差）Ｌ（α、β）を求める工程と、前記損失関数Ｌ（１、β）のうち引数βが時刻１ないし時刻Ｎであるものを足し合わせて得られる第１の予測的確率的コンプレキシティ、前記損失関数Ｌ（１、β）のう ち引数βが時刻１ないし時刻ｒであるものを足し合わせて得られる第２の予測的確率的コンプレキシティ、及び、前記損失関数Ｌ（ｒ、β）のうち引数βが時刻ｒ＋１ないし時刻Ｎであるものを足し合わせて得られる第３の予測的確率的コンプレキシティを求める工程と、前記第１の予測的確率的コンプレキシティから前記第２の予測的確率的コンプレキシティと前記第３の予測的確率的コンプレキシティの和を差し引いた値を時刻ｒのそれぞれについて求め、求めた値のうちの最大、かつ、所定の閾値を超えるものに対する時刻ｒを変化点として検出する工程と、を含む。
また、変化点検出方法は、前記パラメータθを求める工程において、忘却パラメータをτ（τは０より大きく１以下の実数である。）として、過去の十分統計量を（１−τ）倍するとともに新しい十分統計量をτ倍した重み付き平均によって十分統計量を更新することが好ましい。
さらに、変化点検出方法は、前記損失関数Ｌ（α、β）が対数損失であることが好ましい。
また、変化点検出方法は、前記変化点が検出された場合には、その前後の部分列｛ｘ ｔ ｝について変化点をさらに検出する工程を含むことが好ましい。
特に、本発明の第９の視点において変化点検出プログラムは、時系列｛ｘ ｔ ｝（時刻ｔは１からＮまでの自然数である。）における変化点をコンピュータによって検出する変化点検出プログラムであって、前記時系列のうち時刻αからβまでの部分列｛ｘ ｔ ｝が従う確率密度関数を規定するパラメータθ（α、β）を忘却型学習アルゴリズムによって求める処理と、前記パラメータを記憶装置に記録する処理と、時刻αから時刻β−１までの部分列｛ｘ ｔ ｝が従う確率密度関数を規定するパラメータθ（α、β−１）を忘却型学習アルゴリズムによって求め、求めたθ（α、β−１）によって規定される確率密度関数に基づいて時刻βにおけるデータｘ β に対する損失関数（当てはめ誤差）Ｌ（α、β）を求める処理と、前記損失関数Ｌ（１、β）のうち引数βが時刻１ないし時刻Ｎであるものを足し合わせて得られる第１の予測的確率的コンプレキシティ、前記損失関数Ｌ（１、β）のうち引数βが時刻１ないし時刻ｒであるものを足し合わせて得られる第２の予測的確率的コンプレキシティ、及び、前記損失関数Ｌ（ｒ、β）のうち引数βが時刻ｒ＋１ないし時刻Ｎであるものを足し合わせて得られる第３の予測的確率的コンプレキシティを求める処理と、前記第１の予測的確率的コンプレキシティから前記第２の予測的確率的コンプレキシティと前記第３の予測的確率的コンプレキシティの和を差し引いた値を時刻ｒのそれぞれについて求め、求めた値のうちの最大、かつ、所定の閾値を超えるものに対する時刻ｒを変化点として検出する処理と、をコンピュータに実行させる。
また、変化点検出プログラムは、前記パラメータθを求める処理において、忘却パラメータをτ（τは０より大きく１以下の実数である。）として、過去の十分統計量を（１−τ）倍するとともに新しい十分統計量をτ倍した重み付き平均によって十分統計量を更新することが好ましい。
さらに、変化点検出プログラムは、前記損失関数Ｌ（α、β）が対数損失であることが好ましい。
また、変化点検出プログラムは、前記変化点が検出された場合には、その前後の部分列｛ｘ ｔ ｝について変化点をさらに検出する処理をコンピュータに実行させることが好ましい。
【００１２】
【発明の実施の形態】
次に、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１３】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る変化点検出装置の構成を示すブロック図である。本実施の形態では、Ｎ個の与えられたデータ列ｘＮ＝ｘ１，…，ｘＮから変化点を検出する。本実施の形態に係る変化点検出装置は、時系列モデル学習装置１１と、コンプレキシティ計算装置１２と、損失関数計算装置１３と、コンプレキシティ及びパラメータ記憶装置１４と、変化点探索装置１５とから構成されている。
【００１４】
図２は、図１の変化点検出装置の概略動作を表すフローチャートであり、図１の変化点検出装置は以下のように動作する。
【００１５】
時系列モデル学習装置１１は、パラメトリックな時系列モデルを用意して、時系列データを逐次的に取り入れながら、パラメータを更新する。
【００１６】
以下、時系列モデルを記述する。Ｎ個のデータからなる系列をｘＮ＝ｘ１，ｘ２，…，ｘＮと表す。
【００１７】
ｎを与えられた正整数として、各データはｎ次元であり、それぞれの要素は実数値をとるものとする。
【００１８】
このような系列が確率密度関数ｐ（ｘＮ|Θ）（Ｎ＝１，…）をもつ時系列モデルにしたがって発生しているとする。Θは確率密度を指定するパラメータである。また、ｔ番目のデータｘｔの確率密度はそれまでの系列ｘｔ−１に依存して定まるので、ｐ（ｘｔ|ｘｔ−１，Θ）と書く。
【００１９】
確率密度関数の例としては、例えば、自己回帰モデル（ＡＲ（auto-regresssion）モデル）を用いることができる。ｋを与えられた正整数として、ｋ次ＡＲモデルは、μをパラメータとして、ｔ番目のデータｘｔを、数１と書くとき、過去のｋ個のデータによってきまり、数２で表されるモデルである。ここに、Ａｉ（ｉ＝１，…，ｋ）はｎ次正方行列であり、εは平均値０、共分散行列Σの正規分布に従う確率変数である。
【００２０】
【数１】
【数２】
今、数３のように表すとき、データｘｔの確率密度関数は、数４で記述される。
【００２３】
【数３】
【数４】
ただし、数５であり、パラメータベクトルを、数６とおいた。
【００２６】
【数５】
【数６】
本発明の変化点探索装置は、ＡＲモデルに限らず、自己回帰移動平均（ＡＲＭＡ：Auto Regression Moving Average）モデルや移動平均（ＭＡ：Moving Average）モデルのような他の時系列モデルを用いてもよい。
【００２９】
図３は、時系列モデル学習装置１１のより詳細な構成を示すブロック図である。この時系列モデル学習装置１１は、忘却型統計量計算装置１０１と、パラメータ更新装置１０２と、データ，パラメータ及び統計量記憶装置１０３とから構成されている。
【００３０】
図４は、図３の時系列モデル学習装置１１の概略動作を表すフローチャートであり、図１の時系列モデル学習装置１１は、以下のように動作する。
【００３１】
時系列モデル学習装置１１は、データの系列を逐次読み込みながら読み込んだデータに基づいて逐次的にパラメータを変更する。ここで、データｘ１からｘｔまでを用いて学習した結果得られるパラメータの値をΘ（ｔ）書く。時系列モデルをＡＲモデルとするときは、パラメータ値Θ（ｔ）を更新することができる。以下、その概要を述べる。
【００３２】
まず、データが読み込まれる前にデータ，パラメータ及び統計量記憶装置１０３に格納されている各パラメータの値が初期化される（ステップＳ１０１）。
【００３３】
次に、ｔ番目のデータｘｔが入力される度に、以下のように動作する。
【００３４】
データｘｔが、忘却型統計量計算装置１０１およびデータ，パラメータ及び統計量記憶装置１０３に入力されると（ステップＳ１０２）、データ，パラメータ及び統計量記憶装置１０３は、記憶していたデータのうち最も古いものを消去し、代わりに最新のデータｘｔを記憶し、データの列ｘｔ，ｘｔ - １，…，ｘｔ - ｋ + １を得る。
【００３５】
忘却型統計量計算装置１０１は、データ，パラメータ及び統計量記憶装置１０３から供給されたデータ列ｘｔ，ｘｔ - １，…，ｘｔ - ｋ + １と保持している十分統計量μ，Ｃｊ（ｊ＝０，…，ｋ）を数７および数８の更新ルールにより更新し（ステップ１０３）、得られた十分統計量をデータ，パラメータ及び統計量記憶装置１０３に送り込んで記憶させ、またパラメータ更新装置１０２に送り込む。
【００３６】
【数７】
【数８】
パラメータ更新装置１０２は、ｎ次正方行列Ｂｉ（ｉ＝１，…，ｋ）を未知数とする連立方程式である数９の解を求める。
【００３９】
【数９】
ただし、数１０とする。
【００４１】
【数１０】
次に、パラメータ更新装置１０２は、求めた解をＡｉに代入し、数１１および数１２によってパラメータを計算し（ステップ１０３）、得られたパラメータ値Θ＝（Ａ１，…，Ａｋ，μ，Σ）を出力する（ステップ１０４）。
【００４３】
【数１１】
【数１２】
また、このパラメータ値Θをデータ，パラメータ及び統計量記憶装置１０３に送り込んで記憶させる。
【００４６】
時系列モデル学習装置１１は、０から１までの値をとる忘却パラメータをτとして、過去の十分統計量を（１−τ）倍し、新しい十分統計量をτ倍して重み付き平均によって十分統計量を更新することにより推定パラメータ値を更新する装置であり、古いデータの影響を徐々に忘却する効果をもつ。忘却パラメータτを入力データ列中のｔ番目のデータｘｔに対しては、１／ｔとおくと、通常の最尤推定を逐次的に実行することに相当する。
【００４７】
時系列モデル学習装置１１が計算したパラメータ値Θは、コンプレキシティ及びパラメータ記憶装置１４に供給される。
【００４８】
損失関数計算装置１３は、各時点ｔにおける入力データｘｔに対して時系列モデル学習装置１１またはコンプレキシティ及びパラメータ記憶装置１４から時点前のパラメータ値Θ（ｔ−１）を読み込み、数１３のように損失を計算する（ステップＳ１３）。
【００４９】
【数１３】
ここで計算された損失値は、時系列モデルのデータに対する当てはめ誤差の意味をもつ。この損失値は、コンプレキシティ計算装置１２に送り込まれ、各時点ｒに対して、コンプレキシティとして、数１４，数１５および数１６を計算する（ステップＳ１４）。
【００５１】
【数１４】
【数１５】
【数１６】
ただし、数１７は、ｘｒ + １，…，ｘｉ - １を用いて推定したパラメータの値を表している。
【００５５】
【数１７】
この値も、また、時系列モデル学習装置１１によって計算され、その結果はコンプレキシティ及びパラメータ記憶装置１４に供給され記憶される。
【００５７】
数１４の値は、データ列ｘＮ＝ｘ１，ｘ２，…，ｘＮに対する予測的確率的コンプレキシティとよばれる量であり、データ列ｘＮを各ｘｔについてパラメータ値Θ（ｔ−１）を用いて逐次的に符号化したときの総符号長である。
【００５８】
ここで、数１８なる関係があるので、コンプレキシティ計算装置１２は、予測的確率的コンプレキシティの計算を逐次的に行うことができる。
【００５９】
【数１８】
コンプレキシティ計算装置１２の計算結果は、コンプレキシティ及びパラメータ記憶装置１４に供給される。
【００６１】
変化点探索装置１５は、各時点ｒ（ｒ＝２，…，Ｎ）に対して、コンプレキシティ及びパラメータ記憶装置１４から供給された数１４，数１５および数１６の値を用いて変化点スコアＳＣＯＲＥ（ｒ）を計算する（ステップＳ１５）。変化点スコアＳＣＯＲＥ（ｒ）は、時点ｒが変化点である可能性の大きさを表す。例えば、数１９のように計算する。
【００６２】
【数１９】
数１４で計算される値はデータ列ｘＮを単一のモデルで記述したときの予測的確率的コンプレキシティであるのに対し、数１５と数１６との和は時点ｒを境にして不連続にモデルを当てはめたときの予測的確率的コンプレキシティの総和である。
【００６４】
もし時点ｒが本当に変化点であれば、数１５と数１６との和は、数１４の値よりも有意に小さくなる。したがって、数１９が大きいほど時点ｒが変化点である可能性が高いことがわかる。
【００６５】
変化点探索装置１５は、例えばある閾値δを設けてＳＣＯＲＥ（ｒ）の値が閾値δより大の時点の中で最大の値をもつものを探索して、この時点ｒを変化点とみなしてこれを出力する（ステップＳ１６）。
【００６６】
この方法では、入力データ列ｘＮ中に１つ変化点を発見することができる。これを再帰的に行い、複数の変化点を見つけることもできる。
【００６７】
また、数１９の代わりに、数２０のようなスコアを考えることもできる。
【００６８】
【数２０】
以上において、数１３では符号長を損失関数としているが、＾ｘｔを時点ｔのデータｘｔに対する予測値として、二乗損失関数である数２１を用いることもできる。
【００７０】
【数２１】
さらに、一般の損失関数である数２２に置き換えてもよい。
【００７２】
【数２２】
そのとき、予測的確率的コンプレキシティＥＳＣは、数２３のように一般の損失関数に関する累積予測損失に置き換えられる。以下は、一般にそのような場合に拡張されるものとする。
【００７４】
【数２３】
［第２の実施の形態］
図５は、本発明の第２の実施の形態に係る変化点検出装置の構成を示すブロック図である。本実施の形態に係る変化点検出装置は、時系列モデル学習装置２１と、コンプレキシティ計算装置２２と、損失関数計算装置２３と、コンプレキシティ及びパラメータ記憶装置２４と、変化点判定装置２５とから構成され、データを逐次的に読み込み、過去に読み込んだデータ列の中に変化点を検出する。
【００７６】
図６は、第１の実施の形態に係る変化点検出装置の概略動作を示すフローチャートである。
【００７７】
なお、特に言及しない部分は、図１に示した第１の実施の形態に係る変化点検出装置における対応部分と同様に構成されているので、それらの詳しい説明は省略する。
【００７８】
次に、このように構成された第２の実施の形態に係る変化点検出装置の動作について、図５および図６を参照しながら説明する。
【００７９】
ステップＳ２１〜Ｓ２４の動作は基本的に図２のステップＳ１１〜Ｓ１４の動作と同じであるが、データの逐次的入力に伴い、計算を開始する時点が、変化点判定装置２５で最後に検出された変化点の時点であることと、終点が固定されたＮではなく、変化する時点ｔである点のみが異なる。
【００８０】
具体的には、時系列モデル学習装置２１では、パラメータを推定するのに、現時点のデータを取り込み（ステップＳ２１）、これと変化点判定装置２５で最後に検出された変化点の時点を入力として、これを開始点とし、現在の時点までのパラメータを時系列モデル学習装置１１と同様に逐次的に計算し（ステップＳ２２）、この値をコンプレキシティ及びパラメータ記憶装置２４に送り記憶させる。
【００８１】
損失関数計算装置２３は、入力データとコンプレキシティ及びパラメータ記憶装置２４から供給されたパラメータ値とを用いて、損失関数計算装置１３と同様に損失関数の値を計算して、コンプレキシティ計算装置２２に送る（ステップＳ２３）。
【００８２】
コンプレキシティ計算装置２２は、損失関数計算装置２３とコンプレキシティ及びパラメータ記憶装置２４との入力を受け、変化点判定装置２５で最後に検出された変化点の時点を入力として、これを開始点とし、現在の時点を終点とする、コンプレキシティの値を、コンプレキシティ計算装置１１と同様に計算する（ステップＳ２４）。
【００８３】
変化点判定装置２５は、現在の時点をｔとして、過去に変化点が見つかっていれば、その時点を起点とする範囲の中で変化点の探索を行う。すなわち、過去最後に検出した変化点をｖｉとすると、時点ｒ（ｖｉ＜ｒ＜ｔ）での変化点スコアＳＣＯＲＥ（ｒ；ｖｉ，ｔ）を計算する。変化点スコアＳＣＯＲＥ（ｒ；ｖｉ，ｔ）は、例えば、数２４のように計算する。
【００８４】
【数２４】
そこで、時点ｒに関する最小化、数２５を考えて、あらかじめ与えられた閾値δを超えた場合、数２５の最小値を与える時点ｒにおいて変化点が起こったと判定し（ステップＳ２５）、変化点を出力する（ステップＳ２６）。
【００８６】
【数２５】
そして、またデータを入力して、ステップＳ２１に戻る。
【００８８】
時点ｒの動く範囲はｖｉ＋１からｔ−１までとするが、ある幅Ｄを設けてｔ−Ｄからｔ−１までとすることにより、必要なメモリ量および計算量を一定以下にしてもよいとする。
【００８９】
変化点判定装置２５は、数２４を効率的に計算することができる。以下、その計算方法を説明する。ここで、データを１つ読み込んで行う計算手続きを、１イタレーションと呼ぶことにする。
【００９０】
データｘｔを新たに読み込んだ１イタレーションにおいて、時点ｒ＝ｔ−Ｄ，…，ｔ−１（またはｒ＝ｖｉ＋１，…，ｔ−１）について求められた数２６をコンプレキシティ及びパラメータ記憶装置２４に送り、記憶させる。
【００９１】
【数２６】
次に、データｘｔ＋１を新たに読み込んだ１イタレーションにおいては、時点ｒ＝ｔ−Ｄ＋１，…，ｔ（またはｒ＝ｖｉ＋１，…，ｔ）について、数２７を求める。
【００９３】
【数２７】
この際、数２８は、前のイタレーションで既に求めたものをコンプレキシティ及びパラメータ記憶装置２４から読み出して用いる。
【００９５】
【数２８】
また、時点ｒ＝ｔについては、損失関数計算装置２３で求めた計算結果を用いて、数２９のように逐次的に計算して、これをコンプレキシティ及びパラメータ記憶装置２４に送り記憶させる。
【００９７】
【数２９】
ここで、時系列モデルがＡＲモデルの場合、推定パラメータ値と同時に十分統計量も記憶させておけば、過去のデータを使わずに求められる。すなわち、古いデータは記憶しておく必要がない。
【００９９】
さらに、時点ｒ＝ｔ＋１については、損失関数計算装置２３で求めた計算結果を用いて、以下のように逐次的に計算する。
【０１００】
【数３０】
上記計算法では、常に２Ｄ個のＳＣの値を記憶しておき、１イタレーション毎にそのうち１＋Ｄ個を消去し、更新して得られるＤ個を新たに記憶することになる。
【０１０２】
すなわち、以下の量を記憶しておく。
【０１０３】
【数３１】
新たにデータｘｔ＋１を読み込んだときに、必要な量は、数３２であり、１行目において新たに計算すべき量は最後の１つのみである。
【０１０５】
【数３２】
２行目はすべての量を更新する必要があるが、それは、数３０と同様な計算を行うことで逐次的に行える。
【０１０７】
また、時点ｒの探索範囲を、整数Ｉで割り切れる値に制限することにより、記憶する数と更新する数を１／Ｉに削減することもできる。
【０１０８】
［第３の実施の形態］
図７は、本発明の第３の実施の形態に係る変化点検出装置の構成を示すブロック図である。本実施の形態に係る変化点検出装置は、図１に示した第１の実施の形態に係る変化点検出装置を実現するコンピュータ１００に対して、変化点検出用プログラム１１０を付加するようにした点だけが異なる。したがって、その他の特に言及しない部分には、同一符号を付してそれらの詳しい説明を省略する。
【０１０９】
変化点検出用プログラム１１０は、コンピュータ１００に読み込まれ、コンピュータ１００の動作を、時系列モデル学習装置１１，コンプレキシティ計算装置１２，損失関数計算装置１３，コンプレキシティ及びパラメータ記憶装置１４，および変化点探索装置１５を備える変化点検出装置として制御する。変化点検出用プログラム１１０の制御によるコンピュータ１００の動作は、第１の実施の形態における変化点検出装置の動作と全く同様になるので、その詳しい説明を割愛する。
【０１１０】
［第４の実施の形態］
図８は、本発明の第４の実施の形態に係る変化点検出装置の構成を示すブロック図である。本実施の形態に係る変化点検出装置は、図５に示した第２の実施の形態に係る変化点検出装置を実現するコンピュータ２００に対して、変化点検出用プログラム２１０を付加するようにした点だけが異なる。したがって、その他の特に言及しない部分には、同一符号を付してそれらの詳しい説明を省略する。
【０１１１】
変化点検出用プログラム２１０は、コンピュータ２００に読み込まれ、コンピュータ２００の動作を、時系列モデル学習装置２１，コンプレキシティ計算装置２２，損失関数計算装置２３，コンプレキシティ及びパラメータ記憶装置１４，および変化点探索装置１５を備える変化点検出装置として制御する。変化点検出用プログラム１１０の制御によるコンピュータ１００の動作は、第２の実施の形態における変化点検出装置の動作と全く同様になるので、その詳しい説明を割愛する。
【０１１２】
【発明の効果】
第１の効果は、オンラインで当てはめおよび当てはめ誤差を計算することができ、効率的に変化点検出ができることである。その理由は、逐次的に計算可能な予測的確率コンプレキシティを規準にして当てはめ誤差を計算し、これに基づいて変化点を検出しているためである。
【０１１３】
第２の効果は、モデルの非連続性に対応してモデル当てはめを行うことにより効果的に変化点を検出できることである。その理由は、変化点の前後で異なるモデルを当てはめ、その当てはめ誤差を予測的確率的コンプレキシティを用いて計算し、変化点がないと仮定した際のモデルの当てはめ誤差と比較することによって変化点を検出するためである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る変化点検出装置の構成を示すブロック図である。
【図２】第１の実施の形態に係る変化点検出装置の動作を示すフローチャートである。
【図３】図１中の時系列モデル学習装置の構成を示すブロック図である。
【図４】図３の時系列モデルの学習装置の動作を示すフローチャートである。
【図５】本発明の第２の実施の形態に係る変化点検出装置の構成を示すブロック図である。
【図６】第２の実施の形態に係る変化点検出装置の変化点検出装置の動作を示すフローである。
【図７】本発明の第３の実施の形態に係る変化点検出装置の構成を示すブロック図である。
【図８】本発明の第４の実施の形態に係る変化点検出装置の構成を示すブロック図である。
【符号の説明】
１１ 時系列モデル学習装置
１２ コンプレキシティ計算装置
１３ 損失関数計算装置
１４ コンプレキシティ及びパラメータ記憶装置
１５ 変化点探索装置
２１ 時系列モデル学習装置
２２ コンプレキシティ計算装置
２２ コンプレキシティ及びパラメータ記憶装置
２３ 損失関数計算装置
２４ コンプレキシティ及びパラメータ記憶装置
２５ 変化点判定装置
１００，２００ コンピュータ
１０１ 忘却型統計量計算装置
１０２ パラメータ更新装置
１０３ データ，パラメータ及び統計量記憶装置
１１０，２１０ 変化点検出用プログラム
Claims (12)
- 時系列｛ｘｔ｝（時刻ｔは１からＮまでの自然数である。）における変化点を検出する変化点検出装置であって、
前記時系列のうち時刻αからβまでの部分列｛ｘｔ｝が従う確率密度関数を規定するパラメータθ（α、β）を忘却型学習アルゴリズムによって求めるように構成された時系列モデル学習装置と、
前記パラメータを記録するように構成された記憶装置と、
時刻αから時刻β−１までの部分列｛ｘ ｔ ｝が従う確率密度関数を規定するパラメータθ（α、β−１）を忘却型学習アルゴリズムによって求め、求めたパラメータθ（α、β−１）によって規定される確率密度関数に基づいて時刻βにおけるデータｘ β に対する損失関数（当てはめ誤差）Ｌ（α、β）を求めるように構成された損失関数計算装置と、
前記損失関数Ｌ（１、β）のうち引数βが時刻１ないし時刻Ｎであるものを足し合わせて得られる第１の予測的確率的コンプレキシティ、前記損失関数Ｌ（１、β）のうち引数βが時刻１ないし時刻ｒであるものを足し合わせて得られる第２の予測的確率的コンプレキシティ、及び、前記損失関数Ｌ（ｒ、β）のうち引数βが時刻ｒ＋１ないし時刻Ｎであるものを足し合わせて得られる第３の予測的確率的コンプレキシティを求めるように構成されたコンプレキシティ計算装置と、
前記第１の予測的確率的コンプレキシティから前記第２の予測的確率的コンプレキシティと前記第３の予測的確率的コンプレキシティの和を差し引いた値を時刻ｒのそれぞれについて求め、求めた値のうちの最大、かつ、所定の閾値を超えるものに対する時刻ｒを変化点として検出するように構成された変化点探索装置と、を備えることを特徴とする変化点検出装置。 - 前記時系列モデル学習装置は、忘却パラメータをτ（τは０より大きく１以下の実数である。）として、過去の十分統計量を（１−τ）倍するとともに新しい十分統計量をτ倍した重み付き平均によって十分統計量を更新するように構成されたことを特徴とする、請求項１に記載の変化点検出装置。
- 前記損失関数Ｌ（α、β）は対数損失であることを特徴とする、請求項１又は２に記載の変化点検出装置。
- 前記変化点が検出された場合には、その前後の部分列｛ｘｔ｝について変化点をさらに検出するように構成されたことを特徴とする、請求項１ないし３のいずれか一に記載の変化点検出装置。
- 時系列｛ｘｔ｝（時刻ｔは１からＮまでの自然数である。）における変化点をコンピュータによって検出する変化点検出方法であって、
前記時系列のうち時刻αからβまでの部分列｛ｘｔ｝が従う確率密度関数を規定するパラメータθ（α、β）を忘却型学習アルゴリズムによって求める工程と、
前記パラメータを記憶装置に記録する工程と、
時刻αから時刻β−１までの部分列｛ｘ ｔ ｝が従う確率密度関数を規定するパラメータθ（α、β−１）を忘却型学習アルゴリズムによって求め、求めたパラメータθ（α、β−１）によって規定される確率密度関数に基づいて時刻βにおけるデータｘ β に対する損失関数（当てはめ誤差）Ｌ（α、β）を求める工程と、
前記損失関数Ｌ（１、β）のうち引数βが時刻１ないし時刻Ｎであるものを足し合わせて得られる第１の予測的確率的コンプレキシティ、前記損失関数Ｌ（１、β）のうち引数βが時刻１ないし時刻ｒであるものを足し合わせて得られる第２の予測的確率的コンプレキシティ、及び、前記損失関数Ｌ（ｒ、β）のうち引数βが時刻ｒ＋１ないし時刻Ｎであるものを足し合わせて得られる第３の予測的確率的コンプレキシティを求める工程と、
前記第１の予測的確率的コンプレキシティから前記第２の予測的確率的コンプレキシティと前記第３の予測的確率的コンプレキシティの和を差し引いた値を時刻ｒのそれぞれについて求め、求めた値のうちの最大、かつ、所定の閾値を超えるものに対する時刻ｒを変化点として検出する工程と、を含むことを特徴とする変化点検出方法。 - 前記パラメータθを求める工程において、忘却パラメータをτ（τは０より大きく１以下の実数である。）として、過去の十分統計量を（１−τ）倍するとともに新しい十分統計量をτ倍した重み付き平均によって十分統計量を更新することを特徴とする、請求項５に記載の変化点検出方法。
- 前記損失関数Ｌ（α、β）は対数損失であることを特徴とする、請求項５又は６に記載の変化点検出方法。
- 前記変化点が検出された場合には、その前後の部分列｛ｘｔ｝について変化点をさらに検出する工程を含むことを特徴とする、請求項５ないし７のいずれか一に記載の変化点検出方法。
- 時系列｛ｘｔ｝（時刻ｔは１からＮまでの自然数である。）における変化点をコンピュータによって検出する変化点検出プログラムであって、
前記時系列のうち時刻αからβまでの部分列｛ｘｔ｝が従う確率密度関数を規定するパラメータθ（α、β）を忘却型学習アルゴリズムによって求める処理と、
前記パラメータを記憶装置に記録する処理と、
時刻αから時刻β−１までの部分列｛ｘ ｔ ｝が従う確率密度関数を規定するパラメータθ（α、β−１）を忘却型学習アルゴリズムによって求め、求めたθ（α、β−１）によって規定される確率密度関数に基づいて時刻βにおけるデータｘ β に対する損失関数（当てはめ誤差）Ｌ（α、β）を求める処理と、
前記損失関数Ｌ（１、β）のうち引数βが時刻１ないし時刻Ｎであるものを足し合わせて得られる第１の予測的確率的コンプレキシティ、前記損失関数Ｌ（１、β）のうち引数βが時刻１ないし時刻ｒであるものを足し合わせて得られる第２の予測的確率的コンプレキシティ、及び、前記損失関数Ｌ（ｒ、β）のうち引数βが時刻ｒ＋１ないし時刻Ｎであるものを足し合わせて得られる第３の予測的確率的コンプレキシティを求める処理と、
前記第１の予測的確率的コンプレキシティから前記第２の予測的確率的コンプレキシティと前記第３の予測的確率的コンプレキシティの和を差し引いた値を時刻ｒのそれぞれについて求め、求めた値のうちの最大、かつ、所定の閾値を超えるものに対する時刻ｒを変化点として検出する処理と、をコンピュータに実行させることを特徴とする変化点検出プログラム。 - 前記パラメータθを求める処理において、忘却パラメータをτ（τは０より大きく１以下の実数である。）として、過去の十分統計量を（１−τ）倍するとともに新しい十分統計量をτ倍した重み付き平均によって十分統計量を更新することを特徴とする、請求項９に記載の変化点検出プログラム。
- 前記損失関数Ｌ（α、β）は対数損失であることを特徴とする、請求項９又は１０に記載の変化点検出プログラム。
- 前記変化点が検出された場合には、その前後の部分列｛ｘｔ｝について変化点をさらに検出する処理をコンピュータに実行させることを特徴とする、請求項９ないし１１のいずれか一に記載の変化点検出プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003169986A JP4265296B2 (ja) | 2003-06-13 | 2003-06-13 | 変化点検出装置，変化点検出方法および変化点検出用プログラム |
| US10/863,274 US7016797B2 (en) | 2003-06-13 | 2004-06-09 | Change-point detection apparatus, method and program therefor |
| EP04013895A EP1486882A3 (en) | 2003-06-13 | 2004-06-14 | Change-point detection |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003169986A JP4265296B2 (ja) | 2003-06-13 | 2003-06-13 | 変化点検出装置，変化点検出方法および変化点検出用プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005004658A JP2005004658A (ja) | 2005-01-06 |
| JP4265296B2 true JP4265296B2 (ja) | 2009-05-20 |
Family
ID=33296916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003169986A Expired - Lifetime JP4265296B2 (ja) | 2003-06-13 | 2003-06-13 | 変化点検出装置，変化点検出方法および変化点検出用プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7016797B2 (ja) |
| EP (1) | EP1486882A3 (ja) |
| JP (1) | JP4265296B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023286677A1 (ja) * | 2021-07-15 | 2023-01-19 | パナソニックＩｐマネジメント株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050283337A1 (en) * | 2004-06-22 | 2005-12-22 | Mehmet Sayal | System and method for correlation of time-series data |
| JP4170315B2 (ja) * | 2005-05-30 | 2008-10-22 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 異常判断装置、制御方法、自動車およびプログラム |
| JP2007148890A (ja) * | 2005-11-29 | 2007-06-14 | Hitachi Ltd | 機器診断装置 |
| JP5227957B2 (ja) | 2007-08-09 | 2013-07-03 | 日立建機株式会社 | 作業機械の機器診断装置及び機器診断システム |
| WO2009107313A1 (ja) * | 2008-02-28 | 2009-09-03 | 日本電気株式会社 | 確率モデル選択装置、確率モデル選択方法、およびプログラム |
| US20130173215A1 (en) * | 2012-01-04 | 2013-07-04 | Honeywell International Inc. | Adaptive trend-change detection and function fitting system and method |
| JP6631540B2 (ja) | 2015-01-07 | 2020-01-15 | 日本電気株式会社 | 情報処理システム、変化点検出方法、およびプログラム |
| US10108978B2 (en) | 2015-03-31 | 2018-10-23 | Adobe Systems Incorporated | Methods and systems for collaborated change point detection in time series |
| CN105046203B (zh) * | 2015-06-24 | 2018-03-30 | 哈尔滨工业大学 | 基于夹角dtw距离的卫星遥测数据自适应层次聚类方法 |
| CN104915568B (zh) * | 2015-06-24 | 2017-09-29 | 哈尔滨工业大学 | 基于dtw的卫星遥测数据异常检测方法 |
| US11100108B2 (en) | 2017-04-12 | 2021-08-24 | International Business Machines Corporation | Inflationary segment approach to temporal data partitioning for optimized model scoring |
| US10715393B1 (en) | 2019-01-18 | 2020-07-14 | Goldman Sachs & Co. LLC | Capacity management of computing resources based on time series analysis |
| KR102446854B1 (ko) * | 2019-08-30 | 2022-09-27 | 울산과학기술원 | 데이터 예측 방법 및 장치 |
| KR20210064445A (ko) | 2019-11-25 | 2021-06-03 | 삼성전자주식회사 | 반도체 공정 시뮬레이션 시스템 및 그것의 시뮬레이션 방법 |
| CN112985350B (zh) * | 2021-03-02 | 2023-04-11 | 佛山科学技术学院 | 一种用于桥梁施工的标高读取方法及读取装置 |
| CN113722650A (zh) * | 2021-07-13 | 2021-11-30 | 山西三友和智慧信息技术股份有限公司 | 一种基于时间序列变点检测的改进方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3506068B2 (ja) * | 1999-09-29 | 2004-03-15 | 日本電気株式会社 | 外れ値度計算装置 |
| JP2005141601A (ja) * | 2003-11-10 | 2005-06-02 | Nec Corp | モデル選択計算装置，動的モデル選択装置，動的モデル選択方法およびプログラム |
-
2003
- 2003-06-13 JP JP2003169986A patent/JP4265296B2/ja not_active Expired - Lifetime
-
2004
- 2004-06-09 US US10/863,274 patent/US7016797B2/en not_active Expired - Lifetime
- 2004-06-14 EP EP04013895A patent/EP1486882A3/en not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023286677A1 (ja) * | 2021-07-15 | 2023-01-19 | パナソニックＩｐマネジメント株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US7016797B2 (en) | 2006-03-21 |
| JP2005004658A (ja) | 2005-01-06 |
| EP1486882A2 (en) | 2004-12-15 |
| US20040254760A1 (en) | 2004-12-16 |
| EP1486882A3 (en) | 2009-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4265296B2 (ja) | 変化点検出装置，変化点検出方法および変化点検出用プログラム | |
| US11568300B2 (en) | Apparatus and method for managing machine learning with plurality of learning algorithms and plurality of training dataset sizes | |
| Liang et al. | An equivalent measure of partial correlation coefficients for high-dimensional gaussian graphical models | |
| US10146531B2 (en) | Method and apparatus for generating a refactored code | |
| JP2008003920A (ja) | 時系列データの予測・診断装置およびそのプログラム | |
| CN109313720A (zh) | 具有稀疏访问的外部存储器的增强神经网络 | |
| JP2016509271A (ja) | 階層隠れ変数モデル推定装置 | |
| US11537893B2 (en) | Method and electronic device for selecting deep neural network hyperparameters | |
| US9176732B2 (en) | Method and apparatus for minimum cost cycle removal from a directed graph | |
| US20070220340A1 (en) | Using a genetic technique to optimize a regression model used for proactive fault monitoring | |
| JP7481902B2 (ja) | 管理計算機、管理プログラム、及び管理方法 | |
| JP2014160456A (ja) | 疎変数最適化装置、疎変数最適化方法および疎変数最適化プログラム | |
| US11126695B2 (en) | Polymer design device, polymer design method, and non-transitory recording medium | |
| US20160196506A1 (en) | Incremental learning management device, incremental learning management method and computer readable recording medium storing incremental learning management program | |
| JP2020067910A (ja) | 学習曲線予測装置、学習曲線予測方法、およびプログラム | |
| US7840391B2 (en) | Model-diversity technique for improved proactive fault monitoring | |
| CN115329146A (zh) | 时序网络中的链路预测方法、电子设备及存储介质 | |
| JP6203313B2 (ja) | 特徴選択装置、特徴選択方法およびプログラム | |
| US11562110B1 (en) | System and method for device mismatch contribution computation for non-continuous circuit outputs | |
| JP5068331B2 (ja) | 状態変化検出方法、状態変化検出システム | |
| CN117274005B (zh) | 基于数字教育的大数据推送方法及*** | |
| JP6740193B2 (ja) | パラメータ推定装置、パラメータ推定方法及びパラメータ推定プログラム | |
| JP7127686B2 (ja) | 仮説推論装置、仮説推論方法、及びプログラム | |
| JP7515322B2 (ja) | 設定管理装置、設定管理方法、及び、設定管理プログラム | |
| JP7224263B2 (ja) | モデル生成方法、モデル生成装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050121 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060516 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080324 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081020 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090127 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090209 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4265296 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140227 Year of fee payment: 5 |
|
| EXPY | Cancellation because of completion of term |