JP4265296B2 - 変化点検出装置,変化点検出方法および変化点検出用プログラム - Google Patents
変化点検出装置,変化点検出方法および変化点検出用プログラム Download PDFInfo
- Publication number
- JP4265296B2 JP4265296B2 JP2003169986A JP2003169986A JP4265296B2 JP 4265296 B2 JP4265296 B2 JP 4265296B2 JP 2003169986 A JP2003169986 A JP 2003169986A JP 2003169986 A JP2003169986 A JP 2003169986A JP 4265296 B2 JP4265296 B2 JP 4265296B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- change point
- complexity
- parameter
- point detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Databases & Information Systems (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Complex Calculations (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
【発明の属する技術分野】
本発明は変化点検出装置,変化点検出方法および変化点検出用プログラムに関し、特に時系列データにおいて急激に変化した時点を検出できる変化点検出装置,変化点検出方法および変化点検出用プログラムに関する。
【0002】
【従来の技術】
従来の変化点検出装置の一例が、V.Guralnik,J.Stivastavaによる方式(例えば、非特許文献1参照)に記載されている。V.Guralnik,J.Stivastavaによる方式では、変化点がないとして曲線当てはめをした場合の当てはめ誤差の総和と、変化点の候補の前後で別々に曲線当てはめをした場合の当てはめ誤差の総和とを計算して、その差がある値以上になった場合に、変化点が生じたものと判定していた。
【0003】
【非特許文献1】
V.Guralnik and J.Srivastava, Event Detection from Time Series Data, in Proceedings of the Fifth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp:33-42, ACM Press, 1999.
【0004】
【発明が解決しようとする課題】
第1の問題点は、従来技術では、当てはめ誤差がオンラインで計算できないということである。その理由は、V.Guralnik, J.Srivastavaによる方法では、当てはめ誤差をバッチで計算する方法をとっているため、データが追加されるごとに全体の当てはめ誤差を計算し直さなければならないからである。また、バッチでモデルの当てはめを行っているため、区間内のパラメータは一定値をとるものと仮定しており、パラメータ値のゆるやかな時間的変化をとらえることができず、変化点検出の精度を下げてしまうからである。
【0005】
本発明の目的は、時系列データに対して、オンラインで当てはめおよび当てはめ誤差に相当するコンプレキシティを計算することにより効率的に変化点検出を行い、かつモデルの非連続性に対応してモデル当てはめを行うことにより効果的に変化点を検出できる変化点検出装置,変化点検出方法および変化点検出用プログラムを提供することにある。
【0006】
本発明の第1の視点において変化点検出装置は、時系列データを入力として逐次的に読み込みつつ、該入力時系列データにおいて急激に変化した時点である変化点を検出する変化点検出装置であって、時系列データを読み込みながら時系列モデルのパラメータを逐次的に学習する時系列モデル学習手段と、前記時系列モデル学習手段により学習された該時系列モデルのパラメータおよび該時系列モデルの該入力時系列データへの当てはめ誤差としてのコンプレキシティを記憶する記憶装置と、前記記憶装置からパラメータを読み込んで、該入力時系列データの1つ1つに対して該時系列モデルの損失を計算する損失関数計算手段と、前記記憶装置からパラメータおよびコンプレキシティを読み込んで、該入力時系列データの部分列のコンプレキシティを逐次的に更新しながら計算して前記記憶装置の記憶内容を更新するコンプレキシティ計算手段と、該入力時系列データの全ての変化点候補に対して、変化点候補の前後の時系列データに対するコンプレキシティを前記記憶装置から読み込み、変化点候補の前後のコンプレキシティの和と変化点がないとしたときのコンプレキシティとを比較することにより変化点スコアを計算して変化点を検出する変化点探索手段とを備え、前記変化点探索手段が検出した変化点を出力する。
【0007】
本発明の第2の視点において変化点検出装置は、時系列データを入力として逐次的に読み込みつつ、該入力時系列データにおいて急激に変化した時点である変化点を検出する変化点検出装置であって、時系列データを読み込みながら時系列モデルのパラメータを逐次的に学習する時系列モデル学習手段と、前記時系列モデル学習手段により学習された該時系列モデルのパラメータおよび該時系列モデルの該入力時系列データへの当てはめ誤差としてのコンプレキシティを記憶する記憶装置と、前記記憶装置からパラメータを読み込んで、該入力時系列データの1つ1つに対して該時系列モデルの損失を計算する損失関数計算手段と、前記記憶装置から読み込んだコンプレキシティに前記損失関数計算手段により計算された損失値を逐次的に加算することにより、該入力時系列データの部分列のモデルへの当てはめ誤差としてのコンプレキシティを計算して前記記憶装置の記憶内容を更新するコンプレキシティ計算手段と、該入力時系列データの全ての変化点候補に対して、変化点候補の前後の時系列データに対するコンプレキシティを前記記憶装置から読み込み、変化点候補の前後のコンプレキシティの和と変化点がないとしたときのコンプレキシティとを比較することにより変化点スコアを計算して変化点を検出する変化点判定手段とを備え、前記変化点判定手段が検出した変化点を出力する。
【0008】
本発明の第3の視点において変化点検出方法は、時系列データを入力として逐次的に読み込みつつ、該入力時系列データにおいて急激に変化した時点である変化点を検出する変化点検出方法であって、時系列データを逐次的に読み込む工程と、該入力時系列データから時系列モデルのパラメータを逐次的に学習する工程と、該入力時系列データの1つ1つに対して該時系列モデルの損失を計算する損失関数計算工程と、該時系列モデルの該入力時系列データへの当てはめ誤差としてのコンプレキシティを逐次的に計算するコンプレキシティ計算工程と、該入力時系列データの全ての変化点候補に対して、変化点候補の前後の時系列データに対するコンプレキシティを計算して、変化点候補の前後のコンプレキシティの和と変化点がないとしたときのコンプレキシティとを比較することにより変化点スコアを計算して変化点を検出する変化点探索工程とを備え、該変化点探索工程で検出した変化点を出力する。
【0009】
本発明の第4の視点において変化点検出方法は、時系列データを入力として逐次的に読み込みつつ、該入力時系列データにおいて急激に変化した時点である変化点を検出する変化点検出方法であって、時系列データを逐次的に読み込む工程と、該入力時系列データから時系列モデルのパラメータを逐次的に学習する工程と、該入力時系列データの1つ1つに対して該時系列モデルの損失を計算する損失関数計算工程と、該損失関数計算工程で計算した損失値を逐次的に加算することにより、該入力時系列データの部分列のモデルへの当てはめ誤差としてのコンプレキシティを計算するコンプレキシティ計算工程と、該入力時系列データの全ての変化点候補に対して、変化点候補の前後の時系列データに対するコンプレキシティを前記記憶装置から読み込み、変化点候補の前後のコンプレキシティの和と変化点がないとしたときのコンプレキシティとを比較することにより変化点スコアを計算して変化点を検出する変化点判定工程とを備え、該変化点判定工程が検出した変化点を出力する。
【0010】
本発明の第5の視点において変化点検出用プログラムは、コンピュータを、時系列データを読み込みながら時系列モデルのパラメータを逐次的に学習する時系列モデル学習手段,前記時系列モデル学習手段により学習された該時系列モデルのパラメータおよび該時系列モデルの該入力時系列データへの当てはめ誤差としてのコンプレキシティを記憶する記憶装置,前記記憶装置からパラメータを読み込んで、該入力時系列データの1つ1つに対して該時系列モデルの損失を計算する損失関数計算手段,前記記憶装置からパラメータおよびコンプレキシティを読み込んで、該入力時系列データの部分列のコンプレキシティを逐次的に更新しながら計算して前記記憶装置の記憶内容を更新するコンプレキシティ計算手段,ならびに該入力時系列データの全ての変化点候補に対して、変化点候補の前後の時系列データに対するコンプレキシティを前記記憶装置から読み込み、変化点候補の前後のコンプレキシティの和と変化点がないとしたときのコンプレキシティとを比較することにより変化点スコアを計算して変化点を検出する変化点探索装置として動作させる。
【0011】
本発明の第6の視点において変化点検出用プログラムは、コンピュータを、時系列データを読み込みながら時系列モデルのパラメータを逐次的に学習する時系列モデル学習手段,前記時系列モデル学習手段により学習された該時系列モデルのパラメータおよび該時系列モデルの該入力時系列データへの当てはめ誤差としてのコンプレキシティを記憶する記憶装置,前記記憶装置からパラメータを読み込んで、該入力時系列データの1つ1つに対して該時系列モデルの損失を計算する損失関数計算手段,前記記憶装置から読み込んだコンプレキシティに前記損失関数計算手段により計算された損失値を逐次的に加算することにより、該入力時系列データの部分列のモデルへの当てはめ誤差としてのコンプレキシティを計算して前記記憶装置の記憶内容を更新するコンプレキシティ計算手段,および該入力時系列データの全ての変化点候補に対して、変化点候補の前後の時系列データに対するコンプレキシティを前記記憶装置から読み込み、変化点候補の前後のコンプレキシティの和と変化点がないとしたときのコンプレキシティとを比較することにより変化点スコアを計算して変化点を検出する変化点探索装置として動作させる。
特に、本発明の第7の視点において変化点検出装置は、時系列{x t }(時刻tは1からNまでの自然数である。)における変化点を検出する変化点検出装置であって、前記時系列のうち時刻αからβまでの部分列{x t }が従う確率密度関数を規定するパラメータθ(α、β)を忘却型学習アルゴリズムによって求めるように構成された時系列モデル学習装置と、前記パラメータを記録するように構成された記憶装置と、時刻αから時刻β−1までの部分列{x t }が従う確率密度関数を規定するパラメータθ(α、β−1)を忘却型学習アルゴリズムによって求め、求めたパラメータθ(α、β−1)によって規定される確率密度関数に基づいて時刻βにおけるデータx β に対する損失関数(当てはめ誤差)L(α、β)を求めるように構成された損失関数計算装置と、前記損失関数L(1、β)のうち引数βが時刻1ないし時刻Nであるものを足し合わせて得られる第1の予測的確率的コンプレキシティ、前記損失関数L(1、β)のうち引数βが時刻1ないし時刻rであるものを足し合わせて得られる第2の予測的確率的コンプレキシティ、及び、前記損失関数L(r、β)のうち引数βが時刻r+1ないし時刻Nであるものを足し合わせて得られる第3の予測的確率的コンプレキシティを求めるように構成されたコンプレキシティ計算装置と、前記第1の予測的確率的コンプレキシティから前記第2の予測的確率的コンプレキシティと前記第3の予測的確率的コンプレキシティの和を差し引いた値を時刻rのそれぞれについて求め、求めた値のうちの最大、かつ、所定の閾値を超えるものに対する時刻rを変化点として検出するように構成された変化点探索装置と、を備える。
また、変化点検出装置は、前記時系列モデル学習装置が、忘却パラメータをτ(τは0より大きく1以下の実数である。)として、過去の十分統計量を(1−τ)倍するとともに新しい十分統計量をτ倍した重み付き平均によって十分統計量を更新するように構成されることが好ましい。
さらに、変化点検出装置は、前記損失関数L(α、β)が対数損失であることが好ましい。
また、変化点検出装置は、前記変化点が検出された場合には、その前後の部分列{x t }について変化点をさらに検出するように構成されることが好ましい。
特に、本発明の第8の視点において変化点検出方法は、時系列{x t }(時刻tは1からNまでの自然数である。)における変化点をコンピュータによって検出する変化点検出方法であって、前記時系列のうち時刻αからβまでの部分列{x t }が従う確率密度関数を規定するパラメータθ(α、β)を忘却型学習アルゴリズムによって求める工程と、前記パラメータを記憶装置に記録する工程と、時刻αから時刻β−1までの部分列{x t }が従う確率密度関数を規定するパラメータθ(α、β−1)を忘却型学習アルゴリズムによって求め、求めたパラメータθ(α、β−1)によって規定される確率密度関数に基づいて時刻βにおけるデータx β に対する損失関数(当てはめ誤差)L(α、β)を求める工程と、前記損失関数L(1、β)のうち引数βが時刻1ないし時刻Nであるものを足し合わせて得られる第1の予測的確率的コンプレキシティ、前記損失関数L(1、β)のう ち引数βが時刻1ないし時刻rであるものを足し合わせて得られる第2の予測的確率的コンプレキシティ、及び、前記損失関数L(r、β)のうち引数βが時刻r+1ないし時刻Nであるものを足し合わせて得られる第3の予測的確率的コンプレキシティを求める工程と、前記第1の予測的確率的コンプレキシティから前記第2の予測的確率的コンプレキシティと前記第3の予測的確率的コンプレキシティの和を差し引いた値を時刻rのそれぞれについて求め、求めた値のうちの最大、かつ、所定の閾値を超えるものに対する時刻rを変化点として検出する工程と、を含む。
また、変化点検出方法は、前記パラメータθを求める工程において、忘却パラメータをτ(τは0より大きく1以下の実数である。)として、過去の十分統計量を(1−τ)倍するとともに新しい十分統計量をτ倍した重み付き平均によって十分統計量を更新することが好ましい。
さらに、変化点検出方法は、前記損失関数L(α、β)が対数損失であることが好ましい。
また、変化点検出方法は、前記変化点が検出された場合には、その前後の部分列{x t }について変化点をさらに検出する工程を含むことが好ましい。
特に、本発明の第9の視点において変化点検出プログラムは、時系列{x t }(時刻tは1からNまでの自然数である。)における変化点をコンピュータによって検出する変化点検出プログラムであって、前記時系列のうち時刻αからβまでの部分列{x t }が従う確率密度関数を規定するパラメータθ(α、β)を忘却型学習アルゴリズムによって求める処理と、前記パラメータを記憶装置に記録する処理と、時刻αから時刻β−1までの部分列{x t }が従う確率密度関数を規定するパラメータθ(α、β−1)を忘却型学習アルゴリズムによって求め、求めたθ(α、β−1)によって規定される確率密度関数に基づいて時刻βにおけるデータx β に対する損失関数(当てはめ誤差)L(α、β)を求める処理と、前記損失関数L(1、β)のうち引数βが時刻1ないし時刻Nであるものを足し合わせて得られる第1の予測的確率的コンプレキシティ、前記損失関数L(1、β)のうち引数βが時刻1ないし時刻rであるものを足し合わせて得られる第2の予測的確率的コンプレキシティ、及び、前記損失関数L(r、β)のうち引数βが時刻r+1ないし時刻Nであるものを足し合わせて得られる第3の予測的確率的コンプレキシティを求める処理と、前記第1の予測的確率的コンプレキシティから前記第2の予測的確率的コンプレキシティと前記第3の予測的確率的コンプレキシティの和を差し引いた値を時刻rのそれぞれについて求め、求めた値のうちの最大、かつ、所定の閾値を超えるものに対する時刻rを変化点として検出する処理と、をコンピュータに実行させる。
また、変化点検出プログラムは、前記パラメータθを求める処理において、忘却パラメータをτ(τは0より大きく1以下の実数である。)として、過去の十分統計量を(1−τ)倍するとともに新しい十分統計量をτ倍した重み付き平均によって十分統計量を更新することが好ましい。
さらに、変化点検出プログラムは、前記損失関数L(α、β)が対数損失であることが好ましい。
また、変化点検出プログラムは、前記変化点が検出された場合には、その前後の部分列{x t }について変化点をさらに検出する処理をコンピュータに実行させることが好ましい。
【0012】
【発明の実施の形態】
次に、本発明の実施の形態について、図面を参照して詳細に説明する。
【0013】
[第1の実施の形態]
図1は、本発明の第1の実施の形態に係る変化点検出装置の構成を示すブロック図である。本実施の形態では、N個の与えられたデータ列xN=x1,…,xNから変化点を検出する。本実施の形態に係る変化点検出装置は、時系列モデル学習装置11と、コンプレキシティ計算装置12と、損失関数計算装置13と、コンプレキシティ及びパラメータ記憶装置14と、変化点探索装置15とから構成されている。
【0014】
図2は、図1の変化点検出装置の概略動作を表すフローチャートであり、図1の変化点検出装置は以下のように動作する。
【0015】
時系列モデル学習装置11は、パラメトリックな時系列モデルを用意して、時系列データを逐次的に取り入れながら、パラメータを更新する。
【0016】
以下、時系列モデルを記述する。N個のデータからなる系列をxN=x1,x2,…,xNと表す。
【0017】
nを与えられた正整数として、各データはn次元であり、それぞれの要素は実数値をとるものとする。
【0018】
このような系列が確率密度関数p(xN|Θ)(N=1,…)をもつ時系列モデルにしたがって発生しているとする。Θは確率密度を指定するパラメータである。また、t番目のデータxtの確率密度はそれまでの系列xt−1に依存して定まるので、p(xt|xt−1,Θ)と書く。
【0019】
確率密度関数の例としては、例えば、自己回帰モデル(AR(auto-regresssion)モデル)を用いることができる。kを与えられた正整数として、k次ARモデルは、μをパラメータとして、t番目のデータxtを、数1と書くとき、過去のk個のデータによってきまり、数2で表されるモデルである。ここに、Ai(i=1,…,k)はn次正方行列であり、εは平均値0、共分散行列Σの正規分布に従う確率変数である。
【0020】
【数1】
【0021】
【数2】
【0022】
今、数3のように表すとき、データxtの確率密度関数は、数4で記述される。
【0023】
【数3】
【0024】
【数4】
【0025】
ただし、数5であり、パラメータベクトルを、数6とおいた。
【0026】
【数5】
【0027】
【数6】
【0028】
本発明の変化点探索装置は、ARモデルに限らず、自己回帰移動平均(ARMA:Auto Regression Moving Average)モデルや移動平均(MA:Moving Average)モデルのような他の時系列モデルを用いてもよい。
【0029】
図3は、時系列モデル学習装置11のより詳細な構成を示すブロック図である。この時系列モデル学習装置11は、忘却型統計量計算装置101と、パラメータ更新装置102と、データ,パラメータ及び統計量記憶装置103とから構成されている。
【0030】
図4は、図3の時系列モデル学習装置11の概略動作を表すフローチャートであり、図1の時系列モデル学習装置11は、以下のように動作する。
【0031】
時系列モデル学習装置11は、データの系列を逐次読み込みながら読み込んだデータに基づいて逐次的にパラメータを変更する。ここで、データx1からxtまでを用いて学習した結果得られるパラメータの値をΘ(t)書く。時系列モデルをARモデルとするときは、パラメータ値Θ(t)を更新することができる。以下、その概要を述べる。
【0032】
まず、データが読み込まれる前にデータ,パラメータ及び統計量記憶装置103に格納されている各パラメータの値が初期化される(ステップS101)。
【0033】
次に、t番目のデータxtが入力される度に、以下のように動作する。
【0034】
データxtが、忘却型統計量計算装置101およびデータ,パラメータ及び統計量記憶装置103に入力されると(ステップS102)、データ,パラメータ及び統計量記憶装置103は、記憶していたデータのうち最も古いものを消去し、代わりに最新のデータxtを記憶し、データの列xt,xt - 1,…,xt - k + 1を得る。
【0035】
忘却型統計量計算装置101は、データ,パラメータ及び統計量記憶装置103から供給されたデータ列xt,xt - 1,…,xt - k + 1と保持している十分統計量μ,Cj(j=0,…,k)を数7および数8の更新ルールにより更新し(ステップ103)、得られた十分統計量をデータ,パラメータ及び統計量記憶装置103に送り込んで記憶させ、またパラメータ更新装置102に送り込む。
【0036】
【数7】
【0037】
【数8】
【0038】
パラメータ更新装置102は、n次正方行列Bi(i=1,…,k)を未知数とする連立方程式である数9の解を求める。
【0039】
【数9】
【0040】
ただし、数10とする。
【0041】
【数10】
【0042】
次に、パラメータ更新装置102は、求めた解をAiに代入し、数11および数12によってパラメータを計算し(ステップ103)、得られたパラメータ値Θ=(A1,…,Ak,μ,Σ)を出力する(ステップ104)。
【0043】
【数11】
【0044】
【数12】
【0045】
また、このパラメータ値Θをデータ,パラメータ及び統計量記憶装置103に送り込んで記憶させる。
【0046】
時系列モデル学習装置11は、0から1までの値をとる忘却パラメータをτとして、過去の十分統計量を(1−τ)倍し、新しい十分統計量をτ倍して重み付き平均によって十分統計量を更新することにより推定パラメータ値を更新する装置であり、古いデータの影響を徐々に忘却する効果をもつ。忘却パラメータτを入力データ列中のt番目のデータxtに対しては、1/tとおくと、通常の最尤推定を逐次的に実行することに相当する。
【0047】
時系列モデル学習装置11が計算したパラメータ値Θは、コンプレキシティ及びパラメータ記憶装置14に供給される。
【0048】
損失関数計算装置13は、各時点tにおける入力データxtに対して時系列モデル学習装置11またはコンプレキシティ及びパラメータ記憶装置14から時点前のパラメータ値Θ(t−1)を読み込み、数13のように損失を計算する(ステップS13)。
【0049】
【数13】
【0050】
ここで計算された損失値は、時系列モデルのデータに対する当てはめ誤差の意味をもつ。この損失値は、コンプレキシティ計算装置12に送り込まれ、各時点rに対して、コンプレキシティとして、数14,数15および数16を計算する(ステップS14)。
【0051】
【数14】
【0052】
【数15】
【0053】
【数16】
【0054】
ただし、数17は、xr + 1,…,xi - 1を用いて推定したパラメータの値を表している。
【0055】
【数17】
【0056】
この値も、また、時系列モデル学習装置11によって計算され、その結果はコンプレキシティ及びパラメータ記憶装置14に供給され記憶される。
【0057】
数14の値は、データ列xN=x1,x2,…,xNに対する予測的確率的コンプレキシティとよばれる量であり、データ列xNを各xtについてパラメータ値Θ(t−1)を用いて逐次的に符号化したときの総符号長である。
【0058】
ここで、数18なる関係があるので、コンプレキシティ計算装置12は、予測的確率的コンプレキシティの計算を逐次的に行うことができる。
【0059】
【数18】
【0060】
コンプレキシティ計算装置12の計算結果は、コンプレキシティ及びパラメータ記憶装置14に供給される。
【0061】
変化点探索装置15は、各時点r(r=2,…,N)に対して、コンプレキシティ及びパラメータ記憶装置14から供給された数14,数15および数16の値を用いて変化点スコアSCORE(r)を計算する(ステップS15)。変化点スコアSCORE(r)は、時点rが変化点である可能性の大きさを表す。例えば、数19のように計算する。
【0062】
【数19】
【0063】
数14で計算される値はデータ列xNを単一のモデルで記述したときの予測的確率的コンプレキシティであるのに対し、数15と数16との和は時点rを境にして不連続にモデルを当てはめたときの予測的確率的コンプレキシティの総和である。
【0064】
もし時点rが本当に変化点であれば、数15と数16との和は、数14の値よりも有意に小さくなる。したがって、数19が大きいほど時点rが変化点である可能性が高いことがわかる。
【0065】
変化点探索装置15は、例えばある閾値δを設けてSCORE(r)の値が閾値δより大の時点の中で最大の値をもつものを探索して、この時点rを変化点とみなしてこれを出力する(ステップS16)。
【0066】
この方法では、入力データ列xN中に1つ変化点を発見することができる。これを再帰的に行い、複数の変化点を見つけることもできる。
【0067】
また、数19の代わりに、数20のようなスコアを考えることもできる。
【0068】
【数20】
【0069】
以上において、数13では符号長を損失関数としているが、^xtを時点tのデータxtに対する予測値として、二乗損失関数である数21を用いることもできる。
【0070】
【数21】
【0071】
さらに、一般の損失関数である数22に置き換えてもよい。
【0072】
【数22】
【0073】
そのとき、予測的確率的コンプレキシティESCは、数23のように一般の損失関数に関する累積予測損失に置き換えられる。以下は、一般にそのような場合に拡張されるものとする。
【0074】
【数23】
【0075】
[第2の実施の形態]
図5は、本発明の第2の実施の形態に係る変化点検出装置の構成を示すブロック図である。本実施の形態に係る変化点検出装置は、時系列モデル学習装置21と、コンプレキシティ計算装置22と、損失関数計算装置23と、コンプレキシティ及びパラメータ記憶装置24と、変化点判定装置25とから構成され、データを逐次的に読み込み、過去に読み込んだデータ列の中に変化点を検出する。
【0076】
図6は、第1の実施の形態に係る変化点検出装置の概略動作を示すフローチャートである。
【0077】
なお、特に言及しない部分は、図1に示した第1の実施の形態に係る変化点検出装置における対応部分と同様に構成されているので、それらの詳しい説明は省略する。
【0078】
次に、このように構成された第2の実施の形態に係る変化点検出装置の動作について、図5および図6を参照しながら説明する。
【0079】
ステップS21〜S24の動作は基本的に図2のステップS11〜S14の動作と同じであるが、データの逐次的入力に伴い、計算を開始する時点が、変化点判定装置25で最後に検出された変化点の時点であることと、終点が固定されたNではなく、変化する時点tである点のみが異なる。
【0080】
具体的には、時系列モデル学習装置21では、パラメータを推定するのに、現時点のデータを取り込み(ステップS21)、これと変化点判定装置25で最後に検出された変化点の時点を入力として、これを開始点とし、現在の時点までのパラメータを時系列モデル学習装置11と同様に逐次的に計算し(ステップS22)、この値をコンプレキシティ及びパラメータ記憶装置24に送り記憶させる。
【0081】
損失関数計算装置23は、入力データとコンプレキシティ及びパラメータ記憶装置24から供給されたパラメータ値とを用いて、損失関数計算装置13と同様に損失関数の値を計算して、コンプレキシティ計算装置22に送る(ステップS23)。
【0082】
コンプレキシティ計算装置22は、損失関数計算装置23とコンプレキシティ及びパラメータ記憶装置24との入力を受け、変化点判定装置25で最後に検出された変化点の時点を入力として、これを開始点とし、現在の時点を終点とする、コンプレキシティの値を、コンプレキシティ計算装置11と同様に計算する(ステップS24)。
【0083】
変化点判定装置25は、現在の時点をtとして、過去に変化点が見つかっていれば、その時点を起点とする範囲の中で変化点の探索を行う。すなわち、過去最後に検出した変化点をviとすると、時点r(vi<r<t)での変化点スコアSCORE(r;vi,t)を計算する。変化点スコアSCORE(r;vi,t)は、例えば、数24のように計算する。
【0084】
【数24】
【0085】
そこで、時点rに関する最小化、数25を考えて、あらかじめ与えられた閾値δを超えた場合、数25の最小値を与える時点rにおいて変化点が起こったと判定し(ステップS25)、変化点を出力する(ステップS26)。
【0086】
【数25】
【0087】
そして、またデータを入力して、ステップS21に戻る。
【0088】
時点rの動く範囲はvi+1からt−1までとするが、ある幅Dを設けてt−Dからt−1までとすることにより、必要なメモリ量および計算量を一定以下にしてもよいとする。
【0089】
変化点判定装置25は、数24を効率的に計算することができる。以下、その計算方法を説明する。ここで、データを1つ読み込んで行う計算手続きを、1イタレーションと呼ぶことにする。
【0090】
データxtを新たに読み込んだ1イタレーションにおいて、時点r=t−D,…,t−1(またはr=vi+1,…,t−1)について求められた数26をコンプレキシティ及びパラメータ記憶装置24に送り、記憶させる。
【0091】
【数26】
【0092】
次に、データxt+1を新たに読み込んだ1イタレーションにおいては、時点r=t−D+1,…,t(またはr=vi+1,…,t)について、数27を求める。
【0093】
【数27】
【0094】
この際、数28は、前のイタレーションで既に求めたものをコンプレキシティ及びパラメータ記憶装置24から読み出して用いる。
【0095】
【数28】
【0096】
また、時点r=tについては、損失関数計算装置23で求めた計算結果を用いて、数29のように逐次的に計算して、これをコンプレキシティ及びパラメータ記憶装置24に送り記憶させる。
【0097】
【数29】
【0098】
ここで、時系列モデルがARモデルの場合、推定パラメータ値と同時に十分統計量も記憶させておけば、過去のデータを使わずに求められる。すなわち、古いデータは記憶しておく必要がない。
【0099】
さらに、時点r=t+1については、損失関数計算装置23で求めた計算結果を用いて、以下のように逐次的に計算する。
【0100】
【数30】
【0101】
上記計算法では、常に2D個のSCの値を記憶しておき、1イタレーション毎にそのうち1+D個を消去し、更新して得られるD個を新たに記憶することになる。
【0102】
すなわち、以下の量を記憶しておく。
【0103】
【数31】
【0104】
新たにデータxt+1を読み込んだときに、必要な量は、数32であり、1行目において新たに計算すべき量は最後の1つのみである。
【0105】
【数32】
【0106】
2行目はすべての量を更新する必要があるが、それは、数30と同様な計算を行うことで逐次的に行える。
【0107】
また、時点rの探索範囲を、整数Iで割り切れる値に制限することにより、記憶する数と更新する数を1/Iに削減することもできる。
【0108】
[第3の実施の形態]
図7は、本発明の第3の実施の形態に係る変化点検出装置の構成を示すブロック図である。本実施の形態に係る変化点検出装置は、図1に示した第1の実施の形態に係る変化点検出装置を実現するコンピュータ100に対して、変化点検出用プログラム110を付加するようにした点だけが異なる。したがって、その他の特に言及しない部分には、同一符号を付してそれらの詳しい説明を省略する。
【0109】
変化点検出用プログラム110は、コンピュータ100に読み込まれ、コンピュータ100の動作を、時系列モデル学習装置11,コンプレキシティ計算装置12,損失関数計算装置13,コンプレキシティ及びパラメータ記憶装置14,および変化点探索装置15を備える変化点検出装置として制御する。変化点検出用プログラム110の制御によるコンピュータ100の動作は、第1の実施の形態における変化点検出装置の動作と全く同様になるので、その詳しい説明を割愛する。
【0110】
[第4の実施の形態]
図8は、本発明の第4の実施の形態に係る変化点検出装置の構成を示すブロック図である。本実施の形態に係る変化点検出装置は、図5に示した第2の実施の形態に係る変化点検出装置を実現するコンピュータ200に対して、変化点検出用プログラム210を付加するようにした点だけが異なる。したがって、その他の特に言及しない部分には、同一符号を付してそれらの詳しい説明を省略する。
【0111】
変化点検出用プログラム210は、コンピュータ200に読み込まれ、コンピュータ200の動作を、時系列モデル学習装置21,コンプレキシティ計算装置22,損失関数計算装置23,コンプレキシティ及びパラメータ記憶装置14,および変化点探索装置15を備える変化点検出装置として制御する。変化点検出用プログラム110の制御によるコンピュータ100の動作は、第2の実施の形態における変化点検出装置の動作と全く同様になるので、その詳しい説明を割愛する。
【0112】
【発明の効果】
第1の効果は、オンラインで当てはめおよび当てはめ誤差を計算することができ、効率的に変化点検出ができることである。その理由は、逐次的に計算可能な予測的確率コンプレキシティを規準にして当てはめ誤差を計算し、これに基づいて変化点を検出しているためである。
【0113】
第2の効果は、モデルの非連続性に対応してモデル当てはめを行うことにより効果的に変化点を検出できることである。その理由は、変化点の前後で異なるモデルを当てはめ、その当てはめ誤差を予測的確率的コンプレキシティを用いて計算し、変化点がないと仮定した際のモデルの当てはめ誤差と比較することによって変化点を検出するためである。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る変化点検出装置の構成を示すブロック図である。
【図2】第1の実施の形態に係る変化点検出装置の動作を示すフローチャートである。
【図3】図1中の時系列モデル学習装置の構成を示すブロック図である。
【図4】図3の時系列モデルの学習装置の動作を示すフローチャートである。
【図5】本発明の第2の実施の形態に係る変化点検出装置の構成を示すブロック図である。
【図6】第2の実施の形態に係る変化点検出装置の変化点検出装置の動作を示すフローである。
【図7】本発明の第3の実施の形態に係る変化点検出装置の構成を示すブロック図である。
【図8】本発明の第4の実施の形態に係る変化点検出装置の構成を示すブロック図である。
【符号の説明】
11 時系列モデル学習装置
12 コンプレキシティ計算装置
13 損失関数計算装置
14 コンプレキシティ及びパラメータ記憶装置
15 変化点探索装置
21 時系列モデル学習装置
22 コンプレキシティ計算装置
22 コンプレキシティ及びパラメータ記憶装置
23 損失関数計算装置
24 コンプレキシティ及びパラメータ記憶装置
25 変化点判定装置
100,200 コンピュータ
101 忘却型統計量計算装置
102 パラメータ更新装置
103 データ,パラメータ及び統計量記憶装置
110,210 変化点検出用プログラム
Claims (12)
- 時系列{xt}(時刻tは1からNまでの自然数である。)における変化点を検出する変化点検出装置であって、
前記時系列のうち時刻αからβまでの部分列{xt}が従う確率密度関数を規定するパラメータθ(α、β)を忘却型学習アルゴリズムによって求めるように構成された時系列モデル学習装置と、
前記パラメータを記録するように構成された記憶装置と、
時刻αから時刻β−1までの部分列{x t }が従う確率密度関数を規定するパラメータθ(α、β−1)を忘却型学習アルゴリズムによって求め、求めたパラメータθ(α、β−1)によって規定される確率密度関数に基づいて時刻βにおけるデータx β に対する損失関数(当てはめ誤差)L(α、β)を求めるように構成された損失関数計算装置と、
前記損失関数L(1、β)のうち引数βが時刻1ないし時刻Nであるものを足し合わせて得られる第1の予測的確率的コンプレキシティ、前記損失関数L(1、β)のうち引数βが時刻1ないし時刻rであるものを足し合わせて得られる第2の予測的確率的コンプレキシティ、及び、前記損失関数L(r、β)のうち引数βが時刻r+1ないし時刻Nであるものを足し合わせて得られる第3の予測的確率的コンプレキシティを求めるように構成されたコンプレキシティ計算装置と、
前記第1の予測的確率的コンプレキシティから前記第2の予測的確率的コンプレキシティと前記第3の予測的確率的コンプレキシティの和を差し引いた値を時刻rのそれぞれについて求め、求めた値のうちの最大、かつ、所定の閾値を超えるものに対する時刻rを変化点として検出するように構成された変化点探索装置と、を備えることを特徴とする変化点検出装置。 - 前記時系列モデル学習装置は、忘却パラメータをτ(τは0より大きく1以下の実数である。)として、過去の十分統計量を(1−τ)倍するとともに新しい十分統計量をτ倍した重み付き平均によって十分統計量を更新するように構成されたことを特徴とする、請求項1に記載の変化点検出装置。
- 前記損失関数L(α、β)は対数損失であることを特徴とする、請求項1又は2に記載の変化点検出装置。
- 前記変化点が検出された場合には、その前後の部分列{xt}について変化点をさらに検出するように構成されたことを特徴とする、請求項1ないし3のいずれか一に記載の変化点検出装置。
- 時系列{xt}(時刻tは1からNまでの自然数である。)における変化点をコンピュータによって検出する変化点検出方法であって、
前記時系列のうち時刻αからβまでの部分列{xt}が従う確率密度関数を規定するパラメータθ(α、β)を忘却型学習アルゴリズムによって求める工程と、
前記パラメータを記憶装置に記録する工程と、
時刻αから時刻β−1までの部分列{x t }が従う確率密度関数を規定するパラメータθ(α、β−1)を忘却型学習アルゴリズムによって求め、求めたパラメータθ(α、β−1)によって規定される確率密度関数に基づいて時刻βにおけるデータx β に対する損失関数(当てはめ誤差)L(α、β)を求める工程と、
前記損失関数L(1、β)のうち引数βが時刻1ないし時刻Nであるものを足し合わせて得られる第1の予測的確率的コンプレキシティ、前記損失関数L(1、β)のうち引数βが時刻1ないし時刻rであるものを足し合わせて得られる第2の予測的確率的コンプレキシティ、及び、前記損失関数L(r、β)のうち引数βが時刻r+1ないし時刻Nであるものを足し合わせて得られる第3の予測的確率的コンプレキシティを求める工程と、
前記第1の予測的確率的コンプレキシティから前記第2の予測的確率的コンプレキシティと前記第3の予測的確率的コンプレキシティの和を差し引いた値を時刻rのそれぞれについて求め、求めた値のうちの最大、かつ、所定の閾値を超えるものに対する時刻rを変化点として検出する工程と、を含むことを特徴とする変化点検出方法。 - 前記パラメータθを求める工程において、忘却パラメータをτ(τは0より大きく1以下の実数である。)として、過去の十分統計量を(1−τ)倍するとともに新しい十分統計量をτ倍した重み付き平均によって十分統計量を更新することを特徴とする、請求項5に記載の変化点検出方法。
- 前記損失関数L(α、β)は対数損失であることを特徴とする、請求項5又は6に記載の変化点検出方法。
- 前記変化点が検出された場合には、その前後の部分列{xt}について変化点をさらに検出する工程を含むことを特徴とする、請求項5ないし7のいずれか一に記載の変化点検出方法。
- 時系列{xt}(時刻tは1からNまでの自然数である。)における変化点をコンピュータによって検出する変化点検出プログラムであって、
前記時系列のうち時刻αからβまでの部分列{xt}が従う確率密度関数を規定するパラメータθ(α、β)を忘却型学習アルゴリズムによって求める処理と、
前記パラメータを記憶装置に記録する処理と、
時刻αから時刻β−1までの部分列{x t }が従う確率密度関数を規定するパラメータθ(α、β−1)を忘却型学習アルゴリズムによって求め、求めたθ(α、β−1)によって規定される確率密度関数に基づいて時刻βにおけるデータx β に対する損失関数(当てはめ誤差)L(α、β)を求める処理と、
前記損失関数L(1、β)のうち引数βが時刻1ないし時刻Nであるものを足し合わせて得られる第1の予測的確率的コンプレキシティ、前記損失関数L(1、β)のうち引数βが時刻1ないし時刻rであるものを足し合わせて得られる第2の予測的確率的コンプレキシティ、及び、前記損失関数L(r、β)のうち引数βが時刻r+1ないし時刻Nであるものを足し合わせて得られる第3の予測的確率的コンプレキシティを求める処理と、
前記第1の予測的確率的コンプレキシティから前記第2の予測的確率的コンプレキシティと前記第3の予測的確率的コンプレキシティの和を差し引いた値を時刻rのそれぞれについて求め、求めた値のうちの最大、かつ、所定の閾値を超えるものに対する時刻rを変化点として検出する処理と、をコンピュータに実行させることを特徴とする変化点検出プログラム。 - 前記パラメータθを求める処理において、忘却パラメータをτ(τは0より大きく1以下の実数である。)として、過去の十分統計量を(1−τ)倍するとともに新しい十分統計量をτ倍した重み付き平均によって十分統計量を更新することを特徴とする、請求項9に記載の変化点検出プログラム。
- 前記損失関数L(α、β)は対数損失であることを特徴とする、請求項9又は10に記載の変化点検出プログラム。
- 前記変化点が検出された場合には、その前後の部分列{xt}について変化点をさらに検出する処理をコンピュータに実行させることを特徴とする、請求項9ないし11のいずれか一に記載の変化点検出プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003169986A JP4265296B2 (ja) | 2003-06-13 | 2003-06-13 | 変化点検出装置,変化点検出方法および変化点検出用プログラム |
US10/863,274 US7016797B2 (en) | 2003-06-13 | 2004-06-09 | Change-point detection apparatus, method and program therefor |
EP04013895A EP1486882A3 (en) | 2003-06-13 | 2004-06-14 | Change-point detection |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003169986A JP4265296B2 (ja) | 2003-06-13 | 2003-06-13 | 変化点検出装置,変化点検出方法および変化点検出用プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005004658A JP2005004658A (ja) | 2005-01-06 |
JP4265296B2 true JP4265296B2 (ja) | 2009-05-20 |
Family
ID=33296916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003169986A Expired - Lifetime JP4265296B2 (ja) | 2003-06-13 | 2003-06-13 | 変化点検出装置,変化点検出方法および変化点検出用プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US7016797B2 (ja) |
EP (1) | EP1486882A3 (ja) |
JP (1) | JP4265296B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023286677A1 (ja) * | 2021-07-15 | 2023-01-19 | パナソニックIpマネジメント株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050283337A1 (en) * | 2004-06-22 | 2005-12-22 | Mehmet Sayal | System and method for correlation of time-series data |
JP4170315B2 (ja) * | 2005-05-30 | 2008-10-22 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 異常判断装置、制御方法、自動車およびプログラム |
JP2007148890A (ja) * | 2005-11-29 | 2007-06-14 | Hitachi Ltd | 機器診断装置 |
JP5227957B2 (ja) | 2007-08-09 | 2013-07-03 | 日立建機株式会社 | 作業機械の機器診断装置及び機器診断システム |
WO2009107313A1 (ja) * | 2008-02-28 | 2009-09-03 | 日本電気株式会社 | 確率モデル選択装置、確率モデル選択方法、およびプログラム |
US20130173215A1 (en) * | 2012-01-04 | 2013-07-04 | Honeywell International Inc. | Adaptive trend-change detection and function fitting system and method |
JP6631540B2 (ja) | 2015-01-07 | 2020-01-15 | 日本電気株式会社 | 情報処理システム、変化点検出方法、およびプログラム |
US10108978B2 (en) | 2015-03-31 | 2018-10-23 | Adobe Systems Incorporated | Methods and systems for collaborated change point detection in time series |
CN105046203B (zh) * | 2015-06-24 | 2018-03-30 | 哈尔滨工业大学 | 基于夹角dtw距离的卫星遥测数据自适应层次聚类方法 |
CN104915568B (zh) * | 2015-06-24 | 2017-09-29 | 哈尔滨工业大学 | 基于dtw的卫星遥测数据异常检测方法 |
US11100108B2 (en) | 2017-04-12 | 2021-08-24 | International Business Machines Corporation | Inflationary segment approach to temporal data partitioning for optimized model scoring |
US10715393B1 (en) | 2019-01-18 | 2020-07-14 | Goldman Sachs & Co. LLC | Capacity management of computing resources based on time series analysis |
KR102446854B1 (ko) * | 2019-08-30 | 2022-09-27 | 울산과학기술원 | 데이터 예측 방법 및 장치 |
KR20210064445A (ko) | 2019-11-25 | 2021-06-03 | 삼성전자주식회사 | 반도체 공정 시뮬레이션 시스템 및 그것의 시뮬레이션 방법 |
CN112985350B (zh) * | 2021-03-02 | 2023-04-11 | 佛山科学技术学院 | 一种用于桥梁施工的标高读取方法及读取装置 |
CN113722650A (zh) * | 2021-07-13 | 2021-11-30 | 山西三友和智慧信息技术股份有限公司 | 一种基于时间序列变点检测的改进方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3506068B2 (ja) * | 1999-09-29 | 2004-03-15 | 日本電気株式会社 | 外れ値度計算装置 |
JP2005141601A (ja) * | 2003-11-10 | 2005-06-02 | Nec Corp | モデル選択計算装置,動的モデル選択装置,動的モデル選択方法およびプログラム |
-
2003
- 2003-06-13 JP JP2003169986A patent/JP4265296B2/ja not_active Expired - Lifetime
-
2004
- 2004-06-09 US US10/863,274 patent/US7016797B2/en not_active Expired - Lifetime
- 2004-06-14 EP EP04013895A patent/EP1486882A3/en not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023286677A1 (ja) * | 2021-07-15 | 2023-01-19 | パナソニックIpマネジメント株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
Also Published As
Publication number | Publication date |
---|---|
US7016797B2 (en) | 2006-03-21 |
JP2005004658A (ja) | 2005-01-06 |
EP1486882A2 (en) | 2004-12-15 |
US20040254760A1 (en) | 2004-12-16 |
EP1486882A3 (en) | 2009-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4265296B2 (ja) | 変化点検出装置,変化点検出方法および変化点検出用プログラム | |
US11568300B2 (en) | Apparatus and method for managing machine learning with plurality of learning algorithms and plurality of training dataset sizes | |
Liang et al. | An equivalent measure of partial correlation coefficients for high-dimensional gaussian graphical models | |
US10146531B2 (en) | Method and apparatus for generating a refactored code | |
JP2008003920A (ja) | 時系列データの予測・診断装置およびそのプログラム | |
CN109313720A (zh) | 具有稀疏访问的外部存储器的增强神经网络 | |
JP2016509271A (ja) | 階層隠れ変数モデル推定装置 | |
US11537893B2 (en) | Method and electronic device for selecting deep neural network hyperparameters | |
US9176732B2 (en) | Method and apparatus for minimum cost cycle removal from a directed graph | |
US20070220340A1 (en) | Using a genetic technique to optimize a regression model used for proactive fault monitoring | |
JP7481902B2 (ja) | 管理計算機、管理プログラム、及び管理方法 | |
JP2014160456A (ja) | 疎変数最適化装置、疎変数最適化方法および疎変数最適化プログラム | |
US11126695B2 (en) | Polymer design device, polymer design method, and non-transitory recording medium | |
US20160196506A1 (en) | Incremental learning management device, incremental learning management method and computer readable recording medium storing incremental learning management program | |
JP2020067910A (ja) | 学習曲線予測装置、学習曲線予測方法、およびプログラム | |
US7840391B2 (en) | Model-diversity technique for improved proactive fault monitoring | |
CN115329146A (zh) | 时序网络中的链路预测方法、电子设备及存储介质 | |
JP6203313B2 (ja) | 特徴選択装置、特徴選択方法およびプログラム | |
US11562110B1 (en) | System and method for device mismatch contribution computation for non-continuous circuit outputs | |
JP5068331B2 (ja) | 状態変化検出方法、状態変化検出システム | |
CN117274005B (zh) | 基于数字教育的大数据推送方法及*** | |
JP6740193B2 (ja) | パラメータ推定装置、パラメータ推定方法及びパラメータ推定プログラム | |
JP7127686B2 (ja) | 仮説推論装置、仮説推論方法、及びプログラム | |
JP7515322B2 (ja) | 設定管理装置、設定管理方法、及び、設定管理プログラム | |
JP7224263B2 (ja) | モデル生成方法、モデル生成装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050121 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060516 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081020 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090127 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4265296 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140227 Year of fee payment: 5 |
|
EXPY | Cancellation because of completion of term |