JP5018809B2

JP5018809B2 - 時系列データ予測装置

Info

Publication number: JP5018809B2
Application number: JP2009050116A
Authority: JP
Inventors: 恵志伊加田
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2009-03-04
Filing date: 2009-03-04
Publication date: 2012-09-05
Anticipated expiration: 2029-03-04
Also published as: JP2010204974A

Description

本発明は例えば入力された数値（データ）から将来に発生する数値を予測する予測処理を行う時系列データ予測装置に関するものである。特に過去のデータに基づいて学習した予測モデルに基づいて処理を行うものである。

時間経過と共に継続的に変化が生じる株価、交通量、通信トラフィック等を数値として表し、その値を時系列に表したデータである時系列データを処理し、将来に発生しうる数値を精度よく予測することは、近い将来に起こりうる事態に備えたり、正常と違う振る舞いが生じることを検出するために必要とされる。このような時系列データに基づいて将来の値を予測するために、ＡＲＭＡモデル、ニューラルネットワークのような数学モデルの作成、作成したモデルを用いた学習を行うモデル学習器等がある。

時系列データに基づく予測を行う一例としては、例えば時系列データの予測に適したニューラルネットワークを使用して株価の予測を試みているものがある（例えば、非特許文献１参照）。この予測で用いているニューラルネットワークは、ＴＤＮＮ（Time-Delay Neural Network：時間遅れ神経回路網）と呼ばれるものである。入力部分に時系列データに対する遅延層を設け、一単位ずつづらしながら入力することで、ニューラルネットワークの重み計数を最適なものに設定し、株価の予測モデルを学習等するものである。

また、ニューラルネットワークのようなモデル学習器を用い、さらに学習データとして時系列データを複数の周波数成分（解析レベル）に分け、それぞれの成分に基づいて予測を行い、合算するという方法で、将来値を予測しているものもある（例えば、特許文献１参照）。

特開平６−０３４２２１号公報（図１）

"Neural Networks Approach to the Random Walk Dilemma of Financial Time Series",Applied Intelligence Vo.16 No.3,p163-171

しかしながら、上述した非特許文献１に記載のＴＤＮＮは、時系列データを直接ニューラルネットワークに入力して学習等を行わせ、将来の値を予測しようとするものである。このため、刻々と複雑に変化するような特性を有する時系列データに対して予測モデルを精度よく学習させることが難しいため、場合によっては精度が低くなってしまうことがある。

一方、特許文献１に記載の装置では、複数の解析レベルをすべて入力して予測モデルの学習等を行わせ、単一モデルでは困難な、複雑な時系列データに対する予測精度を向上させるようにしている。そして、すべての解析レベルについてモデル学習器を設け、各解析レベルにおいて独立に予測を行うようにしている。このため、処理速度が遅くなるし、また、予測に用いるメモリの量が多くなってしまっていた。

そこで、精度の高い予測値算出を維持しつつ、処理に係る時間的、経済的コストを削減等することができるような時系列データ予測装置の実現が望まれていた。

本発明に係る時系列データ予測装置は、数値を時系列に表した時系列データを多重解像度解析し、複数の解析レベルにおける解析値を解像度データとして算出処理する多重解像度分解部と、複数の解析レベルのうち、予測値算出に用いる解析レベルを特徴レベルとして選択する特徴レベル選択部と、複数の入力インターフェースを有するモデル学習器入力部と、特徴レベルに係る解像度データを、対応する入力インターフェースに入力させる処理を行うモデル入力対応付け部と、複数の入力インターフェースから入力された解像度データに基づく演算処理を行い、予測値を算出するモデル学習部とを備えるものである。

本発明によれば、特徴レベル選択部が、予測値算出に必要となる特徴レベルを選択し、モデル入力部対応付け部が、特徴レベル選択部が選択した特徴レベルの解像度データを、モデル学習器入力部の対応する入力インターフェースに入力させる処理を行うようにしたので、多重解像度分解部の多重解像度解析により算出した解像度データにより、モデル学習部が予測処理を行うことで、複雑な時系列データに対する予測値算出の精度を高めつつ、予測処理に係る解析レベルの数を選択することで、学習処理及び予測処理に係る処理時間の短縮を図ることができる。

実施の形態１に係る時系列データ予測装置の構成を表す図である。分解処理に用いるマザーウェーブレットを表す図である。選択特徴レベル記憶部１０６が記憶するデータを概念的に表す図である。モデル入力部対応付け記憶部１０４が記憶するデータを概念的に表す図である。モデル学習部２０２の構成とその処理の概念を表す図である。実施の形態１に係る時系列データ予測装置の構成を表す図である。

実施の形態１．
図１は本発明の実施の形態１に係る時系列データ予測装置の構成を表す図である。本実施の形態の時系列データ予測装置は、データ解析手段１００とモデル学習器２００とで構成するものとする。

データ解析手段１００は、離散時系列データ入力部１０１、多重解像度分解部１０２、モデル入力部対応付け部１０３、モデル入力部対応付け記憶部１０４、特徴レベル選択部１０５、選択特徴レベル記憶部１０６及び動作モード切替部１０７の各部を有している。ここで、データ解析手段１００の各部について、それぞれ異なる専用機器（ハードウェア）で構成することもできるが、例えば、ＣＰＵ（Central Processing Unit ）を中心とする演算制御手段（コンピュータ）でハードウェアを構成し、各部が行う処理の処理手順をあらかじめプログラム化し、ソフトウェア、ファームウェア等で構成しておいてもよい。そして、プログラムを実行により処理を行うことにより、上記の各部が行う処理を実現するようにしてもよい。これらのプログラムに係るデータは例えば記憶手段（図示せず）に記憶しておくようにする。

離散時系列データ入力部１０１は、入力される信号に含まれる時系列データの入力に係る処理を行う。場合によっては、例えば信号に対して一定周期でサンプリング等を行い、時系列データを生成する処理を行うようにしてもよい。多重解像度分解部１０２は、多重解像度解析（ＭＲＡ）に基づいて時系列データを分解処理し、１又は複数のレベルにおける解像度データを生成する。本実施の形態では、解像度データとして、例えばウェーブレット係数を算出することで分解処理を行うものとする。

特徴レベル選択部１０５は、多重解析度分解部１０２が分解処理して生成したウェーブレット係数（解像度データ）に基づいて、モデル学習器２００が処理に用いるウェーブレット係数のレベル（以下、特徴レベルという）を選択する。選択特徴レベル記憶部１０６は、特徴レベル選択部１０５が選択した特徴レベルに係るデータを記憶する。選択特徴レベル記憶部１０６によりデータを記憶しておくことで、例えば予測処理時において、多重解像度分解部１０２は、予測値算出に用いる特徴レベルに係るウェーブレット係数だけを算出するようにすることもできる。

モデル入力部対応付け部１０３は、特徴レベル選択部１０５が選択した特徴レベルの各ウェーブレット係数について、モデル学習器入力部２０１のどの入力インターフェースから入力させるかを決定する。また、決定に基づいて、対応するウェーブレット係数をデータとして入力させる処理を行う。モデル入力部対応付け記憶部１０４は、モデル入力部対応付け部１０３の決定に基づいて、特徴レベルとモデル学習器入力部２０１の入力インターフェースとを対応付けて記憶する。

動作モード切替部１０７は、動作モードのデータに基づいて、学習処理を行うか予測処理を行うかを切り替える切替処理を行う。本実施の形態における学習処理とは、モデル学習器２００のモデル学習部２０２が有する内部モデルを形成するための処理である。また、予測処理とは、入力される時系列データに対して内部モデルに基づく計算を行い、予測値を出力する処理である。

また、モデル学習器２００は、モデル学習器入力部２０１、モデル学習部２０２、モデル学習器出力部２０３及び正答データ入力部２０４を有している。モデル学習器入力部２０１は、複数の入力インターフェース（ｉｎ＿１，ｉｎ＿２，…，ｉｎ＿ｎ）を有し、入力されたデータ（信号）をモデル学習部２０２に送るための処理を行う。本実施の形態では、モデル学習器入力部２０１は５つの入力インターフェースを有しているものとする。モデル学習部２０２は、モデル学習部入力部２０１に入力されたウェーブレット係数から、内部モデルに基づく計算処理を行って予測値を算出する。モデル学習器出力部２０３は、予測処理時にはモデル学習部２０２が算出した予測値を、例えば外部に信号として出力する。また、学習処理時には、モデル学習部２０２が算出した予測値と正答データ入力部２０４から入力された正答データとの比較を行いながらモデル学習部２０２の内部モデルの補正処理を行う。正答データ入力部２０４は、学習処理時において、モデル学習部２０２が算出した予測値と比較を行うための値である正答データ（信号）をモデル学習器出力部２０３に送るための処理を行う。

次に、本実施の形態の時系列データ予測装置の動作について説明する。離散時系列データ入力部１０１は、時系列データを順番に多重解像度解析部１０２に送り、分解処理を行わせる。

図３は分解処理に用いるマザーウェーブレットを表す図である。多重解像度解析部１０２は、時系列データに対してウェーブレット変換を行い、レベル毎のウェーブレット係数を算出する分解処理を行う。多重解像度解析部１０２は、マザーウェーブレットと呼ばれる信号を表すデータと時系列データとに基づいて内積を算出し、スケーリング係数で除してウェーブレット係数を算出する。また、図３に示すように、マザーウェーブレットの周期幅を変えることで異なるレベルのマザーウェーブレットを生成し、各レベルについてウェーブレット係数を算出する。

例えば｛１，３，５，１１，１２，１３，０，１｝という８個の値のデータを時系列データとする。レベル１のウェーブレット係数は、マザーウェーブレット（−１，１）との内積を算出してスケーリング係数で除して算出する。また、時間方向にスライドさせていきウェーブレット係数を計算していく。例えば時系列データ（１，３）とマザーウェーブレット（１，−１）との内積は１×（−１）＋３×１＝２である。スケーリング係数は２^1/2であるため、ウェーブレット係数は２^1/2＝１．４１４２となる。以下、同様に（５，１１）、（１２，１３）（０，１）について、それぞれウェーブレット係数を算出する。以上のようにして｛１．４１４２，４．２４２６，０．７０７１，０．７０７１｝の４つのウェーブレット係数を算出する。また、レベル２のウェーブレット係数は、周期を２倍にしたマザーウェーブレット（−１，−１，１，１）と時系列データの４個のデータとの内積を算出し、このレベルでのスケーリング係数の２で除することにより算出する。

図４は選択特徴レベル記憶部１０６が記憶するデータを概念的に表す図である。学習処理を行っているときには、学習用の時系列データを分解処理したウェーブレット係数により表される特徴量を判断し、特徴レベル選択部１０５は、モデル学習器入力部２０１に入力する特徴レベルを決定処理する。例えば各レベルのあらかじめ定めた個数のウェーブレット係数について、絶対値を選択指標として絶対値の大きいウェーブレット係数を有するレベルから順番に学習器入力部２０１に入力させる特徴レベルのデータとして選択する。また、各レベルにおいて、あらかじめ定めた個数のウェーブレット係数の分散値を算出し、分散値を選択指標として手分散値の大きなレベルから順番に選択するようにしてもよい。さらに、絶対値の平均値を算出し、平均値を選択指標として平均値の大きなレベルから順番に選択するようにしてもよい。また、あらかじめ定めた個数のウェーブレット係数の代わりに、あらかじめ定めたデータ区間におけるウェーブレット係数に基づいて、選択するようにしてもよい。

そして、選択した特徴レベルを表す識別子のデータを、選択特徴レベル記憶部１０６に記憶する。例えば図４では、特徴レベル選択部１０５が、レベル１、レベル２、レベル４、レベル６及びレベル７を選択し、識別子のデータを選択特徴レベル記憶部１０６に記憶している。

図５はモデル入力部対応付け記憶部１０４が記憶するデータを概念的に表す図である。特徴レベル選択部１０５が選択した特徴レベルのウェーブレット係数は、モデル学習器入力部２０１の複数の入力インターフェースに入力される。このとき各特徴レベルに対し、それぞれサンプリングした時間が現時刻に近い時系列データを分解処理して得られたウェーブレット係数から順番に任意のデータ数を組としてモデル学習器入力部２０１へ入力させるようにする。なお、入力可能な組は入力インターフェースにより異なってもよい。

例えば、時系列データをＳ＝｛ｓ₁，ｓ₂，…，ｓ_t｝とし、特徴レベルｌのウェーブレット係数をｗ_l＝｛ｗ_1,1，ｗ_1,2，…，ｗ_1,n｝とする。ここでｗ_1,1は、１から始まる時間領域で多重解像度解析部１０２が分解処理して算出したウェーブレット係数を表し、以降、ｗ_1,2，…は時間領域をずらして算出したウェーブレット係数である。ｗ_1,nはｔを含む時間領域で分解処理して算出したウェーブレット係数である。

モデル入力部対応付け部１０３は、特徴レベルｌにおけるウェーブレット係数の同時入力数をｍと決定する。そして現時刻に最も近いｔを含む時間領域で分解処理して算出したウェーブレット係数からデータ数ｍの組のウェーブレット係数｛ｗ_1,n，ｗ_1,n-1，…ｗ_1,n-m｝を入力インターフェースｉｎ＿ｋから入力させる。

図５は、モデル入力部対応付け記憶部１０４が特徴レベル、入力インターフェース及び組数を対応付けて記憶していることを示している。例えば、レベル１の４つのウェーブレット係数を組として入力インターフェースｉｎ＿１から入力させる。同様に、レベル２の４つのウェーブレット係数を組として入力インターフェースｉｎ＿２から入力させる。また、レベル４の５つのウェーブレット係数を組として入力インターフェースｉｎ＿３から入力させる。さらに、レベル６の６つのウェーブレット係数を組として入力インターフェースｉｎ＿４から入力させる。そして、レベル７の６つのウェーブレット係数を組として入力インターフェースｉｎ＿５から入力させる。

一方、予測処理の際には、モデル入力部対応付け部１０３は、モデル入力部対応付け記憶部１０４に記憶されたデータに基づいて、各特徴レベルのウェーブレット係数について、その組数と入力させる入力インターフェースを判断して入力させる。

図６はモデル学習部２０２を構成する処理の概念を表す図である。モデル学習器２００においては、モデル学習器入力部２０１が各入力インターフェースから入力されたウェーブレット係数を含む信号の処理を行う。そして、モデル学習部２０２が、内部モデルに基づき、ウェーブレット係数から予測値を算出する処理を行う。本実施の形態では、過去の時系列データに基づいて学習処理を行いながら内部モデルを形成するが、その内部モデルとしてニューラルネットワークを用いる。ニューラルネットワークとは、例えば、脳を構成する神経細胞(ニューロン)をモデルし、ネットワーク化して構成した処理機構である。

出力部２０３は、モデル学習部２０２が計算した予測値を処理する。ここで、学習処理を行っている場合には、出力部２０３は、モデル学習部２０２の予測値と正答データ入力部２０４から入力した正答（教師）データとを比較し、モデル学習部２０２の内部モデルを補正する。例えば、図６のようなニューラルネットワークで内部モデルを形成したモデル学習部２０２においては、バックプロパゲーションと呼ばれるモデル補正の手法がある。例えば、出力部２０３は、予測値と正答データが表す値との誤差を計算する。モデル学習部２０２の内部モデルにおいて表される個々のニューロンについて、期待されるニューロンの出力値と実際の出力値との差等を計算し、局所誤差を求める。この局所誤差が小さくなるように、予測値を算出する過程において経た順番とは逆順にニューロンの入力重みを調整していく。そのため、学習処理時においては、出力部２０３は、予測処理時に精度の高い予測値算出を行うことができるように内部モデルを形成するように、学習用の時系列データに基づいてバックプロパゲーションによる補正処理を繰り返し行うようにする。一方、予測処理においては、出力部２０３は、モデル学習部２０２が算出した予測値を含む信号を外部に出力する。

以上のように、実施の形態１の時系列データ予測装置は、特徴レベル選択部１０５が、予測値算出に必要となる特徴レベルを選択し、モデル入力部対応付け部１０３が、特徴レベル選択部１０５が選択した特徴レベルの各ウェーブレット係数を、モデル学習器入力部２０１の対応する入力インターフェースに入力させる処理を行うようにしたので、多重解像度分解部１０２のウェーブレット変換での多重解像度解析により、ウェーブレット係数をモデル学習部２０２が予測処理するデータとして複雑な時系列データに対する予測値算出の精度を高めつつ、予測処理に係る解析レベル及びウェーブレット係数の数を厳選することで学習処理及び予測処理に係る処理時間の短縮を図ることができる。また、本実施の形態では、モデル入力部対応付け部１０３により、特徴レベルのウェーブレット係数のデータを組にして、対応する入力インターフェースから１つのモデル学習部２０２に入力して処理を行わせるようにしたので、複数のモデル学習部２０２を設ける必要がない。このため、例えば学習処理、予測処理時において、演算等に用いるデータ等を一時的に記憶させておく記憶手段の記憶容量等を減少させることができる。また、モデル学習部２０２が１つでよいので、装置の金額的コスト、設置スペースのコスト等時系列データ予測装置に係るコストを減らすことができる。

多重解像度解析をウェーブレット変換により行い、解像度データとしてウェーブレット係数を算出するようにしたので、特に算出に係るレベルの数が多い場合でも、処理時間を抑えつつ、分解処理を行うことができる。

また、学習処理時において、特徴レベル選択部１０５があらかじめ特徴レベルを選択しておいて選択特徴レベル記憶部１０６に特徴レベルに係るデータを記憶しておき、予測処理時においては、多重解像度分解部１０２が特徴レベルに係る多重解像度解析を行うようにすることで、予測処理時における多重解像度分解部１０２の処理量を減らすことができ、処理時間、処理に係るデータを記憶しておく記憶容量の削減をはかることができる。

さらに、特徴レベル選択部１０５が特徴レベルを選択する際の判断基準とする特徴量として、ウェーブレット係数の絶対値、絶対値の平均値、分散値等を算出し、大きな値を有するレベルから選択するようにしたので、時系列データに関して、変化が大きなレベル（周波数成分）を予測値の算出に用いることができ、精度を高めることができる。このとき、各レベルにおいてあらかじめ定めた数のウェーブレット係数、また、同じデータ区間の時系列データを処理した各レベルのウェーブレット係数を用いる等、条件を同じにして特徴量の算出を行うようにしたので精度の高い予測値算出を行うことができる。

実施の形態２．
図７は本発明の実施の形態２に係る時系列データ予測装置の構成を表す図である。図７において、図１と同じ符号を付している手段等については、同様の動作を行うものとする。図７に示すように、本実施の形態の時系列データ予測装置は、多重解像度解析表示部１０９及び特徴レベル選択指示部１１０を有している。本実施の形態では、多重解像度分解部１０２が行った多重解像度解析の結果を表示し、特徴レベルを指示することができるようにしたものである。

多重解像度解析表示部１０９は、多重解像度分解部１０２が行った多重解像度解析によるレベル毎の解像度データを表示する表示部である。また、特徴レベル選択指示部１１０は、特徴レベル選択部１０５に選択させる特徴レベルを指示するための入力部である。このため、特徴レベル選択部１０５に選択させる特徴レベルを指示し、所望する特徴レベルのウェーブレット係数をモデル学習器２００に入力させることができる。

１００データ解析手段
１０１離散時系列データ入力部
１０２多重解像度分解部
１０３モデル入力部対応付け部
１０４モデル入力部対応付け記憶部
１０５特徴レベル選択部
１０６選択特徴レベル記憶部
１０７動作モード切替部
１０９多重解像度解析表示部
１１０特徴レベル選択指示部
２００モデル学習器
２０１モデル学習器入力部
２０２モデル学習部
２０３モデル学習器出力部
２０４正答データ入力部

Claims

数値を時系列に表した時系列データを多重解像度解析し、複数の解析レベルにおける解析値を解像度データとして算出処理する多重解像度分解部と、
前記複数の解析レベルのうち、予測値算出に用いる前記解析レベルを特徴レベルとして選択する特徴レベル選択部と、
複数の入力インターフェースを有するモデル学習器入力部と、
前記特徴レベルに係る前記解像度データを、対応する前記入力インターフェースに入力させる処理を行うモデル入力対応付け部と、
前記複数の入力インターフェースから入力された解像度データに基づく演算処理を行い、予測値を算出するモデル学習部と
を備えることを特徴とする時系列データ予測装置。
前記モデル入力対応付け部は、時間的に新しい前記数値に係る時系列データを多重解像度解析して得られた各特徴レベルの解像度データを、あらかじめ定めた数だけ組にして、前記入力インターフェースに入力させる処理を行うことを特徴とする請求項１記載の時系列データ予測装置。
前記特徴レベル選択部が選択した前記特徴レベルに係るデータを記憶する選択特徴レベル記憶部とをさらに備え、
前記モデル学習部にモデル学習をさせる学習処理時において、
前記特徴レベル選択部は、前記多重解像度分解部が算出した複数の解析レベルの解像度データに基づいて、前記複数の解析レベルの中から前記特徴レベルを選択して、前記特徴レベルに係るデータを前記選択特徴レベル記憶部に記憶させておき、
前記モデル学習部に前記予測値を算出させる予測処理時においては、前記多重解像度分解部は、前記選択特徴レベル記憶記憶部に記憶された前記データに基づいて、前記特徴レベルに係る解像度データを算出処理することを特徴とする請求項１又は２記載の時系列データ予測装置。
前記特徴レベル選択部は、前記各解析レベルの解像度データの絶対値を選択指標として算出し、絶対値の大きい解像度データを有する解析レベルから順に前記特徴レベルを選択することを特徴とする請求項１〜３のいずれかに記載の時系列データ予測装置。
前記特徴レベル選択部は、前記各解析レベルについて、前記解像度データの絶対値の平均値を選択指標として算出し、該平均値の大きい解析レベルから順に前記特徴レベルを選択することを特徴とする請求項１〜３のいずれかに記載の時系列データ予測装置。
前記特徴レベル選択部は、前記各解析レベルについて、前記解像度データの分散値を選択指標として算出し、該分散値の大きい解析レベルから順に前記特徴レベルを選択することを特徴とする請求項１〜３のいずれかに記載の時系列データ予測装置。
前記特徴レベル選択部は、あらかじめ定めた時間における前記時系列データを多重解像度解析して算出した前記各解析レベルの解像度データに基づいて、前記選択指標を算出することを特徴とする請求項４〜６のいずれかに記載の時系列データ予測装置。
前記特徴レベル選択部は、前記各解析レベルの、あらかじめ定めた数の解像度データに基づいて、前記選択指標を算出することを特徴とする請求項４〜６のいずれかに記載の時系列データ予測装置。
前記多重解像度分解部は、ウェーブレット解析による前記多重解像度解析を行い、ウェーブレット係数を前記解像度データとして算出処理することを特徴とする請求項１〜８のいずれかに記載の時系列データ予測装置。
前記モデル学習部は、ニューラルネットワークによって構成することを特徴とする請求項１〜９のいずれかに記載の時系列データ予測装置。