JP2015135574A

JP2015135574A - 時空間データ特徴量分類方法および装置

Info

Publication number: JP2015135574A
Application number: JP2014006227A
Authority: JP
Inventors: 英朋境野; Hidetomo Sakaino
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2014-01-16
Filing date: 2014-01-16
Publication date: 2015-07-27

Abstract

【課題】本発明は、従来からの目的関数よりも冗長性の少ない基底が得られ、データの分類率を高めることができる時空間データ特徴量分類方法及び装置に関する。
【解決手段】本発明の時空間データ特徴量分類方法及び装置は、データ蓄積手段に蓄積された時系列データから生成した観測データ行列Ｙについて基底行列Ｈと係数行列Ｕへの非負値行列因子分解を計算し、分解された行列に基づいて観測データ行列Ｙの元となった時系列データについて特定数のクラスタ分類を行い、分解計算では、誤差行列Ｙ−ＨＵに関する目的関数について複数の拘束条件を付与した上で最小二乗法を用いて最小化を行う際にロバスト関数を用いた最尤推定法を適用し、複数の拘束条件は基底行列Ｈ及び係数行列Ｕの各行列要素に対して対数関数を適用したものを含む。
【選択図】図１

Description

本発明は、電力分野、エネルギー分野、通信分野、センシング分野において、実環境におけるモニタリングや画像センシングなどに関係する産業分野に属する時空間データ特徴量分類方法および装置に関する。

実環境において解析対象となるデータの種類及び量の増大に伴い、多変量データを特定カテゴリーごとに効率良くかつ精度良く分類する方法が求められている。データには、画像、音声、電力消費量、雨量や温度などの天候データ、人や交通の混雑度などがある。また、ＷＥＢ上の大量の単語と記事を含んだ文書データもある。

これまで様々な統計的な方法が求められており、カテゴリーごとの生起頻度数の解析やカテゴリー数を事前に定めたデータのクラスタ化によるデータ分類などが多い。また、扱うデータが複数の基底で近似表現されるとした直交基底に基づいた特異値分解や、非直交基底に基づいた非負値行列因子分解（ＮＭＦ）も目的に応じて適用されている。特異値分解はデータ（信号）へ周波数解析であり、特異値の累積値により低周波数成分のみで、元データが近似される。また、分解される行列要素には、正と負が混在することが多い。

一方、ＮＭＦによれば、行列の要素が正になるように、多変量データを基底に対応した対象ごとの特徴量とその頻出数にそれぞれ対応する２つの行列に分解することにより、特定カテゴリーごとに効率良くデータが分類でき、基本的に周波数帯域に大きく依存していない特徴がある。即ち、ＮＭＦの解析結果で得られるものは、２つに分解された行列であり、基底に対応した対象ごとの特徴量とその頻出数に関する。行列要素が正となることは、ちょうど、パターン分類において生体の神経回路における発火数が正の累積となっていることに類似している（例えば、非特許文献２参照）。

J. O. Street, J. Carroll, and D. Ruppert, "A note on computing robust regression estimates via iteratively least squares", 1988年, The American Statistician, Vol. 42, No. 2, pp.152-154 D.D. Lee and H.S. Seung, "Algorithm for nonnegative matrix factorization", 2001年, Advances in neural information processing, Vol. 13

しかしながら、ＮＭＦにおける問題点として、元のデータとの近似表現を用いているため、データが一定数以上となる場合、データ間の大きなばらつき、ノイズ、頻度数が極端に多いデータに関して少数データの特徴が見えにくくなり、十分な分類精度が得られないことが挙げられる。この問題については、分解して得られる基底間に類似したものが多数あり、表現上の冗長性があることによる。また、ＮＭＦにおける更なる問題点として、類似した複数の基底が分解して得られるため、類似した特徴量が複数生じてしまうこと等が挙げられる。

そこで、本発明では、非負値行列因子分解を施すための目的関数において、行列要素に関して複数の拘束条件を与えるとともに、ロバスト統計学の見地からロバスト推定法による数値解法を取り入れる。それにより、従来からの目的関数よりも冗長性の少ない基底が得られるようになり、データの分類率を高めることができる。

上記課題を解決するために、請求項１に記載の時空間データ特徴量分類方法は、時系列データに対して非直交基底に基づいた非負値行列因子分解を行うことにより、前記時系列データの前記複数の要素を特定のカテゴリーごとに分類する時空間データ特徴量分類方法であって、前記時系列データを観測して入力するステップと、当該入力した時系列データをデータ蓄積手段に蓄積するステップと、前記データ蓄積手段に蓄積した時系列データから観測データ行列Ｙを生成するステップと、前記観測データ行列Ｙについて、解となる基底を有する基底行列Ｈ＝［ｈ₁，．．．，ｈ_M］＝（ｈ_k,m）_K×Mと生起頻度に関わる係数行列Ｕ＝［ｕ₁，．．．，ｕ_Ｎ］＝（ｕ_m,n）_M×Nへの非負値行列因子分解を計算するステップと、当該分解された行列に基づいて、前記観測データ行列Ｙの元となった前記時系列データについて特定数のクラスタ分類を行うステップと、を備え、前記計算するステップは、誤差行列Ｙ−ＨＵのFrobeniusノルムに関する目的関数について複数の拘束条件を付与した上で、前記複数の拘束条件を付与した目的関数について最小二乗法を用いて最小化を行う際に、ロバスト関数を用いた最尤推定法を適用することにより、負値行列因子分解を計算し、前記複数の拘束条件は、少なくとも、前記基底行列Ｈ及び前記係数行列Ｕの各行列要素に対して対数関数を適用した

を含むことを特徴とする。

請求項２に記載の時空間データ特徴量分類方法は、請求項１に記載の時空間データ特徴量分類方法であって、前記複数の拘束条件は、前記係数行列Ｕの隣接する行列要素に対して一次微分及び二次微分をそれぞれ適用した

をさらに含むことを特徴とする。

請求項３に記載の時空間データ特徴量分類装置は、時系列データに対して非直交基底に基づいた非負値行列因子分解を行うことにより、前記時系列データの前記複数の要素を特定のカテゴリーごとに分類する時空間データ特徴量分類装置であって、前記時系列データを観測して入力するデータ入力手段と、当該入力した時系列データを蓄積するデータ蓄積手段と、前記データ蓄積手段に蓄積した時系列データから観測データ行列Ｙを生成し、前記観測データ行列Ｙについて、解となる基底を有する基底行列Ｈ＝［ｈ₁，．．．，ｈ_M］＝（ｈ_k,m）_K×Mと生起頻度に関わる係数行列Ｕ＝［ｕ₁，．．．，ｕ_Ｎ］＝（ｕ_m,n）_M×Nへの非負値行列因子分解を計算する行列分解計算手段と、当該分解された行列に基づいて、前記観測データ行列Ｙの元となった前記時系列データについて特定数のクラスタ分類を行うデータ分類手段と、を備え、前記行列分解計算手段は、誤差行列Ｙ−ＨＵのFrobeniusノルムに関する目的関数について複数の拘束条件を付与した上で、前記複数の拘束条件を付与した目的関数について最小二乗法を用いて最小化を行う際に、ロバスト関数を用いた最尤推定法を適用することにより、負値行列因子分解を計算し、前記複数の拘束条件は、少なくとも、前記基底行列Ｈ及び前記係数行列Ｕの各行列要素に対して対数関数を適用した

を含むことを特徴とする。

請求項４に記載の時空間データ特徴量分類装置は、請求項３に記載の時空間データ特徴量分類装置であって、前記複数の拘束条件は、前記係数行列Ｕの隣接する行列要素に対して一次微分及び二次微分をそれぞれ適用した

をさらに含むことを特徴とする。

本発明によると、大規模な時空間データに対して、拡張したＮＭＦを用いることで、データ間の大きなばらつき、ノイズ、頻度数が極端に多いデータに対しても特徴が見えるようにすることができる。

また、本発明によると、類似した複数の基底が分解して得られなくなったため、類似した特徴量が少なくなり、結果として、より少ない基底数でコンパクトに元のデータを近似表現することができる。

本発明に係る時空間データ特徴量分類装置の概略図である。（式２）を行列形式で示した図である。ＮＭＦに基づいた従来法と本発明に係る手法による時空間データのクラスタリングの分類精度の違いに関する比較実験例を示す図である。従来法と本発明に係る手法とをそれぞれ大規模データに適用したときの分類率などの評価結果の例を示す図である。

図１は、本発明に係る時空間データ特徴量分類装置の概略図である。図１に示されるように、本発明に係る時空間データ特徴量分類装置は、データ入力手段１００と、データ蓄積手段１１０と、行列分解計算手段１２０と、データ分類手段１３０と、表示手段１４０とを備える。

データ入力手段１００は、時系列データを観測して入力する。観測した時系列データは、例えば１日など任意の期間における気温や湿度の時系列値等の複数の要素からなる観測ベクトルを含む多変量データとすることができる。データ蓄積手段１１０は、データ入力手段１００が入力した時系列データを蓄積する。行列分解計算手段１２０は、データ蓄積手段１１０に蓄積された時系列データから、複数の観測ベクトルを含む観測データ行列を生成する。また、行列分解計算手段１２０は、以下に詳細に後述するように、複数の拘束条件を与えた目的関数について、ロバスト関数とともに最小二乗法により、解となる基底を有する基底行列と生起頻度に関わる係数行列への分解計算を行う。データ分類手段１３０は、分解された行列に基づいて、生成した観測データ行列の元となったデータについて特定数のクラスタ分類を行う。分解された行列に基づくクラスタ分類については、従来法を使用することができる。表示手段１４０は、データ分類手段１３０においてクラスタ分類を行うことによって生成された最終結果を表示する。

本発明に係る時空間データ特徴量分類方法は、気流の影響を受けるデータセンタ内の時空間温度分布などのような多変量データを、非直交基底に基づいた非負値行列因子分解を適用することにより特定カテゴリーごとに分類する。その際に、データ間の関連性や、データやノイズとなる要因の特性に応じた拘束条件を目的関数に付与した上で、ノイズや不連続成分などばらつきが大きいデータの影響を受けやすい最小二乗法に対してロバスト統計学に基づいた最尤推定法を適用することにより、目的関数の最小化を行う。それにより、データに関して、データ間の大きなばらつき、ノイズ、データ間での頻度数の極端な違い等が存在する場合であっても、効率よくかつ高い精度で分類することが可能になる。

以下、本発明に係る時空間データ特徴量分類方法を詳細に示す。実数全体の集合をＲとすると、ＮＭＦでは、基底ベクトルｈ₁，．．．，ｈ_M∈Ｒ^≧0,Kの非負結合（結合係数ｕ_1,n，．．．，ｕ_M,nが非負値の線形結合）を用いて、観測ベクトルｙ_ｎを以下の（式１）のように近似表現することができる。

ここで、観測ベクトルｙ_ｎを並べた観測データ行列をＹ＝［ｙ₁，．．．，ｙ_N］＝（ｙ_k,n）_K×N、基底ベクトルｈ_Mを並べた基底行列をＨ＝［ｈ₁，．．．，ｈ_M］＝（ｈ_k,m）_K×M、Ｕ＝［ｕ₁，．．．，ｕ_Ｎ］＝（ｕ_m,n）_M×Nをｍ行ｎ列の要素とした結合係数行列とすると、（式１）は以下の（式２）とも表現することができる。

図２に、（式２）を行列形式で図示する。図２に示されるように、ＮＭＦは、観測ベクトルｙ_ｎを並べた観測データ行列Ｙを２つの非負値行列の積に分解する問題と捉えることができ、このような分解を非負値行列因子分解と呼ぶ。基底ベクトルの非負性の仮定は、観測データを構成する成分も観測データと同じ属性の物理量であり、それゆえに同様に非負値であるべきという考え方に基づいている。

また、重み係数の非負性の仮定は、観測データ行列Ｙから基底行列Ｈ及び係数行列Ｕを得る際に、係数行列Ｕの要素が疎になるような分解上の効果がある。係数行列Ｕが疎になることは、観測ベクトルを少数の基底ベクトルだけで表現することを示している。即ち、Ｍ＜min(K,N)のとき、ＮＭＦは観測データ行列Ｙを低いランクの行列で近似しようとしていることに相当している。幾何学的には、主成分分析や特異値分解が、観測データが属する部分空間を見出そうとした直交分解であるのに対して、ＮＭＦは観測データへの当てはまりをなるべく良くするような凸錐を見出すような分解が効いているといえる。

ＮＭＦが少ない基底で表現できる特性については、観測データの中で共起する成分をひとまとめにしたものが基底ベクトルの推定結果になる傾向がある。これに関連して、ＮＭＦの共起性については、なるべく各基底の係数が互いに相関をもたないように基底を決定することでもある。独立成分分析では、係数の互いの独立性を基準として基底を推定するのが目的であるが、ＮＭＦでは、非負制約による副次的な効果として係数が互いに独立になるように基底が求まる傾向にある。

次に、観測データ行列Ｙを２つの非負値行列の積で表すために、誤差行列Ｙ−ＨＵのFrobeniusノルム（行列の要素の二乗和）に関する目的関数を以下の（式３）のように定義する。

（式３）に示す目的関数を用いて誤差を最小化することにより、基底行列Ｈ及び係数行列Ｕを推定できる。ここで、基底行列Ｈは観測データ行列Ｙに含まれる未知の基底を表し、係数行列Ｕはその各基底の貢献度（生起率）を表す。しかし、基底行列Ｈ及び係数行列Ｕの各行列要素が非負であることは、（式３）だけでは規定することができない。そこで、基底行列Ｈ及び係数行列Ｕの各行列要素が正の値をもつために、基底行列Ｈ及び係数行列Ｕの各行列要素に対数関数を適用し、以下の（式４）及び（式５）で示される拘束条件を付与する。

（式４）及び（式５）の特性は、対数障壁関数と呼ばれるように各行列要素が０になろうとすると、無限大のペナルティを課すものである。（式３）〜（式５）より、最小化すべき目的関数は、以下の（式６）で与えられる。

ただし、λ₁、λ₂、λ₃は重み係数であり、デフォルトはすべて１．０である。λが大きいほど、非負の行列要素の精度が高まる一方で、計算上不安定さが高まる。

ここで、物理現象には、時空間的に滑らかに変化していくものが少なくない。しかし、（式６）には、そのような拘束条件が含まれていないため、対象によっては、精度が低下する場合が考えられる。そこで、本発明では、係数行列Ｕに関して、隣接する要素間が滑らかになるように、一次微分を次の（式７）のような拘束条件で与え、二次微分を次の（式８）のような拘束条件で与える。

以上、（式６）〜（式８）より、最小化すべき目的関数は、以下の（式９）のように定義できる。

なお、λ_i（ｉ＝１〜５）は重み係数であり、デフォルトはすべて１．０である。（式９）において、最小化問題として扱う場合、（式３）では行列の要素間の差の大きさが、（式４）及び（式５）では要素の和による大きさが、基底行列Ｈ及び係数行列Ｕの推定精度に大きく影響する。即ち、これは最小二乗法におけるよく知られたデータに含まれる外れ値の影響がモデルパラメータの推定精度に影響する問題と等価と考えることができる。ここで、外れ値とは、ノイズや不連続成分など、ばらつきが大きいデータがある程度まとまったデータへのモデルの当てはまりを阻害するものをいう。

そこで、（式６）又は（式９）のＥ_１〜Ｅ_５のそれぞれについて、ロバスト統計学（例えば非特許文献１参照）に基づいた最尤推定法を適用する。これにより、行例の要素における外れ値などの影響を緩和して解の精度を向上させることができる。ロバスト関数については、ロバスト関数の一つである以下の（式１０）で示されるローレンツ関数を用いる。

ただし、（式１０）のｚに関する一次微分は、ｅ_０において、以下の（式１１）のように示される。

（式１０）のｚにおいて、（式３）では以下の（式１２）を適用し、（式４）では以下の（式１３）を適用し、（式５）では以下の（式１４）を適用する。

（式７）及び（式８）には、それぞれにロバスト関数を適用する。ここで、σについては、１０．０を用いる。ロバスト関数を適用した結果、例えばＥ_１、Ｅ_２、Ｅ_３は以下のように表される。

以上より、目的関数は、以下の（式１５）のようにおくことができる。

未知数（行列）である基底行列Ｈ及び係数行列Ｕを推定するためには、（式１５）を最小化すればよい。そのためには、基底行列Ｈ及び係数行列Ｕに関して（式１５）の偏微分をとり、その値についてゼロに近づけていくような反復計算（例えば、非特許文献１参照）を施せばよく、最急降下法、共役勾配法などを適用することができる。

図３は、ＮＭＦに基づいた従来法と本発明に係る手法による時空間データのクラスタリングの分類精度の違いに関する比較実験例を示す。図３の３００に示されるように、温度分布など、時空間的に変化するデータにおいて、一定領域内では局所的な温度の高低などの特徴が見られるが、ここでは４つの特異な不定形の同一温度領域があったとする。データについては、ミリ波レーダ画像や赤外線画像などである。空間的に配置した温度センサからのデータでもよい。

図３の３００における各領域は、気流の不安定さから不規則な輪郭形状をしており、領域内においても時間と空間で複雑に変化していく。その中で、興味の対象領域以外にも背景から環境ノイズが多く加わるのが実環境である。図３に示す実験の目的は、このような背景から４つの特異なパターン領域をうまく抽出・分類することである。

図３の３１０や３２０に示されている破線は等温線に対応する。図３の実験結果３１０は、拘束条件やロバスト統計学に基づいた最尤推定法を用いずに（式３）を最小化した従来のＮＭＦ（例えば、非特許文献１参照）による実験結果である。なお、図３の３００にあるような複雑な輪郭線（不定形の同一温度領域）をそのまま検出することが目的ではないので、図３の３１０や３２０では分類（クラスタリング）できる程度の粗い領域（円で代表、近似表現）でデータを分類している。

従来例による実験結果３１０によれば、４つのパターン領域のうち、隣接２組のパターンをうまく分離・分類することができず、また背景から複数の領域が抽出され、さらに隣接した２つの領域は融合して一つに誤検出された。

一方、本発明に係る手法による実験結果３２０によれば、４つのパターン領域に加えて、各パターン内部の細かい領域まで特徴が抽出、分類できている。

図４は従来法と本手法を大規模データに適用したときの分類率などの評価結果の例を示す。本手法については２つの観点で特性を評価した。１つ目は拘束条件による効果についてであり、２つ目はデータ量による効果についてである。

拘束条件による効果について、図４（ａ）では、拘束条件Ｅ_１のみ、Ｅ_１＋Ｅ_２、Ｅ_１＋Ｅ_２＋Ｅ_３、Ｅ_１＋Ｅ_２＋Ｅ_３＋Ｅ_４、Ｅ_１＋Ｅ_２＋Ｅ_３＋Ｅ_４＋Ｅ_５と増減させた場合について分類率を評価した。ここで、グラフ４００のＥ_１のみの値は、拘束条件を用いずに計算を行った従来例における分類率に相当する。また、図４（ａ）に示される「分類率」の定義は、正解となる等温領域に対して、そのような領域をいくつ検出できたかであり、具体的には、視覚的に検出された領域数、あるいは計算シミュレーションなどで生成された領域数を分母とし、本手法や従来法で検出された領域数を分子としたときの分数×１００[％]から計算する。図４（ａ）に示されるように、グラフ４００では、拘束条件を増やすことにより分類率の向上が見られ、その分類率向上への寄与が示された。

また、拘束条件による効果について、図４（ｂ）のグラフ４１０は、拘束条件の数を増加させた場合の最適計算（最小二乗）における収束性を示す。グラフ４１０に示される収束性を比較すると、拘束条件の数を増加させることにより反復回数が減少する傾向が見られた。これにより、拘束条件が分類率の向上と同時に、性質のいい行列を効率よく推定することに寄与していることが示唆された。

最後に、データ量による効果について、従来からのＮＭＦと本手法において、誤分類率に関して、扱うデータ量を増加させたときの関係を実験により確かめた。図４（ｃ）はその結果を示す。図４（ｃ）に示されるように、グラフ４２０では、データ量が増加すると、従来法と本手法ともに誤分類率が増大したが、本手法の誤分類率の悪化は従来法に比べて比較的緩やかなものとなった。

以上より、本手法の時空間データに対する教師なし分類が有効であることが示された。

データ入力手段１００
データ蓄積手段１１０
行列分解計算手段１２０
データ分類手段１３０
表示手段１４０

Claims

時系列データに対して非直交基底に基づいた非負値行列因子分解を行うことにより、前記時系列データの前記複数の要素を特定のカテゴリーごとに分類する時空間データ特徴量分類方法であって、
前記時系列データを観測して入力するステップと、
当該入力した時系列データをデータ蓄積手段に蓄積するステップと、
前記データ蓄積手段に蓄積した時系列データから観測データ行列Ｙを生成するステップと、
前記観測データ行列Ｙについて、解となる基底を有する基底行列Ｈ＝［ｈ₁，．．．，ｈ_M］＝（ｈ_k,m）_K×Mと生起頻度に関わる係数行列Ｕ＝［ｕ₁，．．．，ｕ_Ｎ］＝（ｕ_m,n）_M×Nへの非負値行列因子分解を計算するステップと、
当該分解された行列に基づいて、前記観測データ行列Ｙの元となった前記時系列データについて特定数のクラスタ分類を行うステップと、
を備え、
前記計算するステップは、誤差行列Ｙ−ＨＵのFrobeniusノルムに関する目的関数について複数の拘束条件を付与した上で、前記複数の拘束条件を付与した目的関数について最小二乗法を用いて最小化を行う際に、ロバスト関数を用いた最尤推定法を適用することにより、負値行列因子分解を計算し、
前記複数の拘束条件は、少なくとも、前記基底行列Ｈ及び前記係数行列Ｕの各行列要素に対して対数関数を適用した
を含むことを特徴とする時空間データ特徴量分類方法。
前記複数の拘束条件は、前記係数行列Ｕの隣接する行列要素に対して一次微分及び二次微分をそれぞれ適用した
をさらに含むことを特徴とする請求項１に記載の時空間データ特徴量分類方法。
時系列データに対して非直交基底に基づいた非負値行列因子分解を行うことにより、前記時系列データの前記複数の要素を特定のカテゴリーごとに分類する時空間データ特徴量分類装置であって、
前記時系列データを観測して入力するデータ入力手段と、
当該入力した時系列データを蓄積するデータ蓄積手段と、
前記データ蓄積手段に蓄積した時系列データから観測データ行列Ｙを生成し、前記観測データ行列Ｙについて、解となる基底を有する基底行列Ｈ＝［ｈ₁，．．．，ｈ_M］＝（ｈ_k,m）_K×Mと生起頻度に関わる係数行列Ｕ＝［ｕ₁，．．．，ｕ_Ｎ］＝（ｕ_m,n）_M×Nへの非負値行列因子分解を計算する行列分解計算手段と、
当該分解された行列に基づいて、前記観測データ行列Ｙの元となった前記時系列データについて特定数のクラスタ分類を行うデータ分類手段と、
を備え、
前記行列分解計算手段は、誤差行列Ｙ−ＨＵのFrobeniusノルムに関する目的関数について複数の拘束条件を付与した上で、前記複数の拘束条件を付与した目的関数について最小二乗法を用いて最小化を行う際に、ロバスト関数を用いた最尤推定法を適用することにより、負値行列因子分解を計算し、
前記複数の拘束条件は、少なくとも、前記基底行列Ｈ及び前記係数行列Ｕの各行列要素に対して対数関数を適用した
を含むことを特徴とする時空間データ特徴量分類装置。
前記複数の拘束条件は、前記係数行列Ｕの隣接する行列要素に対して一次微分及び二次微分をそれぞれ適用した
をさらに含むことを特徴とする請求項３に記載の時空間データ特徴量分類装置。