JP2017215669A - 確率密度関数推定装置、連続値予測装置、方法、及びプログラム - Google Patents

Abstract

【課題】個体が生成する連続値データを表す正しい確率密度関数を推定することができる。
【解決手段】トピック推定部２４が、各連続値データについて、所属するトピックを推定し、各個体の各トピックに対する重みの分布を表すハイパーパラメータと、各トピックに対するヒストグラムを特徴付ける形状パラメータの分布を表すハイパーパラメータとを推定する。個体確率密度関数推定部２６が、形状パラメータの事後確率、及び重みの事後確率に従って、各トピックに対する形状パラメータ、及び各個体の各トピックに対する重みを推定し、各個体について、推定された各トピックに対する前記形状パラメータに基づく各トピックに対するヒストグラムの、推定された個体の各トピックに対する重みを用いた線形和で表される、個体が生成する連続値データの確率密度関数を出力する。
【選択図】図１

Description

本発明は、確率密度関数推定装置、連続値予測装置、方法、及びプログラムに関する。

一般に、確率的に振る舞う個体が連続値を生成し、その連続値をデータとして我々が観測する状況を考える。本状況としては、例えば、消費者（=個体）がある金額（=連続値）の購買を行う、消費者（=個体）がある時間間隔（=連続値）で購買を行う、旅行者（=個体）がある時間間隔（=連続値）で次の滞在地に移動する、旅行者（=個体）がある位置座標（=連続値）に滞在する、文書（=個体）の中のある単語がある時刻（=連続値）に出現する、機器（=個体）の故障がある時刻（=連続値）に発生する、など様々なものが挙げられる。

個体が連続値を生成する時に従う確率的な規則、すなわち確率密度関数をデータから推定することができれば、個体が将来に生成する連続値を予測することができる。上記の例では、消費者の将来の購買時刻や旅行者の将来の滞在地を予測できることになる。確率密度関数の推定方法は大きく分けて、パラメトリック密度推定とノンパラメトリック密度推定の二種類が存在する。パラメトリック密度推定とは、確率密度関数を、パラメータを有した分布関数で表現し、データからそのパラメータの値を決める方法である。一方ノンパラメトリック密度推定とは、確率密度関数の形状に強い仮定を置かずにデータから推定する方法である。強い仮定を置かないため、ノンパラメトリック密度推定では正確な推定のためにより多くのデータが必要である。ノンパラメトリック密度推定の代表的なものにヒストグラム法があり、本発明はこのヒストグラム法に関するものである。なお、ヒストグラム法とは、連続値を取る変数の定義域を有限個の区間に分割し、各区間において確率密度関数が一定値を取ると仮定し、その各区間の値を観測データから推定することで確率密度関数を推定する手法である。ヒストグラム法に基づき推定された確率密度関数を特にヒストグラムと呼ぶこととする。個体の確率密度関数をヒストグラムで表現する装置に非特許文献１がある。

J. Rissanen, "Density estimation by stochastic complexity", IEEE Transactions on Information Theory, Vol. 38, pp.315-323, 1992.

個体から観測されたデータが十分手に入る場合、密度関数の形状が制限される（自由度が低い）パラメトリック密度推定ではなく、より多様な形状を再現できるヒストグラム法が適している。しかし多くの場合、手に入る個体のデータは少ないため、ヒストグラム法は適用できずパラメトリック密度推定が用いられる。このとき、パラメトリック密度推定において仮定された分布関数の形状が真の形状と異なる場合、正しい確率密度関数を推定することができず、結果予測精度が低くなる。ヒストグラム法とパラメトリック密度推定の長所と短所について表１にまとめる。

我々は個体に内在する真の確率密度関数を知り得ないため、可能な限りヒストグラム法を使用すべきである。

本発明は、上記事情を鑑みて成されたものであり、個体が生成する連続値データを表す正しい確率密度関数を推定することができる確率密度関数推定装置、方法、及びプログラムを提供することを目的とする。

また、個体が生成する連続値データを精度よく予測することができる連続値予測装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る確率密度関数推定装置は、複数の個体で観測された、前記個体が生成した連続値データの集合を入力とし、前記連続値データの集合に含まれる各連続値データについて、連続値の確率密度を表す、各トピックに対するヒストグラムの、前記トピック毎に定められた分割数及びビン幅を用いて表される、前記連続値データが所属するトピックの事後確率に従って、前記連続値データが所属するトピックを推定し、各連続値データについての前記トピックの推定結果に基づいて、各個体の各トピックに対する重みの分布を表すハイパーパラメータと、各トピックに対するヒストグラムを特徴付ける形状パラメータの分布を表すハイパーパラメータとを推定するトピック推定部と、前記トピック推定部によって推定された、前記重みの分布を表すハイパーパラメータ、前記形状パラメータの分布を表すハイパーパラメータ、及び各連続値データについての前記トピックの推定結果に基づく、前記形状パラメータの事後確率、及び前記重みの事後確率に従って、各トピックに対する前記形状パラメータ、及び各個体の各トピックに対する重みを推定し、各個体について、前記推定された各トピックに対する前記形状パラメータに基づく各トピックに対するヒストグラムの、前記推定された個体の各トピックに対する重みを用いた線形和で表される、前記個体が生成する連続値データの確率密度関数を出力する個体確率密度関数推定部と、を含んで構成されている。

また、第２の発明に係る確率密度関数推定方法は、トピック推定部が、複数の個体で観測された、前記個体が生成した連続値データの集合を入力とし、前記連続値データの集合に含まれる各連続値データについて、連続値の確率密度を表す、各トピックに対するヒストグラムの、前記トピック毎に定められた分割数及びビン幅を用いて表される、前記連続値データが所属するトピックの事後確率に従って、前記連続値データが所属するトピックを推定し、各連続値データについての前記トピックの推定結果に基づいて、各個体の各トピックに対する重みの分布を表すハイパーパラメータと、各トピックに対するヒストグラムを特徴付ける形状パラメータの分布を表すハイパーパラメータとを推定し、個体確率密度関数推定部が、前記トピック推定部によって推定された、前記重みの分布を表すハイパーパラメータ、前記形状パラメータの分布を表すハイパーパラメータ、及び各連続値データについての前記トピックの推定結果に基づく、前記形状パラメータの事後確率、及び前記重みの事後確率に従って、各トピックに対する前記形状パラメータ、及び各個体の各トピックに対する重みを推定し、各個体について、前記推定された各トピックに対する前記形状パラメータに基づく各トピックに対するヒストグラムの、前記推定された個体の各トピックに対する重みを用いた線形和で表される、前記個体が生成する連続値データの確率密度関数を出力する。

第３の発明に係る確率密度関数推定装置は、複数の個体で観測された、前記個体が生成した連続値データの集合を入力とし、前記連続値データの集合に含まれる各連続値データについて、連続値の確率密度を表す、各トピックに対するヒストグラムの、前記トピック毎の分割数及びビン幅を用いて表される、前記連続値データが所属するトピックの事後確率に従って、前記連続値データが所属するトピックを推定し、各トピックについて、各連続値データについての前記トピックの推定結果と、前記トピックに対するヒストグラムのビン幅とを用いて表される、前記トピックに対するヒストグラムの分割数の事後確率に従って、前記トピックに対するヒストグラムの分割数を推定し、各連続値データについての前記トピックの推定結果と、各トピックに対するヒストグラムの分割数とを用いて表される、各トピックに対するヒストグラムのビン幅の事後確率に従って、各トピックに対するヒストグラムのビン幅を推定し、各連続値データについての前記トピックの推定結果に基づいて、各個体の各トピックに対する重みの分布を表すハイパーパラメータと、各トピックに対するヒストグラムを特徴付ける形状パラメータの分布を表すハイパーパラメータとを推定する分割数ビン幅トピック推定部と、前記分割数ビン幅トピック推定部によって推定された、前記重みの分布を表すハイパーパラメータ、前記形状パラメータの分布を表すハイパーパラメータ、及び各連続値データについての前記トピックの推定結果に基づく、前記形状パラメータの事後確率、及び前記重みの事後確率に従って、各トピックに対する前記形状パラメータ、及び各個体の各トピックに対する重みを推定し、前記推定された各トピックに対する前記形状パラメータ、前記分割数、及び前記ビン幅に基づく各トピックに対するヒストグラムの、前記推定された個体の各トピックに対する重みを用いた線形和で表される、前記個体が生成する連続値データの確率密度関数を出力する個体確率密度関数推定部と、を含んで構成されている。

また、第４の発明に係る確率密度関数推定方法は、分割数ビン幅トピック推定部が、複数の個体で観測された、前記個体が生成した連続値データの集合を入力とし、前記連続値データの集合に含まれる各連続値データについて、連続値の確率密度を表す、各トピックに対するヒストグラムの、前記トピック毎の分割数及びビン幅を用いて表される、前記連続値データが所属するトピックの事後確率に従って、前記連続値データが所属するトピックを推定し、各トピックについて、各連続値データについての前記トピックの推定結果と、前記トピックに対するヒストグラムのビン幅とを用いて表される、前記トピックに対するヒストグラムの分割数の事後確率に従って、前記トピックに対するヒストグラムの分割数を推定し、各連続値データについての前記トピックの推定結果と、各トピックに対するヒストグラムの分割数とを用いて表される、各トピックに対するヒストグラムのビン幅の事後確率に従って、各トピックに対するヒストグラムのビン幅を推定し、各連続値データについての前記トピックの推定結果に基づいて、各個体の各トピックに対する重みの分布を表すハイパーパラメータと、各トピックに対するヒストグラムを特徴付ける形状パラメータの分布を表すハイパーパラメータとを推定し、個体確率密度関数推定部が、前記分割数ビン幅トピック推定部によって推定された、前記重みの分布を表すハイパーパラメータ、前記形状パラメータの分布を表すハイパーパラメータ、及び各連続値データについての前記トピックの推定結果に基づく、前記形状パラメータの事後確率、及び前記重みの事後確率に従って、各トピックに対する前記形状パラメータ、及び各個体の各トピックに対する重みを推定し、前記推定された各トピックに対する前記形状パラメータ、前記分割数、及び前記ビン幅に基づく各トピックに対するヒストグラムの、前記推定された個体の各トピックに対する重みを用いた線形和で表される、前記個体が生成する連続値データの確率密度関数を出力する。

また、第５の発明に係る連続値予測装置は、予測対象の個体が生成する連続値データを予測する連続値予測装置であって、前記予測対象の個体に対して予め求められた、連続値の確率密度を表す、各トピックに対するヒストグラムを特徴付ける形状パラメータ、各トピックに対する前記ヒストグラムの分割数、各トピックに対する前記ヒストグラムのビン幅に基づく各トピックに対するヒストグラムの、前記個体の各トピックに対する重みを用いた線形和で表される、個体が生成する連続値データの確率密度関数に従って、前記予測対象の個体が生成する連続値データを予測する連続値予測部を含んで構成されている。

第６の発明に係る連続値予測方法は、予測対象の個体が生成する連続値データを予測する連続値予測装置における連続値予測方法であって、連続値予測部が、前記予測対象の個体に対して予め求められた、連続値の確率密度を表す、各トピックに対するヒストグラムを特徴付ける形状パラメータ、各トピックに対する前記ヒストグラムの分割数、各トピックに対する前記ヒストグラムのビン幅に基づく各トピックに対するヒストグラムの、前記個体の各トピックに対する重みを用いた線形和で表される、個体が生成する連続値データの確率密度関数に従って、前記予測対象の個体が生成する連続値データを予測する。

第７の発明に係るプログラムは、コンピュータを、上記確率密度関数推定装置、又は上記連続値予測装置を構成する各部として機能させるためのプログラム。

本発明の確率密度関数推定装置、方法、及びプログラムによれば、各トピックに対する前記形状パラメータ、及び各個体の各トピックに対する重みを推定し、各個体について、前記推定された各トピックに対する前記形状パラメータに基づく各トピックに対するヒストグラムの、前記推定された個体の各トピックに対する重みを用いた線形和で表される、前記個体が生成する連続値データの確率密度関数を出力することにより、個体が生成する連続値データを表す正しい確率密度関数を推定することができる、という効果が得られる。

また、本発明の連続値予測装置、方法、及びプログラムによれば、各トピックに対するヒストグラムを特徴付ける形状パラメータ、各トピックに対する前記ヒストグラムの分割数、各トピックに対する前記ヒストグラムのビン幅に基づく各トピックに対するヒストグラムの、前記個体の各トピックに対する重みを用いた線形和で表される、個体が生成する連続値データの確率密度関数に従って、前記予測対象の個体が生成する連続値データを予測することにより、個体が生成する連続値データを精度よく予測することができる、という効果が得られる。

本発明の第１の実施の形態に係る確率密度関数推定装置の構成を示すブロック図である。 本発明の第１、第２の実施の形態に係る連続値予測装置の構成を示すブロック図である。 本発明の第１の実施の形態に係る確率密度関数推定装置における確率密度関数推定処理ルーチンを示すフローチャートである。 本発明の第１の実施の形態に係る連続値予測装置における連続値予測処理ルーチンを示すフローチャートである。 ヒストグラムの一例を示す図である。 本発明の第２の実施の形態に係る確率密度関数推定装置の構成を示すブロック図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る概要＞
まず、本発明の実施の形態における概要を説明する。

多くの場合、個体一つ一つから得られるデータは少ないが、一方で複数の個体からそれぞれ少数のデータを得ることができる。例えばeコマースサイトにおいて、大半の顧客は数回しか購買を行っていないが、登録されている顧客数が極めて多い、という状況である。個体はそれぞれ独自の確率密度関数を有しているが、互いに似た密度関数を有する個体群が存在するはずである。このとき、(i) 全個体の確率密度関数が少数のヒストグラムの線形和で表現される、(ii) 個体ごとの確率密度関数の違いは線形和の重み付けの違いで表現される、の二点を仮定することで、ヒストグラム法の長所である高い自由度を担保しつつ、その弱みであるデータのスパース性を回避することができる、と着想した。個体の確率密度関数をヒストグラムの線形和で表現する装置はすでに存在するが（上記非特許文献1）、それは単一の個体に対してであり、ヒストグラム法の弱点であるデータのスパース性を回避することはできない。

さらに上記に加え、(iii) 可変ビン幅ヒストグラムを構成することを着想した。ヒストグラム法にて決定される区間の幅をビン幅と呼ぶが、ビン幅が等間隔であるという制限が存在する場合、以下に挙げる問題が生じる。

ヒストグラムにおける分割位置、すなわち確率密度関数の不連続点を任意の位置に設定できないため、真の確率密度関数と推定確率密度関数との間にズレが生じる可能性がある。

推定対象の確率密度関数において関数形が局在している領域と広く分布している領域が共存している場合、前者ではビン幅を狭く、後者ではビン幅を広く設定すべきであるが、ビン幅は単一の値しか取れないため全領域で狭いビン幅（あるいは中途半端なビン幅）がデータから決定されてしまう。その結果、確率密度関数の推定精度が悪化する可能性がある。また、必要以上に狭いビン幅が選ばれるということは、定義域を必要以上に多くの区間に分割するということであり、このときヒストグラム法においてデータから推定すべきパラメータ数が多くなり、推定/予測時の計算コストが増大してしまう。

一定でないビン幅をデータから推定するヒストグラム法（以後、可変ビン幅ヒストグラム）の先行技術は存在するが（例えば、非特許文献2）、全個体の確率密度関数を少数のヒストグラムの線形和で表現し、かつ個体ごとの確率密度関数の違いを線形和の重み付けの違いで表現した上で、可変ビン幅ヒストグラムを実現する装置は未だ存在しない。

本発明の実施の形態は上記の点に鑑みてなされたものであり、(i) 全個体の確率密度関数を少数のヒストグラムの線形和で表現する、(ii) 個体ごとの確率密度関数の違いを線形和の重み付けの違いで表現する、(iii) 可変ビン幅ヒストグラムを構成することにより、確率密度関数の推定を高精度かつ個体単位で実現することを可能とする技術を提供することを目的とする。

［非特許文献２］：P. Kontkanen and P. Myllymaki, "MDL Histogram Density Estimation", International Conference on Artificial Intelligence and Statistics, pp.219-226, 2007.

本発明の実施の形態では、各個体の連続値データの集合から確率密度関数を推定する確率密度関数推定装置と、連続値予測装置とに本発明を適用させた場合を例に説明する。具体的には、まず確率密度関数推定装置において、ヒストグラムで表現された個体の確率密度関数が推定される。次に、連続値予測装置においては、推定された個体の確率密度関数に基づき将来観測される連続値が予測される。各装置の詳細を以下で説明する。

［第１の実施の形態］
＜本発明の第１の実施の形態に係る確率密度関数推定装置の構成＞
次に、本発明の第１の実施の形態に係る確率密度関数推定装置の構成について説明する。図１に示すように、本発明の第１の実施の形態に係る確率密度関数推定装置１００は、ＣＰＵと、ＲＡＭと、後述する確率密度関数推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この確率密度関数推定装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部４０とを備えている。

入力部１０は、複数の個体で観測された、当該個体の連続値データの集合の入力を受け付ける。

連続値データは、解析対象である個体から生成される。また、連続値データは、個体ＩＤ（以下、ｕと表記する）、個体ｕで観測された連続値データの個数（以下、Ｎ_ｕと表記する）、全個体で観測された連続値データの総数（以下、Ｎと表記する）、全個体で観測された連続値データの集合（｛ｔ_ｊ｝≡（ｔ_１，ｔ_２，…ｔ_Ｎ）と表記）、及び各連続値データを生成した個体ＩＤの集合（｛ｕ_ｊ｝≡（ｕ_１，ｕ_２，…ｕ_Ｎ）と表記）を含む。

また、入力部１０は、個体の確率密度関数を表現するためのヒストグラムの個数Ｋ、及び確率密度関数の定義域（連続値が取りうる値の範囲）

を入力として受け付ける。ただし以後、Ｋ個のヒストグラムをそれぞれｋ＝１，２，３，…，Ｋで表記し、ｋ番目のヒストグラムをトピックｋと呼ぶこととする。

また、入力部１０は、各トピックの定義域の分割数Ｗ_k、及び各トピックの各分割区間の幅（＝ビン幅）Δ_lk（Ｔ₁−Ｔ₀）を入力として受け付ける（１≦ｋ≦Ｋ、１≦ｌ≦Ｗ_k）。ただし、Δ_lkは単位化されたビン幅で、

が成り立つ。以後、以下の式に示すように、特にインデックスを付けない場合は各パラメータの集合を表すものとする。

ここで、本実施の形態で用いる生成モデルの原理について説明する。

まず、以下のような生成モデルに基づき、各個体から連続値データが生成されると仮定する。ｊ番目のデータｔ_ｊを生成した個体ｕ_ｊは、Ｋ個のヒストグラムの線形和で表現される確率密度関数ｐ（ｔ｜φ，Ｗ，Δ）からデータｔ_ｊを生成する。

・・・（１）

ただし、ｚ_ｊはｊ番目のデータが所属するトピック（１〜Ｋ）を表す潜在変数であり、

は個体ｕ_ｊのトピックｋに対する重み、ｐ（ｔ_ｊ｜ｚ_ｊ＝ｋ，φ_.k）はヒストグラム

・・・（２）

で表されるトピックｋの分布、φ_lkはヒストグラムの形状を決めるパラメータ、ｗ_j ^kは

・・・（３）

を満たす整数ｌ（１＜ｗ_j ^k＜Ｗ_k）である。ヒストグラムによって表現される確率密度関数は、定義域［Ｔ₀，Ｔ₁］をＷ_k個の区間に等分割しその各区間ｌ（１〜Ｗ_k）での確率密度の値を一定値φ_lkで表現したものであり、ｗ_j ^kは連続値データｔ_jが何番目の区間内に入っているかを示している。

次に、上記式（１）〜（３）の生成モデルに現れる二種類のパラメータ

及びφ_lkに対して、共役な事前分布であるディリクレ分布をそれぞれに仮定する。

・・・（４）

次に、上記式（１）〜（４）より、データの所属トピックｚ≡（ｚ_１，ｚ_２，…ｚ_Ｎ）及び観測される連続値データｔ≡（ｔ_１，ｔ_２，…ｔ_Ｎ）の同時確率を得る。

・・・（５）

ただし、Ｎ_kuは個体ｕのデータのうち所属トピックがｋであるデータの個数、Ｎ_klは所属トピックがｋである全データの中でヒストグラムのｌ番目の区間に含まれているデータの個数、Ｎ_kは所属トピックがｋであるデータの総数を表しており、また、モデルを簡潔にするためディリクレ分布のパラメータβの全要素を等しいと置いた（β₁＝β₂＝…＝β）。

上記（１）〜（５）式によって本実施の形態における生成モデルが計算できる。以上が本実施の形態における生成モデルの原理である。

演算部２０は、連続値データ記憶部２２と、トピック推定部２４と、個体確率密度関数推定部２６とを含んで構成されている。

連続値データ記憶部２２には、入力部１０によって受け付けた連続値データの集合が格納される。

トピック推定部２４は、連続値データ記憶部２２に記憶された連続値データの集合に含まれる各連続値データについて、各トピックに対するヒストグラムの、トピックｋ毎に定められた分割数Ｗ_k及びビン幅Δ_lkを用いて表される、連続値データが所属するトピックｚの事後確率ｐ（ｚ｜ｔ，α，β，Ｗ）に従って、連続値データが所属するトピックｋを推定する。また、トピック推定部２４は、各連続値データについてのトピックｋの推定結果に基づいて、各個体ｕの各トピックｋに対する重み

の分布を表すハイパーパラメータαと、各トピックに対するヒストグラムを特徴付ける形状パラメータφ._kの分布を表すハイパーパラメータβとを推定する。トピック推定部２４は、上記のトピックの推定及びハイパーパラメータの推定を繰り返し行う。

トピック推定部２４で行われる具体的な計算方法について以下に詳述する。まず、連続値データ毎の所属トピックｚ≡（ｚ_１，ｚ_２，…ｚ_Ｎ）の事後確率ｐ（ｚ｜ｔ，α，β，Ｗ）を計算することで、未知のパラメータα、β、

、φをすべて推定することが出来る。事後確率を解析的に扱うのは困難であるので、トピック推定部２４による所属トピックの推定は、上記式（５）の同時確率から得られる、各連続値データｔ_jが所属するトピックｚ_jをギブスサンプリングするための公式

・・・（６）

を用いてｚ≡（ｚ_１，ｚ_２，…ｚ_Ｎ）のＰ回分のサンプル（ｚ^（１），ｚ^（２），…，ｚ^（Ｐ））を生成し、保持しておく。ただし、上記式（６）に現れる−ｊは、総数Ｎの全データ集合からｊ番目のデータを除いた部分集合を表す。実際にはｚのサンプルそのものではなく、その十分統計量である

を保持することになる。

また、トピック推定部２４は、Ｐ回分のサンプルを生成するのと同時に、確率的ＥＭ法（例えば、非特許文献３を参照）に基づき、以下の式（７）に従って、未知のハイパーパラメータα，βの値をＰ回更新する。そして、トピック推定部２４は、Ｐ回更新後のハイパーパラメータ値α^（Ｐ），β^（Ｐ）をそれぞれの推定値とする。

・・・（７）

具体的な更新式は、以下の（８）式で与えられる。

・・・（８）

［非特許文献３］：C. Bishop.“Pattern Recognition and Machine Learning”, Springer, New York, 2006.

個体確率密度関数推定部２６は、トピック推定部２４によって推定されたハイパーパラメータα、β、及び各連続値データについてのトピックの推定結果（ｚ^（１），ｚ^（２），…，ｚ^（Ｐ））に基づく、形状パラメータの事後確率、及び重みの事後確率に従って、各トピックｋに対する形状パラメータφ_lk、及び各個体ｕの各トピックｋに対する重み

を推定する。

具体的には、個体確率密度関数推定部２６は、トピック推定部２４によって得られたα、β，十分統計量

を用いて、以下の式（９）、（１０）に従って、各トピックｋに対する形状パラメータφ_lk、及び各個体ｕの各トピックｋに対する重み

を推定する。

なお、本実施の形態では、各トピックｋに対する形状パラメータφ_lk、及び各個体ｕの各トピックｋに対する重み

の推定値として、それぞれの事後確率の平均を採用する。

・・・（９）

・・・（１０）

また、個体確率密度関数推定部２６は、上記式（９）、（１０）で得られた結果を用いて、各個体ｕについて、推定された各トピックに対する形状パラメータφ_lkに基づく各トピックに対するヒストグラムの、推定された個体の各トピックに対する重みを用いた線形和で表される個体ｕが生成する連続値データの確率密度関数の推定値

を、出力部４０より出力する。

・・・（１１）

ただし、ヒストグラム

は式（２）で定義される。

ここで、個体の確率密度関数は

で表現される。個体ｕごとに

（１≦ｋ≦Ｋ）が出力され、トピックｋごとに分割数Ｗ_kと、単位化されたビン幅Δ_lkと、φ_lk（１≦ｌ≦Ｗｋ）が出力され、そして共通の定義域としてＴ≡［Ｔ₀，Ｔ₁］が出力される。出力例を表２に示す。なお、表２では、トピック数Ｋ＝３の場合の例を示している。

＜本発明の第１の実施の形態に係る連続値予測装置の構成＞
次に、本発明の第１の実施の形態に係る連続値予測装置の構成について説明する。図２に示すように、本発明の第１の実施の形態に係る連続値予測装置２００は、ＣＰＵと、ＲＡＭと、後述する連続値予測処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この連続値予測装置２００は、機能的には図２に示すように入力部５０と、演算部６０と、出力部７０とを備えている。連続値予測装置２００は、予測対象の個体が将来生成する連続値データを予測する。

入力部５０は、予測対象の個体ｕに対して予め確率密度関数推定装置１００によって推定された、各トピックｋに対するヒストグラムを特徴付ける形状パラメータφ_lk、各トピックに対する重み

と、各トピックに対するヒストグラムの分割数Ｗ_kと、各トピックに対するヒストグラムのビン幅Δ_lkとを受け付ける。

演算部６０は、連続値予測部６２を含んで構成されている。

連続値予測部６２は、入力部５０により受け付けた、各トピックｋに対するヒストグラムを特徴付ける形状パラメータφ_lk、各トピックに対する重み

、各トピックに対するヒストグラムの分割数Ｗ_k、各トピックに対するヒストグラムのビン幅Δ_lkに基づいて、各トピックに対するヒストグラムの、個体ｕの各トピックに対する重み

を用いた線形和で表される、上記式（１１）に示す個体ｕ_jが生成する連続値データの確率密度関数に従って、予測対象の個体ｕが将来生成する連続値データを予測する。

具体的には、連続値予測部６２は、確率密度関数推定装置１００によって出力された予測対象の個体ｕの確率密度関数

を用いて、将来生成される連続値データの期待値Ｅ［ｔ^u］を計算し、連続値データの予測値として出力部７０により出力する。

＜本発明の第１の実施の形態に係る確率密度関数推定装置の作用＞
次に、本発明の第１の実施の形態に係る確率密度関数推定装置１００の作用について説明する。入力部１０において個体の個体ＩＤが付与された連続値データの集合を受け付けると、確率密度関数推定装置１００は、連続値データの集合を、連続値データ記憶部２２に格納する。また、入力部１０において、トピック数Ｋと、連続値の定義域と、トピックｋの各々のヒストグラムの分割数Ｗ_k及びビン幅Δ_lkとを受け付けると、確率密度関数推定装置１００は、図３に示す確率密度関数推定処理ルーチンを実行する。

まず、ステップＳ１００では、入力部１０において受け付けた連続値データの集合と、トピック数Ｋと、連続値の定義域と、トピックｋの各々のヒストグラムの分割数Ｗ_k及びビン幅Δ_lkとを取得する。

次に、ステップＳ１０２において、トピック推定部２４は、連続値データ記憶部２２に記憶された連続値データの集合に含まれる各連続値データについて、α、βの初期値又は前回のステップＳ１０４で推定されたα、βと、各連続値データについてのトピックｋの初期値又は前回の推定結果から得られる十分統計量Ｎ_ku、Ｎ_kl、Ｎ_kとに基づいて、上記式（６）に従って、各連続値データが所属するトピックｋを推定する。また、各連続値データについてのトピックｋの推定結果に基づいて十分統計量Ｎ_ku、Ｎ_kl、Ｎ_k、Ｎ_lを計算する。

ステップＳ１０４において、トピック推定部２４は、上記ステップＳ１０２で得られた各連続値データについてのトピックｋの推定結果から得られる十分統計量Ｎ_ku、Ｎ_kl、Ｎ_k、Ｎ_lに基づいて、各個体ｕの各トピックｋに対する重み

の分布を表すハイパーパラメータαと、各トピックに対するヒストグラムを特徴付ける形状パラメータφ._kの分布を表すハイパーパラメータβを、上記式（８）に従って更新する。

ステップＳ１０６において、ステップＳ１０２〜Ｓ１０４の処理が予め定められたＰ回繰り返したかを判定し、Ｐ回繰り返していなければステップＳ１０２へ戻ってステップＳ１０２〜Ｓ１０４の処理を繰り返し、Ｐ回繰り返していればステップＳ１０８へ移行する。

ステップＳ１０８において、個体確率密度関数推定部２６は、上記ステップＳ１０４で更新されたハイパーパラメータα、β、及び繰り返し毎に得られた、上記ステップＳ１０２で計算された各連続値データについてのトピックの計算結果（ｚ^（１），ｚ^（２），…，ｚ^（Ｐ））に対応する十分統計量

に基づく、上記式（９）、（１０）に示す、各トピックｋに対する形状パラメータφ_lkの事後確率の平均、及び各個体ｕの各トピックｋに対する重み

の事後確率の平均から、各トピックｋに対する形状パラメータφ_lk、及び各個体ｕの各トピックｋに対する重み

を推定する。

そして、ステップＳ１１０において、推定された各トピックｋに対する形状パラメータφ_lk、及び各個体ｕの各トピックｋに対する重み

を用いた、各個体ｕが生成する連続値データの確率密度関数の推定値

を、出力部４０より出力して、確率密度関数推定処理ルーチンを終了する。

＜本発明の第１の実施の形態に係る連続値予測装置の作用＞
次に、本発明の第１の実施の形態に係る連続値予測装置２００の作用について説明する。入力部５０において、予測対象の個体ｕについて確率密度関数推定装置１００により推定された、個体ｕが生成する連続値データの確率密度関数を受け付けると、連続値予測装置２００は、図４に示す予測処理ルーチンを実行する。

ステップＳ２００において、個体ｕが生成する連続値データの確率密度関数を取得する。

ステップＳ２０２において、連続値予測部６２は、入力部５０において受け付けた個体ｕが生成する連続値データの確率密度関数に基づいて、連続値データの期待値を計算し、予測値とする。

そして、ステップＳ２０４において、出力部７０は、上記ステップＳ２０２で得られた連続値データの予測値を結果として出力して、予測処理ルーチンを終了する。

以上説明したように、第１の実施の形態に係る確率密度関数推定装置によれば、各トピックに対する形状パラメータ、及び各個体の各トピックに対する重みを推定し、各個体について、推定された各トピックに対する前記形状パラメータに基づく各トピックに対するヒストグラムの、推定された個体の各トピックに対する重みを用いた線形和で表される、個体が生成する連続値データの確率密度関数を出力することにより、個体が生成する連続値データを表す正しい確率密度関数を推定することができる。

また、第１の実施の形態によれば、全個体の確率密度関数を少数のヒストグラムの線形和で表現し、かつ個体ごとの確率密度関数の違いを線形和の重みで表現し、かつ可変ビン幅ヒストグラムを構成することで、確率密度関数の推定を高精度かつ個体単位で実現することを可能とする。例えば、図５に示すような、可変ビン幅ヒストグラムを用いて、確率密度関数を推定することができる。

また、第１の実施の形態に係る連続値予測装置によれば、各トピックに対するヒストグラムを特徴付ける形状パラメータ、各トピックに対する前記ヒストグラムの分割数、各トピックに対する前記ヒストグラムのビン幅に基づく各トピックに対するヒストグラムの、個体の各トピックに対する重みを用いた線形和で表される、個体が生成する連続値データの確率密度関数に従って、予測対象の個体が生成する連続値データを予測することにより、個体が生成する連続値データを精度よく予測することができる。

［第２の実施の形態］
ついて説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第２の実施の形態では、所属トピックを推定すると同時に、各トピックのヒストグラムの分割数とビン幅を推定している点が、第１の実施の形態と異なっている。

＜本発明の第２の実施の形態に係る確率密度関数推定装置の構成＞
図６に示すように、第２の実施の形態に係る確率密度関数推定装置３００は、入力部１０、演算部３２０、及び出力部４０を備えている。

入力部１０は、複数の個体で観測された、当該個体の連続値データの集合の入力を受け付ける。また、入力部１０は、個体の確率密度関数を表現するためのヒストグラムの個数Ｋ、及び確率密度関数の定義域（連続値が取りうる値の範囲）

を入力として受け付ける。

演算部３２０は、連続値データ記憶部２２と、分割数ビン幅トピック推定部３２４と、個体確率密度関数推定部２６とを含んで構成されている。

分割数ビン幅トピック推定部３２４は、第１の実施の形態のトピック推定部２４と同様に、連続値データ記憶部２２に記憶された連続値データの集合に含まれる各連続値データについて、連続値の確率密度を表す、各トピックに対するヒストグラムの、トピックｋ毎に定められた分割数Ｗ_k及びビン幅Δ_lkを用いて表される、連続値データが所属するトピックｚの事後確率ｐ（ｚ｜ｔ，α，β，Ｗ，Δ）に従って、連続値データが所属するトピックｋを推定する。

また、分割数ビン幅トピック推定部３２４は、各トピックについて、各連続値データについてのトピックの推定結果と、トピックに対するヒストグラムのビン幅とを用いて表される、トピックに対するヒストグラムの分割数の事後確率ｐ（Ｗ｜ｚ、ｔ、α、β、Ｗ、Δ）に従って、トピックに対するヒストグラムの分割数を推定する。また、分割数ビン幅トピック推定部３２４は、各連続値データについてのトピックの推定結果と、各トピックに対するヒストグラムの分割数とを用いて表される、各トピックに対するヒストグラムのビン幅の事後確率ｐ（Δ｜ｚ、ｔ、α、β、Ｗ、Δ）に従って、各トピックに対するヒストグラムのビン幅を推定する。

また、分割数ビン幅トピック推定部３２４は、第１の実施の形態のトピック推定部２４と同様に、各連続値データについてのトピックｋの推定結果に基づいて、各個体ｕの各トピックｋに対する重み

の分布を表すハイパーパラメータαと、各トピックに対するヒストグラムを特徴付ける形状パラメータφ._kの分布を表すハイパーパラメータβとを推定する。トピック推定部２４は、上記のトピックの推定、分割数の推定、ビン幅の推定、及びハイパーパラメータの推定を繰り返し行う。

分割数ビン幅トピック推定部３２４で行われる、具体的な計算方法について以下に詳述する。

まず、第１の実施の形態のトピック推定部２４と同様に、所属トピックのギブスサンプリングを一度実行する。次に、分割数Ｗのサンプリングを得るために、事前分布としてディリクレ分布

・・・（１２）

を仮定し、上記式（５）の同時分布をビン幅 Δについて周辺化を行う。γはディリクレ分布のパラメータである。周辺化はBayesian Information Criteria（上記非特許文献3）に基づき近似的に実行される。

・・・（１３）

ただし、Δ^*はビン幅の最大事後確率推定値である。

・・・（１４）

さらに分割数に関する無情報事前分布として一様分布

・・・（１５）

を仮定し、分割数Ｗについてのギブスサンプリングの公式

・・・（１６）

を得る。上記式（１６）に従い分割数Ｗのサンプリングを実行する。その際同時にビン幅は式（１４）により与えられる。経験的に分割数Ｗの分布は鋭いので、最後のサンプリングで得られた分割数

を推定値とする。未知のハイパーパラメータα、βの更新式は上記式（８）と同様にして以下の（１７）式で与えられる。

・・・（１７）

個体確率密度関数推定部２６は、分割数ビン幅トピック推定部３２４によって得られたα、β、十分統計量

、Ｗ、Δを用いて、上記の式（９）、（１０）に従って、各トピックｋに対する形状パラメータφ_lk、及び各個体ｕの各トピックｋに対する重み

を推定する。

また、個体確率密度関数推定部２６は、上記式（９）、（１０）で得られた結果を用いて、各個体ｕについて、推定された各トピックに対する形状パラメータφ_lkに基づく各トピックに対するヒストグラムの、推定された個体の各トピックに対する重みを用いた線形和で表される個体ｕが生成する連続値データの確率密度関数の推定値

を、出力部４０より出力する。

なお、第２の実施の形態に係る確率密度関数推定装置３００の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

＜本発明の第２の実施の形態に係る連続値予測装置の構成＞
第２の実施の形態に係る連続値予測装置は、第１の実施の形態と同様に、予測対象の個体ｕについて確率密度関数推定装置３００により推定された、個体ｕが生成する連続値データの確率密度関数に基づいて、連続値データの期待値を計算し、予測値とする。

以上説明したように、第２の実施の形態に係る確率密度関数推定装置によれば、各トピックに対するヒストグラムの分割数、及び各トピックに対するヒストグラムのビン幅を推定し、各トピックに対する形状パラメータ、及び各個体の各トピックに対する重みを推定し、各個体について、推定された各トピックに対する形状パラメータ、各トピックに対する分割数、各トピックに対するビン幅に基づく各トピックに対するヒストグラムの、推定された個体の各トピックに対する重みを用いた線形和で表される、個体が生成する連続値データの確率密度関数を出力することにより、個体が生成する連続値データを表す正しい確率密度関数を推定することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上記実施の形態に係る確率密度関数推定装置１００、３００は、連続値データ記憶部２２を備えている場合について説明したが、例えば連続値データ記憶部２２が確率密度関数推定装置１００、３００の外部装置に設けられ、確率密度関数推定装置１００、３００は、外部装置と通信手段を用いて通信することにより、連続値データ記憶部２２を参照するようにしてもよい。

また、上記実施の形態では、確率密度関数推定装置１００、３００と連続値予測装置２００とを別々の装置として構成する場合を例に説明したが、確率密度関数推定装置１００、３００と連続値予測装置２００とを１つの装置として構成してもよい。

また、上述の確率密度関数推定装置及び連続値予測装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０、５０ 入力部
２０、６０、３２０ 演算部
２２ 連続値データ記憶部
２４ トピック推定部
２６ 個体確率密度関数推定部
４０、７０ 出力部
６２ 連続値予測部
１００、３００ 確率密度関数推定装置
２００ 連続値予測装置
３２４ 分割数ビン幅トピック推定部

Claims (7)

1. 複数の個体で観測された、前記個体が生成した連続値データの集合を入力とし、前記連続値データの集合に含まれる各連続値データについて、連続値の確率密度を表す、各トピックに対するヒストグラムの、前記トピック毎に定められた分割数及びビン幅を用いて表される、前記連続値データが所属するトピックの事後確率に従って、前記連続値データが所属するトピックを推定し、
   各連続値データについての前記トピックの推定結果に基づいて、各個体の各トピックに対する重みの分布を表すハイパーパラメータと、各トピックに対するヒストグラムを特徴付ける形状パラメータの分布を表すハイパーパラメータとを推定するトピック推定部と、
   前記トピック推定部によって推定された、前記重みの分布を表すハイパーパラメータ、前記形状パラメータの分布を表すハイパーパラメータ、及び各連続値データについての前記トピックの推定結果に基づく、前記形状パラメータの事後確率、及び前記重みの事後確率に従って、各トピックに対する前記形状パラメータ、及び各個体の各トピックに対する重みを推定し、各個体について、前記推定された各トピックに対する前記形状パラメータに基づく各トピックに対するヒストグラムの、前記推定された個体の各トピックに対する重みを用いた線形和で表される、前記個体が生成する連続値データの確率密度関数を出力する個体確率密度関数推定部と、
   を含む確率密度関数推定装置。
2. 複数の個体で観測された、前記個体が生成した連続値データの集合を入力とし、前記連続値データの集合に含まれる各連続値データについて、連続値の確率密度を表す、各トピックに対するヒストグラムの、前記トピック毎の分割数及びビン幅を用いて表される、前記連続値データが所属するトピックの事後確率に従って、前記連続値データが所属するトピックを推定し、
   各トピックについて、各連続値データについての前記トピックの推定結果と、前記トピックに対するヒストグラムのビン幅とを用いて表される、前記トピックに対するヒストグラムの分割数の事後確率に従って、前記トピックに対するヒストグラムの分割数を推定し、
   各連続値データについての前記トピックの推定結果と、各トピックに対するヒストグラムの分割数とを用いて表される、各トピックに対するヒストグラムのビン幅の事後確率に従って、各トピックに対するヒストグラムのビン幅を推定し、
   各連続値データについての前記トピックの推定結果に基づいて、各個体の各トピックに対する重みの分布を表すハイパーパラメータと、各トピックに対するヒストグラムを特徴付ける形状パラメータの分布を表すハイパーパラメータとを推定する分割数ビン幅トピック推定部と、
   前記分割数ビン幅トピック推定部によって推定された、前記重みの分布を表すハイパーパラメータ、前記形状パラメータの分布を表すハイパーパラメータ、及び各連続値データについての前記トピックの推定結果に基づく、前記形状パラメータの事後確率、及び前記重みの事後確率に従って、各トピックに対する前記形状パラメータ、及び各個体の各トピックに対する重みを推定し、前記推定された各トピックに対する前記形状パラメータ、前記分割数、及び前記ビン幅に基づく各トピックに対するヒストグラムの、前記推定された個体の各トピックに対する重みを用いた線形和で表される、前記個体が生成する連続値データの確率密度関数を出力する個体確率密度関数推定部と、
   を含む確率密度関数推定装置。
3. 予測対象の個体が生成する連続値データを予測する連続値予測装置であって、
   前記予測対象の個体に対して予め求められた、連続値の確率密度を表す、各トピックに対するヒストグラムを特徴付ける形状パラメータ、各トピックに対する前記ヒストグラムの分割数、各トピックに対する前記ヒストグラムのビン幅に基づく各トピックに対するヒストグラムの、前記個体の各トピックに対する重みを用いた線形和で表される、個体が生成する連続値データの確率密度関数に従って、前記予測対象の個体が生成する連続値データを予測する連続値予測部
   を含む連続値予測装置。
4. トピック推定部が、複数の個体で観測された、前記個体が生成した連続値データの集合を入力とし、前記連続値データの集合に含まれる各連続値データについて、連続値の確率密度を表す、各トピックに対するヒストグラムの、前記トピック毎に定められた分割数及びビン幅を用いて表される、前記連続値データが所属するトピックの事後確率に従って、前記連続値データが所属するトピックを推定し、
   各連続値データについての前記トピックの推定結果に基づいて、各個体の各トピックに対する重みの分布を表すハイパーパラメータと、各トピックに対するヒストグラムを特徴付ける形状パラメータの分布を表すハイパーパラメータとを推定し、
   個体確率密度関数推定部が、前記トピック推定部によって推定された、前記重みの分布を表すハイパーパラメータ、前記形状パラメータの分布を表すハイパーパラメータ、及び各連続値データについての前記トピックの推定結果に基づく、前記形状パラメータの事後確率、及び前記重みの事後確率に従って、各トピックに対する前記形状パラメータ、及び各個体の各トピックに対する重みを推定し、各個体について、前記推定された各トピックに対する前記形状パラメータに基づく各トピックに対するヒストグラムの、前記推定された個体の各トピックに対する重みを用いた線形和で表される、前記個体が生成する連続値データの確率密度関数を出力する
   確率密度関数推定方法。
5. 分割数ビン幅トピック推定部が、複数の個体で観測された、前記個体が生成した連続値データの集合を入力とし、前記連続値データの集合に含まれる各連続値データについて、連続値の確率密度を表す、各トピックに対するヒストグラムの、前記トピック毎の分割数及びビン幅を用いて表される、前記連続値データが所属するトピックの事後確率に従って、前記連続値データが所属するトピックを推定し、
   各トピックについて、各連続値データについての前記トピックの推定結果と、前記トピックに対するヒストグラムのビン幅とを用いて表される、前記トピックに対するヒストグラムの分割数の事後確率に従って、前記トピックに対するヒストグラムの分割数を推定し、
   各連続値データについての前記トピックの推定結果と、各トピックに対するヒストグラムの分割数とを用いて表される、各トピックに対するヒストグラムのビン幅の事後確率に従って、各トピックに対するヒストグラムのビン幅を推定し、
   各連続値データについての前記トピックの推定結果に基づいて、各個体の各トピックに対する重みの分布を表すハイパーパラメータと、各トピックに対するヒストグラムを特徴付ける形状パラメータの分布を表すハイパーパラメータとを推定し、
   個体確率密度関数推定部が、前記分割数ビン幅トピック推定部によって推定された、前記重みの分布を表すハイパーパラメータ、前記形状パラメータの分布を表すハイパーパラメータ、及び各連続値データについての前記トピックの推定結果に基づく、前記形状パラメータの事後確率、及び前記重みの事後確率に従って、各トピックに対する前記形状パラメータ、及び各個体の各トピックに対する重みを推定し、前記推定された各トピックに対する前記形状パラメータ、前記分割数、及び前記ビン幅に基づく各トピックに対するヒストグラムの、前記推定された個体の各トピックに対する重みを用いた線形和で表される、前記個体が生成する連続値データの確率密度関数を出力する
   確率密度関数推定方法。
6. 予測対象の個体が生成する連続値データを予測する連続値予測装置における連続値予測方法であって、
   連続値予測部が、前記予測対象の個体に対して予め求められた、連続値の確率密度を表す、各トピックに対するヒストグラムを特徴付ける形状パラメータ、各トピックに対する前記ヒストグラムの分割数、各トピックに対する前記ヒストグラムのビン幅に基づく各トピックに対するヒストグラムの、前記個体の各トピックに対する重みを用いた線形和で表される、個体が生成する連続値データの確率密度関数に従って、前記予測対象の個体が生成する連続値データを予測する
   連続値予測方法。
7. コンピュータを、請求項１若しくは請求項２に記載の確率密度関数推定装置、又は請求項３に記載の連続値予測装置を構成する各部として機能させるためのプログラム。