JP6233432B2 - 混合モデルの選択方法及び装置 - Google Patents

Description

本発明の実施形態は、一般に、機械学習の分野に関し、より具体的には、混合モデルの選択の方法及び装置に関する。

混合モデルは、混合分布を用いる密度推定のための確率モデルの一種であり、母集団全体の内部の部分母集団の存在を表し得る。混合モデルは、ガウス混合モデル、区分線形混合モデルなどのモデルの一群を含み得るが、それらは、文書の分類、手書き文字認識、ファジー画像分割などの、広い範囲の領域に適用されてきた。

混合モデルのモデル選択は、実際には、モデルパラメータとともにモデル表現を最適化する、最も重要且つ困難な課題の一つである。混合モデルのモデル選択の技術分野において、複数の方法が提案されてきたが、それらの間で、周辺対数尤度の解析的近似を分配しようとする変分推論が、より効率的な方法である。しかし、変分推論は、初期化に敏感である。もし、初期化が不適切ならば、変分推論の効果は悪くなるかもしれず、ひいては、モデルが正確に推定されない可能性がある。それゆえ、初期化は、変分推論の精度及び効率に影響を与える重要な要素である。

現在、変分推論のための初期化方法は、例えば、ランダムな初期化、クラスタリングに基づく初期化などを含み得る。しかし、ランダムな初期化は、大抵、多数の初期化を試行することによって実現されるため、処理には相当時間がかかり、ひいては、モデル選択は、低速で実現される。クラスタリングに基づく初期化は、クラスタリング目標の混合モデル（例えば、ガウス混合モデル）では効率的であるが、回帰／分類目標の混合モデルではうまくいかない。それゆえ、クラスタリングに基づく初期化は、普遍性に乏しい。

それゆえ、混合モデルの選択のための、より汎用的で効率的な初期化方法に対する必要性が存在する。

一般に、本発明の実施形態は、混合モデルの選択のための技術的解決を提案する。

本発明の１つの観点において、混合モデルの選択方法が提供される。当該方法は、トレーニングサンプルセットに基づいて候補モデルを判別することと、１つ以上の第１の初期化された潜在的変数及び前記候補モデルの更新潜在的変数に基づいて第２の初期化された潜在的変数のセットを生成することであって、前記候補モデルは、前記第１の初期化された潜在的変数に従って生成され、前記更新潜在的変数は、前記候補モデルによって出力されたサンプルのグルーピングの結果を表す、第２の初期化された潜在的変数のセットを生成することと、前記第２の初期化された潜在的変数のセットに基づいて、目標モデルを判別することと、を含む。

本発明の別の観点において、混合モデルの選択装置が提供される。当該装置は、トレーニングサンプルセットに基づいて候補モデルを判別するように構成された候補モデル判別ユニットと、１つ以上の第１の初期化された潜在的変数及び前記候補モデルの更新潜在的変数に基づいて第２の初期化された潜在的変数のセットを生成するように構成された生成ユニットであって、前記候補モデルは、前記第１の初期化された潜在的変数に従って生成され、前記更新潜在的変数は、前記候補モデルによって出力されたサンプルのグルーピングの結果を表す、生成ユニットと、前記第２の初期化された潜在的変数のセットに基づいて目標モデルを判別するように構成された目標モデル判別ユニットと、を備える。

本発明の実施形態によれば、候補モデルの初期化された潜在的変数及び更新潜在的変数に基づいて、良好な性能で、新たな初期化された潜在的変数が生成され、その後、新たに初期化された潜在的変数に基づいて、新たなモデルが得られる。これは、特定の種類の混合モデルに限定されない。それゆえ、本発明による解決方法は、広範な応用性を誇る。本発明の他の特徴及び利点は、以下の記載から明らかになる。

本開示の上記の、及び、他の目的、特徴及び利点は、添付の図面における本発明の好適な実施形態のより詳細な記載からより明らかになる。

図１は、本発明の一実施形態による混合モデルの選択方法の概略的なフローチャートを示す。 図２は、本発明の一実施形態による混合モデルの選択方法の概略的なフローチャートを示す。 図３Ａは、本発明の一実施形態による目標の初期化された潜在的変数を判別する方法の概略的なフローチャートを示す。 図３Ｂは、本発明の一実施形態による目標の初期化された潜在的変数を判別する方法の概略的なフローチャートを示す。 図４は、本発明の一実施形態による混合モデルの選択方法のグラフィカルな表現の概略図を示す。 図５は、本発明の一実施形態による混合モデルの選択装置の概略ブロック図を示す。 図６は、本発明の実施形態を実施するために適用可能な例示的なコンピュータシステムの概略ブロック図を示す。

同一又は類似の数字は、全ての図面にわたって同一又は類似の要素を表す。

本発明の複数の好適な実施形態が、本開示の好適な実施形態が示された添付の図面を参照して、より詳細に説明される。しかし、本開示は、種々の方法で実施され得るため、ここで開示された実施形態に限定されて解釈されるべきではない。反対に、それらの実施形態は、本開示の徹底的且つ完全な理解のため、及び、当該分野における通常の知識を有する者に本開示の範囲を完全に伝えるために提供される。

本発明の仕組み及び原理が詳細に説明される。そうでないことが示されない限り、以下及び請求の範囲で用いられている「基づく」（ｂａｓｅｄ ｏｎ）という用語は、「少なくとも部分的に基づく」（ａｔ ｌｅａｓｔ ｐａｒｔｉａｌｌｙ ｂａｓｅｄ ｏｎ）ことを意味する。「含む」（備える、有する、ｃｏｍｐｒｉｓｅ）という用語は、「限定なく含む」（ｉｎｃｌｕｄｅ ｗｉｔｈｏｕｔ ｌｉｍｉｔａｔｉｏｎ）ことを表す。「複数の」（ａ／ｔｈｅ ｐｌｕｒａｌｉｔｙ ｏｆ）という用語は、「２つ以上の」（ｔｗｏ ｏｒ ｍｏｒｅ）を表す。「一実施形態」（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）という用語は、「少なくとも１つの実施形態」（ａｔ ｌｅａｓｔ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）を表し、「別の実施形態」（ａｎｏｔｈｅｒ ｅｍｂｏｄｉｍｅｎｔ）という用語は、「少なくとも１つの別の実施形態」（ａｔ ｌｅａｓｔ ｏｎｅ ａｎｏｔｈｅｒ ｅｍｂｏｄｉｍｅｎｔ）を表す。他の用語の関連する定義は、以下の記載において提示される。

図１は、本発明の一実施形態による混合モデルの選択方法１００のフローチャートを示す。従来、変分推論のための初期化方法は、ランダムな初期化、クラスタリングに基づく初期化などの手法を採用する。しかし、これらの初期化方法は、一般に、低い処理速度、狭い応用性などの課題を抱えており、これらは、混合モデルの選択において、極めて重大な（ａｌｌ ｂｕｒｎｉｎｇ）課題である。以下の記載から理解されるように、これらの課題は、本発明の一実施形態による方法１００によって効果的に解決され得る。

ステップＳ１１０において、方法１００が開始し、候補モデルは、トレーニングサンプルセットに基づいて判別される。

本発明の実施形態において、「潜在的変数」（ｌａｔｅｎｔ ｖａｒｉａｂｌｅｓ）は、直接観測されないが、サンプルデータに由来する変数を表し得る。潜在的変数の変分分布は、サンプルデータを対応するカテゴリへクラスタリングする確率を記述するために用いられ得る。本発明の実施形態において、「潜在的変数」は、一種類の変数に限定されず、「潜在的変数の変分分布」（ｖａｒｉａｔｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｏｆ ｌａｔｅｎｔ ｖａｒｉａｂｌｅｓ）及び／又は他の適切な情報を含み得ることに注意されたい。この開示において、潜在的変数は、初期化された潜在的変数、更新された潜在的変数などを含んでもよく、初期化された潜在的変数は、トレーニングのための潜在的変数を表し、更新された潜在的変数は、トレーニングから生じた潜在的変数を表す。本開示の文脈を通して、「更新された潜在的変数」（ｕｐｄａｔｅｄ ｌａｔｅｎｔ ｖａｒｉａｂｌｅｓ）は、「更新潜在的変数」（ｕｐｄａｔｅ ｌａｔｅｎｔ ｖａｒｉａｂｌｅｓ）と呼ばれることがある。すなわち、これらの用語は、互いに同義に用いられ得る。

本発明の実施形態において、「モデル」（ｍｏｄｅｌｓ）は、典型的には、候補モデル、中間モデル、目標モデルなどの、混合モデルに言及している。モデルは、初期化された潜在的変数をトレーニングすることによって、生成され得る。そのように生成されたモデルは、モデル構造、モデルパラメータ、更新された潜在的変数の変分分布などを含み得る。モデルパラメータは、混合モデルの種類が変化するに従って、変わり得る。典型的には、混合モデルは、一種のモデルの一般用語であり、１つの混合モデルは、複数のサブモデルから構成され得る。このように、モデルパラメータは、特定の混合モデルの種類と関係している。例として、ガウス混合モデルでは、モデルパラメータは、それぞれのサブモデルが従うガウス分布の平均及び分散を含み得る。区分線形混合モデルでは、モデルパラメータは、ゲートノードの条件制御パラメータと、リーフノードの回帰係数及び分散とを含み得る。モデル構造は、混合モデルの種類にも関係する。例として、ガウス混合モデルでは、モデル構造は、サブモデルの数やサブモデルの結合係数などを含み得る。区分線形モデルでは、モデル構造は、学習されたツリー構造を含み得る。上記の例は、単に検討目的のためであり、いかなる態様においても、本発明の範囲を限定することは意図されていないことを理解されたい。さらに、本発明の実施形態で言及される「統計モデル」（ｓｔａｔｉｓｔｉｃａｌ ｍｏｄｅｌ）は、混合モデルとは異なる。統計モデルは、例えば、ガウス過程モデル、スチューデントのｔ過程モデルなどを含み得る。

本発明の一実施形態において、ステップＳ１１０で、１つ以上の第１の初期化された潜在的変数が、トレーニングサンプルセットに基づいて判別され、候補モデルが、当該第１の初期化された潜在的変数に従って生成され得る。第１の初期化された潜在的変数は、トレーニングサンプルセットにおいて、ランダムにグルーピング又はクラスタリングを行うことによって取得され得る。第１の初期化された潜在的変数は、行列、データセット又は他の適切な形式の形をとり得る。一実施形態において、第１の初期化された潜在的変数は、ｋ×ｎ次元の行列であり得、ｋは、当該行列の行数であり、当該第１の初期化された潜在的変数のサンプルグループの数を表し、ｎは当該行列の列数であり、トレーニングサンプルセットにおけるサンプルの数を表す。行列中の１つの行は、１つのサンプルグループに対応し、それぞれの行におけるそれぞれの要素の値は、０又は１であり得る。例えば、ある行列の行におけるｉ番目の要素が１ならば、この行に対応するサンプルグループは、トレーニングサンプルセット中のｉ番目のサンプルを含むことを意味し、この行におけるｊ番目の要素が０ならば、この行に対応するサンプルグループは、トレーニングサンプルセット中のｊ番目の要素を含まないことを意味する。この行列中の要素の値は、必ずしも０又は１ではなく、任意の他の適切な数値であってもよいことを理解されたい。上記の例は、単に検討目的のためであり、本発明の範囲を限定することは意図されていない。別の実施形態において、第１の初期化された潜在的変数は、例えば、それぞれが１つ以上のサンプルからなるｋ個のサンプルグループを含み得る、データセットであってもよい。上記の例は、単に検討目的のためであり、本発明の範囲を限定することは意図されていないことを理解されたい。当該分野における通常の知識を有する者は、任意の適切な方法で第１の初期化された潜在的変数を実装し得る。

トレーニングサンプルセットに基づいて、複数の第１の初期化された潜在的変数を判別するとき、ステップＳ１１０において判別された候補モデルとして、複数のモデルが生成され得る。代替的に又は追加的に、生成される複数のモデルの１つが、ステップＳ１１０において判別される候補モデルとして選択され得る。選択は、種々の方法で実施され得る。例えば、１つ以上の候補モデルが、生成される複数のモデルからランダムに選択されてもよく、又は、選択は、複数の順序で、若しくは、特定の要件に従って、実行されてもよい。上記の例は、単に検討目的のためであり、本発明の範囲を限定することは意図されていないことを理解されたい。当該分野における通常の知識を有する者は、複数のモデルから１つ以上の候補モデルを選択する任意の適切な選択方法を用い得る。

例えば、本発明による一実施形態において、ステップＳ１１０で、トレーニングサンプルセットに基づいて、複数の第１の初期化された潜在的変数が判別され、当該複数の第１の初期化された潜在的変数に基づいて、複数の初期モデルが生成され、当該複数の初期モデルのパフォーマンスに応じて、１つ以上の複数の初期モデルが、候補モデルとして選択され得る。

モデルのパフォーマンスは、精度、時間効率などの様々な要因を含み得る。モデルのパフォーマンスは、例えば、平均二乗誤差のルート、平均絶対誤差、尤度比を計算することなどの、様々な方法で判別され得る。精度を一例として取り上げよう。予測／分類混合モデルのために、候補モデルがテストデータの予測／分類に用いられ、それによって、対応する予測／分類精度が取得され得る。クラスタリングモデルのために、標準的な相互情報などの候補モデルのクラスタリング精度が計算され得る。

次に、方法１００は、ステップＳ１２０に進み、当該ステップにおいて、１つ以上の第１の初期化された潜在的変数及び候補モデルの更新潜在的変数に基づいて、第２の初期化された潜在的変数のセットが生成される。

本発明の実施形態によれば、第２の初期化された潜在的変数のセットが、第１の初期化された潜在的変数及び／又は候補モデルの更新潜在的変数に基づいて生成されてもよく、候補モデルは、第１の初期化された潜在的変数に従って生成され、更新潜在的変数は、候補モデルによって出力されるサンプルのグルーピングの結果を表す。

本発明による一実施形態において、ステップＳ１２０で、第３の初期化された潜在的変数のセットが、候補モデルの第１の初期化された潜在的変数に基づいて生成され、第４の初期化された潜在的変数のセットが、候補モデルの更新潜在的変数に基づいて生成され、第２の初期化された潜在的変数のセットが、当該第３の初期化された潜在的変数のセット及び当該第４の初期化された潜在的変数のセットに基づいて判別され得る。

第３の初期化された潜在的変数のセットは、第１の初期化された潜在的変数に関する１つ以上の潜在的変数を含み、様々な方法で生成され得る。一実施形態において、第３の初期化された潜在的変数のセットにおける、第３の初期化された潜在的変数は、参照潜在的変数と候補モデルの第１の初期化された潜在的変数との重み付き和を計算することによって生成され得る。

第４の初期化された潜在的変数のセットは、更新潜在的変数に関する１つ以上の潜在的変数を含み、様々な方法で生成され得る。一実施形態において、サンプルグループは、候補モデルの更新潜在的変数における複数のサンプルグループから選択され、選択されたサンプルグループは、複数のサブグループに分割され、第４の初期化された潜在的変数のセットにおける第４の初期化された潜在的変数は、当該複数のサブグループに基づいて判別され得る。

まだ図１を参照すると、方法１００は、ステップＳ１３０に進み、目標モデルは、第２の初期化された潜在的変数のセットに基づいて判別される。

本発明の実施形態によれば、ステップＳ１２０において生成された第２の初期化された潜在的変数のセットは、１つ以上の第２の初期化された潜在的変数を有し得る。一実施形態において、ステップＳ１２０を通して取得された第２の初期化された潜在的変数の数が１ならば、ステップＳ１３０において、第２の初期化された潜在的変数をトレーニングすることによってモデルを取得し、それを目標モデルとして判別することが可能である。

別の実施形態において、ステップＳ１２０で、複数の第２の初期化された潜在的変数が生成されたならば、ステップＳ１３０で、複数の第２の初期化された潜在的変数をトレーニングすることによって、複数の中間モデルが生成され、目標モデルは、中間モデルのパフォーマンスに基づいて判別され得る。例えば、それぞれの中間モデルのパフォーマンスに応じて、中間モデルの１つが、目標モデルとして選択され得る。

本発明の実施形態によれば、代替的な解決方法として、ステップＳ１３０において、第２の初期化された潜在的変数のセットが、さらに処理されてもよく、第２の初期化された潜在的変数のサブセットが選択され、サブセットに基づいて、目標モデルが選択され得る。一実施形態において、ステップＳ１３０で、事前に定義された統計モデルを用いて、第２の初期化された潜在的変数のセットに基づいて、目標の初期化された潜在的変数のセットが判別され、中間モデルが、目標の初期化された潜在的変数のセットにおけるそれぞれの目標の初期化された潜在的変数をトレーニングすることによって生成され、目標モデルは、中間モデルのパフォーマンスに基づいて、判別され得る。目標の初期化された潜在的変数のセットを判別するプロセスのために、図３に示されたフローチャートを参照して以下で説明が提示される。

上記の説明から理解されるように、本発明の実施形態は、特定の種類の混合モデルの要求する特定の特徴に関係しないため、良好な普遍性を有し、特定の種類の混合モデルに限定されない。さらに、本発明の実施形態は、効率的な解決方法である。図２に示される実施形態を通して、本発明の実施形態のさらなる利点に対する検討が以下でなされる。

図２は、本発明の一実施形態による混合モデル選択方法２００の概略フローチャートを示す。方法２００は、方法１００の特定の実施形態としてみなされてもよい。説明されている実施形態は、単に検討目的のためであり、本発明の範囲をいかなる態様においても、限定することは意図されていないことを理解されたい。

ステップＳ２１０において、方法２００が開始し、トレーニングサンプルセットに基づいて、複数の第１の初期化された潜在的変数が判別される。

図２に示された実施形態において、トレーニングサンプルセットは、複数のサンプルからなるセットである（サンプルデータとも呼ばれる）。それぞれのサンプルは、複数のパラメータによって特徴付けられ得る。１つのサンプルは、（ｘ，ｙ）と表されてもよく、ｘはサンプルの１又は複数の特徴を表し、ｙはそのサンプルに対する推定値を表す。例えば、電力消費データのサンプルのｘは、今日の電力消費、気温、湿度などを含んでいてもよく、ｙは、推定される明日の電力消費を表してもよい。すなわち、ｘ＝［今日の電力消費，気温，湿度，…］、ｙ＝明日の電力消費、である。以下の検討において言及される、「サンプルグループ」は、サンプルのグループを表し、１つ以上のサンプルを含み得る。以下の検討において言及される、「サンプルのグループ（化）／グルーピング」は、それぞれがサンプルグループである複数のグループにサンプルを分割することを意味する。

本発明の実施形態によれば、ステップＳ２１０において、複数の第１の初期化された潜在的変数は、トレーニングサンプルセットからランダムに生成され得る。別の解決方法として、トレーニングサンプルセットにおけるサンプルは、複数の第１の初期化された潜在的変数が生成されるように、クラスタリングされてもよい。さらに、当該分野における通常の知識を有する者にとって利用可能な他の方法が、トレーニングサンプルセットに基づいて第１の初期化された潜在的変数を判別するために用いられてもよい。上記の実施例は、本発明を限定しない。

ステップＳ２２０において、複数の第１の初期化された潜在的変数に基づいて、複数の初期モデルが生成される。

本発明の実施形態によれば、複数の第１の初期化された潜在的変数の中のそれぞれの第１の初期化された潜在的変数に関し、それぞれの第１の初期化された潜在的変数に対応する初期モデルが生成されるように、トレーニングサンプルセットが学習される。一実施形態において、それぞれの第１の初期化された潜在的変数のために、トレーニングサンプルセット上で、教師あり学習又は教師なし学習が実行され、モデル構造、更新された潜在的変数（又は更新された潜在的変数の変分分布）及び混合モデルのモデルパラメータが自動的に学習され得る。このように、対応する初期モデルが取得される。このようにして、複数の第１の初期化された潜在的変数に対応する複数の初期モデルが取得され得る。

次に、方法２００は、ステップＳ２３０に進み、複数の候補モデルのパフォーマンスに基づいて、１つ以上の候補モデルが、複数の候補モデルから選択される。

モデルのパフォーマンスは、モデルの精度、時間効率などを計算することによって取得され得る。精度を例として取り上げよう。予測／分類混合モデルでは、モデル構造、モデルパラメータ及び候補モデルの更新された潜在的変数の変分分布が、テストデータの予測／分類において用いられ得、それによって、対応する予測／分類精度を取得する。クラスタリングモデルでは、標準的な相互情報などの、候補モデルのクラスタリング精度が、計算され得る。時間効率などのモデルの他の関連する要因を判別することによって、精度に加えて、初期モデルのパフォーマンスが、さらに取得され得ることを理解されたい。上記の例は、単に検討目的のためであり、本発明を限定することは意図されていない。

候補モデルを複数の初期モデルから選択することは、様々な方法で実現され得る。一実施形態において、より良好なパフォーマンスを有する１つ以上の候補モデルが候補モデルとして選択されるように、複数の候補モデルからなるより大きなセットが、より小さなセットに縮小され得る。一実施形態において、複数の初期モデルの中のそれぞれの初期モデルのパフォーマンスが、モデル構造、モデルパラメータ及びそれぞれの初期モデルの更新された潜在的変数の変分分布に基づいて判別され得る。その後、複数の初期モデルは、判別されたパフォーマンスに基づいてランク付けされ得る。例えば、複数の初期モデルは、パフォーマンスによって降順に並べられ得る。このように、複数の初期モデルのランキングにおける最上位の初期モデルが、候補モデルとして選択され得る。この場合には、ステップＳ２３０において取得される候補モデルの数は、１である。代替として、複数の初期モデルのランキングにおける上位の２つ以上の初期モデルが、候補モデルとして選択されてもよい。この場合には、ステップＳ２３０において、初期モデルの中でより良好なパフォーマンスを有する、複数の候補モデルが取得される。

まだ図２を参照すると、方法２００は、ステップＳ２４０に進み、候補モデルの第１の初期化された潜在的変数に基づいて、第３の初期化された潜在的変数のセットが生成される。

一実施形態において、第３の初期化された潜在的変数のセットにおける第３の初期化された潜在的変数が、参照潜在的変数と候補モデルの第１の初期化された潜在的変数との重み付き和を計算することによって、生成され得る。参照潜在的変数は、均一に集められた潜在的変数であってもよく、第１の初期化された潜在的変数と同一の形式、例えば、ｋ×ｎ次元の行列、をとってもよく、ｋは、行列の行数であり、第１の初期化された潜在的変数のサンプルグループの数を表し、ｎは、行列の列数であり、トレーニングサンプルセットにおけるサンプルの数を表す。一実施形態において、第１の初期化された潜在的変数がｑｚ＿ｉｎｉｔｉａｌ、参照潜在的変数がｑｚ＿ｎｅｗとして表されるとすると、第３の初期化された潜在的変数は、以下のように計算され得る。

ここで、ａは、第１の初期化された潜在的変数に対する重み付け係数を表し、ｑｚは、第３の初期化された潜在的変数を表し、ｑｚは、ｋ×ｎ次元の行列でもあり、当該行列におけるそれぞれの要素の値は、０若しくは１、又は当業者によって広く用いられる他の適切な数値であり得る。

従って、第３の初期化された潜在的変数のセットは、

と判別される。

ステップＳ２５０において、第４の初期化された潜在的変数のセットが、候補モデルの更新潜在的変数に基づいて生成される。

本発明の実施形態によれば、更新潜在的変数は、候補モデルによって出力されたサンプルのグルーピングの結果を表し得る。候補モデルの更新潜在的変数における複数のサンプルグループから、１つのサンプルグループが選択され得る。本発明の実施形態において、候補モデルの更新潜在的変数の複数のサンプルグループ（例えば、サンプルグループのサンプル数はＮである）から、１つのサンプルグループが選択されてもよく、例えば、ランダムに、又は、サンプルグループの規模に応じて、選択されてもよい。一実施形態において、複数のサンプルグループの中のそれぞれのサンプルグループにおけるサンプル数が判別され、最も多くのサンプル数を有するサンプルグループが、複数のサンプルグループから選択され、すなわち、最大規模のサンプルグループが選択されてもよい。代わりに、一実施形態において、複数のサンプルグループから、所定の閾値より多いサンプル数を有するサンプルグループを選択することが可能である。すなわち、規模が所定の閾値を超えるサンプルグループを選択することが可能である。これらの例は、単に例示的であり、本発明の保護範囲を限定しないことを理解されたい。

１つのサンプルグループが候補モデルの更新潜在的変数の複数のサンプルグループから選択された後、選択されたサンプルグループは、複数のサブグループに分割され得る。本発明の一実施形態によれば、選択されたサンプルグループは、ランダムに複数のサンプルグループに分割され得る。代わりとして、選択されたサンプルグループは、均等に複数のサブグループに分割されてもよく、それぞれのサブグループは、同数のサンプルを有する。選択されたサンプルグループを複数のサブグループに分割するため、他の方法がさらに用いられ得ることを理解されたい。これらの例は、例示的にすぎず、本発明の範囲を限定するものとして解釈されるべきではない。加えて、選択されたサンプルグループから生じるサブグループの数は、事前に定義されてもよく、その数は、２、３、…、ｋ’のうちの任意の１つであり得るが、ｋ’は選択されたサンプルグループのサンプル数以下の整数であり、その一方で、ｋ’と更新潜在的変数における選択されたサンプルグループ以外のサンプルグループの数との合計は、第１の初期化された潜在的変数におけるサンプルグループの数以下であるべきである。

選択されたサンプルグループが複数のサブグループに分割された後、第４の初期化された潜在的変数のセットにおける第４の初期化された潜在的変数は、複数のサブグループに基づいて判別され得る。一実施形態において、サブグループの数と更新潜在的変数における選択されたサンプルグループ以外のサンプルグループの数との合計が計算され、計算された結果が、第１の初期化された潜在的変数におけるサンプルグループの数と比較され得る。

計算された結果が第１の初期化された潜在的変数におけるサンプルグループの数より少ないならば、選択されたサンプルグループは、更新潜在的変数から除去されてもよい。そして、上記の手順は、繰り返されてもよく、すなわち、もう１つのサンプルグループが更新潜在的変数から選択され、選択されたサンプルグループが複数のサブグループに分割される。次に、サブグループの総量（もしＮ個のサンプルグループが更新潜在的変数から選択されたならば、総量は、Ｎ個のサンプルグループからそれぞれ取得されたサブグループの数の総量に対応する）と、更新潜在的変数における全ての選択されたサンプルグループ以外のサンプルグループの数（もしＮ個のサンプルグループが更新潜在的変数から選択されたならば、この点で、以外のサンプルグループとは、更新潜在的変数におけるＮ個のサンプルグループ以外の残りのサンプルグループを示す）との合計を計算し、上記の手順を反復して実行し続けるか否かを決定するために、計算された結果を第１の初期化された潜在的変数におけるサンプルグループの数と比較することが可能である。

計算された結果が第１の初期化された潜在的変数におけるサンプルグループの数と等しいことが判別されたならば、更新潜在的変数における全ての選択されたサンプルグループ以外のサンプルグループとともに、結果として生じた全てのサブグループが、第４の初期化された潜在的変数におけるサンプルグループとして用いられる。それによって、１つの第４の初期化された潜在的変数が判別され得る。

計算された結果が第１の初期化された潜在的変数におけるサンプルグループの数より大きいことが判別されたならば、全てのサブグループ及び更新潜在的変数における他のサンプルグループから、最小規模の２つが選択され、当該最小規模の２つと置き換える（すなわち、選択されている２つのサンプルグループ／サブグループを置き換える）、新たなサンプルグループを生成するために結合される。これらの手順は、全てのサブグループの数と更新潜在的変数における他のサンプルグループの数との合計が第１の初期化された潜在的変数におけるサンプルグループの数に等しくなるまで、繰り返される。その後、全てのサブグループ及び更新潜在的変数における他のサンプルグループが、第４の初期化された潜在的変数におけるサンプルグループとして用いられ得る。それによって、１つの第４の初期化された潜在的変数が判別される。

上記の例は、単に検討目的のためであり、本発明の範囲を限定することは意図されていないことを理解されたい。当該分野における通常の知識を有する者は、候補モデルの更新潜在的変数に基づいて第４の初期化された潜在的変数を生成するため、本発明の範囲内で、他の任意の適切な方法を用い得る。

ステップＳ２６０において、第２の初期化された潜在的変数のセットが、第３の初期化された潜在的変数のセット及び第４の初期化された潜在的変数のセットに基づいて判別される。

一実施形態において、第３の初期化された潜在的変数のセット、第４の初期化された潜在的変数のセット又はそれらのユニット（ｕｎｉｔ）が、第２の初期化された潜在的変数のセットとして判別され得る。代わりとして、一実施形態において、サブセットは、第３の初期化された潜在的変数のセット及び第４の初期化された潜在的変数のセットからそれぞれ判別され、２つのサブセットの結合（ｕｎｉｏｎ）が、第２の初期化された潜在的変数のセットとして判別され得る。サブセットを判別するための様々な方法が存在し、例えば、サブセットは、第３の初期化された潜在的変数のセット及び第４の初期化された潜在的変数のセットからそれぞれランダムに判別されてもよい。これらの例は、単に検討目的のためであり、本発明の範囲を限定することは意図されていないことを理解されたい。当該分野における通常の知識を有する者は、第３の初期化された潜在的変数のセット及び第４の初期化された潜在的変数のセットに基づいて、第２の初期化された潜在的変数のセットを判別する任意の他の適切な方法を用い得る。

まだ図２を参照すると、方法２００は、ステップＳ２７０に進み、第２の初期化された潜在的変数のセットにおけるそれぞれの第２の初期化された潜在的変数をトレーニングすることによって、中間モデルが生成される。

一実施形態において、第２の初期化された潜在的変数のセットにおけるそれぞれの第２の初期化された潜在的変数に関して、トレーニングサンプルセット上で、学習することが可能である。例えば、教師あり学習又は教師なし学習が、トレーニングサンプルセット上で実行され、モデル構造、更新された潜在的変数の変分分布及び混合モデルのモデルパラメータが自動的に学習され得る。それによって、中間モデルと呼ばれる、それぞれの第２の初期化された潜在的変数に対応するモデルが生成され得る。

ステップＳ２８０において、目標モデルが、中間モデルのパフォーマンスに基づいて、判別される。

モデルのパフォーマンスは、精度、時間効率などの種々の要因を含み、様々な方法で判別され得る。精度を例として取り上げよう。中間モデルが予測／分類混合モデルならば、中間モデルは、テストデータの予測／分類に用いられ、それによって、対応する予測／分類精度を取得する。中間モデルがクラスタリングモデルならば、標準的な相互情報などの、候補モデルのクラスタリング精度が計算され得る。

一実施形態において、それぞれの中間モデルのモデル構造、モデルパラメータ若しくは更新された潜在的変数の変分分布に基づいて、精度、時間効率又はそれぞれの中間モデルの他の特徴を判別し、それぞれの中間モデルのパフォーマンスを取得することが可能である。そして、判別されたパフォーマンスに基づいて、複数の中間モデルがランク付けされ、例えば、複数の中間モデルが、パフォーマンスによって降順に並べられる。その後、最高のパフォーマンスを有する１つの中間モデルが、複数の中間モデルから、目標モデルとして選択され得る。

任意のステップとして、ステップＳ２８０の後、本発明の実施形態によって取得された目標モデルは、ユーザに利用されるため、提供されてもよい。

図２において説明された方法２００は例示的にすぎず、いかなる態様においても、本発明の範囲を限定することは意図されていないことに注意されたい。本発明の実施形態によれば、第２の初期化された潜在的変数のセットを判別した直後に中間モデルを生成し、さらに目標モデルを判別することは、必要ではない。代わりとして、第２の初期化された潜在的変数のセットをさらに処理し、第２の初期化された潜在的変数からサブセットを選択し、選択されたサブセットに基づいて目標モデルを判別することが可能である。一実施形態において、ステップＳ２７０及びＳ２８０の代わりに、事前に定義された統計モデルに従って、第２の初期化された潜在的変数のセットに基づいて目標の初期化された潜在的変数のセットが判別され、目標の初期化された潜在的変数のセットに基づいて目標モデルが判別され得る。目標の初期化された潜在的変数のセットは、様々な方法で、第２の初期化された潜在的変数のセットに基づいて判別され得る。図３Ａは、本発明の一実施形態による目標の初期化された潜在的変数を判別する方法３００の概略フローチャートを示す。

方法３００は、ステップＳ３１０において開始し、目標の初期化された潜在的変数のセットが、第２の初期化された潜在的変数のセットに従って初期化される。

目標の初期化された潜在的変数のセットの初期化は、様々な方法で実施され得る。一実施形態において、第２の初期化された潜在的変数のセットから１つ以上の第２の初期化された潜在的変数が目標の初期化された潜在的変数のセットにおける目標の初期化された潜在的変数として選択され得る。追加の実施形態において、選択された１つ以上の第２の初期化された潜在的変数は、第２の初期化された潜在的変数のセットから除去され得る。選択は、例えば、ランダムな選択など、様々な方法を用いて実施され得る。例えば、１つ以上の第２の初期化された潜在的変数が、目標の初期化された潜在的変数として、第２の初期化された潜在的変数のセットからランダムに選択され得る。別の例では、第１の初期化された潜在的変数又は候補モデルの更新された潜在的変数から最も遠い距離の複数の第２の初期化された潜在的変数が、第２の初期化された潜在的変数のセットから、目標の初期化された潜在的変数のセットにおける複数の目標の初期化された潜在的変数として選択され得る。距離は、ユークリッド距離、ハミング距離、マハラノビス距離、角度コサイン又は当業者が使用できる他の適切な計算方法によって取得され得る。このようにして、目標の初期化された潜在的変数のセットは、第２の初期化された潜在的変数のセットに基づいて初期化され得る。

ステップＳ３２０において、事前に定義された統計モデルが、目標の初期化された潜在的変数のセットにおける目標の初期化された潜在的変数及び目標の初期化された潜在的変数に対応する一時モデルのパフォーマンスを用いて、トレーニングされる。

本発明の実施形態において、事前に定義された統計モデルは、例えば、必要若しくは嗜好に応じてユーザによって指定され、又は、システムによって予め設定され得る。事前に定義された統計モデルは、ガウス過程モデル、スチューデントのｔ過程モデル又は他の適切な統計モデルであり得る。

一実施形態において、目標の初期化された潜在的変数のセットにおける全ての目標の初期化された潜在的変数、及び、全ての目標の初期化された潜在的変数に対応する一時モデルのパフォーマンスを用いて、新しいトレーニングサンプルセットが構築され得る。新しいトレーニングサンプルセットにおけるそれぞれのサンプルは、（ｘ，ｙ）として表されてもよく、ｘは、目標の初期化された潜在的変数を表し、ｙは、この目標の初期化された潜在的変数に対応する一時モデルのパフォーマンスを表す。その後、事前に定義された統計モデルをトレーニングするために、新しいトレーニングサンプルセット上で、教師あり学習が実行され得る。

ステップＳ３３０において、目標の初期化された潜在的変数のセットを更新するために、トレーニングされた事前に定義された統計モデルに基づいて、第２の初期化された潜在的変数のセットから、第２の初期化された潜在的変数が選択される。

本発明の実施形態によれば、第２の初期化された潜在的変数のセットにおける第２の初期化された潜在的変数に対応する一時モデルのパフォーマンスは、トレーニングされた事前に定義された統計モデルに基づいて予測され得る。一実施形態において、第２の初期化された潜在的変数に対応する一時モデルのパフォーマンスの平均及び分散は、トレーニングされた事前に定義された統計モデルを用いることによって計算され、その後、第２の初期化された潜在的変数に対応する一時モデルのパフォーマンスの予測値は、平均及び分散に従って判別され得る。

パフォーマンスの予測が完了した後、予測されたパフォーマンスに従って、第２の初期化された潜在的変数のセットにおける１つ以上の第２の初期化された潜在的変数が、目標の初期化された潜在的変数のセットを更新するために選択され得る。一実施形態において、予測された最適のパフォーマンスに対応する、第２の初期化された潜在的変数のセットにおける、第２の初期化された潜在的変数は、目標の初期化された潜在的変数のセットにおける目標の初期化された潜在的変数として判別され得る。追加の実施形態において、予測された最適のパフォーマンスに対応する第２の初期化された潜在的変数は、第２の初期化された潜在的変数のセットから除去され得る。このようにして、目標の初期化された潜在的変数のセットが更新されつつ、第２の初期化された潜在的変数のセットが更新され得る。

方法３００は、単に検討目的のためであり、本発明の範囲を限定しないことを理解されたい。本発明の実施形態によれば、目標の初期化された潜在的変数のセットがステップＳ３３０において更新された後、目標の初期化された潜在的変数の更新されたセットにおける（１又は複数の）目標の初期化された潜在的変数、及び、（１又は複数の）目標の初期化された潜在的変数に対応する一時モデルのパフォーマンスによって、事前に定義された統計モデルのトレーニングを継続するため、流れは、ステップＳ３２０に戻り得る。その後、第２の初期化された潜在的変数が、トレーニングされた事前に定義された統計モデルに基づいて、第２の初期化された潜在的変数のセットから選択され、目標の初期化された潜在的変数のセットは、再度更新され得る。上記のステップＳ３２０からＳ３３０は、事前に設定された実行回数に達するまで、複数回実行され得る。

図３Ｂは、本発明の一実施形態による目標の初期化された潜在的変数を判別する方法３４０の概略フローチャートを示す。方法３４０は、方法３００の特定の実施形態としてみなされてもよい。説明される実施形態は、単に検討目的のためであり、本発明の範囲を限定することは意図されていないことを理解されたい。

方法３４０がステップＳ３４１において開始し、第２の初期化された潜在的変数のセットにおける１つ以上の第２の初期化された潜在的変数が、目標の初期化された潜在的変数のセットにおける目標の初期化された潜在的変数として選択される。

一実施形態において、１つ以上の第２の初期化された潜在的変数が、第２の初期化された潜在的変数のセットからランダムに選択され得る。代替例において、最も遠い距離の複数の第２の初期化された潜在的変数が、目標の初期化された潜在的変数のセットにおける複数の目標の初期化された潜在的変数として、第２の初期化された潜在的変数のセットから選択され得る。距離は、ユークリッド距離、ハミング距離、マハラノビス距離、角度コサインの計算又は当業者が使用できる他の適切な計算方法によって取得され得る。これらの例は、例示的にすぎず、本発明の範囲を限定しないことを理解されたい。加えて、第２の初期化された潜在的変数のセットから１つ以上の第２の初期化された潜在的変数を選択するため、他の適切な方法がさらに用いられ得る。

ステップＳ３４２において、選択された１つ以上の第２の初期化された潜在的変数が、第２の初期化された潜在的変数のセットから除去される。

一実施形態において、元々、第２の初期化された潜在的変数のセットが、Ｚ_１、Ｚ_２、…、Ｚ_Ｎと表されるＮ個の第２の初期化された潜在的変数を含み、第２の初期化された潜在的変数Ｚ_１が、ステップＳ３４１において第２の初期化された潜在的変数のセットから選択され、その後、ステップＳ３４２においてＺ_１は第２の初期化された潜在的変数のセットから除去されると仮定しよう。すると、第２の初期化された潜在的変数のセットは、Ｎ−１個の第２の初期化された潜在的変数、すなわち、Ｚ_２、…、Ｚ_Ｎを含むように更新される。

別の実施形態において、複数の第２の初期化された潜在的変数（例えば、ｊ個の第２の初期化された潜在的変数）Ｚ_１、…、Ｚ_ｊが、ステップＳ３４１において、第２の初期化された潜在的変数のセットから選択され、その後、Ｚ_１、…、Ｚ_ｊは、ステップＳ３４２において、第２の初期化された潜在的変数のセットから除去されると仮定しよう。すると、第２の初期化された潜在的変数のセットは、Ｎ−ｊ個の第２の初期化された潜在的変数、すなわち、Ｚ_ｊ＋１、…、Ｚ_Ｎを含むように更新される。

ステップＳ３４３において、目標の初期化された潜在的変数のセットにおける目標の初期化された潜在的変数に対応する一時モデルが生成される。

本発明の実施形態によれば、目標の初期化された潜在的変数のセットにおけるそれぞれの目標の初期化された潜在的変数に関し、ここで「一時モデル」と呼ばれる、それぞれの目標の初期化された潜在的変数に対応するモデルを生成するため、トレーニングサンプルセット上で、学習することが可能である。例えば、それぞれの目標の初期化された潜在的変数に関し、モデル構造、更新潜在的変数（若しくは更新された潜在的変数の変分分布）及び混合モデルのモデルパラメータを自動的に学習するため、教師あり学習又は教師なし学習が、トレーニングサンプルセット上で実行され、それによって、対応する一時モデルを取得し得る。このようにして、目標の初期化された潜在的変数のセットにおけるそれぞれの目標の初期化された潜在的変数に対応する一時モデルが生成され得る。

一実施形態において、上記のトレーニングプロセスは、軽くトレーニングすること（ｌｉｇｈｔｌｙ ｔｒａｉｎｉｎｇ）、すなわち、目標の初期化された潜在的変数に対応する混合モデルを取得するために、収束するまで変分推論アルゴリズムを実行する必要なく、所定数のステップだけ変分推論アルゴリズムを実行すること、であってもよい。このようにして、実行速度が向上され、処理時間が短縮され得る。上記の実施形態は、本発明の範囲を限定しないことを理解されたい。本発明の代替的な実施形態において、トレーニングプロセスにおいて、完全にトレーニングすること（ｆｕｌｌｙ ｔｒａｉｎｉｎｇ）、すなわち、目標の初期化された潜在的変数に対応する混合モデルを学習し尽くすために、収束するまで変分推論アルゴリズムを実行すること、が実施され得る。

ステップＳ３４４において、目標の初期化された潜在的変数のセットにおける目標の初期化された潜在的変数及び目標の初期化された潜在的変数に対応する一時モデルのパフォーマンスを用いることによって、事前に定義された統計モデルは、トレーニングされる。

一実施形態において、目標の初期化された潜在的変数に対応する一時モデルの第１のパフォーマンスが、ステップ３４４でまず判別される必要がある。一実施形態において、目標の初期化された潜在的変数に関し、モデル構造、更新潜在的変数（若しくは更新された潜在的変数の変分分布）及び混合モデルのモデルパラメータを自動的に学習するため、トレーニングサンプルセット上で、教師あり又は教師なし学習が実行され、それによって、目標の初期化された潜在的変数に対応する一時モデルを取得し得る。その後、モデルの精度、時間効率などを計算することによって、一時モデルのパフォーマンスが取得され得る。精度を例として取り上げよう。予測／分類混合モデルでは、テストデータの予測／分類のため、モデル構造、モデルパラメータ及び一時モデルの更新された潜在的変数の変分分布が用いられ、それによって、対応する予測／分類精度を取得し得る。クラスタリングモデルでは、標準的な相互情報などの、一時モデルのクラスタリング精度が計算され得る。

このように、目標の初期化された潜在的変数に対応する一時モデルのパフォーマンスは、１つ以上の特徴（精度、時間効率など）を含み得る。加えて、精度に関して、それぞれ様々な形をとり得る、パフォーマンスの１つの特徴を含み得る。一実施形態において、目標の初期化された潜在的変数のセットにおけるｉ番目の目標の初期化された潜在的変数に対応する一時モデルのパフォーマンスが１つの特徴を有するとき、例えば、一時モデルの複数の形式における精度だけであるとき、新たなトレーニングサンプルセットにおけるサンプルは、目標の初期化された潜在的変数のセットにおける目標の初期化された潜在的変数及び対応する一時モデルのパフォーマンスを用いて構築され得る。サンプルは、（ｘ_ｉ，ｙ_ｉ）として表されてもよく、ｘ_ｉは、目標の初期化された潜在的変数のセットにおけるｉ番目の目標の初期化された潜在的変数を表し、ｙ_ｉは、ｉ番目の目標の初期化された潜在的変数に対応する一時モデルのパフォーマンス（複数の形式における精度）を表す。

別の実施形態において、目標の初期化された潜在的変数に対応する一時モデルのパフォーマンスが、例えば、様々な形式の精度及び／又は様々な形式の時間効率などの、複数の特徴（例えば、ｍ個の特徴）を有するとき、新たなトレーニングサンプルセットにおける複数のサンプルが構築され得る。複数のサンプルは、（ｘ_ｊ，ｙ_ｊｐ）として表されてもよく、ｘ_ｊは、目標の初期化された潜在的変数のセットにおけるｊ番目の目標の初期化された潜在的変数を表し、ｙ_ｊｐは、ｊ番目の目標の初期化された潜在的変数に対応する一時モデルのパフォーマンスのｐ番目の特徴を表し、ｐは１、２、…、ｍである。

新たなトレーニングサンプルセットを構築した後、事前に定義された統計モデルをトレーニングするため、新たなトレーニングサンプルセット上で、教師あり学習が実行され得る。事前に定義された統計モデルは、例えば、ユーザによって事前に設定され、又は、システムによって要求される統計モデルであり得る。事前に定義された統計モデルは、ガウス過程モデル、スチューデントのｔ過程モデル又は他の適切な統計モデルであってもよい。

上記の実施形態は、例示的にすぎず、本発明の範囲を限定することは意図されていないことを理解されたい。本発明の別の実施形態において、新たなトレーニングサンプルセットを構築することは、目標の初期化された潜在的変数のセットにおける目標の初期化された潜在的変数の全部又は一部のみに基づいて、実行され得る。

ステップＳ３４５において、第２の初期化された潜在的変数のセットにおける第２の初期化された潜在的変数に対応する一時モデルのパフォーマンスは、トレーニングされた事前に定義された統計モデルを用いて予測される。

このステップにおいて、第２の初期化された潜在的変数に対応する一時モデルのパフォーマンスの平均及び分散は、トレーニングされた事前に定義された統計モデルを用いて計算され得る。その後、第２の初期化された潜在的変数に対応する一時モデルのパフォーマンス予測値は、計算された平均及び分散に従って判別され得る。

一実施形態において、ステップＳ３４４で取得された目標の初期化された潜在的変数のセットにおけるｉ番目の目標の初期化された潜在的変数に対応する一時モデルのパフォーマンスが１つの特徴を有し、対応するサンプルが（ｘ_ｉ，ｙ_ｉ）ならば、ステップＳ３４５で、一時モデルのパフォーマンスの平均（例えば、ｍｅａｎ_ｉとして表される）及び分散（例えば、ｖａｒｉａｎｃｅ_ｉとして表される）が、トレーニングされた事前に定義された統計モデルを用いて計算され得る。次に、パフォーマンスの予測値は、この平均及び分散に基づいて取得され、例えば、以下のように計算され得る。

Ｐ_ｉは、ｉ番目の目標の初期化された潜在的変数に対応するパフォーマンスの予測値を表し、αは、固定値又は必要に応じてユーザによって設定され得る重み付け係数を表す。

別の実施形態において、ステップＳ３４４で取得された一時モデルのパフォーマンスが複数の特徴を有し、対応するサンプルが（ｘ_ｊ，ｙ_ｊｐ）ならば、ステップＳ３４５で、一時モデルのパフォーマンスの複数の平均（例えば、ｍｅａｎ_ｊｐ）及び複数の分散（例えば、ｖａｒｉａｎｃｅｓ_ｊｐ）がトレーニングされた事前に定義された統計モデルを用いて計算され得る。次に、パフォーマンスの予測値が、これらの平均及び分散に基づいて取得され、例えば、以下のように計算され得る。

Ｐ_ｊは、ｊ番目の目標の初期化された潜在的変数に対応するパフォーマンスの予測値を表し、αは、固定値又は必要に応じてユーザによって設定され得る重み付け係数を表す。

本発明の実施形態において、パフォーマンスの予測値は、様々な方法で取得され得ることを理解されたい。上記の実施形態は、単に検討目的のためであり、本発明の範囲を限定することは意図されていない。

ステップＳ３４６において、予測されたパフォーマンスに従って、目標の初期化された潜在的変数のセットを更新するため、第２の初期化された潜在的変数のセットにおける１つ以上の第２の初期化された潜在的変数が選択される。

一実施形態において、第２の初期化された潜在的変数のセットにおける、予測された最適のパフォーマンスに対応する第２の初期化された潜在的変数が、目標の初期化された潜在的変数のセットにおける目標の初期化された潜在的変数として判別され得る。その後、第２の初期化された潜在的変数のセットを更新するため、予測された最適のパフォーマンスに対応する第２の初期化された潜在的変数は、第２の初期化された潜在的変数のセットから除去され得る。一実施において、第２の初期化された潜在的変数のセットにおける第２の初期化された潜在的変数は、判別されたパフォーマンスによってランク付けされ得る。例えば、第２の初期化された潜在的変数は、パフォーマンスの予測値によって、降順にランク付けされ得る。それゆえ、最高のパフォーマンス（すなわち、最大のパフォーマンスの予測値であるパフォーマンス）に対応する第２の初期化された潜在的変数が選択され得る。この場合、ステップＳ３４６において、選択された第２の初期化された潜在的変数は、目標の初期化された潜在的変数のセットの更新を完了するために、目標の初期化された潜在的変数のセットに追加され得る。

代替として、一実施形態において、ランキングにおける上位の２つ以上のパフォーマンスに関する第２の初期化された潜在的変数が選択され得る。この場合、ステップＳ３４６において、選択された２つ以上の第２の初期化された潜在的変数は、目標の初期化された潜在的変数のセットの更新を完了するために、目標の初期化された潜在的変数のセットに追加され得る。

ステップＳ３４７において、目標の初期化された潜在的変数の数が所定の閾値に達したか否かが判別される。

一実施形態において、所定の閾値は、目標の初期化された潜在的変数のセットにおける要素の数の観点から設定され、所定の閾値は、経験若しくは嗜好に従って当業者によって設定され、又は、システムによって固定されてもよい。目標の初期化された潜在的変数のセットにおける目標の初期化された潜在的変数の数が所定の閾値に達していないと判別されたならば、新たな目標の初期化された潜在的変数を判別するために、ステップＳ３４３からＳ３４６までが反復して実行され得る。目標の初期化された潜在的変数のセットにおける目標の初期化された潜在的変数の数が所定の閾値に達していると判別されたならば、繰り返しは停止し、次に、目標の初期化された潜在的変数をトレーニングすることによって、中間モデルが生成され、中間モデルのパフォーマンスに基づいて目標モデルが判別される。

図４は、本発明の一実施形態による混合モデルの選択方法のグラフィカルな表現４００の概略図を示す。図４における混合モデル選択手順は、図１におけるステップＳ１１０からＳ１３０に対応する。図４に示されているように、まず、トレーニングサンプルセットに基づいて、候補モデルが判別され得る。その後、１つ以上の第１の初期化された潜在的変数及び候補モデルの更新潜在的変数に基づいて、第２の初期化された潜在的変数のセットが生成され得る。第２の初期化された潜在的変数のセットは、１つ以上の第２の初期化された潜在的変数を含んでもよく、それらは、Ｚ_１、Ｚ_２、…、Ｚ_ｋ１と表され、Ｚは、第２の初期化された潜在的変数を表し、ｋ１は、取得された第２の初期化された潜在的変数の数を表す。次に、第２の初期化された潜在的変数のセットに基づいて、目標モデルが判別され得る。図４に示されているように、複数の中間モデル、すなわち、中間モデル１、中間モデル２、…、中間モデルｋ１が、複数の第２の初期化された潜在的変数Ｚ_１、Ｚ_２、…、Ｚ_ｋ１をトレーニングすることによって生成され、ｋ１個の中間モデルの１つが、そのパフォーマンスに基づいて、目標モデルとして選択され得る。

図４に示されている図は、例示的にすぎず、いかなる態様においても本発明の範囲を限定することは意図されていないことを理解されたい。本発明の実施形態によれば、第２の初期化された潜在的変数Ｚ_１、Ｚ_２、…、Ｚ_ｋ１に対応する中間モデル１、中間モデル２、…、中間モデルｋ１から、目標モデルが任意的に得られる。例えば、代替的な実施形態において、事前に定義された統計モデルに従って、目標の初期化された潜在的変数のセットが、第２の初期化された潜在的変数Ｚ_１、Ｚ_２、…、Ｚ_ｋ１に基づいて判別され、その後、目標の初期化された潜在的変数のセットに基づいて、目標モデルが判別され得る。これらの実施形態は、例示的にすぎず、本発明の範囲を限定しないことを理解されたい。当業者は、本発明の範囲内で、本発明の実施形態に様々な変形を施し得る。

図５は、本発明の一実施形態による混合モデルの選択装置５００の概略ブロック図を示す。この図に示されているように、装置５００は、トレーニングサンプルセットに基づいて候補モデルを判別するように構成された候補モデル判別ユニット５１０と、第１の初期化された潜在的変数に従って候補モデルが生成され、更新潜在的変数が候補モデルによって出力されたサンプルのグルーピングの結果を表している、１つ以上の第１の初期化された潜在的変数及び候補モデルの更新潜在的変数に基づいて第２の初期化された潜在的変数のセットを生成するように構成された生成ユニット５２０と、第２の初期化された潜在的変数のセットに基づいて目標モデルを判別するように構成された目標モデル判別ユニット５３０と、を備える。

一実施形態において、候補モデル判別ユニット５１０は、トレーニングサンプルセットに基づいて、第１の初期化された潜在的変数を判別するように構成された第１の初期化された潜在的変数判別ユニットと、第１の初期化された潜在的変数に従って、候補モデルを生成するように構成された第１の候補モデル生成ユニットと、を備えてもよい。

一実施形態において、候補モデル判別ユニット５１０は、トレーニングサンプルセットに基づいて、複数の第１の初期化された潜在的変数を判別するように構成された第１の初期化された潜在的変数判別ユニットと、複数の第１の初期化された潜在的変数に基づいて、複数の初期モデルを生成するように構成された初期モデル判別ユニットと、複数の初期モデルのパフォーマンスに従って、複数の初期モデルの１つ以上を候補モデルとして選択するように構成された第２の候補モデル生成ユニットと、を備えてもよい。

一実施形態において、生成ユニット５２０は、候補モデルの第１の初期化された潜在的変数に基づいて第３の初期化された潜在的変数のセットを生成するように構成された第３の潜在的変数判別ユニットと、候補モデルの更新潜在的変数に基づいて第４の初期化された潜在的変数のセットを生成するように構成された第４の潜在的変数判別ユニットと、第３の初期化された潜在的変数のセット及び第４の初期化された潜在的変数のセットに基づいて、第２の初期化された潜在的変数のセットを判別するように構成された第２の潜在的変数判別ユニットと、を備えてもよい。

一実施形態において、生成ユニット５２０の第３の潜在的変数判別ユニットは、参照潜在的変数と候補モデルの第１の初期化された潜在的変数との重み付き和を計算することによって、第３の初期化された潜在的変数のセットにおける第３の初期化された潜在的変数を生成するように構成された第３の潜在的変数生成ユニットを備えてもよい。

一実施形態において、生成ユニット５２０の第４の潜在的変数判別ユニットは、候補モデルの更新潜在的変数の複数のサンプルグループから、サンプルグループを選択するように構成された第１の選択ユニットと、選択されたサンプルグループを複数のサブグループに分割するように構成されたグルーピングユニットと、を備えてもよい。第４の潜在的変数判別ユニットは、複数のサブグループに基づいて、第４の初期化された潜在的変数のセットにおける第４の初期化された潜在的変数を判別するようにさらに構成されてもよい。

一実施形態において、生成ユニット５２０の第４の潜在的変数判別ユニットの第１の選択ユニットは、複数のサンプルグループのそれぞれにおいてサンプル数を判別するように構成されたサンプル数判別ユニットと、複数のサンプルグループから、最大のサンプル数を有するサンプルグループを選択するように構成されたサンプルグループ選択ユニットと、を備えてもよい。

一実施形態において、目標モデル判別ユニット５３０は、第２の初期化された潜在的変数のセットにおける、それぞれの第２の初期化された潜在的変数をトレーニングすることによって、中間モデルを生成するように構成された中間モデル生成ユニットと、中間モデルのパフォーマンスに基づいて、目標モデルを判別するように構成された目標モデル生成ユニットと、を備えてもよい。

一実施形態において、目標モデル判別ユニット５３０は、事前に定義された統計モデルによって、第２の初期化された潜在的変数のセットに基づいて、目標の初期化された潜在的変数のセットを判別するように構成された目標の初期化された潜在的変数判別ユニットと、目標の初期化された潜在的変数のセットにおけるそれぞれの目標の初期化された潜在的変数をトレーニングすることによって、中間モデルを生成するように構成された中間モデル生成ユニットと、中間モデルのパフォーマンスに基づいて目標モデルを判別するように構成された目標モデル生成ユニットと、を備えてもよい。

一実施形態において、目標モデル判別ユニット５３０の目標の初期化された潜在的変数判別ユニットは、第２の初期化された潜在的変数のセットに基づいて、目標の初期化された潜在的変数のセットを初期化するように構成された初期化ユニットと、目標の初期化された潜在的変数のセットにおける目標の初期化された潜在的変数及び目標の初期化された潜在的変数に対応する一時モデルのパフォーマンスを用いることによって、事前に定義された統計モデルをトレーニングするように構成された統計モデルトレーニングユニットと、目標の初期化された潜在的変数のセットを更新するために、トレーニングされた事前に定義された統計モデルに基づいて、第２の初期化された潜在的変数のセットから第２の初期化された潜在的変数を選択するように構成された第１の更新ユニットと、を備えてもよい。

一実施形態において、目標モデル判別ユニット５３０の目標の初期化された潜在的変数判別ユニットの初期化ユニットは、目標の初期化された潜在的変数のセットにおける目標の初期化された潜在的変数として、第２の初期化された潜在的変数のセットから、１つ以上の第２の初期化された潜在的変数を選択するように構成された第２の選択ユニットを備えてもよい。

一実施形態において、目標モデル判別ユニット５３０の目標の初期化された潜在的変数判別ユニットの第１の更新ユニットは、トレーニングされた事前に定義された統計モデルに基づいて、第２の初期化された潜在的変数のセットにおける第２の初期化された潜在的変数に対応する一時モデルのパフォーマンスを予測するように構成されたパフォーマンス予測ユニットと、目標の初期化された潜在的変数のセットを更新するために、予測されたパフォーマンスに従って、第２の初期化された潜在的変数のセットにおける１つ以上の第２の初期化された潜在的変数を選択するように構成された第２の更新ユニットと、を備えてもよい。

一実施形態において、パフォーマンス予測ユニットは、トレーニングされた事前に定義された統計モデルを用いることによって、第２の初期化された潜在的変数に対応する一時モデルのパフォーマンスの平均及び分散を計算するように構成された第１の計算ユニットと、平均及び分散に従って、第２の初期化された潜在的変数に対応する一時モデルのパフォーマンスの予測値を判別するように構成された第２の計算ユニットと、を備えてもよい。

一実施形態において、第２の更新ユニットは、第２の初期化された潜在的変数のセットにおいて、目標の初期化された潜在的変数のセットにおける目標の初期化された潜在的変数として、予測された最適のパフォーマンスに対応する、第２の初期化された潜在的変数を判別するように構成された目標の初期化された潜在的変数取得ユニットと、第２の初期化された潜在的変数のセットから、予測された最適のパフォーマンスに対応する第２の初期化された潜在的変数を除去するように構成された第２の初期化された潜在的変数更新ユニットと、を備えてもよい。

明確性のため、装置５００のいくつかの選択的なユニット及びそれぞれのユニットのサブユニットは、図５に示されていない。装置５００は、様々な方法で実施され得ることを理解されたい。例えば、ある実施形態において、装置５００は、ソフトウェア及び／又はファームウェアを実施され得る。例えば、装置５００は、コンピュータ読み取り可能な媒体において具体化されたコンピュータプログラム製品として実施されてもよく、それぞれのユニットは、コンピュータの命令によって機能を果たすプログラムモジュールである。代わりに、又は、追加的に、装置５００は、部分的に又は完全にハードウェアに基づいて、例えば、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）又はシステムオンチップ（ＳＯＣ）として実施され得る。現在知られ、又は、将来開発される他の方法もまた適用可能であり、この点で、本発明の範囲は限定されない。

図６は、本発明の実施形態を実施するのに適した例示的なコンピュータシステム６００の概略ブロック図を示す。示されているように、コンピュータシステム６００は、読み取り専用メモリ（ＲＯＭ）６０２に格納されたプログラム又は格納ユニット６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたプログラムに従って様々な処理を実行することができる中央処理装置（ＣＰＵ）６０１を備える。ＲＡＭ６０３において、ＣＰＵ６０１が様々な処理などを実行するときに必要とされるデータも、必要に応じて格納される。ＣＰＵ６０１、ＲＯＭ６０２及びＲＡＭ６０３は、バス６０４を通して互いに接続されている。入出力（Ｉ／Ｏ）インタフェース６０５も、バス６０４に接続されている。

以下の部品、キーボード、マウスなどを含む入力ユニット６０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）などのディスプレイ、及び、スピーカーなど、を含む出力ユニット６０７、ハードディスクなどを含む格納ユニット６０８、ＬＡＮカード、モデムなどのネットワークインタフェースカードを含む通信ユニット６０９、がＩ／Ｏインタフェース６０５に接続されている。通信ユニット６０９は、インターネットなどのネットワークを通じて通信処理を実行する。ドライブ６１０も、必要に応じてＩ／Ｏインタフェース６０５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブルメディア６１１は、そこから読み出されたコンピュータプログラムが格納ユニット６０８にインストールされるように、ドライブ６１０に必要に応じてマウントされる。

特に、本発明の実施例に従って、上述のプロセスは、コンピュータプログラムとして実施され得る。例えば、本発明の実施形態は、機械読み取り可能な媒体上に有形的に具体化されたコンピュータプログラムを含むコンピュータプログラム製品を有し、コンピュータプログラムは、方法を実行するためのプログラムコードを含む。そのような実施形態において、コンピュータプログラムは、通信ユニット６０９を通じてネットワークからダウンロードされ、マウントされてもよく、且つ／又は、リムーバブルメディア６１１からインストールされてもよい。

一般に、本発明の様々な実施例がハードウェア若しくは専用回路、ソフトウェア、ロジック又はそれらの任意の組合せにおいて実施され得る。複数の観点がハードウェアにおいて実施され得るが、他の観点は、コントローラ、マイクロプロセッサ又は他の計算装置によって実行され得るファームウェア又はソフトウェアにおいて実施され得る。本発明の実施例の様々な観点が、ブロック図、フローチャート又は他の図的表現を用いて描写され、説明されたが、ここで説明されたブロック、装置、システム、技術又は方法は、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、専用回路若しくはロジック、汎用ハードウェア、コントローラ若しくは他の計算装置又はそれらの複数の組合せにおいて実施され得ることが理解される。

さらに、フローチャートにおいて示された様々なブロックは、言及されたステップとして、且つ／又は、コンピュータプログラムのコードの動作から生じる結果の動作として、且つ／又は、関連する１又は複数の機能を実行するために構築された複数の結合された論理回路要素として理解され得る。例えば、本発明の実施形態は、機械読み取り可能な媒体上に有形的に具体化されたコンピュータプログラムを備えたコンピュータプログラム製品を含み、コンピュータプログラムは、上述された方法を実行するように構成されたプログラムコードを含む。

本開示の文脈において、機械読み取り可能な媒体は、命令実行システム、設備若しくは装置によって、又は、それらと関連して使用するために、プログラムを保持し、又は格納し得る、任意の有形的媒体であり得る。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記録媒体であり得る。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁的、赤外線又は半導体のシステム、設備若しくは装置、又は前述の任意の適切な組合せを含むが、これらに限定されない。機械読み取り可能な記録媒体のより具体的な例は、１つ以上のワイヤを有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置又は前述の任意の適切な組合せを含む。

本発明の方法を実行するためのコンピュータプログラムのコードは、１つ以上のプログラミング言語の任意の組合せで記述され得る。プログラムのコードがコンピュータ又は他のプログラム可能なデータ処理設備のプロセッサによって実行されるときに、フローチャート及び／又はブロック図において特定された機能／動作の実行がされるように、これらのコンピュータプログラムのコードは、汎用コンピュータ、専用コンピュータ又は他のプログラム可能なデータ処理設備のプロセッサに供給される。プログラムのコードは、コンピュータ上で完全に、コンピュータ上で部分的に、独立したソフトウェアパッケージとして、コンピュータ上で部分的に、及び、離れたコンピュータ上で部分的に、又は、離れたコンピュータ若しくはサーバ上で完全に、実行してもよい。

さらに、動作は特定の順序で描写されているが、望ましい結果を達成するために、そのような動作は、説明された特定の順序で、若しくは、連続した順番で実行され、又は、説明された全ての動作が実行される必要はないことを理解されたい。特定の環境においては、マルチタスク及び並列処理が有利であり得る。同様に、複数の特定の実施の詳細が上記の検討に含まれるが、これらは、いかなる発明の範囲又は請求される事項に限定を加えるものではなく、むしろ特定の発明の特定の実施形態に固有であり得る特徴の記載として理解されたい。本明細書の別々の実施形態の文脈において記載された特定の特徴は、単一の実施形態において組合せで実施されてもよい。反対に、単一の実施形態の文脈に記載された様々な特徴は、複数の実施形態において別々に、又は、任意の適切な下位の組合せ（ｓｕｂ−ｃｏｍｂｉｎａｔｉｏｎ）で実施されてもよい。

添付の図面と併せて読まれるとき、この発明の前述の実施例に対する様々な変形、適合が、前述の記載の観点から、当該分野における通常の知識を有する者に明らかになり得る。任意の、且つ、全ての変形は、未だ、この発明の非限定的且つ例示的な実施形態の範囲に含まれる。さらに、本書に記載された本発明の他の実施形態は、本発明のこれらの実施形態に関して、上述の記載及び図面に表された教示の利益を有する当業者に想到される。

本発明の実施形態は、以上で検討されたような特定の実施形態に限定されず、変形及び他の実施形態が付属の請求の範囲に含まれることが意図されていることを理解されたい。本書において、特定の用語が用いられるが、それらは、一般的且つ説明的な意味にのみ用いられ、限定する目的のためには用いられていない。

（付記１）
トレーニングサンプルセットに基づいて候補モデルを判別することと、
１つ以上の第１の初期化された潜在的変数及び前記候補モデルの更新潜在的変数に基づいて第２の初期化された潜在的変数のセットを生成することであって、前記候補モデルは、前記第１の初期化された潜在的変数に従って生成され、前記更新潜在的変数は、前記候補モデルによって出力されたサンプルのグルーピングの結果を表す、第２の初期化された潜在的変数のセットを生成することと、
前記第２の初期化された潜在的変数のセットに基づいて、目標モデルを判別することと、を含む、
混合モデルの選択方法。

（付記２）
前記トレーニングサンプルセットに基づいて候補モデルを判別することは、
前記トレーニングサンプルセットに基づいて前記第１の初期化された潜在的変数を判別することと、
前記第１の初期化された潜在的変数に従って、前記候補モデルを生成することと、を含む、
付記１に記載の方法。

（付記３）
前記トレーニングサンプルセットに基づいて候補モデルを判別することは、
前記トレーニングサンプルセットに基づいて複数の第１の初期化された潜在的変数を判別することと、
前記複数の第１の初期化された潜在的変数に基づいて複数の初期モデルを生成することと、
前記複数の初期モデルのパフォーマンスに従って、前記複数の初期モデルの１つ以上を候補モデルとして選択することと、を含む、
付記１に記載の方法。

（付記４）
前記１つ以上の前記第１の初期化された潜在的変数及び前記候補モデルの前記更新潜在的変数に基づいて、第２の初期化された潜在的変数のセットを生成することは、
前記候補モデルの第１の初期化された潜在的変数に基づいて第３の初期化された潜在的変数のセットを生成することと、
前記候補モデルの更新潜在的変数に基づいて第４の初期化された潜在的変数のセットを生成することと、
前記第３の初期化された潜在的変数のセット及び前記第４の初期化された潜在的変数のセットに基づいて前記第２の初期化された潜在的変数のセットを判別することと、を含む、
付記１に記載の方法。

（付記５）
前記候補モデルの第１の初期化された潜在的変数に基づいて第３の初期化された潜在的変数のセットを生成することは、
参照潜在的変数と前記候補モデルの第１の初期化された潜在的変数との重み付き和を計算することによって、前記第３の初期化された潜在的変数のセットにおける第３の初期化された潜在的変数を生成すること、を含む、
付記４に記載の方法。

（付記６）
前記候補モデルの更新潜在的変数に基づいて第４の初期化された潜在的変数のセットを生成することは、
前記候補モデルの更新潜在的変数の複数のサンプルグループからサンプルグループを選択することと、
選択された前記サンプルグループを複数のサブグループに分割することと、
前記複数のサブグループに基づいて前記第４の初期化された潜在的変数のセットにおける第４の初期化された潜在的変数を判別することと、を含む、
付記４に記載の方法。

（付記７）
前記候補モデルの更新潜在的変数の複数のサンプルグループからサンプルグループを選択することは、
前記複数のサンプルグループのそれぞれにおけるサンプル数を判別することと、
前記複数のサンプルグループから、最大のサンプル数を有するサンプルグループを選択することと、を含む、
付記６に記載の方法。

（付記８）
前記第２の初期化された潜在的変数のセットに基づいて、目標モデルを判別することは、
前記第２の初期化された潜在的変数のセットにおけるそれぞれの第２の初期化された潜在的変数をトレーニングすることによって中間モデルを生成することと、
前記中間モデルのパフォーマンスに基づいて前記目標モデルを判別することと、を含む、
付記１に記載の方法。

（付記９）
前記第２の初期化された潜在的変数のセットに基づいて、目標モデルを判別することは、
事前に定義された統計モデルによって、前記第２の初期化された潜在的変数に基づいて目標の初期化された潜在的変数のセットを判別することと、
前記目標の初期化された潜在的変数のセットにおけるそれぞれの目標の初期化された潜在的変数をトレーニングすることによって中間モデルを生成することと、
前記中間モデルのパフォーマンスに基づいて前記目標モデルを判別することと、を含む、
付記１に記載の方法。

（付記１０）
前記事前に定義された統計モデルによって、前記第２の初期化された潜在的変数に基づいて目標の初期化された潜在的変数のセットを判別することは、
前記第２の初期化された潜在的変数のセットに基づいて前記目標の初期化された潜在的変数のセットを初期化することと、
前記目標の初期化された潜在的変数のセットにおける目標の初期化された潜在的変数及び当該目標の初期化された潜在的変数に対応する一時モデルを用いることによって前記事前に定義された統計モデルをトレーニングすること、及び、前記目標の初期化された潜在的変数のセットを更新するために、トレーニングされた前記事前に定義された統計モデルに基づいて前記第２の初期化された潜在的変数のセットから第２の初期化された潜在的変数を選択すること、の手順を１回以上実行することと、を含む、
付記９に記載の方法。

（付記１１）
前記第２の初期化された潜在的変数のセットに基づいて前記目標の初期化された潜在的変数のセットを初期化することは、
前記目標の初期化された潜在的変数のセットにおける目標の初期化された潜在的変数として、前記第２の初期化された潜在的変数のセットから１つ以上の第２の初期化された潜在的変数を選択すること、を含む、
付記１０に記載の方法。

（付記１２）
前記目標の初期化された潜在的変数のセットを更新するために、トレーニングされた前記事前に定義された統計モデルに基づいて前記第２の初期化された潜在的変数のセットから第２の初期化された潜在的変数を選択することは、
前記トレーニングされた前記事前に定義された統計モデルに基づいて前記第２の初期化された潜在的変数のセットにおける第２の初期化された潜在的変数に対応する一時モデルのパフォーマンスを予測することと、
前記目標の初期化された潜在的変数のセットを更新するために、予測された前記パフォーマンスに従って、前記第２の初期化された潜在的変数のセットにおける１つ以上の第２の初期化された潜在的変数を選択することと、を含む、
付記１０に記載の方法。

（付記１３）
前記トレーニングされた前記事前に定義された統計モデルに基づいて前記第２の初期化された潜在的変数のセットにおける第２の初期化された潜在的変数に対応する一時モデルのパフォーマンスを予測することは、
トレーニングされた前記事前に定義された統計モデルを用いることによって前記第２の初期化された潜在的変数に対応する一時モデルのパフォーマンスの平均及び分散を計算することと、
前記平均及び分散に従って前記第２の初期化された潜在的変数に対応する一時モデルのパフォーマンスの予測値を判別することと、を含む、
付記１２に記載の方法。

（付記１４）
前記目標の初期化された潜在的変数のセットを更新するために、予測された前記パフォーマンスに従って、前記第２の初期化された潜在的変数のセットにおける１つ以上の第２の初期化された潜在的変数を選択することは、
予測された最適の前記パフォーマンスに従って、前記目標の初期化された潜在的変数のセットにおける目標の初期化された潜在的変数として、前記第２の初期化された潜在的変数のセットにおいて、第２の初期化された潜在的変数を判別することと、
前記第２の初期化された潜在的変数のセットから、前記予測された最適のパフォーマンスに対応する前記第２の初期化された潜在的変数を除去することと、を含む、
付記１２に記載の方法。

（付記１５）
トレーニングサンプルセットに基づいて候補モデルを判別するように構成された候補モデル判別ユニットと、
１つ以上の第１の初期化された潜在的変数及び前記候補モデルの更新潜在的変数に基づいて第２の初期化された潜在的変数のセットを生成するように構成された生成ユニットであって、前記候補モデルは、前記第１の初期化された潜在的変数に従って生成され、前記更新潜在的変数は、前記候補モデルによって出力されたサンプルのグルーピングの結果を表す、生成ユニットと、
前記第２の初期化された潜在的変数のセットに基づいて目標モデルを判別するように構成された目標モデル判別ユニットと、を備える、
混合モデルの選択装置。

（付記１６）
前記候補モデル判別ユニットは、
前記トレーニングサンプルセットに基づいて第１の初期化された潜在的変数を判別するように構成された第１の初期化された潜在的変数判別ユニットと、
前記第１の初期化された潜在的変数に従って候補モデルを生成するように構成された第１の候補モデル生成ユニットと、を備える、
付記１５に記載の装置。

（付記１７）
前記候補モデル判別ユニットは、
前記トレーニングサンプルセットに基づいて複数の第１の初期化された潜在的変数を判別するように構成された第１の初期化された潜在的変数判別ユニットと、
前記複数の第１の初期化された潜在的変数に基づいて複数の初期モデルを生成するように構成された初期モデル判別ユニットと、
前記複数の初期モデルのパフォーマンスに従って、前記複数の初期モデルの１つ以上を候補モデルとして選択するように構成された第２の候補モデル生成ユニットと、を備える、
付記１５に記載の装置。

（付記１８）
前記生成ユニットは、
前記候補モデルの第１の初期化された潜在的変数に基づいて第３の初期化された潜在的変数のセットを生成するように構成された第３の潜在的変数判別ユニットと、
前記候補モデルの更新潜在的変数に基づいて第４の初期化された潜在的変数のセットを生成するように構成された第４の潜在的変数判別ユニットと、
前記第３の初期化された潜在的変数のセット及び前記第４の初期化された潜在的変数のセットに基づいて前記第２の初期化された潜在的変数のセットを判別するように構成された第２の潜在的変数判別ユニットと、を備える、
付記１５に記載の装置。

（付記１９）
前記第３の潜在的変数判別ユニットは、
参照潜在的変数と前記候補モデルの第１の初期化された潜在的変数との重み付き和を計算することによって、前記第３の初期化された潜在的変数のセットにおける第３の初期化された潜在的変数を生成するように構成された第３の潜在的変数生成ユニットを備える、
付記１８に記載の装置。

（付記２０）
前記第４の潜在的変数判別ユニットは、
前記候補モデルの更新潜在的変数の複数のサンプルグループからサンプルグループを選択するように構成された第１の選択ユニットと、
選択された前記サンプルグループを複数のサブグループに分割するように構成されたグルーピングユニットと、を備え、
前記第４の潜在的変数判別ユニットは、前記複数のサブグループに基づいて前記第４の初期化された潜在的変数のセットにおける第４の初期化された潜在的変数を判別するようにさらに構成された、
付記１８に記載の装置。

（付記２１）
前記第１の選択ユニットは、
前記複数のサンプルグループのそれぞれにおいてサンプル数を判別するように構成されたサンプル数判別ユニットと、
前記複数のサンプルグループから、最大のサンプル数を有するサンプルグループを選択するように構成されたサンプルグループ選択ユニットと、を備える、
付記２０に記載の装置。

（付記２２）
前記目標モデル判別ユニットは、
前記第２の初期化された潜在的変数のセットにおけるそれぞれの第２の初期化された潜在的変数をトレーニングすることによって中間モデルを生成するように構成された中間モデル生成ユニットと、
前記中間モデルのパフォーマンスに基づいて前記目標モデルを判別するように構成された目標モデル生成ユニットと、を備える、
付記１５に記載の装置。

（付記２３）
前記目標モデル判別ユニットは、
事前に定義された統計モデルによって、前記第２の初期化された潜在的変数のセットに基づいて目標の初期化された潜在的変数のセットを判別するように構成された目標の初期化された潜在的変数判別ユニットと、
前記目標の初期化された潜在的変数のセットにおけるそれぞれの目標の初期化された潜在的変数をトレーニングすることによって中間モデルを生成するように構成された中間モデル生成ユニットと、
前記中間モデルのパフォーマンスに基づいて前記目標モデルを判別するように構成された目標モデル生成ユニットと、を備える、
付記１５に記載の装置。

（付記２４）
前記目標の初期化された潜在的変数判別ユニットは、
前記第２の初期化された潜在的変数のセットに基づいて前記目標の初期化された潜在的変数のセットを初期化するように構成された初期化ユニットと、
前記目標の初期化された潜在的変数のセットにおける目標の初期化された潜在的変数及び当該目標の初期化された潜在的変数に対応する一時モデルのパフォーマンスを用いることによって、前記事前に定義された統計モデルをトレーニングするように構成された統計モデルトレーニングユニットと、
前記目標の初期化された潜在的変数のセットを更新するために、トレーニングされた前記事前に定義された統計モデルに基づいて前記第２の初期化された潜在的変数のセットから第２の初期化された潜在的変数を選択するように構成された第１の更新ユニットと、を備える、
付記２３に記載の装置。

（付記２５）
前記初期化ユニットは、
前記第２の初期化された潜在的変数のセットから、目標の初期化された潜在的変数のセットにおける目標の初期化された潜在的変数として１つ以上の第２の初期化された潜在的変数を選択するように構成された第２の選択ユニットを備える、
付記２４に記載の装置。

（付記２６）
前記第１の更新ユニットは、
前記トレーニングされた前記事前に定義された統計モデルに基づいて前記第２の初期化された潜在的変数のセットにおける第２の初期化された潜在的変数に対応する一時モデルのパフォーマンスを予測するように構成されたパフォーマンス予測ユニットと、
前記目標の初期化された潜在的変数のセットを更新するために、予測された前記パフォーマンスに従って、前記第２の初期化された潜在的変数のセットにおける１つ以上の第２の初期化された潜在的変数を選択するように構成された第２の更新ユニットと、を備える、
付記２４に記載の装置。

（付記２７）
前記パフォーマンス予測ユニットは、
トレーニングされた前記事前に定義された統計モデルを用いることによって、前記第２の初期化された潜在的変数に対応する一時モデルのパフォーマンスの平均及び分散を計算するように構成された第１の計算ユニットと、
前記平均及び分散に従って前記第２の初期化された潜在的変数に対応する一時モデルのパフォーマンス予測値を判別するように構成された第２の計算ユニットと、を備える、
付記２６に記載の装置。

（付記２８）
前記第２の更新ユニットは、
前記目標の初期化された潜在的変数のセットにおいて、予測された最適の前記パフォーマンスに対応する前記第２の初期化された潜在的変数のセットにおける第２の初期化された潜在的変数を目標の初期化された潜在的変数として判別するように構成された目標の初期化された潜在的変数取得ユニットと、
前記第２の初期化された潜在的変数のセットから、予測された最適の前記パフォーマンスに対応する前記第２の初期化された潜在的変数を除去するように構成された第２の初期化された潜在的変数更新ユニットと、を備える、
付記２６に記載の装置。

Claims (10)

1. トレーニングサンプルセットに基づいて候補モデルを判別するように構成された候補モデル判別ユニットと、
   １つ以上の第１の初期化された潜在的変数及び前記候補モデルの更新潜在的変数に基づいて第２の初期化された潜在的変数のセットを生成するように構成された生成ユニットであって、前記候補モデルは、前記第１の初期化された潜在的変数に従って生成され、前記第１の初期化された潜在的変数をトレーニングすることで生じる前記候補モデルと前記更新潜在的変数とは、前記トレーニングを通じて対応関係を生じ、当該トレーニングによってサンプルのグルーピングが出力されるため、前記更新潜在的変数は、前記候補モデルによって出力された前記サンプルのグルーピングの結果を表す、生成ユニットと、
   前記第２の初期化された潜在的変数のセットに基づいて目標モデルを判別するように構成された目標モデル判別ユニットと、を備える、
   混合モデルの選択装置。
2. 前記候補モデル判別ユニットは、
   前記トレーニングサンプルセットに基づいて第１の初期化された潜在的変数を判別するように構成された第１の初期化された潜在的変数判別ユニットと、
   前記第１の初期化された潜在的変数に従って候補モデルを生成するように構成された第１の候補モデル生成ユニットと、を備える、
   請求項１に記載の装置。
3. 前記候補モデル判別ユニットは、
   前記トレーニングサンプルセットに基づいて複数の第１の初期化された潜在的変数を判別するように構成された第１の初期化された潜在的変数判別ユニットと、
   前記複数の第１の初期化された潜在的変数に基づいて複数の初期モデルを生成するように構成された初期モデル判別ユニットと、
   前記複数の初期モデルのパフォーマンスに従って、前記複数の初期モデルの１つ以上を候補モデルとして選択するように構成された第２の候補モデル生成ユニットと、を備える、
   請求項１に記載の装置。
4. 前記生成ユニットは、
   前記候補モデルの第１の初期化された潜在的変数に基づいて第３の初期化された潜在的変数のセットを生成するように構成された第３の潜在的変数判別ユニットと、
   前記候補モデルの更新潜在的変数に基づいて第４の初期化された潜在的変数のセットを生成するように構成された第４の潜在的変数判別ユニットと、
   前記第３の初期化された潜在的変数のセット及び前記第４の初期化された潜在的変数のセットに基づいて前記第２の初期化された潜在的変数のセットを判別するように構成された第２の潜在的変数判別ユニットと、を備える、
   請求項１に記載の装置。
5. 前記第３の潜在的変数判別ユニットは、
   参照潜在的変数と前記候補モデルの第１の初期化された潜在的変数との重み付き和を計算することによって、前記第３の初期化された潜在的変数のセットにおける第３の初期化された潜在的変数を生成するように構成された第３の潜在的変数生成ユニットを備える、
   請求項４に記載の装置。
6. 前記第４の潜在的変数判別ユニットは、
   前記候補モデルの更新潜在的変数の複数のサンプルグループからサンプルグループを選択するように構成された第１の選択ユニットと、
   選択された前記サンプルグループを複数のサブグループに分割するように構成されたグルーピングユニットと、を備え、
   前記第４の潜在的変数判別ユニットは、前記複数のサブグループに基づいて前記第４の初期化された潜在的変数のセットにおける第４の初期化された潜在的変数を判別するようにさらに構成された、
   請求項４に記載の装置。
7. 前記第１の選択ユニットは、
   前記複数のサンプルグループのそれぞれにおいてサンプル数を判別するように構成されたサンプル数判別ユニットと、
   前記複数のサンプルグループから、最大のサンプル数を有するサンプルグループを選択するように構成されたサンプルグループ選択ユニットと、を備える、
   請求項６に記載の装置。
8. 前記目標モデル判別ユニットは、
   前記第２の初期化された潜在的変数のセットにおけるそれぞれの第２の初期化された潜在的変数をトレーニングすることによって中間モデルを生成するように構成された中間モデル生成ユニットと、
   前記中間モデルのパフォーマンスに基づいて前記目標モデルを判別するように構成された目標モデル生成ユニットと、を備える、
   請求項１に記載の装置。
9. 前記目標モデル判別ユニットは、
   事前に定義された統計モデルによって、前記第２の初期化された潜在的変数のセットに基づいて目標の初期化された潜在的変数のセットを判別するように構成された目標の初期化された潜在的変数判別ユニットと、
   前記目標の初期化された潜在的変数のセットにおけるそれぞれの目標の初期化された潜在的変数をトレーニングすることによって中間モデルを生成するように構成された中間モデル生成ユニットと、
   前記中間モデルのパフォーマンスに基づいて前記目標モデルを判別するように構成された目標モデル生成ユニットと、を備える、
   請求項１に記載の装置。
10. トレーニングサンプルセットに基づいて候補モデルを判別することと、
    １つ以上の第１の初期化された潜在的変数及び前記候補モデルの更新潜在的変数に基づいて第２の初期化された潜在的変数のセットを生成することであって、前記候補モデルは、前記第１の初期化された潜在的変数に従って生成され、前記第１の初期化された潜在的変数をトレーニングすることで生じる前記候補モデルと前記更新潜在的変数とは、前記トレーニングを通じて対応関係を生じ、当該トレーニングによってサンプルのグルーピングが出力されるため、前記更新潜在的変数は、前記候補モデルによって出力された前記サンプルのグルーピングの結果を表す、第２の初期化された潜在的変数のセットを生成することと、
    前記第２の初期化された潜在的変数のセットに基づいて、目標モデルを判別することと、を含む、
    混合モデルの選択方法。

Images