JP2011145951A - Apparatus, method and program for automatically classifying content - Google Patents
Apparatus, method and program for automatically classifying content Download PDFInfo
- Publication number
- JP2011145951A JP2011145951A JP2010007381A JP2010007381A JP2011145951A JP 2011145951 A JP2011145951 A JP 2011145951A JP 2010007381 A JP2010007381 A JP 2010007381A JP 2010007381 A JP2010007381 A JP 2010007381A JP 2011145951 A JP2011145951 A JP 2011145951A
- Authority
- JP
- Japan
- Prior art keywords
- probability model
- content
- parameter
- value
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
この発明は、特徴ベクトルにより表現可能なコンテンツを複数の種別を表すカテゴリに分類する際に、カテゴリが判明しているコンテンツとカテゴリが不明のコンテンツの双方の統計情報を用いてコンテンツを識別する識別関数のパラメータを学習し、その識別関数を用いてカテゴリが未知なコンテンツを分類するコンテンツ自動分類装置、コンテンツ自動分類方法およびコンテンツ自動分類プログラムに関する。 In the present invention, when content that can be expressed by feature vectors is classified into categories that represent a plurality of types, the content is identified by using statistical information of both the content whose category is known and the content whose category is unknown The present invention relates to a content automatic classification apparatus, a content automatic classification method, and a content automatic classification program that learn function parameters and classify content whose category is unknown using the identification function.
統計的手法に基づくコンテンツの自動分類技術では、コンテンツとカテゴリの依存関係の強さを表す識別関数をモデルパラメータと特徴ベクトルの関数として与え、最も強い依存関係のあるカテゴリを識別関数をもとに推定することでコンテンツの自動分類を行う。モデルパラメータの値は、一般的に、カテゴリが判明しているコンテンツ(以下、ラベルありサンプル)を用いて求める。 In the automatic content classification technology based on statistical methods, a discriminant function that represents the strength of content-category dependency is given as a function of model parameters and feature vectors, and the category with the strongest dependency is based on the discriminant function. The content is automatically classified by estimation. The value of the model parameter is generally obtained using content whose category is known (hereinafter, labeled sample).
この枠組に基づく手法では、モデルパラメータ値の計算に用いるラベルありサンプルの量を増やすことで、新規のコンテンツの自動分類の精度を向上させることができる。しかし、ラベルありサンプルを得るには、人手でコンテンツをカテゴリに分類する必要があるため、大量のラベルありサンプルを準備することが容易ではない。そこで、どのカテゴリに属するか判明していないコンテンツ(以下、ラベルなしサンプル)を大量に集め、それらのラベルなしサンプルをモデルパラメータの計算に利用することで、ラベルありサンプルのみを利用する場合と比べて自動分類の精度を向上させる技術がある。 In the method based on this framework, the accuracy of automatic classification of new contents can be improved by increasing the amount of labeled samples used for calculation of model parameter values. However, in order to obtain a labeled sample, it is necessary to manually classify the contents into categories. Therefore, it is not easy to prepare a large number of labeled samples. Therefore, by collecting a large amount of content (hereinafter referred to as unlabeled samples) that is not known to which category, and using those unlabeled samples for calculation of model parameters, compared to using only labeled samples There is a technology that improves the accuracy of automatic classification.
図7に、例えば特許文献1に開示されたコンテンツ分類装置1の機能構成例を示してその動作を簡単に説明する。図8にその動作フローを示す。コンテンツ分類装置1は、訓練データDB2、識別関数生成部3、コンテンツ分類部4、入力部5、出力部6、メモリ7を備える。
FIG. 7 shows a functional configuration example of the
訓練データDB2には識別関数を学習するために用いる訓練データ集合が格納される。その訓練データ集合は、コンテンツの特徴ベクトル本体とコンテンツが属するカテゴリIDの対より構成されるラベルありサンプルと、カテゴリIDが付与されていないコンテンツのみで構成されるラベルなしサンプルとから構成されている。 A training data set used for learning the discriminant function is stored in the training data DB2. The training data set is composed of a labeled sample composed of a pair of a content feature vector body and a category ID to which the content belongs, and an unlabeled sample composed only of content not assigned with a category ID. .
その学習は、訓練データDB2に格納された訓練データ集合を用いて識別関数R(k|x,Θ,Ψ,Λ)のパラメータΘ,Ψ,Λを学習する。Θは生成モデルのパラメータ、Ψは学習された生成モデルの統計上の偏りを補正するバイアス補正モデルのパラメータ、Λは非線形の最適化計算である最大エントロピ原理により推定される生成モデルおよびバイアス補正モデルの結合パラメータである。つまり、識別関数R(k|x,Θ,Ψ,Λ)は、生成モデルとバイアス補正モデルを結合パラメータを用いて結合した関数として定義される。
In the learning, the parameters Θ, Ψ, Λ of the discriminant function R (k | x, Θ, Ψ, Λ) are learned using the training data set stored in the
識別関数生成部3は、生成モデルのパラメータの推定値Θ^をラベルありサンプルを用いて学習する(ステップS103)。識別関数生成部3は、ラベルありサンプルから任意の1つのサンプル(xn,yn)を除外して、1点除外ラベルありサンプルを生成して生成モデルのパラメータΘ(-n)を算出する。変数の直後に表記する記号^等は、本来、変数の真上に位置するのが正しい表記である。 The discriminant function generation unit 3 learns the estimated value Θ ^ of the generation model parameter using the labeled sample (step S103). The discriminant function generation unit 3 excludes any one sample (x n , y n ) from the labeled sample, generates a sample with one point excluded label, and calculates the parameter Θ (−n) of the generation model. . The correct notation is that the symbol ^ or the like written immediately after a variable is originally located immediately above the variable.
生成モデルのパラメータΘ(-n)の算出は、全てのラベルありサンプルを除外した場合のサンプルパラメータの対が生成されるまで繰り返し実行される(図8のステップS105〜S110の処理を繰り返すループ)。そして、識別関数生成部3は、そのサンプルパラメータ対と生成モデルのパラメータとバイアス補正モデルのパラメータを用いて、最大エントロピ原理に基づいて生成モデルとバイアス補正モデルの結合パラメータΛの推定値Λ(t+1)を学習し、識別関数Rを生成する。 The calculation of the generation model parameter Θ (−n) is repeatedly executed until a sample parameter pair is generated when all labeled samples are excluded (a loop in which the processes in steps S105 to S110 in FIG. 8 are repeated). . Then, the discriminant function generation unit 3 uses the sample parameter pair, the generation model parameter, and the bias correction model parameter to estimate the combination parameter Λ of the generation model and the bias correction model Λ (t + 1) based on the maximum entropy principle. ) And the discriminant function R is generated.
このように特許文献1の技術は、生成モデルのパラメータ(条件付確率モデル)を、ラベルありサンプルを用いて学習させることを基本的な特徴とするため、学習に用いるラベルありサンプルの与え方に、新規コンテンツの分類精度が大きく依存する。特許文献2も、同様な考えであるので説明は省略する。
As described above, since the technique of
また、非特許文献1,2,3に開示された技術では、コンテンツとカテゴリの確率モデルを識別関数として自動分類に用い、確率モデルのパラメータ値をラベルありサンプルとラベルなしサンプルを同時に用いて計算することを特徴とする。非特許文献1と3では、コンテンツxとカテゴリyの同時確率モデルp(x,y)を識別関数として用い、同時確率モデルを用いて周辺確率密度p(x)を与えることでラベルなしサンプルをパラメータ値の計算に利用することを可能にしている。
In the techniques disclosed in
非特許文献2では、コンテンツxとカテゴリyの条件付確率モデルP(y|x)を識別関数として用い、条件付確率モデルが各ラベルなしサンプルを何れかのカテゴリに明確に識別するようにパラメータ値を計算する。また、非特許文献4に開示された技術では、確率モデルではない識別関数のパラメータ値をラベルありサンプルとラベルなしサンプルを用いて計算するが、各ラベルなしサンプルを何れかのカテゴリに明確に識別するように識別関数を学習させる点で非特許文献2の技術と類似する。
In
特許文献1,2や非特許文献5,6,7の技術では、ラベルありサンプルとラベルなしサンプルから識別関数のパラメータ値を計算するのに、2種類の確率モデルを用いることを特徴とする。特許文献1,2と非特許文献5の技術では、ラベルありサンプルを用いてパラメータ値を計算した確率モデルと、ラベルなしサンプルを用いてパラメータ値を計算した確率モデルを、重み付き統合することによって識別関数を与える。非特許文献6と7の技術では、条件付確率モデルP(y|x)を識別関数として用い、そのパラメータ値をラベルありサンプルを用いて計算する。その際、ラベルなしサンプルの統計情報を条件付確率モデルのパラメータ値に反映させるために、ラベルなしサンプルを用いて学習させる同時確率モデルp(x,y)のパラメータ値と条件付確率モデルのパラメータ値との差が大きくならないように制約を与えてパラメータ値を計算する。これらの技術では、ラベルありサンプルで学習させる確率モデルと、ラベルなしサンプルで学習させる確率モデルを適切に組み合わせて用いることで自動分類の精度を向上させることを特徴とする。
The techniques of
非特許文献8と9の技術では、識別関数のパラメータ値を計算する際に、重み付けされたラベルありサンプルを用い、その重みを決定するのにラベルなしサンプルを用いることを特徴とする。特許文献1と2や非特許文献1〜7の技術と異なり、識別関数のパラメータ値の計算にラベルなしサンプルを直接的に用いない。非特許文献8と9の技術では、ラベルありサンプルの分布よりもラベルなしサンプル集合に含まれるコンテンツと類似するラベルありサンプルに大きな重みを与えて識別関数のパラメータ値を計算することで、新規のコンテンツに対する自動分類の精度を向上させる。
The techniques of
非特許文献1〜3の技術では、同時確率モデルまたは条件付確率モデルの何れか一方を識別関数として用い、識別関数のパラメータ値をラベルありサンプルとラベルなしサンプルを同時に用いて計算する。大量のラベルなしサンプルを識別関数のパラメータ計算に用いることで、ラベルありサンプルが少数であることによる訓練データの不足を補う。しかし、参考文献「M. Seeger: Learning with labeled and unlabeled data. Technical report, University of Edinburgh (2001)」に述べられているように、一般的に同時確率モデルはラベルなしサンプルの分布を学習するのに有効なモデルであるのに対し、条件付確率モデルは同時確率モデルよりラベルありサンプルを正しく分類するのに有効であることが知られている。このため、両モデルを適切に組み合わせることによって、非特許文献1〜3の技術よりもラベルありサンプルとラベルなしサンプルの統計情報を効果的に利用した識別関数を得られる可能性がある。しかし、同時確率モデルと条件付確率モデルの組み合わせ方法には理論的・実用的に決まった枠組みが存在せず、自動分類の精度を向上させるために両モデルをどのように組み合わせるかが技術的な課題となっている。
In the techniques of
その課題を解決する方法として、特許文献1と2及び非特許文献5〜7の技術が開発されている。これらの技術は、同時確率モデルと条件付確率モデルの両方を用いて識別関数を与え、条件付確率モデルと同時確率モデルをそれぞれラベルありサンプルとラベルなしサンプルから学習させる点で同じである。実データを用いた評価実験で、これらの技術による自動分類精度の向上は確認されている。
As a method for solving the problem, techniques of
しかし、これらの技術では、条件付確率モデルをラベルありサンプルを用いて学習させることを基本的な特徴とするため、識別関数の学習に用いるラベルありサンプルの与え方に新規コンテンツの自動分類の精度が大きく依存する。つまり、自動分類の対象となる新規コンテンツと識別関数の学習に用いるラベルありサンプルの分布が大きく異なる場合、新規コンテンツではなくラベルありサンプルのみを正しく識別するような条件付確率モデルを得てしまう。この条件付確率モデルを用いて与えられる識別関数は、新規コンテンツの自動分類に適するとは限らない。 However, since these technologies have the basic feature of learning conditional probability models using labeled samples, the accuracy of automatic classification of new content depends on how labeled samples are used for learning of the identification function. Depends heavily. That is, when the distribution of the labeled sample used for learning the discriminant function differs from the new content to be automatically classified, a conditional probability model that correctly identifies only the labeled sample and not the new content is obtained. The discriminant function given using this conditional probability model is not always suitable for automatic classification of new content.
また、非特許文献8と9の技術は、識別関数の学習に用いるラベルありサンプルと新規コンテンツが大きく異なる場合に、ラベルありサンプルのみに適した識別関数を得ること(過学習)を抑制する技術である。この技術では、大量に与えられるラベルなしサンプルの分布が新規コンテンツの分布と類似する場合に、ラベルなしサンプルの分布から新規コンテンツと大きく異なると推定されるラベルありサンプルに低い重みを与えてパラメータ値を計算することで、新規コンテンツにより適した識別関数を得ることを特徴とする。この技術は、ラベルありサンプルの分布と新規コンテンツの分布の相違によって生じる悪影響を抑制することを目的としており、ラベルありサンプル数の不足による識別関数の学習不足を、ラベルなしサンプルで補うことを目的としたものではない。つまり、テキスト分類などのように、疎な特徴量空間をもつ自動分類問題で特に見られるラベルありサンプルに含まれる特徴量を全く含まない新規コンテンツの自動分類の精度を、ラベルなしサンプルを活用することで向上させることは、この技術の目的ではない。
In addition, the techniques of
以上整理すると、非特許文献1〜3の技術は、同時確率モデル又は条件付確率モデルのどちらか一方を識別関数として用いる方法である。また、特許文献1と2及び非特許文献5〜7の技術は、条件付確率モデルのパラメータ値をラベルありサンプルのみを用いて計算するものである。また、非特許文献8と9の技術は、識別関数の学習不足をラベルなしサンプルで補うことを目的としたものではない。このように従来技術では、ラベルなしサンプルの統計情報を効果的に用いてカテゴリが未知なコンテンツを分類する方法はなかった。
In summary, the techniques of
この発明は、このような問題点に鑑みてなされたものであり、特徴ベクトルによって表現されるコンテンツを、内容を表すカテゴリに自動分類する際、分類対象となる新規コンテンツとパラメータ計算に用いるラベルありサンプルの分布が大きく異なる場合において、ラベルなしサンプルの統計情報を効果的に活用することによって新規コンテンツに対して頑健かつ高精度な自動分類を実現するコンテンツ自動分類装置と、コンテンツ自動分類方法およびコンテンツ自動分類プログラムを提供することを目的とする。 The present invention has been made in view of such a problem, and when automatically classifying content expressed by a feature vector into a category representing content, there is a label used for new content to be classified and parameter calculation Automatic content classification device, content automatic classification method and content that realize robust and highly accurate automatic classification for new content by effectively using statistical information of unlabeled samples when sample distributions differ greatly The purpose is to provide an automatic classification program.
この発明のコンテンツ自動分類装置は、カテゴリが不明なコンテンツを入力として、そのコンテンツのカテゴリを分類するコンテンツ自動分類装置であって、識別関数生成部とコンテンツ分類部とを具備する。識別関数生成部は、コンテンツとカテゴリの依存関係の強さを表す識別関数を、条件付確率モデルP(y|x)と同時確率モデルp(x,y)との重み付き統合により構成し、コンテンツの属するカテゴリが既知のラベルありサンプル集合と、コンテンツの属するカテゴリが不明なラベルなしサンプル集合との、統計情報をもとに識別関数の同時確率モデルのパラメータΘ(t)と、条件付確率モデルのパラメータW(t)と、重みβ(t)と、を同時に計算して求める。コンテンツ分類部は、コンテンツと識別関数の各パラメータの推定値を入力としてその識別関数値を最大化させるカテゴリを求めて出力する。 The content automatic classification device according to the present invention is an automatic content classification device that receives content whose category is unknown and classifies the content category, and includes an identification function generation unit and a content classification unit. The discriminant function generation unit configures an discriminant function representing the strength of the dependency between content and category by weighted integration of the conditional probability model P (y | x) and the joint probability model p (x, y), The parameter Θ (t) of the joint function model of the discriminant function based on the statistical information of the sample set with a known category to which the category belongs and the unlabeled sample set with the unknown category, and the conditional probability The model parameter W (t) and the weight β (t) are calculated and obtained simultaneously. The content classification unit receives the estimated values of the parameters of the content and the identification function as inputs and obtains and outputs a category that maximizes the identification function value.
この発明のコンテンツ自動分類装置によれば、コンテンツの識別関数を条件付確率モデルと同時確率モデルの重み付き統合で与え、識別関数のモデルパラメータである条件付確率モデルのパラメータと、同時確率モデルのパラメータと、重み付き統合の重みと、をラベルありサンプルとラベルなしサンプルの双方の統計情報を同時に用いて計算することで、ラベルありサンプルのみに適した識別関数を生成することを抑制すると共に、ラベルありサンプルに含まれない特徴量(特徴ベクトル)に関する識別関数の学習不足をラベルなしサンプルで補うことができる。その結果、分類対象となる新規コンテンツとパラメータ計算に用いるラベルありサンプルの分布が大きく異なる場合においても、新規コンテンツに対して頑健かつ高精度な自動分類を実現することができる。 According to the content automatic classification device of the present invention, the content identification function is given by weighted integration of the conditional probability model and the joint probability model, the parameter of the conditional probability model, which is the model parameter of the identification function, and the joint probability model By simultaneously calculating the parameters and the weight of the weighted integration using the statistical information of both the labeled sample and the unlabeled sample, it is possible to suppress generation of an identification function suitable only for the labeled sample, Insufficient learning of the discriminant function regarding the feature amount (feature vector) not included in the labeled sample can be compensated by the unlabeled sample. As a result, even when the distribution of new content to be classified differs from the distribution of samples with labels used for parameter calculation, robust and highly accurate automatic classification can be realized for the new content.
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。 Embodiments of the present invention will be described below with reference to the drawings. The same reference numerals are given to the same components in a plurality of drawings, and the description will not be repeated.
図1にこの発明のコンテンツ自動分類装置100の機能構成例を示す。図2にその動作フローを示す。コンテンツ自動分類装置100は、識別関数生成部20と、コンテンツ分類部40とを具備する。外部に訓練データDB10が設けられる。その各部の機能は、例えばROM、RAM、CPU等で構成されるコンピュータに所定のプログラムが読み込まれて、CPUがそのプログラムを実行することで実現されるものである。
FIG. 1 shows an example of the functional configuration of an automatic
コンテンツ自動分類装置100は、予め設定したカテゴリ{1,…,k,…,K}の中から、分類対象コンテンツが属するカテゴリを推定する装置である。この推定は、予め識別関数生成部3で計算した識別関数のパラメータ値を用いて、分類対象コンテンツに対して最大の識別関数値を与えるカテゴリを探索することで行われる。
The automatic
訓練データDB10には、自動分類対象となるコンテンツと同様の形式をもつコンテンツの例を集めて生成された訓練データ集合が記憶されている。例えば、Web記事を自動分類する場合、Web記事の例とその例の内容を表すカテゴリ(音楽、スポーツ、ビジネスなど)を記録した訓練データDB10を用いる。
The
訓練データ集合は、コンテンツ本体とカテゴリの対から成るラベルありサンプルと、属するカテゴリが不明なラベルなしサンプルから成る。カテゴリの候補は、利用者あるいは自動分類装置の設計者によって予め定義される。 The training data set is composed of a labeled sample composed of a content body / category pair and an unlabeled sample whose belonging category is unknown. The category candidates are defined in advance by the user or the designer of the automatic classification apparatus.
識別関数生成部20は、条件付確率モデルP(y|x;W)と同時確率モデルp(x,y;θy)の重み付き統合(重みβ)に基づいて定義される識別関数のパラメータである条件付確率モデルのパラメータW^と、同時確率モデルのパラメータΘ^=[θ1,…,θk,…,θK]と、重み付き統合の重みβ^の各値を、ラベルありサンプルとラベルなしサンプルを用いて同時に計算する(ステップS20)。識別関数のパラメータ値はメモリ30に記録するようにしても良い。ここでxはコンテンツの特徴ベクトル、y∈{1,…,k,…,K}はコンテンツが属するカテゴリを表す。Pは確率値、pは確率密度である。
The discriminant
コンテンツ分類部40は、識別関数のパラメータ値W^,β^,Θ^を用いて分類対象コンテンツxzを、コンテンツが属するカテゴリに分類する(ステップS40)。
The
条件付確率モデルP(y|x;W)と同時確率モデルp(x,y;θy)の重み付き統合(重みβ)に基づいて定義される識別関数のパラメータをラベルありサンプルとラベルなしサンプルの双方の統計情報を同時に用いて計算することで、ラベルありサンプルのみに適した識別関数を生成することを抑制すると共に、ラベルありサンプルに含まれない特徴量に関する識別関数の学習不足をラベルなしサンプルで補うことができるので、新規コンテンツに対して頑健かつ高精度な自動分類を行うことができる。 Labeled sample and unlabeled parameters of the discriminant function defined based on the weighted integration (weight β) of the conditional probability model P (y | x; W) and the joint probability model p (x, y; θ y ) By using the statistical information of both samples at the same time, it is possible to suppress the generation of discriminant functions suitable only for labeled samples, and to label insufficient learning of discriminant functions related to features not included in labeled samples. Since the sample can be supplemented with none, robust and highly accurate automatic classification can be performed for new content.
図2に識別関数生成部20のより詳細な機能構成例を示す。その動作フローを図3に示す。識別関数生成部20は、基準計算部21と、確率値計算部22と、条件付き確率モデル計算部23と、同時確率モデル計算部24と、重み計算部25と、収束判定部26と、を備える。
FIG. 2 shows a more detailed functional configuration example of the discrimination
基準値計算部21は、訓練データDB10に保存されているラベルありサンプル集合Dp(式(1))と、ラベルなしサンプル集合Du(式(2))を読み込んで同時確率モデルp(x,y;θy)のパラメータθyの基準値θ−を計算する(ステップS21)。
The reference
ここで、nはラベルありサンプル集合に含まれるラベルありサンプルのID番号を表し、mはラベルなしサンプル集合に含まれるラベルなしサンプルのID番号を表す。
基準値θ−は、同時確率モデルのパラメータの初期値Θ(0)とされる。また、条件付確率モデルのパラメータの初期値W(0)と、重み付き統合の重みの初期値β(0)を設定する。
Here, n represents the ID number of the labeled sample included in the labeled sample set, and m represents the ID number of the unlabeled sample included in the unlabeled sample set.
The reference value θ − is the initial value Θ (0) of the parameter of the joint probability model. In addition, the initial value W (0) of the parameter of the conditional probability model and the initial value β (0) of the weighted integration weight are set.
確率値計算部22は、各パラメータの初期値Θ(0),W(0),β(0)、若しくは収束判定部26から入力される収束途中の各パラメータΘ(t),W(t),β(t)を、パラメータ値としてラベルなしサンプルxmがカテゴリyに属する確率値R(y|xm;W(t),Θ(t),β(t))を計算する(ステップS22)。
The probability
条件付確率モデル計算部23は、確率値R(y|xm;W(t),Θ(t),β(t))とラベルありサンプルとラベルなしサンプルを用いて条件付確率モデルのパラメータW(t+1)を計算する(ステップS23)。同時確率モデル計算部24は、確率値R(y|xm;W(t),Θ(t),β(t))を入力として同時確率モデルのパラメータθ(t+1)を計算する(ステップS24)。
The conditional probability
重み計算部25は、確率値R(y|xm;W(t),Θ(t),β(t))と同時確率モデルのパラメータθ(t+1)を入力として重み付き統合の重みβ(t+1)を計算する(ステップS25)。
The
収束判定部26は、各パラメータW(t+1),θ(t+1),β(t+1)の変化量d(t+1,t)を計算し、収束条件d(t+1,t)<εを満たせばW^←W(t+1),Θ^←θ(t+1),β^←β(t+1)として各パラメータの推定値を出力する(ステップS26の収束)。収束条件を満たさなければ、パラメータの学習のステップをt←t+1のように更新してステップS22〜ステップS26までの処理を再度実施する。この処理は収束条件を満たすか、tが所定の回数tmaxに到達するまで繰り返される(ステップS26の未収束)。
The
このように一回の収束判定処理によって、識別関数のパラメータの推定値W^,Θ^,β^が計算される。つまり、各パラメータの推定値W^,Θ^,β^は、ラベルありサンプルとラベルなしサンプルの双方の統計情報を用いて同時に計算される。 Thus, the estimated values W ^, Θ ^, β ^ of the discriminant function are calculated by a single convergence determination process. That is, the estimated values W ^, Θ ^, β ^ for each parameter are calculated simultaneously using statistical information of both labeled and unlabeled samples.
識別関数生成部20を構成する各計算部で行われる計算の具体例を示して更に詳しく実施例1の動作を説明する。計算の具体例を、K個のカテゴリ{1,…,k,…K}からコンテンツxが属するカテゴリyを1つ選択する多クラス分類問題に対して、条件付確率モデルに対数線形モデル(最大エントロピーモデル、多項ロジスティック回帰モデルと等価)を、同時確率モデルに単純ベイズモデル(Naive Bayes model)を、用いた例で説明する。
The operation of the first embodiment will be described in more detail by showing a specific example of calculation performed by each calculation unit constituting the discriminant
コンテンツに含まれる単語や画素、リンク、或いはそれらの組み合わせ等により構成される特徴量空間をT={t1,…,ti,…,tV}とするとき、コンテンツの特徴ベクトルxは、コンテンツに含まれるtiの頻度xiをもとにx=(x1,…,xi,…,xV)Tで表現される。添え字iはスカラー量であることを意味する。Vはコンテンツに含まれる可能性がある特徴の種類の数を表す。例えば、コンテンツがテキストデータである場合、Vはコンテンツに出現する可能性がある語彙の総数を表す。ATは行列(ベクトル)Aの転置を表す。 When a feature space composed of words, pixels, links, or combinations thereof included in the content is T = {t 1 ,..., T i ,..., T V }, the content feature vector x is Based on the frequency x i of t i included in the content, x = (x 1 ,..., X i ,..., X V ) T is expressed. The subscript i means a scalar quantity. V represents the number of types of features that may be included in the content. For example, when the content is text data, V represents the total number of vocabularies that can appear in the content. AT represents the transpose of the matrix (vector) A.
対数線形モデルでは、コンテンツxがカテゴリyに属する確率P(y|x)を式(3)で定義する。 In the logarithmic linear model, the probability P (y | x) that content x belongs to category y is defined by equation (3).
ここで、W=[w1,…,wk,…,wK]Tは対数線形モデルのパラメータ行列を表し、wk=(wk1,…,wki,…wkV)Tである。単純ベイズモデルでは、カテゴリyとコンテンツxの同時確率密度p(x,y)を、カテゴリyにおけるそれぞれの特徴tiの出現確率θyiが独立であると仮定して式(4)で定義する。 Here, W = [w 1 ,..., W k ,..., W K ] T represents a parameter matrix of a logarithmic linear model, and w k = (w k1 ,..., W ki ,... W kV ) T. In the naive Bayes model, the joint probability density p ( x , y ) of the category y and the content x is defined by the equation (4) assuming that the appearance probability θ yi of each feature t i in the category y is independent. .
ここで、θy=(θy1,…,θyi,…,θyV)Tであり、θy1>0かつ|θy|=ΣV i1θyi=1である。また、Θ=[θ1,…θk,…,θK]Tは単純ベイズモデルのパラメータ行列を表す。P(y)>0はカテゴリyの出現確率を表し、ΣK k=1P(k)=1を満たす。
Here, θ y = (θ y1, ..., θ yi, ..., θ yV) is T,
この実施例では、識別関数生成部20において訓練データDB10に保存されているラベルありサンプル集合Dp(式(1))とラベルなしサンプル集合Du(式(2))を読み込んで識別関数のパラメータ値の計算と識別関数の生成を行う(ステップS20、図2)。生成される識別関数は、識別関数によって与えられるコンテンツxがカテゴリyに属する確率R(y|x)とするとき、条件付確率モデルP(y|x;W)と同時確率モデルp(x,y;θy)に関する重み付き最適化(パレート最適化)に基づく目的関数(式(5))の最大化により与えられる。
In this embodiment, the discriminant
ここで、p^(x)は訓練データとして与えられるコンテンツの確率密度を表す。確率R(y|x)と条件付確率モデルのKL距離を式(6)、確率R(y|x)による同時確率モデルの期待対数尤度を式(7)でそれぞれ表す。 Here, p ^ (x) represents the probability density of content given as training data. The KL distance between the probability R (y | x) and the conditional probability model is expressed by Equation (6), and the expected log likelihood of the joint probability model by the probability R (y | x) is expressed by Equation (7).
βは、条件付確率モデルと同時確率モデルの重み付き統合の重みを与え、非負の値(β>0)を取るとする。すなわち、識別関数によって与えられる確率値R(y|x)と条件付確率モデルの差が小さく、かつ、確率値R(y|x)によって推定されるカテゴリyとコンテンツxの分布が同時確率モデルによく適合するように識別関数を与える。また、p(W)とp(Θ)は、パラメータWとΘの事前確率分布を表し、例えばそれぞれ正規分布とディリクレ分布を用いて式(8)と式(9)で与えられる。 Let β be a weight for the weighted integration of the conditional probability model and the joint probability model, and take a non-negative value (β> 0). That is, the difference between the probability value R (y | x) given by the discriminant function and the conditional probability model is small, and the distribution of the category y and the content x estimated by the probability value R (y | x) is a joint probability model. Gives a discriminant function that fits well. Further, p (W) and p (Θ) represent prior probability distributions of the parameters W and Θ, and are given by Expression (8) and Expression (9) using, for example, a normal distribution and a Dirichlet distribution, respectively.
σとξ(>1)は、識別関数のパラメータ計算のために事前に値を設定すべき事前分布を表すパラメータ(ハイパーパラメータ)である。 σ and ξ (> 1) are parameters (hyper parameters) representing a prior distribution whose values should be set in advance for the parameter calculation of the discriminant function.
式(5)で与えた目的関数を最大化させる確率値R(y|x)は、ΣK k=1R(k|x)=1の条件下で方程式∂J/∂R=0を解くことで、条件付確率モデルと同時確率モデルを用いて式(10)で表現できる。 Probability value R that maximizes the objective function given in Equation (5) (y | x) is, Σ K k = 1 R | solving (k x) = equation ∂J / ∂R = 0 under the condition of 1 Thus, it can be expressed by equation (10) using a conditional probability model and a joint probability model.
確率値計算部22(図3)は、式(10)で与えられるR(y|x;W,Θ,β)を識別関数として生成する。 The probability value calculation unit 22 (FIG. 3) generates R (y | x; W, Θ, β) given by the equation (10) as a discrimination function.
訓練データDB10に含まれるラベルありサンプル集合Dpとラベルなしサンプル集合Duから計算すべき識別関数のパラメータは、条件付確率モデルのパラメータWと、同時確率モデルのパラメータΘ、重み付き統合の重みβである。ラベルありサンプル集合Dpに含まれるコンテンツxnのカテゴリynは判明しており、R(yn|xn)=1,R(y≠yn|xn)=0であるべきである。一方、ラベルなしサンプル集合Duに含まれるコンテンツxmのカテゴリyは不明である。 Parameters of the identification function should be calculated from the label there sample set D p and unlabeled sample set D u which is included in the training data DB10 is, and parameters W of the probability model with conditions, the parameters of the joint probability model Θ, the weight of the weighted integration β. The category y n of the content x n included in the labeled sample set D p is known and should be R (y n | x n ) = 1, R (y ≠ y n | x n ) = 0. . On the other hand, the category y of the content x m included in the unlabeled sample set D u is unknown.
そこで、ラベルありサンプルについてはR(yn|xn)=1,R(y≠yn|xn)=0とし、ラベルなしサンプルについては式(10)で与えられる確率値を用いて式(5)の目的関数を書き替えると式(11)になる。 Therefore, R (y n | x n ) = 1, R (y ≠ y n | x n ) = 0 for the labeled sample, and the probability value given by the equation (10) is used for the unlabeled sample. When the objective function of (5) is rewritten, equation (11) is obtained.
条件付確率モデル計算部23と同時確率モデル計算部24と重み計算部25は、条件付確率モデルと同時確率モデルとの重み付き統合に用いる重みの2乗値を、最小化すべき抑制項として目的関数に付加することで定義される最適化問題の解として、重み値β(t+1)と条件付確率モデルのパラメータ値W(t+1)と同時確率モデルのパラメータ値θ(t+1)と、を同時に計算する
The conditional probability
つまり、条件付確率モデル計算部23と同時確率モデル計算部24は、式(11)の目的関数J(W,Θ|β)の最大化に基づいて識別関数を構成する条件付確率モデルと同時確率モデルのパラメータW,Θの値を計算する。具体的には、J(W,Θ|β)と基準値J(W−,Θ−|β)の差にβの抑制項を加えた式(12)の目的関数の最大化によりパラメータW,Θ,βを計算する。
That is, the conditional probability
すなわち、基準値に対する目的関数J(W,Θ|β)の値が最大になるように識別関数のパラメータW,Θ,βの値を計算する。式(12)中のρは式(8)と式(9)中のσとξと同様に、パラメータ計算のために事前に定数値を設定すべきハイパーパラメータである。 That is, the values of the discrimination function parameters W, Θ, and β are calculated so that the value of the objective function J (W, Θ | β) with respect to the reference value is maximized. Ρ in Expression (12) is a hyperparameter for which a constant value should be set in advance for parameter calculation, as in σ and ξ in Expression (8) and Expression (9).
基準値J(W−,Θ−|β)を与える条件付確率モデルのパラメータの基準値W−と同時確率モデルのパラメータの基準値Θ−は、各カテゴリに対して均等な確率値(R(y|x=1/K)を与えるパラメータ値として与える。これらの値は、式(5)にR(y|x)=1/Kを代入して得られる目的関数(式(13))を最大化させるパラメータW,Θとして与えられる。 Reference value J (W -, Θ - | β) the reference value of the parameters of the conditional probability model that gives the W - and the joint probability model of the parameters of the reference value Θ - is, equal probability values for each category (R ( y | x = 1 / K) is given as a parameter value, which is obtained by substituting R (y | x) = 1 / K into equation (5) for the objective function (equation (13)). It is given as parameters W and Θ to be maximized.
条件付確率モデルと同時確率モデル及びパラメータの事前確率分布として式(3),(4),(8),(9)を用いる場合、W−=0であり、Θ−=[θ^yi]i,yについては、ラベルありサンプル集合Dpとラベルなしサンプル集合Duに含まれるコンテンツを用いて式(14)で計算できる。また、単純ベイズモデルに含まれるP(y)の推定値はP−(y)=1/Kである。このため、式(14)と(15)を用いると式(12)は式(16)に示すように簡略化できる。 When Expressions (3), (4), (8), and (9) are used as the conditional probability model, the joint probability model, and the prior probability distribution of parameters, W − = 0 and Θ − = [θ ^ yi ] i and y can be calculated by Expression (14) using contents included in the labeled sample set D p and the unlabeled sample set D u . The estimated value of P (y) included in the naive Bayes model is P − (y) = 1 / K. Therefore, when Expressions (14) and (15) are used, Expression (12) can be simplified as shown in Expression (16).
Cは定数項であり識別関数のパラメータの計算には無関係である。
基準値計算部21は、予め外部から設定されるハイパーパラメータξとラベルありサンプルDpとラベルなしサンプルDuとを用いて同時確率モデルP(x,y;θy)のパラメータθyの基準値θ−を式(14)で計算すると共に、同時確率モデルのパラメータの初期値Θ(0)をθ(0)k←θ−に、重み付き統合の重み値をβ(0)←0に初期化する。また、条件付確率モデルのパラメータW(t+1)を、ラベルありサンプル集合Dpを用いて式(17)で計算し、学習ステップtをt←0にする(ステップS21)。
C is a constant term and is irrelevant to the calculation of the parameters of the discriminant function.
The reference
確率値計算部22は、条件付確率モデルのパラメータW(t)と同時確率モデルのパラメータΘ(t)と重みβ(t)とから式(10)で識別関数値R(y|x;W,Θ,β)を計算する(ステップS22)。学習ステップt=0では、各パラメータは初期値W(0),Θ(0),β(0)が用いられる。
The probability
条件付確率モデル計算部23と、同時確率モデル計算部24と、重み計算分25とは、期待値最大化(EM)アルゴリズムのような繰り返し計算を行うことでパラメータW(t),Θ(t),β(t)を計算する。
The conditional probability
その繰り返し計算は、学習ステップ(t)におけるパラメータW(t),Θ(t),β(t)を、学習ステップ(t+1)におけるパラメータ値をQ関数(式(18))を最大化させるパラメータ値として計算する。 The iterative calculation is performed by maximizing the parameters W (t) , Θ (t) and β (t) in the learning step (t), and the parameter values in the learning step (t + 1) to maximize the Q function (equation (18)). Calculate as a value.
このQ関数の最大化問題の解は、確率値計算部22で式(10)をもとに計算された確率値R(y|xm;W(t),Θ(t),β(t))を用いて、条件付確率モデル計算部23でW(t+1)を式(19)で計算し(ステップS23)、同時確率モデル計算部24でΘ(t+1)を式(20)で計算する。
The solution of the Q function maximization problem is the probability value R (y | x m ; W (t) , Θ (t) , β (t ) ), W (t + 1) is calculated by Equation (19) by the conditional probability model calculation unit 23 (step S23), and Θ (t + 1) is calculated by Equation (20) by the joint probability
式(20)中のIyn(y)はy=ynの時に1、y≠ynの時に0となる指示関数である。 I yn of formula (20) (y) is 0. The instruction function when a 1, y ≠ y n when y = y n.
式(17)で与えられるW(0)と式(19)で与えられるW(t+1)の値は、準ニュートン法の一種であるBFGSアルゴリズムや確率的勾配降下(SGD)法などを用いることで計算できる。BFGSアルゴリズムは参考文献「D. C. Liu and J. Nocedal: On the limited memory BFGS method for large scale optimization, Math. Programming, Ser. B, Vol. 45, No. 3, pp.503-528 (1989).」を参照。確率的勾配降下(SGD)法は参考文献「Y. Tsuruoka, J. Tsujii, and S. Ananiadou: Stochastic gradient descent training for L1-regularized log-linear models with cumulative penalty. In Proceedings of the 47thAnnual Meeting of the Association for Computational Linguistics (ACL-2009), 477-485 (2009).」を参照。 The values of W (0) given by equation (17) and W (t + 1) given by equation (19) are obtained by using a BFGS algorithm, a stochastic gradient descent (SGD) method, or the like, which is a kind of quasi-Newton method. Can be calculated. The BFGS algorithm is described in the reference "DC Liu and J. Nocedal: On the limited memory BFGS method for large scale optimization, Math. Programming, Ser. B, Vol. 45, No. 3, pp. 503-528 (1989)." See The Stochastic Gradient Descent (SGD) method is described in the reference “Y. Tsuruoka, J. Tsujii, and S. Ananiadou: Stochastic gradient descent training for L1-regularized log-linear models with cumulative penalty. In Proceedings of the 47 th Annual Meeting of the Association for Computational Linguistics (ACL-2009), 477-485 (2009). "
重み計算部25は、Θ(t+1)を用いて式(21)で重みβ(t+1)を計算する(ステップS25)。
The
なお、式(21)は、同時確率モデルの重み値を、ラベルありサンプルに対する対数尤度とラベルなしサンプルに対する期待対数尤度に比例する量に設定することを意味する。すなわち、この実施例では、ラベルあり・なしサンプル双方に対する同時確率モデルの適合度に応じて重み値を設定し、この適合度が高いほど同時確率モデルに大きな重みを与えて識別関数を生成する。 Equation (21) means that the weight value of the joint probability model is set to an amount proportional to the log likelihood for the labeled sample and the expected log likelihood for the unlabeled sample. That is, in this embodiment, a weight value is set according to the matching degree of the joint probability model for both labeled and unlabeled samples, and the higher the matching degree, the larger the weight is given to the joint probability model to generate the discriminant function.
収束判定部26は、学習ステップ(t+1)における識別関数のパラメータW(t+1),Θ(t+1),β(t+1)を計算したあと、例えば式(22)で与える収束条件を満たすか否かを確認する(ステップS26)。
ここで、Ψ(t)=W(t)+β(t)logΘ(t)であり、‖Ψ(t)‖は行列Ψ(t)のフロベニウスノルムを表す。εは事前に与える微小な数値である。ステップS26で収束条件を満たす場合は、パラメータW(t+1),Θ(t+1),β(t+1)を各パラメータの推定値W^,Θ^,β^としてコンテンツ分類部40に出力する。各パラメータの推定値W^,Θ^,β^はメモリ30に記録するようにしても良い。収束条件を満たさない場合は学習ステップ(t)←t+1としてステップS22〜S26までの処理を繰り返す。
Here, ψ (t) = W (t) + β (t) logΘ (t) , and ‖ψ (t) ‖ represents the Frobenius norm of the matrix ψ (t) . ε is a minute value given in advance. If the convergence condition is satisfied in step S26, the parameters W (t + 1) , Θ (t + 1) , β (t + 1) are output to the
以上説明したパラメータ計算アルゴリズムを整理して書くと下記のようになる。
手順1:ハイパーパラメータσ,ξ,ρを所定値として外部から設定。
手順2:式(14)を用いてラベルありサンプル集合Dp(式(1))とラベルなしサンプル集合Du(式(2))から同時確率モデルのパラメータの基準値θ−を計算(図4、ステップS21)。
The parameter calculation algorithm described above is summarized and written as follows.
Procedure 1: Set the hyper parameters σ, ξ, and ρ as specified values from the outside.
Step 2: Calculate the reference value θ − of the parameter of the joint probability model from the labeled sample set D p (formula (1)) and the unlabeled sample set D u (formula (2)) using the formula (14) (FIG. 4, Step S21).
手順3:学習ステップtとパラメータの初期値を設定
31.学習ステップ(t)=0、Θ(t)の要素θ(t) yi,∀yにθ− iを代入。
32.式(17)の右辺を満たすパタメータ値WをBFGSアルゴリズム又はSGD法を用いて計算し、W(t)に代入(ステップS21)。
Procedure 3: Set learning step t and initial value of parameters 3 1 . Learning step (t) = 0, and θ - i is substituted into elements θ (t) yi and ∀y of Θ (t) .
3 2 . The parameter value W satisfying the right side of Expression (17) is calculated using the BFGS algorithm or the SGD method, and assigned to W (t) (step S21).
手順4:識別関数のパラメータの推定値W^,Θ^,β^を計算。
41.収束条件のパラメータεと、最大繰り返し計算tmaxの値を設定。
42.W(t),Θ(t),β(t)を用いてラベルなしサンプルxmがカテゴリyに属する確率値を計算(ステップS22)。
43.BFGSアルゴリズム又はSGD法を用いて、式(19)によりラベルありサンプル集合Dpとラベルなしサンプル集合Du、ラベルなしサンプルの確率値{R(y|xm;W(t),Θ(t),β(t))}m,kで表せる条件付確率モデルのパラメータ値W(t+1)を計算(ステップS23)。
44.ラベルありサンプル集合Dpとラベルなしサンプル集合Du、ラベルなしサンプルの確率値{R(y|xm;W(t),Θ(t),β(t))}m,kを用いて同時確率モデルのパラメータΘ(t+1)を計算(ステップS24)。
45.式(21)により、ラベルありサンプル集合Dpとラベルなしサンプル集合Du、ラベルなしサンプルの確率値{R(y|xm;W(t),Θ(t),β(t))}m,kとΘ(t+1)を用いて表せる重み付き統合の重み値β(t+1)を計算(ステップS25)。
46.収束判定(学習終了判定)処理を実行(ステップS26)
手順5:収束したパラメータの推定値W^,Θ^,β^をコンテンツ分類部40に出力。
Procedure 4: Calculate estimated values W ^, Θ ^, β ^ of discriminant function parameters.
4 1 . Set the convergence condition parameter ε and the value of the maximum iteration t max .
4 2 . W (t), Θ (t ), without a label by using the β (t) sample x m is calculated the probability values that belong to the category y (step S22).
4 3 . Using the BFGS algorithm or the SGD method, according to Equation (19), the labeled sample set D p and the unlabeled sample set D u , the probability value of the unlabeled sample {R (y | x m ; W (t) , Θ (t ) , Β (t) )} The parameter value W (t + 1) of the conditional probability model expressed by m, k is calculated (step S23).
4 4 . Using labeled sample set D p and unlabeled sample set D u , unlabeled sample probability value {R (y | x m ; W (t) , Θ (t) , β (t) )} m, k The parameter Θ (t + 1) of the joint probability model is calculated (step S24).
4 5 . According to the equation (21), the labeled sample set Dp and the unlabeled sample set D u , the probability value of the unlabeled sample {R (y | x m ; W (t) , Θ (t) , β (t) )} m , K and Θ (t + 1) , a weighted integration weight value β (t + 1) that can be expressed is calculated (step S25).
4 6 . Convergence determination (learning end determination) processing is executed (step S26).
Procedure 5: Output the estimated parameter values W ^, Θ ^, β ^ to the
コンテンツ分類部40は、識別関数R(y|x;W^,Θ^,β^)から正規化項を除去した関数(式(23))を用いて、式(24)を満たすカテゴリy^をコンテンツxzの自動分類結果として出力する。
The
コンテンツ分類部40の処理は、一般的な最大値を求めるアルゴリズムで簡単に実現することが可能であるのでこれ以上の説明は省略する。
The processing of the
〔実験結果〕
この発明の動作を確認する目的で、上位カテゴリとしてコンピュータに属するコンテンツを、5つのサブカテゴリに分類する評価実験を行った。テキスト自動分類装置の性能評価に良く用いられるデータベース20newsgroups(20News、非特許文献1参照)を用いた。
〔Experimental result〕
For the purpose of confirming the operation of the present invention, an evaluation experiment was conducted in which contents belonging to a computer as a higher category were classified into five subcategories. A database 20newsgroups (20News, see Non-Patent Document 1) often used for performance evaluation of an automatic text classification device was used.
このデータベースには、コンテンツ本体とコンテンツが属するカテゴリ情報が付与されており、カテゴリの総数は20である。性能評価では2種類の評価用データセットを作成した。 This database is assigned category information to which the content main body and the content belong, and the total number of categories is 20. In performance evaluation, two types of evaluation data sets were created.
評価用データセット1は、パラメータ値の計算に用いるラベルありサンプルと2500個のラベルなしサンプルを5つのサブカテゴリに属するコンテンツの中から無作為に抽出した。すなわち、ラベルなしサンプルとして抽出されたコンテンツについては、データベースに記録されたカテゴリ情報を用いずに、識別関数のパラメータ計算を行う。また、ラベルありサンプルとラベルなしサンプルとして抽出されなかった残りのコンテンツから1000文書を利用者が分類を望むコンテンツとして(以下、テストサンプル)無作為に抽出して自動分類の性能評価に用いた。性能評価の尺度には、自動分類装置で推定されるテストサンプルのカテゴリとデータベースに記録されているカテゴリの一致率(以下、正答率)を用いた。
In the
評価用データセット2は、5つのサブカテゴリに属するコンテンツをspherical K-meansアルゴリズム(参考文献「I. S. Dhillon and D. S. Modha: Concept decompositions for large spase text data using clustering. Machine Learning, Vol. 42, pp. 143-175 (2001).」)を用いてクラスタリングし、異なるクラスタからそれぞれラベルありサンプルとラベルなしサンプルを抽出した。このようにクラスタリング結果を用いてサンプル抽出を行う事で、評価用データセット2は、評価用データセット1と比べて、ラベルありサンプルの分布とラベルなしサンプルの分布との、相違が大きくなる。
図5に、評価用データセット1を用いた場合の正答率とラベルありサンプルの数との関係を示す。縦軸が正答率、横軸がラベルありサンプルの数である。図中の●が実施例1で説明したこの発明のコンテンツ自動分類装置100で分類した結果、■は非特許文献5で開示された方法(LL-NB法)で分類した結果、◆は特許文献1で開示された方法で分類した結果を示す。ラベルありサンプルの数が増加するに従って正答率が向上する右上がりの特性を示し、各方法による正答率に大きな差が見られない。
FIG. 5 shows the relationship between the correct answer rate and the number of labeled samples when the
図6に、評価用データセット2を用いた場合の結果を示す。この発明のコンテンツ自動分類装置100で分類した結果の正答率が、最も良い結果を示した。このようにラベルありサンプルのデータ分布と、ラベルなしサンプルのデータ分布との差が大きい場合にこの発明のコンテンツ自動分類装置100に優位性があることが分かる。すなわち、この発明によるコンテンツ自動分類装置100は、従来の分類装置に比べて、ラベルありサンプルの分布が大きく異なる場合においても、新規コンテンツに対して頑健かつ高精度な自動分類を可能にする。
FIG. 6 shows the results when the
実施例1に示した方法及び装置において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する各装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしても良い。例えば、この発明の特徴である識別関数のパラメータの値が同時に計算されることを分かり易く表現する目的で、図4において条件付確率モデル計算過程S23と、同時確率モデル計算過程S24と重み計算過程S25と、を並列に表記した。しかし、これらの過程は順次、時系列的に処理されるようにしても良い。つまり、一回の収束判定過程でそれぞれ1個のパラメータの推定値が計算されれば良い。 The processes described in the method and apparatus shown in the first embodiment are not only executed in time series in the order described, but also executed in parallel or individually as required by the processing capability of each apparatus that executes the process. It may be done. For example, in order to express easily that the parameter values of the discriminant function, which is a feature of the present invention, are calculated simultaneously, the conditional probability model calculation process S23, the joint probability model calculation process S24, and the weight calculation process in FIG. S25 is described in parallel. However, these processes may be sequentially processed in time series. That is, it is only necessary to calculate an estimated value of one parameter for each convergence determination process.
また、実施例1のコンテンツ自動分類装置100では、訓練データDB10をその外部に設ける例で説明を行ったが、訓練データDB10を含めた分類装置としても、この発明の技術思想に何んら影響を与えない。また、実施例1では、コンテンツ自動分類装置100に、未知のコンテンツの特徴ベクトルを直接与える例で説明を行ったが、生のコンテンツをそのまま入力するようにしても良い。その場合は、コンテンツ分類部40(図1)の前に入力部などを設け、そこで生のコンテンツを特徴ベクトルに変換する処理を行わせるようにすれば良い。
In the automatic
また、上記各装置における処理内容はプログラムによって記述される。また、各装置の機能構成部は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしても良い。 The processing contents in each of the above devices are described by a program. In addition, the functional configuration unit of each device may be configured by causing a predetermined program to be executed on a computer, or at least a part of these processing contents may be realized in hardware.
Claims (8)
コンテンツとカテゴリの依存関係の強さを表す識別関数を、条件付確率モデルP(y|x)と同時確率モデルp(x,y)との重み付き統合により構成し、コンテンツの属するカテゴリが既知のラベルありサンプル集合と、コンテンツの属するカテゴリが不明なラベルなしサンプル集合との統計情報をもとに、上記識別関数の同時確率モデルのパラメータΘ(t)と、条件付確率モデルのパラメータW(t)と、重みβ(t)、を同時に計算して求める識別関数生成部と、
上記コンテンツの特徴ベクトルと上記識別関数の各パラメータの推定値を入力としてその識別関数値を最大化させるカテゴリを求めて出力するコンテンツ分類部と、
を具備するコンテンツ自動分類装置。 An automatic content classification device that takes content of unknown category as input and classifies the content category,
An identification function representing the strength of content-category dependency is configured by weighted integration of the conditional probability model P (y | x) and the joint probability model p (x, y), and the category to which the content belongs is known. Based on statistical information of the labeled sample set and the unlabeled sample set whose content category is unknown, the parameter Θ (t) of the simultaneous probability model of the discrimination function and the parameter W ( t) and a weight β (t) are calculated simultaneously to obtain an identification function generator,
A content classifying unit that outputs the feature vector of the content and an estimated value of each parameter of the discriminant function as input and obtains a category that maximizes the discriminant function value;
A content automatic classification apparatus comprising:
上記識別関数生成部は、
ラベルありサンプルとラベルなしサンプルに対する識別関数が与える条件付確率と上記条件付確率モデルとのKL距離(Kullback-Leibler divergence)の最小化と、識別関数が与える条件付確率による上記同時確率モデルの期待対数尤度の最大化との、重み付き最適化に基づいて条件付確率モデルと同時確率モデルの重み付き統合により識別関数を構成することを特徴とするコンテンツ自動分類装置。 In the content automatic classification device according to claim 1,
The discriminant function generator is
Minimization of the KL distance (Kullback-Leibler divergence) between the conditional probability given by the discriminant function for the labeled sample and the unlabeled sample and the conditional probabilistic model, and expectation of the joint probability model based on the conditional probability given by the discriminant function An automatic content classification apparatus, wherein an identification function is configured by weighted integration of a conditional probability model and a joint probability model based on weighted optimization with log likelihood maximization.
上記識別関数生成部は、
上記ラベルありサンプルとラベルなしサンプルを用いて同時確率モデルp(x,y;θy)のパラメータθyの基準値θ−を計算すると共に、同時確率モデルのパラメータの初期値Θ(0)と重みの初期値β(0)と条件付確率モデルのパラメータの初期値W(0)とを設定する基準値計算部と、
条件付確率モデルのパラメータW(t)と同時確率モデルのパラメータΘ(t)と重み付き統合の重みβ(t)とから計算される識別関数値を用いて、ラベルなしサンプルがカテゴリに属する確率値を計算する確率値計算部と、
上記確率値とラベルありサンプルとラベルなしサンプルを用いて条件付確率モデルのパラメータW(t+1)を計算する条件付確率モデル計算部と、
上記確率値を用いて同時確率モデルのパラメータΘ(t+1)を計算する同時確率モデル計算部と、
上記確率値と上記同時確率モデルのパラメータΘ(t+1)を用いて重み付き統合の重みの推定値β(t+1)を計算する重み計算部と、
上記条件付確率モデルのパラメータW(t+1)と上記同時確率モデルのパラメータ値Θ(t+1)とモデル統合の重みβ(t+1)の変化量を計算し、収束条件を満たす上記各パラメータの推定値W^,Θ^,β^が求まるまで、或いは所定の回数に達するまで繰り返し処理を行う収束判定部と、
を備えることを特徴とするコンテンツ自動分類装置。 In the content automatic classification device according to claim 1 or 2,
The discriminant function generator is
The reference value θ − of the parameter θ y of the joint probability model p (x, y; θ y ) is calculated using the labeled sample and the unlabeled sample, and the initial value Θ (0) of the parameter of the joint probability model is calculated. A reference value calculation unit for setting an initial value β (0) of the weight and an initial value W (0) of the parameter of the conditional probability model;
Probability that an unlabeled sample belongs to a category using the discriminant function value calculated from the parameter W (t) of the conditional probability model, the parameter Θ (t) of the joint probability model, and the weight β (t) of the weighted integration A probability value calculator for calculating a value;
A conditional probability model calculation unit that calculates a parameter W (t + 1) of the conditional probability model using the probability value, the labeled sample, and the unlabeled sample;
A joint probability model calculation unit for calculating a parameter Θ (t + 1) of the joint probability model using the probability value;
A weight calculation unit for calculating an estimated value β (t + 1) of weighted integration using the probability value and the parameter Θ (t + 1) of the joint probability model;
The amount of change in the parameter W (t + 1) of the conditional probability model, the parameter value Θ (t + 1) of the joint probability model and the weight β (t + 1) of model integration is calculated, and the estimated value W of each parameter satisfying the convergence condition A convergence determination unit that performs an iterative process until ^, Θ ^, β ^ are obtained, or until a predetermined number of times is reached;
An automatic content classification apparatus comprising:
上記重み計算部は、
ラベルありサンプルとラベルなしサンプルに対する同時確率モデルの期待対数尤度をもとに上記重みの推定値β(t+1)を計算するものであることを特徴とするコンテンツ自動分類装置。 In the content automatic classification device according to claim 3,
The weight calculator is
An automatic content classification apparatus, characterized in that the estimated value β (t + 1) of the weight is calculated based on an expected log likelihood of a joint probability model for a labeled sample and an unlabeled sample.
上記確率値計算部は、重み付き最適化に用いる目的関数を最大化させる確率値を、条件付確率モデルのパラメータの基準値と同時確率モデルのパラメータの基準値とを代入して得られる関数として計算するものであり、
上記条件付確率モデル計算部と上記同時確率モデル計算部と上記重み計算部は、条件付確率モデルと同時確率モデルとの重み付き統合に用いる重みの2乗値を、最小化すべき抑制項として上記目的関数に付加することで定義される最適化問題の解として、重み値β(t+1)と条件付確率モデルのパラメータ値W(t+1)と同時確率モデルのパラメータ値θ(t+1)と、を同時に計算するものであることを特徴とするコンテンツ自動分類装置。 In the content automatic classification device according to claim 3,
The probability value calculation unit is a function obtained by substituting the reference value of the parameter of the conditional probability model and the reference value of the parameter of the joint probability model for the probability value that maximizes the objective function used for the weighted optimization. Is to calculate,
The conditional probability model calculation unit, the joint probability model calculation unit, and the weight calculation unit are configured as a suppression term to be minimized with respect to a square value of a weight used for weighted integration of the conditional probability model and the joint probability model. As a solution to the optimization problem defined by adding to the objective function, the weight value β (t + 1) , the parameter value W (t + 1) of the conditional probability model, and the parameter value θ (t + 1) of the simultaneous probability model are simultaneously obtained. A content automatic classification apparatus characterized by being calculated.
上記重み計算部は、
ラベルありサンプルとラベルなしサンプルがカテゴリに属する確率をカテゴリによらずに一定としたときに、その一定の確率値と条件付確率モデルのKL距離を最小化させる条件付確率モデルのパラメータ値と、上記一定の確率値による同時確率モデルの期待対数尤度を最大化させる同時確率モデルのパラメータ値とを、条件付確率モデルのパラメータの基準値と同時確率モデルのパラメータの基準値として利用するものであることを特徴とするコンテンツ自動分類装置。 In the content automatic classification device according to claim 3,
The weight calculator is
When the probability that a labeled sample and an unlabeled sample belong to a category is made constant regardless of the category, the constant probability value and the parameter value of the conditional probability model that minimizes the KL distance of the conditional probability model; The parameter value of the joint probability model that maximizes the expected log likelihood of the joint probability model with the above constant probability value is used as the reference value of the parameter of the conditional probability model and the reference value of the parameter of the joint probability model. A content automatic classification device characterized by being.
識別関数生成部が、コンテンツとカテゴリの依存関係の強さを表す識別関数を、条件付確率モデルP(y|x)と同時確率モデルp(x,y)との重み付き統合により構成し、コンテンツの属するカテゴリが既知のラベルありサンプル集合と、コンテンツの属するカテゴリが不明なラベルなしサンプル集合との、統計情報をもとに上記識別関数の同時確率モデルのパラメータΘ(t)と、条件付確率モデルのパラメータW(t)と、重みβ(t)、を同時に計算して求める識別関数生成過程と、
コンテンツ分類部が、上記コンテンツの特徴ベクトルと上記識別関数の各パラメータの推定値を入力としてその識別関数値を最大化させるカテゴリを求めて出力するコンテンツ分類過程と、
を含むコンテンツ自動分類方法。 An automatic content classification method that takes content of unknown category as input and classifies the content category,
The discriminant function generation unit configures an discriminant function representing the strength of the dependency relationship between the content and the category by weighted integration of the conditional probability model P (y | x) and the joint probability model p (x, y), The parameter Θ (t) of the joint probability model of the above discriminant function based on statistical information of a sample set with a known category to which the content category belongs and an unlabeled sample set with an unknown category to which the content belongs, and a conditional A discriminant function generation process for simultaneously calculating a parameter W (t) and a weight β (t) of the probability model;
A content classification process in which a content classification unit obtains and outputs a category that maximizes the identification function value by using the feature vector of the content and the estimated value of each parameter of the identification function as inputs;
Automatic content classification method including
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010007381A JP5308360B2 (en) | 2010-01-15 | 2010-01-15 | Automatic content classification apparatus, automatic content classification method, and automatic content classification program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010007381A JP5308360B2 (en) | 2010-01-15 | 2010-01-15 | Automatic content classification apparatus, automatic content classification method, and automatic content classification program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011145951A true JP2011145951A (en) | 2011-07-28 |
JP5308360B2 JP5308360B2 (en) | 2013-10-09 |
Family
ID=44460740
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010007381A Expired - Fee Related JP5308360B2 (en) | 2010-01-15 | 2010-01-15 | Automatic content classification apparatus, automatic content classification method, and automatic content classification program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5308360B2 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016508274A (en) * | 2013-01-15 | 2016-03-17 | シマンテック コーポレーションSymantec Corporation | Classifying samples using clustering |
JP2017126158A (en) * | 2016-01-13 | 2017-07-20 | 日本電信電話株式会社 | Binary classification learning device, binary classification device, method, and program |
JPWO2017188048A1 (en) * | 2016-04-28 | 2018-08-16 | 日本電信電話株式会社 | Creation device, creation program, and creation method |
CN111523604A (en) * | 2020-04-27 | 2020-08-11 | 中国银行股份有限公司 | User classification method and related device |
CN112559748A (en) * | 2020-12-18 | 2021-03-26 | 厦门市法度信息科技有限公司 | Method for classifying stroke record data records, terminal equipment and storage medium |
CN113312430A (en) * | 2020-02-27 | 2021-08-27 | 北京京东振世信息技术有限公司 | Method and device for determining label sequence of article, server and storage medium |
CN114528952A (en) * | 2022-04-24 | 2022-05-24 | 南京邮电大学 | Multi-source heterogeneous safety monitoring data aggregation method for reducing false alarm of power distribution terminal |
CN114595333A (en) * | 2022-04-27 | 2022-06-07 | 之江实验室 | Semi-supervision method and device for public opinion text analysis |
CN117156221A (en) * | 2023-10-31 | 2023-12-01 | 北京头条易科技有限公司 | Short video content understanding and labeling method and device |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112115264B (en) * | 2020-09-14 | 2024-03-22 | 中科苏州智能计算技术研究院 | Text classification model adjustment method for data distribution change |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006338263A (en) * | 2005-06-01 | 2006-12-14 | Nippon Telegr & Teleph Corp <Ntt> | Content classification method, content classification device, content classification program and recording medium recording content classification program |
-
2010
- 2010-01-15 JP JP2010007381A patent/JP5308360B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006338263A (en) * | 2005-06-01 | 2006-12-14 | Nippon Telegr & Teleph Corp <Ntt> | Content classification method, content classification device, content classification program and recording medium recording content classification program |
Non-Patent Citations (2)
Title |
---|
CSNG200900204013; 藤野昭典、外2名: '生成・識別モデルの統合に基づく半教師あり学習法とその多重分類への応用' 情報処理学会論文誌 論文誌トランザクション 平成20年度(2)[CD-ROM] 第2巻,第2号, 20090415, p.132-144, 社団法人情報処理学会 * |
JPN6013029310; 藤野昭典、外2名: '生成・識別モデルの統合に基づく半教師あり学習法とその多重分類への応用' 情報処理学会論文誌 論文誌トランザクション 平成20年度(2)[CD-ROM] 第2巻,第2号, 20090415, p.132-144, 社団法人情報処理学会 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016508274A (en) * | 2013-01-15 | 2016-03-17 | シマンテック コーポレーションSymantec Corporation | Classifying samples using clustering |
JP2017126158A (en) * | 2016-01-13 | 2017-07-20 | 日本電信電話株式会社 | Binary classification learning device, binary classification device, method, and program |
JPWO2017188048A1 (en) * | 2016-04-28 | 2018-08-16 | 日本電信電話株式会社 | Creation device, creation program, and creation method |
US11164043B2 (en) | 2016-04-28 | 2021-11-02 | Nippon Telegraph And Telephone Corporation | Creating device, creating program, and creating method |
CN113312430A (en) * | 2020-02-27 | 2021-08-27 | 北京京东振世信息技术有限公司 | Method and device for determining label sequence of article, server and storage medium |
CN111523604A (en) * | 2020-04-27 | 2020-08-11 | 中国银行股份有限公司 | User classification method and related device |
CN112559748A (en) * | 2020-12-18 | 2021-03-26 | 厦门市法度信息科技有限公司 | Method for classifying stroke record data records, terminal equipment and storage medium |
CN114528952A (en) * | 2022-04-24 | 2022-05-24 | 南京邮电大学 | Multi-source heterogeneous safety monitoring data aggregation method for reducing false alarm of power distribution terminal |
CN114595333A (en) * | 2022-04-27 | 2022-06-07 | 之江实验室 | Semi-supervision method and device for public opinion text analysis |
CN117156221A (en) * | 2023-10-31 | 2023-12-01 | 北京头条易科技有限公司 | Short video content understanding and labeling method and device |
CN117156221B (en) * | 2023-10-31 | 2024-02-06 | 北京头条易科技有限公司 | Short video content understanding and labeling method |
Also Published As
Publication number | Publication date |
---|---|
JP5308360B2 (en) | 2013-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5308360B2 (en) | Automatic content classification apparatus, automatic content classification method, and automatic content classification program | |
US20210256392A1 (en) | Automating the design of neural networks for anomaly detection | |
JP6482481B2 (en) | Binary classification learning apparatus, binary classification apparatus, method, and program | |
US20200265301A1 (en) | Incremental training of machine learning tools | |
Larranaga et al. | A review on evolutionary algorithms in Bayesian network learning and inference tasks | |
Dioşan et al. | Improving classification performance of support vector machine by genetically optimising kernel shape and hyper-parameters | |
Leistner et al. | Semi-supervised random forests | |
Chen et al. | Predictive subspace learning for multi-view data: a large margin approach | |
Hammoudeh et al. | Training data influence analysis and estimation: A survey | |
Yu | An evolutionary programming based asymmetric weighted least squares support vector machine ensemble learning methodology for software repository mining | |
JP2014026455A (en) | Media data analysis device, method and program | |
Yang et al. | Positive unlabeled learning via wrapper-based adaptive sampling. | |
Rastogi et al. | Multi-label classification with missing labels using label correlation and robust structural learning | |
Chen et al. | Domain invariant and agnostic adaptation | |
Zhuang et al. | Semi-supervised classification via low rank graph | |
Waqas et al. | Robust bag classification approach for multi-instance learning via subspace fuzzy clustering | |
US11574153B2 (en) | Identifying organisms for production using unsupervised parameter learning for outlier detection | |
Li et al. | Adversarial Sequence Tagging. | |
Kamruzzaman et al. | A hybrid learning algorithm for text classification | |
Ulker et al. | Annealed SMC samplers for nonparametric Bayesian mixture models | |
Li et al. | Multi-label feature selection with high-sparse personalized and low-redundancy shared common features | |
Chang et al. | Calibrated multi-task subspace learning via binary group structure constraint | |
Chen et al. | Error bounds of multi-graph regularized semi-supervised classification | |
Tanha | Ensemble approaches to semi-supervised learning | |
Li et al. | Stochastic feature mapping for pac-bayes classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110624 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130618 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130628 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5308360 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |