JPWO2017188048A1 - 作成装置、作成プログラム、および作成方法 - Google Patents
作成装置、作成プログラム、および作成方法 Download PDFInfo
- Publication number
- JPWO2017188048A1 JPWO2017188048A1 JP2018514508A JP2018514508A JPWO2017188048A1 JP WO2017188048 A1 JPWO2017188048 A1 JP WO2017188048A1 JP 2018514508 A JP2018514508 A JP 2018514508A JP 2018514508 A JP2018514508 A JP 2018514508A JP WO2017188048 A1 JPWO2017188048 A1 JP WO2017188048A1
- Authority
- JP
- Japan
- Prior art keywords
- sample
- feature
- creation
- classifier
- learning data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
サンプルの生成分布の経時変化と学習データに現れなかった新しい特徴とを考慮して分類精度が維持された分類器を作成することを目的として、特徴相関学習部(13)が、ラベルあり学習データのサンプルの特徴と、ラベルなし学習データのサンプルのみに現れる特徴との相関関係を学習し、分類器作成部(15)が、相関関係を用いてラベルあり学習データのサンプルの特徴にラベルなし学習データのサンプルのみに現れる特徴を付加し、ラベルなし学習データのサンプルのみに現れる特徴を付加したラベルあり学習データのサンプルを用いて、入力されたサンプルに対応するラベルを出力する分類器を作成する。
Description
本発明は、作成装置、作成プログラム、および作成方法に関する。
機械学習において、あるサンプルが入力された場合に、そのサンプルの属性を表すラベルを出力する分類器が知られている。例えば、サンプルとして新聞記事が分類器に入力された場合に、政治、経済、あるいはスポーツ等のラベルが出力される。分類器の作成すなわち学習は、学習用のサンプルとこのサンプルのラベルとの組み合わせの集合であるラベルあり学習データを用いて行われる。すなわち、ラベルあり学習データは、{(サンプル1、ラベル1),(サンプル2、ラベル2),…}のように表される。
なお、以下では、ラベルが付与されていないサンプルの集合をラベルなし学習データと称する。また、ラベルあり学習データおよびラベルなし学習データを学習データと総称する。
分類器の分類基準は時間経過とともに変化する場合がある。例えば、スパムメールの作成者は、スパムメールの分類器であるスパムフィルタをすり抜けるために、常に新しい特徴を有するスパムメールを作成している。そのため、スパムメールの分類基準は時間経過とともに変化して、分類器の分類精度が大きく低下してしまう。
分類器の分類精度の経時劣化は、主に以下の2つの要因により生じると考えられる。一つ目の主な要因は、学習データには現れなかった特徴が時間経過とともに出現する場合があることである。例えば、スパムメールをサンプルとして分類する場合、一般に、メール中に出現する単語を特徴として、サンプルが単語の集合に変換される。この場合に、分類器の作成は単語を利用して行われるため、学習データに現れなかった単語は分類器による分類に利用できない。したがって、このような学習データに現れなかった新しい特徴が増加すれば、分類器は入力されるサンプルを正しく分類することが困難になる。
二つ目の分類器の分類精度の経時劣化の主な要因は、サンプルの生成分布が時間経過とともに変化する場合があることである。ここで、サンプルの生成分布とは、各サンプルが生起し得る確率(以下、生成確率と称する。)が記述されたものを意味する。そして、例えば、あるサンプルの生成確率が、学習時には0.3であったものが作成された分類器のテスト時には0.5に変化している場合がある。分類器の学習は、学習データの生成分布に基づいて行われるため、学習時とテスト時とでサンプルの生成分布が異なれば、サンプルを正しく分類することが困難になる。
このような分類器の分類精度の経時劣化に対応するため、ラベルあり学習データに加え、低コストで収集できるラベルなし学習データを利用して分類器の再学習すなわち分類基準が更新された分類器の作成を行う技術が開示されている(非特許文献1,2参照)。
Y.Grandvalet and Y.Bengio,"Semi-supervised Learning by Entropy Minimization",In Advances in Newral Information Processing Systems,2004年,p.529-536
H.Shimodaira,"Improving predictive inference under covariate shift by weighting the log-likelihood function",Journal of Statistical Planning and Inference 90(2000),2000年,p.227-244
しかしながら、非特許文献1に記載の技術では、サンプルの生成分布の経時変化が考慮されていなかった。一方、非特許文献2に記載の技術では、サンプルの生成分布の経時変化は考慮されているものの、ラベルあり学習データに現れなかった特徴が考慮されていなかった。
本発明は、上記に鑑みてなされたものであって、サンプルの生成分布の経時変化と学習データに現れなかった新しい特徴とを考慮して分類精度が維持された分類器を作成することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る作成装置は、サンプルの属性を表すラベルを出力する分類器を作成する作成装置であって、前記ラベルが付与されたサンプルであるラベルありサンプルの特徴と、前記ラベルが付与されていないサンプルであるラベルなしサンプルのみに現れる特徴との相関関係を学習する学習部と、前記相関関係を用いて前記ラベルありサンプルの特徴に前記ラベルなしサンプルのみに現れる特徴を付加し、前記ラベルなしサンプルのみに現れる特徴を付加した該ラベルありサンプルを用いて、入力されたサンプルに対応するラベルを出力する分類器を作成する作成部と、を備えることを特徴とする。
本発明によれば、サンプルの生成分布の経時変化と学習データに現れなかった新しい特徴とを考慮して分類精度が維持された分類器を作成することができる。
[第1の実施形態]
以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
[作成装置の構成]
まず、図1を参照して、本実施形態に係る作成装置の概略構成を説明する。本実施形態に係る作成装置1は、ワークステーションやパソコン等の汎用コンピュータで実現され、後述する作成処理を実行して、入力されたデータの属性を表すラベルを出力する分類器を作成する。
まず、図1を参照して、本実施形態に係る作成装置の概略構成を説明する。本実施形態に係る作成装置1は、ワークステーションやパソコン等の汎用コンピュータで実現され、後述する作成処理を実行して、入力されたデータの属性を表すラベルを出力する分類器を作成する。
なお、図1に示すように、本実施形態の作成装置1は、作成処理を行う作成部10に加え、分類処理を行う分類部20を有する。分類部20は、作成部10により作成された分類器を用いて入力されたサンプルを分類してラベルを出力する分類処理を行う。分類部20は、作成部10と同一のハードウェアに実装されてもよいし、異なるハードウェアに実装されてもよい。
[作成部]
作成部10は、学習データ入力部11、データ変換部12、特徴相関学習部13、重要度算出部14、分類器作成部15、および分類器格納部16を有する。
作成部10は、学習データ入力部11、データ変換部12、特徴相関学習部13、重要度算出部14、分類器作成部15、および分類器格納部16を有する。
学習データ入力部11は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、後述する制御部に対して各種指示情報を入力する。本実施形態において、学習データ入力部11は、作成処理に用いられる学習データすなわちラベルあり学習データおよびラベルなし学習データを受け付ける。
ここで、ラベルあり学習データとは、サンプルとこのサンプルのラベルとの組み合わせの集合を意味する。例えば、サンプルがテキストである場合、各テキストに政治、経済、あるいはスポーツ等のテキストの内容を表すラベルが付与される。一方、ラベルなし学習データとは、ラベルが付与されていないサンプルの集合を意味する。例えば、サンプルがテキストの場合には、テキストの集合で表される。本実施形態において、このラベルなし学習データは、ラベルあり学習データより後に収集された新しい学習データとする。
なお、ラベルあり学習データおよびラベルなし学習データは、NIC(Network Interface Card)等で実現される図示しない通信制御部を介して、外部のサーバ装置等から作成部10に入力されてもよい。
制御部は、処理プログラムを実行するCPU(Central Processing Unit)等を用いて実現され、データ変換部12、特徴相関学習部13、重要度算出部14、および分類器作成部15として機能する。
データ変換部12は、後述する特徴相関学習部13および重要度算出部14における処理の準備として、受け付けられたラベルあり学習データの各サンプルを、特徴ベクトル、および数値ラベルの組み合わせのデータに変換する。同様に、データ変換部12は、受け付けられたラベルなし学習データの各サンプルを、特徴ベクトルのデータに変換する。以下の作成部10の処理におけるラベルあり学習データまたはラベルなし学習データとは、データ変換部12による変換後のデータを意味する。
ここで、数値ラベルとは、ラベルあり学習データの各サンプルに付与されているラベルが数値に変換されたものである。また、特徴ベクトルとは、受け付けられた各サンプルの特徴をn次元の数ベクトルで表記したものであり、機械学習における汎用手法により変換される。例えば、サンプルがテキストである場合には、形態素解析、n−gram、または区切り文字により変換される。
特徴相関学習部13は、学習部として機能する。すなわち、特徴相関学習部13は、ラベルあり学習データのサンプルの特徴と、ラベルなし学習データのサンプルのみに現れる特徴との相関関係を学習する。
ここで、図2〜図4を参照して、特徴の相関関係について説明する。まず、図2に例示するラベルあり学習データおよびラベルなし学習データが入力された場合について説明する。図2に示す例では、例えば、ラベルあり学習データのN個のサンプルのうち、1番目のサンプルの特徴ベクトルXO,1=(シュート、本多)に、ラベルY1=「サッカー」が付与されている。ここで、XO,nは、ラベルあり学習データのn番目のサンプルの特徴ベクトルを意味する。
また、図2には、N個のサンプルを含むラベルあり学習データの後に収集されたラベルなし学習データの1番目のサンプルの特徴ベクトルXN+1=(Xo,N+1,Xh,N+1)=(シュート、本多、フットボール、ADミラン)が例示されている。ここで、XN+mは、ラベルなし学習データのm番目のサンプルの特徴ベクトルを意味する。また、Xo,N+mは、ラベルなし学習データのm番目のサンプルの特徴ベクトルのうち、ラベルあり学習データに出現した特徴を意味する。また、Xh,N+mは、ラベルなし学習データのm番目のサンプルの特徴ベクトルのうち、ラベルなし学習データのみに出現する特徴を意味する。
この場合に、図3に例示するように、特徴相関学習部13は、ラベルなし学習データを用いて、ラベルあり学習データにも現れる特徴Xo,N+mとラベルなし学習データのみに現れる特徴Xh,N+mとの相関関係を学習する。図3には、例えば、特徴相関学習部13は、ラベルなし学習データの1番目のサンプルの特徴XN+1のうち、ラベルあり学習データにも現れる特徴Xo,N+1と、ラベルなし学習データのみに現れる特徴Xh,N+1との相関関係を学習することが例示されている。すなわち、特徴相関学習部13は、ラベルあり学習データに現れる特徴Xo,N+1=(シュート、本多)が現れたら、ラベルなし学習データのみに現れる特徴Xh,N+1=(フットボール、ADミラン)が同一サンプルに同時に現れる確率を学習する。
そして、図4に例示するように、後述する分類器作成部15が、学習された相関関係を用いて、ラベルあり学習データのサンプルの特徴XO,nに、ラベルなし学習データのサンプルのみに現れる特徴を付加する。図4に示す例では、ラベルあり学習データの1番目のサンプルの特徴ベクトルXO,1=(シュート、本多)に、これと相関関係があるラベルなし学習データのサンプルのみに現れる特徴(フットボール、ADミラン)が付加されている。このようにして、分類器作成部15が、ラベルあり学習データの特徴を拡張する。
なお、相関関係のモデルは特に限定されず、例えば、ガウス分布やガウス混合分布等が適用される。
図1の説明に戻る。重要度算出部14は、算出部として機能する。すなわち、重要度算出部14は、ラベルあり学習データのサンプルが分類器の作成に及ぼす影響度合いを表す、ラベルあり学習データのサンプルのテスト時の生成分布における重要度を算出する。
ここで、図5を参照して、サンプルが生起する確率について説明する。図5は、サンプルの生成分布を説明するための説明図である。上述したように、サンプルの生成分布とは、各サンプルが生起する確率の分布を意味する。図5において、ラベルあり学習データのサンプルの生成分布は、学習用分布(training distribution)p(xo)で表されている。また、ラベルなし学習データのサンプルの生成分布は、テスト用分布(test distribution)p’(xo,xh)で表されている。ここで、xoは、ラベルあり学習データだけでなくラベルなし学習データにも現れる特徴を表す。また、xhは、ラベルあり学習データより後に収集されたラベルなし学習データのみに現れる新しい特徴を表す。図5に例示するように、サンプルの生成分布は時間経過とともに変化する場合があり、ラベルあり学習データのサンプルの生成分布と、それより後に収集されたラベルなし学習データのサンプルの生成分布とは異なる。
そこで、重要度算出部14は、重要度τ(xo)=p’(xo)/p(xo)を算出する。この重要度は、ラベルあり学習データのサンプルが後述する分類器作成部15による分類器の作成に及ぼす影響力を表す。
図1の説明に戻る。分類器作成部15は、作成部として機能する。すなわち、分類器作成部15は、学習された相関関係を用いてラベルあり学習データのサンプルの特徴にラベルなし学習データのサンプルのみに現れる特徴を付加する。また、分類器作成部15は、ラベルなし学習データのサンプルのみに現れる特徴を付加したラベルあり学習データのサンプルを用いて、入力されたサンプルに対応するラベルを出力する分類器を作成する。また、本実施形態において、分類器作成部15は、ラベルなし学習データのサンプルのみに現れる特徴を付加したラベルあり学習データのサンプルと重要度とを用いて、入力されたサンプルに対応するラベルを出力する分類器を作成する。分類器作成部15の具体的な処理については後述する。
なお、本実施形態では、分類器においてあるラベルが付与される事象が所定の確率分布で発生するものとして、分類器のモデルにロジスティック回帰が適用される。また、分類器のモデルはロジスティック回帰に限定されず、サポートベクターマシン(SVM)、ブースティング等でもよい。
分類器格納部16は、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、作成された分類器を格納する。格納形式は特に限定されず、例えば、MySQLやPostgreSQL等のデータベース形式、表形式、またはテキスト形式等が例示される。
次に、特徴相関学習部13、重要度算出部14および分類器作成部15の処理について、具体的に説明する。本実施形態では、上述した特徴の相関関係のモデルには、多変量正規分布が適用される。また、重要度の算出には、確率密度比推定(Density Ratio Estimation)の一手法であるUnconstrained Least-Squares Importance Fitting approachが用いられる。
まず、ある時刻までに収集され作成装置1に入力されたN個のサンプルを含むラベルあり学習データDを、次式(1)のように定義する。また、ある時刻以降に収集され作成装置1に入力されたM個のサンプルを含むラベルなし学習データD’を、次式(2)のように定義する。なお、次式(2)には、ラベルあり学習データより後に収集された新しいラベルなし学習データD’に新しい特徴xm hが現れている。
ここで、学習用分布pとテスト用分布p’との間には、次式(3)が成立するものと仮定する。すなわち、サンプルの生成分布は学習用とテスト用とで異なるが、サンプルが与えられた状況で、ラベルの生成分布は学習用とテスト用とで変化しないと仮定する共変量シフト(covariate shift)が適用される。
本実施形態において、分類器作成部15は、テスト用分布p’に従って生成されるサンプル(xo,xh)を精度よく分類する分類器Cls(xo,xh)を作成する。この分類器Cls(xo,xh)は、次式(4)に示す汎化誤差Gを最小にする。
ここで、loss(y,y’)は、yとy’との差を定義する任意の損失関数を表す。損失関数には、例えば、(y−y’)2で表される二乗誤差や、一致すれば0を、そうでなければ1を出力する0−1損失(0-1 loss)等が適用される。
上記式(4)の汎化誤差Gは、次式(5)のように変形できる。
また、本実施形態においては、次式(6)の成立を仮定する。すなわち、xoが与えられた状況においてxhが生起する確率は、学習用分布pとテスト用分布p’とで変化しないものと仮定する。この仮定は、ラベルあり学習データには現れない新たな特徴と重要度とを同時に扱うためのキーとなるものである。
上記式(6)を用いると、汎化誤差Gは次式(7)のように変形できる。
ここで、τ(xo)は重要度を意味し、上述のとおり、次式(8)のように定義される。なお、重要度τはxoにのみ依存し、新しい特徴xhには依存しない。
上記式(7)は、非特許文献2に記載の汎化誤差に対して新たな特徴Xhが組み込まれた形式になっており、非特許文献2に記載の汎化誤差の拡張となっている。そのため、非特許文献2に提案されているサンプルの生成分布の変化に対応するためのフレームワークの中で、新たな特徴xhを加味して分類器の作成を行うことが可能となる。すなわち、上記式(6)の成立を仮定したことにより、ラベルあり学習データには現れない新たな特徴と重要度とを同時に扱うことが可能となる。
まず、特徴の相関関係p(xh|xo)は、以下のように学習される。特徴の相関関係のモデルに多変量正規分布を適用した場合、次式(9)が成立する。
この場合に、特徴相関学習部13は、学習データからA,a,Λを推定することにより特徴の相関関係を学習する。
本実施形態において、Aは低ランク行列と仮定する。すなわち、ある正の自然数Kを用いて、Aは次式(10)のように分解できる。
ここで、十分に小さいKを選択することにより、推定するパラメタの数を少なくすることができる。また、簡単化のため、Λは次式(11)で与えられるものと仮定する。
これらのパラメタB,C,a,λは、MAP推定(Maximum A Posteriori estimation)により求められる。具体的に、パラメタB,C,a,λは、次式(12)で表される目的関数Fを最大化する点として得ることができる。ここで、eおよびbは、λ2の確率分布p(λ2)のパラメタであり、p(λ2)=Gam(λ2|e,b)が成立する。
上記式(12)により表される目的関数Fを最大化する点の数値は、例えば、準ニュートン法により求められる。なお、次式(13)は、準ニュートン法を適用する際に必要となる目的関数Fの微分の情報を表す。
次に、重要度算出部14による重要度τの算出方法について説明する。重要度τは、次式(14)のように表すことができると仮定する。
基底関数(basis function)は特に限定されないが、例えば、ガウシアンカーネルを用いれば、重要度τは次式(15)のように表される。
この場合に、パラメタαは、次式(16)に示す目的関数Jを最小化する解より得ることができる。
すなわち、上記式(16)の目的関数Jを解析して最小化する解を求めることにより、次式(17)のようにパラメタαを得ることができる。
以上のようにして求められた特徴の相関関係p(xh|xo)および重要度τを用いて、分類器作成部15が分類器を作成する。具体的に、ロジスティック回帰でモデル化された分類器にp(xh|xo)が与えられた場合に、そのラベルyが1である確率は、次式(18)のように表される。
ここで、ロジスティック回帰の非線形性の取り扱いを簡単化するため、次式(19)の近似式を用いる。
上記式(19)の近似式を用いることにより、L2正則化項を付加した汎化誤差Gは、次式(20)のように近似される。
分類器は、汎化誤差Gを最小化する点として得ることができる。汎化誤差Gの最小化には、上述した特徴の相関関係の学習と同様に、準ニュートン法を適用できる。次式(21)は、準ニュートン法を適用する際に必要となる汎化誤差Gの微分の情報を表す。
[分類部]
図1の説明に戻る。分類部20は、データ入力部21、データ変換部22、分類部23、および分類結果出力部24を有し、上述したように、作成部10により作成された分類器を用いてサンプルを分類してラベルを出力する分類処理を行う。
図1の説明に戻る。分類部20は、データ入力部21、データ変換部22、分類部23、および分類結果出力部24を有し、上述したように、作成部10により作成された分類器を用いてサンプルを分類してラベルを出力する分類処理を行う。
データ入力部21は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部に対して各種指示情報を入力したり、分類処理対象のサンプルを受け付けたりする。データ入力部21は、学習データ入力部11と同一のハードウェアでもよい。
制御部は、処理プログラムを実行するCPU(Central Processing Unit)等を用いて実現され、データ変換部22および分類部23として機能する。
データ変換部22は、作成部10のデータ変換部12と同様に、データ入力部21が受け付けた分類処理対象のサンプルを特徴ベクトルに変換する。
分類部23は、分類器格納部16を参照し、分類処理対象のサンプルの分類処理を行う。例えば、上記のように分類器のモデルにロジスティック回帰が適用された場合には、上記式(18)により当該サンプルのラベルが1である確率が得られる。分類部23は、得られた確率が予め設定された所定の閾値以上であれば、ラベル=1とし、該閾値より小さい場合には、ラベル=0とする。
分類結果出力部24は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置、情報通信装置等によって実現され、分類処理の結果を操作者に対して出力する。例えば、入力されたサンプルに対する数値への変換前のラベルを出力したり、入力されたサンプルに数値への変換前のラベルを付与して出力したりする。
[作成処理]
次に、図6を参照して、作成装置1の作成部10による作成処理について説明する。図6のフローチャートは、例えば、ユーザによる作成処理の開始を指示する操作入力があったタイミングで開始される。
次に、図6を参照して、作成装置1の作成部10による作成処理について説明する。図6のフローチャートは、例えば、ユーザによる作成処理の開始を指示する操作入力があったタイミングで開始される。
まず、学習データ入力部11が、例えば、ある時刻までに収集されたラベルあり学習データと、それ以降に収集されたラベルなし学習データとを受け付ける(ステップS1)。次に、データ変換部12が、受け付けたラベルあり学習データおよびラベルなし学習データの各サンプルを、特徴ベクトルおよび数値ラベルの組み合わせのデータに変換する(ステップS2)。
次に、特徴相関学習部13が、ラベルなし学習データを用いて、ラベルあり学習データのサンプルにも現れる特徴と、ラベルなし学習データのみに現れる特徴との相関関係を学習する(ステップS3)。
次に、重要度算出部14が、ラベルあり学習データのサンプルの重要度を算出する(ステップS4)。
次に、分類器作成部15が、特徴の相関関係を用いてラベルあり学習データのサンプルの特徴を拡張し、特徴を拡張したラベルあり学習データと重要度とを用いて分類器を作成する(ステップS5)。また分類器作成部15が、作成した分類器を分類器格納部16に格納する。
[分類処理]
次に図7を参照して、作成装置1の分類部20による分類処理について説明する。図7のフローチャートは、例えば、ユーザによる分類処理の開始を指示する操作入力があったタイミングで開始される。
次に図7を参照して、作成装置1の分類部20による分類処理について説明する。図7のフローチャートは、例えば、ユーザによる分類処理の開始を指示する操作入力があったタイミングで開始される。
まず、データ入力部21が、分類処理対象の現在の時刻のサンプルを受け付け(ステップS6)、データ変換部22が、受け付けたサンプルを特徴ベクトルに変換する(ステップS7)。
次に、分類部23が、分類器格納部16を参照し、格納されている分類器を用いてサンプルの分類処理を行う(ステップS8)。そして、分類結果出力部24が、分類結果の出力すなわち分類されたサンプルのラベルの出力を行う(ステップS9)。
以上、説明したように、本実施形態の作成装置1では、特徴相関学習部13が、ラベルあり学習データのサンプルの特徴と、ラベルなし学習データのサンプルのみに現れる特徴との相関関係を学習する。また、重要度算出部14が、ラベルあり学習データのサンプルの分類器の作成に及ぼす影響度合いを表す重要度を算出する。また、分類器作成部15が、相関関係を用いてラベルあり学習データのサンプルの特徴にラベルなし学習データのみに現れる特徴を付加する。そして、分類器作成部15が、ラベルなし学習データのみに現れる特徴を付加することにより特徴を拡張したラベルあり学習データと重要度とを用いて、入力されたサンプルに対応するラベルを出力する分類器を作成する。
このように、本実施形態の作成装置1における作成部10の作成処理によれば、例えばある時刻までに収集されたラベルあり学習データのサンプルの生成分布および特徴を、それ以降に収集された新しいラベルなし学習データのサンプルの生成分布および特徴に適合させることができる。このラベルあり学習データを用いて分類器を作成することにより、サンプルの生成分布の経時変化と学習データに現れなかった新しい特徴とを考慮して、最新の分類基準を保持して分類精度が維持された分類器を作成することができる。
なお、分類器作成部15は、ラベルあり学習データのサンプルが生起する確率とラベルなし学習データのサンプルが生起する確率との関係に対して、上記式(6)が成立するという条件を設定し、該条件を満たした上で、ラベルなし学習データのみに現れる特徴を付加したラベルあり学習データと重要度とを用いて、入力されたサンプルに対応するラベルを出力する分類器を作成する。これにより、ラベルあり学習データには現れない新たな特徴と重要度とを同時に扱うことが可能となる。
また、本発明の作成処理は、ラベルをクラス等の離散値とした分類問題に限定されない。例えば、ラベルを実数値とした回帰問題に適用してもよい。あるいは、ラベルを順序としたランキング問題に適用してもよい。あるいは、ラベルを構造データとした構造学習問題に適用してもよい。これにより、多様な分類器の分類基準を最新の状態に保持することができる。
[第2の実施形態]
上記の第1の実施形態の分類器作成部15は、学習された特徴の相関関係を用いて分類器を作成しているが、学習された特徴の相関関係のうち、所定の条件を満たす一部を用いて分類器を作成してもよい。本実施形態は、上記の第1の実施形態とは、分類器作成部15の処理の一部が異なる。その他は第1の実施形態と同一であるので、説明を省略する。
上記の第1の実施形態の分類器作成部15は、学習された特徴の相関関係を用いて分類器を作成しているが、学習された特徴の相関関係のうち、所定の条件を満たす一部を用いて分類器を作成してもよい。本実施形態は、上記の第1の実施形態とは、分類器作成部15の処理の一部が異なる。その他は第1の実施形態と同一であるので、説明を省略する。
本実施形態の分類器作成部15は、学習された相関関係のうち、所定の条件を満たす一部の情報の一例として、学習された特徴の相関関係の平均μh(xo)を用いてラベルありサンプルにラベルなしサンプルのみに現れる特徴を付加する。この場合、上記式(7)で表される汎化誤差Gは、次式(22)のように近似することができる。
分類器は、上記式(22)の汎化誤差Gを最小化する点として得ることができる。汎化誤差Gの最小化には、上述した第1の実施形態と同様に、準ニュートン法を適用できる。
次に、図8を参照して、本実施形態の作成装置1の作成部10による作成処理について説明する。図8は、本実施形態の作成処理手順を例示するフローチャートである。上記した第1の実施形態とは、ステップS51の処理のみが異なる。
ステップS51の処理では、分類器作成部15が、学習された特徴の相関関係の一部を用いてラベルありサンプルにラベルなしサンプルのみに現れる特徴を付加して特徴を拡張し、特徴を拡張したラベルあり学習データと重要度とを用いて分類器を作成する。
このように、本実施形態の作成装置1の作成部10の作成処理によれば、学習された特徴の相関関係の一部を用いて分類器を作成する。これにより、分類器の作成にかかる時間が短縮される。
[プログラム]
上記実施形態に係る作成装置1が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、作成装置1は、パッケージソフトウェアやオンラインソフトウェアとして上記の作成処理を実行する作成プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の作成プログラムを情報処理装置に実行させることにより、情報処理装置を作成装置1として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やPHS(Personal Handyphone System)などの移動体通信端末、さらには、PDA(Personal Digital Assistants)などのスレート端末などがその範疇に含まれる。また、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の作成処理に関するサービスを提供するサーバ装置として実装することもできる。例えば、作成装置1は、ラベルあり学習データおよびラベルなし学習データを入力とし、分類器を出力する作成処理サービスを提供するサーバ装置として実装される。この場合、作成装置1は、Webサーバとして実装することとしてもよいし、アウトソーシングによって上記の作成処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。以下に、作成装置1と同様の機能を実現する作成プログラムを実行するコンピュータの一例を説明する。
上記実施形態に係る作成装置1が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、作成装置1は、パッケージソフトウェアやオンラインソフトウェアとして上記の作成処理を実行する作成プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の作成プログラムを情報処理装置に実行させることにより、情報処理装置を作成装置1として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やPHS(Personal Handyphone System)などの移動体通信端末、さらには、PDA(Personal Digital Assistants)などのスレート端末などがその範疇に含まれる。また、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の作成処理に関するサービスを提供するサーバ装置として実装することもできる。例えば、作成装置1は、ラベルあり学習データおよびラベルなし学習データを入力とし、分類器を出力する作成処理サービスを提供するサーバ装置として実装される。この場合、作成装置1は、Webサーバとして実装することとしてもよいし、アウトソーシングによって上記の作成処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。以下に、作成装置1と同様の機能を実現する作成プログラムを実行するコンピュータの一例を説明する。
図9に示すように、作成プログラムを実行するコンピュータ1000は、例えば、メモリ1010と、CPU1020と、ハードディスクドライブインタフェース1030と、ディスクドライブインタフェース1040と、シリアルポートインタフェース1050と、ビデオアダプタ1060と、ネットワークインタフェース1070とを有する。これらの各部は、バス1080によって接続される。
メモリ1010は、ROM(Read Only Memory)1011およびRAM1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1031に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1041に接続される。ディスクドライブ1041には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース1050には、例えば、マウス1051およびキーボード1052が接続される。ビデオアダプタ1060には、例えば、ディスプレイ1061が接続される。
ここで、図9に示すように、ハードディスクドライブ1031は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093およびプログラムデータ1094を記憶する。上記実施形態で説明した各テーブルは、例えばハードディスクドライブ1031やメモリ1010に記憶される。
また、作成プログラムは、例えば、コンピュータ1000によって実行される指令が記述されたプログラムモジュール1093として、ハードディスクドライブ1031に記憶される。具体的には、上記実施形態で説明した作成装置1が実行する各処理が記述されたプログラムモジュール1093が、ハードディスクドライブ1031に記憶される。
また、作成プログラムによる情報処理に用いられるデータは、プログラムデータ1094として、例えば、ハードディスクドライブ1031に記憶される。そして、CPU1020が、ハードディスクドライブ1031に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して、上述した各手順を実行する。
なお、作成プログラムに係るプログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1031に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ1041等を介してCPU1020によって読み出されてもよい。あるいは、作成プログラムに係るプログラムモジュール1093やプログラムデータ1094は、LAN(Local Area Network)やWAN(Wide Area Network)等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。
1 作成装置
10 作成部
11 学習データ入力部
12 データ変換部
13 特徴相関学習部
14 重要度算出部
15 分類器作成部
16 分類器格納部
20 分類部
21 データ入力部
22 データ変換部
23 分類部
24 分類結果出力部
10 作成部
11 学習データ入力部
12 データ変換部
13 特徴相関学習部
14 重要度算出部
15 分類器作成部
16 分類器格納部
20 分類部
21 データ入力部
22 データ変換部
23 分類部
24 分類結果出力部
Claims (7)
- サンプルの属性を表すラベルを出力する分類器を作成する作成装置であって、
前記ラベルが付与されたサンプルであるラベルありサンプルの特徴と、前記ラベルが付与されていないサンプルであるラベルなしサンプルのみに現れる特徴との相関関係を学習する学習部と、
前記相関関係を用いて前記ラベルありサンプルの特徴に前記ラベルなしサンプルのみに現れる特徴を付加し、前記ラベルなしサンプルのみに現れる特徴を付加した該ラベルありサンプルを用いて、入力されたサンプルに対応するラベルを出力する分類器を作成する作成部と、
を備えることを特徴とする作成装置。 - さらに、前記ラベルありサンプルが分類器の作成に及ぼす影響度合いを表す重要度を算出する算出部を備え、
前記作成部は、前記ラベルなしサンプルのみに現れる特徴を付加した該ラベルありサンプルと前記重要度とを用いて、入力されたサンプルに対応するラベルを出力する分類器を作成することを特徴とする請求項1に記載の作成装置。 - 前記作成部は、前記ラベルありサンプルが生起する確率と前記ラベルなしサンプルが生起する確率との関係に対して所定の条件を設定し、該条件を満たした上で、前記ラベルなしサンプルのみに現れる特徴を付加した前記ラベルありサンプルと前記重要度とを用いて、入力されたサンプルに対応するラベルを出力する分類器を作成することを特徴とする請求項2に記載の作成装置。
- 前記作成部は、学習された前記相関関係のうち、所定の条件を満たす一部の情報を用いて前記ラベルありサンプルに前記ラベルなしサンプルのみに現れる特徴を付加することを特徴とする請求項1〜3のいずれか1項に記載の作成装置。
- 前記作成部は、学習された前記相関関係の平均値を用いて前記ラベルありサンプルに前記ラベルなしサンプルのみに現れる特徴を付加することを特徴とする請求項4に記載の作成装置。
- コンピュータに、
サンプルの属性を表すラベルが付与されたサンプルであるラベルありサンプルの特徴と、前記ラベルが付与されていないサンプルであるラベルなしサンプルのみに現れる特徴との相関関係を学習する学習ステップと、
前記相関関係を用いて前記ラベルありサンプルの特徴に前記ラベルなしサンプルのみに現れる特徴を付加し、前記ラベルなしサンプルのみに現れる特徴を付加した該ラベルありサンプルを用いて、入力されたサンプルに対応するラベルを出力する分類器を作成する作成ステップと、
を実行させることを特徴とする作成プログラム。 - サンプルの属性を表すラベルを出力する分類器を作成する作成装置で実行される作成方法であって、
前記ラベルが付与されたサンプルであるラベルありサンプルの特徴と、前記ラベルが付与されていないサンプルであるラベルなしサンプルのみに現れる特徴との相関関係を学習する学習工程と、
前記相関関係を用いて前記ラベルありサンプルの特徴に前記ラベルなしサンプルのみに現れる特徴を付加し、前記ラベルなしサンプルのみに現れる特徴を付加した該ラベルありサンプルを用いて、入力されたサンプルに対応するラベルを出力する分類器を作成する作成工程と、
を含んだことを特徴とする作成方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016091693 | 2016-04-28 | ||
JP2016091693 | 2016-04-28 | ||
PCT/JP2017/015486 WO2017188048A1 (ja) | 2016-04-28 | 2017-04-17 | 作成装置、作成プログラム、および作成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017188048A1 true JPWO2017188048A1 (ja) | 2018-08-16 |
JP6535134B2 JP6535134B2 (ja) | 2019-06-26 |
Family
ID=60161450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018514508A Active JP6535134B2 (ja) | 2016-04-28 | 2017-04-17 | 作成装置、作成プログラム、および作成方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11164043B2 (ja) |
JP (1) | JP6535134B2 (ja) |
WO (1) | WO2017188048A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019200618A (ja) * | 2018-05-16 | 2019-11-21 | 日本電信電話株式会社 | 作成装置、作成方法、および作成プログラム |
CN112115264B (zh) * | 2020-09-14 | 2024-03-22 | 中科苏州智能计算技术研究院 | 面向数据分布变化的文本分类模型调整方法 |
WO2022204939A1 (en) * | 2021-03-30 | 2022-10-06 | Paypal, Inc. | Machine learning and reject inference techniques utilizing attributes of unlabeled data samples |
CN117454154A (zh) * | 2023-12-22 | 2024-01-26 | 江西农业大学 | 一种面向偏标记数据的鲁棒特征选择方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011039575A (ja) * | 2009-08-06 | 2011-02-24 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ検出支援装置、コンテンツ検出支援方法およびコンテンツ検出支援プログラム |
JP2011145951A (ja) * | 2010-01-15 | 2011-07-28 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ自動分類装置、コンテンツ自動分類方法およびコンテンツ自動分類プログラム |
US20130254153A1 (en) * | 2012-03-23 | 2013-09-26 | Nuance Communications, Inc. | Techniques for evaluation, building and/or retraining of a classification model |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6910026B2 (en) * | 2001-08-27 | 2005-06-21 | Verity, Inc. | Method and apparatus for determining classifier features with minimal supervision |
US7577709B1 (en) * | 2005-02-17 | 2009-08-18 | Aol Llc | Reliability measure for a classifier |
US8219511B2 (en) * | 2009-02-24 | 2012-07-10 | Microsoft Corporation | Unbiased active learning |
US20130097103A1 (en) * | 2011-10-14 | 2013-04-18 | International Business Machines Corporation | Techniques for Generating Balanced and Class-Independent Training Data From Unlabeled Data Set |
US9953271B2 (en) * | 2013-11-22 | 2018-04-24 | California Institute Of Technology | Generation of weights in machine learning |
US10552759B2 (en) * | 2014-12-01 | 2020-02-04 | Facebook, Inc. | Iterative classifier training on online social networks |
US10262272B2 (en) * | 2014-12-07 | 2019-04-16 | Microsoft Technology Licensing, Llc | Active machine learning |
-
2017
- 2017-04-17 US US16/093,444 patent/US11164043B2/en active Active
- 2017-04-17 WO PCT/JP2017/015486 patent/WO2017188048A1/ja active Application Filing
- 2017-04-17 JP JP2018514508A patent/JP6535134B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011039575A (ja) * | 2009-08-06 | 2011-02-24 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ検出支援装置、コンテンツ検出支援方法およびコンテンツ検出支援プログラム |
JP2011145951A (ja) * | 2010-01-15 | 2011-07-28 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ自動分類装置、コンテンツ自動分類方法およびコンテンツ自動分類プログラム |
US20130254153A1 (en) * | 2012-03-23 | 2013-09-26 | Nuance Communications, Inc. | Techniques for evaluation, building and/or retraining of a classification model |
Non-Patent Citations (1)
Title |
---|
塚田 真規, 外2名: "歪んだ文字の認識と自動ラベル付け", 電子情報通信学会技術研究報告, vol. 111, no. 317, JPN6017024694, 17 November 2011 (2011-11-17), JP, pages 93 - 98, ISSN: 0004038913 * |
Also Published As
Publication number | Publication date |
---|---|
WO2017188048A1 (ja) | 2017-11-02 |
JP6535134B2 (ja) | 2019-06-26 |
US20190213445A1 (en) | 2019-07-11 |
US11164043B2 (en) | 2021-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3754549B1 (en) | A computer vision method for recognizing an object category in a digital image | |
WO2018121690A1 (zh) | 对象属性检测、神经网络训练、区域检测方法和装置 | |
JP6450032B2 (ja) | 作成装置、作成方法、および作成プログラム | |
CN111444966A (zh) | 媒体信息分类方法及装置 | |
WO2017188048A1 (ja) | 作成装置、作成プログラム、および作成方法 | |
US20220129794A1 (en) | Generation of counterfactual explanations using artificial intelligence and machine learning techniques | |
US11526696B2 (en) | Model maintenance device, pattern recognition system, model maintenance method, and computer program product | |
JP2012038244A (ja) | 学習モデル作成プログラム、画像識別情報付与プログラム、学習モデル作成装置及び画像識別情報付与装置 | |
US12002488B2 (en) | Information processing apparatus and information processing method | |
CN113537630B (zh) | 业务预测模型的训练方法及装置 | |
US20220253725A1 (en) | Machine learning model for entity resolution | |
JPWO2017183548A1 (ja) | 情報処理システム、情報処理方法、及び、記録媒体 | |
KR20210029110A (ko) | 딥러닝 기반 소수 샷 이미지 분류 장치 및 방법 | |
KR101700030B1 (ko) | 사전 정보를 이용한 영상 물체 탐색 방법 및 이를 수행하는 장치 | |
WO2020170803A1 (ja) | 拡張装置、拡張方法及び拡張プログラム | |
US11983633B2 (en) | Machine learning predictions by generating condition data and determining correct answers | |
JP2021081795A (ja) | 推定システム、推定装置および推定方法 | |
JP5633424B2 (ja) | プログラム及び情報処理システム | |
WO2019221206A1 (ja) | 作成装置、作成方法、および作成プログラム | |
JP2019159918A (ja) | クラスタリングプログラム、クラスタリング方法およびクラスタリング装置 | |
JPWO2019123642A1 (ja) | 画像認識システム、方法およびプログラム、並びにパラメータ学習システム、方法およびプログラム | |
JP7047664B2 (ja) | 学習装置、学習方法および予測システム | |
JP2020030702A (ja) | 学習装置、学習方法及び学習プログラム | |
JP7118938B2 (ja) | 分類装置、学習装置、方法及びプログラム | |
US20220398833A1 (en) | Information processing device, learning method, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180416 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190530 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6535134 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |