JP6004015B2 - 学習方法、情報処理装置および学習プログラム - Google Patents
学習方法、情報処理装置および学習プログラム Download PDFInfo
- Publication number
- JP6004015B2 JP6004015B2 JP2014559465A JP2014559465A JP6004015B2 JP 6004015 B2 JP6004015 B2 JP 6004015B2 JP 2014559465 A JP2014559465 A JP 2014559465A JP 2014559465 A JP2014559465 A JP 2014559465A JP 6004015 B2 JP6004015 B2 JP 6004015B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- feature
- learning
- vectors
- sample set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 38
- 230000010365 information processing Effects 0.000 title claims description 15
- 239000013598 vector Substances 0.000 claims description 436
- 238000012545 processing Methods 0.000 claims description 34
- 238000006243 chemical reaction Methods 0.000 description 129
- 238000013500 data storage Methods 0.000 description 25
- 239000011159 matrix material Substances 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、学習方法、情報処理装置および学習プログラムに関する。
従来、指紋、画像、音声などのデータの特徴を示す特徴量ベクトルを用いて類似するデータを検索する際に、厳密性を緩和することで、検索処理を高速化する技術が知られている。このような技術の一例として、特徴量ベクトル間の距離関係を保持したまま特徴量ベクトルをバイナリ列に変換し、バイナリ列同士のハミング距離を計算することで、計算コストを削減する方法が知られている。
また、特徴量ベクトル間の距離関係を保持しつつ特徴量ベクトルをバイナリ列に変換する手法の一例として、LSH(Locality-Sensitive Hashing)の技術が知られている。例えば、情報処理装置は、特徴量ベクトル空間を分割する複数の超平面を設定し、各超平面の法線ベクトルと特徴量ベクトルとの内積がそれぞれ正であるか負であるかを示すバイナリ列に特徴量ベクトルを変換する。すなわち、情報処理装置は、超平面を用いて特徴量ベクトル空間を複数の領域に分割し、分割された領域のうちどの領域に特徴量ベクトルが属するかを示すバイナリ列に特徴量ベクトルを変換する。
ここで、データの登録を行った個人を特定するID等、各データに類似性を示すラベルが付与される場合は、新たに登録されるデータの分類を容易にするため、各データをラベルごとに分類する超平面を設定するのが望ましい。このため、異なるラベルが付与されたデータペアを用いて、各データをラベルごとに分類する超平面の組を学習する技術が知られている。
例えば、情報処理装置は、1つの特徴量ベクトルを基準ベクトルとして無作為に選択し、基準ベクトルとは異なるラベルが付与された特徴量ベクトルのうち、基準ベクトルに最も類似する特徴量ベクトルを選択する。そして、情報処理装置は、選択した2つの特徴量ベクトルを分割する超平面を学習することで、異なるラベルが付与されたデータ同士の境界付近に超平面を設定する。
M. Datar, N. Immorlica, P. Indyk, V. S. Mirrokni: Locality-Sensitive Hashing Scheme Based on p-Stable Distributions, Proceedings of the twentieth annual symposium on Computational geometry (SCG 2004)
M. Norouzi and D. Fleet: Minimal Loss hashing for compact binary codes, Proceedings of the 28th International Conference on Machine Learning (ICML '11)
Ran Gilad-Bachrachy Amir Navotz Naftali Tishbyy: Margin Based Feature Selection - Theory and Algorithms (ICML 2004)
しかし、上述した超平面を学習する技術では、無作為に選択した基準ベクトルと、基準ベクトルとは異なるラベルが付与された特徴量ベクトルのうち、基準ベクトルに最も類似する特徴量ベクトルとを分割する超平面を学習する。この結果、特徴量ベクトルを大局的に分類する超平面を学習できないという問題がある。
例えば、基準ベクトルと同じラベルをもつデータ全てからなるグループを基準グループとする。すると、情報処理装置は、基準グループに含まれるデータとは異なるラベルが付与されたデータからなるグループのうち、基準集合に隣接するグループと基準グループとを局所的に分類する超平面を学習する。しかしながら、基準グループに含まれるデータとは異なるラベルが付与されたデータからなるグループが他にも存在する場合は、特徴量ベクトル空間をより大局的に分割することで、多くのグループを分類する超平面を学習するのが望ましい。
1つの側面では、本発明は、大局的にデータの分類を行う超平面を学習することを目的とする。
1つの側面では、特徴量ベクトル空間を分割する超平面を学習する情報処理装置である。情報処理装置は、学習用の特徴量ベクトルから1つ以上の特徴量ベクトルをサンプル組としてランダムに選択する。また、情報処理装置は、サンプル組に含まれる各特徴量ベクトルとは異なるラベルが付与された特徴量ベクトルであって、サンプル組に含まれる各特徴量ベクトルとの距離の一般化平均が最小となる特徴量ベクトルを基準ベクトルとして選択する。そして、情報処理装置は、学習用の特徴量ベクトルのうち、基準ベクトルとは異なるラベルが付与された特徴量ベクトルと、選択した基準ベクトルとを組み合わせた特徴量ベクトルのペアを用いて超平面を学習する。
1つの側面では、大局的にデータの分類を行う超平面を学習することができる。
以下に添付図面を参照して本願に係る学習方法、情報処理装置および学習プログラムについて説明する。
以下の実施例1では、図1を用いて、学習方法を実行する検索システムの一例を説明する。図1は、実施例1に係る検索システムを説明するための図である。図1に示すように、検索システム1は、クライアント装置2、情報変換装置10、情報検索装置20を有する。
また、情報変換装置10は、学習データ記憶部11、サンプル組選択部12、基準ベクトル選択部13、データ対生成部14、超平面学習部15を有する。また、情報検索装置20は、検索対象データベース記憶部21、バイナリ変換部23、バイナリデータベース記憶部22、検索処理部24を有する。
図1に示す検索システム1は、クライアント装置2からクエリデータを受信すると、検索対象データベース記憶部21から、クエリデータの近傍データを検索する。そして、検索システム1は、クエリデータの近傍に類似するデータが登録されているか否かをクライアント装置2へ通知する。具体的には、検索システム1は、情報変換装置10が生成した変換行列を用いて、情報検索装置20が検索対象となるデータをバイナリ列に変換し、変換後のバイナリ列を用いて、クエリデータの近傍データを検索する。
ここで、検索システム1が検索対象とするデータは、例えば、画像や音声などのデータであり、指紋のパターンや静脈のパターンを用いた生体認証における生体データである。すなわち、検索システム1は、クライアント装置2に入力された利用者の生体データをクエリデータとして受信すると、利用者の生体データが登録されているか否かを判別する。
なお、画像や音声の特徴量は様々なものが提案されているが、検索システム1は、特定の特徴量に依存するものではないため、任意の特徴量を用いることができる。例えば、画像の特徴量として一般的に用いられているSIFT特徴量やSURF特徴量などを用いることもできる。これらの特徴量は画像中の局所的な情報を特徴量ベクトルとして用いることで、隠れや変動に対してロバストな特徴量であることが知られているが、このような特徴量を示す任意の形式の特徴量ベクトルを用いてよい。
図2は、生体認証の一例を説明するための図である。なお、図2に示す例では、利用者のID(Identification)等の情報が入力されず、利用者のIDを用いた生体データの絞込みを行わないIDレスの1:N認証における処理を示す。図2に示すように、検索システム1は、複数の利用者が登録した登録生体データを複数記憶する。
そして、検索システム1は、クライアント装置2からクエリデータとして、生体データを受信すると、入力された生体データの特徴量を示す特徴量ベクトルを抽出し、抽出した特徴量ベクトルと類似する特徴量ベクトルを有する登録生体データを検索する。すなわち、検索システム1は、クエリデータを入力した利用者の登録生体データが登録されているか否かを判別する。
また、検索システム1は、特徴量ベクトルを所定のビット長のバイナリ列に変換する変換行列を生成し、生成した変換行列を用いて、登録生体データの特徴量ベクトルをバイナリ列に変換する。また、検索システム1は、クエリデータとして入力された生体データにおける特徴量ベクトルを所定のビット長のバイナリ列に変換し、登録生体データの特徴量ベクトルを変換したバイナリ列とのハミング距離を算出する。
そして、検索システム1は、ハミング距離が所定の閾値以下となる登録生体データを検索対象の候補として抽出する。その後、情報検索装置1は、検索した登録生体データとクエリデータとして入力された生体データとの厳密なマッチング処理を実行し、実行結果をクライアント装置2に出力する。
なお、入力された生体データや登録生体データが画像である場合には、特徴量ベクトルは、例えば、画像中の特定領域における隆線の方向や長さ、勾配、隆線の終端や分岐などの特徴的な点の密度や座標の数値をベクトル化したものとなる。また、入力された生体データや登録生体データが音声である場合には、特徴量ベクトルは、例えば、周波数成分の分布、強度、ピーク値などの数値をベクトル化したものとなる。
以下、情報変換装置10が実行する処理、および情報検索装置20が実行する処理について説明する。図1に戻り、情報変換装置10は、学習データ記憶部11が記憶する学習データを用いて、特徴量ベクトルを所定のビット長のバイナリ列に変換する変換行列を生成し、生成した変換行列を情報検索装置20に通知する。
ここで、変換行列とは、特徴量ベクトル空間を複数の領域に分割する超平面の法線ベクトルを行成分として有する行列であり、情報検索装置20が特徴量ベクトルをバイナリ列に変換する際に用いる行列である。例えば、情報検索装置20は、変換行列と特徴量ベクトルとの積を算出する。そして、情報検索装置20は、算出した積の各成分について、値が正であるか負であるかを判別し、正の値である場合は「1」、負の値である場合は「0」としたバイナリ列を生成する。つまり、情報検索装置20は、変換行列を用いて、各特徴量ベクトルが、超平面によって複数の領域に分割された特徴量ベクトル空間のうち、どの領域に属しているかを示すバイナリ列に特徴量ベクトルを変換する。
ここで、新たに登録されるデータの分類を容易にするため、各データをラベルごとに分類する超平面を設定するのが望ましい。このため、情報変換装置10は、学習データ記憶部11が記憶する特徴量ベクトルから、同じラベルが付与された特徴量ベクトルの組である正例ペアと、異なるラベルが付与された特徴量ベクトルの組である負例ペアとを生成する。そして、情報変換装置10は、生成した正例ペアと負例ペアとを用いて、設定した複数の超平面を同時に評価することで、超平面を最適化する。
また、各特徴量ベクトルに付与されるラベルの種類が複数存在する場合は、多くのラベルを分類する大局的な超平面を設定するのが望ましい。例えば、図3は、大局的な超平面を説明するための図である。なお、図3に示す例では、各特徴量ベクトルを丸印、もしくは三角印で示し、同一のラベルが付与された特徴量ベクトルの集合、すなわちデータ集合をそれぞれ点線で囲んだ。
例えば、従来の技術では、図3中(A)に示す特徴量ベクトルと、図3中(A)とは異なるラベルが付与された特徴量ベクトルのうち、図3中(A)に示す特徴量ベクトルと最も類似する特徴量ベクトル(B)とを負例ペアとして超平面を学習する。この結果、従来の技術では、図3中(C)に示すように、図3中(A)に示す特徴量ベクトルを含むデータ集合と、図3中(B)に示す特徴量ベクトルを含むデータ集合との境界付近に超平面を設定する。
しかしながら、図3に示すように、それぞれ異なるラベルが付与されたデータ集合が他にも存在する場合は、図3中(D)で示すように、大局的な分類を行う超平面を設定するのが望ましい。すなわち、特徴量ベクトルを変換したバイナリ列の各ビットは、特徴量ベクトルが各超平面のどちら側に位置するかを示す情報である。このため、それぞれ異なるラベルが付与された100組のデータ集合が存在する場合は、1組のデータ集合と他の99組とを分類する超平面よりも、50組のデータ集合と他の50組とを大局的に分類する超平面の方がより有用な超平面である。
そこで、情報変換装置10は、学習データ記憶部11が記憶する特徴量ベクトルから、複数の特徴量ベクトルをサンプル組としてランダムに選択する。次に、情報変換装置10は、学習データ記憶部11が記憶する特徴量ベクトルのうち、サンプル組に含まれる各特徴長ベクトルとは異なるラベルが付与された特徴量ベクトルを識別する。そして、情報変換装置10は、識別した特徴量ベクトルごとに、サンプル組に含まれる特徴量ベクトルとの距離をそれぞれ算出し、重み付きを考慮して、算出した距離の一般化平均を算出する。その後、情報変換装置10は、一般化平均の値が最も小さい特徴量ベクトルを特定し、特定した特徴量ベクトルを基準ベクトルとする。
また、情報変換装置10は、基準ベクトルとは異なるラベルが付与された特徴量ベクトルを選択し、選択した特徴量ベクトルと基準ベクトルとを含む負例ペアを生成する。そして、情報変換装置10は、生成した負例ペアを用いて、超平面の学習を行う。
ここで、図4を用いて、情報変換装置10が実行する処理の一例を説明する。図4は、大局的な超平面を設定する処理を説明するための図である。例えば、情報変換装置10は、図4中(E)、(F)、(G)に示す特徴量ベクトルをサンプル組として選択する。次に、情報変換装置10は、図4中(E)、(F)、(G)に示す特徴量ベクトルとは、異なるラベルが付与された特徴量ベクトルを全て識別する。
そして、情報変換装置10は、識別した特徴量ベクトルごとに、図4中(E)、(F)、(G)との距離を算出し、重み付けを考慮して、算出した距離の一般化平均を算出する。例えば、情報変換装置10は、任意の実数mを用いて、各距離のm乗の合計をサンプル数に含まれる特徴量ベクトルの数nで除算した値のm乗根を取った値を算出する。そして、情報変換装置10は、算出した一般化平均の値が最小となる特徴量ベクトルを基準ベクトルとする。
例えば、図4に示す例では、図4中(H)に示す特徴量ベクトルを基準ベクトルとして算出する。そして、情報変換装置10は、図4中(H)に示す基準ベクトルと、他のラベルが付与された特徴量ベクトル、例えば図4中(E)に示す特徴量とを負例ペアとして選択する。この結果、情報変換装置10は、一般化平均を算出する際に使用する重みにもよるが、全特徴量ベクトルからランダムに選択したサンプル組によって、データ集合の境界線よりも全特徴量ベクトルの重心方向に引かれた基準ベクトルを選択する。そして、情報変換装置10は、基準ベクトルを含む負例ペアを用いて超平面を設定するので、大局的にデータの分類を行う超平面を設定することができる。
なお、情報変換装置10は、任意の手法を用いて、超平面の学習を行うことができる。例えば、情報変換装置10は、正例ペアに含まれる特徴量ベクトルを分割せず、負例ペアに含まれる特徴量ベクトルを分割するように、超平面を最適化することで超平面を学習してもよい。
次に、図1に戻って、情報変換装置10が有する学習データ記憶部11、サンプル組選択部12、基準ベクトル選択部13、データ対生成部14、超平面学習部15が実行する処理について説明する。学習データ記憶部11は、情報変換装置が超平面を学習するための学習データを記憶する。
具体的には、学習データ記憶部11は、学習データとして、利用者ごとに、複数の特徴量ベクトルを記憶する。ここで、学習データ記憶部11が記憶する特徴量ベクトルは、後述する検索対象データベース記憶部21が記憶する特徴量ベクトルの一部である。すなわち、学習データ記憶部11は、検索システム1に登録された登録生体データの特徴量ベクトルの一部を記憶する。
ここで、図5は、学習データ記憶部が記憶するデータの一例を説明するための図である。図5に示すように、学習データ記憶部11は、データID(Identification)と特徴量ベクトルとラベルとを対応付けて記憶する。ここで、データIDとは、各データに付与されるデータの識別子である。また、ラベルとは、各特徴量ベクトルの類似性を示す情報であり、例えば、各特徴量ベクトルの元となる生体データ等を登録した利用者を示す情報である。
例えば、図5に示す例では、学習データ記憶部11は、データID「1」で示される特徴量ベクトルであって、ラベル「A」が付与された4000次元の浮動小数点データ「a、b、c…」を記憶する。また、学習データ記憶部11は、データID「2」で示される特徴量ベクトルであって、ラベル「B」が付与された4000次元の浮動小数点データ「d、e、f…」を記憶する。
図1に戻り、サンプル組選択部12は、学習データ記憶部11が記憶する特徴量ベクトルから、複数の特徴量ベクトルをランダムに選択する。そして、サンプル組選択部12は、選択した複数の特徴量ベクトルをサンプル組とし、基準ベクトル選択部13にサンプル組を通知する。なお、サンプル組選択部12は、情報変換装置10が超平面を学習する際に許容される計算量にもよるが、任意の数の特徴量ベクトルをサンプル組として選択することができる。
基準ベクトル選択部13は、サンプル組選択部12からサンプル組の通知を受信すると、受信したサンプル組に含まれる特徴量ベクトルのラベルを識別する。次に、基準ベクトル選択部13は、学習データ記憶部11が記憶する特徴量ベクトルのうち、識別したラベルとは異なるラベルが付与された特徴量ベクトルを抽出する。そして、基準ベクトル選択部13は、抽出した特徴量ベクトルごとに、以下の処理を実行する。
まず、基準ベクトル選択部13は、抽出した特徴量ベクトルとサンプル組に含まれる各特徴量ベクトルとの距離を算出する。次に、基準ベクトル選択部13は、算出した距離の一般化平均を算出する。この際、基準ベクトル選択部13は、各距離に任意の重みを考慮して一般化平均を算出してもよい。
そして、基準ベクトル選択部13は、抽出した特徴量ベクトルのうち、算出した一般化平均が最小となる特徴量ベクトルを特定する。そして、基準ベクトル選択部13は、特定した特徴量ベクトルを基準ベクトルとしてデータ対生成部14に通知する。なお、負例ペアの生成を容易にするため、基準ベクトル選択部13は、サンプル組に含まれる特徴量ベクトルも、データ対生成部14に通知する。
データ対生成部14は、基準ベクトル選択部13から基準ベクトルの通知を受信すると、受信した基準ベクトルを含む負例ペアを生成し、生成した負例ペアを超平面学習部15に通知する。例えば、データ対生成部14は、基準ベクトルとサンプル組に含まれる特徴量ベクトルとをそれぞれ組み合わせた負例ペアを生成する。また、データ対生成部14は、基準ベクトルと同じラベルが付与された特徴量ベクトルを学習データ記憶部11からランダムに選択し、選択した特徴量ベクトルと基準ベクトルとを対応付けた正例ペアを生成する。そして、データ対生成部14は、生成した正例ペア、および負例ペアを超平面学習部15に通知する。
なお、データ対生成部14は、基準ベクトルを含む負例ペアであれば、任意の手法を用いて負例ペアを生成してよい。例えば、データ対生成部14は、基準ベクトルとは異なるラベルが付与された特徴量ベクトルのうち、最近傍の特徴量ベクトル(最も類似する特徴量ベクトル)を選択し、選択した特徴量ベクトルと基準ベクトルとを含む負例ペアを生成してもよい。
また、データ対生成部14は、基準ベクトルとは異なるラベルが付与された特徴量ベクトルをランダムに選択し、選択した特徴量ベクトルと基準ベクトルとを含む負例ペアを生成してもよい。また、データ対生成部14は、サンプル組に含まれる特徴量ベクトルから、距離の一般化平均を算出する際に用いた重みの値が大きい順に所定の数の特徴量ベクトルを選択し、選択した各特徴量ベクトルと基準ベクトルとを組み合わせた負例ペアを生成してもよい。
超平面学習部15は、データ対生成部14から受信した正例ペア、および負例ペアを用いて、最適化された超平面を学習する。例えば、超平面学習部15は、データ対生成部14から正例ペア、および負例ペアを受信する。また、超平面学習部15は、ランダムに設定した超平面によって異なる領域に分割されなかった正例ペアの数と、超平面によって異なる領域に分割された負例ペアの数との和を評価値とする。
そして、超平面学習部15は、所定のアルゴリズム、たとえば超平面の位置をランダムに変更して評価値の値を再度算出する。このような処理を所定の回数だけ繰り返し実行した後、超平面学習部15は、最も評価値の値が高かった超平面を最適化された超平面とする。その後、超平面学習部15は、最適化された超平面の法線ベクトルを各行ベクトルとする行列、すなわち変換行列を生成し、生成した変換行列をバイナリ変換部23に通知する。
次に、情報検索装置20が実行する処理について説明する。検索対象データベース記憶部21は、検索対象となるデータ、すなわち、登録生体データの特徴量ベクトルを記憶する。具体的には、検索対象データベース記憶部21は、学習データ記憶部11と同様のデータを記憶する。なお、検索対象データベース記憶部21は、学習データ記憶部11が記憶するデータを含む、より多くのデータを記憶しても良い。
また、バイナリデータベース記憶部22は、所定の変換行列を用いて特徴量ベクトルを変換したバイナリ記号と、変換前のデータIDとを対応付けて記憶する。
図1に戻って、バイナリ変換部23は、情報変換装置10の超平面学習部15から変換行列を受信した場合は、受信した変換行列を用いて、検索対象データベース記憶部21が記憶する特徴量ベクトルをバイナリ列に変換する。そして、バイナリ変換部23は、変換後のバイナリ列を、変換元の特徴量ベクトルと対応付けられたデータIDと対応付けて、バイナリデータベース記憶部22に格納する。
検索処理部24は、クライアント装置2からクエリデータを受信すると、受信したクエリデータの特徴量を示す特徴量ベクトルを抽出し、抽出した特徴量ベクトルを所定の変換行列でバイナリ列に変換する。そして、検索処理部24は、バイナリデータベース記憶部22が記憶するバイナリ列のうち、ハミング距離が所定の値以下となるバイナリ列、すなわち、クエリデータの近傍候補となる特徴量ベクトルのバイナリ列を検索する。
その後、検索処理部24は、検索したバイナリ列の変換元である特徴量ベクトルを検索対象データベース記憶部21から取得する。そして、検索処理部24は、取得した特徴量ベクトルに、クエリデータから抽出した特徴量ベクトルと一致する特徴量ベクトルや、ユークリッド距離が所定の閾値以下となる特徴量ベクトルが存在する場合は、以下の処理を実行する。すなわち、検索処理部24は、クエリデータが登録生体データに一致する旨をクライアント装置2へ送信する。
一方、検索処理部24は、取得した特徴量ベクトルに、クエリデータから抽出した特徴量ベクトルと一致する特徴量ベクトルや、ユークリッド距離が所定の閾値以下となる特徴量ベクトルが存在しない場合は、以下の処理を実行する。すなわち、検索処理部24は、クエリデータが登録生体データに一致しない旨をクライアント装置2へ送信する。この結果、クライアント装置2は、クエリデータを入力した利用者の生体認証を行うことができる。
例えば、サンプル組選択部12、基準ベクトル選択部13、データ対生成部14、超平面学習部15は、電子回路である。ここで、電子回路の例として、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの集積回路、またはCPU(Central Processing Unit)やMPU(Micro Processing Unit)などを適用する。
また、学習データ記憶部11、検索対象データベース記憶部21、バイナリデータベース記憶部22とは、RAM(Random Access Memory)、フラッシュメモリ(flash memory)などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。
次に、図6を用いて、情報変換装置10が実行する処理の流れについて説明する。図6は、情報変換装置が実行する処理の流れを説明するためのフローチャートである。なお、図6に示す例では、情報変換装置10は、n−1個の特徴量ベクトルa1〜anをサンプル組として選択する例について記載した。
まず、情報変換装置10は、ランダムにサンプル組(a1,a2…,an)を選択する(ステップS101)。次に、情報変換装置10は、サンプル組(a1,a2…,an)とは異なるラベルが付与された特徴量ベクトルの全てについて、サンプル組(a1,a2…,an)の各特徴量ベクトルとの距離を算出する。
そして、情報変換装置10は、算出した距離の重み付き一般化された平均を算出する(ステップS102)。次に、情報変換装置10は、重み付き一般化された平均が最小となる特徴量ベクトルを基準ベクトルbとして選択する(ステップS103)。また、情報変換装置10は、サンプル組(a1,a2…,an)の距離を算出する際に用いた重みを基準に、所定の数の特徴量ベクトルをサンプル組(a1,a2…,an)から選択する。
そして、情報変換装置10は、選択した特徴量ベクトルと基準ベクトルとを組み合わせた負例ペアを生成する(ステップS104)。その後、情報変換装置10は、超平面を学習し(ステップS105)、処理を終了する。
[情報変換装置10の効果]
上述したように、情報変換装置10は、学習データ記憶部11から複数の特徴量ベクトルをサンプル組としてランダムに選択する。また、情報変換装置10は、サンプル組に含まれる特徴量ベクトルとは異なるラベルが付与された特徴量ベクトルであって、サンプル組に含まれる各特徴量ベクトルとの距離の一般化平均が最小となる特徴量ベクトルを基準ベクトルとして選択する。そして、情報変換装置10は、基準ベクトルとは異なるラベルが付与された特徴量ベクトルと、基準ベクトルとを組み合わせた負例ペアを用いて、超平面を学習する。このため、情報変換装置10は、特徴量ベクトル空間を大局的に分割する超平面を設定することができる。
上述したように、情報変換装置10は、学習データ記憶部11から複数の特徴量ベクトルをサンプル組としてランダムに選択する。また、情報変換装置10は、サンプル組に含まれる特徴量ベクトルとは異なるラベルが付与された特徴量ベクトルであって、サンプル組に含まれる各特徴量ベクトルとの距離の一般化平均が最小となる特徴量ベクトルを基準ベクトルとして選択する。そして、情報変換装置10は、基準ベクトルとは異なるラベルが付与された特徴量ベクトルと、基準ベクトルとを組み合わせた負例ペアを用いて、超平面を学習する。このため、情報変換装置10は、特徴量ベクトル空間を大局的に分割する超平面を設定することができる。
また、情報変換装置10は、サンプル組に含まれる各特徴量ベクトルと基準ベクトルとをそれぞれ組み合わせた負例ペアを用いて超平面を学習する。このため、情報変換装置10は、特徴量ベクトル空間を大局的に分割する超平面を学習するための負例ペアを容易に生成することができる。
また、情報変換装置10は、サンプル組に含まれる各特徴量ベクトルとは異なるラベルが付与された全特徴量ベクトルについて、サンプル組に含まれる各特徴量ベクトルとの距離を算出する。また、情報変換装置10は、算出した各距離について重み付けを考慮した一般化平均を特徴量ベクトルごとに算出する。そして、情報変換装置10は、算出した重み付き一般化平均が最小となる特徴量ベクトルを基準ベクトルとする。このため、情報変換装置10は、一般化平均を算出する際の重みに応じた位置に超平面を設定することができる。
これまで本発明の実施例について説明したが実施例は、上述した実施例以外にも様々な異なる形態にて実施されてよいものである。そこで、以下では実施例2として本発明に含まれる他の実施例を説明する。
(1)局所的な補正について
上述した情報変換装置10は、大局的にデータを分類する超平面を設定した。しかしながら、実施例はこれに限定されるものではなく、例えば、情報変換装置10は、大局的にデータを分類する超平面を、異なるラベルが付与されたデータ集合の境界付近に設定してもよい。
上述した情報変換装置10は、大局的にデータを分類する超平面を設定した。しかしながら、実施例はこれに限定されるものではなく、例えば、情報変換装置10は、大局的にデータを分類する超平面を、異なるラベルが付与されたデータ集合の境界付近に設定してもよい。
例えば、基準ベクトル選択部13は、全特徴量ベクトルの中からランダムに1つ以上の特徴量ベクトルをサンプル組として選択する。次に、基準ベクトル選択部13は、サンプル組特徴量ベクトルとは異なるラベルが付与された特徴量ベクトルのうち、重み付を考慮した一般化平均が最小となる特徴量ベクトルを基準ベクトルとして選択する。そして、基準ベクトル選択部13は、選択した基準ベクトルをデータ対生成部14に通知する。
なお、基準ベクトル選択部13は、1つの特徴量ベクトルをサンプル組としてもよい。このような場合は、基準ベクトル選択部13は、サンプル組に含まれる特徴量ベクトルとは異なるラベルが付与された特徴量ベクトルの最近傍に位置する特徴量ベクトルを基準ベクトルして選択する。
データ対生成部14は、基準ベクトルの通知を受信すると、受信した基準ベクトルと異なるラベルが付与された特徴量ベクトルのうち、最も近傍の特徴量ベクトルを検索する。そして、データ対生成部14は、検索した特徴量ベクトルと基準ベクトルとを組み合わせた負例ペアを生成し、生成した負例ペアを超平面学習部15に通知する。この結果、情報変換装置10は、ラベルが異なるデータ集合の境界付近に超平面を設定することができる。なお、データ対生成部14は、サンプル組と同じラベルが付与された特徴量ベクトルのうち、基準ベクトルに最も近い特徴量ベクトルを選択し、選択した特徴量ベクトルと基準ベクトルとを組み合わせた負例ペアを生成してもよい。
ここで、図7は、負例ペアを生成するバリエーションを説明するための第1の図である。なお、図7に示す例では、特徴量ベクトルを丸印、または三角印で示し、同一のラベルが付与されたデータ集合を点線で囲んだ。例えば、情報変換装置10は、特徴量ベクトルから図7中(H)に示す特徴量ベクトルをサンプル組として選択する。そして、情報変換装置10は、図7中(H)に示す特徴量ベクトルとは異なるラベルが付与された最近傍の特徴量ベクトル、すなわち、図7中(I)に示す特徴量ベクトルを基準ベクトルとして選択する。
また、情報変換装置10は、図7中(I)に示す特徴量ベクトルとは異なるラベルが付与された特徴量ベクトルのうち、最近傍の特徴量ベクトル、すなわち図7中(J)に示す特徴量ベクトルを選択する。そして、情報変換装置10は、図7中(I)に示す特徴量ベクトルと図7中(J)に示す特徴量ベクトルとを負例ペアとして選択する。この結果、情報変換装置10は、図7中(K)に示すように、異なるラベルが付与されたデータ集合の境界に超平面を選択することができる。
なお、情報変換装置10は、最初にサンプル組をランダムに選択している。このため、基準ベクトルの位置が全特徴量ベクトルの重心付近に引かれやすいので、情報変換装置10は、特徴量ベクトルを大局的に分類する超平面を設定することができる。
ここで、図8は、負例ペアを生成するバリエーションを説明するための第2の図である。ここで、図8中の四角印で示す特徴量ベクトルは、三角印で示す特徴量ベクトル、および丸印で示す特徴量ベクトルに付与された両方のラベルが付与された特徴量ベクトルである。
例えば、情報変換装置10は、特徴量ベクトルから図8中(L)に示す特徴量ベクトルをサンプル組として選択する。そして、情報変換装置10は、図8中(L)に示す特徴量ベクトルとは異なるラベルが付与された最近傍の特徴量ベクトル、すなわち、図8中(M)に示す特徴量ベクトルを基準ベクトルとして選択する。なお、四角印で示す特徴量ベクトルは、図8中(L)に示す特徴量ベクトルと同じラベルが付与されているため、基準ベクトルとしては選択されない。
また、情報変換装置10は、図8中(M)に示す特徴量ベクトルとは異なるラベルが付与された特徴量ベクトルのうち、最近傍の特徴量ベクトル、すなわち図8中(N)に示す特徴量ベクトルを選択する。そして、情報変換装置10は、図8中(M)に示す特徴量ベクトルと図8中(N)に示す特徴量ベクトルとを負例ペアとして選択する。この結果、情報変換装置10は、図8中(O)に示すように、異なるラベルが付与されたデータ集合の境界に超平面を選択することができる。
次に、図9を用いて、データ集合の境界付近に超平面を設定する処理の流れについて説明する。図9は、データ集合の境界付近に超平面を設定する処理の流れを説明するためのフローチャートである。なお、図9に示す例では、情報変換装置10は、n−1個の特徴量ベクトルa1〜anをサンプル組として選択する例について記載した。また、図9中のステップS101〜S103は、図6に示すステップS101〜S103と同じ処理であるものとし、説明を省略する。
まず、情報変換装置10は、基準ベクトルbとは異なるラベルが付与された特徴量ベクトルのうち、基準ベクトルbに最も近い特徴量ベクトルaを検索する(ステップS201)。次に、情報変換装置10は、特徴量ベクトルaと基準ベクトルbとを組み合わせた負例ペアを生成し(ステップS202)、生成した負例ペアを用いて超平面を学習し(ステップS203)、処理を終了する。
上述したように、情報変換装置10は、ランダムに選択したサンプル組と異なるラベルが付与された特徴量ベクトルのうち、サンプル組の特徴量ベクトルとの距離の一般化平均が最小となる特徴量ベクトルを基準ベクトルとして選択する。そして、情報変換装置10は、基準ベクトルとは異なるラベルが付与された特徴量ベクトルであって、基準ベクトルとの距離が最も近い特徴量ベクトルと、基準ベクトルとを含む負例ペアを用いて超平面を学習する。このため、情報変換装置10は、大局的にデータを分類する超平面を、異なるラベルが付与されたデータ集合の境界付近に設定することができる。すなわち、情報変換装置10は、大局的、かつ局所的に最適化された特徴量ベクトルを設定することができる。
(2)基準ベクトルの選択について
上述した情報変換装置10は、サンプル組の特徴量ベクトルとの距離の重み付を考慮した一般化平均が最小となる特徴量ベクトルを選択した。しかし、実施例はこれに限定されるものではない。例えば、情報変換装置10は、重み付けを考慮した一般化平均が、所定のパーセンタイルとなる特徴量ベクトルを基準ベクトルとしてもよい。例えば、基準ベクトル選択部13は、算出した一般化平均を値が少ない順に並べ、順番が所定のパーセント目に該当する特徴量ベクトルを基準ベクトルとする。
上述した情報変換装置10は、サンプル組の特徴量ベクトルとの距離の重み付を考慮した一般化平均が最小となる特徴量ベクトルを選択した。しかし、実施例はこれに限定されるものではない。例えば、情報変換装置10は、重み付けを考慮した一般化平均が、所定のパーセンタイルとなる特徴量ベクトルを基準ベクトルとしてもよい。例えば、基準ベクトル選択部13は、算出した一般化平均を値が少ない順に並べ、順番が所定のパーセント目に該当する特徴量ベクトルを基準ベクトルとする。
次に、図10を用いて、パーセンタイルに従って基準ベクトルを選択する処理の流れについて説明する。図10は、超平面を設定する処理のバリエーションを説明するための第1のフローチャートである。なお、図9中のステップS101、S102、S104、S105は、図6に示すステップS101、S102、S104、S105と同じ処理であるものとし、説明を省略する。
例えば、情報変換装置10は、重み付き一般化された平均を小さい値から順にならべ、yパーセント目となる特徴量ベクトル、すなわちyパーセンタイルとなる特徴量ベクトルを基準ベクトルbとして選択する(ステップS301)。そして、情報変換装置10は、選択した基準ベクトルを含む負例ペアを用いて、超平面を学習する。
上述したように、情報変換装置10は、サンプル組に含まれる各特徴量ベクトルと、サンプル組とは異なるラベルが付与された特徴量ベクトルとの距離の重み付けを考慮した一般化平均を算出する。そして、情報変換装置10は、算出した一般化平均が所定のパーセンタイルとなる特徴量ベクトルを基準ベクトルにする。この結果、情報変換装置10は、超平面が特徴量ベクトル空間内をどれくらい大局的に分類するかを自由に設定することができる。
(3)基準ベクトルの選択対象について
上述した情報変換装置10は、サンプル組の特徴量ベクトルとは異なるラベルが付与された特徴量ベクトルから基準ベクトルを選択した。しかしながら、実施例はこれに限定されるものではない。すなわち、情報変換装置10は、サンプル組以外の全ての特徴量ベクトルから基準ベクトルを選択してもよい。
上述した情報変換装置10は、サンプル組の特徴量ベクトルとは異なるラベルが付与された特徴量ベクトルから基準ベクトルを選択した。しかしながら、実施例はこれに限定されるものではない。すなわち、情報変換装置10は、サンプル組以外の全ての特徴量ベクトルから基準ベクトルを選択してもよい。
例えば、基準ベクトル選択部13は、サンプル組に含まれる特徴量ベクトル以外の特徴量ベクトル全てについて、サンプル組に含まれる各特徴量ベクトルとの距離を算出する。また、基準ベクトル選択部13は、算出した距離のうち、同じラベルが付与された特徴量ベクトル間の距離を負の値として、重み付き算術平均を算出する。そして、基準ベクトル選択部13は、算出した重み付き算術平均が最小となる特徴量ベクトルを基準ベクトルとしてもよい。
次に、図11を用いて、サンプル組以外の全ての特徴量ベクトルから基準ベクトルを選択する処理の流れについて説明する。図11は、超平面を設定する処理のバリエーションを説明するための第2のフローチャートである。
まず、情報変換装置10は、ランダムにサンプル組(a1,a2…,an)を選択する(ステップS401)。次に、情報変換装置10は、ある特徴量ベクトルcについて、サンプル組(a1,a2…,an)との距離をそれぞれ算出する(ステップS402)。また、情報変換装置10は、算出した距離のうち、特徴量ベクトルaiと特徴量ベクトルcとに同じラベルが付与されている場合は、特徴量ベクトルaiと特徴量ベクトルcとの距離にマイナス符号をつける(ステップS403)。そして、情報変換装置10は、重み付き算術平均を算出する(ステップS404)。
また、情報変換装置10は、全ての特徴量ベクトルについて、重み付き算術平均の算出を行い(ステップS405)、算出した重み付き算術平均が最小となる基準ベクトルbを選択する(ステップS406)。また、情報変換装置10は、サンプル組(a1,a2…,an)の距離を算出する際に用いた重みを基準に、所定の数の特徴量ベクトルをサンプル組(a1,a2…,an)から選択する。そして、情報変換装置10は、選択した特徴量ベクトルと基準ベクトルとを組み合わせた負例ペア、または正例ペアを生成する(ステップS407)。その後、情報変換装置10は、超平面を学習し(ステップS408)、処理を終了する。
このように、情報変換装置10は、サンプル組に含まれる各特徴量ベクトルについて、サンプル組に含まれる特徴量ベクトルとの距離をそれぞれ算出する。そして、情報変換装置10は、同じラベルが付与された特徴量ベクトル同士の距離については、負の値として、重み付けを考慮した算術平均を算出する。そして、情報変換装置10は、算出した算術平均が最小となる特徴量ベクトルを基準ベクトルとする。このため、情報変換装置10は、サンプル組に含まれる特徴量ベクトルと同じラベルが付与された特徴量ベクトルも、基準ベクトルの対象にすることができる。
なお、情報変換装置10は、算出した算術平均が最小となる特徴量ベクトルではなく、算術平均が所定のパーセンタイルとなる特徴量ベクトルを基準ベクトルとしてもよい。例えば、図12は、超平面を設定する処理のバリエーションを説明するための第3のフローチャートである。なお、図12に示すステップS401〜S405、S407、S408は、図11に示すステップS401〜S405、S407、S408と同じ処理であるため、説明を省略する。
例えば、図12に示すように、情報変換装置10は、算出した算術平均の値がyパーセンタイルとなる特徴量ベクトルを基準ベクトルbとする(ステップS501)。このように、情報変換装置10は、同じラベルが付与された特徴量ベクトル同士の距離については、負の値として、重み付けを考慮した算術平均を算出し、算出した算術平均が所定のパーセンタイルとなる特徴量ベクトルを基準ベクトルとする。このため、情報変換装置10は、さらに、超平面が特徴量ベクトル空間内をどれくらい大局的に分類するかを自由に設定することができる。
また、情報変換装置10は、サンプル組との距離の一般化平均が最小となる特徴量ベクトルを基準ベクトルとしたが、実施例はこれに限定されるものではない。すなわち、情報処理装置10は、学習用のデータセットの性質に応じて、サンプル組との距離の一般化平均が所定の値となる特徴量ベクトルを選択してもよい。
(4)特徴量ベクトルの選択について
上述した情報変換装置10は、任意の数の特徴量ベクトルを含む正例ペア、および負例ペアを選択することができる。また、情報変換装置10は、3以上の特徴量ベクトルを含むデータセットを学習データ記憶部11から取得する。そして、情報変換装置10は、取得したデータセットから正例ペアおよび負例ペアを生成し、生成した正例ペアおよび負例ペアを用いて評価関数の値を算出してもよい。
上述した情報変換装置10は、任意の数の特徴量ベクトルを含む正例ペア、および負例ペアを選択することができる。また、情報変換装置10は、3以上の特徴量ベクトルを含むデータセットを学習データ記憶部11から取得する。そして、情報変換装置10は、取得したデータセットから正例ペアおよび負例ペアを生成し、生成した正例ペアおよび負例ペアを用いて評価関数の値を算出してもよい。
また、上述した情報変換装置10は、超平面を評価するたびに、正例ペアと負例ペアとを選択しなおしてもよい。
(5)実施形態について
上述した情報変換装置10は、情報検索装置20とは独立した装置である。しかし、実施例はこれに限定されるものではなく、例えば、情報検索装置20に情報変換装置10の機能を含めることとしてもよい。また、情報変換装置10は、情報検索装置20のバイナリ変換部23が実行する機能を有し、稼働中の情報検索装置が記憶する特徴量ベクトルについて、変換行列を生成し、生成した変換行列を用いてバイナリ列を生成する処理を実行してもよい。また、情報変換装置10が発揮する機能は、いわゆるクラウドシステムによって発揮されてもよい。
上述した情報変換装置10は、情報検索装置20とは独立した装置である。しかし、実施例はこれに限定されるものではなく、例えば、情報検索装置20に情報変換装置10の機能を含めることとしてもよい。また、情報変換装置10は、情報検索装置20のバイナリ変換部23が実行する機能を有し、稼働中の情報検索装置が記憶する特徴量ベクトルについて、変換行列を生成し、生成した変換行列を用いてバイナリ列を生成する処理を実行してもよい。また、情報変換装置10が発揮する機能は、いわゆるクラウドシステムによって発揮されてもよい。
(6)重み付けについて
情報変換装置10は、重み付けを考慮した距離の一般化平均にしたがって、基準ベクトルを選択した。しかし、実施例はこれに限定されるものではなく、例えば、情報変換装置10は、重み付けを考慮せずとも良い。また、情報変換装置10は、任意の方法で重み付けを設定することができる。例えば、情報変換装置10は、外部に対し、各重みの値をパラメータとして、入力要求してもよい。
情報変換装置10は、重み付けを考慮した距離の一般化平均にしたがって、基準ベクトルを選択した。しかし、実施例はこれに限定されるものではなく、例えば、情報変換装置10は、重み付けを考慮せずとも良い。また、情報変換装置10は、任意の方法で重み付けを設定することができる。例えば、情報変換装置10は、外部に対し、各重みの値をパラメータとして、入力要求してもよい。
(7)プログラム
ところで、実施例1に係る情報変換装置10は、ハードウェアを利用して各種の処理を実現する場合を説明した。しかし、実施例はこれに限定されるものではなく、あらかじめ用意されたプログラムを情報変換装置10が有するコンピュータで実行することによって実現するようにしてもよい。そこで、以下では、図13を用いて、実施例1に示した情報変換装置10と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図13は、学習プログラムを実行するコンピュータの一例を説明するための図である。
ところで、実施例1に係る情報変換装置10は、ハードウェアを利用して各種の処理を実現する場合を説明した。しかし、実施例はこれに限定されるものではなく、あらかじめ用意されたプログラムを情報変換装置10が有するコンピュータで実行することによって実現するようにしてもよい。そこで、以下では、図13を用いて、実施例1に示した情報変換装置10と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図13は、学習プログラムを実行するコンピュータの一例を説明するための図である。
図13に例示されたコンピュータ100は、ROM(Read Only Memory)110、HDD(Hard Disk Drive)120、RAM(Random Access Memory)130、CPU(Central Processing Unit)140がバス160で接続される。また、図13に例示されたコンピュータ100は、パケットを送受信するためのI/O(Input Output)150を有する。
HDD120は、学習データ記憶部11と同様のデータが格納された特徴量ベクトルテーブル121を記憶する。また、RAM130には、学習プログラム131があらかじめ保持される。CPU140が学習プログラム131をRAM130から読み出して実行することによって、図13に示す例では、学習プログラム131は、学習プロセス141として機能するようになる。なお、学習プロセス141は、図1に示したサンプル組選択部12、基準ベクトル選択部13、データ対生成部14、超平面学習部15と同様の機能を発揮する。
なお、本実施例で説明した学習プログラムは、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM(Compact Disc Read Only Memory)、MO(Magneto Optical Disc)、DVD(Digital Versatile Disc)などのコンピュータで読取可能な記録媒体に記録される。また、このプログラムは、コンピュータによって記録媒体から読み出されることによって実行することもできる。
1 検索システム
2 クライアント装置
10 情報変換装置
11 学習データ記憶部
12 サンプル組選択部
13 基準ベクトル選択部
14 データ対生成部
15 超平面学習部
20 情報検索装置
21 検索対象データベース記憶部
22 バイナリデータベース記憶部
23 バイナリ変換部
24 検索処理部
2 クライアント装置
10 情報変換装置
11 学習データ記憶部
12 サンプル組選択部
13 基準ベクトル選択部
14 データ対生成部
15 超平面学習部
20 情報検索装置
21 検索対象データベース記憶部
22 バイナリデータベース記憶部
23 バイナリ変換部
24 検索処理部
Claims (9)
- 学習用の特徴量ベクトルから1つ以上の特徴量ベクトルをサンプル組としてランダムに選択し、
前記学習用の特徴量ベクトルのうち、前記サンプル組に含まれる各特徴量ベクトルとは異なるラベルが付与された特徴量ベクトルから、前記サンプル組に含まれる各特徴量ベクトルとの距離の一般化平均に基づいて、いずれかの特徴量ベクトルを基準ベクトルとして選択し、
前記学習用の特徴量ベクトルのうち、前記基準ベクトルとは異なるラベルが付与された特徴量ベクトルと、前記選択した基準ベクトルとを組み合わせた特徴量ベクトルのペアを用いて、特徴量ベクトル空間を分割する超平面を学習する
処理を情報処理装置が実行することを特徴とする学習方法。 - 前記サンプル組に含まれる各特徴量ベクトルと前記基準ベクトルとをそれぞれ組み合わせた特徴量ベクトルのペアを用いて前記超平面を学習することを特徴とする請求項1に記載の学習方法。
- 前記学習用の特徴量ベクトルのうち、前記基準ベクトルとは異なるラベルが付与された特徴量ベクトルであって、当該基準ベクトルとの距離が最も近い特徴量ベクトルと、当該基準ベクトルとのペアを用いて前記超平面を学習することを特徴とする請求項1に記載の学習方法。
- 前記学習用の特徴量ベクトルのうち、前記サンプル組に含まれる各特徴量ベクトルとは異なるラベルが付与された各特徴量ベクトルについて、前記サンプル組に含まれる各特徴量ベクトルとの距離をそれぞれ算出し、
前記算出した各距離について重み付けを考慮した一般化平均を算出し、
前記算出した一般化平均が最小となる特徴量ベクトルを基準ベクトルとすることを特徴とする請求項1〜3のいずれか1つに記載の学習方法。 - 前記学習用の特徴量ベクトルのうち、前記サンプル組に含まれる各特徴量ベクトルとは異なるラベルが付与された各特徴量ベクトルについて、前記サンプル組に含まれる各特徴量ベクトルとの距離をそれぞれ算出し、
前記算出した各距離について重み付けを考慮した一般化平均を算出し、
前記算出した一般化平均の値が所定のパーセンタイルとなる特徴量ベクトルを基準ベクトルとすることを特徴とする請求項1〜3のいずれか1つに記載の学習方法。 - 前記学習用の特徴量ベクトルのうち、前記サンプル組に含まれない各特徴量ベクトルについて、前記サンプル組に含まれる各特徴量ベクトルとの距離をそれぞれ算出し、
前記算出した距離のうち、付与されたラベルが同じ特徴量ベクトル同士の距離については、符号を反転させて前記算出した各距離について重み付けを考慮した算術平均を算出し、
前記算出した一般化平均が最小となる特徴量ベクトルを基準ベクトルとすることを特徴とする請求項1〜3のいずれか1つに記載の学習方法。 - 前記学習用の特徴量ベクトルのうち、前記サンプル組に含まれない各特徴量ベクトルについて、前記サンプル組に含まれる各特徴量ベクトルとの距離をそれぞれ算出し、
前記算出した距離のうち、付与されたラベルが同じ特徴量ベクトル同士の距離については符号を反転させて、前記算出した各距離について重み付けを考慮した算術平均を算出し、
前記算出した一般化平均の値が所定のパーセンタイルとなる特徴量ベクトルを基準ベクトルとすることを特徴とする請求項1〜3のいずれか1つに記載の学習方法。 - 学習用の特徴量ベクトルから、1つ以上の特徴量ベクトルをサンプル組としてランダムに選択する第1の選択部と、
前記学習用の特徴量ベクトルのうち、前記第1の選択部が選択したサンプル組に含まれる各特徴量ベクトルとは異なるラベルが付与された特徴量ベクトルから、前記サンプル組に含まれる各特徴量ベクトルとの距離の一般化平均に基づいて、いずれかの特徴量ベクトルを基準ベクトルとして選択する第2の選択部と、
前記学習用の特徴量ベクトルのうち、前記第2の選択部が選択した基準ベクトルとは異なるラベルが付与された特徴量ベクトルと、前記第2の選択部が選択した基準ベクトルとを組み合わせた特徴量ベクトルのペアを用いて特徴量ベクトル空間を分割する超平面を学習する学習部と
を有することを特徴とする情報処理装置。 - 特徴量ベクトル空間を分割する超平面を学習するコンピュータに
学習用の特徴量ベクトルから1つ以上の特徴量ベクトルをサンプル組としてランダムに選択し、
前記学習用の特徴量ベクトルのうち、前記サンプル組に含まれる各特徴量ベクトルとは異なるラベルが付与された特徴量ベクトルから、前記サンプル組に含まれる各特徴量ベクトルとの距離の一般化平均に基づいて、いずれかの特徴量ベクトルを基準ベクトルとして選択し、
前記学習用の特徴量ベクトルのうち、前記基準ベクトルとは異なるラベルが付与された特徴量ベクトルと、前記選択した基準ベクトルとを組み合わせた特徴量ベクトルのペアを用いて前記超平面を学習する
処理を実行させることを特徴とする学習プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2013/052408 WO2014118978A1 (ja) | 2013-02-01 | 2013-02-01 | 学習方法、情報処理装置および学習プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6004015B2 true JP6004015B2 (ja) | 2016-10-05 |
JPWO2014118978A1 JPWO2014118978A1 (ja) | 2017-01-26 |
Family
ID=51261720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014559465A Expired - Fee Related JP6004015B2 (ja) | 2013-02-01 | 2013-02-01 | 学習方法、情報処理装置および学習プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10635991B2 (ja) |
EP (1) | EP2953062A4 (ja) |
JP (1) | JP6004015B2 (ja) |
WO (1) | WO2014118978A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2015336942B2 (en) * | 2014-10-24 | 2018-02-01 | Commonwealth Scientific And Industrial Research Organisation | Learning with transformed data |
JP6090286B2 (ja) * | 2014-10-31 | 2017-03-08 | カシオ計算機株式会社 | 機械学習装置、機械学習方法、分類装置、分類方法、プログラム |
JP6235082B1 (ja) * | 2016-07-13 | 2017-11-22 | ヤフー株式会社 | データ分類装置、データ分類方法、およびプログラム |
CN107622408B (zh) * | 2016-07-15 | 2021-10-01 | 北京易车互联信息技术有限公司 | 购车线索交易转化的预估方法和预估装置 |
JP6680707B2 (ja) * | 2017-02-22 | 2020-04-15 | ヤフー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
KR102400689B1 (ko) * | 2019-01-08 | 2022-05-20 | 미쓰비시덴키 가부시키가이샤 | 의미 관계 학습 장치, 의미 관계 학습 방법, 및 의미 관계 학습 프로그램 |
US11615303B2 (en) | 2019-02-25 | 2023-03-28 | Samsung Electronics Co., Ltd. | Electronic device for classifying classes, electronic device for providing classification model for classifying classes, and method for operating the same |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011221689A (ja) * | 2010-04-07 | 2011-11-04 | Sony Corp | 学習装置、学習方法、認識装置、認識方法、およびプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6842751B1 (en) * | 2000-07-31 | 2005-01-11 | International Business Machines Corporation | Methods and apparatus for selecting a data classification model using meta-learning |
US20020147754A1 (en) * | 2001-01-31 | 2002-10-10 | Dempsey Derek M. | Vector difference measures for data classifiers |
US7076473B2 (en) * | 2002-04-19 | 2006-07-11 | Mitsubishi Electric Research Labs, Inc. | Classification with boosted dyadic kernel discriminants |
JP2006252333A (ja) | 2005-03-11 | 2006-09-21 | Nara Institute Of Science & Technology | データ処理方法、データ処理装置およびそのプログラム |
JP4565106B2 (ja) | 2005-06-23 | 2010-10-20 | 独立行政法人情報通信研究機構 | 二項関係抽出装置,二項関係抽出処理を用いた情報検索装置,二項関係抽出処理方法,二項関係抽出処理を用いた情報検索処理方法,二項関係抽出処理プログラム,および二項関係抽出処理を用いた情報検索処理プログラム |
US8019763B2 (en) * | 2006-02-27 | 2011-09-13 | Microsoft Corporation | Propagating relevance from labeled documents to unlabeled documents |
JP2010061176A (ja) | 2006-11-22 | 2010-03-18 | Nec Corp | テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム |
US8750628B2 (en) * | 2010-01-14 | 2014-06-10 | Nec Corporation | Pattern recognizer, pattern recognition method and program for pattern recognition |
-
2013
- 2013-02-01 JP JP2014559465A patent/JP6004015B2/ja not_active Expired - Fee Related
- 2013-02-01 WO PCT/JP2013/052408 patent/WO2014118978A1/ja active Application Filing
- 2013-02-01 EP EP13873918.0A patent/EP2953062A4/en not_active Ceased
-
2015
- 2015-07-27 US US14/809,809 patent/US10635991B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011221689A (ja) * | 2010-04-07 | 2011-11-04 | Sony Corp | 学習装置、学習方法、認識装置、認識方法、およびプログラム |
Non-Patent Citations (3)
Title |
---|
JPN6013011641; 此島 真喜子: '特徴選択に基づくLocality-Sensitive Hashingによる高次元データの高速類似検索方法' 電子情報通信学会技術研究報告 Vol.112, No.83, 20120612, p.41-47, 一般社団法人電子情報通信学会 * |
JPN6013011644; Makiko Konoshima, et al.: 'Locality-Sensitive Hashing with Margin Based Feature Selection' [online] , 20121011, p.1-9 * |
JPN7013000938; Ran Gilad-Bachrach, et al.: 'Margin Based Feature Selection - Theory and Algorithms' ICML '04 Proceedings of the twenty-first international conference on Machine learning , 2004 * |
Also Published As
Publication number | Publication date |
---|---|
US10635991B2 (en) | 2020-04-28 |
US20150332172A1 (en) | 2015-11-19 |
JPWO2014118978A1 (ja) | 2017-01-26 |
EP2953062A1 (en) | 2015-12-09 |
WO2014118978A1 (ja) | 2014-08-07 |
EP2953062A4 (en) | 2017-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6004016B2 (ja) | 情報変換方法、情報変換装置および情報変換プログラム | |
JP6004015B2 (ja) | 学習方法、情報処理装置および学習プログラム | |
WO2020182019A1 (zh) | 图像检索方法、装置、设备及计算机可读存储介质 | |
García-Pedrajas et al. | A proposal for local $ k $ values for $ k $-nearest neighbor rule | |
TWI677852B (zh) | 一種圖像特徵獲取方法及裝置、電子設備、電腦可讀存儲介質 | |
Huang et al. | Object-location-aware hashing for multi-label image retrieval via automatic mask learning | |
JP5862413B2 (ja) | 情報変換規則生成プログラム、情報変換規則生成装置および情報変換規則生成方法 | |
JP2013206187A (ja) | 情報変換装置、情報検索装置、情報変換方法、情報検索方法、情報変換プログラム、情報検索プログラム | |
CN113850281B (zh) | 一种基于meanshift优化的数据处理方法和装置 | |
JP5518757B2 (ja) | 文書分類学習制御装置、文書分類装置およびコンピュータプログラム | |
US9792561B2 (en) | Learning method, information conversion device, and recording medium | |
US10121085B2 (en) | Information processing apparatus and method of searching for similar data | |
US20230267175A1 (en) | Systems and methods for sample efficient training of machine learning models | |
JP5633424B2 (ja) | プログラム及び情報処理システム | |
JP6601965B2 (ja) | 探索木を用いて量子化するプログラム、装置及び方法 | |
CN110019096A (zh) | 索引文件的生成方法及装置 | |
JP5824429B2 (ja) | スパムアカウントスコア算出装置、スパムアカウントスコア算出方法、及びプログラム | |
JP2009070321A (ja) | 文書分類装置、及び文書分類プログラム | |
JP2014074964A (ja) | 認証プログラム、認証方法及び認証装置 | |
JP6973733B2 (ja) | 特許情報処理装置、特許情報処理方法およびプログラム | |
Hidayati et al. | The Influence of User Profile and Post Metadata on the Popularity of Image-Based Social Media: A Data Perspective | |
Biçer et al. | Enhancing Fake News Detection through Clustering with Convolutional Neural Networks | |
Chen et al. | Learning visual object and word association | |
Chatzilari et al. | How many more images do we need? Performance prediction of bootstrapping for image classification | |
Wang et al. | Guest Editorial: Big Media Data: Understanding, Search, and Mining. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6004015 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |