JP2020053073A - 学習方法、学習システム、および学習プログラム - Google Patents
学習方法、学習システム、および学習プログラム Download PDFInfo
- Publication number
- JP2020053073A JP2020053073A JP2019211981A JP2019211981A JP2020053073A JP 2020053073 A JP2020053073 A JP 2020053073A JP 2019211981 A JP2019211981 A JP 2019211981A JP 2019211981 A JP2019211981 A JP 2019211981A JP 2020053073 A JP2020053073 A JP 2020053073A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- class
- weight
- learning sample
- weak classifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000013016 learning Effects 0.000 title claims abstract description 248
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000005457 optimization Methods 0.000 claims abstract description 55
- 238000004364 calculation method Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000010606 normalization Methods 0.000 description 9
- 230000010365 information processing Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7747—Organisation of the process, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
<第一の実施形態>
本発明の第一の実施形態の識別辞書学習システムは、画像検出の学習に用いる特定の物体、例えば顔が撮影(記録)されている画像データ(以下「学習サンプル」と記載)の分類において、図1に示すような、階層的な多クラス構成を用いる。図1中の○、▲、▼、◆等の各点は、学習サンプル(以下、単に「サンプル」とも記載する)を意味しており、これをある2つのクラスを表す特徴平面としてプロットした概念図である。サンプルは、上記の2つのクラスである、ポジティブクラスとネガティブクラスに分類される。ポジティブのクラスが複数のサブクラス(例えば◆印で示される正面顔クラスを表すPos(positiveの略、以下同様)1クラス、▼印で示される横顔クラスを表すPos2クラス、▲印で示される斜め顔クラスを表すPos3クラス)によって構成される。以下これらをポジティブ系クラスと記述する。○印で示されるネガティブクラスは特定の物体(顔)が映っていない画像データのクラスであり、1クラスのみである。尚、図1のポジティブ系クラスとネガティブクラスの境界は、物体と非物体の境界を概念的に示すものである。
次に、以下の説明の便宜上、本実施の形態により作成された識別辞書を用いた多クラス識別処理の枠組みについて先に説明する。上記識別辞書には学習された多数の弱識別器に関する情報が記憶されており、上記弱識別器を1つずつ順に実行することで、全体的な識別結果が得られる。
このように弱識別器を組み合わせた処理は、機械学習におけるパターン認識分野では強識別器と呼ばれ、この枠組みはBoostingと呼ばれる手法(技術)の一変種である。上記弱識別器それぞれは、1つまたは複数のポジティブ系クラスに対応しており、弱識別処理は、対応しているポジティブ系クラスのスコアと、対応していないポジティブ系クラスのスコアとの2種類を出力する。
つまり、1つの弱識別器が計算するスコアは、上記弱識別器に対応しているポジティブ系クラスについては同一の値であり、残りのポジティブ系クラスについては別の同一の値である。本実施形態に係る識別辞書学習システムは、このような弱識別器を複数処理し、ポジティブ系クラス1つずつにスコアの累積和を計算し、計算した累積和を強識別器の出力(強識別スコア)とする。つまり、強識別スコアは、ポジティブ系クラス毎に求まるので、それらの最大値をとるポジティブ系クラスに分類することができる。
以下では、個々の弱識別器に対応しているポジティブ系クラスを簡潔に表現するために、1つのポジティブ系クラスまたは複数のポジティブ系クラスの組み合わせからなる集合を、単に組み合わせSnと表記する(組み合わせ数:n=1,...,組み合わせ候補数)。
(識別辞書学習システム)
本発明の第1の実施形態の識別辞書学習システム100は、図2に示すようにデータ処理部110、重み記憶部121、識別辞書記憶部122およびラベル記憶部123を備える。データ処理部110は、優先度設定部111、重み正規化部112、弱識別器候補学習部113、最適化指標計算部114、共有クラス弱識別器選択部115、重み更新部116、優先度再設定部117を備える。
各部は、機能ブロックを示しており、各部は図10に示されるCPU(Central Processing Unit)3001によって適宜演算処理される。詳細は後述する。
本実施形態において、特徴量とは、学習サンプルの特徴量となりうるあらゆる要素を指し、例えば色、画素値、勾配(画素値の1次微分)、画素値の2次微分等である。特徴量を特定する情報とは、ある弱識別器に使われる特徴量としてどの特徴量が選択されたかを特定する情報である。これは例えば、特徴量の各々に通し番号等を付した場合、この通し番号でよいし、特徴量を抽出するためのパラメータでもよい。参照表とは、弱識別器の出力値を学習サンプルの特徴量の値を基に計算するためのルックアップテーブルを構成する情報(データ)であり、詳細は後述する。
弱識別器に対応するポジティブクラスとは、ポジティブ系クラスの組み合わせSnのうち、弱識別器がどの1つの組み合わせSnに対応するかを特定する情報である。本実施形態による弱識別器は、Snに含まれるクラスか否かに応じて計算式が異なり、どちら(即ち、当該クラスか否か)に基づいて計算すべきかを特定する必要があるため、この情報が必要である。1つのSnを保持するためには、例えばON/OFFフラグがポジティブ系クラスの個数分あればよい。
例えば、ユーザが、ポジティブ系クラスに対するネガティブクラスの優先度の比率を2と設定する。この設定によると、ある一つの学習サンプルによるネガティブクラスの優先度はDneg={1/学習データ総数}×2となり、ポジティブ系クラスの優先度はDpos={1/学習データ総数}となる。この結果、図3に示すように、ネガティブクラスの重みはDneg=0.02、ポジティブ系クラスの重みはDpos=0.01となる。但し、「×」は積算を表し、「/」は除算を表す。
図4に示す例において、個々の学習サンプルが属するクラスに対応するラベルは+1であり、その他は−1である。正規化の際には、具体的には、{ラベルz=+1が付与されたサンプル重み}/{ラベルz=+1が付与された全てのサンプル重みの総和}と、{ラベルz=−1が付与されたサンプル重み}/{ラベルz=−1が付与された全てのサンプル重みの総和}を算出し、各々算出結果に置き換えればよい。
例えば、個々の学習サンプルのラベルが図4のように割り当てられている場合に、図3の重み表を正規化すると、図5のようになる。弱識別器候補学習部113は、ある1つの特徴量と、あるポジティブ系クラスの1つの組み合わせSnの場合について、弱識別器を学習(作成)し、これらを弱識別器の候補とする。この処理は、あらゆる特徴量とあらゆるポジティブ系クラスの組み合わせSnに対して繰り返し実行される。但し、実装に際しては、現実的な処理時間で繰り返し処理が終了するように、組み合わせSnの数量を制限すればよい。
弱識別器の学習とは、ある学習サンプルの特徴量の値が入力された場合に、その場合の弱識別器の出力値を計算するためのパラメータを求めておくことである。弱識別器は、ポジティブ系クラス毎に値が出力されるものであれば任意のモジュール(処理、機能)で構わないが、一例として、弱識別器による計算式に以下の式2を採用する場合について説明する。
弱識別器候補学習部113を繰り返し実行することで、あらゆる特徴量、あらゆるポジティブ系クラスの組み合わせについて、全ての特徴値の区間(j=1,...,Nj)の式(1)の値hj cが計算される。尚、この「j、c」とhj cを関連付けた情報が上記参照表の候補であり、式2の場合、式の上段に相当する表(j個の数値)と式の下段に相当する表(c個の数値)の2つで構成される。尚、後述の最適化指標もあらゆる特徴量とあらゆるSnについて計算される。後述する共有クラス弱識別器選択部115は、上記最適化指標を最小にする1つの特徴量と1つのSnを選択する。
一方、Snに含まれないポジティブ系クラスのスコアについては、例えば式2の下段の参照表を用いれば、上記サンプルの弱識別結果として1つの値hj cが計算される。このように識別処理には、1つの弱識別の結果として各ポジティブ系クラスのスコアが求まる。この時、各スコアは式2の上段の値と下段の値の2種類しかない。
一方、Snに含まれないポジティブ系クラスの場合には、ラベルが+1である全ての学習サンプルの重み付き個数と、ラベルが−1である全ての学習サンプルの重み付き個数とを計算し、さらにこれらの比の対数を計算することで出力値が計算される。この値は特徴量の区間には依存しない。
上記ヒストグラムについて、図6Aおよび図6Bに例示して説明する。図6Aはラベルが+1である重み付きヒストグラムであり、図6Bはラベルが−1である重み付きヒストグラムである。通常のヒストグラムは、サンプル1つにつき1を足し込んで計算されるが、重み付きヒストグラムとは、サンプル1つにつきその重みの値を足し込んで計算される。このため、図6Aおよび図6Bのヒストグラムの縦軸は重み付きの出現頻度を意味し、横軸は特徴量の値を示す。例えば特徴量が0から255の整数値である場合、ヒストグラムのビン幅が例えば5であると、各ビンNjは0〜4、5〜9、...、245〜249、250以上、のように設定される。ビン添字番号jは左から昇順でN1、N2、N3、...、Njと付す。
(識別辞書学習システムの動作)
次に、識別辞書学習システム100の動作について、図7のフロー図を参照して説明する。以下の説明では、ポジティブ系クラスの数をNc、特徴量の数をNfとする。
(a)ステップS111において、優先度設定部111は、ネガティブクラスとポジティブ系クラスとの分類の優先度を、ユーザ指定の値に設定する。優先度設定部111は、選択または入力された優先度の値を取得し、この優先度を基に、重み表の重み値を例えば、図3に示すよう設定する。
(b)ステップS112において、重み正規化部112は、ラベルzの値に応じて、学習サンプルの重みを正規化する。ラベルzの値は、ラベル記憶部123に格納される。この処理では、ラベルz=+1が付与されたサンプル重みの総和と、ラベルz=−1が付与されたサンプルの重みの総和とが等しくなるように正規化する。例えば、正規化された重み表は、図5に示すようになる。
(c)次にステップS113において、弱識別器候補学習部113は、ある特徴量およびあるポジティブ系クラスの組み合わせSnについての弱識別器候補の学習処理を行う。弱識別器候補学習部113は、例えば、式2または式3に基づいて、弱識別器の候補それぞれの上記参照表を作成する。
(d)ステップS114において、最適化指標計算部114は、ステップS113にて学習された複数の弱識別器候補の最適化指標値Lを計算する。
上述したステップS113〜ステップS114の処理は、特徴量の数Nf回数分繰り返し行われ、さらにポジティブ系クラスの組み合わせSnの数だけ繰り返し行われる。この繰り返し処理により、あらゆる特徴量と、あらゆるポジティブ系クラスの組み合わせSnと、に対応するそれぞれの弱識別器候補の最適化指標値Lが計算される。尚、実装においては、現実的な処理時間内で繰り返し処理が終了するように、特徴量および組み合わせSnの数量を制限すればよい。
(e)ステップS115において、共有クラス弱識別器選択部115は、弱識別器候補の中から、ステップS114の処理で求められた最適化指標値Lが最も小さくなる、特徴量とポジティブ系クラスの組み合わせとを探す。共有クラス弱識別器選択部115は、検索された組み合わせに対応する弱識別器を採用する。これは言い換えれば、ポジティブ系クラスの組み合わせSnに属するクラス間では、弱識別器(と特徴量)が共有されていると解釈することもできる。
(f)ステップS116において、重み更新部116は、図5の重み表の各値を、式8を用いて更新する。
(g)ステップS117において、優先度再設定部117は、ネガティブクラスとポジティブ系クラスとの分類の優先度を、所定の式を用いて自動的に再設定する。
(h)最後にステップS118において、学習終了判定部118は、学習処理の終了を判定する。例えば、所定の学習回数を超えた場合や、前回の学習処理と今回の学習処理における最適化指標値Lの相対値の減少量が所定の閾値を下回った場合に、学習終了判定部118は、学習処理を終了すると判定する。一方、学習処理を終了しないと判定した場合、上述した一連の処理はステップS111に戻る。学習終了判定部118が、処理を終了すると判定した場合、本学習処理は完了し、この結果、識別辞書学習システム100の動作中に得られた弱識別器のパラメータが全て記録された識別辞書記憶部122が完成する。
<第二の実施形態>
第二の実施形態の識別辞書学習システム200は、図9に示すように、設定部211、識別器学習部213、選択部215および重み更新部216を備える。
また、本発明の交通費申請サーバ20にて行われる方法は、コンピュータに実行させるためのプログラムに適用しても良い。また、そのプログラムを記憶媒体に格納することも可能であり、ネットワークを介して外部に提供することも可能である。
(情報処理装置)
上述した実施形態に係る識別辞書学習システム100、200は、情報処理装置(コンピュータ)を利用しても実現することができる。この場合において、識別辞書学習システム100、200の各部のうち、以下の各構成は、ソフトウェアプログラムの機能(処理)単位(ソフトウェアモジュール)と捉えることができる。
・図2に示した、データ処理部110内の各部(優先度設定部111、重み正規化部112、弱識別器候補学習部113、最適化指標計算部114、共有クラス弱識別器選択部115、重み更新部116および優先度再設定部117)、および、
・図9に示した設定部211、識別器学習部213、選択部215および重み更新部216。
これらの機能(処理)を実現可能なハードウェア環境の一例を、図10を参照して説明する。但し、これらの図面に示した各部の区分けは、説明の便宜上の構成であり、実装に際しては、様々な構成が想定され得る。
図10は、本発明の実施形態に係る識別辞書学習システム100、200を実行可能な情報処理装置1000の構成を例示的に説明する図である。
図10に示した情報処理装置1000は、以下の構成がバス(通信線)3008を介して接続された一般的なコンピュータである。
・CPU3001、
・ROM(Read_Only_Memory)3002、
・RAM(Random_Access_Memory)3003、
・記憶装置3004(図2に示す重み記憶部121、識別辞書記憶部122およびラベル記憶部123を備える)、
・入出力ユーザインタフェース(Interface:以降、「I/F」と称する)3005、
・外部装置との通信I/F3006、
・ドライブ装置3009。
ドライブ装置3009は、記録媒体3010から、情報処理装置1000を実行するためのソフトウェア(プログラム)を読み出す。
そして、上述したハードウェア環境において、上述した実施形態は、以下の手順によって達成される。即ち、図10に示した情報処理装置1000に対して、その実施形態の説明において参照したブロック構成図(上述した図2のデータ処理部110および図9の各部)、或いはフローチャート(図7)の機能を実現可能なコンピュータ・プログラムがネットワーク3000またはドライブ装置3009から供給される。その後、そのコンピュータ・プログラムは、当該ハードウェアのCPU3001に読み出されて解釈され、CPU3001において実行される。また、当該装置1000内に供給されたコンピュータ・プログラムは、読み書き可能な揮発性の記憶デバイス(RAM3003)または記憶装置3004等の不揮発性の記憶デバイスに格納すればよい。
第1のクラスと、サブクラスを含む第2のクラスから成る分類の優先度を受け付け、当該優先度を設定する設定手段と、
前記サブクラスの組み合わせ毎に、前記優先度に基づいて複数の識別器を学習する識別器学習手段と、
前記識別器について所定の最適化指標が最も良好となる前記サブクラスの組み合わせを選択する選択手段と、
前記選択された組み合わせで学習された識別器による識別精度に基づいて重みを更新する重み更新手段
を備えることを特徴とする識別辞書学習システム。
前記第1のクラスは、ネガティブクラスとポジティブ系クラスを有し、
前記設定手段は、ネガティブクラスとポジティブ系クラスとの分類の優先度を高く設定するよう促すことを特徴とする付記1に記載の識別辞書学習システム。
前記第1のクラスがポジティブ系クラスの場合、前記第2のクラスには複数のポジティブクラスを備え、
前記複数のポジティブクラス間の分類の優先度が徐々に高くなるよう前記優先度を再設定する再設定手段を更に備えることを特徴とする付記1又は2に記載の識別辞書学習システム。
前記識別器学習手段は複数の弱識別器を備え、
前記弱識別器は、学習サンプルの特徴量の値が所定の範囲内にある、1つのポジティブ系クラスの学習サンプルの重みの総和を、前記弱識別器を共有するクラス全体に亘りさらに総和をとった第1の値と、
前記特徴量の値が所定の範囲内にある前記1つのポジティブ系クラス以外のポジティブ系クラスおよびネガティブクラスから成る学習サンプルの重みの総和を、前記弱識別器を共有するクラス全体に亘りさらに総和をとった第2の値と、
の比率に基づいて算出されることを特徴とする付記1乃至3のいずれか1項に記載の識別辞書学習システム。
前記弱識別器の前記最適化指標を計算する最適化指標計算手段を更に備え、
前記最適化指標は、前記第1の値と前記第2の値の積に基づいて算出されることを特徴とする付記1乃至4のいずれか1項に記載の識別辞書学習システム。
識別辞書を作成する識別辞書学習システムに用いられる識別辞書学習方法であって、
第1のクラスと、サブクラスを含む第2のクラスから成る分類の優先度を受け付け、当該優先度を設定する工程と、
前記サブクラスの組み合わせ毎に、前記優先度に基づいて複数の識別器を学習する工程と、
前記識別器について所定の最適化指標が最も良好となる前記サブクラスの組み合わせを選択する工程と、
前記選択された組み合わせで学習された識別器による識別精度に基づいて重みを更新する工程を有することを特徴とする識別辞書学習方法。
前記第1のクラスは、ネガティブクラスとポジティブ系クラスを有し、
前記設定する工程は、ネガティブクラスとポジティブ系クラスとの分類の優先度を高く設定するよう促すことを特徴とする付記6に記載の識別辞書学習方法。
前記第1のクラスがポジティブ系クラスの場合、前記第2のクラスには複数のポジティブクラスを備え、
前記複数のポジティブクラス間の分類の優先度が徐々に高くなるよう前記優先度を再設定する工程を更に有することを特徴とする付記6又は7に記載の識別辞書学習方法。
前記学習する工程は複数の弱識別器を備え、
前記弱識別器の出力は、学習サンプルの特徴量の値が所定の範囲内にある、1つのポジティブ系クラスの学習サンプルの重みの総和を、前記弱識別器を共有するクラス全体に亘りさらに総和をとった第1の値と、
前記特徴量の値が所定の範囲内にある前記1つのポジティブ系クラス以外のポジティブ系クラスおよびネガティブクラスから成る学習サンプルの重みの総和を、前記弱識別器を共有するクラス全体に亘りさらに総和をとった第2の値と、
の比率に基づいて算出されることを特徴とする付記6乃至8のいずれか1項に記載の識別辞書学習方法。
前記弱識別器の前記最適化指標を計算する工程を更に備え、
前記最適化指標は、前記第1の値と前記第2の値の積に基づいて算出されることを特徴とする付記6乃至9のいずれか1項に記載の識別辞書学習方法。
識別辞書を作成する識別辞書学習システムに用いられる識別辞書学習プログラムであって、
第1のクラスと、サブクラスを含む第2のクラスから成る分類の優先度を受け付け、当該優先度を設定する設定手段と、
前記サブクラスの組み合わせ毎に、前記優先度に基づいて複数の識別器を学習する識別器学習手段と、
前記識別器について所定の最適化指標が最も良好となる前記サブクラスの組み合わせを選択する選択手段と、
前記選択された組み合わせで学習された識別器による識別精度に基づいて重みを更新する重み更新手段
とを有し、前記システムの有する前記各手段をコンピュータに機能させるための識別辞書学習プログラム。
前記第1のクラスは、ネガティブクラスとポジティブ系クラスを有し、
前記設定手段は、ネガティブクラスとポジティブ系クラスとの分類の優先度を高く設定するよう促す
ことを更に前記コンピュータに機能させるための付記11に記載の識別辞書学習プログラム。
前記第1のクラスがポジティブ系クラスの場合、前記第2のクラスには複数のポジティブクラスを備え、
前記複数のポジティブクラス間の分類の優先度が徐々に高くなるよう前記優先度を再設定する再設定手段
を更に前記コンピュータに機能させるための付記11又は12に記載の識別辞書学習プログラム。
前記識別器学習手段は複数の弱識別器を備え、
前記弱識別器の出力は、学習サンプルの特徴量の値が所定の範囲内にある、1つのポジティブ系クラスの学習サンプルの重みの総和を、前記弱識別器を共有するクラス全体に亘りさらに総和をとった第1の値と、
前記特徴量の値が所定の範囲内にある前記1つのポジティブ系クラス以外のポジティブ系クラスおよびネガティブクラスから成る学習サンプルの重みの総和を、前記弱識別器を共有するクラス全体に亘りさらに総和をとった第2の値と、の比率に基づいて算出される
ことを更に前記コンピュータに機能させるための付記11乃至13のいずれか1項に記載の識別辞書学習プログラム。
前記弱識別器の前記最適化指標を計算する最適化指標計算手段を更に備え、
前記最適化指標は、前記第1の値と前記第2の値の積に基づいて算出されること
を更に前記コンピュータに機能させるための付記11乃至14のいずれか1項に記載の識別辞書学習プログラム。
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
この出願は2014年3月28日に出願された日本出願特願2014−067597を基礎とする優先権を主張し、その開示の全てをここに取り込む。
110 データ処理部
111 優先度設定部
112 重み正規化部
113 弱識別器候補学習部
114 最適化指標計算部
115 共有クラス弱識別器選択部
116 重み更新部
117 優先度再設定部
118 学習終了判定部
121 重み記憶部
122 識別辞書記憶部
123 ラベル記憶部
300 物体検出システム
310 データ処理部
311 探索部
312 特徴量抽出部
313 弱識別部
314 強識別部
Claims (6)
- ネガティブクラスに属する学習サンプルに対し、複数のサブクラスを含むポジティブ系クラスに属する学習サンプルよりも、相対的に高い優先度を重みとして設定し、
前記学習サンプルが属するクラスの識別子であるラベルを用いて、前記学習サンプルに設定した前記重みを正規化し、
正規化した前記重みが大きい学習サンプルほど、弱識別器候補によるクラスの識別精度が高くなるように、前記弱識別器候補のパラメータを学習し、
前記学習サンプルの特徴量を前記弱識別器候補に入力したときの前記弱識別器候補からの出力値から、前記学習サンプルの特徴量ごとの最適化指標を計算し、計算した前記最適化指標に基づいて、前記弱識別器候補の中から、1つまたは2つ以上の前記サブクラスごとに一つの弱識別器を選択し、
選択した前記弱識別器の出力値を用いて、前記ポジティブ系クラスに属する学習サンプルに設定した前記重みを増加させるように、前記ポジティブ系クラスのサブクラスごとに、前記学習サンプルの前記重みを更新し、
前記学習サンプルに設定した前記重みを正規化すること、正規化した前記重みを用いて、前記弱識別器候補のパラメータを学習すること、前記最適化指標に基づいて、前記弱識別器候補の中から、一つの弱識別器を確定すること、および、前記学習サンプルの前記重みを更新することを含む学習処理を、所定の条件を満たすまで繰り返す、
学習方法。 - 前記所定の条件は、前記学習処理を所定の学習回数繰り返すことである
請求項1に記載の学習方法。 - 前回の学習処理と今回の学習処理における前記最適化指標の差分の減少量が所定の閾値を下回ることである
請求項1に記載の学習方法。 - 前記学習サンプルの特徴量の値の出現頻度を、前記ラベルによって分類した前記学習サンプルの前記重み付きでカウントし、
前記ラベルによって分類した前記学習サンプルの間における前記重み付きの出現頻度の比の対数を計算することによって、前記弱識別器候補からの前記出力値が得られる
請求項1に記載の学習方法。 - ネガティブクラスに属する学習サンプルに対し、複数のサブクラスを含むポジティブ系クラスに属する学習サンプルよりも、相対的に高い優先度を重みとして設定する優先度設定手段と、
前記学習サンプルが属するクラスの識別子であるラベルを用いて、前記学習サンプルに設定した前記重みを正規化する重み正規化手段と、
正規化した前記重みが大きい学習サンプルほど、弱識別器候補によるクラスの識別精度が高くなるように、前記弱識別器候補のパラメータを学習する弱識別器候補学習手段と、
前記学習サンプルの特徴量を前記弱識別器候補に入力したときの前記弱識別器候補からの出力値から、前記学習サンプルの特徴量ごとの最適化指標を計算し、計算した前記最適化指標に基づいて、前記弱識別器候補の中から、1つまたは2つ以上の前記サブクラスごとに一つの弱識別器を選択する共有クラス弱識別器選択部と、
選択した前記弱識別器の出力値を用いて、前記ポジティブ系クラスに属する学習サンプルに設定した前記重みを増加させるように、前記ポジティブ系クラスのサブクラスごとに、前記学習サンプルの前記重みを更新する重み更新手段と、
前記学習サンプルに設定した前記重みを正規化すること、正規化した前記重みを用いて、前記弱識別器候補のパラメータを学習すること、前記最適化指標に基づいて、前記弱識別器候補の中から、一つの弱識別器を確定すること、および、前記学習サンプルの前記重みを更新することを含む学習処理を終了するかどうか、所定の条件に基づいて判定する学習終了判定手段と、
を備えた学習システム。 - ネガティブクラスに属する学習サンプルに対し、複数のサブクラスを含むポジティブ系クラスに属する学習サンプルよりも、相対的に高い優先度を重みとして設定することと、
前記学習サンプルが属するクラスの識別子であるラベルを用いて、前記学習サンプルに設定した前記重みを正規化することと、
正規化した前記重みが大きい学習サンプルほど、弱識別器候補によるクラスの識別精度が高くなるように、前記弱識別器候補のパラメータを学習することと、
前記学習サンプルの特徴量を前記弱識別器候補に入力したときの前記弱識別器候補からの出力値から、前記学習サンプルの特徴量ごとの最適化指標を計算し、計算した前記最適化指標に基づいて、前記弱識別器候補の中から、1つまたは2つ以上の前記サブクラスごとに一つの弱識別器を選択することと、
選択した前記弱識別器の出力値を用いて、前記ポジティブ系クラスに属する学習サンプルに設定した前記重みを増加させるように、前記ポジティブ系クラスのサブクラスごとに、前記学習サンプルの前記重みを更新することと、
前記学習サンプルに設定した前記重みを正規化すること、正規化した前記重みを用いて、前記弱識別器候補のパラメータを学習すること、前記最適化指標に基づいて、前記弱識別器候補の中から、一つの弱識別器を確定すること、および、前記学習サンプルの前記重みを更新することを含む学習処理を、所定の条件を満たすまで繰り返することと、
をコンピュータに実行させるための学習プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014067597 | 2014-03-28 | ||
JP2014067597 | 2014-03-28 | ||
JP2016510017A JPWO2015146113A1 (ja) | 2014-03-28 | 2015-03-20 | 識別辞書学習システム、識別辞書学習方法および識別辞書学習プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016510017A Division JPWO2015146113A1 (ja) | 2014-03-28 | 2015-03-20 | 識別辞書学習システム、識別辞書学習方法および識別辞書学習プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020053073A true JP2020053073A (ja) | 2020-04-02 |
JP6897749B2 JP6897749B2 (ja) | 2021-07-07 |
Family
ID=54194663
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016510017A Pending JPWO2015146113A1 (ja) | 2014-03-28 | 2015-03-20 | 識別辞書学習システム、識別辞書学習方法および識別辞書学習プログラム |
JP2019211981A Active JP6897749B2 (ja) | 2014-03-28 | 2019-11-25 | 学習方法、学習システム、および学習プログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016510017A Pending JPWO2015146113A1 (ja) | 2014-03-28 | 2015-03-20 | 識別辞書学習システム、識別辞書学習方法および識別辞書学習プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10380456B2 (ja) |
JP (2) | JPWO2015146113A1 (ja) |
WO (1) | WO2015146113A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022185529A1 (ja) * | 2021-03-05 | 2022-09-09 | 日本電気株式会社 | 学習装置、学習方法、推論装置、推論方法、及び、記録媒体 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11068721B2 (en) * | 2017-03-30 | 2021-07-20 | The Boeing Company | Automated object tracking in a video feed using machine learning |
WO2019045091A1 (ja) * | 2017-09-04 | 2019-03-07 | 日本電気株式会社 | 情報処理装置、計数システム、計数方法およびプログラム記憶媒体 |
JP2019144789A (ja) * | 2018-02-20 | 2019-08-29 | 株式会社アスタワン | 機械学習装置、判定装置、機械学習方法及び判定方法 |
JP7035827B2 (ja) * | 2018-06-08 | 2022-03-15 | 株式会社リコー | 学習識別装置および学習識別方法 |
CN112541475B (zh) * | 2020-12-24 | 2024-01-19 | 北京百度网讯科技有限公司 | 感知数据检测方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005100122A (ja) * | 2003-09-25 | 2005-04-14 | Fuji Photo Film Co Ltd | 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置 |
JP2008217589A (ja) * | 2007-03-06 | 2008-09-18 | Toshiba Corp | 学習装置及びパターン認識装置 |
JP2008250908A (ja) * | 2007-03-30 | 2008-10-16 | Toshiba Corp | 映像判別方法および映像判別装置 |
JP2011181016A (ja) * | 2010-03-04 | 2011-09-15 | Fujifilm Corp | 判別器生成装置および方法並びにプログラム |
JP2011198181A (ja) * | 2010-03-23 | 2011-10-06 | Fujifilm Corp | 判別器生成装置および方法並びにプログラム |
JP2012010856A (ja) * | 2010-06-30 | 2012-01-19 | Advanced Telecommunication Research Institute International | 状態認識装置、傾聴対話持続システム、状態認識プログラムおよび状態認識方法 |
JP2013033331A (ja) * | 2011-08-01 | 2013-02-14 | Universal Entertainment Corp | 識別装置及び識別プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050209785A1 (en) * | 2004-02-27 | 2005-09-22 | Wells Martin D | Systems and methods for disease diagnosis |
US20050208519A1 (en) | 2004-03-12 | 2005-09-22 | Genenews Inc. | Biomarkers for diagnosing schizophrenia and bipolar disorder |
JP5550862B2 (ja) | 2009-07-23 | 2014-07-16 | 株式会社日立ハイテクノロジーズ | 欠陥分類装置及び分類調整方法 |
US9218543B2 (en) | 2012-04-30 | 2015-12-22 | Hewlett-Packard Development Company, L.P. | Selecting classifier engines |
-
2015
- 2015-03-20 US US15/128,545 patent/US10380456B2/en active Active
- 2015-03-20 JP JP2016510017A patent/JPWO2015146113A1/ja active Pending
- 2015-03-20 WO PCT/JP2015/001594 patent/WO2015146113A1/ja active Application Filing
-
2019
- 2019-11-25 JP JP2019211981A patent/JP6897749B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005100122A (ja) * | 2003-09-25 | 2005-04-14 | Fuji Photo Film Co Ltd | 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置 |
JP2008217589A (ja) * | 2007-03-06 | 2008-09-18 | Toshiba Corp | 学習装置及びパターン認識装置 |
JP2008250908A (ja) * | 2007-03-30 | 2008-10-16 | Toshiba Corp | 映像判別方法および映像判別装置 |
JP2011181016A (ja) * | 2010-03-04 | 2011-09-15 | Fujifilm Corp | 判別器生成装置および方法並びにプログラム |
JP2011198181A (ja) * | 2010-03-23 | 2011-10-06 | Fujifilm Corp | 判別器生成装置および方法並びにプログラム |
JP2012010856A (ja) * | 2010-06-30 | 2012-01-19 | Advanced Telecommunication Research Institute International | 状態認識装置、傾聴対話持続システム、状態認識プログラムおよび状態認識方法 |
JP2013033331A (ja) * | 2011-08-01 | 2013-02-14 | Universal Entertainment Corp | 識別装置及び識別プログラム |
Non-Patent Citations (3)
Title |
---|
ANTONIO TORRALBA ET AL.: ""Sharing Visual Features for Multiclass and Multiview Object Detection"", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 29, no. 5, JPN6020050920, 19 March 2007 (2007-03-19), US, pages 854 - 869, ISSN: 0004502836 * |
SUOFEI ZHANG ET AL.: ""Implicit Jointboost Multiclass Object Detection under High Intra-class Variant"", 2012 IEEE INTERNATIONAL CONFERENCE ON INFORMATION SCIENCE AND TECHNOLOGY, JPN6020050919, 23 March 2012 (2012-03-23), US, pages 615 - 618, XP032193992, ISSN: 0004502835, DOI: 10.1109/ICIST.2012.6221718 * |
土屋 成光、藤吉 弘亘: ""Boostingに基づく分割統治的戦略による高精度な識別器構築手法"", 電子情報通信学会論文誌, vol. 95, no. 3, JPN6020050918, 1 March 2012 (2012-03-01), JP, pages 656 - 665, ISSN: 0004502834 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022185529A1 (ja) * | 2021-03-05 | 2022-09-09 | 日本電気株式会社 | 学習装置、学習方法、推論装置、推論方法、及び、記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20170039451A1 (en) | 2017-02-09 |
US10380456B2 (en) | 2019-08-13 |
JP6897749B2 (ja) | 2021-07-07 |
JPWO2015146113A1 (ja) | 2017-04-13 |
WO2015146113A1 (ja) | 2015-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6897749B2 (ja) | 学習方法、学習システム、および学習プログラム | |
US9002101B2 (en) | Recognition device, recognition method, and computer program product | |
US10013636B2 (en) | Image object category recognition method and device | |
CN110362677B (zh) | 文本数据类别的识别方法及装置、存储介质、计算机设备 | |
McCann et al. | Local naive bayes nearest neighbor for image classification | |
JP5570629B2 (ja) | 分類器の学習方法及び装置、並びに処理装置 | |
US9053358B2 (en) | Learning device for generating a classifier for detection of a target | |
JP5521881B2 (ja) | 画像識別情報付与プログラム及び画像識別情報付与装置 | |
CN108446741B (zh) | 机器学习超参数重要性评估方法、***及存储介质 | |
US10867169B2 (en) | Character recognition using hierarchical classification | |
JP5880454B2 (ja) | 画像識別装置及びプログラム | |
CN106295666B (zh) | 获取分类器、检测对象的方法和装置及图像处理设备 | |
JP6188976B2 (ja) | 画像に含まれるテキストを検出する方法、装置及びコンピュータ読み取り可能な記録媒体 | |
US20120136812A1 (en) | Method and system for machine-learning based optimization and customization of document similarities calculation | |
US9842279B2 (en) | Data processing method for learning discriminator, and data processing apparatus therefor | |
Freytag et al. | Labeling examples that matter: Relevance-based active learning with gaussian processes | |
JP5214679B2 (ja) | 学習装置、方法及びプログラム | |
CN110163206B (zh) | 车牌识别方法、***、存储介质和装置 | |
JP4802176B2 (ja) | パターン認識装置、パターン認識プログラム及びパターン認識方法 | |
JP2015225410A (ja) | 認識装置、方法及びプログラム | |
CN112200862B (zh) | 目标检测模型的训练方法、目标检测方法及装置 | |
JP2014115920A (ja) | 多クラス識別器、方法、及びプログラム | |
CN111488400B (zh) | 数据分类方法、装置和计算机可读存储介质 | |
JP2016062249A (ja) | 識別辞書学習システム、認識辞書学習方法および認識辞書学習プログラム | |
JP5633424B2 (ja) | プログラム及び情報処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210511 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210524 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6897749 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |