JP7400972B2 - 認識器学習装置、認識器学習方法、および認識器学習プログラム - Google Patents
認識器学習装置、認識器学習方法、および認識器学習プログラム Download PDFInfo
- Publication number
- JP7400972B2 JP7400972B2 JP2022531262A JP2022531262A JP7400972B2 JP 7400972 B2 JP7400972 B2 JP 7400972B2 JP 2022531262 A JP2022531262 A JP 2022531262A JP 2022531262 A JP2022531262 A JP 2022531262A JP 7400972 B2 JP7400972 B2 JP 7400972B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- recognizer
- data
- score
- learning data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000012549 training Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 description 18
- 238000013500 data storage Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Description
本開示の技術は、認識器学習装置、認識器学習方法、および認識器学習プログラムに関する。
画像や音声などのデジタルデータからその意味を自動で認識する技術として、機械学習のアプローチを用いた多数の手法が考案されている。近年では、深層学習による認識器の学習が、複雑なデータに対しても高い性能を示すことが知られている。深層学習による認識器の学習は、認識器の出力に対して特定の損失関数が最小化されるように行われている。カテゴリ識別のために頻繁に使われる損失関数として交差エントロピー誤差関数があげられる。交差エントロピー誤差関数によって学習が効率的に進むことが知られており、またカテゴリ数の増加に対する拡張も容易であるため広く使われている。しかし、対象とする各カテゴリに含まれるデータの数が偏っている場合、データ数の多いカテゴリに識別結果が偏るような学習がなされる。このため、実用上データ数の少ないカテゴリの認識精度を重視したい場合には、不適切な損失関数となっている。そのような場合に用いられる損失関数として受信者動作特性(Receiver Operating Characteristic:ROC)曲線における曲線下面積(Area Under the Curve: AUC)があげられる。ROC曲線とは真陽性率(True Positive Rate: TPR)と偽陽性率(False Positive Rate: FPR)の対応関係をプロットした曲線である。その曲線が成す面積であるAUCを最大化することでデータ数の少ないカテゴリに対してもバランスの良い認識器を学習することができる。
しかし、高い認識性能が期待される深層学習を用いてAUCを直接的に最大化することはできない。AUCは、ある閾値に対するデータの識別スコアの大小関係によって算出されるため、ランダムに選ばれる正例と負例のペアを用いてその大小関係を是正するように学習を進める手法が用いられる(非特許文献1、2)。
Ueda, Naonori, and Akinori Fujino. "Partial AUC Maximization via Nonlinear Scoring Functions." arXiv preprint arXiv:1806.04838 (2018).
Sakai, Tomoya, Gang Niu, and Masashi Sugiyama. "Semi-supervised AUC optimization based on positive-unlabeled learning." Machine Learning 107.4 (2018): 767-794.
上記非特許文献1、2の技術では、学習に用いられるペアによって学習の効果が異なるため、ペアの選定をランダムに行う場合、学習に時間がかかるという問題がある。
開示の技術は、上記の点に鑑みてなされたものであり、効率的に認識器を学習することができる認識器学習装置、認識器学習方法、および認識器学習プログラムを提供することを目的とする。
本開示の第1態様は、認識器学習装置であって、学習用ラベルが与えられた複数の学習用データに基づいて、データのラベルを認識する認識器を学習する学習部と、前記学習された認識器を用いて、前記複数の学習用データの各々について、前記認識器が出力するスコアを算出するスコア算出部と、前記複数の学習用データの各々について算出されたスコアに基づいて得られる、真陽性率と偽陽性率との対応関係を表すROC(Receiver Operating Characteristic)曲線の形状に基づいて、ラベルを決定するための前記スコアに関する閾値を決定する閾値決定部と、前記決定された閾値と、前記複数の学習用データの各々について算出されたスコアとに基づいて、前記認識器による認識が困難な前記学習用データを選択する選択部と、を含み、予め定められた反復終了条件を満たすまで、前記学習部による学習、前記スコア算出部による算出、前記閾値決定部による決定、および前記選択部による選択を繰り返し、前記学習部は、前記選択部による前記学習用データの選択結果に応じた前記学習用データに基づいて、前記認識器を学習する。
本開示の第2態様は、認識器学習方法であって、学習部が、学習用ラベルが与えられた複数の学習用データに基づいて、データのラベルを認識する認識器を学習し、スコア算出部が、前記学習された認識器を用いて、前記複数の学習用データの各々について、前記認識器が出力するスコアを算出し、閾値決定部が、前記複数の学習用データの各々について算出されたスコアに基づいて得られる、真陽性率と偽陽性率との対応関係を表すROC(Receiver Operating Characteristic)曲線の形状に基づいて、ラベルを決定するための前記スコアに関する閾値を決定し、選択部が、前記決定された閾値と、前記複数の学習用データの各々について算出されたスコアとに基づいて、前記認識器による認識が困難な前記学習用データを選択することを、予め定められた反復終了条件を満たすまで繰り返し、前記学習部が学習することでは、前記選択部による前記学習用データの選択結果に応じた前記学習用データに基づいて、前記認識器を学習する。
本開示の第3態様は、認識器学習プログラムであって、学習用ラベルが与えられた複数の学習用データに基づいて、データのラベルを認識する認識器を学習し、前記学習された認識器を用いて、前記複数の学習用データの各々について、前記認識器が出力するスコアを算出し、前記複数の学習用データの各々について算出されたスコアに基づいて得られる、真陽性率と偽陽性率との対応関係を表すROC(Receiver Operating Characteristic)曲線の形状に基づいて、ラベルを決定するための前記スコアに関する閾値を決定し、前記決定された閾値と、前記複数の学習用データの各々について算出されたスコアとに基づいて、前記認識器による認識が困難な前記学習用データを選択することを予め定められた反復終了条件を満たすまで繰り返し、前記学習することでは、前記学習用データの選択結果に応じた前記学習用データに基づいて、前記認識器を学習することをコンピュータに実行させるためのプログラムである。
開示の技術によれば、効率的に認識器を学習することができる。
以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一または等価な構成要素および部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
<本実施形態の概要>
本実施形態では、効率的なAUC最大化学習のため、認識器の学習状況に合わせて適応的に学習効果の高い学習用データを選定する。学習途中の認識器において誤認識されやすい学習用データを、学習効果の高い、認識が困難な学習用データであるとし、認識が困難な学習用データの設定とそれに基づく学習ペアの選定を行う。ラベルを決定するための閾値を、ROC曲線の形状から決定し、決定した閾値によって誤認識する学習用データを、認識が困難な学習用データとして選び出す。選ばれた、認識が困難な学習用データを中心に学習ペアを構築することで、効率的な学習を実現する。
本実施形態では、効率的なAUC最大化学習のため、認識器の学習状況に合わせて適応的に学習効果の高い学習用データを選定する。学習途中の認識器において誤認識されやすい学習用データを、学習効果の高い、認識が困難な学習用データであるとし、認識が困難な学習用データの設定とそれに基づく学習ペアの選定を行う。ラベルを決定するための閾値を、ROC曲線の形状から決定し、決定した閾値によって誤認識する学習用データを、認識が困難な学習用データとして選び出す。選ばれた、認識が困難な学習用データを中心に学習ペアを構築することで、効率的な学習を実現する。
図1に、本実施形態における閾値の決定方法の概念図を示す。学習用データに対する認識性能として図1のようなROC曲線が得られている際に、ROC曲線上において最も左上に得られる丸印で示される点を、認識が困難な学習用データを選択するための閾値として採用する。認識器が出力するスコアが閾値以下となる正例と、閾値よりも認識器が出力するスコアが大きい負例とが、認識が困難な学習用データとして選択される。なお、図1では、縦軸がTPRを示し、横軸がFPRを示すグラフにおいてROC曲線を示す例を示している。また、灰色の部分が、AUCを示している。
<本実施形態に係る認識器学習装置の構成>
図2は、本実施形態の認識器学習装置10のハードウェア構成を示すブロック図である。
図2は、本実施形態の認識器学習装置10のハードウェア構成を示すブロック図である。
図2に示すように、認識器学習装置10は、CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、ストレージ14、入力部15、表示部16および通信インタフェース(I/F)17を有する。各構成は、バス19を介して相互に通信可能に接続されている。
CPU11は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU11は、ROM12またはストレージ14からプログラムを読み出し、RAM13を作業領域としてプログラムを実行する。CPU11は、ROM12またはストレージ14に記憶されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。本実施形態では、ROM12またはストレージ14には、認識器を学習するための認識器学習プログラムが格納されている。認識器学習プログラムは、1つのプログラムであっても良いし、複数のプログラムまたはモジュールで構成されるプログラム群であっても良い。
ROM12は、各種プログラムおよび各種データを格納する。RAM13は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ14は、HDD(Hard Disk Drive)またはSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム、および各種データを格納する。
入力部15は、マウス等のポインティングデバイス、およびキーボードを含み、各種の入力を行うために使用される。
入力部15は、学習用ラベルが与えられた複数の学習用データの入力を受け付ける。ここで、学習用データとは、画像や音声のような一定の大きさにまとめられた多変量のデジタル信号である。また、学習用ラベルとは、各データに対応付けられた正あるいは負のラベルである。本実施形態では、学習される認識器が、入力されるデジタル信号に対して正あるいは負の認識結果を示すスコアを出力する場合を例に説明する。
表示部16は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部16は、タッチパネル方式を採用して、入力部15として機能しても良い。
通信インタフェース17は、他の機器と通信するためのインタフェースであり、例えば、イーサネット(登録商標)、FDDI、Wi-Fi(登録商標)等の規格が用いられる。
次に、認識器学習装置10の機能構成について説明する。図3は、認識器学習装置10の機能構成の例を示すブロック図である。
認識器学習装置10は、機能的には、図3に示すように、学習用データ記憶部20、学習用ラベル記憶部22、学習部24、パラメータ記憶部26、スコア算出部28、閾値決定部30、選択部32、および選択データ記憶部34を備えている。
学習用データ記憶部20は、入力された複数の学習用データを記憶する。
学習用ラベル記憶部22は、入力された複数の学習用データの各々に付与されている学習用ラベルを記憶する。
学習部24は、学習用ラベルが与えられた複数の学習用データに基づいて、AUCを最大化するように、データのラベルを認識する認識器のパラメータを学習し、パラメータ記憶部26に格納する。このとき、学習部24は、後述する選択部32による、認識が困難な学習用データの選択結果に応じた学習用データに基づいて、認識が困難な学習用データに対する認識器による認識結果と、学習用データの学習用ラベルとは異なる学習用ラベルが付与された、認識が困難な学習用データではない学習用データに対する認識器による認識結果とを比較した結果を用いて表される目的関数を最適化するように認識器を学習する。
具体的には、学習部24は、学習用データ、学習用ラベル、認識が困難な学習用データの選択結果を用いて、目的関数を最小化することによりAUCを最大化するように認識器の学習を行う。本実施形態では、認識器は深層ニューラルネットワーク(Deep Neural Network : DNN)によって構築されているものとし、適切な目的関数のもとで誤差逆伝播法によってDNNのパラメータを学習する場合を例に説明する。最小化すべき目的関数として以下のEを用いる。
(1)
(2)
ここで、L(P,N)は学習用ラベルとして正のラベルが付与された学習用データである正例データの集合Pと、学習用ラベルとして負のラベルが付与された学習用データである負例データの集合Nとから算出される損失関数を示す。f(x)は入力データxに対するDNNの出力値を示し、l(・)は0や負の値に対して損失を与えるような関数を設定する。例えば、上記非特許文献2において用いられているl(z)=(1-z)2を用いることができるが、それ以外の関数を用いても良い。xp、xnはそれぞれ、正例データ、および負例データを示している。m(・)は集合に含まれるデータの総数を示す。この目的関数はf(xp)がf(xn)よりも大きいと値が小さくなる関数であり、正例データであればDNNの出力が高く、負例データであれば低くなるよう学習される。集合Ph,Nhはそれぞれ、認識が困難な学習用データの正例データおよび負例データを示しており、Pe,Neは認識が困難な学習用データでない正例データおよび負例データを示している。認識器にとって見分けることが容易であるPeとNeとの比較を避け、認識が困難な学習用データを用いた比較を行うことで学習を効率的にする。なお、認識が困難な学習用データの選択処理が行われる前の初回の学習時には全ての学習用データが、認識が困難な学習用データであるとして学習が行われる。学習の反復終了条件には適当なものを採用して良い。例えば、予め決められた数のペアについて誤差逆伝播を適用しパラメータを更新したら学習の反復終了とする。
また、目的関数Eについては以下のような式を用いても良い。
(3)
パラメータ記憶部26は、学習部24によって学習された認識器のパラメータを記憶する。
スコア算出部28は、学習された認識器を用いて、複数の学習用データの各々について、認識器が出力するスコアを算出する。
閾値決定部30は、複数の学習用データの各々について算出されたスコアに基づいて得られる、真陽性率と偽陽性率との対応関係を表すROC曲線の形状に基づいて、ラベルを決定するためのスコアに関する閾値を決定し、認識が困難な学習用データを選択するための閾値とする。
具体的には、閾値決定部30は、以下の指標A(θ)の値を最小化するような閾値θを求める。指標A(θ)は、(FPR,TPR)=(0,1)の点から、ROC曲線における閾値θに対応する点までのL1距離を示す。
(4)
(5)
(6)
ここで、H(x)はxが0より大きいと1、それ以外を0とするステップ関数を示す。TPRは正例データのうち正しく正と判断されたものの割合を示すTrue Positive Rateを示す。FPRは負例データのうち誤って正と判断されたものの割合を示すFalse Positive Rateを示す。閾値決定に用いる指標Aの最小化は、TPRとFPRが共に良好となるような値を選択することであり、認識が困難な学習用データを、正例データおよび負例データからバランス良く選定するのに適していると考えられる。閾値θを0から1まで探索し、A(θ)が最も小さくなる~θを閾値として用いる。また、指標Aについて以下のようにL2距離を用いても良い。
(7)
選択部32は、決定された閾値と、複数の学習用データの各々について算出されたスコアとに基づいて、認識器による認識が困難な学習用データを選択し、選択データ記憶部34に格納する。認識が困難な学習用データの選択結果を活用して更に学習部24による学習が行われる。
正例データPについては
となる学習用データを、認識が困難な学習用データPhとし、残りをPeとする。負例データNについては
となる学習用データを、認識が困難な学習用データNhとし、残りをNeとする。選択された学習用データの各集合Ph、Pe、Nh、Neを用いて再度、学習部24による学習が行われる。
となる学習用データを、認識が困難な学習用データPhとし、残りをPeとする。負例データNについては
となる学習用データを、認識が困難な学習用データNhとし、残りをNeとする。選択された学習用データの各集合Ph、Pe、Nh、Neを用いて再度、学習部24による学習が行われる。
予め定められた反復終了条件を満たすまで、学習部24による学習、スコア算出部28による算出、閾値決定部30による決定、および選択部32による選択を繰り返し、最終的に得られた認識器のパラメータが学習結果として出力される。
このように、学習部24による学習と選択部32による認識が困難な学習用データの選択を十分に繰り返すことで、精度よく認識可能な認識器パラメータを高速に得ることができる。
選択データ記憶部34には、選択された学習用データの各集合Ph、Pe、Nh、Neが記憶される。
<本実施形態に係る認識器学習装置の作用>
次に、認識器学習装置10の作用について説明する。図4は、認識器学習装置10による認識器学習処理の流れを示すフローチャートである。CPU11がROM12またはストレージ14から認識器学習プログラムを読み出して、RAM13に展開して実行することにより、認識器学習処理が行なわれる。また、認識器学習装置10に、学習用ラベルが与えられた複数の学習用データの入力が入力される。
次に、認識器学習装置10の作用について説明する。図4は、認識器学習装置10による認識器学習処理の流れを示すフローチャートである。CPU11がROM12またはストレージ14から認識器学習プログラムを読み出して、RAM13に展開して実行することにより、認識器学習処理が行なわれる。また、認識器学習装置10に、学習用ラベルが与えられた複数の学習用データの入力が入力される。
ステップS101において、CPU11は、学習部24として、後述するステップS104による、認識が困難な学習用データの選択結果に応じた学習用データに基づいて、目的関数を最適化するように、データのラベルを認識する認識器のパラメータを学習し、パラメータ記憶部26に格納する。
ステップS102において、CPU11は、スコア算出部28として、学習された認識器を用いて、複数の学習用データの各々について、認識器が出力するスコアを算出する。
ステップS103において、CPU11は、閾値決定部30として、複数の学習用データの各々について算出されたスコアに基づいて得られるROC曲線の形状に基づいて、ラベルを決定するためのスコアに関する閾値を決定し、認識が困難な学習用データを選択するための閾値とする。
ステップS104において、CPU11は、選択部32として、決定された閾値と、複数の学習用データの各々について算出されたスコアとに基づいて、認識器による認識が困難な学習用データを選択し、選択データ記憶部34に格納する。
ステップS105において、CPU11は、予め定められた反復終了条件を満たしたか否かを判定する。反復終了条件を満たさない場合には、上記ステップS101へ戻り、一方、反復終了条件を満たす場合には、認識器学習処理を終了する。
以上説明したように、本実施形態に係る認識器学習装置は、学習用データの選択結果に応じた前記学習用データに基づいて、データのラベルを認識する認識器を学習し、学習された認識器を用いて、複数の学習用データの各々について、認識器が出力するスコアを算出し、複数の学習用データの各々について算出されたスコアに基づいて得られるROC曲線の形状に基づいて、閾値を決定し、決定された閾値と、複数の学習用データの各々について算出されたスコアとに基づいて、認識器による認識が困難な学習用データを選択することを繰り返す。これにより、効率的に認識器を学習することができる。
また、画像認識による設備劣化検知や音声認識による異常検知といった認識対象の出現数に偏りがあるような問題に対して効率的にAUC最大化学習を行うことができる。学習の効率化によって学習にかかる時間が大幅に低減され、また認識性能も向上することが期待される。
なお、本発明は、上述した実施形態の装置構成および作用に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、上記実施形態では認識するラベルが正負2種である場合を説明したが、3種以上のラベルに対しても容易に拡張可能である。各ラベルに対してそのラベルらしさが出力されるようなスコアを設定し、各スコアに対して対象ラベルを正例、その他のラベルを負例として目的関数を設定すれば良い。あるラベルiの学習用データの集合をDi、その他の学習用データの集合をD\iと表すと、複数ラベルに対する目的関数Eは以下の式で表される。
(8)
また、上記実施形態でCPUがソフトウェア(プログラム)を読み込んで実行した各種処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、およびASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、認識器学習処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、およびCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記各実施形態では、認識器学習プログラムがストレージ14に予め記憶(インストール)されている態様を説明したが、これに限定されない。プログラムは、CD-ROM(Compact Disk Read Only Memory)、DVD-ROM(Digital Versatile Disk Read Only Memory)、およびUSB(Universal Serial Bus)メモリ等の非一時的(non-transitory)記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
以上の実施形態に関し、更に以下の付記を開示する。
(付記項1)
メモリと、
前記メモリに接続された少なくとも1つのプロセッサと、
を含み、
前記プロセッサは、
学習用ラベルが与えられた複数の学習用データに基づいて、データのラベルを認識する認識器を学習し、
前記学習された認識器を用いて、前記複数の学習用データの各々について、前記認識器が出力するスコアを算出し、
前記複数の学習用データの各々について算出されたスコアに基づいて得られる、真陽性率と偽陽性率との対応関係を表すROC(Receiver Operating Characteristic)曲線の形状に基づいて、ラベルを決定するための前記スコアに関する閾値を決定し、
前記決定された閾値と、前記複数の学習用データの各々について算出されたスコアとに基づいて、前記認識器による認識が困難な前記学習用データを選択することを
予め定められた反復終了条件を満たすまで繰り返し、
前記学習することでは、前記学習用データの選択結果に応じた前記学習用データに基づいて、前記認識器を学習する
認識器学習装置。
メモリと、
前記メモリに接続された少なくとも1つのプロセッサと、
を含み、
前記プロセッサは、
学習用ラベルが与えられた複数の学習用データに基づいて、データのラベルを認識する認識器を学習し、
前記学習された認識器を用いて、前記複数の学習用データの各々について、前記認識器が出力するスコアを算出し、
前記複数の学習用データの各々について算出されたスコアに基づいて得られる、真陽性率と偽陽性率との対応関係を表すROC(Receiver Operating Characteristic)曲線の形状に基づいて、ラベルを決定するための前記スコアに関する閾値を決定し、
前記決定された閾値と、前記複数の学習用データの各々について算出されたスコアとに基づいて、前記認識器による認識が困難な前記学習用データを選択することを
予め定められた反復終了条件を満たすまで繰り返し、
前記学習することでは、前記学習用データの選択結果に応じた前記学習用データに基づいて、前記認識器を学習する
認識器学習装置。
(付記項2)
認識器学習処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記認識器学習処理は、
学習用ラベルが与えられた複数の学習用データに基づいて、データのラベルを認識する認識器を学習し、
前記学習された認識器を用いて、前記複数の学習用データの各々について、前記認識器が出力するスコアを算出し、
前記複数の学習用データの各々について算出されたスコアに基づいて得られる、真陽性率と偽陽性率との対応関係を表すROC(Receiver Operating Characteristic)曲線の形状に基づいて、ラベルを決定するための前記スコアに関する閾値を決定し、
前記決定された閾値と、前記複数の学習用データの各々について算出されたスコアとに基づいて、前記認識器による認識が困難な前記学習用データを選択することを
予め定められた反復終了条件を満たすまで繰り返し、
前記学習することでは、前記学習用データの選択結果に応じた前記学習用データに基づいて、前記認識器を学習する
非一時的記憶媒体。
認識器学習処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記認識器学習処理は、
学習用ラベルが与えられた複数の学習用データに基づいて、データのラベルを認識する認識器を学習し、
前記学習された認識器を用いて、前記複数の学習用データの各々について、前記認識器が出力するスコアを算出し、
前記複数の学習用データの各々について算出されたスコアに基づいて得られる、真陽性率と偽陽性率との対応関係を表すROC(Receiver Operating Characteristic)曲線の形状に基づいて、ラベルを決定するための前記スコアに関する閾値を決定し、
前記決定された閾値と、前記複数の学習用データの各々について算出されたスコアとに基づいて、前記認識器による認識が困難な前記学習用データを選択することを
予め定められた反復終了条件を満たすまで繰り返し、
前記学習することでは、前記学習用データの選択結果に応じた前記学習用データに基づいて、前記認識器を学習する
非一時的記憶媒体。
10 認識器学習装置
15 入力部
16 表示部
20 学習用データ記憶部
22 学習用ラベル記憶部
24 学習部
26 パラメータ記憶部
28 スコア算出部
30 閾値決定部
32 選択部
34 選択データ記憶部
15 入力部
16 表示部
20 学習用データ記憶部
22 学習用ラベル記憶部
24 学習部
26 パラメータ記憶部
28 スコア算出部
30 閾値決定部
32 選択部
34 選択データ記憶部
Claims (7)
- 学習用ラベルが与えられた複数の学習用データに基づいて、データのラベルを認識する認識器を学習する学習部と、
前記学習された認識器を用いて、前記複数の学習用データの各々について、前記認識器が出力するスコアを算出するスコア算出部と、
前記複数の学習用データの各々について算出されたスコアに基づいて得られる、真陽性率と偽陽性率との対応関係を表すROC(Receiver Operating Characteristic)曲線の形状に基づいて、ラベルを決定するための前記スコアに関する閾値を決定する閾値決定部と、
前記決定された閾値と、前記複数の学習用データの各々について算出されたスコアとに基づいて、前記認識器による認識が困難な前記学習用データを選択する選択部と、
を含み、
予め定められた反復終了条件を満たすまで、前記学習部による学習、前記スコア算出部による算出、前記閾値決定部による決定、および前記選択部による選択を繰り返し、
前記学習部は、前記選択部による前記学習用データの選択結果に応じた前記学習用データに基づいて、前記認識器を学習する
認識器学習装置。 - 前記選択部は、
前記スコアが前記閾値以上であって、前記スコアが前記閾値以上である場合に認識されるラベルと前記学習用ラベルとが一致しない前記学習用データと、
前記スコアが前記閾値未満であって、前記スコアが前記閾値未満である場合に認識されるラベルと前記学習用ラベルとが一致しない前記学習用データとを、前記認識が困難な学習用データとして選択する請求項1記載の認識器学習装置。 - 前記学習部は、
前記認識が困難な学習用データに対する前記認識器による認識結果と、前記学習用データの学習用ラベルとは異なる学習用ラベルが付与された、前記認識が困難な学習用データではない前記学習用データに対する前記認識器による認識結果とを比較した結果を用いて表される目的関数を最適化するように前記認識器を学習する請求項1または2記載の認識器学習装置。 - 学習部が、学習用ラベルが与えられた複数の学習用データに基づいて、データのラベルを認識する認識器を学習し、
スコア算出部が、前記学習された認識器を用いて、前記複数の学習用データの各々について、前記認識器が出力するスコアを算出し、
閾値決定部が、前記複数の学習用データの各々について算出されたスコアに基づいて得られる、真陽性率と偽陽性率との対応関係を表すROC(Receiver Operating Characteristic)曲線の形状に基づいて、ラベルを決定するための前記スコアに関する閾値を決定し、
選択部が、前記決定された閾値と、前記複数の学習用データの各々について算出されたスコアとに基づいて、前記認識器による認識が困難な前記学習用データを選択する
ことを、予め定められた反復終了条件を満たすまで繰り返し、
前記学習部が学習することでは、前記選択部による前記学習用データの選択結果に応じた前記学習用データに基づいて、前記認識器を学習する
認識器学習方法。 - 前記選択部が選択することでは、
前記スコアが前記閾値以上であって、前記スコアが前記閾値以上である場合に認識されるラベルと前記学習用ラベルとが一致しない前記学習用データと、
前記スコアが前記閾値未満であって、前記スコアが前記閾値未満である場合に認識されるラベルと前記学習用ラベルとが一致しない前記学習用データとを、前記認識が困難な学習用データとして選択する請求項4記載の認識器学習方法。 - 前記学習部が学習することでは、前記認識が困難な学習用データに対する前記認識器による認識結果と、前記学習用データの学習用ラベルとは異なる学習用ラベルが付与された、前記認識が困難な学習用データではない前記学習用データに対する前記認識器による認識結果とを比較した結果を用いて表される目的関数を最適化するように前記認識器を学習する請求項4または5記載の認識器学習方法。
- 学習用ラベルが与えられた複数の学習用データに基づいて、データのラベルを認識する認識器を学習し、
前記学習された認識器を用いて、前記複数の学習用データの各々について、前記認識器が出力するスコアを算出し、
前記複数の学習用データの各々について算出されたスコアに基づいて得られる、真陽性率と偽陽性率との対応関係を表すROC(Receiver Operating Characteristic)曲線の形状に基づいて、ラベルを決定するための前記スコアに関する閾値を決定し、
前記決定された閾値と、前記複数の学習用データの各々について算出されたスコアとに基づいて、前記認識器による認識が困難な前記学習用データを選択することを
予め定められた反復終了条件を満たすまで繰り返し、
前記学習することでは、前記学習用データの選択結果に応じた前記学習用データに基づいて、前記認識器を学習する
ことをコンピュータに実行させるための認識器学習プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/024412 WO2021260770A1 (ja) | 2020-06-22 | 2020-06-22 | 認識器学習装置、認識器学習方法、および認識器学習プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021260770A1 JPWO2021260770A1 (ja) | 2021-12-30 |
JP7400972B2 true JP7400972B2 (ja) | 2023-12-19 |
Family
ID=79282702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022531262A Active JP7400972B2 (ja) | 2020-06-22 | 2020-06-22 | 認識器学習装置、認識器学習方法、および認識器学習プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230245438A1 (ja) |
JP (1) | JP7400972B2 (ja) |
WO (1) | WO2021260770A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116156151A (zh) * | 2022-12-15 | 2023-05-23 | 中国计量科学研究院 | 针对智能感知***的测试方法、***、电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018160172A (ja) | 2017-03-23 | 2018-10-11 | 日本電気株式会社 | マルウェア判定方法、マルウェア判定装置及びマルウェア判定プログラム |
JP2018190128A (ja) | 2017-05-01 | 2018-11-29 | 日本電信電話株式会社 | 設定装置、分析システム、設定方法および設定プログラム |
WO2020121867A1 (ja) | 2018-12-11 | 2020-06-18 | 日本電信電話株式会社 | 検出学習装置、方法、及びプログラム |
-
2020
- 2020-06-22 WO PCT/JP2020/024412 patent/WO2021260770A1/ja active Application Filing
- 2020-06-22 US US18/012,137 patent/US20230245438A1/en active Pending
- 2020-06-22 JP JP2022531262A patent/JP7400972B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018160172A (ja) | 2017-03-23 | 2018-10-11 | 日本電気株式会社 | マルウェア判定方法、マルウェア判定装置及びマルウェア判定プログラム |
JP2018190128A (ja) | 2017-05-01 | 2018-11-29 | 日本電信電話株式会社 | 設定装置、分析システム、設定方法および設定プログラム |
WO2020121867A1 (ja) | 2018-12-11 | 2020-06-18 | 日本電信電話株式会社 | 検出学習装置、方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20230245438A1 (en) | 2023-08-03 |
WO2021260770A1 (ja) | 2021-12-30 |
JPWO2021260770A1 (ja) | 2021-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9330362B2 (en) | Tuning hyper-parameters of a computer-executable learning algorithm | |
KR102104605B1 (ko) | 인공지능 기반 플랜트 도면 내 심볼 자동인식 방법 및 장치 | |
CN109189767B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN107103332A (zh) | 一种面向大规模数据集的相关向量机分类方法 | |
US11295240B2 (en) | Systems and methods for machine classification and learning that is robust to unknown inputs | |
WO2011135410A1 (en) | Optimization technique using evolutionary algorithms | |
JP7115280B2 (ja) | 検出学習装置、方法、及びプログラム | |
CN103927550B (zh) | 一种手写体数字识别方法及*** | |
CN112102899A (zh) | 一种分子预测模型的构建方法和计算设备 | |
CN116432091B (zh) | 基于小样本的设备故障诊断方法、模型的构建方法及装置 | |
CN109002461A (zh) | 手写模型训练方法、文本识别方法、装置、设备及介质 | |
US20230326191A1 (en) | Method and Apparatus for Enhancing Performance of Machine Learning Classification Task | |
JP7400972B2 (ja) | 認識器学習装置、認識器学習方法、および認識器学習プログラム | |
CN113516019B (zh) | 高光谱图像解混方法、装置及电子设备 | |
CN110674860A (zh) | 基于邻域搜索策略的特征选择方法、存储介质和终端 | |
JP2017220001A (ja) | 予測装置、予測方法及びプログラム | |
US11609936B2 (en) | Graph data processing method, device, and computer program product | |
CN109543771A (zh) | 一种数据分类的方法及装置 | |
JP2011257805A (ja) | 情報処理装置および方法、並びにプログラム | |
US11593621B2 (en) | Information processing apparatus, information processing method, and computer program product | |
CN107808164A (zh) | 一种基于烟花算法的纹理图像特征选择方法 | |
Sengupta et al. | A scoring scheme for online feature selection: Simulating model performance without retraining | |
CN113627538A (zh) | 训练非对称生成对抗网络产生图像的方法及电子装置 | |
Chuang et al. | Chaotic binary particle swarm optimization for feature selection using logistic map | |
JP2014081743A (ja) | 情報処理装置及び方法、並びにパターン認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7400972 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |