JP7225444B2 - モデル更新支援システム - Google Patents
モデル更新支援システム Download PDFInfo
- Publication number
- JP7225444B2 JP7225444B2 JP2022006831A JP2022006831A JP7225444B2 JP 7225444 B2 JP7225444 B2 JP 7225444B2 JP 2022006831 A JP2022006831 A JP 2022006831A JP 2022006831 A JP2022006831 A JP 2022006831A JP 7225444 B2 JP7225444 B2 JP 7225444B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- classification
- model
- information
- example data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明の実施形態は、モデル更新支援システムに関する。
深層学習を用いて学習されたモデルは、データを分類する際などに用いられる。データを継続的に精度良く分類するためには、モデルを適宜更新することが望ましい。
本発明の実施形態は、モデルの更新を支援可能なモデル更新支援システムを提供する。
実施形態に係るモデル更新支援システムは、複数の例示データと、前記複数の例示データにそれぞれ付与された複数のラベルと、を含む学習データ群を用いて学習された第1モデルの更新を支援する。前記モデル更新支援システムは、処理部を含む。前記処理部は、前記第1モデルを用いて算出された、第1データの分類の確からしさを示す分類確信度と、前記第1データと前記複数の例示データとの類似性をそれぞれ示す複数の類似度と、に基づいて、前記第1モデルへの学習が十分では無いことを示す第1情報、又は前記複数のラベルの1つが適切では無いことを示す第2情報を出力可能である。
以下に、本発明の各実施形態について図面を参照しつつ説明する。
本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
図1は、第1実施形態に係るモデル更新支援システムの構成を表す模式図である。
図1に表した第1実施形態に係るモデル更新支援システム110は、学習済みのモデルの更新を支援するために用いられる。
図1に表した第1実施形態に係るモデル更新支援システム110は、学習済みのモデルの更新を支援するために用いられる。
例えば、学習済みのモデルを用いて、データを分類することがある。各分類に関してモデルが十分且つ適切に学習されていれば、モデルは入力されたデータの分類をより正確に推論できる。
しかし、ある分類に関して、モデルが十分に学習されていなかったり、モデルが適切に学習されていなかったりする場合がある。この場合、その分類と推論されるべきデータが、別の分類と推論される可能性がある。又は、その分類と推論されたが、分類確信度が低い可能性がある。
分類確信度は、モデルがデータを分類する際に算出される値である。分類確信度は、推論された分類の確からしさを示す。分類確信度が高いほど、モデルによって推論されたデータの分類が実際の分類に一致している可能性が高い。
以降では、モデルによって正しい分類が推論できなかったデータ、又は正しい分類を推論できたが分類確信度が低かったデータを、「異常」なデータと呼ぶ。モデルによって正しい分類が推論でき、且つ分類確信度が高いデータを、「正常」なデータと呼ぶ。
モデルによるデータの分類時に異常なデータが発生した場合、そのモデルを更新(再学習)させることが望ましい。しかし、異常は、モデルの学習に用いた学習データやモデルの内部構造に起因することが多い。このため、異常の要因が何かユーザが判別することは容易では無い。
モデル更新支援システム110は、異常の要因に関する情報をユーザに提供し、モデルの更新を支援するために用いられる。モデル更新支援システム110から情報が提供されることで、ユーザは、その情報を基に、どのようにモデルを更新すれば良いか知ることができる。
実施形態に係るモデル更新支援システム110は、処理部10を含む。図1に表したように、モデル更新支援システム110は、取得部20、出力部30、モデル記憶部51、学習データ記憶部52をさらに含んでいても良い。
取得部20は、映像や音声などの情報をデジタルデータとして取得し、処理部10へ出力する。取得部20は、例えば、撮像装置及びマイクの少なくともいずれかを含む。取得部20は、取得した情報を不図示の記憶部に記憶しても良い。この場合、処理部10は、その記憶部にアクセスし、取得されたデータを参照する。
処理部10は、例えば、CPU(Central Processing Unit)及び電子回路などを含む。処理部10は、受付部11、分類確信度算出部12、判定部13、類似度算出部14、及び要因選択部15を含む。
例えば、取得部20が、撮影又は音声記録を行い、第1データを取得する。受付部11は、取得部20から出力された第1データを受け付ける。受付部11が第1データを受け付けると、分類確信度算出部12は、モデル記憶部51及び学習データ記憶部52にアクセスする。
モデル記憶部51は、学習済みの第1モデルを記憶している。学習データ記憶部52は、第1モデルの学習に用いられた学習データ群を記憶している。学習データ群は、複数の学習データを含む。それぞれの学習データは、1つの例示データと、その例示データの分類を示す1つのラベルと、を含む。
モデル記憶部51及び学習データ記憶部52は、ハードディスクドライブ、フラッシュメモリ、又はネットワークハードディスクなどの記憶媒体を含む。1つの記憶媒体がモデル記憶部51及び学習データ記憶部52として機能しても良い。
分類確信度算出部12は、第1モデルに第1データを入力し、第1モデルに第1データの分類を推論させる。この推論時における第1モデルの出力を基に、分類確信度算出部12は、第1分類確信度を算出する。第1分類確信度は、第1モデルにより推論された第1データの分類(第1分類)の確からしさを示す。
さらに、分類確信度算出部12は、第1モデルに複数の例示データを順次入力し、複数の分類確信度を算出する。分類確信度算出部12は、第1データと、第1分類確信度と、複数の例示データに基づく複数の分類確信度と、を判定部13に出力する。
判定部13は、第1分類確信度及び複数の分類確信度に基づいて、第1分類確信度が十分に高いか判定する。例えば、判定部13は、複数の分類確信度の平均値及びばらつきを算出し、平均値及びばらつき用いて閾値を設定する。判定部13は、第1分類確信度を設定された閾値と比較する。判定部13は、第1分類確信度が閾値以上であると、第1データは正常であると判定する。これは、第1分類確信度が十分に高く、第1データの分類が正しく推論されている可能性が高いことを意味する。
閾値の設定方法は、この例に限定されない。閾値の設定に複数の分類確信度を用いず、ユーザにより予め設定された値が閾値として用いられても良い。この場合、分類確信度算出部12による複数の分類確信度の算出、判定部13による平均値及びばらつきの算出などは不要である。
第1分類確信度が閾値未満であると、第1データが異常であることを意味する。この場合、判定部13は、第1データを類似度算出部14へ出力し、複数の例示データに関する複数の分類確信度を要因選択部15へ出力する。
類似度算出部14は、第1データと複数の例示データを用いて、複数の類似度を算出する。複数の類似度は、それぞれ、第1データと複数の例示データとの類似性を示す。類似度算出部14は、算出した複数の類似度を要因選択部15へ出力する。
要因選択部15は、複数の類似度に基づいて第1情報又は第2情報を選択可能である。この例では、要因選択部15が、複数の類似度と、複数の分類確信度の少なくとも一部と、に基づいて、第1情報又は第2情報を適宜選択する場合について説明する。第1情報は、モデルへの学習が十分では無いことを示す。第2情報は、学習データ群に含まれるいずれかのラベルが適切では無いことを示す。
要因選択部15は、第1情報又は第2情報を選択した場合、選択した情報を出力部30へ出力する。要因選択部15は、複数の分類確信度及び複数の類似度に基づいて、第1情報又は第2情報を選択しない場合もある。
出力部30は、ユーザが認識できるように第1情報又は第2情報を出力する。出力部30は、モニタ、スピーカ、及びプリンタの少なくともいずれかを含む。例えば、出力部30は、モニタ又はプリンタを含み、第1情報又は第2情報を視認可能に出力する。出力部30は、第1情報又は第2情報とともに、別の情報を出力しても良い。別の情報としては、第1データ、第1分類、第1分類確信度、第1データに類似する第1例示データ、第1例示データの分類、第1例示データについての分類確信度、適切では無いと判断されたラベル、そのラベルが付与された第2例示データ、などである。
第1実施形態に係るモデル更新支援システム110によれば、第1データが異常であった場合に、その要因を示す情報をユーザへ提供できる。ユーザは、提供された情報を基に、第1モデルを更新できる。例えば、第1モデルについて、第1分類に関する学習が不十分である場合は、第1分類に関して第1モデルを再学習させる。ラベルに誤りがあった場合は、ラベルを訂正した学習データを用いて第1モデルを再学習させる。これにより、それ以降に、第1モデルを用いてデータをより精度良く分類できるようになる。
以下で、モデル更新支援システム110に関する処理の一例をより具体的に説明する。
第1モデルは、例えば以下の方法により作成される。まず、学習前のモデルに、入力されたデータを種類ごとに分類させるようなタスクについて深層学習を適用させる。次に、ラベルが付与されていない例示データを入力して事前学習を行う。その後、データの種類ごとに教示された(ラベル付けされた)例示データを用いてFineTuningを実施する。作成された学習モデルに対して、分類したいデータを入力し、深層学習による分類(ラベル付け)を行う。
第1モデルは、例えば以下の方法により作成される。まず、学習前のモデルに、入力されたデータを種類ごとに分類させるようなタスクについて深層学習を適用させる。次に、ラベルが付与されていない例示データを入力して事前学習を行う。その後、データの種類ごとに教示された(ラベル付けされた)例示データを用いてFineTuningを実施する。作成された学習モデルに対して、分類したいデータを入力し、深層学習による分類(ラベル付け)を行う。
分類確信度算出部12は、学習済みの第1モデルに第1データを入力し、第1モデルから出力ベクトルを取得する。分類確信度算出部12は、出力ベクトルをsoftmax関数に入力し、その出力ベクトルの中の最大値が得られた分類を、その第1データの分類と推論する。また、その最大値を、分類確信度とする。
判定部13は、学習データ群に含まれる複数の例示データを第1モデルへ順次入力し、分類確信度算出部12で算出した複数の分類確信度を取得する。判定部13は、それらの分類確信度の平均(μ)と、その分散(σ)と、第1データの第1分類確信度(x)と、を比較することで、第1データが正常か異常かを判定する。例えば、以下の「数1」が成立するとき、判定部13は、第1データを異常と判定する。αは、予め設定される係数である。
類似度算出部14は、第1データと複数の例示データとの間でそれぞれ複数の類似度を算出する。類似度算出部14は、例えば以下の「数2」で表現されるユークリッド距離dを基に類似度を算出する。例えば、第1データと例示データとの間の類似度の値が大きいほど、それらのデータがより類似していることを示す。類似度の算出には、ユークリッド距離以外に、コサイン類似度などが用いられても良い。
「数2」において、p=(p1、p2、・・・、pi)は、第1モデルによる第1データの推論時において、最終層よりひとつ前の層の出力ベクトルを表す。q=(q1、q2、・・・qi)は、第1モデルによる例示データの推論時において、最終層よりひとつ前の層の出力ベクトルを表す。又は、出力ベクトルとして、第1データ及び例示データの推論時における最終層から2層以上前の出力ベクトル又は最終層の出力ベクトルを用いても良い。
要因選択部15は、第1情報又は第2情報を選択可能である。
例えば、第1情報は、以下の第1詳細情報及び第2詳細情報を含む。第1詳細情報は、第1モデルへの学習時に、第1データの第1分類に関する学習データが無かったことを示す。第2詳細情報は、第1モデルへの学習時に、第1分類に関する学習データがあったが、第1分類に関する学習が十分では無いことを示す。
例えば、第1情報は、以下の第1詳細情報及び第2詳細情報を含む。第1詳細情報は、第1モデルへの学習時に、第1データの第1分類に関する学習データが無かったことを示す。第2詳細情報は、第1モデルへの学習時に、第1分類に関する学習データがあったが、第1分類に関する学習が十分では無いことを示す。
要因選択部15は、第1条件が満たされる場合、第1詳細情報を選択する。第1条件は、複数の類似度の最大値が第1閾値を下回ることである。ある例示データと第1データとの類似度が最大であることは、その例示データが学習データの中で最も第1データに類似していることを示す。類似度の最大値が第1閾値未満であることは、学習データ群の中で第1データに最も類似する例示データが、第1データとは似ていないことを示す。これは、第1モデルへの学習時、学習データに、第1データと類似するデータ(第1分類に属するデータ)が含まれていなかったことを示す。
要因選択部15は、第1条件が満たされないとき、複数の例示データから複数の類似データを抽出する。複数の類似データは、複数の類似度の最大値が得られた第1例示データを含む。複数の類似データは、複数の例示データの中で、第1データに比較的類似したデータである。要因選択部15は、複数の類似データの分類の確からしさをそれぞれ示す複数の参照確信度を参照する。複数の参照確信度は、分類確信度算出部12により算出された複数の分類確信度の一部である。
要因選択部15は、複数の参照確信度の平均値及びばらつきを算出する。要因選択部15は、第2条件が満たされる場合、第2詳細情報を選択する。第2条件は、平均値が第2閾値未満であること、又はばらつきが第3閾値以上となることである。第2条件は、平均値が第2閾値未満であり、且つばらつきが第3閾値以上となることであっても良い。
類似度の最大値が第1閾値以上であることは、学習データ群に第1データと類似するデータが含まれていることを示す。一方、複数の参照確信度の平均値が第2閾値未満、又はばらつきが第3閾値以上であることは、第1モデルが第1データに関して十分に学習されていないことを示す。すなわち、第1モデルの学習時に、第1データと類似する例示データ(第1分類に属する例示データ)が学習データ群に十分に含まれていなかったことを示す。
第1条件又は第2条件が満たされない場合、要因選択部15は、学習データ群に含まれる不適切なラベルが異常の要因と判断し、第2情報を選択する。
又は、要因選択部15は、第1条件又は第2条件が満たされない場合、第1モデルによりそれぞれ推論された複数の類似データの複数の分類を参照する。要因選択部15は、複数の類似データのそれぞれについて、複数の類似データにそれぞれ付与された複数のラベルと、複数の分類と、を対比する。要因選択部15は、ある類似データについて、複数のラベルの1つと、複数の分類の1つと、が一致しないとき、第2情報を選択する。要因選択部15は、複数の分類と複数のラベルがそれぞれ一致しているときは、いずれの情報も選択せず、処理を終了する。
図2は、第1実施形態に係るモデル更新支援システムによる出力を例示する模式図である。
図3は、第1実施形態に係るモデル更新支援システムを用いた処理を例示するフローチャートである。
図4及び図5は、第1実施形態に係るモデル更新支援システムによる出力を例示する模式図である。
ここでは、第1モデルに犬の画像を入力し、第1モデルに犬種を推論させる例について説明する。この例では、出力部30は、モニタである。
図3は、第1実施形態に係るモデル更新支援システムを用いた処理を例示するフローチャートである。
図4及び図5は、第1実施形態に係るモデル更新支援システムによる出力を例示する模式図である。
ここでは、第1モデルに犬の画像を入力し、第1モデルに犬種を推論させる例について説明する。この例では、出力部30は、モニタである。
例えば、判定部13により第1データが正常と判定されると、処理部10は、第1モデルにより推論された第1データの第1分類と、第1分類確信度と、を出力部30に表示させる。
図2は、第1データが正常であったときの出力例を示す。図2に表した例では、処理部10により、第1データa1、第1分類a2、第1分類確信度a3、第1データに関する各分類の確信度a4、第1データと類似する1つ以上の例示データa5、第1モデルにより推論されたその例示データの分類a6、分類確信度a7、例示データに付与されたラベルa8、例示データに関する各分類の確信度a9などが表示されている。
入力されたデータが判定部13により異常と判定されると、そのデータと複数の例示データとの間の複数の類似度が要因選択部15に入力され、図3に表したフローチャートの処理が開始される。要因選択部15は、異常と判定された第1データと、その第1データに関する各分類の分類確信度と、を出力部30に表示させる(ステップS1)。
ユーザは、出力部30に表示された第1データを確認し、そのデータに見た目で不具合があるか判断する(ステップS2)。見た目の不具合としては、例えば、画面全体がボケており画像そのものが認識できない場合などが挙げられる。見た目で不具合がある場合、そのデータが異常と判定された要因は、撮影時の不具合と判断される(ステップS3)。
見た目で不具合が無い場合、要因選択部15は、第1データと類似度が相対的に高い例示データを出力部30に表示させる(ステップS4)。ユーザは、表示された例示データが、第1データと似ているか判断する(ステップS5)。
表示された例示データが第1データと似ていない場合、要因選択部15は、異常の要因が第1モデルの学習不足であると判断し(ステップS6)、第1詳細情報を選択する。すなわち、第1モデルに対して、第1データに関する学習が行われてないと判断される。
例示データが第1データと似ているかユーザが判断する代わりに、要因選択部15が類似度を用いて判断しても良い。例えば、要因選択部15は、上述した通り、第1条件が満たされるか判断する。要因選択部15は、第1条件が満たされる場合、第1詳細情報を選択する。
表示された例示データが第1データと似ている(第1条件が満たされない)場合、要因選択部15は、上述した通り、第2条件が満たされるか判断する(ステップS7)。第2条件が満たされる場合、要因選択部15は、異常の要因が第1モデルの学習不足であると判断し(ステップS8)、第2詳細情報を選択する。より具体的には、第1モデルに対して、第1データに関する学習は行われているが、学習が十分では無いと判断される。
第2条件が満たされない場合、要因選択部15は、複数の類似データのそれぞれについて、第1モデルにより推論された複数の類似データの分類と、複数の類似データに付与されたラベルと、が一致するか判断する(ステップS9)。一致しない場合、要因選択部15は、異常の要因がラベルのミスであると判断し(ステップS10)、第2情報を選択する。一致する場合、要因選択部15は、異常であることについて、問題は無いと判断し(ステップS11)、処理を終了する。
上記の処理において、要因選択部15が少なくともいずれかの情報を選択した場合、要因選択部15は、その情報を出力部30に表示させる。図4は、要因選択部15が、出力部30に第1情報及び第2情報を表示させた場合を例示している。
図4の例では、第1データについて、第1データb1、第1分類b2、第1分類確信度b3、及び第1データに関する各分類の確信度b4が表示されている。第1情報について、第1データと類似する例示データc1、第1モデルにより推論された例示データc1の分類c2、分類c2の確からしさを示す分類確信度c3、例示データc1に付与されたラベルc4、例示データc1に関する各分類の確信度c5、第1情報c6などが表示されている。第2情報について、ラベルと分類の不一致が発見された例示データd1、第1モデルにより推論された例示データd1の分類d2、分類d2の確からしさを示す分類確信度d3、例示データd1に付与されたラベルd4、例示データd1に関する各分類の確信度d5、第2情報d6などが表示されている。
第1情報又は第2情報に関する例示データが表示された領域が、他のデータが表示された領域に対して、区別可能に表示されても良い。図4に表した例では、例示データc1及び例示データd1が表示された領域には、他のデータと区別可能にパターンが表示されている。パターンに代えて互いに異なる色などが付されても良い。
処理部10は、さらに別の情報を出力部30に出力させても良い。例えば、処理部10は、推論時にデータのどの部分に反応しているかを示す誘目度マップ(SaliencyMap)を出力部30に表示させても良い。処理部10は、第1データの画像のR、G、Bをそれぞれ別々に表示させても良い。更に、第1データの画像と誘目度マップを重畳表示させても良い。
ここでは、処理部10に1つのデータが入力される場合について説明した。処理部10には、複数のデータ(例えば複数の画像)が入力されても良い。このとき、最初に入力された複数のデータに対して図5に表したような分類のヒストグラムを提示しても良い。これにより、ユーザは、分類ごとの偏りが無いか判断できる。偏りがあった場合は、恣意的に実施された検査などの可能性などを検出できる。
以上で説明したように、要因選択部15を含む処理部10を備えたモデル更新支援システムによれば、第1モデルを用いて算出された、第1データの分類の確からしさを示す分類確信度と、第1データと複数の例示データとの類似性をそれぞれ示す複数の類似度と、に基づいて、第1モデルへの学習が十分では無いことを示す第1情報、又は複数のラベルの1つが適切では無いことを示す第2情報を出力可能である。異常の要因を示す情報がユーザに提供されることで、第1モデルの更新が容易となる。
図1に表した例では、処理部10が、要因選択部15以外に、受付部11、分類確信度算出部12、判定部13、及び類似度算出部14を含む。この例に限定されず、処理部10は、要因選択部15以外を含んでいなくても良い。例えば、別の処理部で類似度や分類確信度が算出され、その計算結果が処理部10に入力されても良い。
図6は、第2実施形態に係るモデル更新支援システムの構成を表す模式図である。
図6に表した第2実施形態に係るモデル更新支援システム210では、処理部10は、ラベル付与部16及び更新部17をさらに含む。モデル更新支援システム210は、入力部40をさらに含む。
図6に表した第2実施形態に係るモデル更新支援システム210では、処理部10は、ラベル付与部16及び更新部17をさらに含む。モデル更新支援システム210は、入力部40をさらに含む。
処理部10の受付部11、分類確信度算出部12、判定部13、類似度算出部14、及び要因選択部15における処理は、モデル更新支援システム110と同様である。例えば、要因選択部15により第1情報又は第2情報が選択され、その情報が出力部30から出力される。ユーザは、出力された第1情報又は第2情報を参考にして、入力部40を操作する。
入力部40は、キーボード、マウス、タッチパネル、及びマイクロフォン(音声操作)の少なくともいずれかを含む。
第1情報が出力された場合、ユーザは、例えば、異常と判定された第1データの本来の分類に関する学習データを学習データ記憶部52に追加する操作を行う。第2情報が出力された場合、ユーザは、正しいラベルを入力する操作を行う。ラベル付与部16は、ユーザがラベルを入力すると、第2情報に係る例示データに、ユーザから入力されたラベルを付与する。ラベル付与部16は、その例示データ及びラベルを、学習データ記憶部52に記憶する。
学習データ記憶部52の学習データ群が変更されると、更新部17は、変更された後の学習データ群を用いてモデル記憶部51の第1モデルを更新(再学習)する。学習データ群の変更は、学習データの追加、又はラベルの訂正などである。更新部17は、更新した第1モデルをモデル記憶部51に記憶する。
処理部10がラベル付与部16及び更新部17を含むことで、ユーザに異常の要因を示す情報を提供するだけでなく、その異常を改善するための第1モデルの更新も実行可能となる。これにより、ユーザの利便性を向上させることができる。
図6では、1つの処理部が、受付部11、分類確信度算出部12、判定部13、類似度算出部14、要因選択部15、ラベル付与部16、及び更新部17として機能する例を表した。この例に限定されず、複数の処理部により、これらの機能が実現されても良い。例えば、ある処理部が、受付部11、分類確信度算出部12、判定部13、類似度算出部14、及び要因選択部15として機能し、別の処理部が、ラベル付与部16及び更新部17として機能として機能しても良い。それらの処理部を含むシステムは、実質的に処理部10を含むものと見なすことができる。
以上で説明した各実施形態によれば、異常の要因を示す情報を出力可能なモデル更新支援システムを提供できる。
上記の種々のデータの処理は、例えば、プログラム(ソフトウェア)に基づいて実行される。例えば、コンピュータが、このプログラムを記憶し、このプログラムを読み出すことにより、上記の種々の情報の処理が行われる。
上記の種々の情報の処理は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フレキシブルディスク及びハードディスクなど)、光ディスク(CD-ROM、CD-R、CD-RW、DVD-ROM、DVD±R、DVD±RWなど)、半導体メモリ、または、他の記録媒体に記録されても良い。
例えば、記録媒体に記録された情報は、コンピュータ(または組み込みシステム)により読み出されることが可能である。記録媒体において、記録形式(記憶形式)は任意である。例えば、コンピュータは、記録媒体からプログラムを読み出し、このプログラムに基づいてプログラムに記述されている指示をCPUで実行させる。コンピュータにおいて、プログラムの取得(または読み出し)は、ネットワークを通じて行われても良い。
記録媒体からコンピュータ(または組み込みシステム)にインストールされたプログラムに基づいてコンピュータ上で稼働している種々のソフトウェアにおいて、上記の情報の処理の少なくとも一部が実施されても良い。このソフトウェアは、例えば、OS(オペレーティングシステム)などを含む。このソフトウェアは、例えば、ネットワーク上で動作するミドルウェアなどを含んでも良い。
実施形態に係る記録媒体は、上記の種々の情報の処理をコンピュータに実行させることのできるプログラムを記憶している。実施形態に係る記録媒体には、プログラムをLANまたはインターネットなどによりダウンロードして記憶された記録媒体も含まれる。複数の記録媒体に基づいて、上記の処理が行われても良い。
実施形態に係るコンピュータは、1つまたは複数の装置(例えばパーソナルコンピュータなど)を含む。実施形態に係るコンピュータは、ネットワークにより接続された複数の装置を含んでも良い。
以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明の実施形態は、これらの具体例に限定されるものではない。例えば、処理部、取得部、出力部、入力部、記憶部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。
また、各具体例のいずれか2つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。
その他、本発明の実施の形態として上述したモデル更新支援システムを基にして、当業者が適宜設計変更して実施し得る全てのモデル更新支援システムも、本発明の要旨を包含する限り、本発明の範囲に属する。
その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10 処理部、 11 受付部、 12 分類確信度算出部、 13 判定部、 14 類似度算出部、 15 要因選択部、 16 ラベル付与部、 17 更新部、 20 取得部、 30 出力部、 40 入力部、 51 モデル記憶部、 52 学習データ記憶部、 110、210 モデル更新支援システム、 S1~S11 ステップ、 a1 第1データ、 a2 第1分類、 a3 第1分類確信度、 a4 確信度、 a5 例示データ、 a6 分類、 a7 分類確信度、 a8 ラベル、 a9 確信度、 b1 第1データ、 b2 第1分類、 b3 第1分類確信度、 b4 確信度、 c1 例示データ、 c2 分類、 c3 分類確信度、 c4 ラベル、 c5 確信度、 c6 第1情報、 d1 例示データ、 d2 分類、 d3 分類確信度、 d4 ラベル、 d5 確信度、 d6 第2情報
Claims (9)
- 複数の例示データと、前記複数の例示データにそれぞれ付与された複数のラベルと、を含む学習データ群を用いて学習された第1モデルの更新を支援するモデル更新支援システムであって、
前記第1モデルを用いて算出された、第1データの分類の確からしさを示す分類確信度と、前記第1データと前記複数の例示データとの類似性をそれぞれ示す複数の類似度と、に基づいて、前記第1モデルへの学習が十分では無いことを示す第1情報、又は前記複数のラベルの1つが適切では無いことを示す第2情報を出力可能な処理部を備えたモデル更新支援システム。 - 前記処理部は、前記第1情報を出力する際、前記第1情報と、前記第1データと、前記複数の例示データに含まれる第1例示データと、前記分類確信度と、を出力する請求項1記載のモデル更新支援システム。
- 前記第1情報は、
前記第1モデルにおいて前記第1データに関する学習が行われていないことを示す第1詳細情報と、
前記第1モデルにおいて前記第1データに関する学習が不足していることを示す第2詳細情報と、
を含み、
前記処理部は、前記第1詳細情報及び前記第2詳細情報のいずれかを、前記第1情報として出力可能である請求項2記載のモデル更新支援システム。 - 前記複数の類似度の最大値が得られた第1類似データを含む、前記複数の例示データから抽出された複数の類似データについて、前記処理部は、前記第1モデルを用いて算出された、前記複数の類似データの分類の確からしさをそれぞれ示す複数の参照確信度を参照し、
前記処理部は、前記複数の類似度の前記最大値が第1閾値未満である第1条件と、前記複数の参照確信度の平均値が第2閾値未満である又は前記複数の参照確信度のばらつきが第3閾値以上である第2条件と、の少なくともいずれかが満たされたとき、前記第1情報を出力する請求項2又は3に記載のモデル更新支援システム。 - 前記処理部は、前記第2情報を出力する際、前記第2情報と、前記複数のラベルの1つと、前記複数のラベルの前記1つが付与された第2例示データと、前記第1モデルにより推論された前記第2例示データの第2分類と、を出力し、
前記第2分類は、前記複数のラベルの前記1つと異なる請求項1記載のモデル更新支援システム。 - 前記処理部は、
前記複数の類似度の最大値が得られた第1類似データを含む、前記複数の例示データから抽出された複数の類似データと、前記第1モデルによりそれぞれ推論された前記複数の類似データの複数の分類と、を参照し、
前記複数の類似データのそれぞれについて、前記複数の類似データにそれぞれ付与された前記複数のラベルの一部と、前記複数の分類と、を対比し、
前記複数のラベルの1つが前記複数の分類の1つと一致しないときに、前記複数のラベルの前記1つを前記第2例示データとし、前記複数の分類の前記1つを前記第2分類として出力する、
請求項5記載のモデル更新支援システム。 - 前記第1情報又は前記第2情報を出力可能な出力部と、
前記第1情報又は前記第2情報に関する操作を入力可能な入力部と、
をさらに備え、
前記処理部は、前記操作を受け付けると、前記操作に基づいて前記第1モデルを更新する請求項1~6のいずれか1つに記載のモデル更新支援システム。 - 第1データの入力を受け付け、
複数の例示データと、前記複数の例示データにそれぞれ付与された複数のラベルと、を含む学習データ群を用いて学習された第1モデルに、前記第1データを入力し、前記第1データの分類の確からしさを示す第1分類確信度を取得し、
前記第1データと前記複数の例示データとの類似性をそれぞれ示す複数の類似度を算出し、
前記複数の類似度に基づいて、前記複数の例示データから第1例示データを抽出する、
処理部であって、前記第1データ、前記第1分類確信度、及び前記第1例示データの出力に加えて、前記第1分類確信度に基づいて前記第1データが異常と判定される場合に前記第1モデルの学習に関する情報を出力可能な前記処理部を備え、
前記複数の類似度に基づいて設定される第1条件、又は前記複数の例示データの一部の分類の確からしさをそれぞれ示す複数の参照確信度に基づいて設定される第2条件が充足される場合、前記情報は、前記第1モデルへの学習が十分では無いことを示す第1情報を含み、
前記第1条件及び前記第2条件のいずれも充足されない場合、前記情報は、前記複数のラベルの1つが適切では無いことを示す第2情報を含む、モデル更新支援システム。 - 前記処理部は、前記複数の類似度に基づいて、前記複数の例示データから、前記第1例示データを含む複数の類似データを抽出し、
前記第1例示データは、前記複数の例示データのうち最大の前記類似度が得られたデータであり、
前記複数の類似データは、前記第1例示データとは異なる第2例示データを含み、
前記処理部は、前記第1モデルによる前記第2例示データの分類と、前記第2例示データに付与されたラベルと、が一致しない場合、前記第2例示データと、前記第2例示データに付与された前記ラベルと、をさらに出力する、請求項8記載のモデル更新支援システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022006831A JP7225444B2 (ja) | 2018-09-13 | 2022-01-20 | モデル更新支援システム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018171824A JP2020042737A (ja) | 2018-09-13 | 2018-09-13 | モデル更新支援システム |
JP2022006831A JP7225444B2 (ja) | 2018-09-13 | 2022-01-20 | モデル更新支援システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018171824A Division JP2020042737A (ja) | 2018-09-13 | 2018-09-13 | モデル更新支援システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022040352A JP2022040352A (ja) | 2022-03-10 |
JP7225444B2 true JP7225444B2 (ja) | 2023-02-20 |
Family
ID=87888526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022006831A Active JP7225444B2 (ja) | 2018-09-13 | 2022-01-20 | モデル更新支援システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7225444B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070043722A1 (en) | 2005-08-22 | 2007-02-22 | Macnamee Brian | Classification system |
JP2010170207A (ja) | 2009-01-20 | 2010-08-05 | Hitachi Ltd | 車両監視システム |
JP2013161295A (ja) | 2012-02-06 | 2013-08-19 | Canon Inc | ラベル付加装置、ラベル付加方法及びプログラム |
JP2014142871A (ja) | 2013-01-25 | 2014-08-07 | Dainippon Screen Mfg Co Ltd | 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08221380A (ja) * | 1995-02-09 | 1996-08-30 | Hitachi Ltd | パターン認識処理方法 |
-
2022
- 2022-01-20 JP JP2022006831A patent/JP7225444B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070043722A1 (en) | 2005-08-22 | 2007-02-22 | Macnamee Brian | Classification system |
JP2010170207A (ja) | 2009-01-20 | 2010-08-05 | Hitachi Ltd | 車両監視システム |
JP2013161295A (ja) | 2012-02-06 | 2013-08-19 | Canon Inc | ラベル付加装置、ラベル付加方法及びプログラム |
JP2014142871A (ja) | 2013-01-25 | 2014-08-07 | Dainippon Screen Mfg Co Ltd | 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2022040352A (ja) | 2022-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020042737A (ja) | モデル更新支援システム | |
JP6708385B2 (ja) | 識別器作成装置、識別器作成方法、およびプログラム | |
JP6277818B2 (ja) | 機械学習装置、機械学習方法、及びプログラム | |
JP6941123B2 (ja) | 適応型追加学習を用いた細胞のアノテーション法及びアノテーションシステム | |
US8923608B2 (en) | Pre-screening training data for classifiers | |
JP6679266B2 (ja) | データ解析装置、データ解析方法及びプログラム | |
US20150120624A1 (en) | Apparatus and method for information processing | |
WO2018035878A1 (zh) | 缺陷分类方法和缺陷检查*** | |
US20230085687A1 (en) | Machine learning prediction and document rendering improvement based on content order | |
US11341770B2 (en) | Facial image identification system, identifier generation device, identification device, image identification system, and identification system | |
US10832036B2 (en) | Meta-learning for facial recognition | |
CN110717492A (zh) | 基于联合特征的图纸中字符串方向校正方法 | |
WO2021084623A1 (ja) | 劣化抑制プログラム、劣化抑制方法および情報処理装置 | |
JP7422548B2 (ja) | ラベルノイズ検出プログラム、ラベルノイズ検出方法及びラベルノイズ検出装置 | |
JPWO2018116921A1 (ja) | 辞書学習装置、辞書学習方法、データ認識方法およびコンピュータプログラム | |
JP7298825B2 (ja) | 学習支援装置、学習装置、学習支援方法及び学習支援プログラム | |
JP2012048624A (ja) | 学習装置、方法及びプログラム | |
US20200050899A1 (en) | Automatically filtering out objects based on user preferences | |
JP7225444B2 (ja) | モデル更新支援システム | |
US11663761B2 (en) | Hand-drawn diagram recognition using visual arrow-relation detection | |
EP4105893A1 (en) | Dynamic artifical intelligence camera model update | |
WO2021235061A1 (ja) | 画像分類装置、画像分類方法、及び、画像分類プログラム | |
CN113537158B (zh) | 一种图像目标检测方法、装置、设备及存储介质 | |
KR102393951B1 (ko) | 객체 중심 데이터 증강 방법 | |
KR20180082680A (ko) | 분류기를 학습시키는 방법 및 이를 이용한 예측 분류 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230208 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7225444 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |