JP7225444B2 - モデル更新支援システム - Google Patents

Description

本発明の実施形態は、モデル更新支援システムに関する。

深層学習を用いて学習されたモデルは、データを分類する際などに用いられる。データを継続的に精度良く分類するためには、モデルを適宜更新することが望ましい。

特開２００３－１３２３３２号公報

本発明の実施形態は、モデルの更新を支援可能なモデル更新支援システムを提供する。

実施形態に係るモデル更新支援システムは、複数の例示データと、前記複数の例示データにそれぞれ付与された複数のラベルと、を含む学習データ群を用いて学習された第１モデルの更新を支援する。前記モデル更新支援システムは、処理部を含む。前記処理部は、前記第１モデルを用いて算出された、第１データの分類の確からしさを示す分類確信度と、前記第１データと前記複数の例示データとの類似性をそれぞれ示す複数の類似度と、に基づいて、前記第１モデルへの学習が十分では無いことを示す第１情報、又は前記複数のラベルの１つが適切では無いことを示す第２情報を出力可能である。

第１実施形態に係るモデル更新支援システムの構成を表す模式図である。 第１実施形態に係るモデル更新支援システムによる出力を例示する模式図である。 第１実施形態に係るモデル更新支援システムを用いた処理を例示するフローチャートである。 第１実施形態に係るモデル更新支援システムによる出力を例示する模式図である。 第１実施形態に係るモデル更新支援システムによる出力を例示する模式図である。 第２実施形態に係るモデル更新支援システムの構成を表す模式図である。

以下に、本発明の各実施形態について図面を参照しつつ説明する。
本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

図１は、第１実施形態に係るモデル更新支援システムの構成を表す模式図である。
図１に表した第１実施形態に係るモデル更新支援システム１１０は、学習済みのモデルの更新を支援するために用いられる。

例えば、学習済みのモデルを用いて、データを分類することがある。各分類に関してモデルが十分且つ適切に学習されていれば、モデルは入力されたデータの分類をより正確に推論できる。

しかし、ある分類に関して、モデルが十分に学習されていなかったり、モデルが適切に学習されていなかったりする場合がある。この場合、その分類と推論されるべきデータが、別の分類と推論される可能性がある。又は、その分類と推論されたが、分類確信度が低い可能性がある。

分類確信度は、モデルがデータを分類する際に算出される値である。分類確信度は、推論された分類の確からしさを示す。分類確信度が高いほど、モデルによって推論されたデータの分類が実際の分類に一致している可能性が高い。

以降では、モデルによって正しい分類が推論できなかったデータ、又は正しい分類を推論できたが分類確信度が低かったデータを、「異常」なデータと呼ぶ。モデルによって正しい分類が推論でき、且つ分類確信度が高いデータを、「正常」なデータと呼ぶ。

モデルによるデータの分類時に異常なデータが発生した場合、そのモデルを更新（再学習）させることが望ましい。しかし、異常は、モデルの学習に用いた学習データやモデルの内部構造に起因することが多い。このため、異常の要因が何かユーザが判別することは容易では無い。

モデル更新支援システム１１０は、異常の要因に関する情報をユーザに提供し、モデルの更新を支援するために用いられる。モデル更新支援システム１１０から情報が提供されることで、ユーザは、その情報を基に、どのようにモデルを更新すれば良いか知ることができる。

実施形態に係るモデル更新支援システム１１０は、処理部１０を含む。図１に表したように、モデル更新支援システム１１０は、取得部２０、出力部３０、モデル記憶部５１、学習データ記憶部５２をさらに含んでいても良い。

取得部２０は、映像や音声などの情報をデジタルデータとして取得し、処理部１０へ出力する。取得部２０は、例えば、撮像装置及びマイクの少なくともいずれかを含む。取得部２０は、取得した情報を不図示の記憶部に記憶しても良い。この場合、処理部１０は、その記憶部にアクセスし、取得されたデータを参照する。

処理部１０は、例えば、ＣＰＵ（Central Processing Unit）及び電子回路などを含む。処理部１０は、受付部１１、分類確信度算出部１２、判定部１３、類似度算出部１４、及び要因選択部１５を含む。

例えば、取得部２０が、撮影又は音声記録を行い、第１データを取得する。受付部１１は、取得部２０から出力された第１データを受け付ける。受付部１１が第１データを受け付けると、分類確信度算出部１２は、モデル記憶部５１及び学習データ記憶部５２にアクセスする。

モデル記憶部５１は、学習済みの第１モデルを記憶している。学習データ記憶部５２は、第１モデルの学習に用いられた学習データ群を記憶している。学習データ群は、複数の学習データを含む。それぞれの学習データは、１つの例示データと、その例示データの分類を示す１つのラベルと、を含む。

モデル記憶部５１及び学習データ記憶部５２は、ハードディスクドライブ、フラッシュメモリ、又はネットワークハードディスクなどの記憶媒体を含む。１つの記憶媒体がモデル記憶部５１及び学習データ記憶部５２として機能しても良い。

分類確信度算出部１２は、第１モデルに第１データを入力し、第１モデルに第１データの分類を推論させる。この推論時における第１モデルの出力を基に、分類確信度算出部１２は、第１分類確信度を算出する。第１分類確信度は、第１モデルにより推論された第１データの分類（第１分類）の確からしさを示す。

さらに、分類確信度算出部１２は、第１モデルに複数の例示データを順次入力し、複数の分類確信度を算出する。分類確信度算出部１２は、第１データと、第１分類確信度と、複数の例示データに基づく複数の分類確信度と、を判定部１３に出力する。

判定部１３は、第１分類確信度及び複数の分類確信度に基づいて、第１分類確信度が十分に高いか判定する。例えば、判定部１３は、複数の分類確信度の平均値及びばらつきを算出し、平均値及びばらつき用いて閾値を設定する。判定部１３は、第１分類確信度を設定された閾値と比較する。判定部１３は、第１分類確信度が閾値以上であると、第１データは正常であると判定する。これは、第１分類確信度が十分に高く、第１データの分類が正しく推論されている可能性が高いことを意味する。

閾値の設定方法は、この例に限定されない。閾値の設定に複数の分類確信度を用いず、ユーザにより予め設定された値が閾値として用いられても良い。この場合、分類確信度算出部１２による複数の分類確信度の算出、判定部１３による平均値及びばらつきの算出などは不要である。

第１分類確信度が閾値未満であると、第１データが異常であることを意味する。この場合、判定部１３は、第１データを類似度算出部１４へ出力し、複数の例示データに関する複数の分類確信度を要因選択部１５へ出力する。

類似度算出部１４は、第１データと複数の例示データを用いて、複数の類似度を算出する。複数の類似度は、それぞれ、第１データと複数の例示データとの類似性を示す。類似度算出部１４は、算出した複数の類似度を要因選択部１５へ出力する。

要因選択部１５は、複数の類似度に基づいて第１情報又は第２情報を選択可能である。この例では、要因選択部１５が、複数の類似度と、複数の分類確信度の少なくとも一部と、に基づいて、第１情報又は第２情報を適宜選択する場合について説明する。第１情報は、モデルへの学習が十分では無いことを示す。第２情報は、学習データ群に含まれるいずれかのラベルが適切では無いことを示す。

要因選択部１５は、第１情報又は第２情報を選択した場合、選択した情報を出力部３０へ出力する。要因選択部１５は、複数の分類確信度及び複数の類似度に基づいて、第１情報又は第２情報を選択しない場合もある。

出力部３０は、ユーザが認識できるように第１情報又は第２情報を出力する。出力部３０は、モニタ、スピーカ、及びプリンタの少なくともいずれかを含む。例えば、出力部３０は、モニタ又はプリンタを含み、第１情報又は第２情報を視認可能に出力する。出力部３０は、第１情報又は第２情報とともに、別の情報を出力しても良い。別の情報としては、第１データ、第１分類、第１分類確信度、第１データに類似する第１例示データ、第１例示データの分類、第１例示データについての分類確信度、適切では無いと判断されたラベル、そのラベルが付与された第２例示データ、などである。

第１実施形態に係るモデル更新支援システム１１０によれば、第１データが異常であった場合に、その要因を示す情報をユーザへ提供できる。ユーザは、提供された情報を基に、第１モデルを更新できる。例えば、第１モデルについて、第１分類に関する学習が不十分である場合は、第１分類に関して第１モデルを再学習させる。ラベルに誤りがあった場合は、ラベルを訂正した学習データを用いて第１モデルを再学習させる。これにより、それ以降に、第１モデルを用いてデータをより精度良く分類できるようになる。

以下で、モデル更新支援システム１１０に関する処理の一例をより具体的に説明する。
第１モデルは、例えば以下の方法により作成される。まず、学習前のモデルに、入力されたデータを種類ごとに分類させるようなタスクについて深層学習を適用させる。次に、ラベルが付与されていない例示データを入力して事前学習を行う。その後、データの種類ごとに教示された（ラベル付けされた）例示データを用いてFineTuningを実施する。作成された学習モデルに対して、分類したいデータを入力し、深層学習による分類（ラベル付け）を行う。

分類確信度算出部１２は、学習済みの第１モデルに第１データを入力し、第１モデルから出力ベクトルを取得する。分類確信度算出部１２は、出力ベクトルをsoftmax関数に入力し、その出力ベクトルの中の最大値が得られた分類を、その第１データの分類と推論する。また、その最大値を、分類確信度とする。

判定部１３は、学習データ群に含まれる複数の例示データを第１モデルへ順次入力し、分類確信度算出部１２で算出した複数の分類確信度を取得する。判定部１３は、それらの分類確信度の平均（μ）と、その分散（σ）と、第１データの第１分類確信度（ｘ）と、を比較することで、第１データが正常か異常かを判定する。例えば、以下の「数１」が成立するとき、判定部１３は、第１データを異常と判定する。αは、予め設定される係数である。

類似度算出部１４は、第１データと複数の例示データとの間でそれぞれ複数の類似度を算出する。類似度算出部１４は、例えば以下の「数２」で表現されるユークリッド距離ｄを基に類似度を算出する。例えば、第１データと例示データとの間の類似度の値が大きいほど、それらのデータがより類似していることを示す。類似度の算出には、ユークリッド距離以外に、コサイン類似度などが用いられても良い。

「数２」において、ｐ＝（ｐ１、ｐ２、・・・、ｐｉ）は、第１モデルによる第１データの推論時において、最終層よりひとつ前の層の出力ベクトルを表す。ｑ＝（ｑ１、ｑ２、・・・ｑｉ）は、第１モデルによる例示データの推論時において、最終層よりひとつ前の層の出力ベクトルを表す。又は、出力ベクトルとして、第１データ及び例示データの推論時における最終層から２層以上前の出力ベクトル又は最終層の出力ベクトルを用いても良い。

要因選択部１５は、第１情報又は第２情報を選択可能である。
例えば、第１情報は、以下の第１詳細情報及び第２詳細情報を含む。第１詳細情報は、第１モデルへの学習時に、第１データの第１分類に関する学習データが無かったことを示す。第２詳細情報は、第１モデルへの学習時に、第１分類に関する学習データがあったが、第１分類に関する学習が十分では無いことを示す。

要因選択部１５は、第１条件が満たされる場合、第１詳細情報を選択する。第１条件は、複数の類似度の最大値が第１閾値を下回ることである。ある例示データと第１データとの類似度が最大であることは、その例示データが学習データの中で最も第１データに類似していることを示す。類似度の最大値が第１閾値未満であることは、学習データ群の中で第１データに最も類似する例示データが、第１データとは似ていないことを示す。これは、第１モデルへの学習時、学習データに、第１データと類似するデータ（第１分類に属するデータ）が含まれていなかったことを示す。

要因選択部１５は、第１条件が満たされないとき、複数の例示データから複数の類似データを抽出する。複数の類似データは、複数の類似度の最大値が得られた第１例示データを含む。複数の類似データは、複数の例示データの中で、第１データに比較的類似したデータである。要因選択部１５は、複数の類似データの分類の確からしさをそれぞれ示す複数の参照確信度を参照する。複数の参照確信度は、分類確信度算出部１２により算出された複数の分類確信度の一部である。

要因選択部１５は、複数の参照確信度の平均値及びばらつきを算出する。要因選択部１５は、第２条件が満たされる場合、第２詳細情報を選択する。第２条件は、平均値が第２閾値未満であること、又はばらつきが第３閾値以上となることである。第２条件は、平均値が第２閾値未満であり、且つばらつきが第３閾値以上となることであっても良い。

類似度の最大値が第１閾値以上であることは、学習データ群に第１データと類似するデータが含まれていることを示す。一方、複数の参照確信度の平均値が第２閾値未満、又はばらつきが第３閾値以上であることは、第１モデルが第１データに関して十分に学習されていないことを示す。すなわち、第１モデルの学習時に、第１データと類似する例示データ（第１分類に属する例示データ）が学習データ群に十分に含まれていなかったことを示す。

第１条件又は第２条件が満たされない場合、要因選択部１５は、学習データ群に含まれる不適切なラベルが異常の要因と判断し、第２情報を選択する。

又は、要因選択部１５は、第１条件又は第２条件が満たされない場合、第１モデルによりそれぞれ推論された複数の類似データの複数の分類を参照する。要因選択部１５は、複数の類似データのそれぞれについて、複数の類似データにそれぞれ付与された複数のラベルと、複数の分類と、を対比する。要因選択部１５は、ある類似データについて、複数のラベルの１つと、複数の分類の１つと、が一致しないとき、第２情報を選択する。要因選択部１５は、複数の分類と複数のラベルがそれぞれ一致しているときは、いずれの情報も選択せず、処理を終了する。

図２は、第１実施形態に係るモデル更新支援システムによる出力を例示する模式図である。
図３は、第１実施形態に係るモデル更新支援システムを用いた処理を例示するフローチャートである。
図４及び図５は、第１実施形態に係るモデル更新支援システムによる出力を例示する模式図である。
ここでは、第１モデルに犬の画像を入力し、第１モデルに犬種を推論させる例について説明する。この例では、出力部３０は、モニタである。

例えば、判定部１３により第１データが正常と判定されると、処理部１０は、第１モデルにより推論された第１データの第１分類と、第１分類確信度と、を出力部３０に表示させる。

図２は、第１データが正常であったときの出力例を示す。図２に表した例では、処理部１０により、第１データａ１、第１分類ａ２、第１分類確信度ａ３、第１データに関する各分類の確信度ａ４、第１データと類似する１つ以上の例示データａ５、第１モデルにより推論されたその例示データの分類ａ６、分類確信度ａ７、例示データに付与されたラベルａ８、例示データに関する各分類の確信度ａ９などが表示されている。

入力されたデータが判定部１３により異常と判定されると、そのデータと複数の例示データとの間の複数の類似度が要因選択部１５に入力され、図３に表したフローチャートの処理が開始される。要因選択部１５は、異常と判定された第１データと、その第１データに関する各分類の分類確信度と、を出力部３０に表示させる（ステップＳ１）。

ユーザは、出力部３０に表示された第１データを確認し、そのデータに見た目で不具合があるか判断する（ステップＳ２）。見た目の不具合としては、例えば、画面全体がボケており画像そのものが認識できない場合などが挙げられる。見た目で不具合がある場合、そのデータが異常と判定された要因は、撮影時の不具合と判断される（ステップＳ３）。

見た目で不具合が無い場合、要因選択部１５は、第１データと類似度が相対的に高い例示データを出力部３０に表示させる（ステップＳ４）。ユーザは、表示された例示データが、第１データと似ているか判断する（ステップＳ５）。

表示された例示データが第１データと似ていない場合、要因選択部１５は、異常の要因が第１モデルの学習不足であると判断し（ステップＳ６）、第１詳細情報を選択する。すなわち、第１モデルに対して、第１データに関する学習が行われてないと判断される。

例示データが第１データと似ているかユーザが判断する代わりに、要因選択部１５が類似度を用いて判断しても良い。例えば、要因選択部１５は、上述した通り、第１条件が満たされるか判断する。要因選択部１５は、第１条件が満たされる場合、第１詳細情報を選択する。

表示された例示データが第１データと似ている（第１条件が満たされない）場合、要因選択部１５は、上述した通り、第２条件が満たされるか判断する（ステップＳ７）。第２条件が満たされる場合、要因選択部１５は、異常の要因が第１モデルの学習不足であると判断し（ステップＳ８）、第２詳細情報を選択する。より具体的には、第１モデルに対して、第１データに関する学習は行われているが、学習が十分では無いと判断される。

第２条件が満たされない場合、要因選択部１５は、複数の類似データのそれぞれについて、第１モデルにより推論された複数の類似データの分類と、複数の類似データに付与されたラベルと、が一致するか判断する（ステップＳ９）。一致しない場合、要因選択部１５は、異常の要因がラベルのミスであると判断し（ステップＳ１０）、第２情報を選択する。一致する場合、要因選択部１５は、異常であることについて、問題は無いと判断し（ステップＳ１１）、処理を終了する。

上記の処理において、要因選択部１５が少なくともいずれかの情報を選択した場合、要因選択部１５は、その情報を出力部３０に表示させる。図４は、要因選択部１５が、出力部３０に第１情報及び第２情報を表示させた場合を例示している。

図４の例では、第１データについて、第１データｂ１、第１分類ｂ２、第１分類確信度ｂ３、及び第１データに関する各分類の確信度ｂ４が表示されている。第１情報について、第１データと類似する例示データｃ１、第１モデルにより推論された例示データｃ１の分類ｃ２、分類ｃ２の確からしさを示す分類確信度ｃ３、例示データｃ１に付与されたラベルｃ４、例示データｃ１に関する各分類の確信度ｃ５、第１情報ｃ６などが表示されている。第２情報について、ラベルと分類の不一致が発見された例示データｄ１、第１モデルにより推論された例示データｄ１の分類ｄ２、分類ｄ２の確からしさを示す分類確信度ｄ３、例示データｄ１に付与されたラベルｄ４、例示データｄ１に関する各分類の確信度ｄ５、第２情報ｄ６などが表示されている。

第１情報又は第２情報に関する例示データが表示された領域が、他のデータが表示された領域に対して、区別可能に表示されても良い。図４に表した例では、例示データｃ１及び例示データｄ１が表示された領域には、他のデータと区別可能にパターンが表示されている。パターンに代えて互いに異なる色などが付されても良い。

処理部１０は、さらに別の情報を出力部３０に出力させても良い。例えば、処理部１０は、推論時にデータのどの部分に反応しているかを示す誘目度マップ（SaliencyMap）を出力部３０に表示させても良い。処理部１０は、第１データの画像のＲ、Ｇ、Ｂをそれぞれ別々に表示させても良い。更に、第１データの画像と誘目度マップを重畳表示させても良い。

ここでは、処理部１０に１つのデータが入力される場合について説明した。処理部１０には、複数のデータ（例えば複数の画像）が入力されても良い。このとき、最初に入力された複数のデータに対して図５に表したような分類のヒストグラムを提示しても良い。これにより、ユーザは、分類ごとの偏りが無いか判断できる。偏りがあった場合は、恣意的に実施された検査などの可能性などを検出できる。

以上で説明したように、要因選択部１５を含む処理部１０を備えたモデル更新支援システムによれば、第１モデルを用いて算出された、第１データの分類の確からしさを示す分類確信度と、第１データと複数の例示データとの類似性をそれぞれ示す複数の類似度と、に基づいて、第１モデルへの学習が十分では無いことを示す第１情報、又は複数のラベルの１つが適切では無いことを示す第２情報を出力可能である。異常の要因を示す情報がユーザに提供されることで、第１モデルの更新が容易となる。

図１に表した例では、処理部１０が、要因選択部１５以外に、受付部１１、分類確信度算出部１２、判定部１３、及び類似度算出部１４を含む。この例に限定されず、処理部１０は、要因選択部１５以外を含んでいなくても良い。例えば、別の処理部で類似度や分類確信度が算出され、その計算結果が処理部１０に入力されても良い。

図６は、第２実施形態に係るモデル更新支援システムの構成を表す模式図である。
図６に表した第２実施形態に係るモデル更新支援システム２１０では、処理部１０は、ラベル付与部１６及び更新部１７をさらに含む。モデル更新支援システム２１０は、入力部４０をさらに含む。

処理部１０の受付部１１、分類確信度算出部１２、判定部１３、類似度算出部１４、及び要因選択部１５における処理は、モデル更新支援システム１１０と同様である。例えば、要因選択部１５により第１情報又は第２情報が選択され、その情報が出力部３０から出力される。ユーザは、出力された第１情報又は第２情報を参考にして、入力部４０を操作する。

入力部４０は、キーボード、マウス、タッチパネル、及びマイクロフォン（音声操作）の少なくともいずれかを含む。

第１情報が出力された場合、ユーザは、例えば、異常と判定された第１データの本来の分類に関する学習データを学習データ記憶部５２に追加する操作を行う。第２情報が出力された場合、ユーザは、正しいラベルを入力する操作を行う。ラベル付与部１６は、ユーザがラベルを入力すると、第２情報に係る例示データに、ユーザから入力されたラベルを付与する。ラベル付与部１６は、その例示データ及びラベルを、学習データ記憶部５２に記憶する。

学習データ記憶部５２の学習データ群が変更されると、更新部１７は、変更された後の学習データ群を用いてモデル記憶部５１の第１モデルを更新（再学習）する。学習データ群の変更は、学習データの追加、又はラベルの訂正などである。更新部１７は、更新した第１モデルをモデル記憶部５１に記憶する。

処理部１０がラベル付与部１６及び更新部１７を含むことで、ユーザに異常の要因を示す情報を提供するだけでなく、その異常を改善するための第１モデルの更新も実行可能となる。これにより、ユーザの利便性を向上させることができる。

図６では、１つの処理部が、受付部１１、分類確信度算出部１２、判定部１３、類似度算出部１４、要因選択部１５、ラベル付与部１６、及び更新部１７として機能する例を表した。この例に限定されず、複数の処理部により、これらの機能が実現されても良い。例えば、ある処理部が、受付部１１、分類確信度算出部１２、判定部１３、類似度算出部１４、及び要因選択部１５として機能し、別の処理部が、ラベル付与部１６及び更新部１７として機能として機能しても良い。それらの処理部を含むシステムは、実質的に処理部１０を含むものと見なすことができる。

以上で説明した各実施形態によれば、異常の要因を示す情報を出力可能なモデル更新支援システムを提供できる。

上記の種々のデータの処理は、例えば、プログラム（ソフトウェア）に基づいて実行される。例えば、コンピュータが、このプログラムを記憶し、このプログラムを読み出すことにより、上記の種々の情報の処理が行われる。

上記の種々の情報の処理は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク及びハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、または、他の記録媒体に記録されても良い。

例えば、記録媒体に記録された情報は、コンピュータ（または組み込みシステム）により読み出されることが可能である。記録媒体において、記録形式（記憶形式）は任意である。例えば、コンピュータは、記録媒体からプログラムを読み出し、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させる。コンピュータにおいて、プログラムの取得（または読み出し）は、ネットワークを通じて行われても良い。

記録媒体からコンピュータ（または組み込みシステム）にインストールされたプログラムに基づいてコンピュータ上で稼働している種々のソフトウェアにおいて、上記の情報の処理の少なくとも一部が実施されても良い。このソフトウェアは、例えば、ＯＳ（オペレーティングシステム）などを含む。このソフトウェアは、例えば、ネットワーク上で動作するミドルウェアなどを含んでも良い。

実施形態に係る記録媒体は、上記の種々の情報の処理をコンピュータに実行させることのできるプログラムを記憶している。実施形態に係る記録媒体には、プログラムをＬＡＮまたはインターネットなどによりダウンロードして記憶された記録媒体も含まれる。複数の記録媒体に基づいて、上記の処理が行われても良い。

実施形態に係るコンピュータは、１つまたは複数の装置（例えばパーソナルコンピュータなど）を含む。実施形態に係るコンピュータは、ネットワークにより接続された複数の装置を含んでも良い。

以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明の実施形態は、これらの具体例に限定されるものではない。例えば、処理部、取得部、出力部、入力部、記憶部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。

また、各具体例のいずれか２つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。

その他、本発明の実施の形態として上述したモデル更新支援システムを基にして、当業者が適宜設計変更して実施し得る全てのモデル更新支援システムも、本発明の要旨を包含する限り、本発明の範囲に属する。

その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 処理部、 １１ 受付部、 １２ 分類確信度算出部、 １３ 判定部、 １４ 類似度算出部、 １５ 要因選択部、 １６ ラベル付与部、 １７ 更新部、 ２０ 取得部、 ３０ 出力部、 ４０ 入力部、 ５１ モデル記憶部、 ５２ 学習データ記憶部、 １１０、２１０ モデル更新支援システム、 Ｓ１～Ｓ１１ ステップ、 ａ１ 第１データ、 ａ２ 第１分類、 ａ３ 第１分類確信度、 ａ４ 確信度、 ａ５ 例示データ、 ａ６ 分類、 ａ７ 分類確信度、 ａ８ ラベル、 ａ９ 確信度、 ｂ１ 第１データ、 ｂ２ 第１分類、 ｂ３ 第１分類確信度、 ｂ４ 確信度、 ｃ１ 例示データ、 ｃ２ 分類、 ｃ３ 分類確信度、 ｃ４ ラベル、 ｃ５ 確信度、 ｃ６ 第１情報、 ｄ１ 例示データ、 ｄ２ 分類、 ｄ３ 分類確信度、 ｄ４ ラベル、 ｄ５ 確信度、 ｄ６ 第２情報

Claims (9)

1. 複数の例示データと、前記複数の例示データにそれぞれ付与された複数のラベルと、を含む学習データ群を用いて学習された第１モデルの更新を支援するモデル更新支援システムであって、
   前記第１モデルを用いて算出された、第１データの分類の確からしさを示す分類確信度と、前記第１データと前記複数の例示データとの類似性をそれぞれ示す複数の類似度と、に基づいて、前記第１モデルへの学習が十分では無いことを示す第１情報、又は前記複数のラベルの１つが適切では無いことを示す第２情報を出力可能な処理部を備えたモデル更新支援システム。
2. 前記処理部は、前記第１情報を出力する際、前記第１情報と、前記第１データと、前記複数の例示データに含まれる第１例示データと、前記分類確信度と、を出力する請求項１記載のモデル更新支援システム。
3. 前記第１情報は、
   前記第１モデルにおいて前記第１データに関する学習が行われていないことを示す第１詳細情報と、
   前記第１モデルにおいて前記第１データに関する学習が不足していることを示す第２詳細情報と、
   を含み、
   前記処理部は、前記第１詳細情報及び前記第２詳細情報のいずれかを、前記第１情報として出力可能である請求項２記載のモデル更新支援システム。
4. 前記複数の類似度の最大値が得られた第１類似データを含む、前記複数の例示データから抽出された複数の類似データについて、前記処理部は、前記第１モデルを用いて算出された、前記複数の類似データの分類の確からしさをそれぞれ示す複数の参照確信度を参照し、
   前記処理部は、前記複数の類似度の前記最大値が第１閾値未満である第１条件と、前記複数の参照確信度の平均値が第２閾値未満である又は前記複数の参照確信度のばらつきが第３閾値以上である第２条件と、の少なくともいずれかが満たされたとき、前記第１情報を出力する請求項２又は３に記載のモデル更新支援システム。
5. 前記処理部は、前記第２情報を出力する際、前記第２情報と、前記複数のラベルの１つと、前記複数のラベルの前記１つが付与された第２例示データと、前記第１モデルにより推論された前記第２例示データの第２分類と、を出力し、
   前記第２分類は、前記複数のラベルの前記１つと異なる請求項１記載のモデル更新支援システム。
6. 前記処理部は、
   前記複数の類似度の最大値が得られた第１類似データを含む、前記複数の例示データから抽出された複数の類似データと、前記第１モデルによりそれぞれ推論された前記複数の類似データの複数の分類と、を参照し、
   前記複数の類似データのそれぞれについて、前記複数の類似データにそれぞれ付与された前記複数のラベルの一部と、前記複数の分類と、を対比し、
   前記複数のラベルの１つが前記複数の分類の１つと一致しないときに、前記複数のラベルの前記１つを前記第２例示データとし、前記複数の分類の前記１つを前記第２分類として出力する、
   請求項５記載のモデル更新支援システム。
7. 前記第１情報又は前記第２情報を出力可能な出力部と、
   前記第１情報又は前記第２情報に関する操作を入力可能な入力部と、
   をさらに備え、
   前記処理部は、前記操作を受け付けると、前記操作に基づいて前記第１モデルを更新する請求項１～６のいずれか１つに記載のモデル更新支援システム。
8. 第１データの入力を受け付け、
   複数の例示データと、前記複数の例示データにそれぞれ付与された複数のラベルと、を含む学習データ群を用いて学習された第１モデルに、前記第１データを入力し、前記第１データの分類の確からしさを示す第１分類確信度を取得し、
   前記第１データと前記複数の例示データとの類似性をそれぞれ示す複数の類似度を算出し、
   前記複数の類似度に基づいて、前記複数の例示データから第１例示データを抽出する、
   処理部であって、前記第１データ、前記第１分類確信度、及び前記第１例示データの出力に加えて、前記第１分類確信度に基づいて前記第１データが異常と判定される場合に前記第１モデルの学習に関する情報を出力可能な前記処理部を備え、
   前記複数の類似度に基づいて設定される第１条件、又は前記複数の例示データの一部の分類の確からしさをそれぞれ示す複数の参照確信度に基づいて設定される第２条件が充足される場合、前記情報は、前記第１モデルへの学習が十分では無いことを示す第１情報を含み、
   前記第１条件及び前記第２条件のいずれも充足されない場合、前記情報は、前記複数のラベルの１つが適切では無いことを示す第２情報を含む、モデル更新支援システム。
9. 前記処理部は、前記複数の類似度に基づいて、前記複数の例示データから、前記第１例示データを含む複数の類似データを抽出し、
   前記第１例示データは、前記複数の例示データのうち最大の前記類似度が得られたデータであり、
   前記複数の類似データは、前記第１例示データとは異なる第２例示データを含み、
   前記処理部は、前記第１モデルによる前記第２例示データの分類と、前記第２例示データに付与されたラベルと、が一致しない場合、前記第２例示データと、前記第２例示データに付与された前記ラベルと、をさらに出力する、請求項８記載のモデル更新支援システム。

Images