JP7315022B2 - 機械学習装置、機械学習方法、及び、機械学習プログラム - Google Patents

Description

本願発明は、時系列のデータに対して所定の判定を行う際に用いる学習モデルを生成するシステムにおいて、その教師データを生成する技術に関する。

現在、画像認識等を行う多くのシステムにおいて、統計的機械学習の手法が用いられている。この統計的機械学習では、認識対象のドメインに関連した正解ラベル（正解情報）が付与されたデータ（教師データ）を大量に用意し、これらの教師データを学習および評価用に用いることが必要となる。しかしながら、このような教師データの準備には、時間的、金銭的、労力的な観点で、極めて高いコストがかかっているという問題がある。したがって、このような教師データを効率的に得る（データに対するラベルの付与を効率的に行う）技術への期待が高まってきている。

このような技術に関連する技術として、特許文献１には、分類または回帰のための機械学習モデルを用いて、ラベル付けされていないかまたは部分的にラベル付けされた目標データセットをモデリングする方法が開示されている。この方法では、目標データセットを機械学習モデルによって処理する。この方法では、ラベル付けまたはラベル検証のためのユーザに対する提示用に、目標データセットのサブグループを作成する。この方法では、サブグループのラベル検証またはユーザ再ラベル付けまたはユーザラベル付けを受信する。そしてこの方法では、更新された目標データセットを機械学習モデルによって再処理する。

また、特許文献２には、状況別に用意された対象物の複数の画像例をもとに、この対象物の特徴を学習して予め当該状況別に構築された複数種類の辞書を備える画像認識システムが開示されている。このシステムは、撮像装置で画像が得られたときの場所および時間帯に応じた辞書を選択し、撮像装置で得られた画像から抽出した抽出画像と選択した辞書中の複数種類のパターンとを順次照合していくことによって、対象物であるか否かの判定を行う。

また、特許文献３には、画像内容を表す定義ラベルを予め定義しておき、インデキシング対象の映像の中で前記定義ラベルに該当するシーンが出現したときに当該シーンに定義ラベルを付与する映像インデキシング装置が開示されている。その装置は、第１のクラス識別関数と、第２のクラス識別関数とを、辞書データとして記憶する。第１のクラス識別関数は、定義ラベルと、学習用の画像として与えられた当該定義ラベルを表す正しい正事例画像から抽出された特徴量により算出された、処理対象画像がその定義ラベルを表す画像であるか否かを判別する。第２のクラス識別関数は、学習用の画像として与えられた当該定義ラベルを表す正しい正事例画像と正しくない負事例画像とから抽出された特徴量により算出された、正事例画像と負事例画像とを識別する。この装置は、インデキシング対象の映像が与えられたときに、当該映像から選択したフレーム画像について、第１のクラス識別関数を用いて定義ラベルを表す画像であるか否かを判別し、その定義ラベルを付与する候補となるフレーム画像を求める。この装置は、候補となるフレーム画像について、第２のクラス識別関数を用いて正事例画像もしくは負事例画像のどちらに該当するかを判別することにより、候補となるフレーム画像から負事例画像に該当する画像を排除し、正事例画像に該当する定義ラベルを付与すべき画像に定義ラベルを付与する。

特表２０１８－５３７７９８号公報 特開２０１１－０５９８１０号公報 特開２００９－１８１３０６号公報

例えば、監視映像等の時系列のデータから目的とする対象物を識別するようなシステムでは、ポジティブデータ（検出したい対象物を含む画像）とネガティブデータ（検出したい対象物を含まない画像）とを用いて統計的機械学習を行う。この場合、ポジティブデータに対しては、含まれる対象物の種別に応じて、例えば「車両」、「歩行者」等のクラス分けが行われ、当該クラスを表すラベルを画像に付与したラベル付与データ（教師データ）が生成される。一方、ネガティブデータに対しては、「その他」あるいは「ネガティブ」というような１つのクラスを表すラベルが割り当てられたラベル付与データが生成される。

そして、上述した監視映像等から目的とする対象物を識別するようなシステムでは、統計的機械学習の際に使用する時系列の画像には、一般的に、大量のネガティブデータが含まれていることが多い。このような場合、機械学習の際に使用するラベル付与データの大部分が、「その他」あるいは「ネガティブ」というような特定の１つのクラスに属することになり、学習データにおける不均衡（data imbalance）が生じる。その結果、このようなシステムでは、機械学習を行なった結果を表す学習モデルの精度が低下するという問題がある。

また、実際の判定結果において、監視映像に対象物が写っている期間において、ある画像（フレーム）においては対象物の検出に成功する一方、別の画像においては対象物の検出に失敗する（「ポジティブ」を「ネガティブ」と誤判定する）場合がある。あるいはその逆に、実際には当該対象物が含まれない画像において、当該対象物を誤って検出する（「ネガティブ」を「ポジティブ」と誤判定する）ことも起こり得る。

このような誤判定は、対象物の動き、対象物の姿勢、背景の変異、光源やノイズの変異などに起因する画像の変異に対して、現在の判定手段が有する判定能力では対応しきれていないことによって生じる現象であると考えられる。このような誤判定が発生した画像は、学習モデルの精度を高めるための教師データとして好適であると考えられるが、一般的にはこのような誤判定が発生した画像が監視映像全体に占める（即ち、教師データとして占める）割合は、例えば「ネガティブ」であることを正しく判定しているときの画像などが占める割合と比較して非常に小さい。したがって、このような誤判定を回避するように機械学習を行った結果は学習モデルに反映され難く、効率的に統計的機械学習を行うことが困難であるという問題もある。

即ち、時系列のデータに基づいて機械学習を行う場合において、上述したような問題を解消して、効率的に機械学習の精度を高めることが課題である。上述した特許文献１乃至３が示す技術は、この課題を解決するのに十分であるとは言えない。

本願発明の主たる目的は、時系列のデータに基づいて機械学習を行う場合において、効率的に学習モデルの精度を高めることである。

本願発明の一態様に係る機械学習装置は、時系列のデータを構成する１以上の単位データに対して所定の判定を行う際に用いる学習モデルを生成した判定手段から出力された、前記単位データに対する判定結果において、時間の経過に伴う一貫性の崩れを検出する検出手段と、前記検出手段による検出結果に基づいて、前記判定手段が前記学習モデルを更新する際に教師データとして用いる前記単位データを選択する選択手段と、を備える。

上記目的を達成する他の見地において、本願発明の一態様に係る機械学習方法は、情報処理装置によって、時系列のデータを構成する１以上の単位データに対して所定の判定を行う際に用いる学習モデルを生成した判定手段から出力された、前記単位データに対する判定結果において、時間の経過に伴う一貫性の崩れを検出し、前記一貫性の崩れの検出結果に基づいて、前記判定手段が前記学習モデルを更新する際に教師データとして用いる前記単位データを選択する。

また、上記目的を達成する更なる見地において、本願発明の一態様に係る機械学習プログラムは、時系列のデータを構成する１以上の単位データに対して所定の判定を行う際に用いる学習モデルを生成した判定手段から出力された、前記単位データに対する判定結果において、時間の経過に伴う一貫性の崩れを検出する検出処理と、前記検出処理による検出結果に基づいて、前記判定手段が前記学習モデルを更新する際に教師データとして用いる前記単位データを選択する選択処理と、をコンピュータに実行させる。

更に、本願発明は、係る機械学習プログラム（コンピュータプログラム）が格納された、コンピュータ読み取り可能な、不揮発性の記録媒体によっても実現可能である。

本願発明は、時系列のデータに基づいて機械学習を行う場合において、効率的に学習モデルの精度を高めることを可能とする。

本願発明の第１の実施形態に係る機械学習装置１０の構成を示すブロック図である。 本願発明の第１の実施形態に係る判定部１３による判定結果を例示する図である。 本願発明の第１の実施形態に係る分割部１５により複数のチャンクに分割された入力動画像１００を例示する図である。 本願発明の第１の実施形態に係る変換部１４による画像変換処理を例示する図である。 本願発明の第１の実施形態に係る生成部１６がユーザによるラベルの入力操作を受け付ける際に、表示画面２００に表示する第一の画面の内容を例示する図である。 図５に例示する第一の画面において、ラベル付与が完了したラベル付与選択画像の割合の表示態様のバリエーションを例示する図である。 本願発明の第１の実施形態に係る生成部１６がユーザによる正解情報の入力操作を受け付ける際に、表示画面２００に表示する第二の画面の内容を例示する図である。 本願発明の第１の実施形態に係る機械学習装置１０の動作を示すフローチャート（１／２）である。 本願発明の第１の実施形態に係る機械学習装置１０の動作を示すフローチャート（２／２）である。 本願発明の第２の実施形態に係る機械学習装置３０の構成を示すブロック図である。 本願発明の第１の実施形態に係る機械学習装置１０あるいは第２の実施形態に係る機械学習装置３０を実行可能な情報処理装置９００の構成を示すブロック図である。

後述する実施形態を一例とする開示は、時系列のデータに対して所定の判定（識別とも呼ばれる）を行う際に用いる学習モデルを生成した判定手段（識別器とも呼ばれる）から出力された判定（識別）結果において、時間の経過に伴う一貫性（時間的一貫性）の崩れを検出することによって、学習モデルの精度を効率的に高められる教師データを生成できると考えられることに着想を得た。

即ち、時系列のデータに対して所定の判定を行う場合において、一般的に、正しい判定結果は時間的一貫性を保持すると推定される。例えば、監視映像から歩行者や車両等の対象物を検出する場合に、当該監視映像に対象物が写っている間、当該対象物を継続して検出することが期待される。しかしながら、前述した通り、判定対象のデータにおいて、判定手段の判定能力では対応しきれていない事象が偶発的に発生したときに誤判定が発生し、判定結果における時間的一貫性の崩れが発生する。

したがって、この時間的一貫性の崩れの検出結果に基づいて教師データとして使用するデータを選択することによって、機械学習において好適である少数の誤判定時のデータを優先的に教師データに含めることができる。そして、それとともに、このように教師データを生成することによって、本来であれば教師データにおいて大多数を占める、例えば「ネガティブ」であることを継続的に（時間的一貫性が保持されて）正しく判定しているときのデータの割合を削減することができる。

このように生成された教師データは、学習内容の不均衡を解消するとともに、機械学習の精度を高める上で好適なデータを優先的に含むことから、効率的に学習モデルの精度を高めることが期待できる。

以下、本願発明の実施の形態について図面を参照して詳細に説明する。

＜第１の実施形態＞
図１は、本願発明の第１の実施の形態に係る機械学習装置１０の構成を示すブロック図である。本実施形態に係る機械学習装置１０は、監視カメラにより監視対象エリアが撮影された入力動画像１００（時系列のデータ）に基づいて、例えば、人物が当該監視対象エリアに侵入したか否かを判定する際に用いる学習モデルを生成する装置である。尚、機械学習装置１０が入力動画像１００に基づいて機械学習を行う内容は、例えば、入力動画像１００から目的とする対象物（歩行者や車両など）を検出することなどでもよい。

機械学習装置１０には、管理端末装置２０が通信可能に接続されている。管理端末装置２０は、機械学習装置１０を使用するユーザが、機械学習装置１０に対して情報を入力したり、機械学習装置１０から出力された情報を確認したりする際に使用する、例えばパーソナルコンピュータ等の情報処理装置である。なお、管理端末装置２０は、機械学習装置１０に内蔵されてもよい。

機械学習装置１０は、検出部１１、選択部１２、判定部１３、変換部１４、分割部１５、及び、生成部１６を備えている。但し、検出部１１、選択部１２、判定部１３、変換部１４、分割部１５、及び、生成部１６は、順に、検出手段、選択手段、判定手段、変換手段、分割手段、及び、生成手段の一例である。

判定部１３は、入力動画像１００を構成する単位データである画像（フレーム）と学習モデル１３０とに基づいて、人物が監視対象エリアに侵入したか否かを判定する。判定部１３はこの判定を行う際に用いる学習モデル１３０を、教師データ１６０に基づいて更新する。但し、学習モデル１３０は、図示されていない、例えばメモリやハードディスク等の記憶デバイスに記憶されていることとする。

図２は、本実施形態に係る判定部１３による判定結果を例示する図である。図２に示す例では、判定部１３は、入力動画像１００を構成する画像Ｉにおいて、左側から右側に移動する人物が、各画像内に示す境界線の右側の領域（監視対象エリア）に侵入したか否かを判定する。

図２に例示する通り、判定部１３は、画像Ｉａに対しては、人物が監視対象エリアに侵入していないことを正しく判定している。判定部１３は、画像Ｉｂに対しては、人物が監視対象エリアに侵入していないのにもかかわらず、人物が監視対象エリアに侵入したと誤って判定している。判定部１３は、画像Ｉｃに対しては、人物が監視対象エリアに侵入しているのにもかかわらず、人物が監視対象エリアに侵入していないと誤って判定している。判定部１３は、画像Ｉｄに対しては、人物が監視対象エリアに侵入したことを正しく判定している。

図２に示す例において、判定部１３は、画像Ｉｂ及び画像Ｉｃに対して誤った判定を行っており、これは、判定部１３が有する現在の判定能力が、画像Ｉｂ及び画像Ｉｃに対応できていないことに起因する。そして、この画像Ｉｂ及び画像Ｉｃに対する判定部１３による判定が行われる際に、判定結果における時間的一貫性の崩れが生じている。

機械学習装置１０が、人物が監視対象エリアに侵入したか否かを判定する場合、判定部１３による判定結果は、侵入が発生したことを表す「ポジティブ」と、侵入が発生しなかったことを表す「ネガティブ」との２種類である。この場合、判定部１３による入力動画像１００におけるある画像に対する判定結果Ｘ_ｔは、ｏｎｅ－ｈｏｔベクトル表現を用いて、例えば式１の通りに表すことができる。

ただし、式１において、ｔは、入力動画像１００における判定対象の画像を識別可能な時系列における識別子を表し、Ｔは転置ベクトルを表す符号である。

尚、判定部１３による判定結果が３種類以上となる場合、判定結果Ｘ_ｔは、３次元以上のベクトルにより、同様に表すことができる。また、判定部１３は、判定対象である個々の画像全体に関して所定の判定を行うのではなく、個々の画像における予め定められた検出窓やアンカー毎に、所定の判定を行ってもよい。

入力動画像１００に含まれる時系列の画像の数をＮ（Ｎは任意の自然数）とした場合、その時系列の画像Ｉは、｛Ｉ_１，Ｉ_２，・・・，Ｉ_Ｎ｝と表され、判定部１３による各画像に対する判定結果Ｘは｛Ｘ_１，Ｘ_２，・・・，Ｘ_Ｎ｝と表される。

検出部１１は、画像Ｉに対する判定結果Ｘに関する時間的一貫性の崩れを検出する。検出部１１は、この際、時間的一貫性の崩れを表す値として、検出対象である画像Ｉ_ｔに対する判定結果Ｘ_ｔと、当該画像Ｉ_ｔと隣接する画像に対する判定結果との相違（距離）を算出する。

検出部１１による時間的一貫性の崩れの検出において、当該画像Ｉ_ｔと隣接する画像とを含む評価対象期間を、例えば式２に示すτ_ｔとする。

但し、式２において、ａ及びｂは評価対象期間を定義するパラメータである。ａ及びｂの値は、予め与えられた固定値でもよいし、所定の設定基準に従って動的に設定された値でもよい。

図１に示す分割部１５は、上述したａ及びｂの値を動的に設定する。図３は、本実施形態に係る分割部１５により、複数のチャンクＣに分割された入力動画像１００を例示する図である。ここでチャンクＣは、時間的に連続し、かつ、判定部１３による判定に関して同一のイベントを表す動画像とみなすことができる、入力動画像１００における一部分を表す。

図３に例示するチャンクＣ_ｉ（ｉは任意の自然数）は、画像の左側から人物が現れ、その人物が画像の右側に進んで監視対象エリアに侵入したのち、画像の右側に消えるまでのイベントを表す動画像である。チャンクＣ_ｉ＋２は、画像の右側から人物が現れ、その人物が画像の左側に進んで監視対象エリアから退出したのち、画像の左側に消えるまでのイベントを表す動画像である。チャンクＣ_ｉ＋１は、時間軸においてチャンクＣ_ｉとチャンクＣ_ｉ＋２とに挟まれた、画像に人物が存在しないイベントを表す動画像である。

分割部１５は、例えば入力動画像１００を構成する画像Ｉの類似性などに基づいて、入力動画像１００をＭ個（Ｍは任意の自然数）のチャンク｛Ｃ_１，Ｃ_２，・・・，Ｃ_Ｍ｝に分割する。

検出部１１により算出される時間的一貫性の崩れＴＣＬ_ｔは、例えば式３に示す通り定義することができる。

但し、式３において「ｄｉｓｔ」は［０，１］に正規化された距離関数を表す。式３に示す関数「ｄｉｓｔ」内における第２項（第二のベクトル）におけるＸの添え字の部分は、集合τ_ｔから集合｛ｔ｝を除いた差集合を表す。即ち、当該第２項は、評価対象期間τ_ｔ内の画像Ｉに対する判定結果Ｘのうち、Ｘ_ｔ（第一のベクトル）を除くＸの平均値を表す。また、当該距離関数としては、周知の様々な関数が使用可能であり、例えば、「ｄｉｓｔ」内における第１項及び第２項のそれぞれを確率分布と見なした交差エントロピーを表す関数などでもよい。

図１に示す変換部１４は、入力動画像１００を構成する画像Ｉに対して、所定の画像変換処理を行う。図４は本実施形態に係る変換部１４による画像変換処理を例示する図である。変換部１４は、図４に例示する通り、画像Ｉ（元画像）に対して、例えば、平行移動、回転、色調変換、ぼかし、部分欠落、ノイズ添加等の画像変換処理を行う。尚、図４に例示する画像変換処理は一例であり、変換部１４は、上述した画像変換処理とは異なる画像変換処理を、画像Ｉに施してもよい。

変換部１４により行われる画像変換処理は、微小な変換処理であることとする。即ち、例えば平行移動の場合は数画素程度の移動であればよく、回転の場合は数度程度の回転であればよい。

変換部１４は画像変換処理を施した画像Ｉを判定部１３に入力する。判定部１３は、変換部１４から入力された画像変換処理後の画像Ｉに対しても同様に、人物が監視対象エリアに侵入したか否かの判定を行う。

また、判定部１３による判定内容が、例えば上述したような、人物が監視対象エリアに侵入したか否かなど、画像内における検出対象（人物等）の位置によって判定結果に影響を及ぼすような内容である場合、変換部１４は、平行移動や回転等の変換処理の前後で画像の位置が変わるような画像変換処理を除外してもよい。即ち、変換部１４は、判定部１３による判定内容に応じて、画像Ｉに施す変換処理を変更してもよい。

検出部１１は、判定部１３による判定結果において、変換部１４による画像変換処理に伴う一貫性の崩れを、上述した時間的一貫性の崩れと同様に検出する。検出部１１により算出される画像変換処理に伴う一貫性の崩れＡＣＬ_ｔは、例えば式４に示す通り定義することができる。

但し、式４において、「ｍｅａｎ」は平均値を表し、「ｄｉｓｔ」内における第２項は、平行移動や回転等の１以上の種別の画像変換処理のうちのｉ（ｉは任意の自然数）番目の種別の画像変換処理が施された画像に対する判定部１３による判定結果を表す。

図１に示す選択部１２は、検出部１１により検出された、画像Ｉに対する判定結果Ｘに関する時間的一貫性の崩れＴＣＬ_ｔに基づいて、画像Ｉにラベルを付与する（即ち画像Ｉを判定部１３による機械学習における教師データとして用いる）優先度Ｙを算出する。優先度Ｙは、時系列の画像の数Ｎを用いて、｛Ｙ_１，Ｙ_２，・・・，Ｙ_Ｎ｝と表される。

選択部１２は、上述した時間的一貫性の崩れＴＣＬ_ｔに基づいて優先度Ｙ_ｔを算出してもよいし、あるいは、時間的一貫性の崩れＴＣＬ_ｔと画像変換処理に伴う一貫性の崩れＡＣＬ_ｔとの両方に基づいて優先度Ｙ_ｔを算出してもよい。選択部１２は、時間的一貫性の崩れＴＣＬ_ｔと画像変換処理に伴う一貫性の崩れＡＣＬ_ｔとの両方に基づいて優先度Ｙ_ｔを算出する場合、例えば式５を用いて優先度Ｙ_ｔを算出する。

但し、式５において、δは０から１の間のいずれかの値をとる重み付けを示す係数である。

選択部１２は、所定の選択基準と、画像Ｉ_ｔに関する優先度Ｙ_ｔとに基づいて、ラベルを付与する（判定部１３による機械学習における教師データとして用いる）画像Ｉ_ｔを選択する。選択部１２による選択結果Ｚは、時系列の画像の数Ｎを用いて、｛Ｚ_１，Ｚ_２，・・・，Ｚ_Ｎ｝と表される。但し選択結果Ｚ_ｔの値は、ラベルが付与される（教師データとして使用する）ことを表す「１」、あるいは、ラベルが付与されない（教師データとして使用しない）ことを表す「０」となる。

選択部１２がラベルを付与する画像Ｉ_ｔを選択する際に用いる選択基準の第一の例は、優先度Ｙ_ｔが閾値α以上であることである。この場合、選択部１２は、例えば式６を満たす画像Ｉ_ｔを示す識別子ｔの集合Ｓ_αを求める。

選択部１２がラベルを付与する画像Ｉ_ｔを選択する際に用いる選択基準の第二の例は、画像Ｉ_ｔの全体に対する選択する画像Ｉ_ｔが占める割合が所定の値β以下となるように、優先度Ｙ_ｔが最も高い画像Ｉ_ｔから優先度Ｙ_ｔの順番に画像Ｉ_ｔを選択することである。この場合、選択部１２は、例えば式７を満たす画像Ｉ_ｔを示す識別子ｔの集合Ｓ_βを求める。

但し、式７において、Ｙ_β＋、Ｙ_β－は、それぞれ、値が集合Ｙにおける上位側の割合βに含まれる優先度の集合と、それ以外の優先度の集合を表し、ｍｉｎ（Ｙ_β＋）、ｍａｘ（Ｙ_β－）は、それぞれ、集合Ｙ_β＋に含まれる優先度の最低値と、集合Ｙ_β－に含まれる優先度の最高値とを表す。また式７において、＃Ｙ_β＋、＃Ｙは、それぞれ、集合Ｙ_β＋、集合Ｙの要素数を表す。

選択部１２がラベルを付与する画像Ｉ_ｔを選択する際に用いる選択基準の第三の例は、選択する画像Ｉ_ｔの個数が所定の値γ以下となるように、優先度Ｙ_ｔが最も高い画像Ｉ_ｔから優先度Ｙ_ｔの順番に画像Ｉ_ｔを選択することである。選択部１２は、この第三の例の選択基準に基づく画像Ｉ_ｔの選択動作を、上述したＭ個に分割したチャンクＣ毎に行う場合、例えば式８を満たす画像Ｉ_ｔを示す識別子ｔの集合Ｓ_γを求める。

但し、式８において、Ｃ_ｊ＋、Ｃ_ｊ－は、それぞれ、チャンクＣ_ｊ（ｊは１乃至Ｍのいずれかの整数）の中で優先度の高さがγ番目までに含まれる優先度の集合と、チャンクＣ_ｊに含まれるそれ以外の優先度の集合とを表す。また、式８において、＃Ｃ_ｊ＋は、集合Ｃ_ｊ＋の要素数を表す。

選択部１２は、ラベルを付与する画像Ｉ_ｔを選択する際に、上述した複数の選択基準を組み合わせて使用してもよい。選択部１２は、また、上述したラベルを付与する画像Ｉ_ｔの選択動作を、チャンクＣに分割される前の入力動画像１００において行ってもよいし、チャンクＣごとに上述した少なくともいずれかの選択基準を適用することによって行ってもよい。その際、選択部１２は、チャンクＣ毎に個別に値が設定されたα、β、γを用いてもよい。

図１に示す生成部１６は、選択部１２によって選択されたラベル（正解情報）を付与する画像Ｉ（ラベル付与選択画像）を、例えば管理端末装置２０における表示画面２００に表示することによって、ユーザに提示する。そして生成部１６は、当該ユーザによる管理端末装置２０に対する入力操作によって入力されたラベルを、ラベル付与選択画像に付与することによって、教師データ１６０を生成する。

図５は、本実施形態に係る生成部１６が、ユーザによるラベルの入力操作を受け付ける際に、表示画面２００に表示する第一の画面の内容を例示する図である。図５に例示する通り、生成部１６は、チャンクＣ毎に、ラベル付与選択画像の時間軸における位置を、例えば縦線によって模式的に表示する。尚、この縦線の長さ（高さ）は、そのラベル付与選択画像の優先度Ｙの高さを表している。

生成部１６は、図５に例示する第一の画面において、チャンクＣごとに色分けして表示するようにしてもよい。ユーザは、表示画面２００において、例えばマウスカーソルを、ラベルの入力操作を行いたいチャンクＣの表示箇所まで移動させた後にマウスをクリックすることによって、チャンクＣを選択可能である。生成部１６は、ユーザによって選択されたチャンクＣ（図５におけるチャンクＣ_ｉ）を、例えば太枠によって強調表示する。

生成部１６は、各チャンクＣに含まれるラベル付与選択画像の総数を表示する。図５に示す例では、チャンクＣ_ｉに含まれるラベル付与選択画像の総数は５２個である。その際、生成部１６は、図５に例示する通り、ラベル付与選択画像の総数をユーザが視覚的に認識できるように、ラベル付与選択画像の総数に応じた大きさの円の中に、その総数を表示するようにしてもよい。

生成部１６は、各チャンクＣにおいて、ラベル付与選択画像の総数に対するラベルの付与が完了したラベル付与選択画像の割合を、ユーザが視覚的に認識できるように表示する。図６は図５に例示する第一の画面において、ラベル付与が完了したラベル付与選択画像の割合の表示態様のバリエーションを例示する図である。

生成部１６は、例えば図６に例示する第一の表示態様の様に、ラベルの付与が完了したラベル付与選択画像の割合を、ラベル付与選択画像の総数を表示する円の底部から広がる領域の大きさによって表してもよい。生成部１６は、また、例えば図６に例示する第二の表示態様の様に、ラベルの付与が完了したラベル付与選択画像の割合を、ラベル付与選択画像の総数を表示する円に含まれる扇形の領域の中心角の角度によって表してもよい。生成部１６は、また、例えば図６に例示する第三の表示態様の様に、ラベルの付与が完了したラベル付与選択画像の割合を、ラベル付与選択画像の総数を表示する円の同心円の大きさによって表してもよい。

生成部１６は、また、図５に例示する通り、ユーザによって選択されたチャンクＣにおけるラベル付与選択画像を代表する代表画像の内容（ビュー）と、その代表画像の優先度Ｙの値（スコア）もあわせて表示画面２００に表示する。当該代表画像は、例えば、チャンクＣに含まれるラベル付与選択画像のうち、その優先度Ｙが最も高い画像である。

図７は、本実施形態に係る生成部１６が、ユーザによるラベルの入力操作を受け付ける際に、表示画面２００に表示する第二の画面の内容を例示する図である。生成部１６は、ユーザが、図５に例示する第一の画面におけるあるチャンクＣの表示領域にマウスカーソルを移動させたのち、マウスをダブルクリックした、あるいは、右クリックにより表示されるプルダウンメニューにおいて選択入力した場合に、表示画面２００に表示する画面を、第一の画面から第二の画面に切り替える。

生成部１６は、図７に例示する通り、ユーザによって選択されたチャンクＣに含まれるラベル付与選択画像のサムネイル画像を、時系列の順に表示する。生成部１６は、あるいは、当該サムネイル画像を、例えば、優先度Ｙの順や、ラベル付与の完了／未完了の区分の順に表示してもよい。生成部１６は、サムネイル画像において、ユーザによるラベルの付与が完了していることを表すラベル付与完了フラグもあわせて表示してもよい。ユーザはこの第二の画面に表示されたシークバーを左右に動かすことによって、サムネイル画像をスライドさせたのち、ラベルを付与したいラベル付与選択画像を選択することができる。

生成部１６は、ユーザにより選択されたラベル付与選択画像の拡大画像と、当該ラベル付与選択画像に関するラベル選択ボタンを表示画面２００に表示する。本実施形態に係る判定部１３は、人物が監視対象エリアに侵入したか否かを判定するので、ラベル選択ボタンは、「Ａｌｅｒｔ」（人物が監視対象エリアに侵入した）及び「Ｎｏ ａｌｅｒｔ」（人物が監視対象エリアに侵入していない）の二者択一のボタンとなる。ラベル選択ボタンは、判定部１３による判定内容によっては、３つ以上の選択肢を有するボタンであってもよい。

生成部１６は、「Ａｌｅｒｔ」及び「Ｎｏ ａｌｅｒｔ」のうち、ユーザが当該ラベル付与選択画像に付与するラベルとして選択した方のボタンを強調表示する。尚、ユーザによるラベルの付与がまだ行われていないラベル付与選択画像に対しては、判定部１３による判定結果が、ラベルの初期値（デフォルト値）として与えられている。生成部１６は、ユーザがラベル選択ボタンにおけるいずれかの選択肢を選択したのちラベル付与完了フラグボタンをクリックすることによって、ラベル付与選択画像に対してラベル選択ボタンが示すラベルを付与する。生成部１６は、それとともに、ラベル付与完了フラグボタンを強調表示する。生成部１６は、また、ユーザがラベル選択ボタンにおけるいずれかの選択肢を選択した際に、ユーザによるラベル付与完了フラグボタンのクリックを待たずに、ラベル付与選択画像に対するラベルの付与、及び、ラベル付与完了フラグボタンの強調表示を行うようにしてもよい。

生成部１６は、図７に例示する第二の画面において、ユーザが「Ｐｒｅｖ」ボタンをクリックした場合、現在表示しているラベル付与選択画像の１つ前に位置するラベル付与選択画像に関する第二の画面を表示画面２００に表示する。生成部１６は、ユーザが「Ｎｅｘｔ」ボタンをクリックした場合、現在表示しているラベル付与選択画像の１つ後に位置するラベル付与選択画像に関する第二の画面を表示画面２００に表示する。生成部１６は、「Ｂａｃｋ」ボタンをクリックした場合、図５に例示する第一の画面を表示画面２００に表示する。

生成部１６は、上述の通りにユーザによってラベルが付与されたラベル付与選択画像を表す教師データ１６０を生成し、教師データ１６０を判定部１３に入力する。判定部１３は、生成部１６から入力された教師データ１６０を用いて機械学習を行い、学習モデル１３０を更新する。

次に図８Ａ及び８Ｂのフローチャートを参照して、本実施形態に係る機械学習装置１０の動作（処理）について詳細に説明する。

分割部１５は、入力動画像１００を、複数の時間的に連続するチャンクＣに分割する（ステップＳ１０１）。変換部１４は、入力動画像１００に含まれる画像Ｉに対して１以上の種別の画像変換処理を行い、画像変換処理を施した画像Ｉを判定部１３に入力する（ステップＳ１０２）。

判定部１３は、画像変換処理を施す前の画像Ｉ、及び、画像変換処理を施した画像Ｉに関して、学習モデル１３０に基づいて、所定の判定を行う（ステップＳ１０３）。検出部１１は、判定部１３による判定結果において、時間的な一貫性の崩れ、及び、画像変換処理に伴う一貫性の崩れを検出する（ステップＳ１０４）。

選択部１２は、検出部１１による、時間的な一貫性の崩れ、及び、画像変換処理に伴う一貫性の崩れの検出結果に基づいて、画像Ｉにラベル付与優先度を付与する（ステップＳ１０５）。選択部１２は、ラベル付与優先度が閾値α以上である画像Ｉを選別する（ステップＳ１０６）。

選択部１２は、選別された画像Ｉが所属するチャンクＣ毎に上限個数γに収まるように、ラベル付与優先度が最も高い画像Ｉから、ラベル付与優先度の順番に画像Ｉをさらに選別する（ステップＳ１０７）。選択部１２は、入力動画像１００に含まれる全ての画像Ｉに占める個数の割合がβとなるように、ラベル付与優先度が最も高い画像Ｉから、ラベル付与優先度の順番に画像Ｉをさらに選別する（ステップＳ１０８）。

生成部１６は、選択部１２によって選別された画像Ｉを、管理端末装置２０の表示画面２００に表示する（ステップＳ１０９）。生成部１６は、選択部１２によって選別された画像Ｉに対して、ラベルを付与するユーザによる入力操作を受け付ける（ステップＳ１１０）。

生成部１６は、選択部１２によって選別された画像Ｉにラベルを付与した教師データ１６０を生成する（ステップＳ１１１）。判定部１３は、生成部１６によって生成された教師データ１６０を用いて機械学習を行ない、学習モデル１３０を更新し（ステップＳ１１２）、全体の処理は終了する。

本実施形態に係る機械学習装置１０は、時系列のデータに基づいて機械学習を行う場合において、効率的に学習モデルの精度を高めることができる。その理由は、機械学習装置１０は、時系列の画像Ｉに対する所定の判定を行う際に用いる学習モデル１３０を生成した判定部１３から出力された判定結果において時間的な一貫性の崩れを検出し、その検出結果に基づいて、判定部１３が学習モデル１３０を更新する際に教師データ１６０として用いる画像Ｉを選択するからである。

以下に、本実施形態に係る機械学習装置１０によって実現される効果について、詳細に説明する。

監視映像等の時系列のデータから目的とする対象物を識別するようなシステムでは、ポジティブデータとネガティブデータとを用いて統計的機械学習を行うが、この統計的機械学習の際に使用する時系列の画像には、大量のネガティブデータが含まれていることが多い。このような場合、機械学習の際に使用するラベル付与データの大部分が、特定の１つのクラスに属することになり、学習データにおける不均衡が生じ、その結果として、機械学習を行なった結果を表す学習モデルの精度が低下する問題がある。

また、実際の判定結果において、判定対象のデータにおいて、判定手段の判定能力では対応しきれていない事象が偶発的に発生したときに誤判定が発生する。このような誤判定が発生したときのデータは、教師データとして好適であると考えられるが、一般的にはこのような誤判定が発生したデータが教師データとして占める割合は、非常に小さい。したがって、このような誤判定を回避するように機械学習を行った結果は学習モデルに反映され難く、効率的に統計的機械学習を行うことが困難であるという問題もある。

このような問題に対して、本実施形態に係る機械学習装置１０は、検出部１１と、選択部１２とを備え、例えば図１乃至図８Ｂを参照して上述した通り動作する。即ち、検出部１１は、入力動画像１００（時系列のデータ）を構成する１以上の画像Ｉ（単位データ）に対して所定の判定を行う際に用いる学習モデル１３０を生成した判定部１３から出力された、当該画像Ｉに対する判定結果において、時間の経過に伴う一貫性の崩れを検出する。そして、選択部１２は、検出部１１による検出結果に基づいて、判定部１３が学習モデル１３０を更新する際に教師データ１６０として用いる画像Ｉを選択する。

即ち、本実施形態に係る機械学習装置１０は、画像Ｉに対する判定結果における、時間的一貫性の崩れの検出結果に基づいて教師データ１６０として用いる画像Ｉを選択するので、学習内容の不均衡を解消するとともに、機械学習の精度を高める上で好適なデータを優先的に含むような教師データ１６０を生成することを実現する。これにより、機械学習装置１０は、時系列のデータに基づいて機械学習を行う場合において、効率的に学習モデルの精度を高めることができる。

また、本実施形態に係る機械学習装置１０は、画像Ｉに対して所定の変換処理を行い、変換後の画像Iを判定部１３に入力する変換部１４をさらに備える。そして検出部１１は、判定部１３による画像Iに対する判定結果において、当該変換処理に伴う一貫性の崩れを検出する。ある画像Iに対して、いくつかの微小な変換処理（平行移動、回転、色調変換等）を行い、それらの変換処理が施された画像Iに対して判定を行った場合、通常、その判定結果の一貫性が保持されることが期待される。しかしながら、例えば、ある特定の変換処理が施された画像Iに対する判定において、誤判定が発生することによって、変換処理に伴う判定結果の一貫性が崩れることがある。この誤判定は、時間的な一貫性の崩れの場合と同様に、判定対象のデータにおいて、判定部１３の判定能力では対応しきれていない事象が、当該変換処理によって偶発的に発生したことによって生じると考えられる。機械学習装置１０は、画像Iに対する判定結果における時間的な一貫性の崩れに加えて変換処理に伴う一貫性の崩れも検出し、その検出結果に基づいて教師データ１６０として用いる画像Ｉを選択するので、学習モデルの精度をさらに高めることができる。

また、本実施形態に係る機械学習装置１０は、入力動画像１００を、例えば所定部１３による判定内容に関するイベントの発生状況などに基づいて、複数の時間的に連続するチャンクＣに分割する分割部１５をさらに備える。そして検出部１１及び選択部１２は、上述した動作をチャンクＣごとに行う。この際、機械学習装置１０は、例えば、選択部１２が同一のチャンクＣにおいて選択する画像Ｉの個数などを絞り込むことによって、多数の類似する画像Ｉを選択し、その結果として機械学習の精度が低下することを回避することができる。また、機械学習装置１０は、検出部１１や選択部１２等による処理を、チャンクＣごとに並列化することによって、処理速度を向上することができる。

また、本実施形態に係る機械学習装置１０は、選択部１２により選択された画像Ｉをユーザに提示したのち、そのユーザによる入力操作によって入力されたラベル（正解情報）を当該画像Ｉに付与することによって、教師データ１６０を生成する生成部１６をさらに備える。そして、生成部１６は、例えば、図５乃至図７を参照して上述した通り、ユーザによるラベルの入力操作を実現するユーザインタフェースを備える。これにより、機械学習装置１０は、ユーザによるラベルの入力操作の作業効率を向上させることができる。

尚、機械学習装置１０が処理対象とするデータは、入力動画像１００のような画像（映像）データに限定されず、画像データ以外の時系列のデータであってもよい。機械学習装置１０は、例えば、監視対象の設備から発生する音声データに異常音が含まれか否かを判定する際に使用する学習モデルを生成する装置でもよい。機械学習装置１０は、あるいは例えば、監視対象の設備の状態（例えば、温度、電流、電圧、電波の受信状態など）を表す時系列のデータにおいて、異常が発生したか否かを判定する際に使用する学習モデルを生成する装置などでもよい。

＜第２の実施形態＞
図９は、本願発明の第２の実施形態に係る機械学習装置３０の構成を示すブロック図である。機械学習装置３０は、検出部３１、及び、選択部３２を備えている。但し、検出部３１、及び、選択部３２は、順に、検出手段、及び、選択手段の一例である。

検出部３１は、時系列のデータ３００を構成する１以上の単位データ３０１に対して所定の判定を行う際に用いる学習モデル３３０を生成した判定部３３から出力された、単位データ３０１に対する判定結果において、時間の経過に伴う一貫性の崩れを検出する。但し、判定部３３は、機械学習装置３０に備えられてもよいし、機械学習装置３０と通信可能な外部の装置に備えられてもよい。

時系列のデータ３００は、例えば、第１の実施形態に係る入力動画像１００のようなデータであり、その場合、単位データ３０１は、入力動画像１００を構成する画像（フレーム）である。判定部３３による判定動作は、例えば、単位データ３０１が画像である場合、第１の実施形態に係る判定部１３が行うような人物が監視対象エリアに侵入したか否かを判定する動作であってもよいし、それとは異なる判定動作であってもよい。

検出部３１は、第１の実施形態に係る検出部１１と同様に、例えば、ベクトルとして表される単位データ３０１に対する判定結果と式３とを用いて、判定部３３による判定結果における時間的な一貫性の崩れを検出する。

選択部３２は、検出部３１により検出された時間的な一貫性の崩れに基づいて、判定部３３が学習モデル３３０を更新する際に教師データ３２０として用いる単位データ３０１を選択する。より具体的には、選択部３２は、第１の実施形態に係る選択部１２と同様に、検出部３１により検出された時間的な一貫性の崩れに基づいて、単位データ３０１に対してラベル付与優先度を付与する。そして、選択部３２は、ラベル付与優先度が、例えば第１の実施形態において示した３つの選択基準などの所定の選択基準を満たす単位データ３０１を選択する。

機械学習装置３０は、例えば第１の実施形態に係る生成部１６に相当する機能を備えることによって、選択部３２によって選択された単位データ３０１に対して、ユーザにより入力されたラベルを付与した教師データ３２０を生成することができる。そして、判定部３３は、教師データ３２０を用いて、学習モデル３３０を更新する。

本実施形態に係る機械学習装置３０は、時系列のデータに基づいて機械学習を行う場合において、効率的に学習モデルの精度を高めることができる。その理由は、機械学習装置３０は、時系列のデータ３００の単位データ３０１に対する所定の判定を行う際に用いる学習モデル３３０を生成した判定部３３から出力された判定結果において時間的な一貫性の崩れを検出し、その検出結果に基づいて、判定部３３が学習モデル３３０を更新する際に教師データ３２０として用いる単位データ３０１を選択するからである。

＜ハードウェア構成例＞
上述した各実施形態において図１に示した機械学習装置１０、あるいは、図９に示した機械学習装置３０における各部は、専用のＨＷ（ＨａｒｄＷａｒｅ）（電子回路）によって実現することができる。また、図１及び図９において、少なくとも、下記構成は、ソフトウェアプログラムの機能（処理）単位（ソフトウェアモジュール）と捉えることができる。
・検出部１１及び３１、
・選択部１２及び３２、
・判定部１３及び３３、
・変換部１４、
・分割部１５、
・生成部１６。

但し、これらの図面に示した各部の区分けは、説明の便宜上の構成であり、実装に際しては、様々な構成が想定され得る。この場合のハードウェア環境の一例を、図１０を参照して説明する。

図１０は、本願発明の第１の実施形態に係る機械学習装置１０あるいは第２の実施形態に係る機械学習装置３０を実行可能な情報処理装置９００（コンピュータ）の構成を例示的に説明する図である。即ち、図１０は、図１及び図９に示した機械学習装置１０及び３０を実現可能なコンピュータ（情報処理装置）の構成であって、上述した実施形態における各機能を実現可能なハードウェア環境を表す。

図１０に示した情報処理装置９００は、構成要素として下記を備えているが、下記のうちの一部の構成要素を備えない場合もある。
・ＣＰＵ（Ｃｅｎｔｒａｌ＿Ｐｒｏｃｅｓｓｉｎｇ＿Ｕｎｉｔ）９０１、
・ＲＯＭ（Ｒｅａｄ＿Ｏｎｌｙ＿Ｍｅｍｏｒｙ）９０２、
・ＲＡＭ（Ｒａｎｄｏｍ＿Ａｃｃｅｓｓ＿Ｍｅｍｏｒｙ）９０３、
・ハードディスク（記憶装置）９０４、
・外部装置との通信インタフェース９０５、
・バス９０６（通信線）、
・ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ＿Ｄｉｓｃ＿Ｒｅａｄ＿Ｏｎｌｙ＿Ｍｅｍｏｒｙ）等の記録媒体９０７に格納されたデータを読み書き可能なリーダライタ９０８、
・モニターやスピーカ、キーボード等の入出力インタフェース９０９。

即ち、上記構成要素を備える情報処理装置９００は、これらの構成がバス９０６を介して接続された一般的なコンピュータである。情報処理装置９００は、ＣＰＵ９０１を複数備える場合もあれば、マルチコアにより構成されたＣＰＵ９０１を備える場合もある。情報処理装置９００は、ＣＰＵ９０１に加えてＧＰＵ（Ｇｒａｐｈｉｃａｌ＿Ｐｒｏｃｅｓｓｉｎｇ＿Ｕｎｉｔ）（不図示）を備えてもよい。

そして、上述した実施形態を例に説明した本願発明は、図１０に示した情報処理装置９００に対して、次の機能を実現可能なコンピュータプログラムを供給する。その機能とは、その実施形態の説明において参照したブロック構成図（図１及び図９）における上述した構成、或いはフローチャート（図８Ａ及び８Ｂ）の機能である。本願発明は、その後、そのコンピュータプログラムを、当該ハードウェアのＣＰＵ９０１に読み出して解釈し実行することによって達成される。また、当該装置内に供給されたコンピュータプログラムは、読み書き可能な揮発性のメモリ（ＲＡＭ９０３）、または、ＲＯＭ９０２やハードディスク９０４等の不揮発性の記憶デバイスに格納すれば良い。

また、前記の場合において、当該ハードウェア内へのコンピュータプログラムの供給方法は、現在では一般的な手順を採用することができる。その手順としては、例えば、ＣＤ－ＲＯＭ等の各種記録媒体９０７を介して当該装置内にインストールする方法や、インターネット等の通信回線を介して外部よりダウンロードする方法等がある。そして、このような場合において、本願発明は、係るコンピュータプログラムを構成するコード或いは、そのコードが格納された記録媒体９０７によって構成されると捉えることができる。

以上、上述した実施形態を模範的な例として本願発明を説明した。しかしながら、本願発明は、上述した実施形態には限定されない。即ち、本願発明は、本願発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

尚、上述した各実施形態の一部又は全部は、以下の付記のようにも記載されうる。しかしながら、上述した各実施形態により例示的に説明した本願発明は、以下には限られない。

（付記１）
時系列のデータを構成する１以上の単位データに対して所定の判定を行う際に用いる学習モデルを生成した判定手段から出力された、前記単位データに対する判定結果において、時間の経過に伴う一貫性の崩れを検出する検出手段と、
前記検出手段による検出結果に基づいて、前記判定手段が前記学習モデルを更新する際に教師データとして用いる前記単位データを選択する選択手段と、
を備える機械学習装置。

（付記２）
前記選択手段は、前記検出結果に基づいて、前記単位データを前記教師データとして用いる優先度を算出し、前記優先度に基づいて前記教師データとして用いる前記単位データを選択する、
付記１に記載の機械学習装置。

（付記３）
前記単位データに対して所定の変換処理を行い、変換後の前記単位データを前記判定手段に入力する変換手段をさらに備え、
前記検出手段は、前記判定手段による前記単位データに対する判定結果において、前記変換処理に伴う一貫性の崩れを検出する、
付記２に記載の機械学習装置。

（付記４）
前記変換手段は、前記単位データが画像を表す場合において、前記所定の変換処理として、平行移動、回転、色調変換、部分欠落の少なくともいずれかを行う、
付記３に記載の機械学習装置。

（付記５）
前記選択手段は、前記検出手段による検出結果が示す、前記単位データに対する判定結果における、前記時間の経過に伴う一貫性の崩れを示す値と、前記変換処理に伴う一貫性の崩れを示す値と、に対して、重み付けを施した値の合計を算出する、
付記３または付記４に記載の機械学習装置。

（付記６）
前記検出手段は、前記単位データの所定の集合のうちの、特定の前記単位データに対する前記判定結果を表す第一のベクトルと、前記所定の集合における前記特定の単位データを除く前記単位データに対する前記判定結果の平均を表す第二のベクトルとの距離を、前記時間の経過に伴う一貫性の崩れを表す値として算出する、
付記２乃至付記５のいずれか一項に記載の機械学習装置。

（付記７）
前記選択手段は、前記優先度が閾値以上である前記単位データを選択する、
付記２乃至付記６のいずれか一項に記載の機械学習装置。

（付記８）
前記選択手段は、前記単位データの全体に対する選択する前記単位データが占める割合が所定の値以下となるように、前記優先度が最も高い前記単位データから前記優先度の順番に前記単位データを選択する、
付記２乃至付記６のいずれか一項に記載の機械学習装置。

（付記９）
前記選択手段は、選択する前記単位データの個数が所定の値以下となるように、前記優先度が最も高い前記単位データから前記優先度の順番に前記単位データを選択する、
付記２乃至付記６のいずれか一項に記載の機械学習装置。

（付記１０）
前記時系列のデータを、複数の時間的に連続するチャンクに分割する分割手段をさらに備え、
前記検出手段は、前記チャンクごとに、前記単位データに対する判定結果において、前記時間の経過に伴う一貫性の崩れを検出し、
前記選択手段は、前記チャンクごとに、前記教師データとして用いる前記単位データを選択する、
付記１乃至付記９のいずれか一項に記載の機械学習装置。

（付記１１）
前記分割手段は、前記時系列のデータにおける、前記所定の判定に関するイベントの発生状況に基づいて、前記時系列のデータを前記チャンクに分割する、
付記１０に記載の機械学習装置。

（付記１２）
前記選択手段により選択された前記単位データをユーザに提示したのち、前記ユーザによる入力操作によって入力された正解情報を前記単位データに付与することによって前記教師データを生成する生成手段をさらに備える、
付記１乃至付記１１のいずれか一項に記載の機械学習装置。

（付記１３）
前記生成手段は、前記選択手段により選択された１以上の前記単位データの時間軸における位置、及び、１以上の前記単位データに対する前記正解情報の付与状況を前記ユーザに提示する、
付記１２に記載の機械学習装置。

（付記１４）
前記生成手段は、前記選択手段により選択された１以上の前記単位データの各々を表す画像を、表示画面において表示基準に従って順番に表示するとともに、表示した１以上の前記単位データのいずれかを前記ユーザが選択する入力操作を受け付ける、
付記１２または付記１３に記載の機械学習装置。

（付記１５）
前記生成手段は、前記表示基準として、時系列の順番、あるいは前記検出結果に基づいて、前記単位データを前記教師データとして用いる優先度の順番を用いる、
付記１４に記載の機械学習装置。

（付記１６）
前記判定手段をさらに備える、
付記１乃至付記１５のいずれか一項に記載の機械学習装置。

（付記１７）
情報処理装置によって、
時系列のデータを構成する１以上の単位データに対して所定の判定を行う際に用いる学習モデルを生成した判定手段から出力された、前記単位データに対する判定結果において、時間の経過に伴う一貫性の崩れを検出し、
前記一貫性の崩れの検出結果に基づいて、前記判定手段が前記学習モデルを更新する際に教師データとして用いる前記単位データを選択する、
機械学習方法。

（付記１８）
時系列のデータを構成する１以上の単位データに対して所定の判定を行う際に用いる学習モデルを生成した判定手段から出力された、前記単位データに対する判定結果において、時間の経過に伴う一貫性の崩れを検出する検出処理と、
前記検出処理による検出結果に基づいて、前記判定手段が前記学習モデルを更新する際に教師データとして用いる前記単位データを選択する選択処理と、
をコンピュータに実行させるための機械学習プログラムが格納された記録媒体。

１０ 機械学習装置
１００ 入力動画像
１１ 検出部
１２ 選択部
１３ 判定部
１３０ 学習モデル
１４ 変換部
１５ 分割部
１６ 生成部
１６０ 教師データ
２０ 管理端末装置
２００ 表示画面
３０ 機械学習装置
３００ 時系列のデータ
３０１ 単位データ
３１ 検出部
３２ 選択部
３２０ 教師データ
３３ 判定部
３３０ 学習モデル
９００ 情報処理装置
９０１ ＣＰＵ
９０２ ＲＯＭ
９０３ ＲＡＭ
９０４ ハードディスク（記憶装置）
９０５ 通信インタフェース
９０６ バス
９０７ 記録媒体
９０８ リーダライタ
９０９ 入出力インタフェース

Claims (10)

1. 時系列のデータを構成する１以上の単位データに対して所定の判定を行う際に用いる学習モデルを生成した判定手段から出力された、前記単位データに対する前記学習モデルを用いた判定結果において、時間の経過に伴う一貫性の崩れを検出する検出手段と、
   前記検出手段による検出結果に基づいて、前記判定手段が前記学習モデルを更新する際に教師データとして用いる前記単位データを選択する選択手段と、
   を備える機械学習装置。
2. 前記選択手段は、前記検出結果に基づいて、前記単位データを前記教師データとして用いる優先度を算出し、前記優先度に基づいて前記教師データとして用いる前記単位データを選択する、
   請求項１に記載の機械学習装置。
3. 前記単位データに対して所定の変換処理を行い、変換後の前記単位データを前記判定手段に入力する変換手段をさらに備え、
   前記検出手段は、前記判定手段による前記単位データに対する前記判定結果において、前記変換処理に伴う一貫性の崩れを検出する、
   請求項２に記載の機械学習装置。
4. 前記変換手段は、前記単位データが画像を表す場合において、前記変換処理として、平行移動、回転、色調変換、部分欠落の少なくともいずれかを行う、
   請求項３に記載の機械学習装置。
5. 前記選択手段は、前記検出結果が示す、前記単位データに対する前記判定結果における、前記時間の経過に伴う一貫性の崩れを示す値と、前記変換処理に伴う一貫性の崩れを示す値と、に対して、重み付けを施した値の合計を算出する、
   請求項３または請求項４に記載の機械学習装置。
6. 前記検出手段は、前記単位データの所定の集合のうちの、特定の前記単位データに対する前記判定結果を表す第一のベクトルと、前記集合における特定の前記単位データを除く前記単位データに対する前記判定結果の平均を表す第二のベクトルとの距離を、前記時間の経過に伴う一貫性の崩れを表す値として算出する、
   請求項２乃至請求項５のいずれか一項に記載の機械学習装置。
7. 前記時系列のデータを、複数の時間的に連続するチャンクに分割する分割手段をさらに備え、
   前記検出手段は、前記チャンクごとに、前記単位データに対する前記判定結果において、前記時間の経過に伴う一貫性の崩れを検出し、
   前記選択手段は、前記チャンクごとに、前記教師データとして用いる前記単位データを選択する、
   請求項１乃至請求項６のいずれか一項に記載の機械学習装置。
8. 前記選択手段により選択された前記単位データをユーザに提示したのち、前記ユーザによる入力操作によって入力された正解情報を前記単位データに付与することによって前記教師データを生成する生成手段をさらに備える、
   請求項１乃至請求項７のいずれか一項に記載の機械学習装置。
9. 情報処理装置によって、
   時系列のデータを構成する１以上の単位データに対して所定の判定を行う際に用いる学習モデルを生成した判定手段から出力された、前記単位データに対する前記学習モデルを用いた判定結果において、時間の経過に伴う一貫性の崩れを検出し、
   前記一貫性の崩れの検出結果に基づいて、前記判定手段が前記学習モデルを更新する際に教師データとして用いる前記単位データを選択する、
   機械学習方法。
10. 時系列のデータを構成する１以上の単位データに対して所定の判定を行う際に用いる学習モデルを生成した判定手段から出力された、前記単位データに対する前記学習モデルを用いた判定結果において、時間の経過に伴う一貫性の崩れを検出する検出処理と、
    前記検出処理による検出結果に基づいて、前記判定手段が前記学習モデルを更新する際に教師データとして用いる前記単位データを選択する選択処理と、
    をコンピュータに実行させるための機械学習プログラム。

Images