JP7490886B2 - 情報処理装置及び情報処理方法 - Google Patents

Description

本発明は、画像分析を行う情報処理装置に係り、特に、機械学習における再学習データの候補を効率的に取得できる情報処理装置及び情報処理方法に関する。

［従来の技術］ ＡＩ（Artificial Intelligence：人工知能）のディープラーニングなどの機械学習では、既に学習した学習データを元に、入力画像に映る物体を検知するようになっている。
しかし、学習データの不足により、画像中に物体が映っているにもかかわらず検知ができない「見逃し」や物体が映っていないが検知してしまう「誤検知」が発生する場合がある。

特に、屋外で撮影した画像から特定の物体を検知する際には、特定の時間帯に撮影した画像では精度良く検知できていたとしても、時間の経過により照度や影の向き、物体の向きの変化や遮蔽の発生など、想定外の要因により検知精度が劣化することがある。

見逃しや誤検知が発生した画像に対しては、正解付けを行い再学習することで精度を向上させることができる。
但し、見逃しや誤検知が発生したかどうかは検知結果の画像を人間が見て判断する必要がある。

［関連技術］ 尚、関連する先行技術として、特開２０１９－２２０１１６号公報「情報処理装置、判定方法、および対象物判定プログラム」（特許文献１）がある。
特許文献１には、再学習データを効率的に収集する技術として、商品などの対象物を撮影した画像の中から検知精度が低い画像を自動で選択する方法が示されている。ただし、この技術は画像中に対象物が写っていることを前提としている。

特開２０１９－２２０１１６号公報

しかしながら、従来の機械学習では、対象物の検出の精度を向上させるためには、大量の画像に対して見逃しや誤検知の有無の判断を行い、正解付けを行った上で再学習することが必要であり、作業に時間が掛かるという問題点があった。

尚、特許文献１には、見逃しや誤検知の有無の判定を自動化し、再学習データの候補を効率的に取得することについての記載がない。

本発明は上記実情に鑑みて為されたもので、撮影した画像について見逃しや誤検知の有無の判定を自動化し、再学習データの候補を効率的に取得する情報処理装置及び情報処理方法を提供することを目的とする。

上記従来例の問題点を解決するための本発明は、画像解析を行う情報処理装置であって、取得した画像データを、ＣＮＮを用いて画像中に写る対象物の検知を行い、検知された対象物についての確信度に基づく特徴量を表す特徴マップを出力する画像解析部と、出力された特徴マップを解析し、検知結果の確からしさを評価する特徴マップ解析部と、特徴マップの評価結果から画像データに対象物が正しく検知されたか否かを判定し、正しく検知された場合には正検知データとし、正しく検知されなかった場合には対象物の検知を行うＣＮＮを再学習するための再学習データの候補とする正解判定部と、を有することを特徴とする。

本発明は、上記情報処理装置において、特徴マップ解析部が、特徴マップの画素値の分布を用いたエントロピーの値を評価し、正解判定部が、エントロピーの値が予め定めた閾値以下であれば、正しく検知された場合とし、エントロピーの値が閾値を超えていれば、正しく検知されなかった場合とすることを特徴とする。

本発明は、画像解析を行う情報処理方法であって、取得した画像データを、ＣＮＮを用いて画像中に写る対象物の検知を行い、検知された対象物についての確信度に基づく特徴量を表す特徴マップを出力する画像解析ステップと、出力された特徴マップを解析し、検知結果の確からしさを評価する特徴マップ解析ステップと、特徴マップの評価結果から画像データに対象物が正しく検知されたか否かを判定し、正しく検知された場合には正検知データとし、正しく検知されなかった場合には対象物の検知を行うＣＮＮを再学習するための再学習データの候補とする正解判定ステップと、を有することを特徴とする。

本発明は、上記情報処理方法において、特徴マップ解析ステップが、特徴マップの画素値の分布を用いたエントロピーの値を評価し、正解判定ステップが、エントロピーの値が予め定めた閾値以下であれば、正しく検知された場合とし、エントロピーの値が閾値を超えていれば、正しく検知されなかった場合とすることを特徴とする。

本発明によれば、画像解析部が、取得した画像データを、ＣＮＮを用いて画像中に写る対象物の検知を行い、検知された対象物についての確信度に基づく特徴量を表す特徴マップを出力し、特徴マップ解析部が、出力された特徴マップを解析し、検知結果の確からしさを評価し、正解判定部が、特徴マップの評価結果から画像データに対象物が正しく検知されたか否かを判定し、正しく検知された場合には正検知データとし、正しく検知されなかった場合には対象物の検知を行うＣＮＮを再学習するための再学習データの候補とする画像処理装置及び画像処理方法としているので、見逃しや誤検知の有無の判定を自動化し、再学習データの候補を効率的に取得できる効果がある。

本装置の概略構成図である。 本装置の処理フロー図である。 本装置における正検知の例を示す説明図である。 本装置における再学習データ候補取得の例を示す説明図である。

本発明の実施の形態について図面を参照しながら説明する。［実施の形態の概要］ 本発明の実施の形態に係る情報処理装置（本装置）は、取得した画像データから特定の対象物についての確信度に基づく特徴量を表す特徴マップを出力する画像解析部と、出力された特徴マップを解析し、検知結果の確からしさを評価する特徴マップ解析部と、特徴マップの評価結果から画像データに対象物が正しく検知されたか否かを判定し、正しく検知された場合には正検知データとし、正しく検知されなかった場合には再学習データの候補とする正解判定部と、を有するものであり、正解判定部が見逃しや誤検知の有無を自動的に判定し、再学習データの候補を効率的に取得できるものである。

［本装置：図１］ 本装置について図１を参照しながら説明する。図１は、本装置の概略構成図である。
本装置１００は、図１に示すように、コンピュータ（ＰＣ）等の情報処理装置で実現され、制御部１０１と、記憶部１０６とを基本的に有している。
以下、本装置１００の各部について具体的に説明する。

［制御部１０１］ 制御部１０１は、演算処理装置で実現され、各部を統括して制御するものであり、画像取得部１０２と、画像解析部１０３と、特徴マップ解析部１０４と、正解判定部１０５と備えている。
制御部１０１における各部１０２～１０５は、例えば、記憶部１０６に記憶された処理プログラムを制御部１０１が読み込んでソフトウェアとして機能を実現する手段である。

［記憶部１０６］ 記憶部１０６は、ハードディスクなどの記録媒体によって実現され、使用するデータ等を記憶するものであり、画像データ記憶部１０７と、再学習データ候補記憶部１０８と、正検知データ記憶部１０９とを備えている。

［画像取得部１０２］ 画像取得部１０２は、再学習データの候補とすべきかどうかの判定対象となる画像データを記憶部１０６の画像データ記憶部１０７から取得し、画像解析部１０３に出力する。
画像取得部１０２が画像を取得する方法は特に限定するものではないが、例えば、画像取得部１０２は、撮像装置（カメラ）から画像データを直接取得してもよいし、当該撮像装置の記憶装置に記憶された画像データを取得してもよい。

［画像解析部１０３］ 画像解析部１０３は、ＣＮＮ（Convolution Neural Network：畳み込みニューラルネットワーク）を用いて画像中に写る対象物体の検知を行い、その検知結果と検知結果の根拠となる特徴マップを出力する。
特徴マップは、撮影された画像データの中に特定の対象物についての確信度（確からしさ）に基づく特徴量を表すマップであり、その特徴量が画素値で表される。

尚、本実施の形態では、ＣＮＮのアルゴリズムは限定されるものではないが、本実施の形態では、Ｏｐｅｎｐｏｓｅを適用する例で説明する。
Ｏｐｅｎｐｏｓｅは、画像中に写っている人物の各関節を検知する機能と、それら関節を結ぶことで形成される骨格を検知する機能を備えている。
Ｏｐｅｎｐｏｓｅについては、「OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields, arXiv:1812.08008v1, (2018)」の文献で紹介されている。

また、画像解析部１０３の出力をＯｐｅｎｐｏｓｅの背景クラスの特徴マップとしてもよい。尚、Ｏｐｅｎｐｏｓｅの背景クラスの特徴マップは、画素値が高い画素ほど関節としての確信度が低く、画素値が低い画素ほど関節としての確信度が高い。
または、各関節の特徴マップ、更に各特徴マップを加算した特徴マップ（加算特徴マップ）を画像解析部１０３の出力としてもよい。

［特徴マップ解析部１０４］ 特徴マップ解析部１０４は、画像解析部１０３が出力した特徴マップに基づき、検知結果の確からしさ（確信度）を評価する。
具体的には、特徴マップの画素値の分布を用いたエントロピーの値を評価する。

画像のエントロピーは画素値の乱雑さを示しており、確信度が高い画素から低い画素まで均一に存在しているほどエントロピーの値は高くなる。つまり、エントロピーの値が高いほど対象の物体とそれ以外の境目がはっきりしないため、対象の物体とそれ以外を明確に区別できていないことを意味する。

これにより、検知結果の確からしさを評価することを可能とする。無論、これは一例であり、例えば、画素値の分散、閾値と比較しての平均値や最大値など他の統計量を指標として適用することも可能である。
尚、特定の領域に関する検知結果の確からしさを評価するために、特徴マップの一部の領域に限定し評価を行ってもよい。

［正解判定部１０５］ 正解判定部１０５は、特徴マップ解析部１０４が出力する検知結果の確からしさについて、閾値と比較して、正検知データ又は再学習データ候補の判定を行う。
特徴マップ解析部１０４が出力する検知結果の確からしさが、閾値以上（エントロピーの値が閾値以下）であれば、正検知データと判定し、検知結果の確からしさが、閾値未満（エントロピーの値が閾値を超えている）であれば、再学習データ候補と判定する。

尚、閾値は、収集した画像データセットの確からしさのランキングに基づいてもよい。つまり、確からしさが高いランクの画像データセットについては閾値を高くし、確からしさが低いランクの画像データセットについては閾値を低く設定する。

また、任意に集められた画像データセットのうち、確からしさが低いものから順に所定の枚数を候補としてもよい。確からしさが低い順に再学習データの候補にすることで、再学習に重要な候補を優先的に選択できるものである。尚、任意に集められた画像データセットとは、ランダムに選ばれたセット、直近に集められた所定枚数のセットなどである。

［記憶部１０６内の各記憶部１０７～１０９］ 画像データ記憶部１０７は、分析等の処理が為される前の画像データを記憶する。
再学習データ候補記憶部１０８は、正解判定部１０５で判定された再学習データ候補のデータを記憶する。
正検知データ記憶部１０９は、正解判定部１０５で判定された正検知データを記憶する。

［本装置での処理：図２～４］ 次に、本装置での処理について図２～４を参照しながら説明する。図２は、本装置の処理フロー図であり、図３は、正検知の例を示す説明図であり、図４は、再学習データ候補取得の例を示す説明図である。
本装置１００の制御部１０１において、図２に示すように、画像取得部１０２が、記憶部１０６の画像データ記憶部１０７に記憶されている画像データを取得する（Ｓ１１）。処理方法における画像取得のステップとなる。

ここで、画像データは、例えば、図３に示すように、人物のみが写っている画像Ｄ１１であってもよいし、また、図４に示すように、人物と似た物体や人物を隠す物体が写っている画像Ｄ２１であってもよい。

次に、画像解析部１０３が、処理Ｓ１１で取得した画像を解析処理して特徴マップを出力する（Ｓ１２）。特徴マップ出力のステップとなる。
例えば、図３の人物のみが写っている画像Ｄ１１を画像分析処理した場合には、特徴マップＤ１２のような特徴マップが出力される。そして、検知結果Ｄ１３のように正しく検知が為されている。

また、図４の人物以外の物体が写っている画像Ｄ２１を画像解析処理した場合には、特徴マップＤ２２のような特徴マップが出力される。そして、検知結果Ｄ２３のように人物以外の物が検知されたため、誤検知が発生した場合となる。

特徴マップ解析部１０４が、処理Ｓ１２で出力された特徴マップを解析処理し、検知結果の確からしさを評価する（Ｓ１３）。特徴マップ解析ステップとなる。特徴マップの解析及び検知結果の評価の処理については上述した通りである。

正解判定部１０５が、処理Ｓ１３で評価された検知結果の確からしさから、検知結果が確からしいかどうかを判定する（Ｓ１４）。正解判定ステップとなる。検知結果が確からしいと判定された場合（Ｙｅｓの場合）、正しく検知された（正検知）ものとして処理は終了する。
尚、正検知データとして記憶部１０６の正検知データ記憶部１０９に保存してもよい。
図３の例では、正解判定部１０５から正検知データＤ１４が出力されることになる。

正解判定部１０５が、判定処理Ｓ１４によって検知結果が不確かであると判定された場合（Ｎｏの場合）、処理Ｓ１５に移行する。
そして、正解判定部１０５は、検知結果が不確かであるとされた画像データを再学習データ候補の画像データとして記憶部１０６の再学習データ候補記憶部１０８に保存する（Ｓ１５）。
図４の例では、正解判定部１０５から再学習データ候補Ｄ２４が出力されることになる。

以上のように、本実施の形態では、人間の目による検知結果の確認を行わないため、再学習データ候補を効率よく収集することができるものである。
また、カメラ等で撮影される現場の画像に対して、リアルタイムに撮影したすべての画像を保存することなく、再学習データ候補の画像データのみを速やかに選択して再学習データ候補記憶部１０８に保存することが可能である。例えば、正検知データを保存するための記憶容量が十分でない場合に有効である。

［実施の形態の効果］ 本装置によれば、取得した画像データから特定の対象物についての確信度に基づく特徴量を表す特徴マップを出力する画像解析部１０３と、出力された特徴マップを解析し、検知結果の確からしさを評価する特徴マップ解析部１０４と、特徴マップの評価結果から画像データに対象物が正しく検知されたか否かを判定し、正しく検知された場合には正検知データとし、正しく検知されなかった場合には再学習データの候補とする正解判定部１０５とを有するものとしているので、正解判定部１０５が見逃しや誤検知の有無を自動的に判定し、再学習データの候補を効率的に取得できるできる効果がある。

本発明は、撮影した画像について見逃しや誤検知の有無の判定を自動化し、再学習データの候補を効率的に取得する情報処理装置及び情報処理方法に好適である。

１００…情報処理装置、 １０１…制御部、 １０２…画像取得部、 １０３…画像解析部、 １０４…特徴マップ解析部、 １０５…正解判定部、 １０６…記憶部、 １０７…画像データ記憶部、 １０８…再学習データ候補記憶部、 １０９…正検知データ記憶部

Claims (4)

1. 画像解析を行う情報処理装置であって、
   取得した画像データを、ＣＮＮを用いて画像中に写る対象物の検知を行い、前記検知された対象物についての確信度に基づく特徴量を表す特徴マップを出力する画像解析部と、
   前記出力された特徴マップを解析し、検知結果の確からしさを評価する特徴マップ解析部と、
   前記特徴マップの評価結果から前記画像データに前記対象物が正しく検知されたか否かを判定し、正しく検知された場合には正検知データとし、正しく検知されなかった場合には前記対象物の検知を行う前記ＣＮＮを再学習するための再学習データの候補とする正解判定部と、を有することを特徴とする情報処理装置。
2. 特徴マップ解析部は、特徴マップの画素値の分布を用いたエントロピーの値を評価し、
   正解判定部は、前記エントロピーの値が予め定めた閾値以下であれば、正しく検知された場合とし、前記エントロピーの値が前記閾値を超えていれば、正しく検知されなかった場合とすることを特徴とする請求項１記載の情報処理装置。
3. 取得した画像データを、ＣＮＮを用いて画像中に写る対象物の検知を行い、前記検知された対象物についての確信度に基づく特徴量を表す特徴マップを出力する画像解析ステップと、
   前記出力された特徴マップを解析し、検知結果の確からしさを評価する特徴マップ解析ステップと、
   前記特徴マップの評価結果から前記画像データに前記対象物が正しく検知されたか否かを判定し、正しく検知された場合には正検知データとし、正しく検知されなかった場合には前記対象物の検知を行う前記ＣＮＮを再学習するための再学習データの候補とする正解判定ステップと、を有することを特徴とする情報処理方法。
4. 特徴マップ解析ステップは、特徴マップの画素値の分布を用いたエントロピーの値を評価し、
   正解判定ステップは、前記エントロピーの値が予め定めた閾値以下であれば、正しく検知された場合とし、前記エントロピーの値が前記閾値を超えていれば、正しく検知されなかった場合とすることを特徴とする請求項３記載の情報処理方法。

Images