JP2022123391A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】画像から計測対象となる物体の数を精度よく推定する。
【解決手段】情報処理装置は、入力画像から、特定物体が存在する確からしさを示す尤度の分布を表す尤度情報を取得し、尤度情報に基づいて、入力画像の部分領域に含まれる尤度が第１の所定値以上である場合には、当該部分領域に対する閾値をより低く調整する領域として決定する。さらに、その決定した部分領域に含まれる尤度のうち調整された閾値未満の尤度を計数対象から除外して、部分領域ごとに尤度を計数することによって特定物体の数を推定する。
【選択図】図４

Description

本発明は、画像から特定の物体を検出する技術に関する。

特許文献１には、撮影シーンに対応する顔領域検出の尤度の閾値の設定に関する技術が開示されている。例えば、尤度のみを用いて計測対象物体の数を推測する場合には、確からしさが低い尤度もすべて計数に含まれることになるため、閾値を用いることで、確からしさが低い尤度を計数対象から除外する。

特開２０１０－８６４２９号公報

前述したように閾値を用いて確からしさの低い尤度を除外する場合、計測対象ではない物体を誤って計数してしまう誤検出を低減することが可能となる。しかしながら、特定の物体として正しく検出（正検知）されてはいるが、その尤度が低い場合には、当該正検知された尤度を誤検知として除外してしまうことがあり、正検知の尤度が減少してしまう。

そこで、本発明は、画像から計測対象となる物体の数を精度よく推定することを目的とする。

本発明の情報処理装置は、入力画像から、特定物体が存在する確からしさを示す尤度の分布を表す尤度情報を取得する取得手段と、前記尤度情報に基づいて、前記入力画像の部分領域に含まれる前記尤度が第１の所定値以上である場合には、当該部分領域に対する閾値をより低く調整する領域として決定する決定手段と、前記決定手段で決定した前記部分領域に含まれる前記尤度のうち前記調整された閾値未満の尤度を計数対象から除外して、前記部分領域ごとに尤度を計数することによって前記特定物体の数を推定する推定手段と、を有することを特徴とする。

本発明によれば、画像から計測対象となる物体の数を精度よく推定できる。

情報処理装置が適用されるシステム構成の一例を示す図である。 情報処理装置の機能ブロックの一例を示す図である。 入力画像に設定される複数の部分領域の一例を示す図である。 情報処理装置が実行する情報処理のフローチャートである。 尤度閾値調整用の部分領域の例を示す図である。 正検知に対応する画素毎の尤度値のヒストグラム例を示す図である。 尤度が高い推定値の数に応じた尤度の閾値のテーブルを示す図である。 尤度が高い推定値の数に応じた尤度の閾値設定処理を説明する図である。 尤度閾値設定に用いるＧＵＩの一例を示す図である。 情報処理装置のハードウェア構成例を示す図である。

以下、実施形態について、図面を参照しながら説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。
＜第１の実施形態＞
監視カメラで撮影された画像や撮影後に記憶装置に記憶された画像を解析し、活用する事例が増えている。例えば、画像中に存在する人体や頭部などの特定の物体を計数対象物体とし、特定の物体としての確からしさを示す尤度を推定し、その尤度を基に、当該画像に含まれる計数対象物体のおおよその数を推定する画像解析システムがある。本実施形態では、画像における対象物体を計数する際に、領域毎に対象物体を計数するための閾値を変更することによって、計数対象物体の未検出または誤検出を抑制し、検出精度を向上させる。図１は、本実施形態の情報処理装置１００が適用されるシステム構成の一例を示した図である。本実施形態におけるシステムは、情報処理装置１００、撮像装置１１０、記録装置１２０、およびディスプレイ１３０を有している。情報処理装置１００、撮像装置１１０、および記録装置１２０は、ネットワーク１４０を介して相互に接続されている。

ネットワーク１４０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。なお、ネットワーク１４０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌａｎ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。

撮像装置１１０は、被写体等を撮像する装置である。本実施形態では、撮像装置１１０の一例として監視カメラを挙げ、監視カメラで撮影した画像内に映っている人体や頭部等の特定の物体が、本実施形態における推定および計測の対象物体（以下、計測対象物体とする）であるとする。撮像装置１１０は、撮像により取得した画像のデータと、その画像を撮像した撮像日時の情報と、当該撮像装置を識別する情報である識別情報とを関連付け、ネットワーク１４０を介して、情報処理装置１００や記録装置１２０等の外部装置へ送信する。以下、撮像装置１１０にて撮像された画像のデータを単に画像と呼び、その画像の撮像日時や識別情報を関連情報と呼ぶことにする。なお本実施形態に係るシステムにおいて、撮像装置１１０は一つとするが、複数であってもよい。すなわち複数の撮像装置１１０が、ネットワーク１４０を介して、情報処理装置１００や記録装置１２０と接続されてもよい。この場合、情報処理装置１００および記録装置１２０は、撮像装置から送信されてきた画像の関連情報に含まれる識別情報を用いて、その送信されてきた画像が、複数の撮像装置のうちどの撮像装置によって撮像されたかを判断する。

記録装置１２０は、撮像装置１１０が撮像した画像と関連情報とを対応付けて記録する。そして、情報処理装置１００からの要求に従って、記録装置１２０は、記録した情報（画像と関連情報）を、情報処理装置１００へ送信する。
以下、撮像装置１１０や記録装置１２０から送信されて情報処理装置１００に入力される画像を適宜、入力画像を呼ぶことにする。

情報処理装置１００は、撮像装置１１０または記録装置１２０から送られてきた入力画像から特定物体の確からしさを示す尤度を推定し、その尤度の分布を表す尤度情報を取得し、尤度を基に特定物体の数を推定する。また情報処理装置１００は、その尤度情報に基づいて尤度の閾値調整用の部分領域を生成する。さらに情報処理装置１００は、閾値調整用の部分領域内に所定値以上の高い尤度が一定数以上ある場合には、その部分領域を、閾値を低く調整する領域と判定し、その部分領域について決定した閾値未満の尤度を、特定物体の計測対象外の尤度として決定する。そして情報処理装置１００は、その決定した尤度を除外して、特定物体の数を計数する。なお尤度が高いかどうかを判断する比較対象としての所定値は予め決めた値（一例として０．０２など）でもよいし、さらに推定結果に応じて所定値から相対的に調整した値（推定結果に応じて相対的に例えば０．０２以上に調整した値等）が用いられてもよい。本実施形態における情報処理装置１００の構成および情報処理の詳細な説明は後述する。

ディスプレイ１３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されており、情報処理装置１００による情報処理の結果や撮像装置１１０が撮像した画像などを表示する。ディスプレイ１３０は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して情報処理装置１００と接続されている。なお、ディスプレイ１３０、情報処理装置１００および記録装置１２０の少なくともいずれか一つ又は全ては、単一の筐体に設けられてもよい。また情報処理装置１００による情報処理の結果や撮像装置１１０による撮像画像は、ディスプレイ１３０に限らず、例えば次のような外部装置が有するディスプレイに表示されてもよい。例えば、ネットワーク１４０を介して接続されたスマートフォン、タブレット端末などのモバイルデバイスが有するディスプレイに表示されていてもよい。

次に図２は本実施形態に係る情報処理装置１００の機能ブロックの一例を示した図である。以下、図２に示した機能ブロックを参照して、本実施形態に係る情報処理装置１００における情報処理について説明する。なお以下の説明では、例えばパーソナルコンピュータが本実施形態に係る情報処理プログラムを実行することによって、図２の機能ブロックに示した各機能部が実現される例を挙げる。すなわち図２の各機能部は、パーソナルコンピュータのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等がＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等に格納されたコンピュータプログラムを実行することによって実現されるとする。なお本実施形態の情報処理装置１００に係る各機能を実現するパーソナルコンピュータ等のハードウェア構成等は、後に図１０を用いて説明する。

通信部２００は、後述する図１０のＩ／Ｆ１０４０を介して、撮像装置１１０や記録装置１２０と通信する。通信部２００は、例えば撮像装置１１０が撮像した動画像や静止画、あるいは記録装置１２０に記録された動画像や静止画などの入力画像と、その関連情報を受信する。なお、動画像は、時間的な連続性（あるいは関連性）を有する複数のフレームの画像により構成される。通信部２００は、動画像を構成する複数フレームの画像のうち少なくとも一つの画像、あるいは静止画を、処理対象の画像として取得する。また、通信部２００は、撮像装置を制御するための制御コマンドを撮像装置１１０へ送信したり、記録装置を制御するための制御コマンドを記録装置１２０へ送信したりする。なお、撮像装置に対する制御コマンドは、例えば当該撮像装置に対して画像を撮像するよう指示を行うコマンドを含む。また、記録装置に対する制御コマンドは、当該記録装置から画像を読み出すような指示を行うコマンドを含む。

出力制御部２０１は、入力画像、本実施形態に係る情報処理に関する設定を行う設定画面、または当該情報処理装置１００による情報処理の結果を示す情報などを、外部装置に出力したり、ディスプレイ１３０に表示させたりする。なお、出力制御部２０１による情報の出力先である外部装置には、他の情報処理装置（不図示）や記録装置１２０が含まれる。
操作受付部２０２は、キーボードやマウス、タッチパネル等の入力装置（不図示）を介して、ユーザが行った操作を受け付ける。

設定部２０３は、入力画像に対して特定物体の数を推定する推定処理の対象である複数の部分領域（第１の部分領域）を設定する。第１の部分領域とは、後述する推定部２０４によって画像から推定される特定物体の数を合算して計数する際の計数対象領域であり、例えばユーザが操作受付部２０２を介して入力画像上に指定した位置に基づいて設定部２０３が設定する領域である。具体的には、後述する回帰ベース推定法に入力するために入力画像を分割した部分画像（バッチ）である。なお本実施形態では、例えば入力画像の全体の領域が、所定領域として設定される場合を想定している。例えば、特定物体が存在しない領域がある場合は、入力画像の一部を所定領域として設定してもよい。

また設定部２０３は、所定領域を覆うように、後述する推定部２０４による特定物体の推定処理の対象となる複数の部分領域を並べて設定する。このときの設定部２０３は、入力画像上の複数の異なる地点の各々において特定物体が取り得るサイズと各位置の情報に基づいて、複数の部分領域の個々の大きさと位置を設定する。入力画像の所定領域に対して設定される複数の部分領域、およびそれら部分領域の大きさと位置の設定例の詳細は後述する。なお設定部２０３は、例えば操作受付部２０２を介してユーザが指定した領域を、特定物体を推定する処理対象となる部分領域として設定するようにしてもよい。
また設定部２０３は、後述する推定部２０４が特定物体を推定した推定結果である尤度を、計数対象の尤度に含めるか否かを判定する際の比較対象としての閾値を設定する。本実施形態において、特定物体の数を推定する処理は、入力画像に含まれる特定物体の数を示す尤度を推定する処理（物体推定処理）と、推定された尤度と閾値とを比較することによって入力画像に含まれる特定物体の数を推定する処理（数推定処理）の２つの処理を行う。ここでいう閾値は、後者の数推定処理において、特定物体の推定結果を有効とするか否かを決定するための閾値である。具体的には、閾値を０．０５といった所定の値に設定し、数推定処理の際に閾値未満（あるいは閾値以下）の尤度を計数対象から除外する。尤度の閾値の詳細は後述する。

推定部２０４は、入力画像の所定領域に対して設定部２０３が設定した複数の部分領域（第１の部分領域）の各々において特定物体の数を推定する推定処理を実行する。本実施形態では、推定部２０４が特定物体の数を推定する手法（物体推定処理）として、例えば回帰ベース推定法を用いる例を想定する。回帰ベース推定法では、ある固定サイズｓの小画像を入力とし、その小画像内に存在する特定物体の数を出力とする回帰器（学習済み認識モデル）を用いることで、入力画像の所定領域内の複数の部分領域における特定物体の数を推定する。回帰器を学習させるにあたっては、特定物体の位置が既知である固定サイズｓの小画像を大量に用意し、当該対象の小画像を学習データとして、機械学習手法に基づいて回帰器を学習しておく。このとき、特定物体の数の推定精度を向上させるために、学習データである小画像のサイズ（固定サイズｓ）と当該小画像内に存在する特定物体のサイズとの比率が略一定であることが望ましい。そして推定部２０４は、入力画像の所定領域に設定された複数の部分領域の各々の画像を固定サイズｓにリサイズしたものを小画像とし、その小画像を回帰器に入力することで、「当該部分領域内の特定物体の位置や尤度（推定値）」を回帰器からの出力として求める。そして、推定部２０４では、部分領域内で推定された特定物体の尤度を合算した値を、当該部分領域内における特定物体の数（推定数とする）として求める（数推定処理）。なお、それぞれの尤度について、閾値との比較を行うことで、ノイズとなる推定結果を除外することができる。本実施形態においては、ノイズとなる推定結果を除いた尤度の合計値を最終的な数の推定結果として出力する。なお以降の説明では、特定物体として人物を例に挙げているが、これに限定されるものではなく、特定物体は例えば人物の頭部、上半身、腕、足など人体の一部の部位であってもよいし、自動車やナンバープレートなど他の物体であってもよい。

記録部２０５は、情報処理装置１００による情報処理に関わる情報や画像等のデータを記憶する。例えば、記録部２０５は、入力画像の所定領域に設定された複数の部分領域の各々に対する、推定部２０４による推定処理で取得された特定物体の数等を記録する。また記録部２０５は、推定部２０４の推定処理によって取得された情報である尤度情報を記録する。なお本実施形態において、尤度情報は、情報処理装置１００の記録部２０５が保持するものとしたが、これに限らない。例えば、情報処理装置１００とネットワーク１４０を介して接続される外部装置（例えば記録装置１２０）が、尤度情報を保持していてもよい。外部装置に尤度情報が保持される場合、情報処理装置１００の通信部２００は、尤度情報を要求するコマンドを当該外部装置へ送信し、そのコマンドに従って当該外部装置から送信された尤度情報を取得するようにしてもよい。

調整部２０６は、推定部２０４による推定結果の尤度情報である尤度の値および尤度の位置を取得する。また調整部２０６は、推定部２０４による尤度情報に基づいて、回帰ベース推定法の回帰器に入力する部分領域と同じするか、若しくは複数の部分領域を連結して、閾値調整用の注目部分領域（第２の部分領域）を生成する。第２の部分領域は、第１の部分領域と共通した領域であってもよいし、尤度情報に基づいて、同じくらいの尤度を含む第１の部分領域を統合することによって生成してもよい。さらに調整部２０６は、第２の部分領域それぞれの尤度の合計と、第１の所定値とを比較し、第１の所定値よりも尤度が大きい部分領域については、数推定処理のための閾値を設定しない領域として決定する。例えば、ある部分領域に含まれる尤度の合計値が５．４であり、第１の所定値が５であった場合に、５．４＞５であるので、当該部分領域は閾値を変更する対象領域となる。なお、第１の所定値よりも尤度が小さい部分領域については、数推定処理の際に該部分領域に含まれる尤度のそれぞれと閾値を比較する処理を行う領域として決定する。調整部２０６は、部分領域内で第２の所定値以上の高い尤度が一定数以上存在する場合には、その部分領域内の尤度に対する閾値を低くするような閾値調整処理、或いはその部分領域内の尤度に対する閾値をなくす（設定しない）ような、閾値調整処理を行うようにしてもよい。例えば、ある部分領域に含まれる尤度のそれぞれが（０．８，０．８，０．７，０．５，０．３，０．０１）であった場合に、それぞれの尤度と第２の所定値（例えば、０．１）を比較する。第２の所定値より大きい尤度の数が一定数（例えば、４以上）である場合に、その部分領域を、閾値を調整する領域として決定する。この具体例の部分領域は、０．１より大きい尤度が５つあって、条件を満たす尤度の数は５＞４であるため、閾値を調整する領域として決定する。そして調整部２０６は、その閾値未満の尤度を、特定物体の計測対象外の尤度として決定し、推定部２０４で推定された尤度から、その決定した尤度を除外するようにして、特定物体の数を算出する。調整部２０６におけるこれらの処理の詳細は後述する。

前述したように、推定部２０４にて推定され、調整部２０６によって調整された尤度の合算値である特定物体の推定数（例えば人物の数）を示す情報は、出力制御部２０１により外部装置に出力される。また出力制御部２０１は、特定物体の推定数の情報の他、調整部２０６での全体の処理時間を示す情報、総フレーム処理時間を示す情報などを、外部装置の一例であるディスプレイ１３０に表示させる。

前述したように、本実施形態に係る情報処理装置１００は、入力画像内に存在する計測対象物体である特定物体（人体や頭部など）を推定し、その推定した特定物体が存在する確からしさを示す尤度を取得する。また情報処理装置１００は、その尤度に基づいて、第２の部分領域を作成し、さらにその第２の部分領域の尤度が第１の所定値以上ある場合には、当該部分領域における尤度の閾値をより低く、若しくはなくすように調整する。そして、情報処理装置１００は、閾値未満の尤度については、特定物体の計数対象外として決定して当該尤度を計数から除外し、閾値以上の尤度をカウントすることで特定物体の数を推定する。

次に図３を参照して、入力画像の所定領域に対して複数の部分領域を設定する処理について説明する。図３は、撮像装置１１０により撮像された画像を入力画像とし、その入力画像全体を所定領域として、設定部２０３が設定した複数の部分領域の一例を示した図である。

設定部２０３は、図３に示すように、撮像装置１１０から入力された画像３００に対して複数の部分領域３０１ａ、３０１ｂ、３０１ｃを設定する。本実施形態において、設定部２０３は、画像３００上の複数の異なる地点各々において映る人物のサイズと位置の情報に基づき、当該画像３００に対して複数の部分領域を設定するものとする。撮像装置１１０により撮像された画像における各部分領域のサイズは、その撮像画像中に映る特定物体の大きさに依存する。図３の例では、特定物体として人体（人物）を挙げており、部分領域のサイズは、撮像画像内の位置によって大きさが異なって映る人体の大きさに依存する。例えば撮像装置１１０が床面等の水平面を見下ろす位置に配置されている場合、つまりレンズの光軸が水平軸より下側に向くように撮像装置１１０が設置されている場合、撮像画像の下部分では人体が大きく映り、上部分では人体が小さく映る。このため、画像３００に対する複数の各部分領域のサイズは、画像の下部分に配される部分領域３０１ａの方が、それより上部分に配される部分領域３０１ｂや３０１ｃよりも大きくなされる。同様に、画像の中部分に配される部分領域３０１ｂの方が、それより上部分に配される部分領域３０１ｃよりも大きなサイズとなされる。なお、撮像装置１１０のレンズ光軸と水平軸とがなす角度が９０度に近づくほど、撮像画像に含まれる人体の大きさは、当該撮像画像内の位置によらず略均一に近づき、撮像画像の上部と下部とで部分領域のサイズの差は小さくなる。図３の例では、破線で囲まれた各矩形領域が、設定部２０３により設定される部分領域である。前述のような部分領域の大きさを決定するための計算パラメータは、撮像装置１１０の設置位置や設置角度、ズーム倍率といった撮像パラメータを用いてもよいし、ユーザが撮像画像から指定した人体等の大きさを用いてもよい。

例えばユーザの指定に基づいて部分領域の大きさを設定する場合、設定部２０３は、出力制御部２０１を介して、ディスプレイ等に部分領域の大きさ等をユーザが指定するためのＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）を形成する。ユーザは、操作受付部２０２を用い、そのＧＵＩを通じて、入力画像の所定領域内の複数の異なる地点各々において映る人物のサイズと位置の情報を指定する。例えば、ＧＵＩ上に表示された画像に対し、ユーザが上部、中部、下部各々の位置において映る人物の平均的なサイズを指定する操作を行うと、操作受付部２０２は、そのユーザ指示を受け付ける。そして、操作受付部２０２が受け付けた上部、中部、下部各々の指示に基づく人物の位置の情報と当該位置において映る人物の平均的なサイズの情報とは、記録部２０５によって記録される。そして設定部２０３は、記録部２０５に記録された、画像の上部、中部、下部各々における人物の位置の情報と、それら位置における人物の平均的なサイズ情報とを取得する。

また、複数の異なる地点各々において映る人物のサイズと位置の情報は、撮像装置１１０にて予め撮像された画像に対して画像解析を行うことによって取得されてもよい。例えば、設定部２０３は、撮像装置１１０によって予め撮像された画像に対しパターンマッチングなどを用いて人物を検出する処理を実行し、当該画像から検出された人物の位置と当該位置における当該人物のサイズとを関連付けた情報を記録部２０５が記録する。設定部２０３は、前述のように画像から検出されて記録部２０５に記録された、複数の異なる地点各々における人物の位置とサイズの情報を、当該記録部２０５から取得する。

そして設定部２０３は、前述したユーザの指定若しく画像解析により取得された、画像上の複数の異なる地点各々に対応する人物の位置と、当該位置において映る人物のサイズとに基づいて、画像上の任意の位置に映る人物のサイズ情報ｆ（ｘ，ｙ）を推定する。画像上の任意の位置における人物のサイズ情報ｆ（ｘ，ｙ）は、画像上の任意の位置座標（ｘ、ｙ）において映る人物の平均的なサイズを示している。サイズ情報ｆ（ｘ，ｙ）は、例えば、画像上のｘ座標を示すｘ、画像上のｙ座標を示すｙ、および１個以上のパラメータによって表せると仮定する。例えば、ｆ（ｘ，ｙ）＝ａｘ＋ｂｙ＋ｃと仮定する。この例では、未知のパラメータはａ、ｂおよびｃである。このとき、設定部２０３は、記録部２０５から読み出された、画像上の複数の異なる地点各々における人物の位置とサイズの情報を用いて、未知のパラメータを、例えば最小二乗法等の統計処理により求めることができる。

そして、設定部２０３は、画像上の任意の位置における人物のサイズであるサイズ情報ｆ（ｘ，ｙ）に基づき、画像（入力画像の所定領域）に対して複数の部分領域を設定する。図３に示した例では、画像３００上の任意の位置における人物のサイズとして、画像３００の水平方向において人物のサイズは略同一であり、画像３００の垂直方向では下部から上部に向かうにつれ人物のサイズは小さくなる。図３の例の場合、まず、設定部２０３は、画像３００の下端に沿って複数の部分領域３０１ａを設定する。このとき、設定部２０３は、部分領域３０１ａのサイズ（サイズａとする）と、部分領域３０１ａ内の下端の座標においてサイズ情報ｆ（ｘ，ｙ）が示す人物のサイズとの比率が、学習データに対応する比率ｒと略同一になるように、部分領域３０１ａを設定する。

次に、設定部２０３は、複数の部分領域３０１ａの上端に沿って、複数の部分領域３０１ｂを設定する。このとき、設定部２０３は、部分領域３０１ｂのサイズ（サイズｂとする）と、部分領域３０１ｂ内の下端の座標においてサイズ情報ｆ（ｘ，ｙ）が示す人物のサイズとの比率が、学習データに対応する比率ｒと略同一になるように、部分領域３０１ｂを設定する。
さらに、設定部２０３は、複数の部分領域３０１ｂの上端に沿って、複数の部分領域３０１ｃを設定する。このとき、設定部２０３は、部分領域３０１ｃのサイズ（サイズｃとする）と、部分領域３０１ｃ内の下端の座標においてサイズ情報ｆ（ｘ、ｙ）が示す人物のサイズとの比率が、学習データに対応する比率ｒと略同一になるように、部分領域３０１ｃを設定する。

このように、本実施形態の設定部２０３は、部分領域のサイズと該部分領域における人物等の特定物体のサイズとの比率が、学習データである小画像のサイズと当該小画像に映る特定物体のサイズとの比率ｒと略同一になるよう、画像に対し部分領域を設定する。すなわち本実施形態では、学習データの環境に近づくよう画像に対して部分領域を設定することで、部分領域に含まれる特定物体の数の推定精度をより高めることができる。なお、図３を参照した上述の説明において、画像の下端から上端に向かう順番で部分領域を設定したが、これに限らず、他の位置から部分領域を設定してもよい。

続いて、図４に示すフローチャートを参照して、本実施形態の情報処理装置１００において実行される情報処理の流れを説明する。情報処理装置１００は、図４の処理を実行することで、入力画像に対し推定処理を行った結果である尤度情報を基に、計測対象ではない物体の誤検知を低減しつつ、正検知された尤度が減少してしまうことを抑制可能とする。すなわち本実施形態では、誤検知である可能性が高い尤度の低い推定結果を削減しながらも、正しい推定結果である可能性が高い正検知の尤度が計数されなくなることを抑制すること（正検知の尤度の減少量を抑えること）ができる。

なお、図４に示した処理は、例えば撮像装置１１０により撮像された画像に対して尤度の閾値が設定される設定モードにおいてユーザ指示に従って実行されるようにしてもよい。また、図４の処理は、例えば、撮像装置１１０にて撮像された画像に対して尤度の閾値の設定が有効である時に、自動的に実行されるようにしてもよい。なお、図４の処理は、例えばＲＯＭに格納されたコンピュータプログラムをＣＰＵが実行して実現される、図２に示す機能ブロックにより実行されるものとする。以下のフローチャートにおいて用いる参照符号の「Ｓ」は処理ステップを表すものとする。

まずＳ４０１において、推定部２０４は、入力画像に対し、特定物体の存在を推定する学習済みモデルに基づいて、特定物体の位置と尤度を含む尤度情報を取得する。つまり、前述した特定物体（人物や頭部等）の推定およびその数を推定するような推定処理を実行する。入力画像を複数に分割した部分領域（第１の部分領域）のそれぞれを学習済みモデルに入力することによって、それぞれの部分領域に含まれる特定物体の尤度を取得する。なお、尤度は０（存在しない）から１（存在する）の間の値をとる。ここでは、特定物体として、人物の頭部の位置とその尤度を尤度情報として取得する。

次にＳ４０２において、調整部２０６は、設定部２０３による尤度の閾値設定が有効であるかを判定する。調整部２０６は、尤度の閾値設定が有効であると判定した場合には処理をＳ４０４へ進め、一方、尤度の閾値設定が無効であると判定した場合には処理をＳ４１０へ進める。

Ｓ４０３に進むと、調整部２０６は、推定部２０４にて得られる推定結果の情報、すなわち特定物体が存在する確からしさを示す尤度の分布を表す尤度情報を取得する。ここで、調整部２０６は、尤度情報として、例えば、画像内の位置情報と、それら位置情報に対応する尤度の値とを取得する。
次にＳ４０４において、調整部２０６は、Ｓ４０３で推定部２０４から取得した尤度情報に基づいて、閾値調整用の部分領域（第２の部分領域）を生成する。尤度情報に基づく閾値調整用の部分領域の作成処理の詳細は後述する。

次に調整部２０６は、Ｓ４０５からＳ４０８までのループ処理を、Ｓ４０４で作成した全ての閾値調整用の部分領域の各々に対して繰り返す。Ｓ４０５～Ｓ４０８では、閾値調整用の部分領域内に所定値以上の尤度が一定数以上あるかを判定し、一定数以上ある場合には、当該部分領域の閾値を低く若しくは閾値を設定しないように調整する領域として決定する処理が行われる。

すなわちＳ４０５～Ｓ４０８のループ処理のうち、Ｓ４０６において、調整部２０６は、閾値調整用の部分領域内に、所定値以上の高い尤度が一定数以上あるかを判定する。調整部２０６は、閾値調整用の部分領域内に高い尤度が一定数以上ある場合には、計数対象の物体である可能性が高い、つまり正検知の尤度が存在する可能性が高いと判断して、処理をＳ４０７に進める。一方、調整部２０６は、閾値調整用の部分領域内に所定値以上の尤度が一定数以上ない場合には、計数対象の物体が存在する可能性が低い、つまり誤検知の尤度が存在する可能性が高いと判断し、処理をＳ４０８へ進める。

Ｓ４０７に進んだ場合、調整部２０６は、閾値調整用の部分領域に対し、設定部２０３で設定された尤度の閾値を低くするように調整する。なおＳ４０７に進んだ場合、調整部２０６は、閾値調整用の部分領域に対し、尤度の閾値を０にする、つまり閾値を設定しないように調整してもよい。そして、Ｓ４０４で作成した全ての閾値調整用の部分領域の各々に対し、Ｓ４０５からＳ４０８までのループ処理が行われると、調整部２０６は、Ｓ４０９に処理を進める。

Ｓ４０９に進むと、調整部２０６は、閾値調整用の部分領域毎に調整された閾値未満の尤度を０とするように更新する。これにより閾値未満の尤度は、計数対象外となる。このＳ４０９の後、情報処理装置１００の処理は、推定部２０４によるＳ４１０に進む。

Ｓ４１０に進むと、推定部２０４は、Ｓ４０９で更新された後の尤度を基に、特定物体の数を推定する。すなわち、推定部２０４では、Ｓ４０９で更新された後の尤度を計数することで、特定物体の数（人物の推定人数）を算出する処理が行われる。

次に、図５（Ａ）から図５（Ｃ）を参照して、本実施形態の調整部２０６において行われる閾値調整用の部分領域の作成処理について説明する。
図５（Ａ）は、推定部２０４の推定処理時に回帰器に入力する部分領域を、閾値調整用の部分領域として作成した一例を示す図である。図５（Ａ）の画像５００Ａのうち、斜線部で示した閾値調整用の部分領域は尤度の閾値を低くしない領域であり、斜線部でない部分領域は尤度の閾値が低く調整される領域である。

図５（Ｂ）は、所定値以上の複数の尤度が密集して分布している部分領域毎にグループを作成し、グループ単位で閾値調整用の部分領域を作成した一例を示す図である。調整部２０６は、所定値以上の高い尤度の間の距離によってグループを決定する。なお、図５（Ｂ）の画像５００Ｂのうち、斜線部で示した閾値調整用の部分領域は閾値を低くしない領域であり、斜線部でない領域は尤度の閾値が低く調整されるグループになされた領域である。

図５（Ｃ）は、所定値以上の尤度を含む塊単位で、閾値調整用の部分領域を作成した一例を示す図である。図５（Ｃ）の画像５００Ｃのうち、斜線部で示した閾値調整用の部分領域は閾値を低くしない領域であり、斜線部でない領域は塊単位で作成された領域である。塊単位は、画素同士が連続している尤度の集合としてもよいし、所定値以上の高い尤度を中心に一定範囲内の画素に存在する尤度の集合としてもよい。

なお、閾値調整用の部分領域は、画面全体が対象となされてもよい。
また動画の場合、調整部２０６は、フレーム間で推定結果が変われば、閾値調整用の部分領域の作成を再度実行して、閾値調整用の部分領域を再作成してもよい。
また調整部２０６は、所定値以上の尤度が存在しない閾値調整用の部分領域の閾値個所を、高く設定する領域としてもよい。

以上説明したように、第１の実施形態では、入力画像から推定した尤度情報を基にして、正検知が存在する可能性が高い部分領域の閾値を低く調整する。これにより、誤検知である可能性が高いとする、尤度の低い推定値を低減させながらも、正検知の尤度の減少量を抑えることを可能となる。ゆえに本実施形態によれば、推定した特定物体のカウント精度の向上を図ることが可能となる。

具体的な値等の例を用いて説明する。例えば、特定物体を人体の頭部とし、尤度が高いと判断するのに用いる所定値が０．０２であり、正検知の頭部を構成する尤度として０．０２以上ものが多数あり、一方、低い尤度の集合体である誤検知は非常に少ない解析結果になる場合を想定する。この例の場合、画像内に、０．０２以上の尤度が一定数以上（例えば１００個以上）あれば尤度の閾値を低い値（例えば０．０１０）にし、一方、例えば１００個未満であれば尤度の閾値を０．０１より高い値（例えば０．０１５）にする。これにより、誤検知である可能性が高いとする尤度の低い推定値を低減させながらも、正検知の尤度が削減されてしまうのを防ぐことができる。

また他の例として、正検知を構成している尤度が、例えば０．０３以上０．１０未満となっている高い尤度を含んでおり、誤検知の尤度として０．０３を超える尤度がほとんど含まない解析結果である場合を想定する。この例の場合、画像内に、０．０３以上の尤度が一定数以上（例えば１００個以上）あれば尤度の閾値を例えば０（閾値なしと同じ）にし、一方、例えば１０～１００個あれば尤度の閾値を低い値（例えば０．０１０）にする。これにより、誤検知である可能性が高いとする尤度の低い推定値を低減させながらも、正検知の尤度の減少量を抑えることガ可能となる。

＜第２の実施形態＞
次に第２の実施形態として、所定値以上の高い尤度の数に応じて、閾値調整用の部分領域毎に閾値を決定する閾値調整処理の例を説明する。前述第１の実施形態では、所定値以上の尤度の数が一定数以上存在するか否かで閾値を低く、若しくは閾値をなくす例を説明した。これに対して、第２の本実施形態では、所定値以上の高い尤度の数に応じて、閾値調整用の部分領域毎に尤度の閾値を段階的に調整する閾値調整処理について説明する。なお、第２の実施形態におけるシステム構成や情報処理装置１００の機能ブロック等は、第１の実施形態において図１及び図２を参照して説明したものと同様であるので、それらの説明は省略する。

図６は、特定物体が例えば人物である場合において、一人分の正検知に対応する画素毎が持つ尤度値のヒストグラム（度数分布表）の一例を示した図である。ここで、尤度値０は正検知に対応する画素毎が持つ尤度値には含まない。したがって尤度値０は図６の尤度の個数にも含まれていない。例えば、尤度が高いと判断する場合の所定値を０．０２以上とした場合、図６の例では、１７個の尤度値が対象となる。第２の実施形態では、このように高い尤度の個数に応じて、対象の閾値調整用の部分領域の閾値を決定する。

図７は、所定値以上の高い尤度の個数に応じて、閾値調整用の部分領域毎に閾値を決定する一例を表７００として示した図である。図７の例から、調整部２０６は、閾値調整用の部分領域内に含まれる、所定値以上の尤度の数が０個である場合には正検知がない可能性が高いとみなし、尤度の閾値を最も高くするような閾値調整を行う。また、調整部２０６は、所定値以上の高い尤度の数が１～１００個の場合には閾値を０．０１とし、高い尤度の数が１０１～２００個の場合には閾値を０．００５とし、２０１個以上の場合には閾値を設定なし（閾値０）とする閾値調整を行う。

図８は、図７で説明した所定値以上の高い尤度の数に応じて、閾値調整用の部分領域毎に尤度の閾値を段階的に決定する閾値調整処理が行われた結果の一例を示した図である。図７のテーブルを基に、図８の画像８００では、斜線部で示した領域では閾値が０．０２であるのに対し、閾値が０．０１の領域は所定値以上の尤度の数が１～１００個の領域を示している。また図８の画像８００において、閾値が０．００５の領域は所定値以上の尤度の数が１０１～２００個の領域を示し、閾値なしの領域は所定値以上の尤度の数が２００個以上の領域を示している。

なお第２の実施形態に係る処理は、例えばユーザが尤度の閾値設定を有効にし、自動調整を選択した時に実行されても良い。また、尤度の閾値設定の自動調整は、検出精度向上の処理として内部処理で実行されても良い。なお動画の場合、フレーム間で推定結果が変わったときには、自動で閾値調整用の部分領域が再作成されてもよい。

第２の実施形態の場合、画像中の尤度情報を基にして、正検知の尤度が存在する可能性が高い部分領域の正検知の数に応じて、閾値を段階的に低く調整することが行われる。これにより、所定値以上の高い尤度の数が多いほど、つまり正検知が多くなるほど、正検知が持つ低い尤度の累積値も多くなる。第２の実施形態によれば、このように尤度の閾値を段階的に決定することで、正検知が多いほど正検知の尤度の減少量が増えてしまうのを防ぐことができる。これにより第２の実施形態では、局所的に適した尤度の閾値を設定でき、推定した特定物体のカウント精度の向上を図ることが可能となる。

＜第３の実施形態＞
次に、第３の実施形態として、尤度の閾値等を設定するためのＧＵＩを用い、ユーザが尤度の閾値調整用の部分領域を指定した場合に、各閾値調整用の部分領域に対して尤度の閾値を設定する例を説明する。なお、第３の実施形態におけるシステム構成や情報処理装置１００の機能ブロック図等は、第１の実施形態の図１及び図２を参照して説明したものと同様であるので、それらの説明は省略する。

図９は、第３の実施形態において、設定部２０３が出力制御部２０１を介してディスプレイ１３０等に表示させるＧＵＩ画面例を示した図である。調整部２０６は、このＧＵＩ画面を介してユーザが設定した情報に基づいて、閾値調整用の部分領域における尤度の閾値を設定する。

図９の表示画面９００は、尤度が低い誤検知を除去することを目的とした尤度の閾値設定を行うＧＵＩの一例を示す図である。初期状態の場合と、表示画面９００上でユーザがチェックボックス９０１を選択し、さらにＯＫボタン９１１を押下した場合、調整部２０６は、尤度の閾値設定を行わない。また表示画面９００上で、ユーザがチェックボックス９０２を選択し、さらにＯＫボタン９１１を押下した場合、調整部２０６は、尤度の閾値設定を実行する。なお、ユーザがチェックボックス９０２を選択した場合、初期状態では、チェックボックス９０３が選択されているとする。また、ユーザが、チェックボックス９０３を選択し、さらにＯＫボタン９１１を押下した場合、設定部２０３は、ユーザにより自動決定が指示されたとして、尤度の閾値を自動で決定して設定する。一方、ユーザがチェックボックス９０４を選択し、さらにＯＫボタン９１１を押下した場合、設定部２０３は、ラジオボタン９０５もしくはラジオボタン９０６を選択可能にする。そして、ユーザがラジオボタン９０５を選択した場合、調整部２０６は、画面全体に対する尤度の閾値の指定を可能とする。これにより画面全体に対して任意の閾値未満の尤度を計数対象から除外することが可能となる。また、ユーザがラジオボタン９０５を選択した場合、設定部２０３は、エリア設定ボタン９１３を押下する可能とする。そして、エリア設定をしていない場合に、ユーザが、エリア設定ボタン９１３を押下し、エリアを設定した場合、調整部２０６は、設定した全てのエリアに対して、尤度の閾値を設定することが可能となる。なお、表示領域９０７～９１０は、エリア１～エリア４に各々設定された閾値（例えば０．００５～０．０１）が示される。そして、ユーザがＯＫボタン９１１を押下すると設定が完了し、一方、キャンセルボタンが押下された場合、調整部２０６は、設定した内容を反映しない。

以上説明したように、第３の実施形態の場合、ユーザがエリア指定と尤度の閾値の設定をすることができる。また本実施形態では、誤検知が出易い領域や閾値設定による正検知の推定数減少が大きくなることが予想される領域など、各々の状況に合わせて適した尤度の閾値をユーザが指定可能である。第３の実施形態によれば、誤検知が出易い領域には閾値を高く設定したり、特定物体が密集する領域には正検知の尤度の減少量を抑えるように閾値を低く設定したりすることを、ユーザが指定でき、その結果カウント精度の向上を図ることが可能となる。

＜ハードウェア構成＞
図１０は、前述した第１～第３の各実施形態の情報処理装置１００の各機能を実現可能なハードウェア構成例を示した図である。なおここでは、情報処理装置１００のハードウェア構成について説明するが、記録装置１２０および撮像装置１１０も同様のハードウェア構成によって実現されてもよい。

本実施形態における情報処理装置１００は、ＣＰＵ１０００と、ＲＡＭ１０１０と、ＲＯＭ１０２０、ＨＤＤ１０３０と、Ｉ／Ｆ１０４０と、少なくとも有している。ＣＰＵ１０００は情報処理装置１００を統括制御する中央処理装置である。ＲＡＭ１０１０は、ＣＰＵ１０００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ１０１０は、ＣＰＵ１０００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ１０１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。ＲＯＭ１０２０は、ＣＰＵ１０００が情報処理装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ１０３０は、画像データ等を記録する記憶装置である。本実施形態に係る情報処理プログラムはＲＯＭ１０２０またはＨＤＤ１０３０に格納されており、ＲＡＭ１０１０に展開されてＣＰＵ１０００にて実行されることにより、前述した図２の各機能部における各処理が実現される。Ｉ／Ｆ１０４０は、ネットワーク１４０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

なお、上述した実施形態の説明では、ＣＰＵ１０００が処理を実行する例について説明したが、ＣＰＵ１０００の処理のうち少なくとも一部またはすべてが専用のハードウェアによって行われてもよい。例えば、ディスプレイ１３０にＧＵＩや画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）で実行してもよい。またＲＯＭ１０２０からプログラムコードを読み出してＲＡＭ１０１０に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行されてもよい。また、情報処理装置１００の各部は、図１０に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

＜その他の実施形態＞
以上、各実施形態について説明したが、本発明はこれらの実施形態に限定されることなく、その要旨の範囲内で種々の変形および変更が可能である。
上述した各実施形態に係る情報処理装置１００の１以上の機能を他の装置が有していてもよい。例えば、各実施形態に係る情報処理装置１００の１以上の機能を撮像装置１１０が有していてもよい。なお、上述した各実施形態を任意に組み合わせて実施してもよい。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：情報処理装置、１１０：撮像装置、１２０：記録装置、１３０：ディスプレイ、２００：通信部、２０１：出力制御部、２０２：操作受付部、２０３：設定部、２０４：推定部、２０５：記録部、２０６：調整部

Claims (15)

1. 入力画像から、特定物体が存在する確からしさを示す尤度の分布を表す尤度情報を取得する取得手段と、
   前記尤度情報に基づいて、前記入力画像の部分領域に含まれる前記尤度が第１の所定値以上である場合には、当該部分領域に対する閾値をより低く調整する領域として決定する決定手段と、
   前記決定手段で決定した前記部分領域に含まれる前記尤度のうち前記調整された閾値未満の尤度を計数対象から除外して、前記部分領域ごとに尤度を計数することによって前記特定物体の数を推定する推定手段と、
   を有することを特徴とする情報処理装置。
2. 前記決定手段は、前記部分領域に含まれる前記尤度のうち第２の所定値より大きい前記尤度が一定数以上である場合に、前記部分領域に対する前記閾値をより低く調整する領域として決定することを特徴とする請求項１に記載の情報処理装置。
3. 前記入力画像から複数の部分領域を生成する生成手段を更に有し、
   前記決定手段は、前記生成された部分領域について、前記閾値を調整するか否かを決定することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記取得手段は、前記入力画像を、前記特定物体の位置を推定する学習済みモデルに入力した結果として前記尤度情報を取得し、
   前記学習済みモデルは、前記生成手段によって生成された複数の前記部分領域のそれぞれについて前記尤度情報を出力することを特徴とする請求項３に記載の情報処理装置。
5. 前記生成された複数の前記部分領域ごとに所定の閾値を設定する設定手段を更に有し、
   前記決定手段は、前記部分領域内に所定値以上の尤度が一定数以上ある場合に、当該部分領域を、前記設定手段が前記設定した前記閾値よりも閾値を低くする領域として決定することを特徴とする請求項３または４に記載の情報処理装置。
6. 前記生成手段は、前記尤度情報に基づいて、前記入力画像から注目部分領域を生成し、
   前記決定手段は、前記注目部分領域に含まれる前記尤度情報に基づいて、前記閾値を調整する領域を決定することを特徴とする請求項３乃至５のいずれか１項に記載の情報処理装置。
7. 前記生成手段は、前記尤度情報に基づいて、前記尤度が所定の数より多い前記部分領域を前記注目部分領域として生成し、
   前記決定手段は、前記注目部分領域を、前記閾値をより低くする領域として決定することを特徴とする請求項６に記載の情報処理装置。
8. 前記生成手段は、前記尤度情報に基づいて、前記部分領域に含まれる所定値以上の尤度から所定の範囲に含まれる領域を注目部分領域として生成し、
   前記決定手段は、前記注目部分領域を、前記閾値をより低くする領域として決定することを特徴とする請求項６に記載の情報処理装置。
9. 前記生成手段は、動画のフレーム間で尤度情報が変われば、前記部分領域を更新することを特徴とする請求項３乃至８のいずれか１項に記載の情報処理装置。
10. 前記生成手段は、ユーザからの指示に応じた前記部分領域を生成することを特徴とする請求項３乃至８のいずれか１項に記載の情報処理装置。
11. 前記決定手段は、前記部分領域ごとに含まれる所定値以上の尤度の数に応じて、前記閾値を決定することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
12. 前記決定手段は、前記所定値以上の尤度が存在しない前記部分領域の閾値を、前記所定値以上の尤度が存在する部分領域の閾値よりも高く調整することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
13. 前記決定手段は、ユーザからの自動決定の指示或いはユーザからの閾値の指示に応じて、前記部分領域ごとに前記閾値を設定することを特徴とする請求項１２に記載の情報処理装置。
14. 情報処理装置が実行する情報処理方法であって、
    入力画像から、特定物体が存在する確からしさを示す尤度の分布を表す尤度情報を取得する取得工程と、
    前記尤度情報に基づいて、前記入力画像の部分領域に含まれる前記尤度が第１の所定値以上である場合には、当該部分領域に対する閾値をより低く調整する領域として決定する決定工程と、
    前記決定工程で決定した前記部分領域に含まれる前記尤度のうち前記調整された閾値未満の尤度を計数対象から除外して、前記部分領域ごとに尤度を計数することによって前記特定物体の数を推定する推定工程と、
    を有することを特徴とする情報処理方法。
15. コンピュータを、請求項１乃至１３のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

Images