JP2021009728A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2021009728A JP2021009728A JP2020173083A JP2020173083A JP2021009728A JP 2021009728 A JP2021009728 A JP 2021009728A JP 2020173083 A JP2020173083 A JP 2020173083A JP 2020173083 A JP2020173083 A JP 2020173083A JP 2021009728 A JP2021009728 A JP 2021009728A
- Authority
- JP
- Japan
- Prior art keywords
- estimation
- region
- image processing
- image
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】複数の人数推定法を組み合わせて、画像中の特定物体の数をより高精度に推定することを目的とする。【解決手段】本発明の画像処理装置は、画像の第1領域に含まれる特定物体の数を、第1推定処理を用いて推定する第1推定手段と、前記画像の第2領域に含まれる特定物体の数を、前記第1推定処理と異なる第2推定処理を用いて推定する第2推定手段と、前記第1推定手段による推定結果と、前記第2推定手段による推定結果とを統合する統合手段と、を有し、前記第1推定処理は、前記画像に含まれる特定物体を検出する検出処理を用いて前記特定物体の数を推定する処理であり、前記第2推定処理は、人数が既知である複数の画像を学習データとした学習により得られた認識モデルを用いて前記特定物体の数を推定する処理であることによって課題を解決する。【選択図】図2
Description
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
近年、撮像装置で所定の領域を撮影して、撮影した画像を解析することによって画像中の人物の数を計測するシステムが提案されている。このようなシステムは、公共の空間での混雑の検知及び混雑時の人の流れを把握することでイベント時の混雑解消や災害時の避難誘導への活用が期待されている。
このような画像中の人物の数を計測する方法としては、人体検出手段によって検出した人物の数を計数する方法(特許文献1)がある。以下、この方法を「検出ベース人数推定法」と呼ぶ。また、機械学習によって得た認識モデルを用いて、画像の所定の領域に映る人数を直接推定する方法(非特許文献1)も提案されている。以下、この方法を「回帰ベース人数推定法」と呼ぶ。
このような画像中の人物の数を計測する方法としては、人体検出手段によって検出した人物の数を計数する方法(特許文献1)がある。以下、この方法を「検出ベース人数推定法」と呼ぶ。また、機械学習によって得た認識モデルを用いて、画像の所定の領域に映る人数を直接推定する方法(非特許文献1)も提案されている。以下、この方法を「回帰ベース人数推定法」と呼ぶ。
池田浩雄,大網亮磨,宮野博義.CNNを用いた群衆パッチ学習に基づく人数推定の高精度化.FIT,2014
検出ベース人数推定法は、人がまばらに存在し、かつ、所定の大きさ以上で映る場合には、高精度で人数を推定できる。しかしながら、人が高密度で存在し人体の大部分が隠れている場合、又は人体が所定の大きさより小さく映る場合には、人体検出手段の精度が劣化するため、人数推定の精度も劣化するという課題がある。
回帰ベース人数推定法は、人が高密度で存在する場合や所定の大きさより小さく映る場合においては、検出ベース人数推定法よりも高精度に人数を推定できる。一方、回帰ベース人数推定法は、人がまばらに存在し、かつ、所定の大きさ以上で映る場合においては、人数推定精度は検出ベース人数推定法に劣る。
本発明は、複数の人数推定法を組み合わせて、画像中の特定物体の数をより高精度に推定することを目的とする。
回帰ベース人数推定法は、人が高密度で存在する場合や所定の大きさより小さく映る場合においては、検出ベース人数推定法よりも高精度に人数を推定できる。一方、回帰ベース人数推定法は、人がまばらに存在し、かつ、所定の大きさ以上で映る場合においては、人数推定精度は検出ベース人数推定法に劣る。
本発明は、複数の人数推定法を組み合わせて、画像中の特定物体の数をより高精度に推定することを目的とする。
本発明の画像処理装置は、画像の第1領域に含まれる特定物体の数を、第1推定処理を用いて推定する第1推定手段と、前記画像の第2領域に含まれる特定物体の数を、前記第1推定処理と異なる第2推定処理を用いて推定する第2推定手段と、前記第1推定手段による推定結果と、前記第2推定手段による推定結果とを統合する統合手段と、を有し、前記第1推定処理は、前記画像に含まれる特定物体を検出する検出処理を用いて前記特定物体の数を推定する処理であり、前記第2推定処理は、人数が既知である複数の画像を学習データとした学習により得られた認識モデルを用いて前記特定物体の数を推定する処理であることを特徴とする。
本発明によれば、複数の人数推定法を組み合わせて、画像中の特定物体の数をより高精度に推定することができる。
以下、本発明の実施形態について図面に基づいて説明する。
<第1の実施形態>
図1は、画像処理装置100のハードウェア構成の一例を示す図である。
画像処理装置100は、ハードウェア構成として、CPU10と、メモリ11と、ネットワークI/F12と、表示装置13と、入力装置14と、を含む。CPU10は、画像処理装置100の全体の制御を司る。メモリ11は、CPU10が処理に利用するデータ、プログラム等を記憶する。入力装置14は、マウス、又はボタン等であり、ユーザの操作を画像処理装置100に入力する。表示装置13は、液晶表示装置等であり、CPU10による処理の結果等を表示する。ネットワークI/F12は、画像処理装置100をネットワークに接続するインタフェースである。CPU10がメモリ11に記憶されたプログラムに基づき処理を実行することにより、後述する図2の画像処理装置100の機能構成及び後述する図3のフローチャートの処理が実現される。
図1は、画像処理装置100のハードウェア構成の一例を示す図である。
画像処理装置100は、ハードウェア構成として、CPU10と、メモリ11と、ネットワークI/F12と、表示装置13と、入力装置14と、を含む。CPU10は、画像処理装置100の全体の制御を司る。メモリ11は、CPU10が処理に利用するデータ、プログラム等を記憶する。入力装置14は、マウス、又はボタン等であり、ユーザの操作を画像処理装置100に入力する。表示装置13は、液晶表示装置等であり、CPU10による処理の結果等を表示する。ネットワークI/F12は、画像処理装置100をネットワークに接続するインタフェースである。CPU10がメモリ11に記憶されたプログラムに基づき処理を実行することにより、後述する図2の画像処理装置100の機能構成及び後述する図3のフローチャートの処理が実現される。
図2は、画像処理装置100の機能構成の一例を示す図である。
画像処理装置100は、機能構成として、画像取得部101、領域決定部102、第1推定部103、第2推定部104、人数統合部105、表示部106を含む。
画像取得部101は、人数を推定する対象となる画像を取得する。
領域決定部102は、検出ベース人数推定を実施する領域と、回帰ベース人数推定を実施する領域と、を決定する。以下、検出ベース人数推定を実施する領域を検出領域、回帰ベース人数推定を実施する領域を回帰領域という。
第1推定部103は、検出領域に対して、検出ベース人数推定を実施する。検出ベース人数推定は、特定物体の検出処理の一例である。また、画像中の人は、特定物体の一例である。
第2推定部104は、回帰領域に対して、回帰ベース人数推定を実施する。回帰ベース人数推定は、所定の領域ごとに特定物体の数を推定する回帰処理の一例である。
人数統合部105は、第1推定部103による人数推定結果と、第2推定部104による人数推定結果と、を統合する。
表示部106は、人数統合部105により統合した人数推定結果を、表示装置13に表示する。
画像処理装置100は、機能構成として、画像取得部101、領域決定部102、第1推定部103、第2推定部104、人数統合部105、表示部106を含む。
画像取得部101は、人数を推定する対象となる画像を取得する。
領域決定部102は、検出ベース人数推定を実施する領域と、回帰ベース人数推定を実施する領域と、を決定する。以下、検出ベース人数推定を実施する領域を検出領域、回帰ベース人数推定を実施する領域を回帰領域という。
第1推定部103は、検出領域に対して、検出ベース人数推定を実施する。検出ベース人数推定は、特定物体の検出処理の一例である。また、画像中の人は、特定物体の一例である。
第2推定部104は、回帰領域に対して、回帰ベース人数推定を実施する。回帰ベース人数推定は、所定の領域ごとに特定物体の数を推定する回帰処理の一例である。
人数統合部105は、第1推定部103による人数推定結果と、第2推定部104による人数推定結果と、を統合する。
表示部106は、人数統合部105により統合した人数推定結果を、表示装置13に表示する。
図3は、画像処理装置100による画像処理の一例を示すフローチャートである。
S201において、画像取得部101は、人数を推定する対象となる画像を取得する。画像取得部101は、CMOSセンサやCCDセンサ等の固体撮像素子から画像を取得してもよいし、ハードディスク等のメモリ11から画像を取得してもよい。
S202において、領域決定部102は、検出領域と、回帰領域と、を決定する。領域の決定には任意の方法を取ってよい。
例えば一つ目の方法は、領域決定部102が検出領域と回帰領域との両方とも、画像全体とする方法である。
二つ目の方法は、領域決定部102が検出領域と人数推定とを実施する領域の両方を、ユーザの明示的に設定操作に基づき設定する方法である。領域決定部102は、例えば、表示装置13、及び入力装置14等を介したユーザの領域の設定操作に基づき、検出領域と人数推定とを実施する領域の両方を決定する。
S201において、画像取得部101は、人数を推定する対象となる画像を取得する。画像取得部101は、CMOSセンサやCCDセンサ等の固体撮像素子から画像を取得してもよいし、ハードディスク等のメモリ11から画像を取得してもよい。
S202において、領域決定部102は、検出領域と、回帰領域と、を決定する。領域の決定には任意の方法を取ってよい。
例えば一つ目の方法は、領域決定部102が検出領域と回帰領域との両方とも、画像全体とする方法である。
二つ目の方法は、領域決定部102が検出領域と人数推定とを実施する領域の両方を、ユーザの明示的に設定操作に基づき設定する方法である。領域決定部102は、例えば、表示装置13、及び入力装置14等を介したユーザの領域の設定操作に基づき、検出領域と人数推定とを実施する領域の両方を決定する。
三つ目の方法は、領域決定部102が人体の大きさに従って検出領域と回帰領域とを設定する方法である。例えば、領域決定部102は、人体が第一の所定の大きさ以上で映る領域を、検出領域とし、人体が第二の所定の大きさ以下で映る領域を、回帰領域と設定することができる。図4(a)に、所定の高さより高所に設置した撮像装置により撮像される画像の一例を示す。灰色の物体は人体を表す。撮像装置を斜めに設置した場合、図4のように、撮像装置に近い手前側の人体は大きく、撮像装置から離れた奥側の人体は小さく映る。図4(b)の領域310は検出領域の例である。図4(c)の領域320は回帰領域の例である。
画像上の人体の大きさは、ユーザが入力装置14を用いて明示的に領域決定部102に与えてもよい。例えば、ユーザが、画像上の複数の地点における人体の平均的な大きさを教示することで、領域決定部102は、画像上の任意の地点における人体の平均的な大きさを補間により推定することができる。
また、領域決定部102は、画像上の人体の大きさを、統計処理により自動で推定してもよい。例えば、領域決定部102は、所定の学習画像群に対して画像全体に人体検出処理を行い、人体の位置を示す人体枠の集合を取得する。画像上の座標(x,y)における人体枠の大きさをsとしたとき、sは、x、y及び未知の1個以上のパラメータによって表せると仮定する。例えば、s=ax+by+cと仮定する。この例では、未知のパラメータはa、b及びcである。領域決定部102は、所定の学習画像群から取得した人体枠の集合を用いて、未知のパラメータを、例えば最小二乗法等の統計処理により求めることができる。領域決定部102は、この方法により、人が小さく映るために人体検出が失敗する領域における人体の大きさも推定することができる。
画像上の人体の大きさは、ユーザが入力装置14を用いて明示的に領域決定部102に与えてもよい。例えば、ユーザが、画像上の複数の地点における人体の平均的な大きさを教示することで、領域決定部102は、画像上の任意の地点における人体の平均的な大きさを補間により推定することができる。
また、領域決定部102は、画像上の人体の大きさを、統計処理により自動で推定してもよい。例えば、領域決定部102は、所定の学習画像群に対して画像全体に人体検出処理を行い、人体の位置を示す人体枠の集合を取得する。画像上の座標(x,y)における人体枠の大きさをsとしたとき、sは、x、y及び未知の1個以上のパラメータによって表せると仮定する。例えば、s=ax+by+cと仮定する。この例では、未知のパラメータはa、b及びcである。領域決定部102は、所定の学習画像群から取得した人体枠の集合を用いて、未知のパラメータを、例えば最小二乗法等の統計処理により求めることができる。領域決定部102は、この方法により、人が小さく映るために人体検出が失敗する領域における人体の大きさも推定することができる。
四つ目の方法は、領域決定部102が人の密集度に従って検出領域と回帰領域とを設定する方法である。例えば、領域決定部102は、人の密集度が所定の値以下である領域を検出領域とし、人の密集度が所定の値以上である領域を回帰領域と設定することができる。人の密集度は任意の方法で推定することができる。例えば、領域決定部102は、背景差分によって求めた動体領域に対して、動体が存在すると判定されたピクセル数の割合に従って密集度を推定できる。また、例えば、領域決定部102は、動きベクトル検出を所定の範囲に施し、動きベクトルの長さの和に従って密集度を推定できる。
領域の決定はこれらに限定されるものではない。例えば、領域決定部102は、三つ目の方法と四つ目の方法とを組み合わせ、人体の大きさと人の密集度との両方を考慮して領域を決定するようにしてもよい。また、領域決定部102は、検出領域を画面全体とし、回帰領域を三つ目の方法と四つ目の方法との内の少なくとも一方を用いて決定するようにしてもよい。領域決定部102は、一つ目の方法から四つ目の方法までの方法を任意に組み合わせて検出領域と回帰領域とを設定するようにしてもよい。また、領域決定部102は、時間帯や状況に応じて動的に領域を変化させてもよい。
領域の決定はこれらに限定されるものではない。例えば、領域決定部102は、三つ目の方法と四つ目の方法とを組み合わせ、人体の大きさと人の密集度との両方を考慮して領域を決定するようにしてもよい。また、領域決定部102は、検出領域を画面全体とし、回帰領域を三つ目の方法と四つ目の方法との内の少なくとも一方を用いて決定するようにしてもよい。領域決定部102は、一つ目の方法から四つ目の方法までの方法を任意に組み合わせて検出領域と回帰領域とを設定するようにしてもよい。また、領域決定部102は、時間帯や状況に応じて動的に領域を変化させてもよい。
S203において、第1推定部103は、S202にて設定された検出領域に対して、既知のパターン認識や機械学習の各種手法を利用し、人体検出を行う。ここで、人体検出とは、顔や人体の全体又はその一部等、予め定められた部位の位置を特定する処理を指す。以下では、人の頭部位置を検出する人体検出器を利用するものとする。第1推定部103は、例えば、画像の大きさを変更しながら照合パターンを画像全域に用いて複数の局所パターンを抽出し、それぞれの局所特徴量を算出する。そして、第1推定部103は、局所特徴量に重み付けを行った結果の総和から人体であるか否かを判定する。図5に、検出された人体の例を示す。矩形401は、人体検出処理によって得られた人体枠を表す。
ここで、第1推定部103は、S202において求められた人体の大きさの推定値を利用して、画像の大きさの変更範囲を限定することで、照合パターンの照合回数を減らし、計算量を削減してもよい。
次いで、第1推定部103は、検出された人体の数を数え上げ、推定人数を得る。
ここで、第1推定部103は、S202において求められた人体の大きさの推定値を利用して、画像の大きさの変更範囲を限定することで、照合パターンの照合回数を減らし、計算量を削減してもよい。
次いで、第1推定部103は、検出された人体の数を数え上げ、推定人数を得る。
S204において、第2推定部104は、S202にて設定された回帰領域に対して、既知の回帰ベース人数推定手法を利用し、人数を直接推定する。一例として、ある固定サイズの小画像を入力とし、その小画像に映る人の数を出力とする回帰器を用いる手法について説明する。第2推定部104は、予め、人数が既知である大量の小画像を学習データとして、サポートベクターマシンや深層学習等既知の機械学習手法に基づいて回帰器を学習しておく。第2推定部104は、人数推定時には、入力画像の回帰領域を、人数推定を行う単位である小領域に分割する。そして、第2推定部104は、各小領域を固定サイズにリサイズして小画像とし、各小画像を回帰器の入力とすることで、各小領域の人数を推定する。図6(a)に回帰領域の小領域への分割例及び人数推定例を示す。この例では、第2推定部104は、回帰領域320を同一サイズの小領域510で分割している。また、図6(a)では小領域510ごとに回帰器を用いて推定した人数を、小領域の内部に数値で表している。第2推定部104が推定する人数は必ずしも整数とは限らず、実数を取ることもありえる。第2推定部104は、実数を四捨五入により整数に丸めて扱ってもよいし、実数のまま扱ってもよい。
第2推定部104は、小領域のサイズと人のサイズとの比率がほぼ一定となるように制約を加えることで、回帰器の精度向上を図ることもできる。第2推定部104は、S202で求められた人体の大きさの推定値を利用することで、小領域のサイズに対する人体のサイズがほぼ同一になるように、画像上で異なるサイズの小領域をとることができる。図6(b)に回帰領域の分割例を示す。この例では、回帰領域320を異なるサイズの小領域520で分割している。分割された小領域520はそれぞれリサイズを経て固定サイズの小画像に変形され、回帰器に入力される。
回帰ベース人数推定については、非特許文献1を参照することができる。
第2推定部104は、小領域のサイズと人のサイズとの比率がほぼ一定となるように制約を加えることで、回帰器の精度向上を図ることもできる。第2推定部104は、S202で求められた人体の大きさの推定値を利用することで、小領域のサイズに対する人体のサイズがほぼ同一になるように、画像上で異なるサイズの小領域をとることができる。図6(b)に回帰領域の分割例を示す。この例では、回帰領域320を異なるサイズの小領域520で分割している。分割された小領域520はそれぞれリサイズを経て固定サイズの小画像に変形され、回帰器に入力される。
回帰ベース人数推定については、非特許文献1を参照することができる。
S205において、人数統合部105は、第1推定部103による人数推定結果と、第2推定部104による人数推定結果と、を統合する。
検出領域と回帰領域とに重複がない場合、人数統合部105は、第1推定部103による人数推定結果と、第2推定部104による人数推定結果と、の両方を合計することで、統合後の人数推定結果を得ることができる。
検出領域と回帰領域とに重複がある場合の統合例について以下に詳述する。
人数統合部105は、入力画像のうち、検出領域のみが設定されている領域に対しては、検出ベース人数推定の結果を統合後の推定人数とする。
また、人数統合部105は、入力画像のうち、回帰領域のみが設定されている領域に対しては、回帰ベース人数推定の結果を統合後の推定人数とする。
また、人数統合部105は、入力画像のうち、検出領域と回帰領域との両方が設定されている領域に対しては、双方の人数推定の結果を用いた任意の式を用いて、統合後の推定人数を算出する。人数統合部105は、式として、例えば推定人数の合計値を取る式、推定人数のうち小さい方を取る式、推定人数のうち大きい方を取る式、推定人数の平均を取る式、又は任意の重みによる重みづけ平均を取る式を用いることができる。
例として、図7に、回帰ベース人数推定時に分割した小領域601を示す。小領域601に対する回帰ベース人数推定の結果は6人であったとする。また、検出ベース人数推定によって得られた人体枠のうち、その重心が小領域600に含まれる人体枠の数が4であったとする。その人体枠を図7の611、612、613、614に示す。人数統合部105は、小領域601に対する検出ベース人数推定の推定人数は、4人とみなす。
人数統合部105が二つの推定人数のうち小さい方を取る場合、統合後の推定人数は4人となる。人数統合部105が二つの推定人数のうち大きい方を取る場合、統合後の推定
人数は6人となる。人数統合部105が二つの推定人数の平均を取る場合、統合後の推定人数は5人となる。人数統合部105が二つの推定人数を、回帰ベース人数推定の結果と検出ベース人数推定の結果とを3:5の重みで重みづけ平均をとる場合、統合後の推定人数は4.75人となる。
検出領域と回帰領域とに重複がない場合、人数統合部105は、第1推定部103による人数推定結果と、第2推定部104による人数推定結果と、の両方を合計することで、統合後の人数推定結果を得ることができる。
検出領域と回帰領域とに重複がある場合の統合例について以下に詳述する。
人数統合部105は、入力画像のうち、検出領域のみが設定されている領域に対しては、検出ベース人数推定の結果を統合後の推定人数とする。
また、人数統合部105は、入力画像のうち、回帰領域のみが設定されている領域に対しては、回帰ベース人数推定の結果を統合後の推定人数とする。
また、人数統合部105は、入力画像のうち、検出領域と回帰領域との両方が設定されている領域に対しては、双方の人数推定の結果を用いた任意の式を用いて、統合後の推定人数を算出する。人数統合部105は、式として、例えば推定人数の合計値を取る式、推定人数のうち小さい方を取る式、推定人数のうち大きい方を取る式、推定人数の平均を取る式、又は任意の重みによる重みづけ平均を取る式を用いることができる。
例として、図7に、回帰ベース人数推定時に分割した小領域601を示す。小領域601に対する回帰ベース人数推定の結果は6人であったとする。また、検出ベース人数推定によって得られた人体枠のうち、その重心が小領域600に含まれる人体枠の数が4であったとする。その人体枠を図7の611、612、613、614に示す。人数統合部105は、小領域601に対する検出ベース人数推定の推定人数は、4人とみなす。
人数統合部105が二つの推定人数のうち小さい方を取る場合、統合後の推定人数は4人となる。人数統合部105が二つの推定人数のうち大きい方を取る場合、統合後の推定
人数は6人となる。人数統合部105が二つの推定人数の平均を取る場合、統合後の推定人数は5人となる。人数統合部105が二つの推定人数を、回帰ベース人数推定の結果と検出ベース人数推定の結果とを3:5の重みで重みづけ平均をとる場合、統合後の推定人数は4.75人となる。
推定人数の統合方法は、これらに限定されるものではない。例えば、人数統合部105は、画像の位置に応じて、異なる重みで重みづけ平均をとってもよい。より具体的には、人数統合部105は、人体が所定の大きさより大きく映る位置では検出ベース人数推定結果の重みを所定の重みより大きくし、人体が所定の大きさより小さく映る位置では回帰ベース人数推定結果の重みを所定の重みより大きくしてもよい。また、例えば、人数統合部105は、密集度に応じて、異なる重みで重みづけ平均をとってもよい。より具体的には、人数統合部105は、密集度が所定の値より小さい地点では検出ベース人数推定結果の重みを所定の値より大きくし、密集度が所定の値より大きい地点では回帰ベース人数推定結果の重みを所定の値より大きくしてもよい。
S206において、表示部106は、人数統合部105により統合した人数推定結果を、表示装置13等に表示する。
まず、表示部106は、画像全体の統合後の人数推定結果を表示する。この際、表示部106は、S202にて設定された検出領域及び回帰領域を画像上に明示してもよい。また、表示部106は、S203において推定された検出領域における人数推定結果と、S204において推定された回帰領域における人数推定結果とをそれぞれ表示してもよい。
また、表示部106は、画像の位置ごとに推定人数が分かるように、より詳細な表示を行ってもよい。その方法の例を以下に示す。
一つ目の表示方法は、統合後の推定人数と等しい数の人体枠を画像上に重畳表示する方法である。図8(a)を用いて説明する。例えばS205において、図7の小領域601の推定人数を5人とした場合を考える。この場合、小領域601に対する検出ベース人数推定による推定人数は4人であったので、人体枠が1人分足りない。表示部106は、小領域601内のランダムな位置を選んで、不足する分の人体枠を重畳(ここでは枠701)することで、推定人数と等しい数の人体枠を画像上に重畳表示できる。この際、人体枠の大きさを、S202で述べた方法で推定することで、表示部106は、自然な大きさの人体枠を重畳できる。逆に、検出ベース人数推定結果が、統合後の推定人数を上回る場合は、表示部106は、ランダムに人体枠を選んで削除する処理を必要回数行えばよい。
まず、表示部106は、画像全体の統合後の人数推定結果を表示する。この際、表示部106は、S202にて設定された検出領域及び回帰領域を画像上に明示してもよい。また、表示部106は、S203において推定された検出領域における人数推定結果と、S204において推定された回帰領域における人数推定結果とをそれぞれ表示してもよい。
また、表示部106は、画像の位置ごとに推定人数が分かるように、より詳細な表示を行ってもよい。その方法の例を以下に示す。
一つ目の表示方法は、統合後の推定人数と等しい数の人体枠を画像上に重畳表示する方法である。図8(a)を用いて説明する。例えばS205において、図7の小領域601の推定人数を5人とした場合を考える。この場合、小領域601に対する検出ベース人数推定による推定人数は4人であったので、人体枠が1人分足りない。表示部106は、小領域601内のランダムな位置を選んで、不足する分の人体枠を重畳(ここでは枠701)することで、推定人数と等しい数の人体枠を画像上に重畳表示できる。この際、人体枠の大きさを、S202で述べた方法で推定することで、表示部106は、自然な大きさの人体枠を重畳できる。逆に、検出ベース人数推定結果が、統合後の推定人数を上回る場合は、表示部106は、ランダムに人体枠を選んで削除する処理を必要回数行えばよい。
二つ目の表示方法は、回帰ベース人数推定時に分割した小領域ごとに、推定人数を表示する方法である。図8(b)を用いて説明する。例えばS205において、図7の小領域601の推定人数を5人とした場合を考える。この場合、表示部106は、小領域601に存在すると推定される人数を、小領域601に重畳して表示する。また、表示部106は、人数の多さに応じて、視覚的に異なる画像処理を各領域に施してもよい。例えば、表示部106は、人数が他の領域に比べて多い領域ほど色を濃くする(例えば、赤色)ように表示してもよい。二つ目の表示方法の処理は、所定の領域ごとに所定の領域に存在する特定物体の数に応じた表示処理を行う一例である。
三つ目の表示方法は、画像の場所によって異なる表示を行う方法である。例えば、表示部106は、人体枠が所定の大きさよりも大きく表示される領域においては、一つ目の表示方法を用い、それ以外の領域においては、二つ目の表示方法を用いる。三つ目の表示方法の処理は、画像の位置に応じて画像に対して異なる表示処理を行う一例である。
四つ目の表示方法は、人数によって異なる表示を行う方法である。例えば、表示部106は、推定人数が所定の値よりも小さい領域においては、一つ目の表示方法を用い、それ以外の領域においては、二つ目の表示方法を用いる。四つ目の表示方法の処理は、画像の特定物体の数に応じて画像に対して異なる表示処理を行う一例である。
三つ目の表示方法や四つ目の表示方法をとることにより、例えば、人が密集している領
域に対しては、図8(b)のような表示を行い、人が密集していない領域に対しては、図8(a)のような表示を行うことができる。したがって、ユーザは、人が密集している領域において、人が何人いるか速やかに把握することができる。
三つ目の表示方法は、画像の場所によって異なる表示を行う方法である。例えば、表示部106は、人体枠が所定の大きさよりも大きく表示される領域においては、一つ目の表示方法を用い、それ以外の領域においては、二つ目の表示方法を用いる。三つ目の表示方法の処理は、画像の位置に応じて画像に対して異なる表示処理を行う一例である。
四つ目の表示方法は、人数によって異なる表示を行う方法である。例えば、表示部106は、推定人数が所定の値よりも小さい領域においては、一つ目の表示方法を用い、それ以外の領域においては、二つ目の表示方法を用いる。四つ目の表示方法の処理は、画像の特定物体の数に応じて画像に対して異なる表示処理を行う一例である。
三つ目の表示方法や四つ目の表示方法をとることにより、例えば、人が密集している領
域に対しては、図8(b)のような表示を行い、人が密集していない領域に対しては、図8(a)のような表示を行うことができる。したがって、ユーザは、人が密集している領域において、人が何人いるか速やかに把握することができる。
<第2の実施形態>
検出ベース人数推定に用いる人体検出器及び回帰ベース人数推定に用いる回帰器は、共に既存の深層学習の手法を用いて学習してもよい。この際、CPU10は、人体検出器と回帰器とが、同一の畳込み層を共有する構成にしてもよい。構成例を図9に示す。
検出ベース人数推定に用いる人体検出器及び回帰ベース人数推定に用いる回帰器は、共に既存の深層学習の手法を用いて学習してもよい。この際、CPU10は、人体検出器と回帰器とが、同一の畳込み層を共有する構成にしてもよい。構成例を図9に示す。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した実施形態では、推定の対象として人を例にとって説明を行った。しかし、人を例えば人以外の動物や自動車、自転車等の車、微生物等の任意の特定物体に読み替えることで、上述した実施形態の構成、情報処理を任意の特定物体の数の推定に利用することができる。
以上、上述した各実施形態によれば、検出ベース人数推定法を適用する領域及び回帰ベース人数推定法を適用する領域を自動で決定し、それぞれの結果を統合することで、単独の人数推定方法を用いる場合よりも高精度に人数推定することができる。
よって、複数の人数推定法を組み合わせて、画像中の特定物体の数をより高精度に推定することができる。
よって、複数の人数推定法を組み合わせて、画像中の特定物体の数をより高精度に推定することができる。
10 CPU
11 メモリ
100 画像処理装置
11 メモリ
100 画像処理装置
Claims (26)
- 画像の第1領域に含まれる特定物体の数を、第1推定処理を用いて推定する第1推定手段と、
前記画像の第2領域に含まれる特定物体の数を、前記第1推定処理と異なる第2推定処理を用いて推定する第2推定手段と、
前記第1推定手段による推定結果と、前記第2推定手段による推定結果とを統合する統合手段と、を有し、
前記第1推定処理は、前記画像に含まれる特定物体を検出する検出処理を用いて前記特定物体の数を推定する処理であり、
前記第2推定処理は、人数が既知である複数の画像を学習データとした学習により得られた認識モデルを用いて前記特定物体の数を推定する処理であることを特徴とする画像処理装置。 - 前記画像の全体を前記第1領域、及び前記第2領域と決定する領域決定手段を更に有する請求項1記載の画像処理装置。
- ユーザの設定操作に基づいて前記第1領域と前記第2領域とを決定する領域決定手段を更に有する請求項1記載の画像処理装置。
- 前記画像の特定物体の大きさに基づいて前記第1領域と前記第2領域との内の少なくとも一方を決定する領域決定手段を更に有する請求項1記載の画像処理装置。
- 前記領域決定手段は、前記特定物体の大きさを推定し、推定した前記特定物体の大きさに基づいて前記第1領域と前記第2領域との内の少なくとも一方を決定する請求項4記載の画像処理装置。
- 前記画像の特定物体の密集度に基づいて前記第1領域と前記第2領域との内の少なくとも一方を決定する領域決定手段を更に有する請求項1記載の画像処理装置。
- 前記領域決定手段は、動体、又は動きベクトルに基づいて前記密集度を推定し、推定した前記密集度に基づいて前記第1領域と前記第2領域との内の少なくとも一方を決定する請求項6記載の画像処理装置。
- 前記統合手段は、前記第1推定手段による推定結果と前記第2推定手段による推定結果とを合計することで統合する請求項1乃至7の何れか1項記載の画像処理装置。
- 前記統合手段は、前記第1領域と前記第2領域とに重複している領域がない場合、前記第1推定手段による推定結果と前記第2推定手段による推定結果とを合計することで統合する請求項8記載の画像処理装置。
- 前記統合手段は、前記第1領域と前記第2領域とに重複している領域がある場合、前記第1領域のみの領域に対しては前記第1推定手段による推定結果を統合後の特定物体の数とし、前記第2領域のみの領域に対しては前記第2推定手段による推定結果を統合後の特定物体の数とし、前記重複している領域に対しては前記第1推定手段による推定結果と前記第2推定手段による推定結果とに基づいて統合後の特定物体の数を求めることで統合する請求項1乃至7の何れか1項記載の画像処理装置。
- 前記統合手段は、前記重複している領域に対しては前記第1推定手段による推定結果と前記第2推定手段による推定結果とを合計することで統合後の特定物体の数を求める請求項10記載の画像処理装置。
- 前記統合手段は、前記重複している領域に対しては前記第1推定手段による推定結果と前記第2推定手段による推定結果とに基づいて小さい方の値とすることで統合後の特定物体の数を求める請求項10記載の画像処理装置。
- 前記統合手段は、前記重複している領域に対しては前記第1推定手段による推定結果と前記第2推定手段による推定結果とに基づいて大きい方の値とすることで統合後の特定物体の数を求める請求項10記載の画像処理装置。
- 前記統合手段は、前記重複している領域に対しては前記第1推定手段による推定結果と前記第2推定手段による推定結果とに基づいて平均をとることで統合後の特定物体の数を求める請求項10記載の画像処理装置。
- 前記統合手段は、前記重複している領域に対しては前記第1推定手段による推定結果と前記第2推定手段による推定結果とに基づいて重みづけ平均をとることで統合後の特定物体の数を求める請求項10記載の画像処理装置。
- 前記統合手段は、前記画像の位置、又は特定物体の密集度に基づいて前記重みづけを変化させる請求項15記載の画像処理装置。
- 前記統合手段による統合の結果、求められた前記画像の特定物体の数を表示手段に表示させる表示制御手段を更に有する請求項1乃至16の何れか1項記載の画像処理装置。
- 前記表示制御手段は、前記第1領域と前記第2領域とを更に前記表示手段に表示させる請求項17記載の画像処理装置。
- 前記表示制御手段は、前記第1推定手段による推定結果と前記第2推定手段による推定結果とを更に前記表示手段に表示させる請求項17又は18記載の画像処理装置。
- 前記第2推定手段は、前記画像の前記第2領域における所定領域ごとに前記第2推定処理を実行することで、前記第2領域に含まれる前記特定物体の数を推定し、
前記表示制御手段は、前記所定領域の各々について、当該所定領域において推定された前記特定物体の数を示す情報を前記表示手段に表示させる請求項17記載の画像処理装置。 - 前記表示制御手段は、前記所定領域の各々について、当該所定領域において推定された前記特定物体の数に応じた表示処理を行う請求項20記載の画像処理装置。
- 前記第2推定手段は、前記画像の前記第2領域における所定領域ごとに前記第2推定処理を実行することで、前記第2領域に含まれる前記特定物体の数を推定する請求項1乃至19の何れか1項記載の画像処理装置。
- 前記特定物体は、人、人以外の動物、微生物、車の何れかである請求項1乃至22の何れか1項記載の画像処理装置。
- 前記認識モデルは、人数が既知である前記複数の画像を学習データとした機械学習によって構築されるモデルである請求項1乃至23の何れか1項記載の画像処理装置。
- 画像の第1領域に含まれる特定物体の数を、第1推定処理を用いて推定する第1推定工程と、
前記画像の第2領域に含まれる特定物体の数を、前記第1推定処理と異なる第2推定処理を用いて推定する第2推定工程と、
前記第1推定工程における推定結果と、前記第2推定工程における推定結果とを統合する統合工程と、を有し、
前記第1推定処理は、前記画像に含まれる特定物体を検出する検出処理を用いて前記特定物体の数を推定する処理であり、
前記第2推定処理は、人数が既知である複数の画像を学習データとした学習により得られた認識モデルを用いて前記特定物体の数を推定する処理であることを特徴とする画像処理方法。 - コンピュータを、請求項1乃至24の何れか1項記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020173083A JP6995960B2 (ja) | 2020-10-14 | 2020-10-14 | 画像処理装置、画像処理方法及びプログラム |
JP2021203261A JP7314244B2 (ja) | 2020-10-14 | 2021-12-15 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020173083A JP6995960B2 (ja) | 2020-10-14 | 2020-10-14 | 画像処理装置、画像処理方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016153072A Division JP6779699B2 (ja) | 2016-08-03 | 2016-08-03 | 画像処理装置、情報処理方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021203261A Division JP7314244B2 (ja) | 2020-10-14 | 2021-12-15 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021009728A true JP2021009728A (ja) | 2021-01-28 |
JP6995960B2 JP6995960B2 (ja) | 2022-01-17 |
Family
ID=74199317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020173083A Active JP6995960B2 (ja) | 2020-10-14 | 2020-10-14 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6995960B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03195922A (ja) * | 1989-12-25 | 1991-08-27 | Mitsubishi Electric Corp | 混雑度検出装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3195922B2 (ja) | 1993-02-09 | 2001-08-06 | 東洋機械金属株式会社 | 成形機 |
-
2020
- 2020-10-14 JP JP2020173083A patent/JP6995960B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03195922A (ja) * | 1989-12-25 | 1991-08-27 | Mitsubishi Electric Corp | 混雑度検出装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6995960B2 (ja) | 2022-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6779699B2 (ja) | 画像処理装置、情報処理方法及びプログラム | |
Kumar et al. | Sharpness estimation for document and scene images | |
US9367734B2 (en) | Apparatus, control method, and storage medium for setting object detection region in an image | |
JP6793151B2 (ja) | オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム | |
JP2018116692A (ja) | 人流解析装置およびシステム | |
JP2018180619A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6024658B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
JP2015528614A5 (ja) | ||
US11915430B2 (en) | Image analysis apparatus, image analysis method, and storage medium to display information representing flow quantity | |
EP3241151A1 (en) | An image face processing method and apparatus | |
JP2017129567A5 (ja) | ||
JP2013206259A (ja) | 部位推定装置、部位推定方法、および部位推定プログラム | |
JP2012057974A (ja) | 撮影対象サイズ推定装置及び撮影対象サイズ推定方法並びにそのプログラム | |
CN110211021B (zh) | 图像处理装置、图像处理方法和存储介质 | |
JP7266599B2 (ja) | 患者の身体運動を検知するためのデバイス、システム及び方法 | |
JP4818285B2 (ja) | 混雑滞留検知システム | |
US9478032B2 (en) | Image monitoring apparatus for estimating size of singleton, and method therefor | |
JP6995960B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7309392B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2018197945A (ja) | 障害物検出装置および障害物検出方法 | |
JP2022524787A (ja) | 物体検出範囲推定のための、方法、システム、及びプログラム | |
JP2021047538A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2022033169A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2004046464A (ja) | 移動物体3次元位置推定装置及びその方法、プログラム並びにその記録媒体 | |
JP5990042B2 (ja) | 通過人数推定方法及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201014 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211215 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6995960 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |