JP7309392B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

撮像装置により所定の領域を撮影し、撮影した画像を解析することにより、画像中の人物の数を計測するシステムが知られている。このシステムは、公共の空間での混雑の検知、混雑時の人の流れを把握することによりイベント時の混雑解消および災害時の避難誘導への活用が期待されている。

画像中の人物の数を計測する方法として、特許文献１には、人体検出手段によって検出した人物の数を計数する方法が開示されている。また、特許文献２には、機械学習によって得た認識モデルを用いて、画像の所定の領域に存在する人数を直接推定する方法が開示されている。

特開２０１５－７０３５９号公報 特開２０１８－２２３４０号公報

特許文献１の方法は、人がまばらに存在し、かつ、人が所定の大きさ以上である場合には、高精度で人数を推定できる。しかしながら、人が高密度で存在し、人体の大部分が隠れている場合、または、人体が所定の大きさより小さい場合には、人体検出手段の精度が低下する。

特許文献２の方法は、画像中に存在する人の大きさが学習で想定した大きさの場合においては、人が高密度で存在していても高精度で人数を推定できる。しなしながら、人の大きさが想定より大きく外れている場合においては、人数推定の精度が低下する。

本発明の目的は、画像の中の人数を高精度で推定できるようにすることである。

本発明の一観点によれば、画像を分割することにより複数の分割領域を決定する分割手段と、前記分割手段により決定された複数の分割領域の各々の中の人数を推定する推定手段とを有し、前記分割手段は、前記画像の中の各位置で想定される人体のサイズと、前記推定手段が目標値以上の正解率で推定することができる人体のサイズの範囲とを基に、前記複数の分割領域の各々の位置とサイズを決定し、前記複数の分割領域のうち、少なくとも２つの分割領域の一部が重複することを特徴とする画像処理装置が提供される。

本発明によれば、画像の中の人数を高精度で推定できる。

画像処理装置のハードウェア構成例を示すブロック図である。 画像処理装置の機能構成例を示すブロック図である。 画像の例を示す図である。 分割領域の例を示す図である。 推定の正解率の分布を示す図である。 領域分割部の処理方法を示すフローチャートである。 領域分割部の処理方法を示すフローチャートである。

以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。ただし、本発明の実施形態は以下の実施形態に限定されるものではない。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。以下、本発明の実施形態について図面に基づいて説明する。

図１は、本発明の実施形態による画像処理装置１００のハードウェア構成の一例を示すブロック図である。画像処理装置１００は、ハードウェア構成として、ＣＰＵ１０１と、メモリ１０２と、ネットワークインタフェース１０３と、表示装置１０４と、入力装置１０５とを有する。

ＣＰＵ１０１は、画像処理装置１００の全体を制御する。メモリ１０２は、ＣＰＵ１０１が処理するデータおよびプログラム等を記憶する。入力装置１０５は、マウスまたはボタン等であり、ユーザの操作を入力する。表示装置１０４は、液晶表示装置等であり、ＣＰＵ１０１による処理の結果等を表示する。ネットワークインタフェース１０３は、画像処理装置１００をネットワークに接続するためのインタフェースである。ＣＰＵ１０１がメモリ１０２に記憶されたプログラムを実行することにより、後述する図２から図５の処理が実現される。

図２は、画像処理装置１００の機能構成の一例を示すブロック図である。画像処理装置１００は、機能構成として、画像取得部２０１と、分布取得部２０２と、領域分割部２０３と、人数推定部２０４と、人数統合部２０５と、表示部２０６とを有する。

画像取得部２０１は、人数を推定する対象となる画像を取得する。

分布取得部２０２は、画像取得部２０１により取得された画像上の各画素の位置において想定される人体サイズの分布を取得する。分布取得部２０２は、ユーザが画像上のいくつかの位置における人体サイズを指定することで、画像上の任意の位置における人体の平均的な人体サイズを補間により推定し、人体サイズの分布を取得してもよい。また、分布取得部２０２は、人体を検出し、その検出結果から画像上の任意の位置における平均的な人体サイズを補間により推定し、人体サイズの分布を取得してもよい。

補間による推定方法は、例えば、画像上の座標（ｘ，ｙ）における人体枠の大きさをｓとしたとき、ｓは、ｘ、ｙおよび未知の１個以上のパラメータによって表せると仮定する。例えば、ｓ＝ａｘ＋ｂｙ＋ｃと仮定する。この例では、未知のパラメータは、ａ、ｂおよびｃである。分布取得部２０２は、ユーザが指定した人体の位置およびサイズの集合、または、人体検出により検出された人体の位置およびサイズの集合を用いて、未知のパラメータを例えば最小二乗法等の統計処理により求めることができる。

図３は、画像取得部２０１により取得された画像３００の一例を示す図である。画像３００は、高所に設置された撮像装置により撮像された画像である。画像３００は、人体３０１、３０２及び３０３を含む。撮像装置を斜めに設置した場合、図３のように、撮像装置に近い手前側の位置の人体３０３は大きく、撮像装置から離れた奥側の位置の人体３０１は小さい。分布取得部２０２は、画像取得部２０１により取得された画像６００上の各画素の位置において想定される人体サイズの分布を取得する。

図２の領域分割部２０３は、画像取得部２０１により取得された画像を分割することにより、複数の分割領域を決定（生成）する。

図４は、領域分割部２０３により決定される分割領域４０１～４０３の一例を示す図である。図３と同様に、画像３００は、人体３０１～３０３を含む。撮像装置から離れた奥側の位置の人体３０１は、画像３００上では小さくなっている。そのため、領域分割部２０３は、画像３００上の人体３０１のサイズを基に、人体３０１の位置に対応する分割領域４０１を決定する。同様に、領域分割部２０３は、画像３００上の人体３０２のサイズを基に、人体３０２の位置に対応する分割領域４０２を決定する。同様に、領域分割部２０３は、画像３００上の人体３０３のサイズを基に、人体３０３の位置に対応する分割領域４０３を決定する。分割領域４０１～４０３は、矩形であり、例えば正方形である。

図２の人数推定部２０４は、機械学習によって得られた回帰器を用いて、画像取得部２０１により取得された画像において、領域分割部２０３により決定された複数の分割領域の各々の中の人体の数（人数）を逐次的に推定する。画像におけるオブジェクトの数の推定方法の一例として、ある固定サイズＳの小画像を入力とし、その小画像に写っているオブジェクトの数を出力とする回帰器を用いる手法について説明する。オブジェクトが人体の場合、この手法では予め、頭部など人体の位置が既知である大量の小画像を学習データとして、サポートベクターマシンや深層学習等の既知の機械学習手法に基づいて回帰器を学習しておく。このとき、回帰器の精度向上を図るため、学習データは、小画像のサイズと映っている人のサイズとの比率がほぼ一定であることが望ましい。

人数推定部２０４は、領域分割部２０３により決定された複数の分割領域それぞれについて、分割領域内の画像を固定サイズＳにリサイズしたものを小画像とし、該小画像を回帰器に入力することで「該分割領域内の人体の位置」を回帰器からの出力として求める。人数推定部２０４は、回帰器からの出力である「分割領域内の人体の位置」の個数（＝人体の数）を、該分割領域における人数として推定する。なお、人数推定部２０４が推定するオブジェクトの数は必ずしも整数とは限らず、実数を取ることもありえる。人数推定部２０４は、実数を四捨五入により整数に丸めて扱ってもよいし、実数のまま扱ってもよい。人数推定部２０４は、分割領域のサイズと推定対象のオブジェクトのサイズとの比率が、学習データのその比率とほぼ一定となるように制約を加えることで、推定の正解率の向上を図ることができる。

図５は、人数推定部２０４の推定の正解率の一例を示すグラフである。横軸は、分割領域４０１～４０３の横幅の画素数に対する人体３０１～３０３の横幅の画素数の割合を示す。縦軸は、人数推定部２０４の推定の正解率を示す。例えば、分割領域が１００画素×１００画素であり、人体の横幅が５０画素である場合、横軸の割合は、５０画素／１００画素＝５０％である。人数推定部２０４の推定の正解率は、回帰器の学習に用いた学習データである小画像のサイズと映っている人のサイズとの比率を中心とした正規分布となることが一般的である。割合範囲５０２は、分割領域４０１～４０３の横幅の画素数に対する人体３０１～３０３の横幅の画素数の割合の範囲であり、推定の正解率が目標値５０１以上である場合の割合の範囲（以下、理想割合範囲）である。人数推定部２０４は、割合範囲５０２の人体サイズの人数を目標値５０１以上の推定の正解率で推定可能である。理想割合範囲である割合範囲５０２の幅は、目標値５０１に応じて変化する。

図２に示す領域分割部２０３は、理想割合範囲である割合範囲５０２に対応するサイズの分割領域を決定する必要がある。領域分割部２０３が画像の画素位置における人体サイズに応じた適切な分割領域を決定することにより、人数推定部２０４は、推定の正解率を高くすることができる。

人数統合部２０５は、人数推定部２０４により推定された各分割領域の人数を統合する。例えば、人数統合部２０５は、人数推定部２０４により推定された各分割領域の人数を合算する。また、人数統合部２０５は、ユーザが設定した画像上の領域の内部の分割領域の人数のみを合算してもよい。また、人数統合部２０５は、画像取得部２０１により取得された画像に人数を重畳してもよい。

表示部２０６は、人数統合部２０５により統合された人数を、表示装置１０４に表示する。表示部２０６は、人数の数値を表示してもよいし、人数を重畳した画像を表示してもよい。また、表示部２０６は、ファイルに人数を出力してもよいし、ネットワークプロトコルを利用して人数を送信してもよい。

図６は、図２の領域分割部２０３の処理方法の一例を示すフローチャートである。ステップＳ６０１では、領域分割部２０３は、分布取得部２０２で取得された人体サイズの分布と、決定済みの分割領域を基に、決定済みの分割領域における理想割合範囲内の人体サイズに対応する画素以外で想定される人体サイズが最大となる位置を決定する。ステップＳ６０１の処理の詳細は、図７を参照しながら説明する。

図７は、図６のステップＳ６０１の処理の詳細を示すフローチャートである。ステップＳ７０１では、領域分割部２０３は、画像の中の人物の候補位置および候補位置で想定される人体サイズを初期化する。なお、本実施形態において、ステップＳ７０１にて、領域分割部２０３は、画像における全画素のうち最も左側かつ最も上側の画素を候補位置として初期化し、当該候補位置で想定される人体サイズはゼロとして初期化する。

ステップＳ７０２では、領域分割部２０３は、画像取得部２０１により取得された画像の中の各画素を対象として、後述するステップＳ７０３～Ｓ７０８の処理を繰り返す。本実施形態では、領域分割部２０３は、まず画像における全画素のうち、最も左側かつ最も上側の画素を対象とし、次に、画像の左上から右下までラスタスキャンを行うよう順次対象とする画素（対象画素）を変更しつつ、Ｓ７０３～Ｓ７０８の処理を繰り返す。

ステップＳ７０３では、領域分割部２０３は、分布取得部２０２により取得された人体サイズの分布を基に、ステップＳ７０２で対象とした対象画素の位置で想定される人体サイズを取得する。

ステップＳ７０４では、領域分割部２０３は、図６のステップＳ６０２で決定済みの分割領域が存在する場合には、各分割領域を対象として、後述するステップＳ７０５とＳ７０６の処理を繰り返す。なお、図６に示す決定済みの分割領域が存在しない場合は、Ｓ７０７へ遷移する。

ステップＳ７０５では、領域分割部２０３は、ステップＳ７０２で対象とした画素が、ステップＳ７０４で対象とした分割領域（以下、対象分割領域）の内部に包含されるか否かを判定する。領域分割部２０３は、対象画素が対象分割領域に包含されていない場合には、ステップＳ７０４の繰り返し処理に進み、対象画素が対象分割領域に包含されている場合には、ステップＳ７０６に進む。

ステップＳ７０６では、領域分割部２０３は、ステップＳ７０５の対象分割領域のサイズと、理想割合範囲である割合範囲５０２とを基に、人数推定部２０４が目標値５０１以上の正解率で分割領域の人数を推定可能な人体サイズの範囲である理想サイズ範囲を算出する。

そして、領域分割部２０３は、ステップＳ７０３で取得した対象画素での人体サイズが、ステップＳ７０６で算出した理想サイズ範囲に含まれているか否かを判定する。領域分割部２０３は、ステップＳ７０３で取得した対象画素での人体サイズがステップＳ７０６で算出した理想サイズ範囲に含まれていない場合には、ステップＳ７０４の繰り返し処理に進む。また、領域分割部２０３は、ステップＳ７０３で取得した人体サイズがステップＳ７０６で算出した理想サイズ範囲に含まれている場合には、ステップＳ７０２へ遷移し、次の対象画素を決定する。

領域分割部２０３は、ステップＳ７０４のすべての分割領域の処理を終了した後、ステップＳ７０７に進む。ステップＳ７０７では、領域分割部２０３は、ステップＳ７０３で取得した対象画素における想定される人体サイズが現在の候補位置での人体サイズよりも大きいか否かを判定する。領域分割部２０３は、ステップＳ７０３で取得した人体サイズが現在の候補位置での人体サイズより大きい場合には、ステップＳ７０８に進む。また、領域分割部２０３は、ステップＳ７０３で取得した人体サイズが現在の候補位置での人体サイズより大きくない場合には、ステップＳ７０２へ遷移し、次の対象画素を決定する。

ステップＳ７０８では、領域分割部２０３は、現在の対象画素を候補位置とし、現在の対象画素における人体サイズを候補位置で想定される人体サイズとする。

領域分割部２０３は、画像における全画素に対しＳ７０２～Ｓ７０８の繰り返し処理が終了した後における候補位置を、決定済みの分割領域における理想サイズ範囲内の人体サイズの画素以外の領域にて、人体サイズが最大となる位置として決定する。このとき、決定される人体サイズが最大となる位置をサイズ最大位置とする。

次に、図６のステップＳ６０２では、領域分割部２０３は、図５の割合範囲５０２と、ステップＳ６０１で決定されたサイズ最大位置と当該サイズ最大位置で想定される人体サイズとを基に、分割領域の位置とサイズを決定する。そして、領域分割部２０３は、決定した位置とサイズを基に、ステップＳ６０１で決定された位置を含む分割領域を決定する。本実施形態における領域分割部２０３は、ステップＳ６０１で決定されたサイズ最大位置で想定される人体サイズと分割領域のサイズとの比が理想割合範囲に含まれ、かつ、当該サイズ最大位置が分割領域の左下の端点に位置するよう分割領域を決定する。なお、分割領域は、ステップＳ６０１で決定された位置を中心とする領域でもよいし、右下、左上および右上のいずれかとする領域でもよい。

なお、ステップＳ６０１で決定されたサイズ最大位置は、決定済みの分割領域内に位置する場合も考えられる。具体的には、決定済みの分割領域である分割領域Ａ内の画素のうち、分割領域Ａの理想サイズ範囲から外れる人体サイズの画素においてサイズ最大位置となる画素が存在する場合がある。このとき、Ｓ６０２にて、領域分割部２０３は、分割領域Ａ内におけるサイズ最大位置で想定される人体サイズと分割領域のサイズとの比が理想割合範囲に含まれ、かつ、当該サイズ最大位置が分割領域の左下の端点に位置するような分割領域である分割領域Ｂを決定する。このように領域分割部２０３により決定された分割領域Ａと分割領域Ｂは一部重複する。

次に、図６のステップＳ６０３では、領域分割部２０３は、画像取得部２０１により取得された画像の中の全画素がステップＳ６０２で決定した複数の分割領域のいずれかの理想サイズ範囲に含まれているか否かを判定する。領域分割部２０３は、全画素が複数の分割領域のいずれかの理想サイズ範囲に含まれている場合には、図６の処理を終了し、少なくとも１個の画素が複数の分割領域のいずれの理想サイズ範囲にも含まれていない場合には、ステップＳ６０１に戻る。

以上のように、領域分割部２０３は、ステップＳ７０３で取得した人体サイズと、図５の割合範囲５０２とを基に、複数の分割領域の各々の位置とサイズを決定する。１つの分割領域内で理想サイズ範囲に含まれる画素と、理想サイズ範囲内に含まれない画素が存在する場合がある。しかしながら、本実施形態における領域分割部２０３では、複数の分割領域同士の一部を重複させることで、画像における全画素が、複数の分割領域のいずれかの理想サイズ範囲に含ませることができる。このようにすることで、画像から人数を推定する精度を向上させることができる。

割合範囲５０２は、人数推定部２０４が目標値以上の正解率で推定することができる分割領域の横幅のサイズに対する人体の横幅のサイズの割合の範囲である。理想割合範囲である割合範囲５０２は、人数推定部２０４の推定特性に応じた人体のサイズの範囲、または、人数推定部２０４が目標値以上の正解率で推定することができる人体のサイズの範囲に対応する。

領域分割部２０３は、ステップＳ７０３で取得した人体のサイズが、人数推定部２０４が目標値以上の正解率で人数を推定することができる人体のサイズの範囲である理想サイズ範囲に含まれるように、複数の分割領域を決定する。

領域分割部２０３は、人数推定部２０４が高い正解率で推定可能な割合範囲５０２に応じて、適切な分割領域を決定する。人数推定部２０４は、領域分割部２０３により決定された各分割領域内の人数を推定する。これにより、人数推定部２０４は、人数の推定の正解率を高めることができる。

なお、ユーザが画像の中の推定対象領域を設定してもよい。領域分割部２０３は、ユーザが設定した画像の中の推定対象領域を分割することにより、複数の分割領域を決定する。その場合、ステップＳ６０１では、領域分割部２０３は、ユーザが設定した推定対象領域内において、上記の位置を決定する。ステップＳ６０４では、領域分割部２０３は、ユーザが設定した推定対象領域内の全画素が複数の分割領域のいずれかに含まれているか否かを判定する。

また、ユーザが図５の目標値５０１を設定してもよい。その場合、ステップＳ７０６およびＳ８０６では、領域分割部２０３は、ユーザが設定した目標値５０１に対応する割合範囲５０２を用いる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 画像処理装置、２０１ 画像取得部、２０２ 分布取得部、２０３ 領域分割部、２０４ 人数推定部、２０５ 人数統合部、２０６ 表示部

Claims (9)

1. 画像を分割することにより複数の分割領域を決定する分割手段と、
   前記分割手段により決定された複数の分割領域の各々の中の人数を推定する推定手段とを有し、
   前記分割手段は、前記画像の中の各位置で想定される人体のサイズと、前記推定手段が目標値以上の正解率で推定することができる人体のサイズの範囲とを基に、前記複数の分割領域の各々の位置とサイズを決定し、
   前記複数の分割領域のうち、少なくとも２つの分割領域の一部が重複することを特徴とする画像処理装置。
2. 前記分割手段は、前記画像の中の各画素の位置で想定される人体のサイズと、前記推定手段が目標値以上の正解率で推定することができる前記分割領域のサイズに対する人体のサイズの割合の範囲とを基に、前記複数の分割領域の各々の位置とサイズを決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記分割手段は、前記画像の中の各画素の位置で想定される人体のサイズと、前記推定手段が目標値以上の正解率で推定することができる前記分割領域の横幅のサイズに対する人体の横幅のサイズの割合の範囲とを基に、前記複数の分割領域の各々の位置とサイズを決定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記分割手段は、前記画像の中の各画素の位置で想定される人体のサイズが、前記推定手段が目標値以上の正解率で人数を推定することができる人体のサイズの範囲に含まれるように、前記複数の分割領域を決定することを特徴とする請求項１～３のいずれか１項に記載の画像処理装置。
5. 前記画像の中の全画素は、前記複数の分割領域のうちのいずれかに含まれていることを特徴とする請求項１～４のいずれか１項に記載の画像処理装置。
6. 前記分割手段は、前記画像の中の推定対象領域を分割することにより複数の分割領域を決定することを特徴とする請求項１～５のいずれか１項に記載の画像処理装置。
7. 前記推定手段は、機械学習によって得られた回帰器を用いて、人数を推定することを特徴とする請求項１～６のいずれか１項に記載の画像処理装置。
8. 画像を分割することにより複数の分割領域を決定する分割ステップと、
   前記分割ステップで決定された複数の分割領域の各々の中の人数を推定する推定ステップとを有し、
   前記分割ステップでは、前記画像の中の各位置で想定される人体のサイズと、前記推定ステップにおいて目標値以上の正解率で推定することができる人体のサイズの範囲とを基に、前記複数の分割領域の各々の位置とサイズを決定し、
   前記複数の分割領域のうち、少なくとも２つの分割領域の一部が重複することを特徴とする画像処理装置の画像処理方法。
9. コンピュータを、請求項１～７のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。

Images