JP2012033142A - 人数計測装置、人数計測方法、プログラム - Google Patents

Abstract

【課題】映像に映っている人々の数と集団としての速度とを推定することで、映像に映っている領域の通過人数を求める人数計測装置を提供する。
【解決手段】映像に含まれる画像中の各画素の動きベクトルと、前記画像中の前景領域とを入力し、移動人物を計測する通過人数計測装置であって、前記前景領域内の動きベクトルを１次元に射影して射影画像を生成する射影手段と、前記射影手段によって生成された射影画像に含まれる画素のうち極値点を抽出して移動人物を検出する極値点抽出手段と、を有することを特徴とする人数計測装置である。
【選択図】図１

Description

本発明は、撮像装置で撮影された映像から、画像処理により映像に映っている人の数や通過人数を測定する人数計測装置、人数計測方法、プログラムに関するものである。

時系列に連続したフレームで構成された映像から人を検出しトラッキングすることにより、映像に映っている領域を通過する人の数を計測する方法が知られている（例えば、非特許文献１）。また、時系列に連続したフレームで構成された映像から動きのある領域の移動を観測することによって逆行を検出する方法が知られている（非特許文献２）。

Oliver Sidla, Yuriy Lypetskyy, Norbert Brandle, and Stefan Seer, "Pedestrian detection and tracking for counting applications in crowded situations", Proc. IEEE International Conference on Video and Signal Based Surveillance (AVSS06), p. 70, 2006 新井啓之，安野貴之，水上緑，長谷山美紀，"映像からの逆行者検知方法"，信学技報, pp. 29-34, February 2006

しかしながら、上述の非特許文献１における通過人数計測方法では、人数計測の精度がトラッキングの性能に大きく影響を受け、特に混雑した状況では、十分な人数計測精度を得ることが難しい場合がある。また、上述の非特許文献２における逆行者検出方法では、必ずしも映像に映っている全ての人の移動を観測するのではないため、通過人数を測定することができない。

本発明では、上述したような従来手法の問題点を鑑み、映像に映っている人々の数と集団としての速度とを推定することで、映像に映っている領域の通過人数を求める人数計測装置、人数計測方法、プログラムを提供することを目的とする。

本発明は、映像に含まれる画像中の各画素の動きベクトルと、前記画像中の前景領域とを入力し、移動人物を計測する人数計測装置であって、前記前景領域内の動きベクトルを１次元に射影して射影画像を生成する射影手段と、前記射影手段によって生成された射影画像に含まれる画素のうち極値点を抽出して移動人物を検出する極値点抽出手段と、を有することを特徴とする。

本発明は、極値点抽出手段は、前記射影手段によって生成された射影画像に含まれる画素のうち極値点を抽出して移動人物の射影軸上における位置を検出することを特徴とする。

本発明は、前記画像中に含まれる人物に対応する画像に基づいて、前記画像中の座標から当該人物の実空間上での位置を示す実空間座標上の画素にマッピングすることにより、実空間画像を生成する実空間マッピング手段を有し、前記射影処理手段は、前記実空間マッピング手段によって生成された実空間画像から射影画像を生成することを特徴とする。

本発明は、前記実空間マッピング手段は、前記射影画像上の対象画素を含む人物像の立ち位置としてあり得ある２次元空間上の範囲に該当する画素に所定の値を加算して前記マッピングを行うことにより、前記実空間画像を生成することを特徴とする。

本発明は、前記実空間マッピング手段は、前記射影画像上の対象画素を含む人物像の立ち位置としてあり得ある対数空間上の範囲に該当する画素に所定の値を加算して第１のマッピング処理を行い、該第１のマッピング処理結果から２次元空間上にマッピングすることにより、前記実空間画像を生成することを特徴とする。

本発明は、前記極値点抽出手段によって抽出された極値画像を経過時間毎に蓄積して累積画像を生成する累積画像生成手段と、前記累積画像生成手段により生成された累積画像に基づいて、移動人物の人数を計測する人数算出手段を有することを特徴とする。

本発明は、前記極値点抽出手段によって抽出された極値画像を経過時間毎に蓄積して累積画像を生成する累積画像生成手段と、前記累積画像生成手段により生成された累積画像に基づいて、各極値点の移動速度から、移動人物の代表移動速度を算出する代表速度算出手段と、を有することを特徴とする。

本発明は、前記画像に含まれる人数を検出する人数算出手段と、前記人数算出手段が検出した人数と、前記代表速度算出手段が算出した代表速度とに基づいて、一定時間内に画像内の領域を通過する人数を算出する通過人数算出手段と、を有することを特徴とする。

本発明は、入力した映像から前景部分を検出し、前景画像を生成する前景画像生成手段と、前記前景画像上の対象画素を含む人物像の立ち位置としてあり得ある２次元空間上の範囲に該当する画素に所定の値を加算して前記マッピングを行うことにより、前記実空間画像を生成する実空間画像生成手段と、前記実空間画像の画素値の和を取ることにより、実空間領域に存在する人物の人数を算出する領域内人数算出手段とを備えたことを特徴とする。

本発明は、入力した映像から前景部分を検出し、前景画像を生成する前景画像生成手段と、前記前景画像上の対象画素を含む人物像の立ち位置としてあり得ある対数空間上の範囲に該当する画素に所定の値を加算して第１のマッピング処理を行い、該第１のマッピング処理結果から２次元空間上に第２のマッピング処理を行うことにより、前記実空間画像を生成する実空間画像生成手段と、前記実空間画像の画素値の和を取ることにより、実空間領域に存在する人物の人数を算出する領域内人数算出手段とを備えたことを特徴とする。

本発明は、映像に含まれる画像中の各画素の動きベクトルと、前記画像中の前景領域とを入力し、移動人物を計測する人数計測装置であるコンピュータを用いて、前記コンピュータの射影手段が、前記前景領域内の動きベクトルを１次元に射影して射影画像を生成するステップと、前記コンピュータの極値点抽出手段が、前記射影手段によって生成された射影画像に含まれる画素のうち極値点を抽出して移動人物を検出するステップと、を実行することを特徴とする。

本発明は、請求項１〜１０のうちいずれか１項に記載された人数計測装置の各手段をコンピュータに機能させることを特徴とする。

以上説明したように、本発明によれば映像に映っている個々の人を個別に追跡することなしに通過人数を計測することができる。これにより、個人の追跡が困難な状況でも通過人数の計測を実現することができる。また、人流を観測する向きに移動している人物だけを抽出することによって、人々の移動方向が様々な場合であっても、方向ごとの通過人数を計測することができる。

この発明の一実施形態による通過人数計測装置の構成を示す概略ブロック図である。 通過人数計測装置１の機能を表す機能ブロック図である。 射影画像を生成する処理を説明する図である。 累積画像を生成する処理を説明する図である。 通過人数計測装置１の動作を説明するフローチャートである。 動きベクトルを算出した例を示す図である。 第２の実施形態における通過人数計測装置１の構成を示す機能ブロック図である。 第３の実施形態における通過人数計測装置１の構成を示す機能ブロック図である。 第４の実施形態における通過人数計測装置１の構成を示す機能ブロック図である。 第５の実施形態における通過人数計測装置１の構成を示す機能ブロック図である。 通過人数計測装置１の動作を説明するフローチャートである。 マッピングの範囲の導出の仕方について説明する図である。 マッピングの範囲の導出の仕方について説明する図である。 マッピングを実現する方法の一例を説明する図である。 マッピングを実現する方法の一例を説明する図である。 実空間画像にマッピングを行った一例を示す図である。 射影画像を生成する処理を説明する図である。 累積画像を生成する処理を説明する図である。 第６の実施形態における通過人数計測装置１の構成を示す機能ブロック図である。 第７の実施形態における通過人数計測装置１の構成を示す機能ブロック図である。 第８の実施形態における通過人数計測装置１の構成を示す機能ブロック図である。 第９の実施形態における通過人数計測装置１の構成を示す機能ブロック図である。 図２２に示す装置の処理動作を示すフローチャートである。 第１０の実施形態における通過人数計測装置１の処理動作を示す説明図である。 第１０の実施形態における通過人数計測装置１の処理動作を示す説明図である。

＜第１の実施形態＞
以下、本発明の第１の実施形態による通過人数計測装置について図面を参照して説明する。図１は、この発明の一実施形態による通過人数計測装置の構成を示す概略ブロック図である。通過人数計測装置１は、外部に撮像装置であるカメラ２と、液晶表示装置等の表示装置３が接続され、入力装置１１、ＲＯＭ（read-only memory）１２、ＣＰＵ（central processing unit）１３、ＲＡＭ（random access memory）１４、Ｉ／Ｆ（インタフェース）１５、外部記憶装置１６、記録媒体駆動装置１７、記録媒体１８を有し、カメラ２によって撮像された映像に映っている領域を通過する人の数を測定するコンピュータである。

通過人数計測装置１において、入力装置１１は、マウスやキーボード等の入力デバイスである。ＲＯＭ１２は、所定のプログラムやデータを記憶する。ＣＰＵ１３は、ＲＯＭ１２に記憶されたプログラムを読み出して実行し、通過人数計測装置１内の各部を制御する。ＲＡＭ１４は、ＣＰＵ１３によってアクセスされ、各種データを一時記憶する。Ｉ／Ｆ１５は、カメラ２と通過人数計測装置１とを接続し、カメラ２から出力されるデータを受信する。外部記憶装置１６は、通過人数計測装置１の外部に接続される記憶装置であり、例えば、ハードディスク等である。記録媒体駆動装置１７は、ＣＰＵ１３からの指示に従って記録媒体１８を駆動させて、記録媒体１８に各種データを記憶する。記録媒体１８は、各種データを記憶する。

カメラ２は、所定の位置に固定され、通過人数の計測を行う対象の領域を撮像し、撮像結果を通過人数計測装置１に出力する。このカメラ２は、撮影された画像（フレーム画像）を、時系列的に通過人数計測装置１に入力する。例えば、入力するデータとしては、例えば、静止画系列や映像ストリームなどである。表示装置３は、通過人数計測装置１の指示に従い、各種データを画面上に表示する。

次に、本発明の実施形態の一例をさらに説明する。図２は、通過人数計測装置１の機能を表す機能ブロック図である。動きベクトル抽出部１０１は、カメラ２からの画像を入力し、動きベクトルを出力する。この動きベクトル抽出部１０１は、映像の現在フレームと１つ前のフレームとからオプティカルフロー（例えば、非特許文献３参照）を検出し、カメラで撮影された現時点の入力画像から動きベクトルおよび、オプティカルフローの検出を続けている時間ｔ（フレーム数）を算出する。この動きベクトルは、例えば、ｕが左から右方向、ｖが上から下方向、としたとき、オプティカルフローの検出始点の画素位置（ｕ，ｖ）と動き方向（Ｕ，Ｖ）とで表される。

非特許文献３；“画像処理標準テキストブック”，財団法人画像情報教育振興協会，ｐ．７９−２８０，１９９７

前景検出部１０２は、カメラ２からの画像を入力し、現時点の入力画像における前景画像を生成する。ここで、前景画像とは、入力画像において移動物体が存在する点、すなわち前景である点を１、そうでない点、すなわち背景である点を０とした画像である。前景画像の検出方法は、さまざまな方法が知られているが、どのような方法を適用してもよい。なお、前景画像の検出方法としては、下記の非特許文献４、５のものが一例としてあげられる。

非特許文献４：波部斉，和田俊和，松山隆司，“照明変化に対して頑健な背景差分法”，情報処理学会研究報告(1998-CVIM115)，Vol.1999，No.29，pp.17-24, 1999.3
非特許文献５：Kedar A. Patwardhan, Guillermo Sapiro, Vassilios Morellas, “Robust Foreground Detection in Video Using Pixel Layers”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 30, No. 4, April 2008

射影処理部１０３は、動きベクトル抽出部１０１から出力される動きベクトルと、前景検出部１０２から出力される前景画像とを入力し、射影された動きベクトルを生成して出力する。この射影処理部１３０は、動きベクトルの向きがある範囲内にあり、かつ絶対値がある閾値以上であり、かつ前景画像の同座標における値が１である点を１、そうでない点を０とする２値画像を生成し、図３に示されているように、ある方向に座標軸ｘをとり、ｘ方向の位置が等しい２値画像上の各画素における値の総和をとった１次元の射影画像を生成する。

図３においては、横方向を座標軸ｘとし、そのｘ軸上の位置が同じである各画素の値の総和を計算する。この計算は、ｘ軸上のそれぞれの位置において行う。ここでは、射影画像として、符号（ａ）に示すデータが得られた場合が一例として示されている。

このように、画像中においてｘ方向の位置が等しい画素の値の総和をとる処理を、この実施形態においては、座標軸ｘに対する射影処理と呼ぶ。ここで、２値画像を生成する際に、動きベクトルの局所的な誤検出の影響を取り除くためのモルフォロジー演算などの処理をしても良い。

ここでは、座標軸ｘの方向を横方向としたがこれに限られるものではない。また、例えば、左右方向の人流を観測する場合はｕ方向、上下方向の人流を観測する場合はｖ方向、といったように、計測したい人流の方向にｘ軸をとることが考えられる。動きベクトルの向きの範囲、および閾値の決定に際しては、ここではその方法を限定しないが、例えば以下の方法が考えられる。

（１）動きベクトルの向きの範囲は、ベクトルのｘ方向の成分が通過を計測したい向きを向いている範囲とする。例えば、ｘ軸をｕ軸と等しくとり、右向きの通過を計測する場合は、動きベクトルのｘ成分が正である範囲とする。
（２）絶対値の閾値は、人物あるいは通過を把握したい物体の動き以外によって検出される動きの影響を切り捨てることができる最小値に設定する。

極値点抽出部１０４は、射影処理部１０３から出力される射影された動きベクトルを入力し、射影画像の値が極大値を取る点を１、そうでない点を０とする極値点画像を出力する。

累積画像生成部１０５は、極値点抽出部１０４から出力される極値点画像を入力し、極値点の位置を示す画像である累積画像を生成して出力する。図４は、累積画像を説明するための図である。この図において、累積画像生成部１０５は、極値点抽出部１０４によって生成された極大値画像を元に、累積画像を生成する。ここでは、極値点抽出部１０４によって、極値点画像を時間ｔに対応させてメモリ上に蓄積する（図４（ａ）、図４（ｂ））。累積画像生成部１０５は、この極値点の軌跡を示す２次元の累積画像（ｘ，ｔ）を生成する（図４（ｃ））。ここでは、極大値を表す座標軸ｘ上の位置の画素について１、そうでない画素には０が付与された極値画像が時間ｔに従って蓄積されることにより、２次元の累積画像が生成される。なお、図４においては、極大値である画素と、そうでない画素について異なる色で示している。

なお、ここで、累積画像のｘ方向のサイズは、極値点画像のｘ方向のサイズと一致させるように生成される。累積画像のｔ方向のサイズは、後述するハフ変換の際に軌跡候補を検出できる程度の大きさが得られる範囲であって、できるだけ小さい値とする。

代表速度算出部１０６は、累積画像生成部１０５から出力される累積画像を入力し、画像中の人々の代表移動速度を生成して出力する。この代表移動速度の生成の仕方は、種々あるが、後述する。

画面内人数算出部１０７は、カメラ２からの画像を入力し、画面に映っている人の人数を算出し、算出結果を出力する。この画面内人数算出部１０７は、カメラ２で撮影された映像から、現時点の入力画像に映っている人のうち、人流を観測する向きに移動している人の数を算出する。

通過人数算出部１０８は、代表速度算出部１０６によって算出された代表移動速度と、画面内人数算出部１０７によって算出された画像に映っている人数とに基づいて、通過人数を算出する。

次に、上述した構成における通過人数計測装置１の動作について説明する。図５は、通過人数計測装置１の動作を説明するフローチャートである。まず、処理が開始され、カメラ２から画像データが出力されると、動きベクトル抽出部１０１は、カメラ２から出力された、映像の現在フレームと１つ前のフレームとからオプティカルフローを検出し、カメラで撮影された現時点の入力画像から動きベクトル、および、オプティカルフローの検出を続けている時間ｔを算出する（ステップＳ１）。ここでは、カメラ２からの画像データについては、画像全体ではなく、画像の一部を抽出して処理対象としてもよい。

オプティカルフローの算出方法は、ここでは限定されるものではないが、シーンによって安定にフローが出る方法を選択するのが好ましい。例えば、輝度勾配に基づく方法や、領域のマッチングに基づく方法が考えられるが、輝度勾配に基づく方法は混雑度が大きい場合により有効であり、領域のマッチングに基づく方法は混雑度が小さい場合により有効である。実際の映像で動きベクトルを算出した例を図６に示す。図６（ａ）は、カメラ２から出力される画像データのある瞬間におけるフレーム画像を抽出した一例を示す。この図６（ａ）では、例えば、画像を８×８ｐｉｘｅｌのブロックに分割し、領域のマッチングに基づく方法を用いて求めたものである。このフレームにおける左右方向の動きベクトルの絶対値を画素の明るさで表すと、図６（ｂ）のようになる。

一方、前景検出部１０２は、現時点の入力画像における前景画像を生成する（ステップＳ２）。動きベクトルと前景画像が生成されると、射影処理部１０３は、動きベクトルの向きがある範囲内にあり、かつ絶対値がある閾値以上であり、かつ前景画像の同座標における値が１である点を１、そうでない点を０とする２値画像を生成することによって、１次元の射影画像を生成する（ステップＳ３）。図６（ｃ）は、図６（ｂ）の動きベクトルからｕ軸に対する射影画像を生成し、グラフ状に図示したものである。

射影画像が生成されると、極値点抽出部１０４は、射影画像の値が極大値を取る点を１、そうでない点を０とする極値点画像を生成する（ステップＳ４）。ここで、極大値の数は、ｘ方向の同じ位置に複数の人物が存在しない場合には、画像中の人物の数を示す。射影画像の値が極大値をとる点は、ｘ方向における人物候補位置に対応する。ここで、極値を抽出する前に射影画像に平滑化フィルタを掛けるなどの処理をしても良い。

極値画像が生成されると、累積画像生成部１０５は、極値点画像を時間ｔに対応させてメモリ上に蓄積し、極値点の軌跡を示す２次元の累積画像（ｘ，ｔ）を生成する（ステップＳ５）。図６（ｄ）は、実際の映像から生成した極値点軌跡画像の一例である。画像の上端が図６（ｃ）に対応している。

累積画像が生成されると、代表速度算出部１０６は、累積画像から、画像に映っている人々の代表移動速度を求める（ステップＳ６）。この代表移動速度の求め方は種々あるが、例えば、次の３通りの方法（方法１〜方法３）が一例としてあげられる。

（方法１）
まず、累積画像にθ−ρハフ変換を施し、画素値（投票数）がある閾値以上であるθ−ρ空間上の点を抽出する（ステップＳ６−１−１）。閾値の決定に際しては、ここではその方法を限定しないが、例えば、累積画像上で極値点がある直線上にいくつ以上並んでいたときにその直線を極値点の軌跡とみなすか、に応じて決定する。図６（ｄ）の累積画像（例えば、縦６０ピクセル×横８０ピクセル）においてθの刻み幅を１度、ρの刻み幅を１ピクセルとしてハフ変換する場合、画素値の閾値は１０〜１５程度が好ましい。これは、極値点の軌跡に対応する直線候補の検出漏れと、極値点の軌跡に対応しない直線候補の誤検出との両方が少ないという観点から、実験的に決定した値である。なお、極値点の軌跡ではない直線候補の誤検出の防止や計算時間短縮のために、ハフ変換においてθの範囲を限定してもよい。例えば、人物の移動速度が３［ｐｉｘｅｌ／ｆｒａｍｅ］以下であると前提を置く場合、右向きの動きの観測であれば９０°≦θ≦１０９°とすることができる。

次に、抽出されたθ-ρ空間上の点に対応する累積画像上の直線を極値点の軌跡とし、直線の傾きをその極値点の画像上における移動速度とする（ステップＳ６−１−２）。直線の傾きは、対応する極値点が１フレーム当たり何ピクセルｘ方向に移動するかを表す。

次に、推定された各極値点の移動速度から、画像に映っている人々の代表移動速度を求める（ステップＳ６−１−３）。代表移動速度の算出方法はここでは限定しないが、例えば、各移動速度の平均値をとる方法や、中央値をとる方法が考えられ、シーンによってより精度よい人数推定につながる方法を選択するのが好ましい。極値点の軌跡が映像中の人物１人に対応する程度に人物が少ない場合は平均値をとる方法が、そうでない場合は中央値をとる方法がより有効である。

（方法２）
まず、ステップＳ６−１−１と同様に、画素値がある閾値以上であるθ−ρ空間上の点を抽出する（ステップＳ６−２−１）。次に、ステップＳ６−２−１で抽出された点を１、そのほかの点を０とする２値画像（θ，ρ）において座標軸ρに対する射影処理を施し（例えばステップＳ３、図３を参照）、極値点軌跡の角度分布を生成する（ステップＳ６−２−２）。

次に、極値点軌跡の角度分布から代表角度θ￣（￣は、θの上に付く。以下同じ。）を算出し、θ−ρ空間上の角度θ￣に対応するｘ−ｔ空間上での傾きを画像に映っている人々の代表移動速度とする。（ステップＳ６−２−３）代表角度θ￣の算出方法はここでは限定しないが、例えば、角度分布の平均をとる方法や、分布が最大となる角度を選択する方法がある。また、代表角度θ￣を算出する前に角度分布に平滑化フィルタを掛けるなどの処理をしても良い。

（方法３）
まず、累積画像にθ−ρハフ変換を施すことで得られるθ−ρ画像の各画素値を、投票が多い点を強調するために２乗する（ステップＳ６−３−１）。次に、２乗したθ−ρ画像において座標軸ρに対する射影処理を施し（ステップＳ３、図３を参照）、極値点軌跡の角度分布を生成する（ステップＳ６−３−２）。なお、ステップＳ３の場合とは異なり、ここでの射影処理対象であるθ−ρ画像は多値画像である。次に、ステップＳ６−２−３と同様に、代表角度から代表移動速度を算出する（ステップＳ６−３−３）。

次に、画面内人数算出部１０７は、カメラ２で撮影された映像から、現時点の入力画像に映っている人のうち、人流を観測する向きに移動している人の数を算出する（ステップＳ７）。人数の算出方法は、ここでは限定されるものではないが、例えば、下記に示す非特許文献６の方法において、前景画像をステップＳ３で生成した２値画像とした方法を用いる。非特許文献６の方法は、画像内の人数が多い状況でも安定に人数を推定できるという特徴を持つため、画像内の人数が多い状況で通過人数を精度よく計測するためには好ましい方法である。また、前景画像としてステップＳ３で生成した２値画像を使用することによって、異なる方向に移動している人が存在する場合でも、人流を観測する向きに移動している人の数を算出することができる。

非特許文献6：Hiroyuki ARAI, Isao MIYAGAWA, Hideki KOIKE, and Miki ASEYAMA, Members, ”Estimating Number of People Using Calibrated Monocular Camera Based on Geometrical Analysis of Surface Area”, IEICE Trans. Fundamentals, Vol. E92-A, No. 8, pp. 1932-1938, August 2009

また、このステップＳ７で求める人流を観測する向きに移動している人の数については、ステップＳ４によりカウントした極大値の数から求めた人数でもよい。また、非複数人物が画像中で重なり合って移動し、ステップＳ４による方法では１人とカウントしてしまうような混雑している状況においては、特許文献６による方法を用いると有用である。

次に、通過人数算出部１０８は、ステップＳ６で算出された代表移動速度と、ステップＳ７で算出された人数とから、現時点の入力画像における瞬間通過人数を算出する（ステップＳ８）。瞬間通過人数の算出方法は、ここでは限定しないが、例えば、代表移動速度を画像のｘ方向の長さで除算し、画像中でｘ方向に移動している人物の数との積をとったものとする。例えば、人物１人がｘ方向の画像長だけ移動することを人物１人の通過とみなし、１つ前のフレームから現在フレームまでの間に何人がｘ方向の画像長の何倍移動したか、を算出する。一例として、３人の人物が１フレームの間にｘ方向の画像幅の０．１倍だけ移動する場合、瞬間通過人数は３×０．１＝０．３となる。

通過人数算出部１０８は、全方向の通過人数を算出したか否かを判定し、通過を測定したい向きが複数存在し、全方向の通過人数の算出を行っていない場合には、測定するそれぞれの向きに関してステップＳ３からステップＳ８までの処理を繰り返して行い、通過人数を算出する（ステップＳ９）。

次に、通過人数算出部１０８は、通過を測定する向きごとに瞬間通過人数を累積加算することにより、各向きの累積通過人数を算出する。累積通過人数は、処理を開始したフレームから現在フレームまでの間に映像内を各向きに通過した人物の数である。例えば、ステップＳ８で示した例と同じ状況において、人物の速度が一定である場合、３人の人物は画像の一方の端から反対側の端まで１０フレームかけて移動する。すなわち、瞬間通過人数０．３の１０フレーム累積で０．３×１０＝３となり、累積通過人数は３増加する。累積通過人数３という値は、画像中でｘ方向の画像長だけ移動した人物が３人いたか、あるいは、画像中でｘ方向の画像長の１／２だけ移動した人物が６人いたことを示す値である。このように、他のセンサを用いずに、画像のみから一定時間内に画像中のｘ方向の画像長だけ移動した人数の概算値を算出できる。

そして、通過人数算出部１０８は、終了条件を満たしているか否かを判定する（ステップＳ１０）。終了条件を満たしていれば、処理を終了し、満たしていない場合には、映像の新たなフレームを１枚取得し（ステップＳ１１）、ステップＳ１からステップＳ１０の処理を繰り返す。

なお、以上説明した実施形態において、ステップＳ９の後に、通過人数算出部１０８は、通過を測定したい範囲が画像中に複数存在するか否かを判定し、複数存在する場合、測定対象のそれぞれの範囲の部分画像に関してステップＳ１からステップＳ９までの処理を行い、それぞれの範囲の部分画像について全て処理が行われると、ステップＳ１０に移行するようにしてもよい。

なお、以上説明した実施形態において、カメラ２から得られる画像に対する通過人数計測装置１の処理は、実時間で行うか否かはいずれでもよい。

なお、上述した実施形態において、ステップＳ１からステップＳ２までの処理（動きベクトル算出及び前景抽出）については、実施せず、入力フレームの画像、及び該画像の各画素の動きベクトルの情報、該画像の前景領域の情報を入力とし、ステップＳ３以降の処理を行うようにしてもよい。

＜第２の実施形態＞
図７は、第２の実施形態における通過人数計測装置１の構成を示す機能ブロック図である。ここでは、図２の各部に対応する部分については、同一の符号を付し、その相違点を説明する。射影処理部１０３は、カメラ２から出力される画像データと、各画素の動きベクトル、画像の前景画像を入力する。これらの画像データ、動きベクトル、前景画像は、例えば、記憶装置に記憶しておき、射影処理部１０３が読み出すようにしてもよい。通過人数算出部１０８は、累積画像生成部１０５が生成した累積画像から、通過人数を算出する。例えば、累積画像に含まれる射影画像の極大値から移動人物の人数を算出する。

＜第３の実施形態＞
図８は、第３の実施形態における通過人数計測装置１の構成を示す機能ブロック図である。ここでは、図２の各部に対応する部分については、同一の符号を付し、その相違点を説明する。射影処理部１０３は、カメラ２から出力される画像データと、各画素の動きベクトル、画像の前景画像を入力する。これらの画像データ、動きベクトル、前景画像は、例えば、記憶装置に記憶しておき、射影処理部１０３が読み出すようにしてもよい。ここでは、例えば、画像データ、動きベクトル、前景画像を既知とし、これに基づいて、代表移動速度を求めることにより、移動人物の速度を算出する。

＜第４の実施形態＞
図９は、第４の実施形態における通過人数計測装置１の構成を示す機能ブロック図である。ここでは、図２の各部に対応する部分については、同一の符号を付し、その相違点を説明する。射影処理部１０３は、カメラ２から出力される画像データと、各画素の動きベクトル、画像の前景画像を入力する。これらの画像データ、動きベクトル、前景画像は、例えば、記憶装置に記憶しておき、射影処理部１０３が読み出すようにしてもよい。ここでは、例えば、画像データ、動きベクトル、前景画像を既知とし、これに基づいて、一定時間内に画像に映し出されている領域の距離（画像長の距離）を移動する人数の累積値（累積通過人数）を算出する。

＜第５の実施形態＞
次に、第５の実施形態における通過人数計測装置１について説明する。図１０は、この発明の一実施形態による通過人数計測装置の構成を示す概略ブロック図である。動きベクトル抽出部３００は、カメラ２からの画像を入力し、動きベクトルを出力する。前景検出部３０１は、カメラ２からの画像を入力し、前景画像を出力する。実空間マッピング部３０２は、動きベクトル抽出部３００から出力される動きベクトルと前景検出部３０１から出力される前景画像とを入力し、実空間画像と画面に映っている人物の数を出力する。射影処理部３０３は、実空間マッピング部３０２から出力される実空間画像を入力し、射影された動きベクトルを生成して出力する。極値点抽出部３０４は、射影処理部３０３から出力される射影された動き情報を入力し、動き情報の極値点を算出して出力する。

累積画像生成部３０５は、極値点抽出部３０４から出力される動き情報の極値点を入力し、極値点の位置を示す画像を出力する。代表速度算出部３０６は、累積画像生成部３０５から出力される累積画像を入力し、画像中の人々の代表移動速度を生成して出力する。この代表移動速度の生成の仕方は、種々あるが、後述する。通過人数算出部３０７は、実空間マッピング部３０２から出力される画像に映っている人物の数と代表速度算出部３０６から出力される画像中の人々の代表移動速度とを入力し、カメラ２で撮影された映像から、現時点の入力画像に映っている人のうち、人流を観測する向きに移動している人の数を算出して出力する。

次に、上述した構成における通過人数計測装置１の動作について説明する。図１１は、通過人数計測装置１の動作を説明するフローチャートである。まず、処理が開始され、カメラ２から画像データが出力されると、前景検出部３０１は、カメラ２から出力された、現時点の入力画像から予め設定された範囲を抽出した部分画像を生成する（ステップＳ２１）。この抽出する範囲の決定方法は、例えば、入力画像のうち通過をカウントしたい場所が撮影された領域とする方法、人物が写らないことが明らかである部分（壁や固定の設備など）を除いた領域とする方法、等が挙げられる。また、この範囲は入力画像全体であっても良い。

次に、前景検出部３０１は、抽出された部分画像おける前景画像を生成する（ステップＳ２２）。ここで、前景画像とは、部分画像において移動物体が存在する点、すなわち前景である点を１、そうでない点、すなわち背景である点を０とした画像である。前景画像の検出方法はさまざまな方法が知られているが、どのような方法を適用してもよい。なお、前景画像の検出方法としては、上述の非特許文献４、５のものが一例としてあげられる。

一方、動きベクトル抽出部３００は、映像の現在フレームの部分画像と１つ前のフレームの部分画像とから前景部分におけるオプティカルフロー（上述の非特許文献３参照）を検出し、カメラで撮影された現時点の部分画像から動きベクトルおよび、オプティカルフローの検出を続けている時間ｔ（フレーム数）を算出する（ステップＳ２３）。この動きベクトルは、例えば、ｘが左から右方向、ｙが上から下方向、としたとき、各画素位置（ｘ，ｙ）における動き量（Ｖ_ｘ，Ｖ_ｙ）として表される。

オプティカルフローの算出方法は、ここでは限定しないが、シーンによって安定にフローが出る方法を選択するのが好ましい。例えば、輝度勾配に基づく方法や、領域のマッチングに基づく方法が考えられるが、輝度勾配に基づく方法は撮像領域の人物密度が大きい場合により有効であり、領域のマッチングに基づく方法は撮像領域の人物密度が小さい場合により有効である。

次に、実空間マッピング部３０２は、動きベクトルの向きが任意の範囲内にあり、かつ絶対値が任意の閾値以上である点を１、そうでない点を０とする２値画像を生成する（ステップＳ２４）。ここで、２値画像を生成する際に、動きベクトルの局所的な誤検出の影響を取り除くためのモルフォロジー演算などの処理をしても良い。動きベクトルの向きの範囲、および閾値の決定に際しては、ここではその方法を限定しないが、例えば以下の方法が考えられる。

（１）動きベクトルの向きの範囲は、ベクトルの通過を計測したい方向の成分が通過を計測したい向きを向いている範囲とする。例えば、右向きの通過を計測する場合は、動きベクトルのｘ成分が正である範囲とする。

（２）絶対値の閾値は、人物の動き以外によって検出される動きの影響を切り捨てるために十分大きく、かつできるだけ小さい値を実験的に決定する。

次に、実空間マッピング部３０２は、人物の実空間上での位置を表す実空間画像を作成する（ステップＳ２５）。これは、ステップＳ２４で生成した２値画像の値が１である画素それぞれに関して、“その画素を含む人物像の立ち位置”としてあり得る２次元実空間Ｘ−Ｙ上の範囲に該当する実空間画像の画素に、所定の値を加算することによって実現する。以下では、この画素値の加算処理をマッピングという。

ここで、マッピングの範囲の導出の仕方について、図１２〜図１３を用いて説明する。前提として、人物のモデルを、カメラに正対した高さｈ、幅ｗの長方形平板とする（ｈとｗはあらかじめ定める。例えば、ｈ＝１．７［ｍ］、ｗ＝０．３［ｍ］とする）。また、カメラの光軸を中心とした回転はないものとする。

ある座標（ｘ，ｙ）の画素が人物長方形の底辺（足元）の中心であった場合と上辺（頭頂部）の中心であった場合とを仮定し、対応する２次元実空間Ｘ−Ｙ上の立ち位置Ｐ（ｘ，ｙ）、Ｐ’（ｘ，ｙ）（図１３参照）をそれぞれ考える（（ｘ，ｙ）からＰ（ｘ，ｙ）、Ｐ’（ｘ，ｙ）の座標を求めるには、例えば、上述の非特許文献６の（１２）式を用いる）。

このとき、件の画素が人物の中心軸上の任意の点であった場合に対応する実空間座標の範囲は、２点Ｐ（ｘ，ｙ）、Ｐ’（ｘ，ｙ）を結ぶ線分となる。さらに、Ｐ’（ｘ，ｙ）がカメラ位置（以下、カメラ位置を原点とする）から十分離れており、かつ画像上における人物の幅が画素幅に対して十分大きい場合、件の画素が人物上の任意の点であった場合に対応する実空間座標の範囲、すなわち求めるマッピング範囲は、この線分にｗの幅を持たせたもの、すなわち、２点を線分と垂直な方向に±ｗ／２だけ移動した点４つを頂点とする長方形に近似することができる（図１３参照）。

以上で導出される範囲に、画素値をマッピングする。マッピングを実現する具体的方法の例を、図１４〜図１５を用いて以下に説明する。

まず、マッピング先の空間として、各画素の値が０である実空間画像を作成する（ステップＳ２５−１）。実空間画像のサイズは、ステップＳ２４で生成した２値画像の各画素に対応するマッピング範囲をすべて網羅できるサイズとする。網羅すべき範囲は、図１４のように、２値画像の四隅の画素に対応するマッピング範囲を網羅する範囲を考えれば算出することができる。例えば、撮像画像のアスペクト比が４：３、カメラの地表からの高さが７．１ｍ、水平方向からの俯角が１７°、対角線画角が４６．７７°、人物モデルの高さが１．７ｍ、幅が０．３ｍのとき、実空間画像が網羅すべき範囲はＸ方向−５５［ｍ］〜５５［ｍ］、Ｙ方向８［ｍ］〜１６３［ｍ］、とすることができる（Ｘ、Ｙ座標軸の取り方は図１４参照）。

また、実空間画像の座標の刻み幅は、人物の動きを観測するために十分な最大の幅（例えば、１０ｃｍ刻み）とする。前述の網羅範囲の例で刻み幅を１０ｃｍとすると、実空間画像のサイズは横１１０１×縦１５５１ｐｉｘｅｌとなる。

次に、２値画像の画素値が１である各画素の座標（ｘ，ｙ）に関して、実空間画像上のＰ’（ｘ，ｙ）に対応する画素の値に１を加える（ステップＳ２５−２、図１５（ａ））。図１５では、このステップＳ２５−２から後述するステップＳ５−４までの処理を、画素１つに注目して示したものである。

次に、長さと方向、係数が適用画素の原点からの距離に依存して変化するフィルタを実空間画像に適用することにより、原点とフィルタ適用点とを結ぶ直線の方向に画素を分布させる（ステップＳ２５−３、図１５（ｂ））。原点からフィルタ適用点までの距離をｒとすると、フィルタの方向は原点とフィルタ適用点とを結ぶ直線の方向（この方向を、以下ではその点におけるｒ方向とよぶ）、ｒ方向のフィルタ長は｜Ｐ−Ｐ’｜＝ｈｒ／Ｔ_ｚ、幅は１、各フィルタ係数はＴ_ｚｓ＾（ｘ，ｙ）／（ｈｒ）となる（＾はｓの上に付く。以下同じ。）。ここで、Ｔ_ｚは床面からカメラまでの高さである。ｓ＾（ｘ，ｙ）は、２値画像の画素に重み付けをする値であり、ある人物１人が撮像画像に映っていることによって値が１となる２値画像上の画素にこの重みをつけた値の総和が、その人物が撮像画像のどこに映っていても１となるような値である。これは、非特許文献５におけるｓ＾（ｘ，ｙ）と同じものである。

次に、各画素において、その画素の位置におけるｒ方向と垂直な方向にフィルタを実空間画像に適用することにより、ｒ方向と垂直な方向に画素を分布させる（ステップＳ２５−４、図１５（ｃ））。フィルタの長さは、ｗ（人物モデルの幅）、幅は１、各フィルタ係数は１／ｗとする。

実際に実空間画像にマッピングを行った例を図１６に示す。図１６（ａ）の画像を撮像画像の動き検出部分として実空間にマッピングをすると、例えば、図１６（ｂ）の画像のようになる。

次に、実空間マッピング部３０２は、生成した実空間画像の画素値の総和を算出する（ステップＳ２６）。上述のステップＳ２５の方法でマッピングを行う場合、実空間画像の画素値のうち２値画像上の画素（ｘ，ｙ）からのマッピングに起因する成分の総和がｓ＾（ｘ，ｙ）となる。したがって、算出する総和は、ステップＳ２４で算出した２値画像にｓ＾（ｘ，ｙ）を乗じた画像の画素の総和に等しい。これはすなわち、移動を検出する方向に動いている画面内の人物の数に相当する。

次に、射影処理部３０３は、生成した実空間画像に関して、図１７に示されているように、ある方向に座標軸ｕをとり、ｕ方向の位置が等しい実空間画像上の各画素における値の総和をとった１次元の射影画像を生成する（ステップＳ２７）。

図１７においては、横方向を座標軸ｕとし、そのｕ軸上の位置が同じである各画素の値の総和を計算する。この計算は、ｕ軸上のそれぞれの位置において行う。ここでは、射影画像として、符号（ａ）に示すデータが得られた場合が一例として示されている。

このように、画像中においてｕ方向の位置が等しい画素の値の総和をとる処理を、この実施形態においては、座標軸ｕに対する射影処理と呼ぶ。ここで、座標軸ｕの方向は限定されるものではないが、例えば、左右方向の人流を観測する場合はＸ方向、手前と奥側との方向の人流を観測する場合はＹ方向、といったように、実空間画像のＸ方向またはＹ方向のうち計測したい人流の方向により近い方と等しくとることが考えられる。

射影画像が生成されると、極値点抽出部３０４は、図１７に示されているように、射影画像の値が極大値を取る点を１、そうでない点を０とする極値点画像を生成する（ステップＳ２８）。射影画像の値が極大値をとる点は、ｕ方向における人物候補位置に対応する。ここで、極値を抽出する前に射影画像に平滑化フィルタを掛けるなどの処理をしても良い。

極値点画像が生成されると、累積画像生成部３０５は、極値点抽出部３０４から出力される極値点画像を入力し、極値点の位置を示す画像である累積画像を生成して出力する（ステップＳ２９）。ここで、図１８は、累積画像を説明するための図である。ここでは、極値点抽出部３０４によって、極値点画像を時間ｔに対応させてメモリ上に蓄積する（図１８（ａ）、図１８（ｂ））。累積画像生成部３０５は、この極値点の軌跡を示す２次元の累積画像（ｕ，ｔ）を生成する（図１８（ｃ））。ここでは、極大値を表す座標軸ｕ上の位置の画素について１、そうでない画素には０が付与された極値画像が時間ｔに従って蓄積されることにより、２次元の累積画像が生成される。なお、図１８においては、極大値である画素と、そうでない画素について異なる色で示している。

なお、ここで、累積画像のｕ方向のサイズは、極値点画像のｕ方向のサイズと一致させるように生成される。累積画像のｔ方向のサイズは、後述するハフ変換の際に軌跡候補を検出できる最小の値とする。

累積画像が生成されると、代表速度算出部３０６は、累積画像から、撮像画像に映っている人々の代表移動速度を求める（ステップＳ３０）。この代表移動速度の求め方は種々あるが、例えば、次の３通りの方法（方法４〜方法６）が一例としてあげられる。

（方法４）
まず、累積画像にθ−ρハフ変換を施し、画素値（投票数）がある閾値以上であるθ−ρ空間上の点を抽出する（ステップＳ３０−１−１）。このとき、極値点の軌跡ではない直線候補の誤検出の防止や計算時間短縮のために、ハフ変換においてθの範囲を限定してもよい。例えば、人物の移動速度が３［ｐｉｘｅｌ／ｆｒａｍｅ］以下であると前提を置く場合、右向きの動きの観測であれば９０°≦θ≦１０９°とすることができる。閾値の決定に際しては、ここではその方法を限定しないが、例えば、累積画像上で極値点がある直線上にいくつ以上並んでいたときにその直線を極値点の軌跡とみなすか、に応じて決定する方法や、極値点の軌跡に対応する直線候補の検出漏れと、極値点の軌跡に対応しない直線候補の誤検出との両方が少ないという観点から、実験的に決定する、といった方法がある。

次に、抽出されたθ−ρ空間上の点に対応する累積画像上の直線を極値点の軌跡とし、直線の傾きをその極値点の画像上における移動速度とする（ステップＳ３０−１−２）。
直線の傾きは、対応する極値点が１フレーム当たり何ピクセルｕ方向に移動するか、を表す。

次に、推定された各極値点の移動速度から、撮像画像に映っている人々の代表移動速度を求める（ステップＳ３０−１−３）。代表移動速度の算出方法はここでは限定しないが、例えば、各移動速度の平均値をとる方法や、中央値をとる方法が考えられ、シーンによってより精度よい人数推定につながる方法を選択するのが好ましい。極値点の軌跡が映像中の人物１人に対応する程度に人物が少ない場合は平均値をとる方法が、そうでない場合は中央値をとる方法がより有効である。

（方法５）
まず、ステップＳ３０−１−１と同様に、画素値がある閾値以上であるθ−ρ空間上の点を抽出する（ステップＳ３０−２−１）。次に、ステップＳ３０−２−１で抽出された点を１、そのほかの点を０とする２値画像（θ，ρ）において座標軸ρに対する射影処理を施し（ステップＳ２７、図１７を参照）、極値点軌跡の角度分布を生成する（ステップＳ３０−２−２）。

次に、極値点軌跡の角度分布から代表角度θ￣を算出し、θ−ρ空間上の角度θ￣に対応するｕ−ｔ空間上での傾きを撮像画像に映っている人々の代表移動速度とする（ステップＳ３０−２−３）。代表角度θ￣の算出方法はここでは限定しないが、例えば、角度分布の平均をとる方法や、分布が最大となる角度を選択する方法がある。また、代表角度θ￣を算出する前に角度分布に平滑化フィルタを掛けるなどの処理をしても良い。

（方法６）
まず、累積画像にθ−ρハフ変換を施すことで得られるθ−ρ画像の各画素値を、投票が多い点を強調するために２乗する（ステップＳ３０−３−１）。次に、２乗したθ−ρ画像において座標軸ρに対する射影処理を施し（ステップＳ２７、図１７を参照）、極値点軌跡の角度分布を生成する（ステップＳ３０−３−２）。なお、ステップＳ２７の場合とは異なり、ここでの射影処理対象であるθ−ρ画像は多値画像である。次に、ステップＳ３０−２−３と同様に、代表角度から代表移動速度を算出する（ステップＳ３０−３−３）。

次に、代表移動速度が算出されると、通過人数算出部３０７は、ステップＳ３０で算出された代表移動速度とステップＳ２６で算出された人数とから、現時点の部分画像における瞬間通過人数を算出する（ステップＳ３１）。瞬間通過人数の算出方法はここでは限定しないが、例えば、代表移動速度を実空間画像のｕ方向の長さで除算し、画像中でｕ方向に移動している人物の数との積をとったものとする。例えば、人物１人がｕ方向の画像長だけ移動することを人物１人の通過とみなし、１つ前のフレームから現在フレームまでの間に何人がｕ方向の画像長に対してどれだけ移動したか、を算出する。一例として、３人の人物が１フレームの間にｕ方向の画像長の１／１０だけ移動する場合、瞬間通過人数は３×１／１０＝０．３となる。

次に、通過人数算出部３０７は、全方向の通過人数を算出したか否かを判定し、通過を測定したい向きが複数存在し、全方向の通過人数の算出を行っていない場合には、測定するそれぞれの向きに関してステップＳ２４からステップＳ３１までの処理を繰り返して行い、通過人数を算出する（ステップＳ３２）。

次に、通過人数算出部３０７は、通過を測定する向きごとに瞬間通過人数を累積加算することにより、各向きの累積通過人数とする（ステップＳ３３）。累積通過人数は、処理を開始したフレームから現在フレームまでの間に映像内を各向きに通過した人物の数となる。例えば、ステップＳ３１で示した例と同じ状況において、人物の速度が一定である場合、３人の人物は画像の一方の端から反対側の端まで１０フレームかけて移動する。すなわち、瞬間通過人数０．３の１０フレーム累積で０．３×１０＝３となり、累積通過人数は３増加する。

次に、通過人数算出部３０７は、通過を測定したい範囲が画像中に複数存在するか否かを判定し、複数存在する場合、測定対象のそれぞれの範囲の部分画像に関してステップＳ２２からステップＳ３３までの処理を行う（ステップＳ３４）。そして、それぞれの範囲の部分画像について全て処理が行われると、ステップＳ３５に移行する。

次に、通過人数算出部３０７は、終了条件を満たしているか否かを判定する（ステップＳ１５）。終了条件を満たしていれば、処理を終了し、満たしていない場合には、映像の新たなフレームを１枚取得し（ステップＳ３６）、ステップＳ２１からステップＳ３５の処理を繰り返す。

このように、他のセンサを用いずに、画像のみから一定時間内に画像中のｕ方向の画像長だけ移動した人数の概算値を算出できる。

なお、以上説明した実施形態において、カメラ２から得られる画像に対する通過人数計測装置１の処理は、実時間で行うか否かはいずれでもよい。

＜第６の実施形態＞
図１９は、第６の実施形態における通過人数計測装置１の構成を示す機能ブロック図である。ここでは、図１０の各部に対応する部分については、同一の符号を付し、その相違点を説明する。実空間マッピング部３０２は、動きベクトル、前景画像を入力し、実空間画像と、画面に映っている人物の数を生成して出力する。これらの動きベクトル、前景画像は、例えば、記憶装置に記憶しておき、実空間マッピング部３０３が読み出すようにしてもよい。射影処理部３０３は、実空間マッピング部３０２から出力される実空間画像を入力する。通過人数算出部３０７は、累積画像生成部３０５が生成した累積画像から、通過人数を算出する。例えば、累積画像に含まれる射影画像の極大値から移動人物の人数を算出する。

＜第７の実施形態＞
図２０は、第７の実施形態における通過人数計測装置１の構成を示す機能ブロック図である。ここでは、図１０の各部に対応する部分については、同一の符号を付し、その相違点を説明する。実空間マッピング部３０２は、動きベクトル、前景画像を入力し、実空間画像と、画面に映っている人物の数を生成して出力する。射影処理部３０３は、実空間マッピング部３０２から出力される実空間画像を入力する。ここでは、例えば、画像データ、動きベクトル、前景画像を既知とし、これに基づいて、代表移動速度を求めることにより、移動人物の速度を算出する。

＜第８の実施形態＞
図２１は、第８の実施形態における通過人数計測装置１の構成を示す機能ブロック図である。ここでは、図１０の各部に対応する部分については、同一の符号を付し、その相違点を説明する。実空間マッピング部３０２は、動きベクトル、前景画像を入力し、実空間画像と、画面に映っている人物の数を生成して出力する。射影処理部３０３は、実空間マッピング部３０２によって生成された実空間画像に関して、ある方向に座標軸ｕをとり、ｕ方向の位置が等しい実空間画像上の各画素における値の総和をとった１次元の射影画像を生成する。ここでは、例えば、画像データ、動きベクトル、前景画像を既知とし、これに基づいて、一定時間内に画像に映し出されている領域の距離（画像長の距離）を移動する人数の累積値（累積通過人数）を算出する。

＜第９の実施形態＞
非特許文献１では、瞬間ごとの人数を計測する領域は画像空間上で設定しており、画像空間と実空間の座標の対応は一意には定まらないため、人数を計測する領域を実空間で考えたい場合にはこの方法をそのまま用いることができない。このような問題を解決するため、画像上の前景部分を実空間にマッピングすることで、実空間上で人数を計測する方法が考えられる。しかし、マッピングのテーブルをあらかじめ作成する場合、実空間への写像関数を画素ごとに用意する必要があるため、写像関数のデータサイズが（撮像画像の画素数）×（実空間上の点数）オーダーとなり、このデータを計算機のメモリ上に確保するのは極めて困難である。第９の実施形態は、画像座標から実空間座標へのマッピングを、少ないメモリ使用量で実現し、実空間上で解析を行うことによって、映像に映っている任意の実空間領域内に存在する人物の数を推定するものであり、前述した第５の実施形態を変形したものである。

次に、第９の実施形態について詳細に説明する。第９の実施形態では、映像に映っている任意の実空間領域に存在する瞬間ごとの人数を測定することが目的である。第９の実施形態における装置構成は、図１に示す装置構成と同様であるので、詳細な説明を省略する。なお、カメラ２は、所定の位置に固定されたカメラを用いるものとする。また、以下の説明では、カメラ２で撮影された画像（フレーム画像）が時系列的に入力される状況を想定して説明する。入力画像は静止画系列や映像ストリームなどであり、また、必ずしも処理を実時間で行う必要はない。

図２２は、第９の実施形態における通過人数計測装置１の構成を示す機能ブロック図である。図２２において、符号４０１は、カメラ２からの画像を入力し、入力した画像から前景を検出して、前景画像を出力する前景検出部である。符号４０２は、前景画像を入力し、実空間マッピング処理を行って実空間画像を出力する実空間マッピング部である。符号４０３は、実空間画像を入力し、領域内の人数を算出し、領域内人数情報を出力する領域内人数算出部である。

次に、図２３を参照して、図２２に示す装置の動作を説明する。まず、処理が開始されると、現時点の入力画像からあらかじめ設定された範囲を抽出した部分画像を生成する。ここで抽出する範囲の決定方法は、例えば、入力画像のうち人数をカウントしたい実空間上の位置と対応しうる部分とする方法、人物が写らないことが明らかである部分（壁や固定の設備など）を除いた部分とする方法などが適用可能である。また、この範囲は入力画像全体であっても良い。

次に、前景検出部４０１は、抽出された部分画像における前景部分を検出して前景画像を生成して出力する（ステップＳ４１）。ここで、前景画像とは、部分画像において移動物体が存在する点、すなわち前景である点を１、そうでない点、すなわち背景である点を０とした画像である。前景画像の検出方法はさまざまな方法が知られており、例えば、前述の非特許文献４、５などの技術が適用可能である。

次に、実空間マッピング部４０２は、人物の実空間上での位置を表す実空間画像を作成して出力する（ステップＳ４２）。これは、生成された前景画像の値が１である画素それぞれに関して、“その画素を含む人物像の立ち位置”としてあり得る２次元実空間Ｘ−Ｙ上の範囲に該当する実空間画像の画素に、所定の値を加算することによって実現する。以下では、この画素値の加算処理をマッピングと称する。マッピングの範囲は、以下のように導出する。

前提として、人物のモデルを、カメラに正対した高さｈ、幅ｗの長方形平板とする。高さｈと幅ｗはあらかじめ定め、例えば、ｈ＝１．７［ｍ］、ｗ＝０．３［ｍ］とする。また、カメラの光軸を中心とした回転はないものとする。

ある座標（ｘ，ｙ）の画素が人物長方形の底辺（足元）の中心であった場合と上辺（頭頂部）の中心であった場合とを仮定し、対応する２次元実空間Ｘ−Ｙ上の立ち位置Ｐ（ｘ，ｙ）、Ｐ’（ｘ，ｙ）（図１２参照）をそれぞれ考える（（ｘ，ｙ）からＰ（ｘ，ｙ）、Ｐ’（ｘ，ｙ）の座標を求めるには、例えば、非特許文献６に記載の式（例えば（１２）式）を用いる。

このとき、件の画素が人物の中心軸上の任意の点であった場合に対応する実空間座標の範囲は、２点Ｐ（ｘ，ｙ）、Ｐ’（ｘ，ｙ）を結ぶ線分となる。さらに、Ｐ’（ｘ，ｙ）がカメラ位置（以下、カメラ位置を原点とする）から十分離れており、かつ画像上における人物の幅が画素幅に対して十分大きい場合（画素幅／人物幅 がマッピング範囲の幅の誤差となる）、件の画素が人物上の任意の点であった場合に対応する実空間座標の範囲、すなわち求めるマッピング範囲は、この線分にｗの幅を持たせたもの、すなわち、２点を線分と垂直な方向に±ｗ／２だけ移動した点４つを頂点とする長方形に近似することができる（図１３参照）。以上で導出される範囲に、画素値をマッピングする。

ここで、マッピング（ステップＳ４２）を実現する具体的方法について説明する。まず、マッピング先の空間として、各画素の値が０である実空間画像を作成する（ステップＳ４２−１−１）。実空間画像のサイズは、ステップＳ４１で生成した前景画像の各画素に対応するマッピング範囲をすべて網羅できるサイズとする。網羅すべき範囲は、図１４のように、前景画像（２値画像）の四隅の画素に対応するマッピング範囲を網羅する範囲を考えれば算出することができる。例えば、撮像画像のアスペクト比が４：３、カメラの地表からの高さが７．１ｍ、水平方向からの俯角が１７°、対角線画角が４６．７７°、人物モデルの高さが１．７ｍ、幅が０．３ｍのとき、画像全体に相当する領域の人数を計測する場合、実空間画像が網羅すべき範囲はＸ方向−５５［ｍ］〜５５［ｍ］、Ｙ方向８［ｍ］〜１６３［ｍ］、とすることができる。また、実空間画像の座標の刻み幅は、人物の動きを観測するために十分な最大の幅（例えば、１０ｃｍ刻み）とする。前述の網羅範囲の例で刻み幅を１０ｃｍとすると、実空間画像のサイズは横１１０１×縦１５５１ｐｉｘｅｌとなる。

次に、前景画像の画素値が１である各画素の座標（ｘ，ｙ）に関して、実空間画像上のＰ’（ｘ，ｙ）に対応する画素の値に１を加える（ステップＳ４２−１−２、図１５（ａ））。このステップではどの前景画素に関しても実空間画像の画素値に１を加え、後のステップのフィルタリングによって画素に重み付けをする。

次に、長さと方向、係数が適用画素の原点からの距離に依存して変化するフィルタを実空間画像に適用することにより、原点とフィルタ適用点とを結ぶ直線の方向に画素を分布させる（ステップＳ４２−１−３、図１５（ｂ））。原点からフィルタ適用点までの距離をｒとすると、フィルタの方向は原点とフィルタ適用点とを結ぶ直線の方向（ｒ方向）、ｒ方向のフィルタ長は｜Ｐ−Ｐ’｜＝ｈｒ／Ｔ_ｚ、幅は１、各フィルタ係数はＴ_ｚｓ＾（ｘ，ｙ）／（ｈｒ）となるとなる。ここで、Ｔ_ｚは床面からカメラまでの高さである。ｓ＾（ｘ，ｙ）は、前景画像の画素に重み付けをする値であり、ある人物１人が撮像画像に映っていることによって値が１となる前景画像上の画素にこの重みをつけた値の総和が、その人物が撮像画像のどこに映っていても１となるような値である。これは、非特許文献４におけるｓ＾（ｘ，ｙ）と同じものである。

次に、各画素において、その画素の位置におけるｒ方向と垂直な方向にフィルタを実空間画像に適用することにより、ｒ方向と垂直な方向に画素を分布させる（ステップＳ４２−１−４、図１５（ｃ））。フィルタの長さはｗ（人物モデルの幅）、幅は１、各フィルタ係数は１／ｗとする。実際に実空間画像にマッピングを行った例を図１６に示す。図１６（ａ）の画像を撮像画像の動き検出部分として実空間にマッピングをすると、例えば図１６（ｂ）の画像のようになる。以上説明した方法で作成された実空間画像の画素値の和は、その画像が含む領域に存在する人物の数を表す。また、実空間画像の任意の部分領域に含まれる画素値の和は、部分領域に対応する実空間領域に存在する人物の数となる。

図２３に戻り、次に、領域内人数算出部４０３は、実空間マッピング部４０２により生成された実空間画像の画素値の和を取ることにより、対応する実空間領域に存在する人数の推定値として、画面内の人数を算出する（ステップＳ４３）。人数を測定したい領域が複数存在する場合は、撮像画像全体を処理してから必要な実空間領域をそれぞれ抽出してもよいし、撮像画像から部分領域を複数抽出し、それぞれについてステップＳ４１〜Ｓ４３の処理を繰り返してもよい。そして、終了条件を満たしているか否かを判定し（ステップＳ４４）、満たしていなければ、映像の新たなフレームを１枚取得し、ステップＳ４１に戻って処理を繰り返す。

＜第１０の実施形態＞
次に、第１０の実施形態について説明する。第１０の実施形態は、前述した第５の実施形態における実空間マッピング３０２及び第９の実施形態における実空間マッピング部４０２において実行する処理（ステップＳ２５、Ｓ４２）を以下で説明する処理動作に置き換えたものである。

まず、第１のマッピング先の空間として、各画素の値が０であるｘ−ｌｏｇＹ空間画像を作成する。ｘ−ｌｏｇＹ空間画像のサイズは、ステップＳ２２、Ｓ４１で生成した前景画像の各画素に対応するマッピング範囲をすべて網羅できるサイズとする。網羅すべき範囲は、ステップＳ４２−２−１と同様に、前景画像の四隅の画素に対応するマッピング範囲を網羅する範囲を考えれば算出することができる。例えば、撮像画像のアスペクト比が４：３、カメラの地表からの高さが７．１ｍ、水平方向からの俯角が１７°、対角線画角が４６．７７°、人物モデルの高さが１．７ｍ、幅が０．３ｍのとき、画像全体に相当する領域の人数を計測する場合、ｘ−ｌｏｇＹ空間画像のｌｏｇＹ方向の範囲は２．０７〜５．１０とすることができる。

また、ｘ−ｌｏｇＹ空間画像のｌｏｇＹ方向の座標の刻み幅は、位置の誤差をどこまで許容できるかに応じて決定する。例えば、０．０１刻みとすると、画素分布範囲の誤差は最大１％程度となる。前述の網羅範囲の例で刻み幅を０．０１とすると、実空間画像のｌｏｇＹ方向のサイズは３０４ｐｉｘｅｌとなる。

次に、前景画像の画素値が１である各画素の座標（ｘ，ｙ）に関して、ｘ−ｌｏｇＹ空間画像上のＰ’に対応する画素の値にＴ_ｚ／（ｈｒ）を加える。Ｔ_ｚ／（ｈｒ）は、ステップＳ４２−１−３に記述したものと同じ値である。この値は時間の経過によって変化することはないため、撮像、マッピング、人数推定を繰り返す処理の開始前にあらかじめ計算しメモリ上に保持してもよい。

次に、ｘ−ｌｏｇＹ空間画像をフィルタリングすることにより、ｌｏｇＹ方向に画素を分布させる。これは、前述したｒ方向に画素を分布させることに相当する。フィルタのｌｏｇＹ方向の長さは、ｌｏｇｒ＿Ｐ−ｌｏｇｒ＿Ｐ’＝ｌｏｇ（ｒ＿Ｐ／ｒ＿Ｐ’）＝ｌｏｇ（Ｔ_ｚ／（Ｔｚ−ｈ））となり、一定である。また、ｘ方向の幅は１である。ここで、ｒ＿Ｐ，ｒ＿Ｐ’はそれぞれ点Ｐ、Ｐ’におけるｒである。各フィルタ係数は、１である。

次に、第２のマッピング先の空間として、ｘ−Ｙ空間画像を作成する。ｘ−Ｙ空間画像のサイズは、ｘ方向に関してｘ−ｌｏｇＹ空間画像と等しく、Ｙ方向に関してステップＳ４２−１−１における実空間画像と等しい。ｘ−Ｙ空間画像の各画素値は、ｘ−ｌｏｇＹ空間画像において対応する座標の画素値に等しい。

次に、第２のマッピング先の空間として、ステップＳ４２−１−１と同様の方法で実空間画像を作成し、ｘ−Ｙ空間画像の各画素に関して、その画素値を、実空間画像上の座標が対応する画素に加える。続いて、実空間画像をフィルタリングすることにより、Ｘ方向に画素を分布させる（図２４参照）。フィルタのＸ方向のサイズは人物モデルの幅であり、Ｙ方向のサイズは１である。この処理は、図２５に示すように人物の存在範囲を近似してＸ方向に画素を分布させることに相当する。以上の方法で実際に実空間画像にマッピングを行うと、第５、第９の実施形態と同様に図１６のようになる。

第１０の実施形態による方法は画素分布範囲の近似により人数の誤差が発生するという難点を持つ一方、フィルタのサイズと方向が座標によらず一定であるため第９の実施形態による方法よりも処理を高速にすることができるという利点を持つ。以上説明した方法で作成された実空間画像の画素値の和は、その画像が含む領域に存在する人物の数を表す。また、実空間画像の任意の部分領域に含まれる画素値の和は、部分領域に対応する実空間領域に存在する人物の数となる。

以上説明したように、映像に映る実空間の任意領域における人物の数を直接測定することができるため、画像上での観測すべき範囲を直感的に設定することができる。

また、図１、図２、図７〜図１０、図１９〜図２２における通過人数計測装置１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより通過人数の計測を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

撮像装置で撮影された映像から、画像処理により映像に映っている人の数や通過人数を測定することが不可欠な用途に適用できる。

１…通過人数計測装置、２…カメラ、３…表示装置、１０１、３００…動きベクトル抽出部、１０２、３０１、４０１…前景検出部、１０３、３０３…射影処理部、１０４、３０４…極値点抽出部、１０５、３０５…累積画像生成部、１０６、３０６…代表速度算出部、１０７…画面内人数算出部、１０８、３０７…通過人数算出部、３０２、４０２…実空間マッピング部、４０３…領域内人数算出部

Claims (12)

1. 映像に含まれる画像中の各画素の動きベクトルと、前記画像中の前景領域とを入力し、移動人物を計測する人数計測装置であって、
   前記前景領域内の動きベクトルを１次元に射影して射影画像を生成する射影手段と、
   前記射影手段によって生成された射影画像に含まれる画素のうち極値点を抽出して移動人物を検出する極値点抽出手段と、
   を有することを特徴とする人数計測装置。
2. 極値点抽出手段は、前記射影手段によって生成された射影画像に含まれる画素のうち極値点を抽出して移動人物の射影軸上における位置を検出する
   ことを特徴とする請求項１記載の人数計測装置。
3. 前記画像中に含まれる人物に対応する画像に基づいて、前記画像中の座標から当該人物の実空間上での位置を示す実空間座標上の画素にマッピングすることにより、実空間画像を生成する実空間マッピング手段を有し、
   前記射影処理手段は、前記実空間マッピング手段によって生成された実空間画像から射影画像を生成する
   ことを特徴とする請求項１または請求項２に記載の人数計測装置。
4. 前記実空間マッピング手段は、前記射影画像上の対象画素を含む人物像の立ち位置としてあり得ある２次元空間上の範囲に該当する画素に所定の値を加算して前記マッピングを行うことにより、前記実空間画像を生成することを特徴とする請求項３に記載の人数計測装置。
5. 前記実空間マッピング手段は、前記射影画像上の対象画素を含む人物像の立ち位置としてあり得ある対数空間上の範囲に該当する画素に所定の値を加算して第１のマッピング処理を行い、該第１のマッピング処理結果から２次元空間上にマッピングすることにより、前記実空間画像を生成することを特徴とする請求項３に記載の人数計測装置。
6. 前記極値点抽出手段によって抽出された極値画像を経過時間毎に蓄積して累積画像を生成する累積画像生成手段と、
   前記累積画像生成手段により生成された累積画像に基づいて、移動人物の人数を計測する人数算出手段
   を有することを特徴とする請求項１〜請求項５のうちいずれか１項に記載の人数計測装置。
7. 前記極値点抽出手段によって抽出された極値画像を経過時間毎に蓄積して累積画像を生成する累積画像生成手段と、
   前記累積画像生成手段により生成された累積画像に基づいて、各極値点の移動速度から、移動人物の代表移動速度を算出する代表速度算出手段と、
   を有することを特徴とする請求項１〜請求項５のうちいずれか１項に記載の人数計測装置。
8. 前記画像に含まれる人数を検出する人数算出手段と、
   前記人数算出手段が検出した人数と、前記代表速度算出手段が算出した代表速度とに基づいて、一定時間内に画像内の領域を通過する人数を算出する通過人数算出手段と、
   を有することを特徴とする請求項１〜請求項５のうちいずれか１項に記載の人数計測装置。
9. 入力した映像から前景部分を検出し、前景画像を生成する前景画像生成手段と、
   前記前景画像上の対象画素を含む人物像の立ち位置としてあり得ある２次元空間上の範囲に該当する画素に所定の値を加算して前記マッピングを行うことにより、前記実空間画像を生成する実空間画像生成手段と、
   前記実空間画像の画素値の和を取ることにより、実空間領域に存在する人物の人数を算出する領域内人数算出手段と
   を備えたことを特徴とする人数計測装置。
10. 入力した映像から前景部分を検出し、前景画像を生成する前景画像生成手段と、
    前記前景画像上の対象画素を含む人物像の立ち位置としてあり得ある対数空間上の範囲に該当する画素に所定の値を加算して第１のマッピング処理を行い、該第１のマッピング処理結果から２次元空間上に第２のマッピング処理を行うことにより、前記実空間画像を生成する実空間画像生成手段と、
    前記実空間画像の画素値の和を取ることにより、実空間領域に存在する人物の人数を算出する領域内人数算出手段と
    を備えたことを特徴とする人数計測装置。
11. 映像に含まれる画像中の各画素の動きベクトルと、前記画像中の前景領域とを入力し、移動人物を計測する人数計測装置であるコンピュータを用いて、
    前記コンピュータの射影手段が、前記前景領域内の動きベクトルを１次元に射影して射影画像を生成するステップと、
    前記コンピュータの極値点抽出手段が、
    前記射影手段によって生成された射影画像に含まれる画素のうち極値点を抽出して移動人物を検出するステップと、
    を実行することを特徴とする人数計測方法。
12. 請求項１〜１０のうちいずれか１項に記載された人数計測装置の各手段をコンピュータに機能させることを特徴とするコンピュータプログラム。