JP6564756B2 - 流動状況計測装置、方法、及びプログラム - Google Patents

Description

本発明は、流動状況計測装置、方法、及びプログラムに係り、特に、画像に写る場所の流動状況を計測する流動状況計測装置、方法、及びプログラムに関する。

従来より、セキュリティや安全管理用途またはマーケティング用途への適用を想定し、固定されたカメラで撮影した画像において、その場所を通過した人の数や、群衆の流速や密度といった流動状態を示す物理量を計測または推定する技術が知られている。

駅、空港、イベント施設など人が多く集まる場所における過剰な混雑は、将棋倒しなどの深刻な事故の原因となるため、過剰な混雑が発生しないように事前に対策することに加えて混雑発生時に迅速に誘導するなどの現場対応を行う必要がある。このため施設内の要所、要所において群衆の流動状況をモニタリングしたいという安全管理上のニーズが存在している。また商業施設やアミューズメント施設においては、お客様の快適性確保および効果的な販売促進などを目的として施設内の人の流動状況をデータとして計測し、これを活用したいというマーケティング上のニーズが存在している。

特許５４１９９２５号公報

流動状況を計測することのできるセンサは様々なものがあるが、計測したい場所が比較的広い場合にはカメラ（カメラにより撮影した画像）が有力な計測手段となる。画像から人数を計測、推定する様々な方法が既に提案、利用されてきている。これらを大きく分類すると、（１）画像上の個々の人物を検出・追跡することで所定時間内の流動数を算出する方式（人物検出・追跡タイプ）と、（２）瞬間の領域内人数の推定と流速の推定を別個に行い、これらの結果から所定時間内の流動数を推定する方式（流体近似タイプ）（例えば特許文献１参照）と、を挙げることができる。

このうち、（１）の方式は、人が少ない状況においては高い精度を実現するものの、混雑状況においては誤差が大きくなる（処理が破綻してしまう）という問題がある。駅などの公共施設やイベント施設における安全管理に適用する場合には、混雑状況でも一定の精度が保たれることが必要であるため（１）の方式の適用は困難となる。一方、（２）の方式は一般に人が少ない状況での精度は必ずしも高くはないものの、混雑している状況において比較的安定した精度での推定が可能である。また（２）の方式は（１）の方式と比べると小さい計算コストで実行できるという長所を持っている。しかしながら（２）の方式であっても複数の処理を同じ計算機で同時に実行すると所定の時間間隔での処理が間に合わない状況が起きる。また、処理が終わった時点で計測結果を出力する方式の場合には、計算機の負荷状況や計算機のスペック等の状況によって計測が終了するまでの時間が大きくばらつく、といった状況が発生する。このように、結果として処理結果の信頼性、利用性が低くなってしまうという問題があった。

本発明は、上記問題点を解決するために成されたものであり、安定して精度よく流動状況を計測できる流動状況計測装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る流動状況計測装置は、カメラで撮影した画像に写る場所の群衆の流動状況を計測する流動状況計測装置であって、前記カメラにより撮影したフレーム画像の画像系列を時系列順に入力する画像入力部と、入力された前記画像系列に基づいて、画像上の被写体の動きに対応する動きベクトルを算出するフロー算出部と、前記算出された前記動きベクトルに基づいて、前記群衆の画像上の流速を推定する流速推定部と、前記フレーム画像に基づいて、画像上の動物体領域を抽出し、前記動物体領域を表す前景画像を算出する前景画像算出部と、算出された前景画像に基づいて、予め処理対象と指定された領域内における領域内人数を推定する領域内人数推定部と、前記推定された前記流速を一時的に保持する流速更新メモリと、前記推定された前記領域内人数を一時的に保持する領域内人数更新メモリと、前記流速更新メモリの前記流速と、前記領域内人数更新メモリの前記領域内人数とを参照し、所定時間内の推定流動数を算出する流動計算部と、を含んで構成されており、前記フロー算出部及び前記流速推定部の一連の処理と、前記前景画像算出部及び前記領域内人数推定部の一連の処理とは、非同期に繰り返し実行され、前記流動計算部は、予め指定されたタイミングで、前記流速更新メモリの前記流速と、前記領域内人数更新メモリの前記領域内人数とを参照し、所定時間内の推定流動数を繰り返し算出してログデータとして保存する。

また、第１の発明に係る流動状況計測装置において、前記カメラの設置位置、撮影方向、及び焦点距離を含むカメラパラメータを事前に取得するキャリブレーション部を更に含み、前記流動計算部は、前記推定流動数の算出に加え、事前に取得した前記カメラパラメータと、前記流速更新メモリの前記流速と、前記領域内人数更新メモリの前記領域内人数とに基づいて、実空間における群衆の前記流速、又は前記実空間における人の密度を算出するようにしてもよい。

また、第２の発明に係る流動状況計測装置において、前記流速更新メモリは、前記推定された前記流速の移動平均を保持し、前記領域内人数更新メモリは、前記推定された前記領域内人数の移動平均を保持するようにしてもよい。

第２の発明に係る流動状況計測方法は、カメラで撮影した画像に写る場所の群衆の流動状況を計測する流動状況計測装置における流動状況計測方法であって、画像入力部が、前記カメラにより撮影したフレーム画像の画像系列を時系列順に入力するステップと、フロー算出部が、入力された前記画像系列に基づいて、画像上の被写体の動きに対応する動きベクトルを算出するステップと、流速推定部が、前記算出された前記動きベクトルに基づいて、前記群衆の画像上の流速を推定し、前記流速を一時的に保持する流速更新メモリに、前記推定された前記流速を格納するステップと、前景画像算出部が、前記フレーム画像に基づいて、画像上の動物体領域を抽出し、前記動物体領域を表す前景画像を算出するステップと、領域内人数推定部が、算出された前景画像に基づいて、予め処理対象と指定された領域内における領域内人数を推定し、前記領域内人数を一時的に保持する領域内人数更新メモリに、前記推定された前記領域内人数を格納するステップと、流動計算部が、前記流速更新メモリの前記流速と、前記領域内人数更新メモリの前記領域内人数とを参照し、所定時間内の推定流動数を算出するステップと、を含んで実行することを特徴とし、前記フロー算出部及び前記流速推定部の各ステップの一連の処理と、前記前景画像算出部及び前記領域内人数推定部の各ステップの一連の処理とは、非同期に繰り返し実行され、前記流動計算部が算出するステップは、予め指定されたタイミングで、前記流速更新メモリの前記流速と、前記領域内人数更新メモリの前記領域内人数とを参照し、所定時間内の推定流動数を繰り返し算出してログデータとして保存する。

また、第２の発明に係る流動状況計測装置において、キャリブレーション部が、前記カメラの設置位置、撮影方向、及び焦点距離を含むカメラパラメータを事前に取得するステップを更に含み、前記流動計算部が算出するステップは、前記推定流動数の算出に加え、事前に取得した前記カメラパラメータと、前記流速更新メモリの前記流速と、前記領域内人数更新メモリの前記領域内人数とに基づいて、実空間における群衆の前記流速、又は前記実空間における人の密度を算出するようにしてもよい。

また、第２の発明に係る流動状況計測装置において、前記流速推定部が前記流速更新メモリに格納するステップは、前記推定された前記流速の移動平均を前記流速更新メモリに格納し、前記領域内人数推定部が前記領域内人数更新メモリに格納するステップは、前記推定された前記領域内人数の移動平均を前記領域内人数更新メモリに格納するようにしてもよい。

また、第３の発明に係るプログラムは、コンピュータを、第１の発明に係る流動状況計測装置の各部として機能させるためのプログラムである。

本発明の流動状況計測装置、方法、及びプログラムによれば、画像系列に基づいて、画像上の被写体の動きに対応する動きベクトルを算出し、動きベクトルに基づいて、群衆の画像上の流速を推定し、画像系列に基づいて、画像上の動物体領域を抽出し、動物体領域を表す前景画像を算出し、前景画像に基づいて、予め処理対象と指定された領域内における領域内人数を推定し、流速更新メモリの流速と、領域内人数更新メモリの領域内人数とを参照し、所定時間内の推定流動数を算出する過程において、フロー算出部及び流速推定部の一連の処理と、前景画像算出部及び領域内人数推定部の一連の処理とは、非同期に繰り返し実行され、流動計算部は、予め指定されたタイミングで、流速更新メモリの流速と、領域内人数更新メモリの領域内人数とを参照し、所定時間内の推定流動数を繰り返し算出してログデータとして保存することにより、安定して精度よく流動状況を計測できる、という効果が得られる。

本発明の第１の実施の形態に係る流動状況計測装置の構成を示すブロック図である。 処理対象領域（ＲＯＩ）における流動数の推定の一例を示す図である。 流動状況計測装置における各処理プロセスの一例を示す図である。 本発明の実施の形態に係る流動状況計測装置における流動状況計測の各処理を示すタイムチャートである。 本発明の第２の実施の形態に係る流動状況計測装置の構成を示すブロック図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る概要＞

まず、本発明の実施の形態における概要を説明する。

本発明の実施の形態の流動状況計測装置は、カメラで撮影した画像に写る場所の群衆の流動状況を計測する。

本発明の実施の形態に係る手法では、上述したような流動計測に関する従来手法の問題点を鑑み、瞬間の領域内人数の推定と流速の推定を別個に行い、これらの結果から所定時間内の流動数を推定する方式において、同じ計算機上で複数の処理を効率的かつ安定的に実行することを目的とする。

＜本発明の第１の実施の形態に係る流動状況計測装置の構成＞

次に、本発明の第１の実施の形態に係る流動状況計測装置の構成について説明する。図１に示すように、本発明の実施の形態に係る流動状況計測装置１００は、ＣＰＵと、ＲＡＭと、後述する流動状況計測処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この流動状況計測装置１００は、機能的には図１に示すようにカメラ１０と、計測部２０とを備えている。

以下で説明する本実施の形態では、カメラ１０で撮影された画像データ（映像データ）を計測部２０に入力し、計算機上で画像処理を実施する場合を想定しているが、その詳細な形態は限定しない。またカメラ１０から画像（映像）を逐一取得しながら処理を行うリアルタイム型の処理、一旦ハードディスクなどの記録媒体に記録された画像（映像）を読み出しながら処理していくオフライン型の処理のいずれに対しても適用可能であるが、以下ではカメラ１０からリアルタイムで画像を取り込みながらリアルタイムに実行することを想定して説明していく。また説明を簡単にするために、画像上の人の動きは左右方向であると（通路を横切る方向にカメラを設置した場合を）想定し、左右方向（画像のｘ軸方向）に通過する人の数を計測、推定する場合を想定して説明を行う。また、上記の想定においては左右方向で別々に流動を計測する必要があるが、これは例えばオプティカルフローの算出結果から右向きの動きを持つ画素と左向きの画素を持つ画素を分けることができるので、ここでは一方向に人が流れる場合に単純化して説明していく。

計測部２０は、システムクロック２２と、画像入力部３０と、フロー算出部３２と、流速推定部３４と、流速更新メモリ３６と、前景画像算出部３８と、領域内人数推定部４０と、領域内人数更新メモリ４２と、流動計算部４４とを含んで構成されている。フロー算出部３２及び流速推定部３４の一連の処理と、前景画像算出部３８及び領域内人数推定部４０の一連の処理とは、非同期に繰り返し実行される。

画像入力部３０は、カメラ１０により撮影した映像から得られるフレーム画像の画像系列を時系列順に入力する。なお、フレーム画像の画像系列は、カメラ１０で撮影された静止画系列から取得してもよい。

フロー算出部３２は、画像入力部３０から入力された画像系列を取得し、取得した画像系列に基づいて、画像上の被写体の動きに対応する動きベクトルを算出する。ここでの動きベクトルは、オプティカルフロー（隣接するフレーム画像を比較することで画像上の見かけの動きの方向と大きさを算出したもの）を用いる。フレーム間での特徴点のマッチングの結果得られた動き情報（前のフレームで検出された特徴点について、後のフレームのどこに類似した特徴点があるかを探索した結果得られた特徴点の対応）でも良く、被写体の動きの大きさと方向を示す動きベクトルが得られれば良い。またこの際、動きベクトルが画像上の全ての画素やブロックに対して得られている必要はなく、例えば特徴点マッチングがうまく行った場所（画素やブロック）の動きベクトルが算出されていれば良い。

流速推定部３４は、フロー算出部３２で算出された動きベクトルに基づいて、群衆の画像上の流速を推定する。ここでは、算出された動きベクトル（フロー）を用いて、その時点での流速（被写体である人・群衆の平均速度）を算出する。得られた複数の動きベクトルから群衆の動きを代表する速度を求める方法としては、得られた動きベクトルの平均値（動きが左右方向であれば、ｘ成分の平均値）を求める方法や、動きベクトルの大きさ、方向に関して投票計算を行い最頻値を求める方法等が考えられる。なお、速度の表現方法は様々な形があり、例えば画像上での動きを［pixel／フレーム］で表現する形、また後述するような実空間の歩行速度［m／秒］に換算した形などがあり得るが、ここでは単純に画像上の動きを算出するものとする。

流速推定部３４は、上記の計算の結果、得られた流速の値を流速更新メモリ３６に記録する。流速更新メモリ３６は、推定された流速を一時的に保持する。記録の際、単に新たに算出した流速を上書きして更新しても良いが、流速の計算は一時的に大きな誤差を含む場合もあるので、移動平均を取った値を記録するものとする。例えば、過去の平均値に対して一定の重みを付けて新たに算出された数値との平均を計算することで、過去の数値を緩やかに忘却する形で平均化を行う。この際、移動平均をとる場合の重みは経験的に設定すればよい。なお、移動平均でなくとも計測のノイズを軽減できる値であればよい。

前景画像算出部３８は、画像入力部３０から入力された画像系列のうちの現在画像を取得し、取得した現在画像に基づいて、画像上の動物体領域を抽出し、動物体領域を表す前景画像を算出する。前景画像の検出は、予め取得しておいた固定背景画像（人がいない画像）と現在画像との画素値の比較（差の絶対値を取ってしきい値処理する）や、画素値の時間変動を統計的にモデルすることで前景を検出する方法（Gaussian Mixture法など）、他にも様々な方法があるが、ここではその手法は特に限定しない。

領域内人数推定部４０は、前景画像算出部３８で算出された前景画像に基づいて、予め処理対象と指定された領域内（画像内もしくは予め設定された処理対象領域（ROI）内）の人数を推定する。前景画像からの人数推定方法としては、領域内の前景画素数と背景画素数から大凡の人数を推定する方式を使えばよい（特許文献２参照）。

［特許文献２］：特許０４９１４８７０号公報

領域内人数推定部４０は、上記のように推定された領域内人数を領域内人数更新メモリ４２に記録する。領域内人数更新メモリ４２は、推定された領域内人数を一時的に保持する。領域内人数更新メモリ４２への記録は、前述した流速更新メモリ３６への記録と同様に移動平均を計算した値を記録するものとする。

流動計算部４４は、予め指定されたタイミングで、流速更新メモリ３６の流速と、領域内人数更新メモリ４２の領域内人数とを参照し、所定時間内の推定流動数を繰り返し算出してログデータとして保存する。

流動計算部４４では、システムクロック等を参照しながら、予め指定されたタイミングで、流速更新メモリ３６及び領域内人数更新メモリ４２にアクセスし、記録されている流速と領域内人数を読み込み、これらの値から所定時間内の流動数（通過人数）を算出する。通過人数の算出は図２に示すように、処理対象領域（ＲＯＩ）の移動方向の長さＬ、幅をＷとし、領域内人数Ｎ、集団の平均速度Ｖが得られたとすると、以下のように時間Ｔ内の流動数を求めることができる。

時間Ｔ内の流動数（通過人数）＝｛Ｎ／（ＬＷ）｝｛ＶＷ｝Ｔ＝ＮＶＴ／Ｌ

流動状況計測装置１００は、以上の各部の処理を行うことにより流動数（通過人数）を算出することができるが、その処理の制御方法について補足する。前述の「フロー算出部３２及び流速推定部３４」「前景画像算出部３８及び領域内人数推定部４０」の処理は、図３に示すように、それぞれ別個のプロセスとして同期せずに実行するものとする。またこれらのプロセスとは別に、流動計算のプロセス（流動計算部４４の処理）があり、これらは全て別個のプロセスとして動作する。

それぞれのプロセスを同期しないことのメリットを以下に示す。このような形で動作させることで、以下の二つのメリットが生まれる。一つ目は、流動状況計測装置１００を汎用計算機上に実装する場合、プロセスを並列実行できるため、全ての処理をシーケンシャルに実行する場合と比べて実質的な処理速度を早くすることができる（画像処理の結果が反映される時間間隔を短くすることができる）点である。二つ目は、同一計算機上で複数の計測を同時に実行したり、別の処理が動作している場合などでも決まった時間間隔で計測が行われることである。計算機のスペックや状況によっては処理量の多い画像処理プロセスが終了するまでの時間が大きく変動する可能性があるが、上記の流動計算のプロセスは計算量が極めて小さいため決まった時間間隔で動作（メモリ読み取り、計算、ログ出力）させることができる。仮に画像処理のプロセス（「フロー算出部３２及び流速推定部３４」「前景画像算出部３８及び領域内人数推定部４０」のプロセスのいずれか、または両方の処理が一時的に遅れた場合には、その前の値が更新メモリから読み込まれるが、流速や領域内人数が短時間で極端に変化しなければ、このような場合でも計算される流動数（通過人数）は一定の信頼性を持つと期待できる。

図４に、流動状況計測装置１００のタイムチャートを示す。

まず、領域推定プロセスについて説明する。

ステップＳ１１では、所定枚（例えば２枚）のフレーム画像の画像系列を取得する。

ステップＳ１２では、ステップＳ１１_１で取得した画像系列に基づいて、画像上の被写体の動きに対応する動きベクトルを算出する。

ステップＳ１３では、ステップＳ１２で算出された動きベクトルに基づいて、群衆の画像上の流速を推定する。

ステップＳ１４では、ステップＳ１３で推定された流速の移動平均を流速更新メモリ３６に記録する。

領域推定プロセスは、上記のステップＳ１１〜Ｓ１４からなる一連の処理を繰り返す。

次に、領域内人数推定プロセスについて説明する。

ステップＳ２１では、フレーム画像の画像系列のうちの現在画像を取得する。

ステップＳ２２では、ステップＳ２１で取得した現在画像に基づいて、画像上の動物体領域を抽出し、動物体領域を表す前景画像を算出する。

ステップＳ２３では、ステップＳ２２で算出された前景画像に基づいて、予め処理対象と指定された領域内における領域内人数を推定する。

ステップＳ２４では、ステップＳ２３で推定された領域内人数を領域内人数更新メモリ４２に記録する。

領域内人数推定プロセスは、上記のステップＳ２１〜Ｓ２４からなる一連の処理を繰り返す。このとき、領域内人数推定プロセスの一連の処理は、領域推定プロセスの一連の処理とは非同期に実行される。

次に、流動計算プロセスについて説明する。

ステップＳ３１では、流速更新メモリ３６の流速と、領域内人数更新メモリ４２の領域内人数とを取得する。

ステップＳ３２では、ステップＳ３１で取得した流速更新メモリ３６の流速と、領域内人数更新メモリ４２の領域内人数とに基づいて、所定時間内の推定流動数を計算する。

ステップＳ３３では、ステップＳ３２で計算された推定流動数をログデータとして保存する。
流動計算プロセスは、上記のステップＳ３１〜Ｓ３３からなる一連の処理を繰り返す。このとき、流動計算プロセスの一連の処理は、領域推定プロセスの一連の処理及び領域内人数推定プロセスの一連の処理のそれぞれとは非同期に実行される。

以上説明したように、本発明の第１の実施の形態に係る流動状況計測装置によれば、画像系列に基づいて、画像上の被写体の動きに対応する動きベクトルを算出し、動きベクトルに基づいて、群衆の画像上の流速を推定し、画像系列に基づいて、画像上の動物体領域を抽出し、動物体領域を表す前景画像を算出し、前景画像に基づいて、予め処理対象と指定された領域内における領域内人数を推定し、流速更新メモリ３６の流速と、領域内人数更新メモリ４２の領域内人数とを参照し、所定時間内の推定流動数を算出する過程において、フロー算出部３２及び流速推定部３４の一連の処理と、前景画像算出部３８及び領域内人数推定部４０の一連の処理とは、非同期に繰り返し実行され、流動計算部４４は、予め指定されたタイミングで、流速更新メモリ３６の流速と、領域内人数更新メモリ４２の領域内人数とを参照し、所定時間内の推定流動数を繰り返し算出してログデータとして保存することにより、安定して精度よく流動状況を計測できる。

＜本発明の第２の実施の形態に係る流動状況計測装置の構成＞

次に、本発明の第２の実施の形態に係る流動状況計測装置の構成について説明する。なお、第１の実施の形態と同様となる箇所については同一符号を付して説明を省略する。

図５に示すように、第２の実施の形態の流動状況計測装置２００では、第１の実施の形態の流動状況計測装置１００の構成に加え、カメラ較正部５０を更に備える。カメラ較正部５０は、画像入力部６０と、キャリブレーション部６２とを備えている。

画像入力部６０は、画像入力部３０と同様に、カメラ１０により撮影した映像から得られるフレーム画像を入力する。

キャリブレーション部６２は、画像入力部６０から入力されたフレーム画像から、カメラの位置（床面座標系に対する３次元位置）、方向（床面座標系に対するカメラの画像軸方向）、カメラの焦点距離等のカメラ較正データを、カメラキャリブレーション（較正）を行うことで取得しておき、カメラパラメータ６４として保存する。

流動計算部４４は、推定流動数の算出に加えて、カメラパラメータ６４と、領域内人数更新メモリ４２の領域内人数とに基づいて、実空間における人の密度を算出する。ここでは、カメラパラメータ６４から画像上のＲＯＩに対応する床面上の面積を算出しておき、実空間における人の密度である実空間密度[人／ｍ^２]を求めればよい。この実空間密度は、安全管理上の指標（サービス水準の指標）となるため、実空間密度の値をログデータとして出力する。

また、流動計算部４４は、カメラパラメータ６４と、流速更新メモリ３６の流速とに基づいて、実空間における群衆の流速を算出する。ここでは、カメラパラメータ６４から求められる画像上の実空間の移動の長さから、大凡の実空間における流速（群衆の平均速度）［ｍ／ｓ］を求めればよい。この実空間における流速も安全管理上の指標（サービス水準の指標）となるため、実空間における流速の値をログデータとして出力する。なお、実空間における流速の際の具体的な計算方法は、上記特許文献１、特許文献１から引用される先行技術文献、非特許文献１、及び非特許文献２などを参照すれば良い。

［非特許文献１］：「映像からの人数推定における遺伝的アルゴリズムを使ったカメラパラメータの調整」、宮川勲，新井啓之，小池秀樹、日本知能情報ファジィ学会誌21(1) 41-55、2009年2月

［非特許文献２］：「Estimating the Number of Pedestrians based on People Flow Analysis and Tracking」、IIEEJ Transactions on Image and Visual Computing, Vol.1, No.1, pp19-27(2012).

なお、第２の実施の形態の他の構成については、第１の実施の形態と同様であるため、詳細な説明を省略する。

以上説明したように、本発明の第２の実施の形態に係る流動状況計測装置によれば、画像系列に基づいて、画像上の被写体の動きに対応する動きベクトルを算出し、動きベクトルに基づいて、群衆の画像上の流速を推定し、画像系列に基づいて、画像上の動物体領域を抽出し、動物体領域を表す前景画像を算出し、前景画像に基づいて、予め処理対象と指定された領域内における領域内人数を推定し、流速更新メモリ３６の流速と、領域内人数更新メモリ４２の領域内人数とを参照し、所定時間内の推定流動数を算出する過程において、フロー算出部３２及び流速推定部３４の一連の処理と、前景画像算出部３８及び領域内人数推定部４０の一連の処理とは、非同期に繰り返し実行され、流動計算部４４は、予め指定されたタイミングで、流速更新メモリ３６の流速と、領域内人数更新メモリ４２の領域内人数と、カメラパラメータ６４とに基づいて、所定時間内の推定流動数、実空間における群衆の流速、及び実空間における人の密度を繰り返し算出してログデータとして保存することにより、安定して精度よく流動状況を計測できる。

また、本発明の第１及び第２の実施の形態の手法により、カメラ画像から流動数を計測する際、スペックの低い計算機での高速処理が可能となり、また複数の計測を同じ計算上で多重に動作させても、所定の計測間隔を保った形での計測が可能となるため、限られた計算資源を有効に活用した計測が可能となる（計算資源が不足する場合でも良好な計測を継続することができる）。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

１０ カメラ
２０ 計測部
２２ システムクロック
３０、６０ 画像入力部
３２ フロー算出部
３４ 流速推定部
３６ 流速更新メモリ
３８ 前景画像算出部
４０ 領域内人数推定部
４２ 領域内人数更新メモリ
４４ 流動計算部
５０ カメラ較正部
６２ キャリブレーション部
６４ カメラパラメータ
１００、２００ 流動状況計測装置

Claims (7)

1. カメラで撮影した画像に写る場所の群衆の流動状況を計測する流動状況計測装置であって、
   前記カメラにより撮影したフレーム画像の画像系列を時系列順に入力する画像入力部と、
   入力された前記画像系列に基づいて、画像上の被写体の動きに対応する動きベクトルを算出するフロー算出部と、
   前記算出された前記動きベクトルに基づいて、前記群衆の画像上の流速を推定する流速推定部と、
   前記フレーム画像に基づいて、画像上の動物体領域を抽出し、前記動物体領域を表す前景画像を算出する前景画像算出部と、
   算出された前景画像に基づいて、予め処理対象と指定された領域内における領域内人数を推定する領域内人数推定部と、
   前記推定された前記流速を一時的に保持する流速更新メモリと、
   前記推定された前記領域内人数を一時的に保持する領域内人数更新メモリと、
   前記流速更新メモリの前記流速と、前記領域内人数更新メモリの前記領域内人数とを参照し、前記処理対象と指定された領域内における所定時間内の推定流動数を算出する流動計算部と、
   を含み、
   前記フロー算出部及び前記流速推定部の一連の処理と、前記前景画像算出部及び前記領域内人数推定部の一連の処理とは、非同期に繰り返し実行され、
   前記流動計算部は、予め指定されたタイミングで、前記流速更新メモリの前記流速と、前記領域内人数更新メモリの前記領域内人数とを参照し、所定時間内の推定流動数を繰り返し算出してログデータとして保存する流動状況計測装置。
2. 前記カメラの設置位置、撮影方向、及び焦点距離を含むカメラパラメータを事前に取得するキャリブレーション部を更に含み、
   前記流動計算部は、前記推定流動数の算出に加え、事前に取得した前記カメラパラメータと、前記流速更新メモリの前記流速と、前記領域内人数更新メモリの前記領域内人数とに基づいて、実空間における群衆の前記流速、又は前記実空間における人の密度を算出する請求項１に記載の流動状況計測装置。
3. 前記流速更新メモリは、前記推定された前記流速の移動平均を保持し、
   前記領域内人数更新メモリは、前記推定された前記領域内人数の移動平均を保持し、
   前記流動計算部は、予め指定されたタイミングで、前記流速更新メモリの前記流速の移動平均と、前記領域内人数更新メモリの前記領域内人数の移動平均とを参照し、所定時間内の推定流動数を繰り返し算出してログデータとして保存する請求項１又は２記載の流動状況計測装置。
4. カメラで撮影した画像に写る場所の群衆の流動状況を計測する流動状況計測装置における流動状況計測方法であって、
   画像入力部が、前記カメラにより撮影したフレーム画像の画像系列を時系列順に入力するステップと、
   フロー算出部が、入力された前記画像系列に基づいて、画像上の被写体の動きに対応する動きベクトルを算出するステップと、
   流速推定部が、前記算出された前記動きベクトルに基づいて、前記群衆の画像上の流速を推定し、前記流速を一時的に保持する流速更新メモリに、前記推定された前記流速を格納するステップと、
   前景画像算出部が、前記フレーム画像に基づいて、画像上の動物体領域を抽出し、前記動物体領域を表す前景画像を算出するステップと、
   領域内人数推定部が、算出された前景画像に基づいて、予め処理対象と指定された領域内における領域内人数を推定し、前記領域内人数を一時的に保持する領域内人数更新メモリに、前記推定された前記領域内人数を格納するステップと、
   流動計算部が、前記流速更新メモリの前記流速と、前記領域内人数更新メモリの前記領域内人数とを参照し、前記処理対象と指定された領域内における所定時間内の推定流動数を算出するステップと、
   を含み、
   前記フロー算出部及び前記流速推定部の各ステップの一連の処理と、前記前景画像算出部及び前記領域内人数推定部の各ステップの一連の処理とは、非同期に繰り返し実行され、
   前記流動計算部が算出するステップは、予め指定されたタイミングで、前記流速更新メモリの前記流速と、前記領域内人数更新メモリの前記領域内人数とを参照し、所定時間内の推定流動数を繰り返し算出してログデータとして保存する流動状況計測方法。
5. キャリブレーション部が、前記カメラの設置位置、撮影方向、及び焦点距離を含むカメラパラメータを事前に取得するステップを更に含み、
   前記流動計算部が算出するステップは、前記推定流動数の算出に加え、事前に取得した前記カメラパラメータと、前記流速更新メモリの前記流速と、前記領域内人数更新メモリの前記領域内人数とに基づいて、実空間における群衆の前記流速、又は前記実空間における人の密度を算出する請求項４に記載の流動状況計測方法。
6. 前記流速推定部が前記流速更新メモリに格納するステップは、前記推定された前記流速の移動平均を前記流速更新メモリに格納し、
   前記領域内人数推定部が前記領域内人数更新メモリに格納するステップは、前記推定された前記領域内人数の移動平均を前記領域内人数更新メモリに格納し、
   前記流動計算部は、予め指定されたタイミングで、前記流速更新メモリの前記流速の移動平均と、前記領域内人数更新メモリの前記領域内人数の移動平均とを参照し、所定時間内の推定流動数を繰り返し算出してログデータとして保存する請求項４又は５記載の流動状況計測方法。
7. コンピュータを、請求項１〜請求項３のいずれか１項に記載の流動状況計測装置の各部として機能させるためのプログラム。