JP6261815B1 - 群集監視装置、および、群集監視システム - Google Patents

Abstract

センサ（４０１，４０２，・・・，４０ｐ）で検出されたオブジェクト群を示す、実空間を基準とした空間的特徴量の情報が付与されたセンサデータに基づき、当該センサデータが示すオブジェクト群の状態特徴量を示す状態パラメータを導出するパラメータ導出部（１３）と、パラメータ導出部（１３）が導出した状態パラメータに基づき、オブジェクト群の状態を予測した予測データを作成する群衆状態予測部（１４）とを備えた。

Description

この発明は、群集の流れを予測する群集監視装置、および、群集監視システムに関するものである。

従来から、混雑度、あるいは、人の流れ等を推定する技術が知られている。
例えば、特許文献１には、駅のホーム、あるいは、コンコース等において、固定的な空間情報だけでなく、鉄道のダイヤ情報、駅の入出場履歴情報等のセンサ間の動的な因果関係を考慮し、混雑度、あるいは、人の流れ等を推定する技術が開示されている。

特開２０１３−１１６６７６号公報

しかしながら、特許文献１に開示されているような技術では、例えば、混雑度と駅の入出場履歴情報等の間の因果関係を構造化した人の流れの履歴を事前にデータベース化しておく必要があり、屋外、あるいは、屋内のイベント会場等、人の流れの履歴を事前にデータベース化しておくことが困難な環境では、人の流れを推定することが困難な場合があるという課題があった。

この発明は上記のような課題を解決するためになされたもので、混雑度、あるいは、群集の流れが予め把握できない環境において、混雑度、あるいは、群集の流れを推定することを可能とする群集監視装置、および、群集監視システムを提供することを目的とする。

この発明に係る群集監視装置は、センサにて取得されたデータと、センサで検出されたデータに現れるオブジェクト群を示す、実空間を基準とした空間的特徴量の情報を表す空間的な記述子とを互いに関連付け、かつ、多重化されたセンサデータに基づき、当該センサデータが示すオブジェクト群の状態特徴量を示す状態パラメータを導出するパラメータ導出部と、パラメータ導出部が導出した状態パラメータに基づき、センサが設置されていないエリアのオブジェクト群の状態を予測した空間予測データを作成する空間群集状態予測部とを備えたものである。

この発明によれば、パラメータ導出部が、センサにて取得されたデータと、センサで検出されたデータに現れるオブジェクト群を示す、実空間を基準とした空間的特徴量の情報を表す空間的な記述子とを互いに関連付け、かつ、多重化されたセンサデータに基づき、オブジェクト群の状態特徴量を示す状態パラメータを導出しているので、空間的な記述子を検索対象として利用することにより、複数の撮像画像に現れる、空間的に近い関係にある複数のオブジェクト間の対応付けを高い確度で且つ低処理負荷で行うことが可能となり、混雑度や群集の流れが予め把握できない環境において、混雑度や群集の流れを推定することができる。

この発明の実施の形態１に係る群集監視装置を備えた警備支援システムの構成図である。 実施の形態１の警備支援システムを構成するセンサの構成図である。 実施の形態１において、画像解析部の詳細な構成を説明する図である。 この発明の実施の形態１に係る群集監視装置の構成図である。 実施の形態１において、センサの動作を説明するフローチャートである。 図５のステップＳＴ５０２における第１画像解析処理の動作の一例を説明するフローチャートである。 実施の形態１において、スケール推定部が、入力画像上のオブジェクトのスケール推定を行った結果のイメージの一例を示す図である。 図５のステップＳＴ５０３における第２画像解析処理の動作の一例を説明するフローチャートである。 実施の形態１において、パターン解析部が、図７に例示した入力画像上のコードパターンの解析を行った結果のイメージの一例を示す図である。 実施の形態１において、空間的なコードパターンＰＮｘを表示する表示機器の一例を示す図である。 実施の形態１において、パターン解析部がオブジェクトの測位情報を推定した結果のイメージの一例を示す図である。 実施の形態１において、空間的な記述子のフォーマットの例を示す図である。 実施の形態１において、空間的な記述子のフォーマットの例を示す図である。 実施の形態１において、ＧＮＳＳ情報の記述子、すなわち、地理的な記述子のフォーマットの例を示す図である。 実施の形態１において、ＧＮＳＳ情報の記述子、すなわち、地理的な記述子のフォーマットの例を示す図である。 この発明の実施の形態１に係る群集監視装置の動作を説明するフローチャートである。 実施の形態１において、群衆パラメータ導出部が、群衆の領域を特定する動作の一例を説明するための図である。 実施の形態１において、群衆状態予測部の時間群衆状態予測部が、未来の群衆状態を予測し、「時間予測データ」を作成する方法の一例を説明する図である。 図１９Ａ，図１９Ｂは、状態提示部が生成した視覚的データを、外部機器の表示装置に表示させたイメージの一例を説明する図である。 図２０Ａ，図２０Ｂは、状態提示部が生成した視覚的データを、外部機器の表示装置に表示させたイメージの他の一例を説明する図である。 実施の形態１において、状態提示部が生成した視覚的データを、外部機器の表示装置に表示させたイメージの、さらに他の一例を説明する図である。 図２２Ａ，図２２Ｂは、この発明の実施の形態１に係る群集監視装置のハードウェア構成の一例を示す図である。 図２３Ａ，図２３Ｂは、この発明の実施の形態１の画像処理装置のハードウェア構成の一例を示す図である。 この発明の実施の形態２に係る群集監視装置の構成図である。 実施の形態３において、時間群衆状態予測部が、「群衆行動の種類」は「対向流」として検知した群衆の移動方向を２方向とする一例を説明する図である。 実施の形態３において、通過人数を算出する領域の一例を説明する図である。 実施の形態３において、撮像画像内における流量算出領域と、流量算出領域内の所定ラインのイメージの一例を示す図である。 実施の形態３において、所定ラインを「ＩＮ」方向に移動したフローを持つものとしてカウントされた画素数と群衆の密度との関係の一例を説明する図である。 図２９Ａ，図２９Ｂは、実施の形態３において、撮像画像内で得られる画素数と群衆の密度との関係の一例を説明するための図である。 実施の形態３において、カウントされた画素数を一人あたりの画素数で割った値と「ＩＮ」方向の流量の関係の一例を示す図である。 実施の形態３において、映像フレーム１枚につき実行される群集流量算出処理の処理フローである。 実施の形態３において、群集の位置関係のモデルとして、人物が格子状に並んでいる状態の一例を示す図である。 実施の形態３において、格子状モデルのカメラ光軸方向に対する傾きによって、前景領域の見え方、面積が変動する例を説明するための図である。 実施の形態３において、格子状モデルのカメラ光軸方向に対する傾きによって、前景領域の見え方、面積が変動する例を説明するための図である。 実施の形態３において、計測対象領域の路面を平面で近似するためのパラメータをユーザが手動で指定する例を説明するための図である。 実施の形態３において、カメラ映像奥側の人物領域が、手前の人物に隠蔽される人物領域を説明するための図である。 画像処理装置が、記述子の情報を蓄積しておくことを可能とした構成の一例を説明する図である。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る群集監視装置１０を備えた警備支援システム１の構成図である。
ここでは、一例として、この発明の実施の形態１に係る群集監視装置１０が適用される群集監視システムとして、警備支援システム１を例に以下説明する。
この実施の形態１における警備支援システム１は、例えば、施設構内、イベント会場または市街地などの場所に存在する群衆、および当該場所に配置された警備担当者が利用の対象として運用され得る。
施設構内、イベント会場および市街地などの、群れをなす多数の人々、すなわち、警備担当者を含む群衆が集まる場所では、しばしば混雑が発生する場合がある。混雑は、その場所の群衆の快適性を損ない、また過密な混雑は群衆を巻き込む事故の原因となるので、適切な警備による混雑の回避は極めて重要である。また、怪我人、体調不良者、交通弱者、および危険行動をとる人物または集団を速やかに発見し、適切な警備を行うことは群衆の保安において重要である。

この実施の形態１における警備支援システムでは、例えば、群集監視装置１０が、センサ４０１，４０２，・・・，４０ｐとしての撮像装置から取得した画像データに基づいて推定した状態に基づき、群衆の状態を示す情報と、適切な警備計画とを、警備支援に有用な情報としてユーザに提示するものとする。
なお、この実施の形態１では、ユーザとは、例えば、群衆、または、対象エリアを監視する警備員を想定している。なお、この実施の形態１では、対象エリアとは、群衆を監視する対象とする範囲のことをいうものとする。

図１に示すように、警備支援システム１は、群集監視装置１０と、センサ４０１，４０２，・・・，４０ｐと、サーバ装置５０１，５０２，・・・，５０ｎと、外部機器７０とを備える。

センサ４０１，４０２，・・・，４０ｐと、群集監視装置１０とは、通信ネットワークＮＷ１を介して接続される。
図１においては、センサ４０１，４０２，・・・，４０ｐは３台以上としているが、これは一例にすぎず、１台または２台のセンサが、通信ネットワークＮＷ１を介して群集監視装置１０に接続されるものであってもよい。
また、サーバ装置５０１，５０２，・・・，５０ｎと、群集監視装置１０とは、通信ネットワークＮＷ２を介して接続される。
図１においては、サーバ装置５０１，５０２，・・・，５０ｎは３台以上としているが、これは一例にすぎず、１台または２台のサーバ装置が、通信ネットワークＮＷ２を介して群集監視装置１０に接続されるものであってもよい。

通信ネットワークＮＷ１，ＮＷ２としては、例えば、有線ＬＡＮもしくは無線ＬＡＮなどの構内通信網、拠点間を結ぶ専用回線網、またはインターネットなどの広域通信網があげられる。なお、この実施の形態１において、通信ネットワークＮＷ１，ＮＷ２は互いに異なるように構成されているが、これに限定されるものではない。通信ネットワークＮＷ１，ＮＷ２が単一の通信ネットワークを構成していてもよい。

センサ４０１，４０２，・・・，４０ｐは、単数または複数の対象エリア内に分散配置され、センサ４０１，４０２，・・・，４０ｐの各々は、対象エリアの状態を電気的または光学的に検出して検出信号を生成し、当該検出信号に信号処理を施すことでセンサデータを生成する。このセンサデータは、検出信号で示される検出内容が抽象化またはコンパクト化された内容を示す処理済みデータを含む。
センサ４０１，４０２，・・・，４０ｐは、生成したセンサデータを、通信ネットワークＮＷ１を介して群集監視装置１０に送信する。

この実施の形態１では、センサ４０１，４０２，・・・，４０ｐは、一例として、カメラ等の撮像装置であるものとするが、これに限らず、センサ４０１，４０２，・・・，４０ｐとしては、様々な種類のセンサを使用することができる。
センサ４０１，４０２，・・・，４０ｐの種類は、固定位置に設置される固定センサ、および移動体に搭載される移動センサの２種類に大別される。固定センサとしては、例えば、光学カメラ、レーザ測距センサ、超音波測距センサ、集音マイク、サーモカメラ、暗視カメラおよびステレオカメラを用いることが可能である。一方、移動センサとしては、固定センサと同種のセンサの他に、例えば、測位計、加速度センサ、バイタルセンサを用いることが可能である。移動センサは、主に、検出対象である群衆、すなわち、センシング対象であるオブジェクト群と共に移動しながらセンシングを行うことで、当該オブジェクト群の動きおよび状態を直接センシングする用途で使用され得る。また、人間がオブジェクト群の状態を観察しその観察結果を表す主観的なデータ入力を受け付けるデバイスを、センサの一部として利用してもよい。この種のデバイスは、例えば、当該人間が保有するスマートフォンまたはウェアラブル機器などの移動通信端末を通じてその主観的なデータをセンサデータとして供給することができる。

なお、これらセンサ４０１，４０２，・・・，４０ｐは、単一の種類のセンサのみで構成されていてもよいし、あるいは、複数種類のセンサで構成されていてもよい。

センサ４０１，４０２，・・・，４０ｐの各々は、対象エリアの状態を電気的または光学的に検出できる位置、すなわち、ここでは、群衆を検出できる位置に設置され、警備支援システム１が動作している間、群衆を検出した結果を必要に応じて伝送することができる。固定センサは、例えば、街灯、電柱、天井または壁に設置される。移動センサは、警備員が携帯、あるいは、警備ロボットまたは巡回車両などの移動体に搭載される。また、群衆をなす各個人または警備員が保有するスマートフォンまたはウェアラブル機器などの移動通信端末に付属するセンサが、当該移動センサとして使用されてもよい。この場合は、警備対象となる群衆をなす各個人または警備員が保有する移動通信端末に、センサデータ収集用のアプリケーション、または、ソフトウェアが予めインストールされるように、センサデータ収集の枠組みを予め構築しておくことが望ましい。

サーバ装置５０１，５０２，・・・，５０ｎは、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ／Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｉｔｅ）情報、および、公共情報などの公開データを配信する。ＳＮＳは、Ｔｗｉｔｔｅｒ（登録商標）またはＦａｃｅｂｏｏｋ（登録商標）などの、リアルタイム性が高く、かつ、利用者による投稿内容が一般に公開される交流サービスまたは交流サイトを指す。ＳＮＳ情報は、その種の交流サービスまたは交流サイトで一般に公開された情報である。また、公共情報としては、例えば、自治体などの行政単位、公共交通機関または気象局によって提供される交通情報または気象情報、サービスプロバイダなどが提供するスマートフォン向けアプリケーション利用者の位置情報などが挙げられる。

群集監視装置１０は、単数または複数の対象エリア内に分散配置されたセンサ４０１，４０２，・・・，４０ｐから送信されるセンサデータに基づき、対象エリア内の群衆の状態を把握する、あるいは、予測する。
また、群集監視装置１０は、通信ネットワークＮＷ２上のサーバ装置５０１，５０２，・・・，５０ｎから配信される公開データを取得する場合には、当該取得したセンサデータおよび公開データに基づき、対象エリア内の群衆の状態を把握する、あるいは、予測する。
また、群集監視装置１０は、把握した、あるいは、予測した、対象エリア内の群衆の状態に基づき、ユーザに理解しやすい形態に加工された、群衆の過去、現在、あるいは、未来の状態を示す情報と、適切な警備計画とを演算により導出し、当該過去、現在、あるいは、未来の状態を示す情報と警備計画を、警備支援に有用な情報として、外部機器７０に送信する。

外部機器７０は、例えば、専用のモニタ機器、汎用のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット端末もしくはスマートフォンなどの情報端末、または、不特定多数の人々が視聴できる大型ディスプレイおよびスピーカ等である。
外部機器７０は、群集監視装置１０から送信された、過去、現在、あるいは、未来の状態を示す情報と警備計画を含む警備支援に有用な情報を出力する。外部機器７０が警備支援に有用な情報を出力する出力方法は、例えば、外部機器７０がモニタ機器であれば、映像として画面に表示させるものであってもよいし、外部機器７０がスピーカであれば、音声として出力させるものであってもよいし、情報端末であれば、バイブレータによって情報端末を振動させるものであってもよく、外部機器７０の形態にあわせて適宜の出力方法を採用することができる。
警備員、あるいは、群衆は、外部機器７０から出力される情報を確認することで、対象エリア内の群衆の現在、あるいは、未来の状態、警備計画等を把握することができる。

図２は、実施の形態１の警備支援システム１を構成するセンサ４０１の構成図である。
まず、この実施の形態１におけるセンサ４０１の構成について説明する。
なお、上述したように、この実施の形態１では、一例として、センサとは、カメラ等の撮像装置であるものとする。図２では、センサ４０１，４０２，・・・，４０ｐのうち、センサ４０１の構成を図示しているが、この実施の形態１では、センサ４０２，・・・，４０ｐについても、図２に示すセンサ４０１と同様の構成であるものとする。
この実施の形態１において、センサ４０１，４０２，・・・，４０ｐは、対象エリアを撮像し、撮像画像を解析して当該撮像画像に現れるオブジェクトを検出し、当該検出されたオブジェクトの空間的、地理的および視覚的な特徴量を示す記述子データを生成し、画像データとともに群集監視装置１０に送信する。

図２に示すように、センサ４０１は、画像処理装置２０を搭載し、撮像部１０１と、データ伝送部１０２とを備える。
なお、ここでは、図２に示すように、画像処理装置２０は、センサ４０１に搭載されているものとするが、これに限らず、画像処理装置２０は、センサ４０１の外部に備えられ、センサ４０１の撮像部１０１、および、データ伝送部１０２と、ネットワークを介して接続されるものであってもよい。

撮像部１０１は、対象エリアを撮像し、撮像した撮像画像の画像データ（図２のＶｄ）を画像処理装置２０に出力する。なお、撮像部１０１が撮像し、出力する画像データは、静止画像データまたは動画像データを含む。
撮像部１０１は、対象エリアに存在する被写体の光学像を形成する撮像光学系と、その光学像を電気信号に変換する固体撮像素子と、その電気信号を静止画像データまたは動画像データとして圧縮符号化するエンコーダ回路とを有している。固体撮像素子としては、例えば、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子を使用すればよい。

撮像部１０１は、固体撮像素子の出力を画像データとして圧縮符号化する場合には、例えば、ＭＰＥＧ−２ ＴＳ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）、ＲＴＰ／ＲＴＳＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ／Ｒｅａｌ Ｔｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ）、ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）またはＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）などのストリーミング方式に従い、圧縮符号化された動画像ストリームを生成することができる。なお、この実施の形態１で使用されるストリーミング方式は、ＭＰＥＧ−２ ＴＳ、ＲＴＰ／ＲＴＳＰ、ＭＭＴおよびＤＡＳＨに限定されるものではない。ただし、いずれのストリーミング方式でも、動画像ストリームに含まれる動画像データを画像処理装置２０で一意に分離できる識別子情報が当該動画像ストリーム内に多重化されている必要がある。

画像処理装置２０は、撮像部１０１から取得した画像データに対して画像解析を行い、解析結果を示す空間的または地理的な記述子（図２のＤｓｒ）を、画像データと関連付けてデータ伝送部１０２へ出力する。
画像処理装置２０の詳細な構成については後述する。

データ伝送部１０２は、撮像部１０１が出力した画像データと、画像処理装置２０が出力する記述子とを互いに関連付け、かつ、多重化して、通信ネットワークＮＷ１経由で群集監視装置１０に、センサデータとして送信する。

画像処理装置２０の詳細な構成について説明する。
画像処理装置２０は、図２に示すように、画像解析部２１と、記述子生成部２２とを備える。
画像解析部２１は、撮像部１０１から画像データを取得し、画像解析を行う。画像解析部２１は、解析結果を記述子生成部２２に出力する。具体的には、画像処理装置２０は入力インタフェース装置（図示省略）を備えており、入力インタフェース装置が、撮像部１０１から出力された画像データを受け付け、当該受け付けた画像データを画像解析部２１に出力する。すなわち、画像解析部２１は、入力インタフェース装置を介して、撮像部１０１から出力された画像データを取得する。

記述子生成部２２は、画像解析部２１が出力した解析結果に基づき、当該解析結果を示す空間的または地理的な記述子を生成する。また、記述子生成部２２は、空間的な記述子または地理的な記述子の他に、例えば、オブジェクトの色、テクスチャ、形状、動きおよび顔などの特徴量を示す視覚的な記述子等、ＭＰＥＧ規格による既知の記述子を生成する機能を有している。この既知の記述子は、例えば、ＭＰＥＧ−７に規定されているので、詳細な説明を省略する。
記述子生成部２２は、生成した記述子の情報を、データ伝送部１０２に出力する。具体的には、画像処理装置２０は出力インタフェース装置（図示省略）を備えており、出力インタフェース装置が、記述子生成部２２が生成した記述子の情報をデータ伝送部１０２に出力する。すなわち、記述子生成部２２は、出力インタフェース装置を介して、記述子の情報をデータ伝送部１０２に出力する。

図３は、実施の形態１において、画像解析部２１の詳細な構成を説明する図である。
図３に示すように、画像解析部２１は、画像認識部２１１と、パターン記憶部２１２と、復号部２１３とを備える。
画像認識部２１１は、オブジェクト検出部２１０１と、スケール推定部２１０２と、パターン検出部２１０３と、パターン解析部２１０４とからなる。

復号部２１３は、撮像部１０１が出力した画像データを取得し、撮像部１０１で使用された圧縮符号化方式に従い、圧縮された画像データを復号する。復号部２１３は、復号後の画像データを復号データとして画像認識部２１１に出力する。
パターン記憶部２１２は、例えば、歩行者などの人体、信号機、標識、自動車、自転車および建造物などの多種多様なオブジェクトの平面形状、立体的形状、大きさおよび色などの特徴を示すパターンを記憶する。パターン記憶部２１２が記憶するパターンは、予め決められている。

画像認識部２１１のオブジェクト検出部２１０１は、復号部２１３から取得した復号データで示される単数または複数の入力画像を解析して当該入力画像に現れるオブジェクトを検出する。具体的には、オブジェクト検出部２１０１は、復号データで示される入力画像と、パターン記憶部２１２に記憶されているパターンとを比較することで、入力画像に現れるオブジェクトを検出する。
オブジェクト検出部２１０１は、検出したオブジェクトの情報を、スケール推定部２１０２、パターン検出部２１０３に出力する。

画像認識部２１１のスケール推定部２１０２は、オブジェクト検出部２１０１で検出されたオブジェクトの、実際の撮像環境である実空間を基準とした空間的特徴量を、スケール情報として推定する。オブジェクトの空間的特徴量としては、当該実空間におけるオブジェクトの物理寸法を示す量を推定することが好ましい。以下、実空間におけるオブジェクトの物理寸法を示す量を、単に「物理量」ともいうものとする。オブジェクトの物理量とは、例えば、オブジェクトの高さもしくは横幅、または、オブジェクトの高さもしくは横幅の平均値である。

具体的には、スケール推定部２１０２は、パターン記憶部２１２を参照して、オブジェクト検出部２１０１で検出されたオブジェクトの物理量を取得する。例えば、オブジェクトが、信号機および標識などである場合、信号機および標識などの形状および寸法は既知であるので、例えばユーザである警備員は、事前に信号機および標識などの形状および寸法の数値をパターン記憶部２１２に記憶しておくようにする。また、例えば、オブジェクトが、自動車、自転車および歩行者などである場合、自動車、自転車および歩行者などの形状および寸法の数値のバラツキは一定範囲内に収まるので、例えばユーザである警備員は、事前に自動車、自転車および歩行者などの形状および寸法の平均値をパターン記憶部２１２に記憶しておくようにする。

また、スケール推定部２１０２は、例えば、オブジェクトの向いている方向等、オブジェクトの姿勢を空間的特徴量の１つとして推定することもできる。
センサ４０１が、ステレオカメラまたは測距カメラなどの３次元画像生成機能を有する場合、撮像部１０１が撮像し、復号部２１３において復号される画像は、オブジェクトの強度情報だけなく、当該オブジェクトの深度（ｄｅｐｔｈ）情報をも含む。この場合、スケール推定部２１０２は、オブジェクト検出部２１０１で検出されたオブジェクトについて、オブジェクトの深度情報を物理量の１つとして取得することが可能である。

画像認識部２１１のパターン検出部２１０３と、パターン解析部２１０４は、オブジェクト検出部２１０１で検出されたオブジェクトの地理的情報を推定する。地理的情報とは、例えば、オブジェクトの地球上の位置を示す測位情報である。

パターン検出部２１０３は、復号部２１３が復号した画像データが示す画像中のコードパターンを検出する。コードパターンは、オブジェクト検出部２１０１が検出したオブジェクトの近傍で検出されるものであり、例えば、２次元コードなどの空間的なコードパターン、または、所定の規則に従って光が点滅するパターンなどの時系列的なコードパターンである。あるいは、空間的なコードパターンと時系列的なコードパターンとの組み合わせとしてもよい。パターン検出部２１０３は、検出したコードパターンをパターン解析部２１０４に出力する。
パターン解析部２１０４は、パターン検出部２１０３から取得したコードパターンを解析して測位情報を検出する。パターン解析部２１０４は、検出した測位情報を記述子生成部２２に出力する。

次に、この発明の実施の形態１に係る群集監視装置１０の構成について説明する。
図４は、この発明の実施の形態１に係る群集監視装置１０の構成図である。
図４に示すように、群集監視装置１０は、センサデータ受信部１１と、公開データ受信部１２と、パラメータ導出部１３と、群衆状態予測部１４と、警備計画導出部１５と、状態提示部１６と、計画提示部１７とを備える。
パラメータ導出部１３は、群衆パラメータ導出部１３１，１３２，・・・，１３Ｒを有する。
群衆状態予測部１４は、空間群衆状態予測部１４１と、時間群衆状態予測部１４２とを有する。

センサデータ受信部１１は、センサ４０１，４０２，・・・，４０ｐから送信されたセンサデータを受信する。センサデータ受信部１１は、受信したセンサデータをパラメータ導出部１３に出力する。
公開データ受信部１２は、サーバ装置５０１，５０２，・・・，５０ｎから通信ネットワークＮＷ２を介して公開された公開データを受信する。公開データ受信部１２は、受信した公開データをパラメータ導出部１３に出力する。

パラメータ導出部１３は、センサデータ受信部１１から出力されたセンサデータを取得し、取得したセンサデータに基づき、センサ４０１，４０２，・・・，４０ｐで検出された群衆の状態特徴量を示す状態パラメータを導出する。また、パラメータ導出部１３は、公開データ受信部１２から出力された公開データを取得した場合は、センサデータ受信部１１から取得したセンサデータと、公開データ受信部１２から取得した公開データとに基づき、センサ４０１，４０２，・・・，４０ｐで検出された群衆の状態特徴量を示す状態パラメータを導出する。
パラメータ導出部１３の群衆パラメータ導出部１３１，１３２，・・・，１３Ｒは、それぞれ、センサデータ受信部１１から出力されたセンサデータ、あるいは、公開データ受信部１２から出力された公開データを解析して群衆の状態特徴量を示すＲ種（Ｒは３以上の整数）の状態パラメータを導出する。なお、ここでは、図４に示すように、群衆パラメータ導出部１３１〜１３Ｒは、３つ以上としたが、これに限らず、群衆パラメータ導出部は１つまたは２つであってもよい。パラメータ導出部１３は、導出した状態パラメータを、群衆状態予測部１４、警備計画導出部１５、および、状態提示部１６に出力する。

群衆状態予測部１４は、パラメータ導出部１３から出力された、現在または過去の状態パラメータに基づいて、群衆状態を予測する。
群衆状態予測部１４の空間群衆状態予測部１４１は、パラメータ導出部１３から出力された状態パラメータに基づいて、センサが設置されていないエリアの群衆状態を予測する。空間群衆状態予測部１４１は、センサが設置されていないエリアの群衆状態の予測結果を示すデータを、警備計画導出部１５および状態提示部１６に出力する。ここでは、センサが設置されていないエリアの群衆状態の予測結果を示すデータを、「空間予測データ」という。
群衆状態予測部１４の時間群衆状態予測部１４２は、パラメータ導出部１３から出力された状態パラメータに基づき、未来の群衆状態を予測する。時間群衆状態予測部１４２は、未来の群衆状態の予測結果を示すデータを、警備計画導出部１５および状態提示部１６に出力する。ここでは、未来の群衆状態の予測結果を示すデータを、「時間予測データ」という。

警備計画導出部１５は、パラメータ導出部１３から出力された状態パラメータと、群衆状態予測部１４から出力された未来の群衆状態の情報とに基づき、警備計画案を導出する。警備計画導出部１５は、導出した警備計画案の情報を計画提示部１７に出力する。

状態提示部１６は、パラメータ導出部１３から出力された状態パラメータと、群衆状態予測部１４から出力された群衆状態の情報とに基づき、群衆の過去の状態、現在の状態および未来の状態をユーザに分かり易いフォーマットで表す視覚的データまたは音響的データを生成する。なお、現在の状態は、リアルタイムに変化する状態を含む。
また、状態提示部１６は、生成した視覚的データまたは音響的データを外部機器７１，７２に送信し、映像、あるいは、音声として出力させる。

計画提示部１７は、警備計画導出部１５から出力された警備計画案の情報を取得し、取得した情報をユーザに分かり易いフォーマットで表す視覚的データまたは音響的データを生成する。
また、計画提示部１７は、生成した視覚的データまたは音響的データを外部機器７３，７４に送信し、映像、あるいは、音声として出力させる。
なお、ここでは、群集監視装置１０が、公開データ受信部１２を備えるものとしたが、これに限らず、群集監視装置１０は、公開データ受信部１２を備えないものとしてもよい。

動作について説明する。
まず、この実施の形態１の警備支援システム１を構成するセンサ４０１，４０２，・・・，４０ｐが、センサデータを、通信ネットワークＮＷ１を介して群集監視装置１０に送信する動作について説明する。

図５は、実施の形態１において、センサ４０１の動作を説明するフローチャートである。なお、ここでは、センサ４０１の動作を代表して説明し、センサ４０２〜４０ｐの動作については、センサ４０１の動作と同様であるので重複した説明を省略する。

撮像部１０１は、対象エリアを撮像し、撮像した撮像画像の画像データを画像処理装置２０の画像解析部２１に出力する（ステップＳＴ５０１）。
画像解析部２１は、第１画像解析処理を実行する（ステップＳＴ５０２）。

ここで、図６は、図５のステップＳＴ５０２における第１画像解析処理の動作の一例を説明するフローチャートである。
画像解析部２１の復号部２１３は、図５のステップＳＴ５０１で撮像部１０１から出力された画像データを取得し、撮像部１０１で使用された圧縮符号化方式に従い、圧縮された画像データを復号する（ステップＳＴ６０１）。復号部２１３は、復号した画像データを復号データとして画像認識部２１１に出力する。

画像認識部２１１のオブジェクト検出部２１０１は、復号部２１３から取得した復号データで示される単数または複数の入力画像を解析して当該入力画像に現れるオブジェクトを検出する（ステップＳＴ６０２）。具体的には、オブジェクト検出部２１０１は、復号データで示される入力画像と、パターン記憶部２１２に記憶されているパターンとを比較することで、入力画像に現れるオブジェクトを検出する。
ここで、オブジェクト検出部２１０１が検出するオブジェクトの検出対象としては、例えば、信号機もしくは標識などの大きさおよび形状が既知であるオブジェクト、または、自動車、自転車および歩行者などの、動画像内に様々な態様のバリエーションで現れてその平均サイズと既知の平均サイズとが十分な精度で一致するオブジェクトが望ましい。また、当該オブジェクトの画面に対する姿勢および深度情報が検出されてもよい。オブジェクト検出部２１０１は、検出したオブジェクトの情報を、復号部２１３から取得した復号データとともに、スケール推定部２１０２、パターン検出部２１０３に出力する。

画像認識部２１１のスケール推定部２１０２は、ステップＳＴ６０２おいてオブジェクト検出部２１０１が検出したオブジェクトの情報に基づき、オブジェクトの空間的特徴量の推定、すなわち、スケール情報の推定に必要なオブジェクトが検出されたかどうかを判定する（ステップＳＴ６０３）。なお、スケール情報の推定は、「スケール推定」ともいう。「スケール推定」の詳細については後述する。

ステップＳＴ６０３において、スケール推定に必要なオブジェクトが検出されてないと判定した場合（ステップＳＴ６０３の“ＮＯ”の場合）、ステップＳＴ６０１に戻る。このとき、スケール推定部２１０２は、復号部２１３に対して復号指示を出力し、復号部２１３では、当該復号指示を取得すると、撮像部１０１から新たに画像データを取得し、画像データの復号を行う。

ステップＳＴ６０３において、スケール推定に必要なオブジェクトが検出されたと判定した場合（ステップＳＴ６０３の“ＹＥＳ”の場合）、スケール推定部２１０２は、オブジェクト検出部２１０１から取得したオブジェクトについて、スケール推定を行う（ステップＳＴ６０４）。ここでは、一例として、スケール推定部２１０２は、オブジェクトのスケール情報として、１画素当たりの物理寸法を推定するものとする。

オブジェクト検出部２１０１によって、オブジェクトが検出されたとき、スケール推定部２１０２は、オブジェクト検出部２１０１が検出したオブジェクトの情報を取得し、まず、取得したオブジェクトの形状と、パターン記憶部２１２に記憶されているオブジェクトの形状との突き合わせを行い、パターン記憶部２１２に記憶されているオブジェクトのうち、取得したオブジェクトの形状と合致するオブジェクトを特定する。次に、スケール推定部２１０２は、特定したオブジェクトについて、当該オブジェクトと関連付けてパターン記憶部２１２に記憶されている物理量をパターン記憶部２１２から取得する。
そして、スケール推定部２１０２は、取得した物理量と復号データとに基づき、オブジェクト検出部２１０１が検出したオブジェクトのスケール情報を推定する。

具体的には、例えば、復号データで示される入力画像に、円形の標識が、センサ４０１である撮像装置に正対する形で映っており、当該標識の直径は、復号データで示される画像上、１００画素に相当していたとする。また、パターン記憶部２１２には、当該標識の直径０．４ｍという情報が物理量として記憶されているものとする。オブジェクト検出部２１０１は、まず、形状の突き合わせにより、当該標識を検出し、物理量として０．４ｍという値を取得する。
スケール推定部２１０２は、オブジェクト検出部２１０１が検出した標識について、当該標識が、入力画像上１００画素に相当するという情報と、パターン記憶部２１２に記憶された当該標識の直径０．４ｍという情報とに基づき、入力画像上、当該標識のスケールは０．００４ｍ／画素と推定する。

図７は、実施の形態１において、スケール推定部２１０２が、入力画像上のオブジェクトのスケール推定を行った結果のイメージの一例を示す図である。
図７において、復号データで示される入力画像上、すなわち、撮像部１０１が撮像した撮像画像上で、建築物のオブジェクト３０１，３０２，構造物のオブジェクト３０３，背景のオブジェクト３０４が検出されたものとしている。
建築物のオブジェクト３０１のスケール情報は、スケール推定部２１０２によるスケール推定の結果、１ｍ／画素と推定され、他の建築物のオブジェクト３０２のスケール情報は、スケール推定部２１０２によるスケール推定の結果、１０ｍ／画素と推定され、構造物のオブジェクト３０３のスケール情報は、スケール推定部２１０２によるスケール推定の結果、１ｃｍ／画素と推定されたことを示している。また、背景のオブジェクト３０４については、撮像部１０１から背景までの距離は実空間では無限遠とみなされるので、スケール推定部２１０２は、背景のオブジェクト３０４のスケール情報を無限大と推定したことを示している。なお、背景については、パターン記憶部２１２に、予め、寸法情報には無限大とする情報が記憶されているようにすればよい。

また、例えば、オブジェクト検出部２１０１によって検出されたオブジェクトが自動車もしくは歩行者等の地面上を移動する移動体である場合、またはガードレールのような、地面に存在し且つ地面から概ね一定の位置に配置される物である場合には、その種のオブジェクトが存在するエリアは当該移動体が移動可能なエリアであり、かつ、特定の平面上に拘束されているエリアである可能性が高い。よって、スケール推定部２１０２は、その拘束条件に基づいて自動車または歩行者等が移動する平面を検出するとともに、当該自動車または歩行者等のオブジェクトの物理寸法の推定値と、自動車または歩行者等の平均寸法の情報とに基づいて当該平面までの距離を導出することもできる。よって、入力画像に現れる全てのオブジェクトのスケール情報を推定することができない場合でも、オブジェクトが映っている地点のエリア、または、スケール情報を取得する対象として重要な道路などのエリアを特別なセンサ無しで検出することが可能である。

以上のように、復号部２１３、画像認識部２１１のオブジェクト検出部２１０１，スケール推定部２１０２によって、第１画像解析処理を行う。
なお、ここでは、スケール推定に必要なオブジェクトが検出されない場合（ステップＳＴ６０３の“ＮＯ”の場合）、ステップＳＴ６０１に戻り、以降の処理を繰り返すものとしたが、これに限らず、ステップＳＴ６０１に戻り、スケール推定に必要なオブジェクトが検出されたかどうかを判定し（ステップＳＴ６０３）、一定時間が経過してもスケール推定に必要なオブジェクトが検出されないと判定した場合には、すなわち、ステップＳＴ６０１〜ステップＳＴ６０３の処理を繰り返して一定時間が経過した場合には、第１画像解析処理を終了するものとしてもよい。

図５のフローチャートに戻る。
上記第１画像解析処理（ステップＳＴ５０２）の完了後、画像認識部２１１は、第２画像解析処理を実行する（ステップＳＴ５０３）。

ここで、図８は、図５のステップＳＴ５０３における第２画像解析処理の動作の一例を説明するフローチャートである。
パターン検出部２１０３は、復号部２１３から復号データを取得し（図５のステップＳＴ５０１参照）、取得した復号データで示される入力画像を検索して、当該画像からコードパターンを検出する（ステップＳＴ８０１）。
パターン検出部２１０３は、検出したコードパターンの情報をパターン解析部２１０４に出力する。

パターン解析部２１０４は、パターン検出部２１０３から取得したコードパターンの情報に基づき、コードパターンが検出されたかどうかを判定する（ステップＳＴ８０２）。
ステップＳＴ８０２において、コードパターンが検出されなかったと判定した場合（ステップＳＴ８０２の“ＮＯ”の場合）、図５のステップＳＴ５０２へ戻る。
例えば、パターン検出部２１０３は、ステップＳＴ８０１において、コードパターンを検出できなかった場合、コードパターンなしとの情報をパターン解析部２１０４に出力する。この場合、パターン解析部２１０４では、コードパターンが検出されなかったと判定する。

ステップＳＴ８０２において、コードパターンが検出されたと判定した場合（ステップＳＴ８０２の“ＹＥＳ”の場合）、パターン解析部２１０４は、パターン検出部２１０３から取得したコードパターンの情報を解析し、測位情報を推定する（ステップＳＴ８０３）。パターン解析部２１０４は、推定した測位情報を記述子生成部２２に出力する。

図９は、実施の形態１において、パターン解析部２１０４が、図７に例示した入力画像上のコードパターンの解析を行った結果のイメージの一例を示す図である。
図９において、復号データで示される入力画像上、すなわち、撮像部１０１が撮像した撮像画像上で、コードパターンＰＮ１，ＰＮ２，ＰＮ３が検出されたものとしている。
パターン解析部２１０４は、コードパターンＰＮ１，ＰＮ２，ＰＮ３の解析結果として、各コードパターンが示す緯度および経度という絶対的な座標情報を得る。図９において点状に示すコードパターンＰＮ１，ＰＮ２，ＰＮ３は、２次元コードのような空間的なパターン、もしくは光の点滅パターンのような時系列的なパターン、またはこれらの組み合わせである。パターン解析部２１０４は、入力画像に現れるコードパターンＰＮ１，ＰＮ２，ＰＮ３を解析して測位情報を検出する。

図１０は、実施の形態１において、空間的なコードパターンＰＮｘを表示する表示機器４０の一例を示す図である。図１０に示す表示機器４０は、全地球航法衛星システム（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ，ＧＮＳＳ）による航法信号を受信し、この航法信号を基に自己の現在位置を測位してその測位情報を示すコードパターンＰＮｘを表示画面４１に表示する機能を有している。オブジェクトの近傍にこのような表示機器４０が配置されることで、図１１に示されるように、パターン検出部２１０３はコードパターンを検出することができ、パターン解析部２１０４はパターン検出部２１０３が検出したコードパターンに基づきオブジェクトの測位情報を検出することが可能となる。

なお、ＧＮＳＳによる測位情報は、ＧＮＳＳ情報とも呼ばれている。ＧＮＳＳとしては、例えば、米国により運用されるＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、ロシア連邦により運用されるＧＬＯＮＡＳＳ（ＧＬＯｂａｌ ＮＡｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、欧州連合により運用されるＧａｌｉｌｅｏシステム、または日本により運用される準天頂衛星システムを利用することができる。

以上のように、画像認識部２１１のパターン検出部２１０３，パターン解析部２１０４によって、第２画像解析処理を行う。
なお、ここでは、コードパターンが検出されなかったと判定した場合（ステップＳＴ８０２の“ＮＯ”の場合）、図５のステップＳＴ５０２に戻り、以降の処理を繰り返すものとしたが、これに限らず、ステップＳＴ５０２に戻り、コードパターンが検出されたかどうかを判定し（ステップＳＴ８０２）、一定時間が経過してもコードパターンが検出されないと判定した場合には、すなわち、ステップＳＴ５０２〜ステップＳＴ８０２の処理を繰り返して一定時間が経過した場合には、第２画像解析処理を終了するものとしてもよい。

図５のフローチャートに戻る。
上記第２画像解析処理（ステップＳＴ５０３）の完了後、記述子生成部２２は、第１画像処理でスケール推定部２１０２が推定したスケール情報を表わす空間的な記述子（図２に示すＤｓｒ）と、第２画像処理でパターン解析部２１０４が推定した測位情報を表わす地理的な記述子（図２に示すＤｓｒ）とを生成する（ステップＳＴ５０４）。そして、記述子生成部２２は、生成した記述子データと撮像部１０１が撮像した画像データとを関連付けてデータ伝送部１０２に出力する。

データ伝送部１０２は、記述子生成部２２から出力された記述子データと関連付けられた画像データを、群集監視装置１０に送信する。
ここで、データ伝送部１０２により群集監視装置１０に送信される画像データと記述子データとは、群集監視装置１０において格納されるが、その際、双方向的に高速にアクセスすることができる形式で格納されることが好ましい。また、記述子生成部２２は、画像データと記述子データとの対応関係を示すインデックステーブルを作成し、当該テーブルを、データ伝送部１０２に出力し、データ伝送部１０２は、当該テーブルを群集監視装置１０に送信するようにしてもよい。そして、群集監視装置１０では、当該テーブルによってデータベースを構成するようにしてもよい。例えば、記述子生成部２２は、画像データを構成する特定の画像フレームの位置が与えられた場合、その位置に対応する記述子データのデータベース上の記憶位置を高速に特定可能なようにインデックス情報を付加することができる。またその逆のアクセスも容易なようにインデックス情報が作成されてもよい。

画像処理装置２０の制御部（図示省略）は、処理を続行するかどうかを判定する（ステップＳＴ５０６）。具体的には、画像処理装置２０の入力受付部（図示省略）が、画像処理終了の指示を受け付けたかどうかを判定する。
例えば、警備員等のユーザは、対象エリアの監視が必要でなくなり、撮像装置のスイッチをオフした場合等に、画像処理装置２０の入力受付部は、当該情報を画像処理終了の指示として受け付ける。

ステップＳＴ５０６において、処理を続行すると判定した場合（ステップＳＴ５０６の“ＹＥＳ”の場合）、すなわち、入力受付部が画像処理終了の指示を受け付けていない場合、ステップＳＴ５０２に戻り、以降の処理を行う。
これにより、記述子データと関連付けられた画像データの、群集監視装置１０への送信が続行される。

ステップＳＴ５０６において、処理を続行しないと判定した場合（ステップＳＴ５０６の“ＮＯ”の場合）、すなわち、入力受付部が画像処理終了の指示を受け付けた場合、処理を終了する。

ここで、図５のステップＳＴ５０４において記述子生成部２２が生成する、空間的な記述子および地理的な記述子について、例をあげて詳細に説明する。
図１２および図１３は、実施の形態１において、空間的な記述子のフォーマットの例を示す図である。
図１２および図１３の例では、撮像部１０１が撮像した撮像画像を空間的に格子状に分割して得られる各グリッドに対する記述子が示されている。図１２に示されるように、フラグ「ＳｃａｌｅＩｎｆｏＰｒｅｓｅｎｔ」は、検出されたオブジェクトのサイズと当該オブジェクトの物理量とをひもづけるスケール情報が存在するかどうかを示すフラグである。撮像画像は、空間方向において複数の画像領域すなわちグリッドに分割される。
「ＧｒｉｄＮｕｍＸ」は、オブジェクトの特徴を表す画像領域特徴が存在するグリッドの縦方向の個数を示し、「ＧｒｉｄＮｕｍＹ」は、オブジェクトの特徴を表す画像領域特徴が存在するグリッドの横方向の個数を示している。「ＧｒｉｄＲｅｇｉｏｎＦｅａｔｕｒｅＤｅｓｃｒｉｐｔｏｒ（ｉ，ｊ）」は、各グリッドのオブジェクトの部分的特徴、すなわち、グリッド内特徴を表す記述子である。

図１３は、図１２に示す記述子「ＧｒｉｄＲｅｇｉｏｎＦｅａｔｕｒｅＤｅｓｃｒｉｐｔｏｒ（ｉ，ｊ）」の内容を示す図である。図１３を参照すると、「ＳｃａｌｅＩｎｆｏＰｒｅｓｅｎｔＯｖｅｒｒｉｄｅ」は、スケール情報が存在するかどうかをグリッド別、すなわち、領域別に示すフラグである。
「ＳｃａｌｉｎｇＩｎｆｏ［ｉ］［ｊ］」は、（ｉ，ｊ）番目のグリッド（ｉは、グリッドの縦方向の番号；ｊは、グリッドの横方向の番号）において存在するスケール情報を示すパラメータである。このように、スケール情報は、撮像画像に現れるオブジェクトの各グリッドに対して定義付け可能である。なお、スケール情報が取得できない、またはスケール情報が不要である領域も存在するため、「ＳｃａｌｅＩｎｆｏＰｒｅｓｅｎｔＯｖｅｒｒｉｄｅ」というパラメータによりグリッド単位で記述するかどうかを指定することができる。

次に、図１４および図１５は、実施の形態１において、ＧＮＳＳ情報の記述子、すなわち、地理的な記述子のフォーマットの例を示す図である。
図１４を参照すると、「ＧＮＳＳＩｎｆｏＰｒｅｓｅｎｔ」は、ＧＮＳＳ情報として測位された位置情報が存在するかどうかを示すフラグである。
「ＮｕｍＧＮＳＳＩｎｆｏ」は、位置情報の個数を示すパラメータである。
「ＧＮＳＳＩｎｆｏＤｅｓｃｒｉｐｔｏｒ（ｉ）」は、ｉ番目の位置情報の記述子である。位置情報は、入力画像中の点領域により定義されるため、位置情報の個数はパラメータ「ＮｕｍＧＮＳＳＩｎｆｏ」を通じて送られた後に、その個数分だけのＧＮＳＳ情報記述子「ＧＮＳＳＩｎｆｏＤｅｓｃｒｉｐｔｏｒ（ｉ）」が記述される。

図１５は、図１４に示す記述子「ＧＮＳＳＩｎｆｏＤｅｓｃｒｉｐｔｏｒ（ｉ）」の内容を示す図である。図１５を参照すると、「ＧＮＳＳＩｎｆｏＴｙｐｅ［ｉ］」は、ｉ番目の位置情報の種別を表すパラメータである。位置情報としては、ＧＮＳＳＩｎｆｏＴｙｐｅ［ｉ］＝０の場合のオブジェクトの位置情報と、ＧＮＳＳＩｎｆｏＴｙｐｅ［ｉ］＝１の場合のオブジェクト以外の位置情報とを記述することができる。オブジェクトの位置情報については、「Ｏｂｊｅｃｔ［ｉ］」は、位置情報を定義するためのオブジェクトのＩＤ（識別子）である。また、各オブジェクトについて、緯度を示す「ＧＮＳＳＩｎｆｏ＿Ｌａｔｉｔｕｄｅ［ｉ］」と、経度を示す「ＧＮＳＳＩｎｆｏ＿ｌｏｎｇｉｔｕｄｅ［ｉ］」とが記述される。

一方、オブジェクト以外の位置情報については、図１５に示される「ＧｒｏｕｎｄＳｕｒｆａｃｅＩＤ［ｉ］」は、ＧＮＳＳ情報として測位された位置情報が定義される仮想的な地平面のＩＤ（識別子）であり、「ＧＮＳＳＩｎｆｏＬｏｃＩｎＩｍａｇｅ＿Ｘ［ｉ］」は、位置情報が定義される画像内の横方向の位置を示すパラメータであり、「ＧＮＳＳＩｎｆｏＬｏｃＩｎＩｍａｇｅ＿Ｙ［ｉ］」は、位置情報が定義される画像内の縦方向の位置を示すパラメータである。各地平面について、緯度を示す「ＧＮＳＳＩｎｆｏ＿Ｌａｔｉｔｕｄｅ［ｉ］」と、経度を示す「ＧＮＳＳＩｎｆｏ＿ｌｏｎｇｉｔｕｄｅ［ｉ］」とが記述される。位置情報は、オブジェクトが特定の平面に拘束されている場合に、その画面上に映った当該平面を地図上にマッピングすることができる情報である。このため、ＧＮＳＳ情報が存在する仮想的な地平面のＩＤが記述される。また、画像内に映ったオブジェクトに対してＧＮＳＳ情報を記述することも可能となっている。これは、ランドマークなどの検索のためにＧＮＳＳ情報を用いる用途を想定したものである。

なお、図１２〜図１５に示した記述子は例であり、これらに任意の情報の追加または削除、およびその順序または構成の変更が可能である。

以上に説明したように実施の形態１の警備支援システム１を構成するセンサ４０１，４０２，・・・，４０ｐでは、撮像画像に現れるオブジェクトの空間的な記述子を画像データと関連付けて、当該画像データを群集監視装置１０に送信することができる。群集監視装置１０では、空間的な記述子を検索対象として利用することにより、複数の撮像画像に現れる、空間的または時空間的に近い関係にある複数のオブジェクト間の対応付けを高い確度で且つ低処理負荷で行うことが可能となる。よって、例えば、複数台のセンサ４０１，４０２，・・・，４０ｐが異なる方向から同一対象エリアを撮像した場合でも、センサ４０１，４０２，・・・，４０ｐから送信される記述子間の類似度の計算により、センサ４０１，４０２，・・・，４０ｐの撮像画像に現れる複数のオブジェクト間の対応付けを高い確度で行うことができる。すなわち、様々な方向から撮像された撮像画像のうち、どのような撮像画像であっても、１つの撮像画像内の複数のオブジェクト間の関係を把握することができる。つまり、１つの撮像画像内の複数のオブジェクトを、オブジェクト群として検出することができる。

また、この実施の形態１では、センサ４０１，４０２，・・・，４０ｐは、上述したように、撮像画像に現れるオブジェクトの地理的な記述子も画像データと関連付けて群集監視装置１０に送信することができる。群集監視装置１０では、空間的な記述子とともに地理的な記述子を検索対象として利用することにより、複数の撮像画像に現れる複数のオブジェクト間の対応付けを更に高い確度で、かつ、低処理負荷で行うことが可能となる。

したがって、センサ４０１，４０２，・・・，４０ｐが撮像装置である場合、センサ４０１，４０２，・・・，４０ｐに画像処理装置２０を搭載することで、群集監視装置１０では、例えば、特定物体の自動認識、３次元マップの作成または画像検索を効率的に行うことができる。

次に、この実施の形態１に係る群集監視装置１０の動作について説明する。
図１６は、この発明の実施の形態１に係る群集監視装置１０の動作を説明するフローチャートである。
センサデータ受信部１１は、センサ４０１，４０２，・・・，４０ｐから配信されたセンサデータを受信する（ステップＳＴ１６０１）。ここでは、センサ４０１，４０２，・・・，４０ｐは、図２に示したような撮像装置であるものとしているので、センサデータ受信部１１は、センサデータとして、撮像装置によって撮像された、記述子と対応付けられている画像データを取得する。センサデータ受信部１１は、受信したセンサデータをパラメータ導出部１３に出力する。

公開データ受信部１２は、サーバ装置５０１，５０２，・・・，５０ｎから通信ネットワークＮＷ２を介して公開された公開データを受信する（ステップＳＴ１６０２）。公開データ受信部１２は、受信した公開データをパラメータ導出部１３に出力する。

パラメータ導出部１３は、ステップＳＴ１６０１においてセンサデータ受信部１１から出力されたセンサデータと、ステップＳＴ１６０２において公開データ受信部１２から出力された公開データとを取得し、取得したセンサデータと公開データとに基づき、センサ４０１，４０２，・・・，４０ｐで検出された群衆の状態特徴量を示す状態パラメータを導出する（ステップＳＴ１６０３）。ここでは、センサ４０１，４０２，・・・，４０ｐは、図２に示したような撮像装置であり、上述したように、撮像画像を解析して当該撮像画像に現れるオブジェクト群を検出し、当該検出されたオブジェクト群の空間的、地理的な特徴量を示す記述子データを群集監視装置１０に送信する。なお、このとき、付加的に、視覚的な特徴量を示す記述子データも送信される。
ステップＳＴ１６０３の動作について、具体的には、パラメータ導出部１３の群衆パラメータ導出部１３１，１３２，・・・，１３Ｒが、それぞれ、センサデータ受信部１１から出力されたセンサデータと、公開データ受信部１２から出力された公開データを解析して群衆の状態特徴量を示すＲ種（Ｒは３以上の整数）の状態パラメータを導出する。パラメータ導出部１３は、導出した状態パラメータを、群衆状態予測部１４、警備計画導出部１５、および、状態提示部１６に出力する。
なお、ここでは、群集監視装置１０が公開データ受信部１２を備え、パラメータ導出部１３は、公開データ受信部１２が受信した公開データも用いて状態パラメータを導出するものとしたが、群集監視装置１０は、公開データ受信部１２を備えないものとしてもよい。その場合、パラメータ導出部１３は、センサデータ受信部１１から出力されたセンサデータから、状態パラメータを導出する。

ここで、パラメータ導出部１３、すなわち、群衆パラメータ導出部１３１，１３２，・・・，１３Ｒが導出する状態パラメータについて、詳細に説明する。
状態パラメータの種類としては、例えば、「群衆領域」、「群衆行動の種類」、「群衆密度」、「群衆の移動方向および速度」、「流量」、「特定人物の抽出結果」および「特定カテゴリ人物の抽出結果」が挙げられる。

「群衆領域」は、例えば、センサ４０１，４０２，・・・，４０ｐの対象エリア内に存在する群衆の領域を特定する情報である。
図１７に示すように、群衆パラメータ導出部１３１，１３２，・・・，１３Ｒは、撮像画像内のオブジェクト群の動きの特徴をクラスタリングし、クラスタリングされた領域内の動きの状態からオブジェクト群が群衆であるか、車両の流れであるかなどを判定し、群衆の領域を特定する。

また、群衆パラメータ導出部１３１，１３２，・・・，１３Ｒは、群衆であると判断された領域のオブジェクト群に対しては「群衆行動の種類」を特定する。「群衆行動の種類」としては、例えば、群衆が一方向に流れる「一方向流」、対向方向の流れがすれ違う「対向流」、その場に留まる「滞留」が挙げられる。また、「滞留」も、群衆密度が高過ぎることにより当該群衆が動けなくなった状態などを示す「制御されていない滞留」、および、当該群衆が主催者の指示に従って立ち止まったことにより発生する「制御された滞留」のような種類に分類可能である。

また、群衆パラメータ導出部１３１，１３２，・・・，１３Ｒは、「群衆行動の種類」が「一方向流」または「対向流」と判断されたオブジェクト群に対しては「流量」を算出する。「流量」は、例えば、所定の領域を通過した人数の単位時間当たりの値に当該領域の長さを乗算して得られる値（単位：人数・ｍ／ｓ）として定義される。

「特定人物の抽出結果」は、センサ４０１，４０２，・・・，４０ｐの対象エリア内に特定人物が存在するか否かを示す情報、および、特定人物が存在する場合に、その特定人物を追跡した結果得られる軌跡の情報である。この種の情報は、警備支援システム１全体のセンシング範囲内に探索対象である特定人物が存在するかどうかを示す情報を作成するために利用可能であり、例えば、迷子の探索に有用な情報である。

「特定カテゴリ人物の抽出結果」は、センサ４０１，４０２，・・・，４０ｐの対象エリア内に、特定カテゴリに属する人物が存在するか否かを示す情報、および、特定カテゴリに属する人物が存在する場合に、その特定人物を追跡した結果得られる軌跡の情報である。ここで、特定カテゴリに属する人物とは、例えば、幼児、高齢者、車いす使用者および白杖使用者等の「特定の年齢および性別の人物」、「交通弱者」、および、「危険行動をとる人物または集団」等が挙げられる。この種の情報は、当該群衆に対する特別な警備体制の要否を判断するのに有用な情報である。

また、群集監視装置１０が公開データ受信部１２を備え、公開データ受信部１２が公開データを取得する場合には、群衆パラメータ導出部１３１，１３２，・・・，１３Ｒは、サーバ装置５０１，５０２，・・・，５０ｎから提供される公開データに基づいて、「主観的な混雑度」、「主観的な快適性」、「トラブル発生状況」、「交通情報」および「気象情報」などの状態パラメータを導出することもできる。

群衆パラメータ導出部１３１，１３２，・・・，１３Ｒは、上記したような状態パラメータを、単一のセンサから得られるセンサデータに基づいて導出してもよいし、あるいは、複数台のセンサから得られる複数のセンサデータを統合して利用することにより導出してもよい。また、複数台のセンサから得られるセンサデータを利用する場合には、状態パラメータを導出するためのセンサデータを送信するセンサは、同一種類のセンサからなるセンサ群であってもよいし、あるいは、異なる種類のセンサが混在したセンサ群であってもよい。群衆パラメータ導出部１３１，１３２，・・・，１３Ｒは、複数のセンサデータを統合して利用する場合は、単一のセンサデータを利用する場合よりも、高精度な状態パラメータの導出を期待することができる。

図１６のフローチャートに戻る。
群衆状態予測部１４は、ステップＳＴ１６０３においてパラメータ導出部１３から出力された、現在または過去の状態パラメータに基づいて、群衆状態を予測する（ステップＳＴ１６０４）。
具体的には、空間群衆状態予測部１４１は、パラメータ導出部１３から出力された状態パラメータ群に基づいて、センサが設置されていないエリアの群衆状態を予測し、「空間予測データ」を作成して、警備計画導出部１５および状態提示部１６に出力する。
また、時間群衆状態予測部１４２は、パラメータ導出部１３から出力された状態パラメータに基づき、未来の群衆状態を予測し、「時間予測データ」を作成して、警備計画導出部１５および状態提示部１６に出力する。
時間群衆状態予測部１４２は、センサが設置されていないエリアの群衆の状態、あるいは、未来の群衆状態を定める様々な情報を推定することが可能である。例えば、パラメータ導出部１３で導出される状態パラメータと同種のパラメータの未来の値を「時間予測データ」として作成することができる。なお、どの程度先の未来の群衆状態を予測することができるかは、警備支援システム１のシステム要件に応じて任意に定義可能である。同様に、空間群衆状態予測部１４１は、センサが設置されていないエリアの群衆状態について、パラメータ導出部１３で導出される状態パラメータと同種のパラメータの値を「空間予測データ」として算出することができる。

図１８は、実施の形態１において、群衆状態予測部１４の時間群衆状態予測部１４２が、未来の群衆状態を予測し、「時間予測データ」を作成する方法の一例を説明する図である。
図１８に示すように、歩行者経路ＰＡＴＨにおける対象エリアＰＴ１，ＰＴ２，ＰＴ３にそれぞれセンサ４０１，４０２，・・・，４０ｐのいずれかが配置されているものとする。群衆は、対象エリアＰＴ１，ＰＴ２から対象エリアＰＴ３に向けて移動している。
パラメータ導出部１３は、対象エリアＰＴ１，ＰＴ２それぞれの群衆の流量（単位：人数・ｍ／ｓ）を導出し、これら流量を状態パラメータ値として群衆状態予測部１４に出力する。時間群衆状態予測部１４２は、パラメータ導出部１３から取得した流量に基づいて、群衆が向かうであろう対象エリアＰＴ３の流量の予測値を導出する。例えば、時刻Ｔ_１での対象エリアＰＴ１，ＰＴ２の群衆が図１８に示す矢印ａ方向に移動しており、対象エリアＰＴ１，ＰＴ２の各々の流量がＦであったとする。このとき、時間群衆状態予測部１４２は、群衆の移動速度が今後も不変であるという群衆挙動モデルを仮定し、かつ、対象エリアＰＴ１、ＰＴ２から対象エリアＰＴ３までの群衆の移動時間が共にｔである場合、未来の時刻Ｔ＋ｔでの対象エリアＰＴ３の流量を２×Ｆと予測する。そして、時間群衆状態予測部１４２は、未来の時刻Ｔ＋ｔでの対象エリアＰＴ３の流量２×Ｆのデータを「時間予測データ」として作成する。

図１６のフローチャートに戻る。
警備計画導出部１５は、ステップＳＴ１６０３においてパラメータ導出部１３から出力された状態パラメータと、ステップＳＴ１６０４において群衆状態予測部１４から出力された未来の群衆状態の情報、すなわち、「時間予測データ」および「空間予測データ」とに基づき、警備計画案を導出する（ステップＳＴ１６０５）。警備計画導出部１５は、導出した警備計画案の情報を計画提示部１７に出力する。

具体的には、例えば、状態パラメータと予測状態データの典型的なパターンと、当該典型的なパターンに対応する警備計画案のデータベースを予め作成して記憶しておくようにし警備計画導出部１５は、当該データベースを用いて警備計画案を導出する。
例えば、警備計画導出部１５は、パラメータ導出部１３および群衆状態予測部１４から、或る対象エリアが「危険状態」にあることを示す状態パラメータ群および予測状態データを取得した場合、データベース上、「危険状態」であるという状態パラメータと、取得した予測状態データと合致する予測状態データとに対応付けられた警備計画案が、「対象エリアにおける群衆の滞留を整理するための警備員の派遣または警備員の増員を提案する」ものであれば、「危険状態」にある、或る対象エリアにおける群衆の滞留を整理するための警備員の派遣または警備員の増員を提案する警備計画案を導出する。
この実施の形態１では、「危険状態」としては、例えば、群衆の「制御されていない滞留」もしくは「危険行動をとる人物または集団」を検知した状態、または、「群衆密度」が許容値を超えた状態があげられる。

状態提示部１６は、ステップＳＴ１６０３においてパラメータ導出部１３から出力された状態パラメータと、ステップＳＴ１６０４において群衆状態予測部１４から出力された群衆状態の情報、すなわち、「時間予測データ」および「空間予測データ」とに基づき、とに基づき、群衆の過去の状態、現在の状態および未来の状態をユーザに分かり易いフォーマットで表す視覚的データまたは音響的データを生成する（ステップＳＴ１６０６）。なお、ここでは、ユーザに分かり易いフォーマットで表わす視覚的データとは、例えば、映像および文字情報であり、ユーザに分かり易いフォーマットで表わす音響的データとは、例えば、音声情報である。
状態提示部１６は、生成した視覚的データまたは音響的データを外部機器７１，７２に送信し、外部機器７１，７２から映像、あるいは、音声として出力させる。
外部機器７１，７２は、状態提示部１６から出力された視覚的データまたは音響的データを受信し、映像、文字、および、音声として、出力部（図示省略）から出力する。出力部とは、例えば、ディスプレイ等の表示装置、あるいは、スピーカ等の音声出力装置等である。

図１９Ａ，図１９Ｂは、状態提示部１６が生成した視覚的データを、外部機器７１，７２の表示装置に表示させたイメージの一例を説明する図である。
図１９Ｂには、センシング範囲を表す地図情報Ｍ４が表示されている。この地図情報Ｍ４には、道路網ＲＤと、対象エリアＡＲ１，ＡＲ２，ＡＲ３をそれぞれセンシングするセンサＳＮＲ_１，ＳＮＲ_２，ＳＮＲ_３と、監視対象の特定人物ＰＥＤと、当該特定人物ＰＥＤの移動軌跡（図１９上黒矢印線で示す）とが示されている。
図１９Ａには、対象エリアＡＲ１の映像情報Ｍ１、対象エリアＡＲ２の映像情報Ｍ２、および対象エリアＡＲ３の映像情報Ｍ３がそれぞれ示されている。
図１９Ｂに示されるように、特定人物ＰＥＤは対象エリアＡＲ１，ＡＲ２，ＡＲ３をまたがって移動している。このため、仮にユーザが映像情報Ｍ１，Ｍ２，Ｍ３だけを見たとすれば、センサＳＮＲ_１，ＳＮＲ_２，ＳＮＲ_３の配置を理解していない限り、地図上で特定人物ＰＥＤがどのような経路で移動したのかを把握することが困難である。
そこで、状態提示部１６は、センサＳＮＲ_１，ＳＮＲ_２，ＳＮＲ_３の位置情報に基づき、映像情報Ｍ１，Ｍ２，Ｍ３に現れる状態を図１９Ｂの地図情報Ｍ４にマッピングして提示する視覚的データを生成する。このように地図形式で対象エリアＡＲ１，ＡＲ２，ＡＲ３の状態をマッピングして提示する視覚的データを生成し、外部機器７１，７２の表示装置に表示させるようにすることで、特定人物ＰＥＤの移動経路をユーザが直感的に理解することが可能となる。

図２０Ａ，図２０Ｂは、状態提示部１６が生成した視覚的データを、外部機器７１，７２の表示装置に表示させたイメージの他の一例を説明する図である。
図２０Ｂには、センシング範囲を表す地図情報Ｍ８が表示されている。この地図情報Ｍ８には、道路網と、対象エリアＡＲ１，ＡＲ２，ＡＲ３をそれぞれセンシングするセンサＳＮＲ_１，ＳＮＲ_２，ＳＮＲ_３と、監視対象の群衆密度を表す濃度分布情報とが示されている。
図２０Ａには、対象エリアＡＲ１における群衆密度を濃度分布で表す地図情報Ｍ５、対象エリアＡＲ２における群衆密度を濃度分布で表す地図情報Ｍ６、および、対象エリアＡＲ３における群衆密度を濃度分布で表す地図情報Ｍ７がそれぞれ示されている。この例では、地図情報Ｍ５，Ｍ６，Ｍ７で示される画像における格子内の色が明るいほど密度が高く、暗いほど密度が低いことを示している。この場合も、状態提示部１６は、センサＳＮＲ_１，ＳＮＲ_２，ＳＮＲ_３の位置情報に基づき、対象エリアＡＲ１，ＡＲ２，ＡＲ３のセンシング結果を図２０Ｂの地図情報Ｍ８にマッピングして提示する視覚的データを生成する。これにより、ユーザは、群衆密度の分布を直感的に理解することが可能となる。

上記の例以外にも、状態提示部１６は、例えば、状態パラメータの値の時間推移をグラフ形式で示す視覚的データ、「危険状態」の発生をアイコン画像で知らせる視覚的データ、「危険状態」の発生を警告音で知らせる音響的データ、サーバ装置５０１，５０２，・・・，５０ｎから取得された公開データをタイムライン形式で示す視覚的データを生成し、外部機器７１，７２から出力させることが可能である。

また、状態提示部１６は、群衆状態予測部１４から出力された未来の群衆状態の時間予測データに基づき、群衆の未来の状態を表す視覚的データを生成し、外部機器７１，７２に出力させることもできる。
図２１は、実施の形態１において、状態提示部１６が生成した視覚的データを、外部機器７１，７２の表示装置に表示させたイメージの、さらに他の一例を説明する図である。
図２１は、画像ウィンドウＷ１と画像ウィンドウＷ２とが並列に配置された画像情報Ｍ１０を示している。図２１上、右側の画像ウィンドウＷ２には、左側の画像ウィンドウＷ１に表示される情報よりも時間的に先の群衆状態として未来の群衆状態の情報が表示されている。

一方、図２１上、左側の画像ウィンドウＷ１には、状態提示部１６が、パラメータ導出部１３から出力された状態パラメータに基づき生成した、過去の群衆状態、現在の群衆状態を表す視覚的データが表示されている。
ユーザは、外部機器７１，７２のＧＵＩ（グラフィカル・ユーザ・インタフェース）を通じてスライダＳＬＤ１の位置を調整することで、現在または過去の指定時刻における群衆状態を画像ウィンドウＷ１に表示させることが可能である。図２１に示す例では、指定時刻はゼロに設定されているので、画像ウィンドウＷ１には、現在の群衆状態がリアルタイムに表示され、かつ「ＬＩＶＥ」の文字タイトルが表示されている。
他方の画像ウィンドウＷ２には、上述のとおり、未来の群衆状態の情報が表示されている。

ユーザは、ＧＵＩを通じてスライダＳＬＤ２の位置を調整することで、未来の指定時刻における群衆状態を画像ウィンドウＷ２に表示させることが可能である。具体的には、例えば、ユーザからのスライダＳＬＤ２操作を外部機器７１，７２が受け付けると、状態提示部１６は、当該受け付けた操作情報を取得し、操作情報に基づき、スライダＳＬＤ２操作によって指定された時刻における状態パラメータの値を表す視覚的データを作成し、外部機器７１，７２の表示装置に表示させるようにする。図２１に示す例では、指定時刻は１０分後に設定されているので、画像ウィンドウＷ２には、１０分後の状態が示されており、「ＰＲＥＤＩＣＴＩＯＮ」の文字タイトルが表示されている。すなわち、状態提示部１６は、１０分後の状態パラメータの値を表す視覚的データを作成し、表示させている。なお、画像ウィンドウＷ１，Ｗ２に表示される状態パラメータの種類および表示フォーマットは、互いに同じものである。

このように、状態提示部１６が、パラメータ導出部１３から出力された状態パラメータと、群衆状態予測部１４から出力された未来の群衆状態の情報とに基づき、過去の群衆状態、現在の群衆状態および未来の群衆状態を表す視覚的データを生成し、外部機器７１，７２に表示させるようにしたので、ユーザは、外部機器７１，７２の表示装置に表示された情報を確認することで、現在の状態と、現在の状態が変化している様子とを直感的に理解することができる。

なお、図２１では、画像ウィンドウＷ１と画像ウィンドウＷ２は、別ウィンドウとした例を示したが、これに限らず、画像ウィンドウＷ１，Ｗ２を統合して単一の画像ウィンドウを構成し、状態提示部１６は、この単一の画像ウィンドウ内に、過去、現在または未来の状態パラメータの値を表す視覚的データを表示させるようにしてもよい。この場合、ユーザがスライダで指定時刻を切り替えることで、当該指定時刻における状態パラメータの値をユーザが確認できるように状態提示部１６を構成することが望ましい。具体的には、例えば、ユーザからの時刻指定を外部機器７１，７２が受け付けると、状態提示部１６は、当該受け付けた情報を取得し、指定時刻における状態パラメータの値を表す視覚的データを作成し、外部機器７１，７２の表示装置に表示させるようにする。

図１６のフローチャートに戻る。
計画提示部１７は、ステップＳＴ１６０５において警備計画導出部１５から出力された警備計画案の情報を取得し、取得した情報を、ユーザに分かり易いフォーマットで表す視覚的データまたは音響的データを生成する（ステップＳＴ１６０７）。なお、ユーザに分かり易いフォーマットで表わす視覚的データとは、例えば、映像および文字情報であり、ユーザに分かり易いフォーマットで表わす音響的データとは、例えば、音声情報である。
また、計画提示部１７は、生成した視覚的データまたは音響的データを外部機器７３，７４に送信し、映像、あるいは、音声として出力させる。
外部機器７３，７４は、計画提示部１７から出力された視覚的データまたは音響的データを受信し、映像、文字、および、音声として、出力部（図示省略）から出力する。出力部とは、例えば、ディスプレイ等の表示装置、あるいは、スピーカ等の音声出力装置等である。

警備計画の提示方法としては、例えば、全ユーザに対して同じ内容の警備計画を提示する方法、特定の対象エリアのユーザに対して対象エリア個別の警備計画を提示する方法、または、個人ごとに個別の警備計画を提示する方法をとることができる。
すなわち、計画提示部１７は、取得した警備計画案の情報を、全外部機器７３，７４にそのまま出力させるようにしてもよいし、例えば、外部機器７３，７４ごとに出力対象とする警備計画案の種類を予め設定しておき、計画提示部１７は、当該予め設定された種類に基づき、取得した警備計画案の情報を出力させる外部機器７３，７４を制御するようにしてもよい。また、例えば、外部機器７３，７４を所有するユーザＩＤと、当該ユーザに提供する警備計画を予め設定しておき、計画提示部１７は、当該予め設定された情報に基づき、取得した警備計画案の情報を出力させる外部機器７３，７４を制御するようにしてもよい。

なお、計画提示部１７は、警備計画案を表わす視覚的データ等を外部機器７３，７４に出力させる際は、ユーザが提示されたことを即時に認識することができるように、例えば、外部機器７３，７４から音を出力させる、あるいは、外部機器７３，７４が携帯端末等持ち運び可能な機器であれば、振動させることにより、能動的にユーザに通知し得る音響的データ等をあわせて生成することが望ましい。

以上のように、群集監視装置１０は、センサ４０１，４０２，・・・，４０ｐとしての撮像装置から取得した映像データに基づいて予測した状態に基づき、過去、現在および未来の群衆状態を示す情報と適切な警備計画とを警備支援に有用な情報として外部機器７０に出力させる。

なお、以上の説明では、警備計画導出部１５が、警備計画案を導出するものとしたが、これに限らず、例えば、状態提示部１６が、外部機器７１，７２に出力させた、過去の群衆状態、現在の群衆状態および未来の群衆状態を表す視覚的データまたは音響的データを、ユーザである警備計画担当者が確認できる場合には、警備計画担当者が、外部機器７１，７２に出力されている情報に基づき、警備計画案を自ら作成することも可能である。

また、以上の説明では、ステップＳＴ１６０１、ステップＳＴ１６０２の順で処理を行うものとしたが、これに限らず、ステップＳＴ１６０１とステップＳＴ１６０２の処理は逆の順番で行っても、同時に行うものとしてもよい。
また、以上の説明では、ステップＳＴ１６０４、ステップＳＴ１６０５の順で処理を行うものとしたが、これに限らず、ステップＳＴ１６０４とステップＳＴ１６０５の処理は逆の順番で行っても、同時に行うものとしてもよい。
また、以上の説明では、ステップＳＴ１６０６、ステップＳＴ１６０７の順で処理を行うものとしたが、これに限らず、ステップＳＴ１６０６とステップＳＴ１６０７の処理は逆の順番で行っても、同時に行うものとしてもよい。

図２２Ａ，図２２Ｂは、この発明の実施の形態１に係る群集監視装置１０のハードウェア構成の一例を示す図である。
この発明の実施の形態１において、パラメータ導出部１３と、群衆状態予測部１４と、警備計画導出部１５と、状態提示部１６と、計画提示部１７の各機能は、処理回路２２０１により実現される。すなわち、群集監視装置１０は、受信したセンサデータと公開データとに基づき、対象エリアの群衆の状態を予測し、予測した状態を出力させるデータ、あるいは、予測した状態に基づく警備計画のデータの作成の制御を行うための処理回路２２０１を備える。
処理回路２２０１は、図２２Ａに示すように専用のハードウェアであっても、図２２Ｂに示すようにメモリ２２０４に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２０６であってもよい。

処理回路２２０１が専用のハードウェアである場合、処理回路２２０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路２２０１がＣＰＵ２２０５の場合、パラメータ導出部１３と、群衆状態予測部１４と、警備計画導出部１５と、状態提示部１６と、計画提示部１７の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、パラメータ導出部１３と、群衆状態予測部１４と、警備計画導出部１５と、状態提示部１６と、計画提示部１７は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２２０２、メモリ２２０４等に記憶されたプログラムを実行するＣＰＵ２２０５、システムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ２２０２、メモリ２２０４等に記憶されたプログラムは、パラメータ導出部１３と、群衆状態予測部１４と、警備計画導出部１５と、状態提示部１６と、計画提示部１７の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ２２０４とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、パラメータ導出部１３と、群衆状態予測部１４と、警備計画導出部１５と、状態提示部１６と、計画提示部１７の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、パラメータ導出部１３については専用のハードウェアとしての処理回路２２０１でその機能を実現し、群衆状態予測部１４と、警備計画導出部１５と、状態提示部１６と、計画提示部１７については処理回路がメモリ２２０４に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
公開データ受信部１２、センサデータ受信部１１は、センサ４０１，４０２，・・・，４０ｐ、サーバ装置５０１，５０２，・・・，５０ｎ等の外部機器との通信を行う入力インタフェース装置２２０３である。

図２３Ａ，図２３Ｂは、この発明の実施の形態１の画像処理装置２０のハードウェア構成の一例を示す図である。
この発明の実施の形態１において、画像解析部２１と記述子生成部２２の各機能は、処理回路２３０１により実現される。すなわち、画像処理装置２０は、撮像装置が撮像した画像データを取得し、当該画像データを解析して記述子を生成する作成制御を行うための処理回路２３０１を備える。
処理回路２３０１は、図２３Ａに示すように専用のハードウェアであっても、図２３Ｂに示すようにメモリ２３０３に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２３０６であってもよい。

処理回路２３０１が専用のハードウェアである場合、処理回路２３０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路２３０１がＣＰＵ２３０４の場合、画像解析部２１と記述子生成部２２の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、画像解析部２１と記述子生成部２２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２３０２、メモリ２３０３等に記憶されたプログラムを実行するＣＰＵ２３０４、システムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ２３０２、メモリ２３０３等に記憶されたプログラムは、画像解析部２１と記述子生成部２２の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ２２０４とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、画像解析部２１と記述子生成部２２の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、画像解析部２１については専用のハードウェアとしての処理回路２３０１でその機能を実現し、記述子生成部２２については処理回路がメモリ２３０３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、画像処理装置２０は、撮像画像を受け付ける入力インタフェース装置と、記述子の情報を出力する出力インタフェース装置を備える。

なお、この実施の形態１の警備支援システム１において、パラメータ導出部１３、群衆状態予測部１４、警備計画導出部１５、状態提示部１６、および、計画提示部１７は、図４に示したように単一の群集監視装置１０内に包含されているものとしたが、これに限定されるものではない。パラメータ導出部１３、群衆状態予測部１４、警備計画導出部１５、状態提示部１６、および、計画提示部１７を複数の装置内に分散配置することで警備支援システムを構成してもよい。この場合、これら複数の機能ブロックは、有線ＬＡＮもしくは無線ＬＡＮなどの構内通信網、拠点間を結ぶ専用回線網、またはインターネットなどの広域通信網を通じて相互に接続されていればよい。

また、この実施の形態１の警備支援システム１では、センサ４０１，４０２，・・・，４０ｐのセンシング範囲の位置情報が重要である。例えば、群衆状態予測部１４に入力される流量などの状態パラメータは、どの位置に基づいて取得されたものであるかが重要である。また、状態提示部１６において、図２０Ａ，図２０Ｂおよび図２１に示したような地図上へのマッピングを行う場合も、状態パラメータの位置情報が必須となる。

また、この実施の形態１の警備支援システム１は、大規模イベントの開催に応じて一時的且つ短期間のうちに構成する場合が想定される。この場合、大量のセンサ４０１，４０２，・・・，４０ｐを短期間のうちに設置し、かつ、センシング範囲の位置情報を取得する必要がある。よって、センシング範囲の位置情報は容易に取得されることが望ましい。

センシング範囲の位置情報を容易に取得する手段としては、画像処理装置２０が生成し、データ伝送部１０２を介して送信される空間的および地理的な記述子を用いることが可能である。光学カメラまたはステレオカメラなどの、映像を取得できるセンサの場合、当該センサに搭載された画像処理装置２０が生成した空間的および地理的な記述子を用いることで、センシング結果が地図上のどの位置に対応するかを容易に導出することが可能となる。例えば、図１５に示したパラメータ「ＧＮＳＳＩｎｆｏＤｅｓｃｒｉｐｔｏｒ」により、あるカメラの取得映像のうち、同一仮想平面に属する最低４点の空間的位置と地理的位置との関係が既知となった場合、射影変換を実行することで、当該仮想平面の各位置が地図上のどの位置に対応するかを導出することが可能となる。

以上のように、この実施の形態１によれば、人の流れの履歴を事前にデータベース化しておく必要なく、単数または複数の対象エリア内に分散配置されたセンサ４０１，４０２，・・・，４０ｐから取得された記述子データを含むセンサデータに基づき、当該対象エリア内の群衆状態を容易に把握および予測することができる。

また、把握または予測された状態に基づき、ユーザに理解しやすい形態に加工された、過去、現在および未来の群衆状態を示す情報と適切な警備計画とを導出し、これら情報および警備計画を警備支援に有用な情報として、ユーザである警備担当者、あるいは、群衆に提示することができる。

実施の形態２．
実施の形態１では、画像処理装置２０は、センサ４０１，４０２，・・・，４０ｐに搭載されるものとした。すなわち、画像処理装置２０は、群集監視装置１０の外部に備えられるものとした。
この実施の形態２では、群集監視装置１０ａが画像処理装置２０を備える実施の形態について説明する。
なお、この実施の形態２においても、実施の形態１と同様、一例として、群集監視装置１０ａが警備支援システム１に適用されるものとする。
また、この実施の形態２の警備支援システム１においても、実施の形態１と同様、例えば、群集監視装置１０ａが、センサ４０１，４０２，・・・，４０ｐとしての撮像装置から取得した映像データに基づいて予測した群衆状態に基づき、過去、現在および未来の群衆状態を示す情報と適切な警備計画とを警備支援に有用な情報としてユーザに提示するものとする。

この実施の形態２に係る群集監視装置１０ａを備えた警備支援システム１の構成は、実施の形態１において、図１を用いて説明した構成と同様であるため、重複した説明を省略する。この実施の形態２の警備支援システム１の構成は、群集監視装置１０が群集監視装置１０ａに置き換わった点が異なるのみである。
図２４は、この発明の実施の形態２に係る群集監視装置１０ａの構成図である。
図２４に示す群集監視装置１０ａは、実施の形態１において図４を用いて説明した群集監視装置１０とは、画像処理装置２０を搭載するようにした点と、センサデータ受信部１１ａの動作が異なるのみであり、その他の構成は、実施の形態１の群集監視装置１０と同様であるため、同様の構成には同じ符号を付して重複した説明を省略する。

センサデータ受信部１１ａは、実施の形態１のセンサデータ受信部１１と同様の機能を有することに加え、センサ４０１，４０２，・・・，４０ｐから送信されたセンサデータのうち撮像画像を含むセンサデータがあった場合には、当該撮像画像を抽出して画像処理装置２０の画像解析部２１に出力する。
ここでは、センサ４０１，４０２，・・・，４０ｐは、一例として撮像装置であるものとしたが、実施の形態１において説明したとおり、センサ４０１，４０２，・・・，４０ｐは、例えば、光学カメラ、レーザ測距センサ、超音波測距センサ、集音マイク、サーモカメラ、暗視カメラ、ステレオカメラ、測位計、加速度センサ、バイタルセンサ等、様々な種類のセンサを使用することができる。そこで、この実施の形態２では、センサデータ受信部１１ａは、撮像装置と撮像装置以外のセンサを含む様々な種類のセンサからセンサデータを取得した場合に、撮像装置から送信されたセンサデータを特定し、撮像画像を画像解析部２１に出力する機能を有する。

この実施の形態２に係る群集監視装置１０ａの公開データ受信部１２、パラメータ導出部１３、群衆状態予測部１４、警備計画導出部１５、状態提示部１６、計画提示部１７の動作は、実施の形態１で説明した群集監視装置１０の公開データ受信部１２、パラメータ導出部１３、群衆状態予測部１４、警備計画導出部１５、状態提示部１６、計画提示部１７の動作と同様であるため、重複した説明を省略する。

群集監視装置１０ａが搭載する画像処理装置２０の構成は、実施の形態１において図２、図３を用いて説明した構成と同様であるため、重複した説明を省略する。

画像処理装置２０の動作は、実施の形態１で説明した画像処理装置２０の動作と同様である。すなわち、この実施の形態２では、画像解析部２１は、センサデータ受信部１１ａから撮像画像を取得して撮像画像の解析を行い、記述子生成部２２は、空間的な記述子および地理的な記述子、ならびに、ＭＰＥＧ規格による既知の記述子を生成し、これら記述子を示す記述子データ（図２４においてＤｓｒで示す）をパラメータ導出部１３に出力する。パラメータ導出部１３は、画像処理装置２０の記述子生成部２２で生成された記述子データに基づいて状態パラメータを生成する。

この実施の形態２に係る群集監視装置１０ａのハードウェア構成は、実施の形態１において図２２Ａ，図２２Ｂで説明した構成と同様であるため、重複した説明を省略する。なお、センサデータ受信部１１ａは、パラメータ導出部１３、群衆状態予測部１４、警備計画導出部１５、状態提示部１６、計画提示部１７と同様のハードウェア構成を有する。
この実施の形態２の画像処理装置２０のハードウェア構成は、実施の形態１において図２３Ａ，図２３Ｂで説明した構成と同様であるため、重複した説明を省略する。

以上のように、この実施の形態２によれば、実施の形態１同様、人の流れの履歴を事前にデータベース化しておく必要なく、単数または複数の対象エリア内に分散配置されたセンサ４０１，４０２，・・・，４０ｐから取得された記述子データを含むセンサデータ、および、通信ネットワークＮＷ２上のサーバ装置５０１，５０２，・・・，５０ｎから取得された公開データに基づき、当該対象エリア内の群衆状態を容易に把握および予測することができる。

また、把握または予測された群衆状態に基づき、ユーザに理解しやすい形態に加工された、過去、現在および未来の群衆状態を示す情報と適切な警備計画とを導出し、これら情報および警備計画を警備支援に有用な情報として、ユーザである警備担当者、あるいは、群衆に提示することができる。

実施の形態３．
実施の形態１では、状態予測部１４の時間群衆状態予測部１４２が「流量」を予測する方法の一例として、時間群衆状態予測部１４２は、移動元の対象エリアの群衆の流量をもとに群衆挙動モデルを仮定して、未来の移動先の対象エリアの流量を算出する方法を説明した（図１８等参照）。
この実施の形態３では、時間群衆状態予測部１４２が未来の流量を算出する別の方法について説明する。

この実施の形態３に係る群集監視装置１０を備えた警備支援システム１、群集監視装置１０、および、群集監視装置１０のハードウェアの構成は、それぞれ、実施の形態１において、図１、図４、図２２を用いて説明した構成と同様であるため、重複した説明を省略する。
また、この実施の形態３に係る群集監視装置１０のセンサデータ受信部１１、公開データ受信部１２、群衆状態予測部１４、警備計画導出部１５、状態提示部１６、計画提示部１７の動作は、実施の形態１で説明した群集監視装置１０のセンサデータ受信部１１、公開データ受信部１２、群衆状態予測部１４、警備計画導出部１５、状態提示部１６、計画提示部１７の動作と同様であるため、重複した説明を省略する。

この実施の形態３では、パラメータ導出部１３の時間群衆状態予測部１４２が、実施の形態１で説明した「流量」の予測方法とは別の方法で「流量」を予測する例を示すのみであるので、実施の形態１で例示したものとは異なる、時間群衆状態予測部１４２の動作の一例についてのみ説明する。

この実施の形態３において、パラメータ導出部１３は、センサ４０１，４０２，・・・，４０ｐで検出された群衆の状態特徴量を示す状態パラメータとして「流量」を導出する場合（実施の形態１における図１６のステップＳＴ１６０３参照）に、センサ４０１，４０２，・・・，４０ｐの対象エリア内に存在する群衆領域に対し抽出された「群衆行動の種類」が、「一方向流」または「対向流」であった場合に、群衆の「流量」を精度よく高速に算出する。

図２５は、実施の形態３において、時間群衆状態予測部１４２が、「群衆行動の種類」は「対向流」として検知した群衆の移動方向を２方向とする一例を説明する図である。
この実施の形態３において、対向する移動方向を、それぞれ、「ＩＮ」「ＯＵＴ」というものとする。なお、どちらを「ＩＮ」、あるいは、「ＯＵＴ」としてもよい。図２５においては、センサとしての撮像装置から遠ざかる方向へ、すなわち、図２５上、右側へ移動する群衆の移動方向を「ＩＮ」としている。

図２５を用いて、「対向流」として検知された群衆の例えば「ＩＮ」方向の流量を算出する方法について説明する。

「流量」は実施の形態１で定義したように所定の領域を通過した人数から算出される。
一般的に、ある空間内での群衆の密度がある一定以上になる混雑状況下においては、一人一人の自由歩行が制限され、前の人を追い越せなくなるため空間内での密度が均一になることが知られている。この実施の形態３では、時間群衆状態予測部１４２は、この性質を使うことにより「対向流」として検知された群衆領域の一部の領域に対する通過人数を算出することで「対向流」として検知された領域全体の通過人数を精度よく推定することが可能である。

時間群衆状態予測部１４２は、図２６に示すように、通過人数を算出する領域を、流量算出領域（図２６のｘ）として設定する。流量算出領域は、地面上に設定された矩形の領域である。当該矩形の長手方向の直線は、例えば「ＩＮ」方向として検知された群衆領域の重心（図２６のＧ）を通る、群衆の移動方向の直線と直交する。

以下、この実施の形態３において、時間群衆状態予測部１４２が「流量」を算出する具体的な方法について説明する。

撮像画像内の流量算出領域の「ＩＮ」方向の流量を算出する方法としては、流量算出領域内の各画素に対しオプティカルフローを算出し、流量算出領域内の所定ラインを「ＩＮ」方向に移動したフローを持つ画素数を「ＩＮ」方向に移動した人物の領域を意味する画素数としてカウントする。
図２７は、実施の形態３において、撮像画像内における流量算出領域と、流量算出領域内の所定ラインのイメージの一例を示す図である。
図２８は、実施の形態３において、所定ラインを「ＩＮ」方向に移動したフローを持つものとしてカウントされた画素数と群衆の密度との関係の一例を説明する図である。
例えば、図２９Ａに示すように、群衆の密度が低い場合には、撮像画像内で人物同士の重なりがない状態で撮像されるため、カウントされた画素数と密度は、図２８の区間（ａ）で示すように、ほぼ比例した関係となる。なお、撮像画像内の人物同士の重なりを、オクルージョンという。
一方、群衆の密度の増加に伴い、図２９Ｂに示すように、撮像画像内での人物同士の重なりが発生するため、カウントされた画素数の変化率は減少していき、やがて０になる。さらに密度の増加に伴い群衆の移動速度が低下していくため、カウントされた画素数の変化率は負値となる。（図２８の（ｂ）参照）

そこで、時間群衆状態予測部１４２は、あるフレーム間において、流量算出領域内の所定ラインを「ＩＮ」方向に跨いで移動したフローを持つ画素の数を、オクルージョンを考慮した人物一人あたりの画素数で割った値を計算することで、当該フレーム間に「ＩＮ」方向に移動した人数を算出し、他に時間あたりに「ＩＮ」方向に移動した人数、すなわち「ＩＮ」方向への群集流量とする。ここでオクルージョンを考慮した群集一人当たりの画素数は、オクルージョンがないと仮定したときの人物一人あたりの画素数にオクルージョンを考慮した係数をかけることで算出する。

図３０に、カウントされた画素数を一人あたりの画素数で割った値、すなわち、オクルージョンがないと仮定したときの「ＩＮ」方向に移動した人数と「ＩＮ」方向の流量の関係の一例を示す。
図３０において、ａは、カウントされた画素数を一人あたりの画素数で割った値、ｂは、流量を示している。

なお、時間群衆状態予測部１４２は、「ＯＵＴ」方向の流量についても同様に算出することができる。また、時間群衆状態予測部１４２は、「対向流」として検知された群衆の移動方向が３方向以上の場合でも各方向に対して上記手法を適用することで、方向別に流量を算出することができる。

また、この実施の形態３では、時間群衆状態予測部１４２は、「対向流」として検知された群衆の移動方向別の「流量」の算出方法を説明したが、「一方向流」に対しても同様の手法で算出することができる。

以下、時間群衆状態予測部１４２が「流量」を算出する具体的な計算手段の例について示す。
図３１は、映像フレーム１枚につき実行される群集流量算出処理の処理フローである。
まず、時間群衆状態予測部１４２は、入力された画像を補正する（ステップＳＴ１）。この補正には、処理対象領域のみを切り出す処理、後段のオプティカルフロー推定の処理を高精度に実施するための画像の輝度値・コントラスト等の補正、画像の射影歪を解消する射影変換、またはその他の歪を解消する幾何変換等を含む。

次に、時間群衆状態予測部１４２は、直前の映像フレームと処理対象の映像フレームを用いて２枚のフレーム間での画像内オブジェクトの移動を意味するオプティカルフローを導出する（ステップＳＴ２）。オプティカルフローは画素単位に取得する。またオプティカルフローは、予め流量解析位置として設定した所定ラインの周辺のみを取得すれば良い。
なお画素単位に取得されたオプティカルフローは、群集を示す前景領域と、その領域の移動量を意味する。よって本ステップの処理は、背景差分やフレーム間差分等の処理に基づく前景抽出手法と、当該前景領域の移動量を任意の動き推定手法で求める処理に置き換えてもよい。また動き推定手法としては、画像を用いて解析する手法ではなくともよい。例えば入力画像がＭＰＥＧ−２、Ｈ．２６４／ＡＶＣおよびＨＥＶＣ等のハイブリッド符号化方式で圧縮されていた場合、その圧縮ストリームに含まれる動きベクトル情報をそのまま、または加工して用いることで動き推定を行っても良い。以降はオプティカルフローにより画素単位のフローを導出する処理を用いた前提で説明する。

次に、時間群衆状態予測部１４２は、所定ラインを跨ぐフローを持つ画素をカウントする（ステップＳＴ３）。「ＩＮ」方向に跨ぐ画素数Ｐ_ｎＩＮ、および「ＯＵＴ」方向に跨ぐ画素数Ｐ_ｎＯＵＴそれぞれ個別にカウントする。
次に、時間群衆状態予測部１４２は、所定ライン周辺の所定ラインを跨ぐフローを持たない画素数Ｐ_ｎＧを導出する（ステップＳＴ４）。前記所定ラインを跨ぐフローを持つ画素は人物領域の画素を意味し、所定ラインを跨ぐフローを持たない画素は背景領域の画素を意味する。所定ラインを跨いだフロー（「ＩＮ」方向および「ＯＵＴ」方向）の、所定ラインに直交する成分のノルム長平均がＮ［ｐｉｘｅｌ］であり、所定ラインの長さがＬ［ｐｉｘｅｌ］であった場合、

で計算できる。

次に、時間群衆状態予測部１４２は、群集密度Ｄ［人／ｍ^２］を、Ｐ_ｎＩＮ、Ｐ_ｎＯＵＴ、Ｐ_ｎＧから計算される、所定ライン近傍領域における人物領域の割合Ｏ_Ｆ［％］から推定する（ステップＳＴ５）。Ｏ_Ｆ［％］は以下の式で計算される。

この際、Ｐ_ｎＩＮ、Ｐ_ｎＯＵＴ、Ｐ_ｎＧの値は過去複数フレームで取得したものを記録しておき、それぞれの累計からＯ_Ｆ［％］を求めることでより安定かつ高精度な群集密度Ｄを推定してもよい。Ｏ_ＦとＤの関係式は予め取得しておく。Ｏ_ＦとＤの関係式については後述する。

次に、時間群衆状態予測部１４２は、群集密度Ｄ［人／ｍ^２］とスケール情報Ｓ［ｐｉｘｅｌ／ｍ］から人物一人あたりの画素数Ｐ_ＰＥＤを導出する（ステップＳＴ６）。ＤとＰ_ＰＥＤの関係式は予め取得しておく。ＤとＳとＰ_ＰＥＤの関係式については後述する。

最後に、時間群衆状態予測部１４２は、Ｐ_ｎＩＮ、Ｐ_ｎＯＵＴをＰ_ＰＥＤで除することで当該フレームにおける所定ラインの通過人数を「ＩＮ」方向、「ＯＵＴ」方向別に導出する（ステップＳＴ７）。時間群衆状態予測部１４２は、フレーム間の経過時間の情報から、単位時間あたりの通過人数、すなわち群集流量のパラメータを取得する。

以上の処理により、所定ラインを通過する群集の流量を「ＩＮ」「ＯＵＴ」方向別に取得することが可能となる。

以下、前記Ｏ_ＦとＤの関係式について詳細に説明する。
群集の密度が高くなるほど、群集の後方に位置する背景領域が見える割合は少なくなる。よってＯ_Ｆ、すなわちある領域における前景領域が占める割合は、群集密度Ｄが高くなるほど大きくなることが予想される。
ただし群集がカメラ映像においてどのように映るかは、群集一人ひとりの形状・寸法、カメラの俯角、および群集がカメラに対してどのように配置されているかによって異なるため、これらの情報を予め特定する必要がある。

それぞれの情報は、以下のように定義する。
まず群集一人ひとりの形状・寸法は、人物の平均的なモデルを用いる。これはたとえば、成人の平均身長ｈと平均の最大半径ｒから、高さｈ、半径ｒの円柱形として定義してもよいし、またはそれ以外の簡易な形状で近似的に表現してもよい。またはより厳密に平均的な寸法の人物の３Ｄモデルを用いてもよい。また群集の形状、寸法は対象となる群集の国籍・年齢層や観測時の天候・気候に対応した服装の変化などにより異なることが考えられるため、複数のモデルを持ったり、またはモデルの寸法・形状を変化させるパラメータを変更できるようにしたりし、状況に応じてモデルの選択や調整を行ってもよい。

カメラの俯角θは、固定カメラの場合、設置時に予め測定した値を用いることができる。または撮影した映像を解析することで導出してもよい。後者の場合は移動カメラの場合でも適応可能という利点がある。
群集のカメラに対する配置のされ方について、群集同士の位置関係は様々なパターンが存在しうるため、所定のモデルを用いる。
例えば、群集の位置関係のモデルとして、図３２に示すように人物が格子状に並んでいる状態を想定する。人物は上記の通り定めた形状・寸法を持つものとし、この例では高さｈ［ｍ］、半径ｒ［ｍ］の円柱として近似している。また図３２は、格子状に並んだ４人の人物を俯角θの位置のカメラから、格子をカメラ光軸方向からωだけ傾けた状態で見ている図とする。この場合、群集密度Ｄ［人／ｍ^２］に対して、縦または横方向に並ぶ人物の中心間の距離はｄ［ｍ］と置くと、Ｄとｄは以下の関係にある。

またある一人に対して最近傍となる領域は、当該人物を中心としたｄ×ｄの正方領域であり、この領域を人物一人あたりの領域Ｒ_Ｐとする。

以上のとおり定義したうえで、Ｏ_Ｆを、本格子状モデルにおいて、カメラから奥側に存在する、人物一人あたりの領域Ｒ_Ｐの面積に対する、Ｒ_Ｇ内の前景領域Ｒ_Ｆ（Ｒ_Ｐ内の黒で表される領域）の面積とする。また、図３３、図３４を比較してわかるように、この格子状モデルのカメラ光軸方向に対する傾きωによって、前景領域Ｒ_Ｆの見え方、面積が変動するため、様々なωに対してＯ_Ｆを計算しその平均を取ったものの百分率表現を最終的なＯ_Ｆとすることが望ましい。
このモデルにより、密度Ｄとカメラ俯角θに対してＯ_Ｆは一意に定まる。カメラ俯角θ別に密度Ｄと前景領域面積比Ｏ_Ｆの関係を求めることで、与えられたカメラ俯角θと計算されたＯ_Ｆから群集密度Ｄを推定することが可能となる。

次に、前記ＤとＰ_ＰＥＤの関係式について詳細に説明する。
スケール情報Ｓを一定とした場合、群集の密度が高くなるほど、群集内のある人物の一人あたり画素数Ｐ_ＰＥＤは小さくなる。これは、密度が高くなるほど群集間の距離が小さくなり、カメラ奥側の人物がその手前の人物に隠される割合が高くなるためである。
ＤとＰ_ＰＥＤの関係式を求める場合においても、前記Ｏ_ＦとＤの関係式を求める場合と同様、群集一人ひとりの形状・寸法、カメラの俯角、単位長さの物体のカメラ映像内における画素数（スケール情報）、および群集のカメラに対してする配置状態の情報が必要になる。これらの情報は前記Ｏ_ＦとＤの関係式を求める際に用いた定義と同様とする。

またこれらの情報に加えて、前記の通り、カメラ映像内の１画素が対応する物理量としての長さを示すスケール情報が必要となる。
スケール情報は、人物のカメラからの距離、カメラの画角、カメラの解像度、カメラのレンズ歪などに応じて、人物がカメラ映像内のどの位置に映っているかによって変動する。スケール情報は、実施の形態１にて示した手段で導出してもよいし、カメラのレンズ歪を意味する内部パラメータと、カメラと周辺地形の距離や位置関係を意味する外部パラメータを測定することで導出してもよい。また図３５に示すように計測対象領域の路面を平面で近似するためのパラメータをユーザが手動で指定することで求めてもよい。図の例では、画像座標と物理座標のセットＰｏｉｎｔ１〜４を指定しており、この４点を用いた射影変換を行うことで画像内の任意の座標を、当該４点が通る平面上の物理座標に置き換えることが可能となる。または、映像内に映っている人物または物理寸法が既知なオブジェクトを検出し、そのオブジェクトの映像内における画素数からスケール情報を自動で推定してもよい。または、カメラから遠方のオブジェクトほど、映像内での時間あたりの移動量が小さくなることから、一様な速度を持つと仮定した複数の映像内オブジェクトのフローの大小関係から、それらのオブジェクトのカメラからの距離を推定し、スケール情報の推定を行ってもよい。仮定した一様な速度が既知である場合は絶対的なスケール情報が推定可能であり、既知でない場合はオブジェクトごとの相対的なスケール情報が推定可能となる。高密度の群集は、広範囲にわたって移動速度が一定になる特徴があるため、この集団によって高精度にスケール情報を推定することができる。

このモデルにおいて、図３６に示すように、カメラ映像奥側の、手前の人物に隠蔽される人物領域（図３５の網掛領域）をＲ_ＦＯとした場合、例えばスケール情報ＳがＳ_０［ｍ／ｐｉｘｅｌ］の場合におけるＲ_ＦＯの画素数をＲ_ＰＥＤとする。またこの格子状モデルのカメラ光軸方向に対する傾きωによって、Ｒ_ＦＯの見え方、面積が変動するため、様々なωに対してＲ_ＰＥＤを計算しその平均を取ったものを最終的なＲ_ＰＥＤとすることが望ましい。
このモデルにより、密度Ｄとカメラ俯角θに対してＲ_ＰＥＤは一意に定まる。カメラ俯角θ別に密度ＤとＲ_ＰＥＤの関係を求めることで、与えられたカメラ俯角θと推定されたＤからオクルージョンを考慮した人物一人あたりの画素数Ｒ_ＰＥＤ［ｐｉｘｅｌ］を導出することが可能となる。またこのＲ_ＰＥＤはスケール情報がＳ_０の場合であるため、実際のスケール情報ＳとＳ_０の比を用いてＲ_ＰＥＤを補正することで流量を計算する。

以上のように、この実施の形態３によれば、パラメータ導出部１３は、群衆の「流量」を精度よく高速に算出することができる。

以上の実施の形態１〜３で説明した画像処理装置２０では、記述子生成部２２は、空間的または地理的な記述子を生成後、当該記述子の情報を、出力インタフェース装置を介して、例えば、データ伝送部１０２、あるいは、パラメータ導出部１３等、外部機器へ出力するようにしていたが、これに限らず、画像処理装置２０は、記述子生成部２２が生成した記述子の情報を蓄積しておくようにすることもできる。
図３７は、画像処理装置２０が、記述子の情報を蓄積しておくことを可能とした構成の一例を説明する図である。

図３７に示すように、画像処理装置２０ａは、実施の形態１において図２を用いて説明した構成に加え、データ記録制御部３１と、ストレージ３２と、ＤＢ（Ｄａｔａ Ｂａｓｅ）インタフェース部３３とをさらに備える。

データ記録制御部３１は、入力インタフェース装置を介して撮像装置としてのセンサから取得した画像データと、記述子生成部２２が生成した記述子データとを互いに関連付けてストレージ３２に格納させる。
ストレージ３２は、画像データと記述子データとを関連付けて格納する。
ストレージ３２としては、例えば、ＨＤＤまたはフラッシュメモリなどの大容量記録媒体を使用すればよい。
また、ストレージ３２は、画像データが蓄積される第１のデータ記録部３２１と、記述子データが蓄積される第２のデータ記録部３２２とを有する。なお、図３７では、第１のデータ記録部３２１と第２のデータ記録部３２２とは同一ストレージ３２内に設けられているが、これに限定されるものではなく、異なるストレージにそれぞれ分散して設けられてもよい。

また、図３７において、ストレージ３２は、画像処理装置２０ａが備えるものとしたが、これに限定されるものではない。例えば、ストレージ３２を、通信ネットワーク上に配置された単数または複数のネットワーク・ストレージ装置とし、データ記録制御部３１は、外部のネットワーク・ストレージ装置にアクセスし、画像データと記述子データとを蓄積させるようにしてもよい。
ＤＢインタフェース部３３は、ストレージ３２内のデータベースにアクセスする。

画像処理装置２０ａは、ＤＢインタフェース部３３がストレージ３２にアクセスして取得した記述子の情報を、出力インタフェースを介して、例えば、データ伝送部１０２、あるいは、パラメータ導出部１３等の外部機器へ出力する。

なお、以上の実施の形態１〜３の警備支援システム１では、群衆というオブジェクト群をセンシング対象とするように構成されているが、これに限定されるものではない。例えば、野生動物もしくは昆虫等の生命体、または車両等、人体以外の移動体の群れをセンシング対象のオブジェクト群とするようにすることもできる。
また、以上の実施の形態１〜３では、一例として、群集監視装置１０が適用される群衆監視システムとして、警備支援システム１を例にあげ、群集監視装置１０は、センサ４０１，４０２，・・・，４０ｐから取得したセンサデータに基づいて予測した状態に基づき、群衆の状態を示す情報と適切な警備計画とを、警備支援に有用な情報としてユーザに提示するものとしたが、群集監視装置１０が適用される群衆監視システムは、警備支援システム１に限定されるものではない。
例えば、群集監視装置１０は、駅利用者数をリサーチするシステムに適用され、駅構内に設置されたセンサからセンサデータを取得し、駅を利用する人の状態を予測し、当該予測した状態に関する情報を提供するものであってもよく、群集監視装置１０は、センサデータ群に基づき、移動体の状態を監視、予測するあらゆる場面において利用可能である。

また、実施の形態１において、群集監視装置１０は、図４で示すような構成としたが、群集監視装置１０，１０ａは、パラメータ導出部１３と、群衆状態予測部１４とを備えることにより、上述したような効果が得られるものである。
また、実施の形態２において、群集監視装置１０ａは、図２４で示すような構成としたが、群集監視装置１０ａは、オブジェクト検出部２１０１と、スケール推定部２１０２と、パラメータ導出部１３と、群衆状態予測部１４とを備えることにより、上述したような効果が得られるものである。

また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る群集監視装置は、混雑度、あるいは、群集の流れが予め把握できない環境において、混雑度、あるいは、群集の流れを推定することを可能とするように構成したため、群集の流れを予測する群集監視装置、および、群衆監視システム等に適用することができる。

１ 警備支援システム、１０，１０ａ 群集監視装置、１１，１１ａ センサデータ受信部、１２ 公開データ受信部、１３ パラメータ導出部、１４ 群衆状態予測部、１５ 警備計画導出部、１６ 状態提示部、１７ 計画提示部、２０ 画像処理装置、２１ 画像解析部、２２ 記述子生成部、３１ データ記録制御部、３２ ストレージ、３３ ＤＢインタフェース部、７０〜７４ 外部機器、１０１ 撮像部、１０２ データ伝送部、１３１〜１３Ｒ 群衆パラメータ導出部、１４１ 空間群衆状態予測部、１４２ 時間群衆状態予測部、２１１ 画像認識部、２１２ パターン記憶部、２１３ 復号部、３２１ 第１のデータ記録部、３２２ 第２のデータ記録部、２１０１ オブジェクト検出部、２１０２ スケール推定部、２１０３ パターン検出部、２１０４ パターン解析部、２２０１，２３０１ 処理回路、２２０２，２３０２ ＨＤＤ、２２０３ 入力インタフェース装置、２２０４，２３０３ メモリ、２２０５，２３０４ ＣＰＵ。

Claims (3)

1. センサにて取得されたデータと、前記センサで検出された、前記データに現れるオブジェクト群を示す、実空間を基準とした空間的特徴量の情報を表す空間的な記述子とを互いに関連付け、かつ、多重化されたセンサデータに基づき、当該センサデータが示すオブジェクト群の状態特徴量を示す状態パラメータを導出するパラメータ導出部と、
   前記パラメータ導出部が導出した状態パラメータに基づき、前記センサが設置されていないエリアのオブジェクト群の状態を予測した空間予測データを作成する空間群集状態予測部
   とを備えた群集監視装置。
2. センサにて取得されたデータと、前記センサで検出された、前記データに現れるオブジェクト群を示す、実空間を基準とした空間的特徴量の情報を表す空間的な記述子とを互いに関連付け、かつ、多重化されたセンサデータに基づき、当該センサデータが示すオブジェクト群の状態特徴量を示す状態パラメータを導出するパラメータ導出部と、
   前記パラメータ導出部が導出した状態パラメータに基づき、前記オブジェクト群の未来の状態を予測した時間予測データを作成する時間群集状態予測部
   とを備えた群集監視装置。
3. 前記センサは撮像装置であり、
   前記センサにて取得されたデータは画像データであり、
   前記撮像装置は、収集した画像データが示す画像中のオブジェクト群を検出するオブジェクト検出部と、
   前記オブジェクト検出部が検出したオブジェクト群の、実空間を基準とした空間的特徴量を、スケール情報として推定するスケール推定部とを備え、
   前記パラメータ導出部が導出する状態パラメータは、前記スケール推定部が推定したスケール情報に基づき、前記オブジェクト検出部が検出したオブジェクト群の状態特徴量である
   ことを特徴とする請求項１または請求項２記載の群集監視装置。

Images