JP7208051B2 - 状態認識装置 - Google Patents

Description

本発明は、計測装置の出力に基づいて計測対象の状態を認識する状態認識装置、及び、状態認識方法に関する。

近年、監視カメラや距離センサ等の計測装置が取得した画像データや距離データ等の情報に基づいて、計測装置の計測範囲内の状態や計測対象（人物や車両等）の状態を認識する状態認識技術へのニーズが高まっている。例えば、人流や交通流などの異常状態（渋滞等）を検知する技術や、異常行動の人物や車両（倒れた人物、暴れる人物、故障車両等）を検出する技術などが挙げられる。

この種の状態認識技術では、計測範囲における大よその状態変化量などを検出するだけであれば処理リソースは少ないものの、高度なアルゴリズムを使用して人物や車両の詳細な行動などを認識する場合は多大な処理リソースを要するため、処理リソースを低減する施策が必要となる。そのため、通常は、広い計測範囲の一部を、状態認識を実行する認識エリアに予め設定しておくことで処理リソースを削減することが多い。

しかし、公共の場に設置された監視カメラで異常状態を認識する場合は、どのエリアで異常が発生するかが不明であるため、予め設定した認識エリアが適切でない場合もある。そこで、高度なアルゴリズムを使用する状態認識技術においては、実情に応じた認識エリアを決定する技術への期待が高い。

実情に応じた認識エリアの決定方法として、特許文献１に記載された方法がある。同文献では、計測対象は車両であり、車両の移動量などの時間変化情報を解析することで、異常状態が発生していると推測される認識エリアを特定できる。そして、認識エリアの特定後に高度な画像解析による状態認識処理を実行することで、処理リソースを抑えつつ異常状態や計測範囲内の車両や人物の状況などを詳細に認識でき、段階的なアラーム発報や誤発報の削減など高精度な異常検知を実現できる。

特開２００２－１９００９０号公報

しかしながら、特許文献１は、カメラの映像を解析して交通量の時間変化の緩急を検知することで交通流の異常が予想されるエリアを特定するものであるため、進行方向の自由度が低い車両に計測対象が限定されており、進行方向や行動が多様な人物を計測対象とする場合には、適切な認識エリアを設定することができないという問題がある。

そこで、本発明は、計測範囲や計測対象の状態を認識するような状態認識装置において、計測対象の大よその動きの流れ情報から抽出した計測対象間の相互作用情報を元に、状態認識処理を実行する計測範囲や計測対象を事前に選定することで、装置全体の処理リソースを削減しつつ高度な状態認識処理を実行することができる状態認識装置を提供することを目的とする。

前記目的を達成するため、本発明の状態認識装置は、計測装置が取得した情報に基づき、計測対象の動き情報を生成する動き情報生成部と、該動き情報に基づいて、前記計測装置の計測範囲全体から、認識対象候補を選定する認識対象候補選定部と、前記動き情報と前記認識対象候補の関係を利用して、空間と前記計測対象の相互作用情報、または、前記計測対象同士の相互作用情報を抽出する相互作用抽出部と、該相互作用情報に基づいて、状態認識処理を実行する認識対象を前記認識対象候補から決定する認識対象決定部と、該認識対象に対し状態認識処理を実行する状態認識部と、を有するものとした。

本発明の状態認識装置によれば、状態認識処理を実行する計測範囲や計測対象を事前に選定して、装置全体の処理リソースを削減しつつ、高度な状態認識処理を実行できる。

実施例１の状態認識装置の機能ブロック図 人流情報取得部の機能ブロック図 人物位置計測部での処理を説明する図 動線作成部での処理を説明する図 人流情報生成部での処理を説明する図 認識エリア候補選定部の機能ブロック図 人流情報比較部での処理を説明する図 人流相互作用抽出部の機能ブロック図 位置関係算出部での処理を説明する図 実施例２の状態認識装置の機能ブロック図

以下、本発明の状態認識装置の具体的な実施形態について、図面を参照しながら説明する。

まず、図１の機能ブロック図を用いて、本発明の実施例１に係る状態認識装置１の概要を説明する。本実施例では、接続する計測装置を単眼のカメラ２とし、計測対象を人物Ｈとした、状態認識装置１について説明するが、本発明の適用対象はこれらの計測装置、計測対象に限定されるものではなく、計測装置はステレオカメラや距離センサなどの他のセンサであっても良いし、計測対象は車両等であっても良い。なお、状態認識装置１は、実際には、ＣＰＵ等の演算装置、半導体メモリ等の主記憶装置、ハードディスク等の補助記憶装置、および、通信装置などのハードウェアを備えた計算機である。そして、補助記憶装置に記録されたデータベースを参照しながら、主記憶装置にロードされたプログラムを演算装置が実行することで、後述する各機能を実現するが、以下では、このような周知技術を適宜省略しながら説明する。

状態認識装置１は、カメラ２が撮像した画像データＰの計測範囲全体の人流情報Ｉｈから相互作用情報Ｉｉを抽出し、これに基づき、高度な状態認識処理を適応する狭い認識エリアＡを予め決定した後、決定した認識エリアＡに対して高度な状態認識処理を実行することで、処理リソースの軽減を図る装置である。なお、図１では、状態認識装置１とカメラ２を別体の構成としているが、カメラ２に状態認識装置１を組み込んで、両者を一体化した構成としてもよい。

図１に示すように、本実施例の状態認識装置１は、カメラ２が撮像した画像データＰを解析することで人流情報Ｉｈを取得する人流情報取得部３、人流情報取得部３より出力される人流情報Ｉｈから人流の変化量などを算出して状態認識処理を実行する候補となる認識エリア候補Ｃを選定する認識エリア候補選定部４、人流情報取得部３により取得した人流情報Ｉｈを元に、認識エリア候補選定部４により選択された認識エリア候補Ｃや認識エリア候補Ｃ内にいる人物Ｈとその他人物間の相互作用情報Ｉｉを抽出する人流相互作用抽出部５、人流相互作用抽出部５により取得した相互作用情報Ｉｉから認識エリアＡを決定する認識エリア決定部６、決定された認識エリアＡに対して状態認識処理を実行する状態認識部７、を備えている。以下、各部の詳細について説明する。
＜人流情報取得部３＞
図２に示す機能ブロック図を用いて、計測対象が人物である場合の動き情報である人流情報Ｉｈを生成する人流情報取得部３（動き情報生成部）の詳細について説明する。ここに示すように、人流情報取得部３は、カメラ２から画像データＰを取得する映像取得部３１、取得した画像データＰに対して画像解析などを実行することで人物Ｈの位置を計測する人物位置計測部３２、計測した人物Ｈの位置情報から動線Ｌを作成する動線作成部３３、人物位置計測部３２と動線作成部３３から取得した人物Ｈの位置情報と動線情報から人流情報Ｉｈを生成する人流情報生成部３４を備える。以下、人物位置計測部３２、動線作成部３３、人流情報生成部３４の各部について順次説明する。
＜人物位置計測部３２＞
まず、図３を用いて、人物位置計測部３２について説明する。図３において、Ｐはカメラ２より取得した画像データ、Ｈは計測対象の人物、Ｆは人物Ｈを囲む矩形の人物領域、Ｂは画像座標上での人物Ｈの足元位置、Ｓ_３は３次元空間、Ｂ_３は３次元空間Ｓ_３上での人物Ｈの足元位置、Ｓ_２は３次元空間Ｓ_３上のｙ＝０の位置でのｘｚ平面、Ｂ_２はｘｚ平面Ｓ_２上での人物Ｈの足元位置を示している。

人物位置計測部３２では、まず、画像データＰに対して、人物検出などの画像処理アルゴリズムを実行することで画像内の人物Ｈを検出する。人物検出の手法としては、人物Ｈの大量のサンプル画像を予め保存しておき、取得した映像中にサンプル画像と類似した部分が存在するか否かを検索するなどの周知の人物検出手法で良く、特に限定しない。また、人物全体を検出するのではなく、例えば顔検出など人物Ｈの一部の領域を画像中から検出できる手法でも良い。次に、人物検出により抽出した画像中の人物領域Ｆから画像座標上の人物Ｈの足元位置Ｂ（ｕ，ｖ）を決定する。決定方法としては、人物領域Ｆの外接矩形の最下部中央を足元位置とする方法や、顔検出により検出された人物Ｈの頭部領域の最頂点の画像座標（ｕ’，ｖ’）からｖ方向に一定値ｈ加算した画像座標（ｕ’，ｖ’－ｈ）を足元位置とする方法などがあり、特に限定しない。その後、画像データＰにおける足元位置Ｂの画像座標（ｕ，ｖ）を３次元空間Ｓ_３での足元位置Ｂ_３（ｘ，ｙ，ｚ）に変換し、ｙ＝０のｘｚ平面Ｓ_２上での足元位置Ｂ_２（ｘ，ｚ）を人物Ｈの位置として計測する。足元位置Ｂ（ｕ，ｖ）から足元位置Ｂ_３（ｘ，ｙ，ｚ）への変換は、内部パラメータ（焦点距離等）や外部パラメータ（設置位置や設置角度等）のカメラパラメータを用いる一般的な方法を活用する。なお、カメラパラメータの導出方法としては一般的なカメラキャリブレーションをしようすれば良く、予め画像座標に対応する世界座標を手動で与えることで、カメラパラメータを推定できる。
＜動線作成部３３＞
図４は、動線作成部３３により人物Ｈの動線Ｌを生成する処理フローを示している。動線作成部３３では、人物位置計測部３２によって計測した同一人物の位置２８を結合することで動線Ｌを生成する。

例えば、人物Ｈが時刻Ｔよりｔ秒間カメラ２により撮像された場合、各時刻における人物Ｈの足元位置Ｂ_２を同一のｘｚ平面Ｓ_２にプロットし繋ぎ合わせることで動線Ｌを生成することができる。なお、本例以外にも、ある時間帯での人物Ｈの位置情報と進行方向が把握可能な動線Ｌを生成できる手法であれば、上記の手法以外を用いてもよい。
＜人流情報生成部３４＞
次に、図５を用いて、人流情報生成部３４について説明する。人流情報生成部３４は動線作成部３３により作成した人物Ｈａ、Ｈｂ、…、Ｈｎごとの動線Ｌａ、Ｌｂ、…、Ｌｎを用いて、計測範囲内における人流情報Ｉｈを生成する。

人流情報Ｉｈの作成方法について具体的に述べる。まず、図５上段に示すように、計測範囲のｘｚ平面Ｓ_２を複数のエリア（例えば、４×４の１６エリア）に分割する。そして、動線情報から各エリアにおける人物Ｈの移動方向を図５中段に示す８方向に分類し、最後に全ての人物Ｈにおける移動方向の統計を算出してエリア毎の人流方向Ｄ（各エリアで頻出する移動方向）を取得することで、図５下段に示す計測範囲の人流情報Ｉｈを得る。この人流情報Ｉｈにおいて、人流方向Ｄが存在しないエリアは人が通過していないエリアであることを示しており、人流情報Ｉｈからは計測範囲内の人物Ｈの移動方向だけでなく、人物Ｈが通行しないエリアも把握することができる。なお、人流情報Ｉｈの生成手法としては、本例以外にも大まかな人流情報Ｉｈを把握できる手法であれば他の方法を用いてもよい。また、人流情報Ｉｈとしては、人流方向だけでなく、各エリアを通過した人物Ｈの数を計数して、エリア毎の人流量などを追加しても良い。
＜認識エリア候補選定部４＞
図６は認識エリア候補選定部４の機能ブロック図である。認識エリア候補選定部４は、人流情報取得部３から取得した人流情報Ｉｈを、人流情報履歴データベース４２に保存する人流情報保存部４１と、人流情報取得部３より取得した最新の人流情報Ｉｈ_newと人流情報履歴データベース４２に保存された過去の人流情報Ｉｈ_oldとを比較する人流情報比較部４３と、人流情報比較部４３の比較結果から人流の変化量がある領域を認識エリア候補Ｃとして出力する認識エリア候補出力部４４を備える。以下、人流情報比較部４３と認識エリア候補出力部４４について詳細に説明する。
＜人流情報比較部４３、認識エリア候補出力部４４＞
図７を用いて人流情報比較部４３について説明する。人流情報比較部４３では、人流情報取得部３から取得した最新の人流情報Ｉｈ_newと人流情報履歴データベース４２に保存された過去の人流情報Ｉｈ_oldを比較し、人流変化量ΔＩｈを算出する。

人流情報比較部４３で用いる比較方法としては、例えば、人流情報Ｉｈの各エリアの人流方向を数値化し、各数値の出現頻度同士を新旧比較する方法がある。具体的には、図７の上段に例示するように、人流情報Ｉｈを数値化した人流情報Ｉｈ’を作成した後、この人流情報Ｉｈ’に基づいて計測範囲全体における人流方向毎の出現頻度を表したヒストグラム（図７（ａ））を作成する。そして、最新の人流情報Ｉｈ’_newに基づくヒストグラムと、過去の人流情報Ｉｈ’_oldに基づくヒストグラムの差分を算出することで人流変化量ΔＩｈを算出する方法である。

また、人流情報比較部４３で用いる他の比較方法としては、例えば、各エリアの人流方向を数値化した人流情報Ｉｈ’同士を新旧比較する方法がある。具体的には、図７（ｂ）に示すように、最新の人流情報Ｉｈ’_newと過去の人流情報Ｉｈ’_oldを比較して、人流に変化があるエリアを１、変化が無いエリアを０とした人流変化量ΔＩｈを算出する方法である。

認識エリア候補出力部４４では、人流情報比較部４３により計算した人流変化量ΔＩｈを用いて、人流に変化のある領域を認識エリア候補Ｃとして出力する。例えば、図７（ｂ）の人流変化量ΔＩｈを用いる場合は、左上のＣ_１と、右下のＣ_２の２エリアが認識エリア候補Ｃとして出力される。

なお、人流情報履歴データベース４２から取得する過去の人流情報Ｉｈ_oldとしては、過去の中で最も新しい情報をそのまま使用する方法や、人流情報取得部３から人流情報Ｉｈを取得する毎に平均を計算するなどして更新した人流情報Ｉｈ_aveを使用する方法や、一定時間毎の人流情報Ｉｈの平均を使用する方法などがあり、特に限定しない。また、人流方向だけでなく人流量も用いて人流情報Ｉｈを表現しても良く、例えば、図７（ａ）の場合、各人流方向に対する人流量を重み係数として、各人流方向の頻度に掛け合わせた値をヒストグラムとして使用する方法などでも良い。なお、本例で述べた手法以外にも、人流情報Ｉｈを比較できる手法であれば他の手法を用いてもよい。また、本例のように人物Ｈの位置をベースとした人流情報Ｉｈを比較する方法以外にも、人流変化が生じたと予想されるエリアを大よそ検知可能な手法であれば他の手法を用いてもよい。例えば、画像全体のオプティカルフローを比較するなどの方法でも良い。
＜人流相互作用抽出部５＞
図８に人流相互作用抽出部５のブロック構成を示す。ここに示すように、人流相互作用抽出部５は、人流情報取得部３から取得した最新の人流情報Ｉｈ_newと、認識エリア候補選定部４から出力された認識エリア候補Ｃの位置情報から、認識エリア候補Ｃに対する人流相互作用を算出する人流相互作用算出部５１と、算出した人流相互作用を出力する人流相互作用出力部５２と、を備える。また、人流相互作用算出部５１は、人流相互作用を算出するために、位置関係算出部５１ａ、動線変化算出部５１ｂ、注目度算出部５１ｃを備える。以下、人流相互作用算出部５１の各機能、および、人流相互作用出力部５２について説明する。
＜位置関係算出部５１ａ＞
図９を用いて位置関係算出部５１ａについて説明する。図９において、Ｂ_３ａ、Ｂ_３ｂ、Ｂ_３ｃは、３次元空間Ｓ_３における人物Ｈａ、Ｈｂ、Ｈｃの最新の足元位置、Ｂ_２ａ、Ｂ_２ｂ、Ｂ_２ｃは、ｘｚ平面Ｓ_２における人物Ｈａ、Ｈｂ、Ｈｃの最新の足元位置、Ｃ_１、Ｃ_２は認識エリア候補、Ｏ_１、Ｏ_２は各認識エリア候補の中心、Ｏ_１Ｈａ、Ｏ_１Ｈｂ、Ｏ_１Ｈｃは各人物の足元位置Ｂ_２ａ、Ｂ_２ｂ、Ｂ_２ｃと認識エリア候補Ｃ_１の中心Ｏ_１のユークリッド距離、ｔｈはユークリッド距離の閾値の一例を示している。

位置関係算出部５１ａでは、ある時刻における各人物と各認識エリア候補の中心間のユークリッド距離を算出して蓄積し、図９（ｃ）に示すようなグラフを生成する。例えば、図９（ｃ）の実線で示すように、人物Ｈａと認識エリア候補Ｃ_１の中心Ｏ_１間のユークリッド距離Ｏ_１Ｈａが閾値ｔｈ以下となる期間があるため、人物Ｈａは中心Ｏ_１にかなり近づいた期間があることが分かる。また、一点鎖線で示すように、人物Ｈｂと認識エリア候補Ｃ_１の中心Ｏ_１間のユークリッド距離Ｏ_１Ｈｂが０となる点があるため、人物Ｈｂは認識エリア候補Ｃ_１の中心Ｏ_１を通過したことが分かる。

位置関係算出部５１ａでは、これらのユークリッド距離の変異情報から人物Ｈと認識エリア候補間の位置関係を算出する。算出方法としては、認識エリア候補Ｃに対する人物Ｈの接近具合を定量的に表現できる値を算出できる方法であれば、特に限定しない。例えば、予め定めたユークリッド距離の閾値ｔｈより小さい位置にプロットされた点数をそのまま接近具合として使用する方法がある。その他にも、一定のプロット間におけるグラフの傾き情報を利用する方法がある。図９（ｃ）のＯ_１Ｈａ、Ｏ_１Ｈｂに例示するように、グラフの傾きの正負を求めることで人物Ｈが認識エリア候補Ｃに近づいているか否かを判定でき、傾きの大きさから人物Ｈの移動速度を算出することで認識エリア候補Ｃに対する人物Ｈの移動が積極的か否かを判定できるため、その総和を接近具合の判定基準として使用できる。また、各人物のグラフにおいて全てのプロットを使用するのではなく、前述の閾値ｔｈとは別の閾値を複数設定し、接近具合を算出する際にある閾値以上のプロット点は使用しない、あるいは２つの閾値間のプロット点のみ使用するなどの方法を用いても良い。
＜動線変化算出部５１ｂ＞
動線変化算出部５１ｂでは、人流情報取得部３から取得した動線情報から認識エリア候補Ｃに対する人物Ｈの動線Ｌの変化量を算出する。動線Ｌの変化の算出方法としては、図５中段に示すような動線Ｌの向きを活用する方法がある。例えば、各人物の動線Ｌの向きを毎時刻保持しておき、認識エリア候補Ｃ付近での動線Ｌの向きの変化具合を動線Ｌの変化量とし、奥方向に移動していた人物Ｈの移動方向が奥方向のままであれば変化量は０、移動方向が真逆の手間方向に変化すれば変化量は最大値を取るような値域を設定することで、人物Ｈに関する動線Ｌの変化量を算出できる。また、計測範囲における過去の人流情報Ｉｈ_oldも使用して良く、認識エリア候補Ｃの遠方にいる場合は過去の人流情報Ｉｈ_oldと同一の向きに移動していた人物Ｈが、認識エリア候補Ｃの近傍では過去の人流情報Ｉｈ_oldの向きと大きく異なる方向に移動した場合は動線Ｌの変化量は大きくなるといった判定基準を利用する方法もある。
＜注目度算出部５１ｃ＞
注目度算出部５１ｃは、認識エリア候補Ｃに対する人物Ｈの視線方向の情報から、認識エリア候補Ｃへの注目度を算出する機能である。視線方向情報の取得方法としては、画像データＰから視線方向を推定する方法や視線センサなどを用いる方法など、特に限定しない。

画像データＰから視線方向を推定する方法としては、例えば画像に対して頭部検出を実行し頭部領域を抽出し、頭部領域に対する黒色の割合から推定する方法を使用しても良く、頭部領域に対する黒色領域が極めて少なければカメラのある方向、黒色領域が多ければカメラと反対の方向、黒色領域が左側に多く含まれていれば右方向、右側に多く含まれていれば左方向といった視点方向の推定が可能である。

このように、注目度算出部５１ｃでは、推定した視点方向が人物Ｈに対する認識エリア候補Ｃの方向である程、該当人物Ｈが認識エリア候補Ｃに注目していると判定することで、人物Ｈの認識エリア候補Ｃへの注目度を定量的に算出できる。
＜人流相互作用出力部５２＞
人流相互作用出力部５２は、人流相互作用算出部５１により算出した各認識エリア候補に対する人流相互作用情報Ｉｉを集約して、認識エリア候補Ｃごとの最終的な人流の相互作用度合を出力する。

相互作用度合の算出方法としては、位置関係算出部５１ａ、動線変化算出部５１ｂ、注目度算出部５１ｃのそれぞれが算出した相互作用情報Ｉｉを全てあるいは一部の情報のみ使用して算出する。例えば、位置関係算出部５１ａからは認識エリア候補Ｃと計測範囲内にいる人物Ｈのユークリッド距離の総和、動線変化算出部５１ｂからは認識エリア候補Ｃ付近での各人物の移動方向の変化度合の総和、注目度算出部５１ｃからは認識エリア候補Ｃに対する人物Ｈの注目度の総和を受け取り、各々の総和を予め設定した値域などから０～５の値に丸め込み、単純にそれらの値の和あるいは重み係数などを利用して求めた和を認識エリア候補Ｃに対する人流の相互作用度合として決定する方法がある。

また、位置関係算出部５１ａ、動線変化算出部５１ｂ、注目度算出部５１ｃのそれぞれから出力された人流相互作用の相関性を利用し最終的な相互作用情報Ｉｉを決定しても良く、例えば、基本的に人物Ｈは進行方向と同じ方向に視線があると仮定し、位置関係算出部５１ａや動線変化算出部５１ｂの情報から人物Ｈが近付かないと推測される認識エリア候補Ｃにも関わらず、注目度算出部５１ｃから出力される注目度が高い認識エリア候補Ｃは、最終的な人流相互作用度合を高くする方法などを利用しても良い。
＜認識エリア決定部６＞
認識エリア決定部６は、状態認識部７での状態認識処理の実行対象を決定する処理対象決定部であり、本実施例のように状態認識処理の対象がエリアである場合は、人流相互作用出力部５２が出力した人流相互作用度合の高い認識エリア候補Ｃを、状態認識部７の処理対象である認識エリアＡとして決定する。なお、認識エリア決定部６が決定する認識エリアＡは、１つに限定されず、最大の人流相互作用度合の認識エリア候補Ｃのみだけでなく、それに続く人流相互作用度合の複数の認識エリア候補Ｃを認識エリアＡに決定しても良く、一方で、最大の人流相互作用度合が予め定めた閾値よりも小さい場合は認識エリアＡを決定しなくても良い。また、出力する認識エリア候補数を、状態認識装置１のＣＰＵやメモリなどのスペック情報を参照して設定しても良い。
＜状態認識部７＞
状態認識部７は、認識エリア決定部６が決定した認識エリアＡに対し、高度な状態認識処理を実行する。これにより、状態認識部７の処理対象エリアが計測範囲全体から認識エリアＡに狭まるので、高度なアルゴリズムを用いる場合であっても状態認識に要する処理リソースを大幅に削減することができる。なお、状態認識処理の内容は、計測範囲の異常状態（渋滞等）を検知する処理、計測対象の異常行動（倒れた人物、暴れる人物、故障車両等）を検知する処理、計測対象周囲にある物体を検知して属性（人物の年齢や性別、人物の所持物等）を決定する処理のいずれかであるが、これらの処理自体は従来同等であるので、詳細説明は省略する。

以上の実施例では、人流相互作用抽出部５と認識エリア決定部６において、認識エリア候補Ｃと人物Ｈ間の相互作用度合を抽出して、状態認識部７を実行する認識エリアＡを決定する方法について述べたが、人物同士の相互作用度合を抽出することで、状態認識部７を実行する人物Ｈを決定しても良い。例えば、認識エリア候補選定部４において、人流の変化が検知された直後に認識エリア候補Ｃ内にいる人物Ｈを中心位置として、人流相互作用抽出部５により認識エリア候補Ｃ内の人物Ｈと周囲の人物Ｈとの相互作用度合を算出し、最終的な相互作用度合の和が閾値より高い人物Ｈを状態認識部７の実行対象として出力する方法を採用しても良い。本手法では、人流相互作用抽出部５の中心位置となる人物Ｈは常に認識エリア候補Ｃ内に居る必要は無く、最終的に認識エリア決定部６にて出力する認識エリアＡが認識エリア候補選定部４により選択されたエリアではなく、人流相互作用抽出部５の中心位置となる人物Ｈから一定距離以内の範囲を最終的な認識エリアＡとして出力しても良い。また、人流相互作用算出部５１において、全ての人物Ｈに対して相互作用情報Ｉｉを出力する必要は無く、新たに複数人物が同時に検知された場合に、予め定めた人数以内に収まるようランダムで人物Ｈを選択する方法などを利用しても良い。

本発明の実施例１では、以上で説明した構成により、計測範囲や計測対象の状態を認識するような状態認識装置において、計測対象の大よその動きの流れ情報から抽出した計測対象間の相互作用情報Ｉｉを元に、状態認識処理を実行する計測範囲や計測対象を事前に選定することで、装置全体の処理リソースを削減しつつ高度な状態認識処理を実行することができる。

なお、実施例１において、状態認識部７が実行する状態認識処理としては、計測範囲の異常状態を認識する機能、計測対象の異常行動を認識する機能、高精度の顔認識などに加え、人物Ｈの属性を認識する機能など特に限定せず、計測範囲全体に実行するには装置全体の処理リソースが不足するような高度な処理に限定されるものではない。

次に、図１０の機能ブロック図を用いて、本発明の実施例２に係る状態認識装置１Ａを説明する。なお、実施例１との共通点は重複説明を省略する。

図１０に示す状態認識装置１Ａは、複数のカメラ２が取得した人流情報Ｉｈから抽出した相互作用情報Ｉｉに基づき、高度な状態認識処理を実行する認識エリアＡとその際に利用するカメラ２を予め選定する装置である。

図１０の状態認識装置１Ａにおいて、実施例１の状態認識装置１との相違点は、人流情報取得部３から状態認識部７までのユニットをカメラ２の数と同数備えている点と、情報共有部８と、状態認識司令部９と、を備えた点である。

情報共有部８は、複数カメラの設置位置情報を保存する設置位置情報データベース８１、各カメラ映像から取得した人流情報Ｉｈを保存する人流情報データベース８２、各カメラにおける認識エリア決定部６から出力される認識エリア情報を保存する認識エリア情報データベース８３、認識対象情報を保存する認識対象情報データベース８４を備え、また、状態認識指令部９は、情報共有部８の情報から各カメラに対して状態認識処理を実行するか否かを指令する。以下、情報共有部８と状態認識指令部９の詳細について説明する。
＜情報共有部８＞
情報共有部８では、複数のカメラ２の情報及びカメラ映像の解析結果を共有し保持する。各情報について詳細に述べる。

設置位置情報データベース８１は、計測範囲におけるカメラの設置位置や画角の情報を保持する。ここで保持する情報は、例えば、予め計測範囲全体の２次元マップのような図面を用意しておき、カメラが設置されている位置とカメラの向きや画角からカメラの撮影エリアを把握できる情報であれば、特に限定しない。

人流情報データベース８２は、各カメラ映像において、人流情報取得部３により取得した各人物の動線Ｌや計測範囲の人流の向きの情報を保持する。これらの情報を共有し、カメラ間の結果を繋ぎ合わせることで、後段の認識エリア候補選定部４、人流相互作用抽出部５、認識エリア決定部６における人物Ｈの動線情報などを使用した解析を高精度に実行することができる。

認識エリア情報データベース８３と認識対象情報データベース８４は、認識エリア決定部６が決定した認識エリアＡや認識対象である人物Ｈ等の位置情報を保持する。
＜状態認識指令部９＞
状態認識指令部９では、情報共有部８から入手した情報に基づいて、状態認識処理を実行するカメラ２を決定する。決定方法としては、認識エリアＡや認識対象に最も近いカメラを選定する方法などや、設置位置情報データベース８１や人流情報データベース８２から得た情報も考慮して決定する方法などがあり、特に限定しない。後者の方法について例を挙げると、カメラ２の設置位置、撮影方向、最新の人流情報Ｉｈ_newから、カメラ２と認識エリアＡまたは認識対象の間に人物Ｈなどが要因となる遮蔽が生じているか否かを判定し、遮蔽が生じていないと予想されるカメラに対して、状態認識処理の実行を指令する方法などがある。

以上で説明した、本発明の実施例２では、複数の計測装置（カメラ２）を用いた計測範囲や計測対象の状態を認識するような状態認識装置において、計測対象の大よその動きの流れ情報から抽出した計測対象間の相互作用情報Ｉｉを元に、状態認識処理を実行する計測範囲、計測対象、計測装置を事前に選定することで、装置全体の処理リソースを削減しつつ高度な状態認識処理を実行することができる。

なお、実施例２において、各カメラが認識エリアＡや認識対象を選定する機能と高度な状態認識処理を実行する機能を保持する例について述べたが、カメラ毎に機能を割り当てても良い。例えば、２台のカメラを使用する場合、１台のカメラは人流情報取得部３、認識エリア候補選定部４、人流相互作用抽出部５、認識エリア決定部６の機能を実行して認識対象を決定する専用のカメラとし、他方のカメラは高度な状態認識処理のみ実行する専用のカメラとすることで、後者のカメラの処理リソースを削減してより高度な状態認識処理を適用できるような構成としても良い。

また、実施例２において、情報共有部８にて人流相互作用抽出部５から出力される相互作用情報Ｉｉも保持して各カメラにて共有しても良い。例えば、認識エリア決定部６にて認識対象を決定する際に、１台目のカメラでは人流と認識対象との間の相互作用度合が小さく最終的な認識対象とは決定できなかった場合に、相互作用度合をカメラ間で引き継ぐことで、２台目のカメラにおける相互作用度合との和などにより、最終的な相互作用度合が閾値を超過することで、１台のカメラのみでは見落としていた認識対象に対して、２台目のカメラ以降にて状態認識処理を実行することができる。

１、１Ａ 状態認識装置、
２ カメラ、
３ 人流情報取得部、
３１ 映像取得部、
３２ 人物位置計測部、
３３ 動線作成部、
３４ 人流情報生成部、
４ 認識エリア候補選定部、
４１ 人流情報保存部、
４２ 人流情報履歴データベース、
４３ 人流情報比較部、
４４ 認識エリア候補出力部、
５ 人流相互作用抽出部、
５１ 人流相互作用算出部、
５１ａ 位置関係算出部、
５１ｂ 動線変化算出部、
５１ｃ 注目度算出部、
５２ 人流相互作用出力部、
６ 認識エリア決定部、
７ 状態認識部、
８ 情報共有部、
８１ 設置位置情報データベース、
８２ 人流情報データベース、
８３ 認識エリア情報データベース、
８４ 認識対象情報データベース、
９ 状態認識指令部

Claims (9)

1. 計測装置が取得した情報に基づき、計測対象の動き情報を生成する動き情報生成部と、
   該動き情報に基づいて、前記計測装置の計測範囲全体から、認識対象候補を選定する認識対象候補選定部と、
   前記動き情報と前記認識対象候補の関係を利用して、空間と前記計測対象の相互作用情報、または、前記計測対象同士の相互作用情報を抽出する相互作用抽出部と、
   該相互作用情報に基づいて、状態認識処理を実行する認識対象を前記認識対象候補から決定する認識対象決定部と、
   該認識対象に対し状態認識処理を実行する状態認識部と、
   を有することを特徴とする状態認識装置。
2. 請求項１に記載の状態認識装置において、
   前記状態認識部で実行される状態認識処理が、前記計測装置の計測範囲の異常状態を検知する処理、前記計測対象の異常行動を検知する処理、前記計測対象の属性を検知する処理の何れかであることを特徴とする状態認識装置。
3. 請求項１または請求項２に記載の状態認識装置において、
   前記計測装置を複数備えており、該複数の計測装置が取得した情報を共有した共有情報に基づいて、前記状態認識処理を実行する際に利用する計測装置を決定することを特徴とする状態認識装置。
4. 請求項３に記載の状態認識装置において、
   前記共有情報が、前記計測装置の設置位置情報、前記計測対象の動き情報、または、前記認識対象の情報の何れかであることを特徴とする状態認識装置。
5. 請求項３または請求項４に記載の状態認識装置において、
   前記複数の計測装置には、状態認識処理を実行する専用の計測装置が少なくとも１台含まれることを特徴とする状態認識装置。
6. 請求項１から請求項５の何れか一項に記載の状態認識装置において、
   前記動き情報が、前記計測対象の位置と移動方向の情報であることを特徴とする状態認識装置。
7. 請求項１から請求項６の何れか一項に記載の状態認識装置において、
   前記相互作用抽出部が抽出する前記相互作用情報が、
   空間と前記計測対象の距離、前記計測対象同士の距離、または、前記計測対象の移動速度、動線、動線変化量、視線の何れかの情報であることを特徴とする状態認識装置。
8. 請求項１から請求項７の何れか一項に記載の状態認識装置において、
   前記計測装置は、単眼のカメラ、ステレオカメラ、距離センサの何れかであることを特徴とする状態認識装置。
9. 計測装置が取得した情報に基づき、計測対象の動き情報を生成し、
   該動き情報に基づいて、前記計測装置の計測範囲全体から、認識対象候補を選定し、
   前記動き情報と前記認識対象候補の関係を利用して、空間と前記計測対象の相互作用情報、または、前記計測対象同士の相互作用情報を抽出し、
   該相互作用情報に基づいて、状態認識処理を実行する認識対象を前記認識対象候補から決定し、
   該認識対象に対し状態認識処理を実行することを特徴とする状態認識方法。

Images