JP2006165729A

JP2006165729A - 撮影プログラム、撮影方法及び撮影システム

Info

Publication number: JP2006165729A
Application number: JP2004350831A
Authority: JP
Inventors: Yoshinobu Ochiai; 慶喜落合
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-12-03
Filing date: 2004-12-03
Publication date: 2006-06-22

Abstract

【課題】特定対象に関する情報を適切に活用でき、利便性の高い撮影プログラム、撮影方法及び撮影システムを実現する。
【解決手段】対象物を撮影する撮影ステップと、撮影された対象物の画像情報から対象物の３次元情報を抽出するステップと、画像情報から対象物の属性及び状態のうち少なくとも１つの対象特定情報を抽出するステップと、対象物に基づいて画像情報、３次元情報及び対象特定情報を関連付けて記憶するステップとを有する。
【選択図】図３

Description

本発明は、ネットワークに接続された複数の撮影装置により特定の対象を撮影し、映像情報と映像を解析して得られる情報を関連付けて記憶・配信する撮影システムに関する。

従来、複数の撮影装置により特定対象を多角的に観測（撮影）し、得られた映像情報から該対象の３次元情報を取得するシステムが提案されている。

これらのシステム構成は、例えば図１３（ａ）に示すように、複数の撮影装置から出力される映像情報を１台のコンピュータ（処理端末）に入力して処理したり、図１３（ｂ）のように撮影装置をネットワークに接続することで遠隔地に配置したコンピュータで処理する構成が提案されている。

また、図１３（ｃ）に示すようにネットワークの負荷を低減させる目的で撮影装置ごとにコンピュータが設けられ、処理結果のみをネットワークを介して送信したり、図１３（ｄ）のような撮影装置ごとに得られた処理結果を互いに送受信し、分散型・協調型のシステムも提案されている。

一方、撮影された映像に該映像に関する情報や著作権情報等を付加することで映像の蓄積管理を容易にする技術が提案されている。このように映像に付加されるそれらの情報は一般にメタ情報とよばれ、映像取得時の環境情報や映像の自動解析やユーザーにより入力されるシーン情報やカット情報等が、映像と関連付けて保存される。これにより映像の検索や編集・著作権管理等をコンピュータにより自動的に行うことが可能となり、安全で利便性の高い映像の流通の促進に寄与することが期待されている（特許文献１参照）。
特開２０００−０３００５７（段落００２２〜００２９、図１等）

しかしながら、上記のような従来の３次元情報取得システムでは映像から特定対象の３次元情報を取得するが、該対象の空間情報の蓄積と時間的な統計情報を取得しておらず、さらには、一般に映像情報と３次元情報とが別々に管理され、それぞれの情報の対応や関連付けは考慮されてはいない。

また、映像にメタ情報を付加するシステムは、映像自身の内容や著作権に関する情報に重点が置かれ、複数映像からの３次元情報の取得や、対象の空間情報の蓄積と時間的な統計情報を取得し付加することは３次元情報取得システムと同様に考慮されていない。

したがって、従来の３次元情報取得システムでは、取得した映像及び３次元情報の関連性が乏しく、実際に取得した情報を用いたシステムの構築に際し、該情報を十分に活用することができず、利便性、拡張性が低い課題を有している。

本発明の例示的な目的の１つは、特定対象に関する情報を適切に活用でき、利便性の高い撮影プログラム、撮影方法及び撮影システムを実現することにある。

本発明の１つの観点としての撮影プログラムは、対象物を撮影する撮影ステップと、撮影された対象物の画像情報から対象物の３次元情報を抽出するステップと、画像情報から対象物の属性及び状態のうち少なくとも１つの対象特定情報を抽出するステップと、対象物に基づいて画像情報、３次元情報及び対象特定情報を関連付けて記憶するステップとを有することを特徴とする。

本発明によれば、特定の対象を撮影し、撮影された映像情報と該映像情報を解析して得られる情報を関連付けて記憶するとともに、特定対象の３次元情報及び対象特定情報を該映像情報と関連付けて記憶するため、従来に比べて情報の共有を適切かつ容易に行え、利便性の高い撮影システムを実現することができる。

以下に本発明の実施例について説明する。

図１は、本発明の実施例１における撮影システムの構成ブロック図である。

１０１は撮影用端末（撮影ユニット）で、対象（対象物）の映像を取得する撮影部１４２と通信部１４１を有し、ネットワーク１３１に接続されている。したがって、この通信部１４１を介して他のコンピュータや撮影用端末との通信を行うことができる。

なお、撮影用端末は撮影用端末１０１のように１つの撮影部（撮影装置）を設けるように構成してもよいが、撮影用端末１０２のように２つの撮影部１４４、１４５を設けるように複数の撮影部を備えた撮影用端末としてもよい。

また、本実施例の撮影システムでは、システム構成の規模や目的に応じて撮影用端末１０１、１０２、１０３、１０４というように複数の撮影用端末がネットワークを介して接続される構成としてもよいが、特定対象等の３次元情報を取得するために、システム全体における撮影部用端末は少なくとも２つ以上設けていればよい。

１１１は記憶用端末（記憶ユニット）であり、撮影用端末１０１〜１０４により取得される複数の映像から特定対象の３次元情報を取得する３次元情報抽出部１５１と、映像情報その他を記憶するための記憶部１５２と、３次元情報を時間的に統計処理する有意情報抽出部１５３及び、通信部１５４を備えている。

ユーザ用端末（コンピュータ）１２１はユーザへの各種情報の表示インタフェイスとしての表示部１６１、通信部１６２を有しており、ユーザの撮影システムへのアクセスを可能にしている。

そして、本実施例の撮影システムは、各端末に設けられたマイクロコンピュータ（ＣＰＵ）により制御され、例えば、ユーザ用端末１２１のＣＰＵを用いて撮影システム全体の制御を行わせ、各端末で行われる後述の処理及び通信を制御するように構成し、各端末における通信、記憶処理、更新処理、認識処理及び画像処理等の処理は各端末におけるＣＰＵが制御を行う。

次に本実施例における撮影用端末の人物認識処理と、各端末間の人物情報の共有について図６の概念図を用いて説明する。

ネットワーク６０１を介して記憶用端末６０２と撮影用端末６０３、６０４が接続されている。今、撮影対象Ａ６０５及びＢ６０６が存在し、撮影用端末６０３、６０４はそれぞれの撮影用端末に設けられた撮影部の撮影範囲内に２つの撮影対象を捉えているものとする。

撮影用端末６０３内には撮影対象Ａを追跡し情報を保持するソフトウェアオブジェクトであるエージェントとしてエージェントＡ６０７と、撮影対象Ｂに対応するエージェントＢ６０８とが作成される。同様にして撮影用端末６０４内には撮影対象Ａに対応するエージェントＡ６０９および撮影対象Ｂに対応するエージェントＢ６１０が作成される。

それぞれのエージェントは対応する撮影対象の情報を記憶・更新するとともに、エージェント間でそれら情報の共有を行うことで追跡精度の向上や協調してタスクの分担などを行う。

特に撮影用端末６０３のエージェントＡ６０７と撮影用端末６０４のエージェントＡ６０９およびエージェントＢ６０８とエージェントＢ６１０のように撮影用端末を跨いで同一の撮影対象を担当するエージェント同士はエージェンシとよばれるグループを形成し、撮影対象に関する情報を共有することで上記追跡精度の向上やタスクの分担に加えて撮影対象の３次元情報を取得することが可能となる。

エージェントは撮影用端末（撮影部）の撮影範囲内で捉えられた全ての人物（特定対象）について発生し、撮影用端末の撮影範囲を外れるまで担当する人物を追跡し、情報を抽出し続ける。

エージェントおよびエージェンシの生成、破棄はリアルタイムで処理され、その状態は人物の移動や状態の変化に伴ってダイナミックに変化する。また、エージェント間の情報の共有は記憶用端末６０２が撮影用端末６０３、６０４から抽出した情報を集中的に管理し、必要に応じて各端末へ送信することで実現される。

次に本実施例の撮影システムの、店舗における監視・マーケティングへの適用例を図２に示すとともに、図３に該撮影システムのシーケンスを示す。

図２は一般的な店舗に本実施例の撮影システムを適用したときの概要図である。店舗２０１は外部との出入り口２０４を有するエントランスフロア２０２と、商品の陳列と販売が行われる販売フロア２０３の２つのフロアから構成されている。

２２１、２２２は顧客人物を表わしており、店舗２０１は出入り口２０４およびエントランスフロア２０２を必ず通過しなければ販売フロア２０３へ入室できない構成となっている。撮影用端末２１１〜２１５、表示部２１７を備える記憶用端末２１６、ユーザ端末２１８および不図示のＰＯＳ（ＰｏｉｎｔＯｆＳａｌｅｓ）端末２１９が１００ＢＡＳＥ−Ｔ規格等の高速ネットワークで接続されており、互いに通信可能な状態となっている。

ここで撮影用端末２１１〜２１５はＣＣＤカメラやＣＭＯＳカメラ等の撮影部と、不図示の映像処理部を備えており、映像処理部により撮影した映像をリアルタイム処理することが可能となっている。さらに、撮影用端末はカメラ動作、つまりパンニング及びチルティング等を行わずに固定された俯瞰撮影ユニット２１１〜２１３と、パンニング、チルトティング、ズーム等の物理的なカメラ動作可能な注目撮影用端末２１４〜２１５から構成されており、機能の異なる撮影用端末を組み合わせることで店舗２０１に入店した人物２２１、２２２の多様な撮影を可能としている。

記憶用端末２１６は撮影用端末２１１〜２１５により撮影（取得）された映像および処理結果である顧客人物情報を記憶、蓄積及び分析する処理端末であると同時に、ユーザ端末２１８やＰＯＳ端末２１９からの要求に応じて抽出した撮影対象の時空間的な統計情報である有意情報（対象特定情報）を、記憶している各々の人物に係る映像情報と対応付けて配信する機能を有している。

また、ユーザ端末２１８は無線通信によりネットワークに接続されているＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）であり、ここではユーザとして店舗２０１の店員が所持することで各種情報の取得や処理の実行等システムへのアクセスが可能となる。

このようなユーザによるシステムへのアクセスは記憶用端末２１６やＰＯＳ端末２１９を介して行うこともでき、店員の人数や配置に応じて柔軟に構成を変更することが可能である。さらに、ＰＯＳ端末２１９は商品に添付されたバーコード等のタグをスキャンすることで会計および購買記録を蓄積する機能を有している。

図３はシステムシーケンスのフローチャートである。本実施例の撮影システムが起動されると、まず撮影システムの初期化が行われる（Ｓ３０１）。ここでは撮影用端末２１１〜２１５が備える撮影部（カメラ）のキャリブレーションや各ユニット及びコンピュータ間の通信テスト、記憶用端末２１６による撮影用端末２１１〜２１５の端末情報の取得が行われる。

これにより記憶用端末２１６は、撮影システム内に備える全端末の状態を把握することが可能となり、個々の端末においても記憶用端末２１６へ問い合わせることで、結果として撮影システム内の全ての端末状態を共有していることになる。

撮影システムの初期化が行われ、配置された各端末間の状態が確認できたならば、撮影システムはスタンバイ状態となる（Ｓ３０２）。そして、その後はエントランスフロア２０２における処理（Ｓ３０３〜Ｓ３０７）と販売フロア２０３における処理（Ｓ３０９〜Ｓ３１４）がそれぞれ並行して実行される。

エントランスフロア２０２では、エントランスフロア２０２の俯瞰撮影において俯瞰撮影用端末２１１を用いて出入り口２０４を含むエントランスフロア２０２の俯瞰撮影が行われる（Ｓ３０３）。このエントランスフロア２０２の俯瞰撮影はユーザからのシステム終了命令が発せられるまで常時実行され続け（Ｓ３０４）、得られた俯瞰映像を俯瞰撮影用端末２１１に備える映像処理部によってリアルタイム処理することで新たに出入り口２０４からエントランスフロア２０２へ入室または退室した人物２２１を検出し（Ｓ３０５）、入室人物についてはさらに注目撮影用端末２１４を用いた注目撮影を行うことでより詳細な人物情報を取得する（Ｓ３０６）。

このようにして得られた入室人物の詳細な人物情報は、ネットワークを介して記憶用端末２１６へ送信して記憶する。そして顧客人物情報としてシステム内の全ての端末間で共有される。

また、出入り口２０４より退出した人物に関しても同様に、その都度記憶用端末２１６に記憶することで店舗２０１に存在する最新の人物情報が常時更新される状態が保たれる。

一方、並行して実行される販売フロア２０３における処理では、販売フロア２０３での俯瞰撮影において、販売フロア２０３を死角無く撮影するよう配置された俯瞰撮影用端末２１２、２１３により販売フロア２０３全体の俯瞰撮影が行われる（Ｓ３０９）。販売フロア２０３の俯瞰撮影はユーザからのシステム終了命令が発せられるまで常時実行され続け、得られた俯瞰映像を俯瞰撮影用端末２１２、２１３に備える映像処理部によってリアルタイム処理することで販売フロア２０３内を往来する人物２２２を検出し（Ｓ３１０）、人物が販売フロア２０３を退出するまで行動を追跡し続ける。

さらに、俯瞰撮影された映像から予め撮影システム内で定義された特定の事象が検出されたならば（Ｓ３１１）、ステップ３１２に進み、さらに注目撮影用端末２１５による注目撮影を行うことで、より詳細な人物に関する情報を取得することが可能となる。そして、ステップ３１３では検出された特定の事象に応じた処理が実行される。

なお、予めシステムに定義された特定の事象とは人物の転倒や接触事故、盗難等が挙げられ、そのような事象が検出されたならば撮影システムは店員へ所定の対応を行わせるべくユーザ端末２１８、表示部２１７およびＰＯＳ端末を介して事象の表示・通知を行う。

このようにして得られた販売フロア２０３を往来する人物や特定の事象に関する情報は、エントランスフロア２０２によって取得された詳細な人物情報と統合されて記憶用端末２１６に記憶され、ネットワークを介して撮影システム内の全ての端末間で共有されるとともに、会計時にＰＯＳ端末２１９により取得される購買記録とも相互に参照可能な状態となる（Ｓ３１４）。

また、ステップ３０４、ステップ３１０においてシステム終了の命令がユーザより発せられたならば、撮影システムはステップ３０８の終了処理を実行する。終了処理としてはシステム起動時からのユーザメモリの解放や、抽出された各種情報の整理、編集等の処理である。

続いて図３に示したシステムシーケンスそれぞれの処理に関して詳細に説明する。

はじめに図３のステップ３０１におけるシステム初期化処理を図４を用いて説明する。なお、システムを構成する各端末は平行して処理が実行されるため、端末ごとの処理をそれぞれ分離してフローチャートを記述している。

まず、ユーザへのインタフェイスを有する端末であるＰＯＳ端末２１９、ユーザ端末２１８または記憶用端末２１６を介してユーザである店舗の店員によりシステム起動命令が実行される。

ＰＯＳ端末２１９およびユーザ端末２１８はそれぞれステップ４０２、４０４において通信テストを行った後、ステップ４０３、４０５に進み、各々の端末情報を記憶用端末２１６へ送信する。送信する端末情報としては端末固有のＩＤ、通信テストの結果および機能の不具合情報等である。

俯瞰撮影ユニット２１１〜２１３および注目撮影ユニット２１４〜２１５において、実行されるステップ４０８、４１２のカメラキャリブレーションは、３次元座標既知の基準物体を複数の撮影用端末、例えば撮影用端末２１１、２１４で同時に撮影した画像から、それぞれの端末の有する撮影部の位置、姿勢、画角等を表わすカメラパラメータを算出する処理である。加えて、注目撮影用端末が備える撮影部はパンニング・チルトティング及びズーム機能を有するため、それらカメラ動作の範囲や速度をステップ４１３のカメラ運動・撮影可能領域情報取得により求める。カメラパラメータの算出は、上記画像を用いる方法の他に位置姿勢検出センサ等を用いて直接計測するようにしてもよい。

このようにして撮影部に関するパラメータが求まったならば、ステップ４０９、４１４において、それぞれの撮影用端末毎に背景画像の作成を行う。これは撮影画像から人物や特定事象の検出を行う処理において背景差分法による動領域の検出を行う際に使用される。特に、カメラ動作の可能な注目撮影用端末は、カメラ動作可能範囲における背景画像の取得と複数画像の合成が必要になる。

なお、本実施例では撮影画像からの動領域検出法として背景差分法を用いているが、検出アルゴリズムはこれに限らず、この種の処理に広く用いられているテンプレートマッチング法やオプティカルフロー法およびそれら手法の組み合わせ手法も適用可能である。

ステップ４１０、４１５では、ＰＯＳ端末２１９及びユーザ端末２１８と同様に通信テストを行い、ステップ４１１、４１６では上記算出した撮影部に関するパラメータを含む端末情報を記憶用端末２１６へ送信する。

一方、記憶用端末２１６はステップ４０６において他の端末同様に通信テストを行い、ステップ４０７において撮影システムを構成する他の全ての端末から送信される端末情報を受信し、記憶する。

以上のような端末ごとの処理を経て撮影システムはステップ４１７のスタンバイ状態となる。撮影システムがステップ４１７のスタンバイ状態に移行すると、ＰＯＳ端末２１９、ユーザ端末２１８および記憶用端末２１６はユーザからの処理入力を受け付け、撮影用端末２１１〜２１５はそれぞれ撮影を開始する。

次に図５のフローチャートを用いて図３に示したステップ３０２〜ステップ３０７までのエントランスフロア２０２における顧客人物情報取得・更新処理を説明する。

撮影システムのスタンバイ状態から（Ｓ５０１）、エントランスフロア２０２の俯瞰撮影を開始している俯瞰撮影用端末２１１の撮影範囲内に人物２２１が侵入すると、図３におけるステップ３０１でのシステム初期化において撮影用端末ごとに取得した背景画像と現在の画像の差分を算出することで画像中の変化領域を検出する背景差分法を用いた人物認識が行われ（Ｓ５０２）、同時に認識された人物２２１に関する２次元情報の抽出が行われる。

認識された人物は撮影範囲内に新たに侵入した人物なのか、それとも既に存在していた人物（撮影された人物）の状態が変化したのかを判断し（Ｓ５０３）、新たに侵入した人物と判断された場合、俯瞰撮影用端末２１１の撮影範囲内において該当人物２２１に関する情報を記憶（保持）し、追跡を行うエージェントと呼ばれるソフトウェアオブジェクトを発生させる（Ｓ５０４）。

既に存在していた人物の状態が変化したと判断された場合は、撮影画像より得られる２次元的な人物特徴、画像上での２次元位置および担当エージェント等の人物情報の更新が行われる（Ｓ５０５）。

このようにして俯瞰撮影用端末２１１の撮影範囲内に侵入した人物２２１の認識と追跡を担当するエージェントが生成されたならば、俯瞰撮影用端末２１１は認識した人物に関する人物情報を記憶用端末２１６へ送信する（Ｓ５０６）。送信された人物情報は記憶用端末２１６で受信され、記憶用端末内においても俯瞰撮影用端末２１１と同様人物情報の記憶・更新が行われる（Ｓ５０７）。そして、記憶用端末２１６は俯瞰撮影用端末２１１だけでなくすべての撮影用端末により取得された映像中で認識された人物情報を集中管理し、常時情報を更新する。

さらに記憶用端末２１６は過去の顧客人物情報を記憶しており、人物情報と人物画像をリンクさせた形で保存することで人物情報から人物画像の検索、およびその逆を検索を可能としている。したがって、ステップ５０８では取得した人物情報に基づいて顧客人物情報全体を検索することでステップ５０２において認識された人物の顧客人物情報が記憶用端末２１６内に記憶されているか否かの判断を行う。

既に顧客人物情報が記憶されている人物であると判断された場合、顧客人物情報の最終更新日時等から更新が必要か否かを判断し（Ｓ５０９）、更新の必要なしと判断されたならばステップ５０１のスタンバイ状態へ戻る。また、ステップ５０８において記憶用端末２１６内に顧客人物情報が記憶されていない、若しくはステップ５０９において記憶している情報の更新が必要と判断された場合は、記憶用端末２１６はシステム初期化処理にて収集した撮影システムに存在する全端末の情報を参照し（Ｓ５１０）、エントランスフロア２０２において注目撮影可能な注目撮影用端末の探索を行う（Ｓ５１１）。

なお、本実施例ではエントランスフロア２０２に設置された注目撮影用端末は１台の注目撮影用端末２１４であるが、注目撮影用端末が複数設置されている場合においても同様の動作が可能であり、ステップ５１１での注目撮影用端末探索の結果、現在処理中の人物を撮影可能な注目撮影用端末が複数台検出された場合、記憶用端末２１６は複数台の注目撮影用端末に対して注目撮影の指令信号を出力してよく、その中から１台を選択した注目撮影に対して注目撮影動作の指令信号を出力してもよい。

認識された人物を撮影可能な注目撮影用端末が検出されたならば、現在処理中の人物の情報を送信し、記憶用端末２１６のＣＰＵは、注目撮影のために注目撮影用端末２１４に注目撮影要請（指令信号出力）を行う。

注目撮影要請を受けた注目撮影用端末２１４は、受信した人物情報に基づいて撮影部（カメラ）の制御を行い（Ｓ５１３）、撮影範囲内の注目人物を捉え、ステップ５０２と同様な処理によって人物認識し（Ｓ５１４）、得られた人物の２次元特徴をステップ５１３において受信した人物情報と比較し注目人物を確認する。その後、認識された人物がステップ５１３のカメラ動作によって撮影範囲内に新たに捉えられたのか、それともステップ５１３のカメラ動作前に既に撮影範囲内に存在していたかを判断し（Ｓ５１５）、新たに撮影範囲内に捉えられたと判断された場合、注目撮影用端末２１４の撮影範囲内において注目人物２２１の追跡を行うエージェントと呼ばれるソフトウェアオブジェクトを発生させる（Ｓ５１７）。

一方、既に存在していた人物と判断された場合、ステップ５０４において生成された俯瞰撮影用端末２１１において同様の注目人物の認識と追跡を担当するエージェントと目的を同じくするエージェントのグループであるエージェンシを形成する（Ｓ５１６）。

ステップ５１８では、注目人物の動作に応じて詳細撮影が可能となるようにリアルタイムで注目撮影用端末２１４のパンニング動作、チルティング動作及びズーム動作の各制御を行う。例えば撮影範囲の中央に注目人物の全体像が所望の割合で位置するような制御や、顔認識のアルゴリズムを用いて人物の顔領域を撮影範囲に捉えるよう制御すること等が可能である。このようにして注目人物の所望の像が捉えられたならば注目撮影用端末はステップ５１９に進み、撮影動作を行う。

このときステップ５１９において初めて注目撮影用端末２１４の撮影を開始するのではなく、ステップ５１３で注目人物情報を受信した時点、またはシステム起動時点から撮影を続けていてもよく、このステップ５１９の撮影は、連続的に撮影された映像のうち、注目人物の詳細画像の存在する時間位置情報を記録することに相当する。その後、撮影された注目人物画像は画像解析が行われ（Ｓ５２０）、抽出した２次元人物情報とステップ５１３において受信した俯瞰撮影用端末２１１における注目人物の２次元人物情報を合わせて参照することで注目人物の３次元情報を算出することが可能となる。

得られた注目人物の詳細画像および３次元情報を含む人物情報は、記憶用端末２１６へと送信され（Ｓ５２１）、注目人物の詳細画像および２次元画像中の特徴、追跡を担当するエージェンシと所属するエージェント情報が関連付けられて顧客人物情報として記憶・更新される（Ｓ５２２）。記憶用端末２１６における顧客人物情報の記憶・更新処理が完了したならばステップ５０１に戻り、俯瞰撮影用端末２１１が新たな人物を認識するまでスタンバイ状態となる。

以上のような撮影システムのシステムシーケンスによりエントランスフロア２０２を通過する人物は全て記憶用端末２１６に人物情報を記憶され、システム内の全ての端末は記憶用端末２１６に人物の特徴や３次元情報を用いて問い合わせることで該当人物の画像情報を含む最新顧客人物情報を得ることが可能となる。

次に図７のフローチャートを用いて図３のステップ３０９における販売フロア２０３の俯瞰撮影について説明する。

まず、スタンバイ状態から販売フロア２０３の俯瞰撮影を行っている俯瞰撮影用端末２１２の撮影範囲内に人物２２２が侵入すると（Ｓ７０１）、ステップ３０１のシステム初期化において撮影用端末ごとに取得した背景画像と現在の画像の差分を算出することで画像中の変化領域を検出する背景差分法を用いて人物認識が行われ、同時に認識された人物に関する２次元情報の抽出が行われる（Ｓ７０２）。

認識された人物は、撮影範囲内に新たに侵入した人物なのか、それとも既に撮影範囲内に存在していた人物の状態が変化したのかを判断し（Ｓ７０３）、新たに侵入した人物と判断された場合、俯瞰撮影用端末２１２の撮影範囲内において該当人物２２２の追跡を行うエージェントと呼ばれるソフトウェアオブジェクトを発生させる（Ｓ７０４）。一方、既に存在していた人物の状態が変化したと判断された場合は、撮影された画像から得られる２次元的な人物特徴、画像上での２次元位置および担当エージェント等の人物情報の更新が行われる（Ｓ７０５）。

そして、俯瞰撮影用端末２１２の撮影範囲内に侵入した人物２２２の認識処理と追跡を担当するエージェントが生成されたならば、俯瞰撮影用端末２１２は認識した人物に関する人物情報を記憶用端末２１６および他の俯瞰撮影用端末２１３へ送信する（Ｓ７０６）。人物情報を受信した記憶用端末２１６は、人物情報の記憶、更新処理を行う（Ｓ７０７）。続いて記憶用端末２１６に接続された全端末情報を参照し（Ｓ７０８）、販売フロア２０３にて稼動中の撮影用端末の中からステップ７０７において受信した人物情報を用いて同一人物を担当しているエージェントおよびその端末の探索を行う（Ｓ７０９）。同一人物を追跡中のエージェントが検出された場合、俯瞰撮影用端末２１２に所属するエージェントと新たに発見されたエージェントをグルーピングしエージェンシを形成させる（Ｓ７１０）。

このようにして発見されたエージェントとエージェンシ情報は人物情報として俯瞰撮影用端末２１２、１３へ送信され（Ｓ７１１）、該情報の共有が行われる。記憶用端末２１６からの人物情報を受信した俯瞰撮影用端末２１２では、自らの有する人物情報の更新が行われ（Ｓ７１７）、追跡中のエージェントとエージェンシを形成する他の端末に所属するエージェントを把握することが可能となる。また、俯瞰撮影用端末２１２による撮影画像は記憶用端末２１６に送信される（Ｓ７１８）。

一方、ステップ７０６で送信された俯瞰撮影用端末２１２の人物情報を受信したもう１台の俯瞰撮影用端末２１３では、記憶用端末２１６と同様に、人物情報の更新を行った後（Ｓ７１２）、俯瞰撮影用端末２１３の撮影範囲内で追跡中の人物に対応するエージェントの中から、ステップ７１２において受信した人物を追跡するエージェントの探索を行い（Ｓ７１３）、同一人物を追跡するエージェントが検出された場合は、異なる端末間で同一の人物を追跡するエージェントのグループであるエージェンシを形成する（Ｓ７１４）。そして、新たに形成されたエージェンシ情報を含む人物情報が更新され、記憶用端末２１６および俯瞰用端末２１２へ該情報を送信する（Ｓ７１５）。

また、俯瞰撮影用端末２１３で撮影された画像は記憶用端末２１６へ送信され（Ｓ７１６）、画像記憶処理が行われる（Ｓ７１９）。俯瞰撮影用端末２１２若しくは２１３において新たな人物の認識が行われるスタンバイ状態へ移行する。

その後俯瞰撮影用端末２１２、２１３は自らの撮影範囲にはいった人物を次々に検出し、担当エージェントを生成し、記憶用端末２１６および他の俯瞰撮影用端末に認識した人物に関する情報を送信する。人物情報を受信した他の俯瞰撮影用端末は受信した人物情報と自分の撮影範囲内の人物情報を比較することで同一人物か否かの判断をし、同一人物を担当するエージェント間でエージェンシの形成を行う。

また、記憶用端末２１６においても、記憶用端末２１６が把握している俯瞰撮影用端末同士において同一人物を追跡していることが判別された時には、それぞれ担当するエージェント同士がエージェンシを形成するよう該当する人物情報を送信する。全ての俯瞰撮影用端末の位置およびカメラパラメータと撮影範囲内に入った人物データを共有し合うことで、俯瞰撮影用端末間での人物同定がなされ、記憶用端末に送信される画像の中で、複数視点からの同一人物の撮影画像の特定がなされ、検出された人物の３次元情報の取得が可能となる。

以上のような販売フロア２０３の俯瞰撮影によって、販売フロア２０３を行き来する人物は常にいずれかの俯瞰撮影用端末の撮影範囲内に捉えられ、抽出された人物情報の共有によりリアルタイムで２次元画像および３次元情報の取得及び記憶が行われる。

そして、このような状況の下、つまり、エントランスフロア２０２及び販売フロア２０３での俯瞰撮影及び注目撮影動作において、人物が事故や危険行動、盗難等予めシステムに定義された異常事象が起こると、俯瞰撮影用端末２１２、２１３によって即座に検出され、店員への通知と顧客人物情報の記録が行われる。

図８は、図３のステップ３１１〜Ｓ３１３の販売フロアにおける事象検出・注目撮影の詳細なフローチャートである。

システムスタンバイ状態から販売フロア２０３の俯瞰撮影を行っている俯瞰撮影用端末２１２、２１３の撮影範囲内に人物２２２が侵入すると（Ｓ８０１）、俯瞰撮影処理と同様にＳ３０１システム初期化において撮影用端末ごとに取得した背景画像と現在の画像の差分を算出することで画像中の変化領域を検出する背景差分法を用いて人物認識が行われ、同時に認識された人物に関する二次元情報の抽出が行われる（Ｓ８０２）。

認識された人物２２２は、予めシステムに定義された異常人物か否かの判断がされ（Ｓ８０３）、異常人物で無い場合は、取得した人物情報の更新を行った後、スタンバイ状態へ戻る（Ｓ８０４）。

一方、ステップ８０３において認識人物が異常人物と認識された場合は、認識人物２２２の追跡を担当するエージェントの所属するエージェンシ内で注目撮影用端末のエージェントを探索する（Ｓ８０５）。言い換えれば、認識人物２２２が現在撮影範囲内にある注目撮影用端末の探索を行う。

エージェンシ内に注目撮影用端末に所属するエージェントが存在しない、すなわち認識人物２２２が撮影範囲内にある注目撮影用端末が存在しない場合、俯瞰撮影用端末から記憶用端末２１６へ人物情報の送信が行われ、記憶用端末２１６の人物情報の更新が行われる（Ｓ８０６）。記憶用端末２１６において人物情報の更新が行われると、記憶用端末２１６に接続されている全端末情報を参照し（Ｓ８０７）、ステップＳ８０３において異常人物として認識された人物を撮影可能な注目撮影用端末の探索を行う（Ｓ８０８）。

本実施例では、販売フロア２０３に設置された１台の注目撮影用端末２１５で行っているが、注目撮影用端末が複数設置された場合でも同様の動作が可能であり、ステップ８０８の注目撮影用端末探索の結果、異常人物を撮影可能な注目撮影用端末が複数台検出された場合、記憶用端末２１６は複数台の注目撮影用端末に対して注目撮影のための指令信号を出力する。また、複数の注目撮影用端末の中から１台を選択して注目撮影を行わせるように指令信号を出力してもよい。

異常人物を撮影可能な注目撮影用端末が検出された場合、認識人物２２２の人物情報を送信し、注目撮影要請を行う（Ｓ８０９）．一方、ステップ８０５において認識人物２２２を撮影範囲中に捉え、追跡エージェントを発生させている注目撮影用端末が検出された場合は、俯瞰撮影用端末は直接該当する注目撮影用端末２１５へ認識人物の人物情報の送信を行う。

俯瞰撮影用端末または記憶用端末２１６から人物情報を受信した注目撮影用端末２１５は、受信した人物情報を元にカメラ制御を行い（Ｓ８１０）、撮影範囲内に注目人物を捉え、ステップ８０２と同様な処理によって人物認識し、得られた２次元的な人物の特徴を受信した人物情報と比較し注目人物を確認する（Ｓ８１１）。そして、認識した異常人物に対応するエージェントの探索を行い（Ｓ８１２）、ステップ８１１の処理により新たに撮影範囲に捉えられた人物である場合には、対応するエージェントを発生させた後（Ｓ８１３）、俯瞰撮影用端末または記憶用端末２１６から受信したエージェント情報を参照し、該当する異常人物を担当するエージェントのグループであるエージェンシを生成する（Ｓ［８１４）。

その後、注目する異常人物の動作に応じて詳細撮影が可能なようリアルタイムで注目撮影用端末２１５をパンニング、チルティング及びズーム制御を行う（Ｓ８１５）。例えば撮影範囲の中央に注目人物の全体像が所望の割合で位置するような制御や、顔認識のアルゴリズムを用いて人物の顔領域を撮影範囲に捉えるよう制御すること等が可能となる。

このようにして注目人物の所望の像が捉えられたならば、注目撮影用端末２１５は撮影動作を行う（Ｓ８１６）。このとき初めて注目撮影用端末２１５の撮影を開始するのではなく、ステップ８１０で注目人物情報を受信した時点、またはシステム起動時点から撮影を続けていてもよく、この場合、ステップ８１６における撮影は連続的に撮影された映像のうち、異常人物の詳細画像の存在する時間位置情報を記録することに相当する。

撮影された異常人物画像は、画像解析が行われ（Ｓ８１７）、抽出した２次元の人物情報とステップ８１０において受信した俯瞰撮影用端末または記憶用端末２１６における異常人物の二次元人物情報を共に参照することで異常人物の３次元情報を算出することが可能となる。得られた注目人物の詳細画像および３次元情報を含む人物情報は記憶用端末２１６へと送信され（Ｓ８１８）、異常人物の詳細画像および２次元画像中の特徴、追跡を担当するエージェンシと所属するエージェント情報が関連付けられて顧客人物情報として記憶・更新される（Ｓ８１９）。

記憶用端末２１６では、顧客人物情報の記憶・更新が行われるとともに（Ｓ８１９）、ユーザ端末２１８およびＰＯＳ端末２１９へ異常人物情報を特別に通知、表示させユーザへの報告を行う（Ｓ８２０、Ｓ８２１、Ｓ８２２）。これにより販売フロア２０３での異常人物の検出及び詳細情報の取得とユーザへの通知とが効率的に行われ、ユーザによる異常人物に対する迅速な対応が可能となる。

以上のように、本実施例では、エントランスフロア２０２における顧客人物情報の取得・更新（図５参照）、販売フロア２０３における俯瞰撮影（図７参照）、販売フロア２０３における事象検出・注目撮影（図８参照）というシステムシーケンスを常時リアルタイムで並列処理することで、撮影システムは店舗２０１内に立ち入った全ての人物を検出し、検出された人物の顧客人物情報として詳細画像、２次元画像中の特徴、追跡を担当するエージェンシと所属するエージェント、および人物の３次元情報の蓄積を行い、それら蓄積情報を時間及び空間的に統計処理した結果として有意情報を抽出し、それぞれ関連付けて記憶している。

表１は、本実施例において抽出・記憶される２次元情報、３次元情報および有意情報を示している。

図３から図８にまでの店舗２０１内での監視動作により示したとおり、本実施例の撮影システムは店舗２０１内に侵入、滞在する人物に関して、俯瞰撮影用端末による俯瞰画像および注目撮影用端末による注目画像を取得する。そして、それら画像情報をまずは取得した個別の端末で単独に処理することで人物に関する２次元情報を得ることができる。

人物の２次元情報としては画像中での２次元位置、２次元形状、２次元計数、２次元密度、２次元移動速度、２次元移動軌跡、２次元滞在時間および色情報を得ることができる。これらの情報を得る手法としては、エッジ抽出法やパターンマッチング法、オプティカルフロー法等、該撮影システムに適した計算の精度と負荷のバランスを考慮した画像処理アルゴリズムの選択が可能である。

次に、得られた２次元情報を、記憶用端末を介して接続されている他の撮影用端末間で共有することで対象人物の多角的観測が可能となり、以下のような３次元情報を得ることができる。

人物の３次元情報としては定義された空間内での３次元位置、３次元形状、３次元計数、３次元密度、３次元移動速度、３次元移動軌跡、３次元滞在時間および３次元動作を得ることができる。これら３次元情報は２次元情報に比べて空間的（立体的）な情報が含まれているため、より高精度で信頼性の高い情報として利用価値が高い。さらには得られた人物に関する２次元および３次元情報を時間経過的に蓄積し、有意情報として本撮影システム固有の時空間的な統計情報を定義し、抽出することが可能となる。

本実施例における有意情報としては顧客人物情報履歴、購買行動履歴、店舗レイアウト用情報、店員配置用情報、防犯対策用情報、ＰＯＳシステム自動入力用情報等が抽出可能となる。

図９に記憶用端末２１６に蓄積される顧客人物情報を階層的に示す。顧客人物に応じて人物情報９０１、９０２は蓄積されており、その内容としては詳細画像９１１として注目撮影用端末によって撮影された全身画像９２１および顔画像９２２の履歴、３次元移動軌跡９１２から使用頻度の高い移動経路や立ち寄り順序等の行動パターン９２３、３次元移動速度９１３として現在までの平均速度９２４および最高速度９２５、３次元形状９１４として身長９２６、体格９２７、頻繁に行われる動作や特徴的な行動９２８の履歴、滞在時間／日時９１５の統計として来店頻度９２９、来店パターン９３０、平均滞在時間９３１をそれぞれ上位の情報の時間的統計を取ることで求め、記憶している。

また、これら顧客人物情報９０１、９０２はＰＯＳ情報９０３と相互参照可能であり、例えば特定の人物特徴から購買履歴９１６の問い合わせや、ＰＯＳ情報９０３入力時に顧客人物情報を参照し自動入力することなどが可能となっている。

さらに、これら顧客人物情報９０１、９０２は図１０に示すように店舗情報１００１として階層的に整理することで、ユーザからのリクエストに応じて例えば全顧客人物の３次元移動軌跡１０１１、３次元密度１０１２、３次元移動速度１０１３および３次元形状１０１４等の情報から、店舗２０１における有意情報として混雑区画１０２１、人物流停滞区画１０２２、異常行動頻発区画１０２３、集客区画１０２４を映像情報と共に抽出することが可能となり、それら情報を店舗レイアウト１０３１、店員配置１０３２および防犯対策１０３３を事前に実施する為の参照情報として利用することが可能となる。

具体的には３次元移動軌跡１０１１の統計処理より店舗内で多くの人物通過がある集客区画１０２４が判別されると、注目させたい商品の陳列を行うよう店舗レイアウトの変更を行い、人物通過が少なく３次元密度も低いにもかかわらず３次元移動速度が低い位置は人物流停滞区画１０２２として通路設計を見直し、人物の３次元形状から異常行動頻発と判別された異常行動頻発区画１０２３に対しては、店舗レイアウトの変更に加え、店員の配置を密にし、それに対する防犯対策を予め実際の過去に発生した異常行動映像を参照してシミュレーションすることが可能となる。

図１１は、本発明の実施例２における撮影システムの動作フローチャートである。撮影システムの概略、撮影用端末の人物認識処理と端末間の人物情報共有および一般的な店舗への撮影システムの適用については上記実施例１と同様であるため、説明を省略する。

図１１において、システム初期化およびスタンバイ状態（Ｓ１０１１、Ｓ１０１２）、並行して実行されるエントランスフロア２０２におけるステップ１１０３〜ステップ１１０８および、販売フロア２０３におけるステップ３０９〜ステップ３１４に関しては、上記実施例１の図３と同様に行われる。

上記実施例１において、エントランスフロア２０２および販売フロア２０３における処理動作とともに、俯瞰撮影用端末により人物および特定事象の検出が行われたならば注目撮影用端末へ注目撮影を行うように指令信号等を出力して注目撮影を要請し、注目撮影用端末は人物の検出、撮影、画像解析および３次元情報取得を行った後、全ての情報を顧客人物情報として記憶用端末へ送信している。

これに対し本実施例では、注目撮影の指令信号を受信した注目撮影用端末は、人物の検出、撮影、画像解析を行うが、３次元情報取得および有意情報取得処理はユーザからのリクエスト、すなわちユーザの操作に応じて実行される。

ステップ１１１５〜ステップ１１１７では、ユーザからの３次元情報リクエスト処理であり、ステップ１１１５においてユーザから３次元情報の要求が行われた場合、記憶用端末は記憶した映像の解析を行い、要求された人物を同時に撮影した複数視点の画像解析結果と、共に記憶している撮影を行った端末情報を参照することで３次元情報の算出を行う（Ｓ１１１６）。算出された３次元情報は対応する映像とともに要求したユーザ（端末）へ送信する（Ｓ１１１７）。

同様に、ステップ１１１８〜ステップ１１２１では、有意情報リクエスト処理であり、ステップ１１１８においてユーザから有意情報の要求が行われた場合、記憶用端末では記憶した映像の解析を行い、要求された条件に応じた人物を同時に撮影した複数視点の画像解析結果と、共に記憶している撮影を行った端末情報を参照することで３次元情報の算出を行う（Ｓ１１１９）。そして、算出された複数の３次元情報の時間的統計を計算することで対応する映像と共に有意情報を算出する（Ｓ１１２０）。これら算出された３次元情報および有意情報は、要求したユーザ（端末）へ送信される（Ｓ１１２１）。

このように本実施例では、処理負荷の大きい３次元情報および有意情報の算出を映像取得と同時にリアルタイム処理するのではなく、ユーザの要求時または撮影終了後のオフライン処理で実行することで、端末に必要とされる計算負荷、記憶容量および撮影システムの通信負荷等を低減することが可能となる．

図１２は、本発明の実施例３における撮影システムの概略構成図である。上記実施例１、２では、図１に示すように撮影システムシステムがネットワークに接続された複数の撮影用端末１０１〜１０４と、記憶用端末１１１およびユーザ端末１２１により構成されている。つまり、撮影用端末１０１〜１０４により取得される映像を含めた各種情報は一旦記憶用端末１１１に集められ、情報を記憶用端末１１１により一元管理するするサーバ・クライアント型システムとなっている。

これに対して本実施例では、図１２に示すようにピア・ツー・ピア型のシステム構成としている。具体的には、撮影記憶用端末１２０１〜１２０３は互いにサーバを介さずに情報交換（通信）を行うとともに、撮影記憶用端末１２０１には、対象の映像を取得する撮影部１２２５と、複数の映像より対象の３次元情報を抽出する３次元情報抽出部１２２４と、映像情報その他を記憶する記憶部１２２３と、３次元情報を時間的に統計処理する有意情報抽出部１２２２および通信部が設けられ、ネットワーク１２０１を介して他の端末との情報の送受信が可能な状態となっている。

ユーザ端末１２１１は、ユーザへの各種情報のインタフェイスである表示部１２３１および通信部１２３２を有しており、ユーザの該撮影システムへのアクセスを可能にしている。

このように本実施例では、撮影記憶用端末１２０１〜１２０４が各々が取得した映像とその解析結果を互いに通信し合うことで情報共有を行い、３次元情報および有意情報の抽出を行う。つまり、ピア・ツー・ピア型のシステム構成においてそれぞれの撮影記憶用端末が同様な機能を有するので、サーバ・クライアント型に比べてシステム構築の柔軟性と、端末に不具合が生じたときのシステム全体の安定性が向上する。

本発明の実施例１における撮影システムの概略構成図。本発明の実施例１における撮影システムを店舗に適用した抽象図。本発明の実施例１のおける撮影システムの動作フローチャート図。本発明の実施例１における撮影システムのシステム初期化に係るフローチャート図。本発明の実施例１における撮影システムの顧客人物情報取得・更新処理フローチャート図（エントランスフロア）。本発明の実施例１における撮影システムの情報共有概念図。本発明の実施例１における撮影システムの俯瞰撮影に係るフローチャート図（販売フロア）。本発明の実施例１における事象検出・注目撮影に係るフローチャート図（販売フロア）。本発明の実施例１における顧客人物情報を示す階層図。本発明の実施例１における顧客人物情報を店舗情報として示した階層図。本発明の実施例２における撮影システムの動作フローチャート図。本発明の実施例３における撮影システムの概略構成図。従来の撮影システムの概略構成図。

符号の説明

１０１撮影用端末（撮影ユニット）
１１１記憶用端末（記憶ユニット）
１２１ユーザ用端末
１３１ネットワーク
１４２撮影部
１４１通信部
１５１３次元情報抽出部
１５２記憶部
１５３有意情報抽出部

Claims

対象物を撮影する撮影ステップと、
撮影された前記対象物の画像情報から前記対象物の３次元情報を抽出するステップと、
前記画像情報から前記対象物の属性及び状態のうち少なくとも１つの対象特定情報を抽出するステップと、
前記対象物に基づいて前記画像情報、前記３次元情報及び前記対象特定情報を関連付けて記憶するステップとを有することを特徴とする撮影プログラム。
前記対象物の色情報、２次元情報及び前記対象特定情報と、前記画像情報とをそれぞれ関連付けて記憶するステップを有することを特徴とする請求項１に記載の撮影プログラム。
前記対象特定情報は、撮影状況における時間および空間的な統計情報であることを特徴とする請求項１又は２に記載の撮影プログラム。
前記３次元情報は、前記対象物の３次元位置、３次元形状、３次元計数、３次元密度、３次元速度、３次元軌跡、３次元動作を含むことを特徴とする請求項１から３のいずれか１つに記載の撮影プログラム。
前記対象物の撮影は、複数の撮影ユニットにより行われることを特徴とする請求項１から４のいずれか１つに記載の撮影プログラム。
対象物を撮影する撮影手段と、
撮影された前記対象物の画像情報から前記対象物の３次元情報を抽出する３次元情報抽出手段と、
前記画像情報から前記対象物の属性及び状態のうち少なくとも１つの対象特定情報を抽出する対象特定情報抽出手段と、
前記画像情報、前記３次元情報及び前記対象特定情報を記憶する記憶手段と、
前記対象物に基づいて前記画像情報、前記３次元情報及び前記対象特定情報を関連付けて前記記憶部に記憶する制御手段とを有することを特徴とする撮影システム。
前記制御手段は、前記対象物の色情報、２次元情報及び前記対象特定情報と、前記画像情報とをそれぞれ関連付けて記憶することを特徴とする請求項６に記載の撮影システム。
前記対象特定情報は、撮影状況における時間および空間的な統計情報であることを特徴とする請求項６又は７に記載の撮影システム。
前記前記画像情報、前記３次元情報及び前記対象特定情報を表示する表示手段と、それぞれの前記手段との通信を行う通信手段とを備えたコンピュータを有し、
前記制御手段は、前記コンピュータからの出力信号に基づいて前記対象特定情報を抽出することを特徴とする請求項６から８のいずれか１つに記載の撮影システム。
前記制御手段は、所定のタイミングで前記対象特定情報を抽出することを特徴とする請求項９に記載の撮影システム。
前記対象物の撮影は、複数の撮影ユニットにより行われることを特徴とする請求項６から１０のいずれか１つに記載の撮影システム。