JP5909712B1 - 動線分析システム、カメラ装置及び動線分析方法 - Google Patents

Abstract

【課題】来客者と従業員が混在する店舗において、プライバシーの保護を図りながらも、来客者の行動軌跡を把握する。【解決手段】カメラ装置１００は、店舗のフロアを撮像して、フロアの撮像画像の背景画像を繰り返し生成し、またＢＬＥ受信端末１６０で受信された来客者１５２の位置情報に基づき、撮像画像に含まれる来客者１５２のフロアにおける滞留位置又は通過位置に関する動線情報を取得する。カメラ装置１００は、所定の送信周期毎に、生成した背景画像と、取得した来客者１５２の動線情報とをサーバ装置３００に送信する。サーバ装置３００は、カメラ装置１００から送信された背景画像と、来客者１５２の動線情報とを受信し、来客者１５２の動線情報を行動の軌跡として、背景画像に重畳した動線分析画像１７５を生成し、生成した動線分析画像１７５をモニタ４５０に表示させる。【選択図】図３

Description

本発明は、カメラ装置の撮像により得られた画像に、人物の滞留情報又は通過情報を重畳した動線分析画像を生成する動線分析システム、カメラ装置及び動線分析方法に関する。

カメラ装置が設置された撮影現場における時間毎の人物の活動量レベルをヒートマップ画像として表示する先行技術として、例えば特許文献１が知られている。

特許文献１では、ネットワークを介して接続されたセキュリティカメラが設置された撮影現場における人物の動線を分析して活動量レベルを算出し、撮影現場の床配置図にセンサの検出結果を重畳したヒートマップ画像を生成し、セキュリティカメラに対応したブラウザの画面上にヒートマップ画像を表示することが開示されている。これにより、ブラウザの画面上に表示されたヒートマップ画像を閲覧することにより、撮影現場における人物の活動量レベルが把握可能となる。

また、特許文献１に示す床配置図とは異なり、カメラ装置が撮像した画像上に、人物の動線密度や人数検出結果を重畳したヒートマップ画像を生成して表示する技術も提案されている（例えば非特許文献１参照）。

ここで、特許文献１における床配置図にセンサの検出結果を重畳させる場合、床配置図とセキュリティカメラの撮影現場における画像とが正確にマッチング（一致）していることが必要となるが、特許文献１では床配置図は変更されず不変であるため、ヒートマップ画像の元となる床配置図を作成した時点から、撮影現場の配置が変更ない場合に限り、画像と床配置図とはマッチングする。

特開２００９−１３４６８８号公報

"今までなかった３６０°をたった一台で監視できる！革新的監視カメラＭＯＢＯＴＩＸ Ｑ２４"，[ｏｎｌｉｎｅ]，株式会社オーピーエヌ，２０１４，[ｒｅｔｒｉｅｖｅｄ ｏｎ ２０１４−０６−１６]，Ｒｅｔｒｉｅｖｅｄ ｆｒｏｍ ｔｈｅ Ｉｎｔｅｒｎｅｔ：<ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｏｐｎ−ｗｅｂ．ｃｏｍ／ｍｏｂｏｔｉｘ／ｉｎｄｅｘ．ｈｔｍ＞．

ところで、特許文献１のシステム構成を店舗にて使用することを想定すると、店舗マップ（つまり、撮影現場の床配置図に相当）上に人物の行動軌跡を表示することは可能であるが、店舗内の陳列等のレイアウト変更が行われた場合、レイアウト変更後はレイアウトと人物の行動軌跡との相関を俯瞰することができない。即ち、品物の配置を変えても店舗マップは変わらないが、人物（例えば来客者、従業員）の動きは変わってしまうため、これらの相関の俯瞰が困難となる。そこで、非特許文献１に記載の技術のように、店舗マップに代えてカメラ装置が撮像した画像上に人物の行動軌跡を表示することで、レイアウト変更があってもカメラ装置が変更後のレイアウトを撮像するので、レイアウトと人物の行動軌跡との相関を俯瞰することが可能である。

しかしながら、カメラ装置が撮像した画像を使用することで、カメラ装置の撮像領域に存在する全ての人物が映ってしまうため、プライバシー保護を図ることができなくなる。また、来客者と従業員の両方の行動軌跡を記録してしまうと、マーケティング情報の把握という点で正確性に欠けてしまう。

本発明は、上述した従来の課題を解決するために、来客者と従業員が混在する店舗において、プライバシーの保護を図りながらも、レイアウト変更があっても来客者の行動軌跡を正確に把握する動線分析システム、カメラ装置及び動線分析方法を提供することを目的とする。

本発明は、カメラ装置とサーバ装置とが相互に接続された動線分析システムであって、前記カメラ装置は、撮像エリアを撮像し、前記撮像された前記撮像エリアの撮像画像に対応する背景画像を繰り返し生成し、所定の送信周期毎に、前記撮像された前記撮像エリアの撮像画像と、前記生成された前記背景画像とを前記サーバ装置に送信し、前記サーバ装置は、前記カメラ装置から送信された前記撮像エリアの撮像画像と前記背景画像とを受信し、前記撮像エリアの撮像画像を基に、来客者により所持され、又は前記来客者の利用物に装着される来客者識別情報の前記撮像エリアにおける滞留位置又は通過位置に関する来客者動線情報を抽出し、前記抽出された前記来客者動線情報を前記来客者の行動軌跡として、前記背景画像に重畳した第１の動線分析画像を生成し、前記生成された前記第１の動線分析画像を表示部に表示させる、動線分析システムを提供する。

また、本発明は、サーバ装置と接続され、動線分析システムで用いられるカメラ装置であって、撮像エリアを撮像する撮像部と、前記撮像された前記撮像エリアの撮像画像に対応する背景画像を繰り返し生成し、前記撮像エリアの撮像画像を基に、来客者により所持され、又は前記来客者の利用物に装着される来客者識別情報の前記撮像エリアにおける滞留位置又は通過位置に関する来客者動線情報を抽出し、所定の送信周期毎に、前記抽出された前記来客者動線情報を前記来客者の行動軌跡として、前記生成された前記背景画像に重畳した動線分析画像を生成するプロセッサと、所定の送信周期毎に、前記生成された前記動線分析画像を、前記動線分析画像を表示する前記サーバ装置に送信する送信部と、を備える、カメラ装置を提供する。

また、本発明は、カメラ装置とサーバ装置とが相互に接続された動線分析システムにおける動線分析方法であって、前記カメラ装置において、撮像エリアを撮像し、前記撮像エリアの撮像画像に対応する背景画像を繰り返し生成し、所定の送信周期毎に、前記撮像エリアの撮像画像と前記背景画像とを前記サーバ装置に送信し、前記サーバ装置において、前記カメラ装置から送信された前記撮像エリアの撮像画像と前記背景画像とを受信し、前記撮像エリアの撮像画像を基に、来客者により所持され、又は前記来客者の利用物に装着される来客者識別情報の前記撮像エリアにおける滞留位置又は通過位置に関する来客者動線情報を抽出し、前記来客者動線情報を前記来客者の行動軌跡として、前記背景画像に重畳した第１の動線分析画像を生成し、前記第１の動線分析画像を表示部に表示させる、動線分析方法を提供する。

本発明によれば、来客者と従業員が混在する店舗において、プライバシーの保護を図りながらも、レイアウト変更があっても来客者の行動軌跡を正確に把握することができる。

本実施形態の販売管理システムの概略構成を示すブロック図 本実施形態の販売管理システムの複数のカメラ装置、ＢＬＥ受信端末及びＢＬＥ送信端末の概要を示す図 本実施形態の販売管理システムのカメラ装置及びサーバ装置のそれぞれの機能的な内部構成を詳細に示すブロック図 本実施形態の販売管理システムのカメラ装置の画像入力、背景画像生成、動線情報分析の各処理の動作タイミングを説明するタイムチャート 本実施形態の販売管理システムのカメラ装置の画像入力部に入力された撮像画像の一例と背景画像生成部により生成された背景画像の一例を示す図 本実施形態の販売管理システムのサーバ装置において生成される動線分析画像の一例を示す図 本実施形態の販売管理システムのサーバ装置において、来客者の位置情報を把握し、該来客者の行動軌跡を背景画像に重畳させるまでの処理を説明するためのフローチャート 本実施形態の販売管理システムのサーバ装置において、来客者の行動軌跡を背景画像に重畳させるためのトランザクションＩＤの生成／終了処理を説明するためのフローチャート 本実施形態の販売管理システムのサーバ装置において、トランザクションＩＤの生成／終了処理の説明を補助するための図 本実施形態の変形例のカメラ装置の機能的な内部構成を詳細に示すブロック図 図３に示すカメラ装置及びサーバ装置の変形例におけるそれぞれの機能的な内部構成を詳細に示すブロック図 図１１に示すカメラ装置及びサーバ装置において、来客者動線情報を抽出し、来客者動線情報を行動軌跡として背景画像に重畳させるまでの処理を説明するためのフローチャート 図１０に示すカメラ装置の変形例における機能的な内部構成を詳細に示すブロック図

以下、適宜図面を参照しながら、本発明に係る動線分析システム、カメラ装置及び動線分析方法を具体的に開示した実施形態（以下、「本実施形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

図１は、本実施形態の販売管理システム１０００の概略構成を示すブロック図である。同図において、本実施形態の販売管理システム１０００は、複数の店舗Ａ，Ｂ，Ｃ，…に設置された動線分析システム５００Ａ，５００Ｂ，５００Ｃ，…と、運営本部のサーバ装置６００と、スマートフォン７００と、クラウドコンピュータ８００と、設定端末装置９００とを有する。複数の店舗Ａ，Ｂ，Ｃ，…に設置された動線分析システム５００Ａ，５００Ｂ，５００Ｃ，…は、ネットワークＮＷを介してサーバ装置６００、スマートフォン７００、クラウドコンピュータ８００及び設定端末装置９００と相互に接続されている。

ネットワークＮＷは、無線ネットワーク又は有線ネットワークである。無線ネットワークは、例えば無線ＬＡＮ（Local Area Network）、無線ＷＡＮ（Wide Area Network）、３Ｇ、ＬＴＥ（Long Term Evolution）又はＷｉＧｉｇ（Wireless Gigabit）である。有線ネットワークは、例えばイントラネット又はインターネットである。

店舗Ａに設置された動線分析システム５００Ａは、店舗Ａのフロア１に設置された複数のカメラ装置１００，１００Ａ，…，１００Ｎと、レコーダ２００と、サーバ装置３００と、入力デバイス４００と、モニタ４５０とを有する。店舗Ａのフロア１に設置されたカメラ装置１００，１００Ａ，…，１００Ｎ、レコーダ２００及びサーバ装置３００は、ネットワークＮＷに接続される。なお、店舗Ａのフロア２にもフロア１と同様に複数のカメラ装置１００，１００Ａ，…，１００Ｎが設置され、フロア２内のカメラ装置の図示を省略している。また、それぞれのカメラ装置１００，１００Ａ，…１００Ｎの内部構成は同様であり、その詳細については図３を参照して後述する。

店舗Ａに設置された動線分析システム５００Ａは、さらに、店舗Ａに来店するお客（以下、“来客者”という）に所持させる複数（１−ｎ、ｎは整数）のＢＬＥ送信端末（位置情報送信装置）１５０と、店舗Ａ内に設置される複数（１−ｍ、ｍは整数）のＢＬＥ受信端末（位置情報受信装置）１６０とを有する。これらの端末は、近距離無線通信（ＮＦＣ）機能を有する携帯端末に機能として設けることも可能である。ＢＬＥ受信端末１６０はフロア毎に複数設置される。ＢＬＥ送信端末１５０及びＢＬＥ受信端末１６０は近距離無線通信規格（Bluetooth（登録商標） Low Energy）に準拠した端末である。ＢＬＥ送信端末１５０は、来客者の利用物（買物カゴ、カート、携帯端末等）に装着することができるように小型・薄型化するのが望ましい。ＢＬＥ送信端末１５０は、これを所持（間接的に所持又は直接所持）した来客者の位置情報を送信し、ＢＬＥ受信端末１６０は、ＢＬＥ送信端末１５０から送信された来客者の位置情報を受信する。なお、フロア毎に設置されるＢＬＥ受信端末１６０の個数は店舗の規模に応じて予め決められるが、ＢＬＥ送信端末１５０の個数は来客者数に応じて変動する。

店舗Ａ内に設置される全てのＢＬＥ受信端末１６０は、ネットワークＮＷに接続される。他の店舗Ｂ，Ｃ，…においても来客者がＢＬＥ送信端末１５０を所持し、フロア毎に複数のＢＬＥ受信端末１６０が設置される。図２は、例えば店舗Ａのフロア１に設置されたカメラ装置１００，１００Ａ，…及びＢＬＥ受信端末１６０と、店舗Ａのフロア１にいる来客者１５２が所持しているＢＬＥ送信端末１５０の概要を示す図である。同図に示すように、複数のカメラ装置１００，１００Ａ，…及び複数のＢＬＥ受信端末１６０のそれぞれがネットワークＮＷに接続される。また、各カメラ装置１００，１００Ａ，…は、店舗Ａのフロア１（所定の撮像領域）を撮像する。フロア１には、複数の従業員１５１と複数の来客者１５２が存在し、各カメラ装置１００，１００Ａ，…にて撮像される。

図１に戻り、レコーダ２００は、例えば半導体メモリ又はハードディスク装置を用いて構成され、店舗Ａ内に設置された各カメラ装置１００，１００Ａ，…，１００Ｎの撮像により得られた画像（以下、カメラ装置の撮像により得られた画像を「撮像画像」という）を記憶する。レコーダ２００に記憶された撮像画像は、例えば防犯等の監視業務に供される。なお、各カメラ装置１００，１００Ａ，…，１００Ｎの撮像により得られた撮像画像をレコーダ２００に記憶する際には、日時と各カメラ装置１００，１００Ａ，…，１００Ｎに付与された識別番号も一緒に記憶される。

サーバ装置３００は、例えばＰＣ（Personal Computer）を用いて構成され、入力デバイス４００を操作するユーザ（例えば動線分析システムのユーザであって、店舗Ａの店長を含む従業員１５１を指す、以下同様）の入力操作に応じて、所定のイベント（例えば店舗Ａのフロア１の売場のレイアウトの変更）が発生したことをカメラ装置１００に通知する。また、詳細は後述するが、サーバ装置３００は、店舗Ａ内での来客者１５２の動線情報を行動軌跡として、撮像画像の背景画像に重畳した動線分析画像を生成してモニタ４５０に表示させる。なお、サーバ装置３００の内部構成の詳細については図３を参照して後述する。

入力デバイス４００は、例えばマウス、キーボード、タッチパネル又はタッチパッドを用いて構成され、ユーザの入力操作に応じた信号をカメラ装置１００又はサーバ装置３００に出力する。なお、図１では、図面を簡単にするために、入力デバイス４００とカメラ装置１００との間にだけ矢印が図示されているが、入力デバイス４００と他のカメラ装置（例えばカメラ装置１００Ａ、１００Ｎ）との間に矢印が図示されても良い。モニタ４５０は、例えばＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electrolumines-cence）を用いて構成され、サーバ装置３００により生成された動線分析画像を表示する。なお、モニタ４５０は、サーバ装置３００とは異なる外部装置として設けられるが、サーバ装置３００の内部に含まれた構成としても良い。

運営本部のサーバ装置６００は、このサーバ装置６００を操作する運営本部の従業員（例えば役員）の入力操作に応じて、各店舗Ａ，Ｂ，Ｃ，…内に設置された動線分析システム５００Ａ，５００Ｂ，５００Ｃ，…において生成された動線分析画像を取得して表示するための閲覧用装置である。スマートフォン７００は、このスマートフォン７００を操作する運営本部の従業員（例えば営業担当者）の入力操作に応じて、各店舗Ａ，Ｂ，Ｃ，…内に設置された動線分析システム５００Ａ，５００Ｂ，５００Ｃ，…において生成された動線分析画像を取得して表示するための閲覧用装置である。クラウドコンピュータ８００は、各店舗Ａ，Ｂ，Ｃ，…内に設置された動線分析システム５００Ａ，５００Ｂ，５００Ｃ，…において生成された動線分析画像を記憶するオンラインストレージである。

設定端末装置９００は、例えばＰＣを用いて構成され、各店舗Ａ，Ｂ，Ｃ，…内に設置された動線分析システム５００Ａ，５００Ｂ，５００Ｃ，…のカメラ装置の設定画面を表示する専用のブラウザソフトウェアを実行可能である。設定端末装置９００は、これを操作する運営本部の従業員（例えば販売管理システム１０００のシステム管理者）の入力操作に応じて、カメラ装置の設定画面（例えばＣＧＩ（Common Gateway Interface））をブラウザソフトウェアにおいて表示し、カメラ装置の設定情報を編集（修正、追加、削除）して設定する。

（カメラ装置）
図３は、本実施形態のカメラ装置１００及びサーバ装置３００のそれぞれの機能的な内部構成を詳細に示すブロック図である。なお、図１に示す販売管理システム１０００において、店舗Ａ，Ｂ，Ｃ，…に設置されるそれぞれのカメラ装置は同様な構成であるため、図３ではカメラ装置１００を例示して説明する。

図３において、カメラ装置１００は、撮像部１０と、画像入力部２０と、背景画像生成部３０と、動線情報分析部４０と、スケジュール管理部５０と、送信部６０と、イベント情報受領部７０と、背景画像蓄積部８０と、通過／滞留分析情報蓄積部９０と、来客者情報取得部１７０と、来客者の通過／滞留分析情報蓄積部１７１とを有する。

撮像部１０は、不図示のレンズとイメージセンサとを少なくとも有する。レンズは、カメラ装置１００の外部から入射する光（光線）を集光し、イメージセンサの所定の撮像面に結像させる。レンズには、魚眼レンズ、又は例えば１４０度以上の画角が得られる広角レンズが用いられる。イメージセンサは、例えばＣＣＤ（Charged-Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。

画像入力部２０は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、撮像部１０からの電気信号を用いて所定の信号処理を行うことで、人間が認識可能なＲＧＢ（Red Green Blue）又はＹＵＶ（輝度・色差）等により規定される撮像画像（フレーム）を生成して背景画像生成部３０及び動線情報分析部４０に出力する。

背景画像生成部３０は、入力画像学習部３１と、移動体分離部３２と、背景画像抽出部３３とを有し、撮像領域の撮像画像の背景画像を繰り返し生成する。背景画像生成部３０は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成され、所定のフレームレート（例えば３０ｆｐｓ（frame per second））で、画像入力部２０から出力された撮像画像（フレーム）毎に、撮像画像に含まれる移動体（人物であり、主に従業員１５１と来客者１５２）を排除した背景画像を生成して背景画像蓄積部８０に保存する。背景画像生成部３０における背景画像の生成処理は、例えば下記の参考特許文献に開示されている方法を用いることができるが、この参考特許文献に開示されている方法に限定されない。

（参考特許文献）特開２０１２−２０３６８０号公報

ここで、背景画像生成部３０の動作概要について、図４及び図５を参照して簡単に説明する。図４は、本実施形態のカメラ装置１００の背景画像生成部３０の動作概要の説明図である。図５の（ａ）は、画像入力部２０に入力された撮像画像の一例を示す図である。図５の（ｂ）は、背景画像生成部３０により生成された背景画像の一例を示す図である。

図４では、紙面の上側から下側に向かう時間軸に直交する紙面の左側から右側に向かって、入力画像学習部３１、移動体分離部３２、背景画像抽出部３３の生成結果が模式的に示され、店舗の来店客が飲料の入った４つの段ボールのうち１つの段ボールを持ち運ぶ様子が示されている。

入力画像学習部３１は、画像入力部２０から出力された複数の撮像画像のフレーム（例えば図４に示す各フレームＦＭ１〜ＦＭ５）において、画素毎に、画素の輝度及び色差の値の分布状況を分析する。移動体分離部３２は、入力画像学習部３１の学習結果（即ち、複数のフレーム間（例えば図４に示す時間軸方向）の同一画素毎の輝度及び色差の分布状況の分析結果）を用いて、撮像画像の各フレームＦＭ１〜ＦＭ５において、移動体の情報（例えばフレームＦＭ１ａ〜ＦＭ５ａ参照）と移動体以外（例えば、背景）の情報（例えばフレームＦＭ１ｂ〜ＦＭ５ｂ参照）とに分離する。なお、移動体である人物が段ボールを持ち運ぶ様子を示す撮像画像のフレームＦＭ３，ＦＭ４では、人物が持ち運ぶ段ボールの画素に対応する輝度及び色差の値は時間軸方向（例えば図４参照）に沿って変化するので、移動体分離部３２は、人物が持ち運ぶ段ボールを移動体とみなす。

背景画像抽出部３３は、移動体分離部３２が分離した情報のうち、移動体以外の情報が映るフレームＦＭ１ｂ〜ＦＭ５ｂを、画像入力部２０から出力された撮像画像のフレームＦＭ１〜ＦＭ５の背景画像のフレームＦＭ１ｃ〜ＦＭ５ｃとして抽出して背景画像蓄積部８０に保存する。

図５の（ａ）に示す撮像画像のフレームＦＭ１０ａでは、例えば食堂の中で料理を提供している人、料理をトレーで受け取る人がそれぞれ移動体として示されている。図５の（ａ）に示す撮像画像のフレームＦＭ１０ａに対して、背景画像生成部３０が生成した背景画像のフレームＦＭ１０ｃ（図５の（ｂ）参照）では、移動体としての同じ食堂の中で料理を提供している人も料理を受け取る人も映らないように排除されている。以上が背景画像生成部３０の動作概要である。

図３に戻り、動線情報分析部４０は、対象検出部４１と、動線情報取得部４２と、通過／滞留状況分析部４３とを有する。動線情報分析部４０は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成され、所定のフレームレート（例えば１０ｆｐｓ）で、画像入力部２０から出力された撮像画像（フレーム）毎に、該撮像画像に含まれる移動体の滞留位置又は通過位置に関する動線情報を抽出して通過／滞留分析情報蓄積部９０に保存する。撮像画像に含まれる移動体は、主に従業員１５１と来客者１５２である。

対象検出部４１は、画像入力部２０から出力された撮像画像のフレームに対して所定の画像処理（例えば人物検出処理、顔検出処理）を行うことで、撮像画像のフレームに含まれる移動体の有無を検出する。対象検出部４１は、撮像画像のフレームに含まれる移動体を検出した場合には、撮像画像のフレームに対する移動体の検出領域に関する情報（例えばフレームの座標情報）を動線情報取得部４２に出力する。なお、対象検出部４１は、撮像画像のフレームに含まれる移動体を検出しなかった場合には、移動体の検出領域に関する情報（例えば所定のヌル情報）を動線情報取得部４２に出力する。

動線情報取得部４２は、対象検出部４１から出力された移動体の検出領域に関する情報を基に、画像入力部２０から出力された撮像画像の情報と、過去の移動体の検出領域に関する情報（例えば、撮像画像情報や座標情報）を用いて、現在と過去の検出領域に関する情報の紐付けを行い、動線情報（例えば移動体の検出領域の座標情報の変化量）として通過／滞留状況分析部４３に出力する。

通過／滞留状況分析部４３は、複数の撮像画像に対して動線情報取得部４２から出力された動線情報を基に、撮像画像のフレームにおける移動体の滞留位置又は通過位置に関する動線情報（例えば、「対象位置情報」と「動線情報」と「通過状況又は滞留状況に関する情報」）を抽出して生成する。また、通過／滞留状況分析部４３は、移動体の滞留位置又は通過位置に関する動線情報の抽出結果を用いて、サーバ装置３００の表示画像生成部３５０において生成される動線分析画像のカラー部分の可視化画像を生成しても良い。通過／滞留状況分析部４３は、複数の撮像画像のフレームに対する動線情報を用いることで、画像入力部２０から出力された撮像画像のフレームの中で、移動体が滞留した位置又は通過した位置に関する正確な動線情報を抽出して生成することができる。

来客者情報取得部１７０は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成され、ＢＬＥ受信端末１６０の出力に基づき、撮像領域の撮像画像に含まれる来客者の撮像領域における滞留位置又は通過位置に関する動線情報を検出して来客者の通過／滞留分析情報蓄積部１７１に保存する。スケジュール管理部５０は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成され、背景画像蓄積部８０に保存された背景画像と、通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果と、来客者の通過／滞留分析情報蓄積部１７１に保存された来客者の動線情報とをサーバ装置３００に定期的に送信するための所定の送信周期を送信部６０に指示する。所定の送信周期は、例えば１５分、１時間、１２時間、２４時間等であるが、これらの時間間隔に限定されない。

送信部６０は、スケジュール管理部５０又はイベント情報受領部７０からの指示に応じて、背景画像蓄積部８０に保存された背景画像と、通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果と、来客者の通過／滞留分析情報蓄積部１７１に保存された来客者の動線情報とを取得してサーバ装置３００に送信する。

イベント情報受領部７０は、サーバ装置３００又は入力デバイス４００から所定のイベント（例えば店舗Ａのフロア１の売場のレイアウトの変更）の検出の通知を受領（取得）し、所定のイベントの検出の通知を受領したことで、背景画像蓄積部８０に保存された背景画像と、通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果と、来客者の通過／滞留分析情報蓄積部１７１に保存された来客者の動線情報とのサーバ装置３００への送信指示を送信部６０に出力する。

背景画像蓄積部８０は、例えばＳＤメモリカード等の半導体メモリ又はハードディスク装置を用いて構成され、背景画像生成部３０により生成された背景画像（フレーム）を記憶する。通過／滞留分析情報蓄積部９０は、例えば半導体メモリ又はハードディスク装置を用いて構成され、動線情報分析部４０により生成された移動体の滞留位置又は通過位置に関する動線情報の抽出結果（例えば、「対象位置情報」と「動線情報」と「通過状況又は滞留状況に関する情報」）を記憶する。来客者の通過／滞留分析情報蓄積部１７１は、例えば半導体メモリ又はハードディスク装置を用いて構成され、来客者情報取得部１７０で取得された来客者の撮像領域における滞留位置又は通過位置に関する動線情報を記憶する。

なお、図３に示すカメラ装置１００は、イベント情報受領部７０の代わりに、シーン識別部ＳＤを設けても良い。画像変化検出部の一例としてのシーン識別部ＳＤは、画像入力部２０から出力された撮像画像の変化（例えば店舗Ａのフロア１の売場のレイアウトが変更したというイベント）の有無を検出する。シーン識別部ＳＤは、撮像画像の変化を検出した場合には、背景画像蓄積部８０に保存された背景画像と、通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果と、来客者の通過／滞留分析情報蓄積部１７１に保存された来客者の撮像領域における滞留位置又は通過位置に関する動線情報とのサーバ装置３００への送信指示を送信部６０に出力する。

また、図３に示すカメラ装置１００は、人数カウント部ＣＴを更に設けても良い。移動体検出部の一例としての人数カウント部ＣＴは、画像入力部２０から出力された撮像画像に対して所定の画像処理（例えば人物検出処理）を行うことで、撮像画像に含まれる移動体の検出数をカウントする。人数カウント部ＣＴは、撮像画像に含まれる移動体の検出数に関する情報を送信部６０に出力する。

（サーバ装置）
図３に示すサーバ装置３００は、イベント情報受領部３１０と、通知部３２０と、受信部３３０と、受信情報蓄積部３４０と、表示画像生成部３５０と、レポート生成出力部３６０とを含む構成である。イベント情報受領部３１０は、該当するカメラ装置（例えばカメラ装置１００）毎に、所定のイベント（例えば店舗Ａのフロア１の売場のレイアウトの変更）が発生したことを示す情報が入力デバイス４００から入力された場合には、所定のイベントの検出の通知を受領する。イベント情報受領部３１０は、所定のイベントの検出の通知を受領したことを通知部３２０に出力する。なお、所定のイベントが発生したことを示す情報には、所定のイベントが発生した場所を撮像領域として撮像するカメラ装置の識別番号が含まれる。

通知部３２０は、イベント情報受領部３１０から出力された所定のイベントの検出の通知を該当するカメラ装置（例えばカメラ装置１００）に送信する。受信部３３０は、カメラ装置１００の送信部６０から送信されたデータ（即ち、背景画像蓄積部８０に保存された背景画像、通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果、及び来客者の通過／滞留分析情報蓄積部１７１に保存された来客者の撮像領域における滞留位置又は通過位置に関する動線情報を受信して受信情報蓄積部３４０及び表示画像生成部３５０に出力する。

受信情報蓄積部３４０は、例えば半導体メモリ又はハードディスク装置を用いて構成され、受信部３３０が受信したデータ（即ち、背景画像蓄積部８０に保存された背景画像、通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果、及び来客者の通過／滞留分析情報蓄積部１７１に保存された来客者の撮像領域における滞留位置又は通過位置に関する動線情報）を記憶する。受信情報蓄積部３４０には、当該各データの記憶において、日時や各カメラ装置１００，１００Ａ，…，１００Ｎの設置位置に対する撮像場所等の撮像画像を特定できる情報も併せて記憶される。

表示画像生成部３５０は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成され、受信部３３０又は受信情報蓄積部３４０から取得した撮像画像の背景画像、移動体の動線情報及び来客者の動線情報のうち、撮像画像の背景画像と来客者の動線情報を用いて動線分析画像を生成する。即ち、表示画像生成部３５０は、来客者の動線情報を行動軌跡として、撮像画像の背景画像に重畳した動線分析画像を生成する。そして、生成した動線分析画像をモニタ４５０に表示させる。さらに、表示画像生成部３５０は、生成した動線分析画像に加えて、来客者の動線情報を示すアイコンをモニタ４５０に表示させる。ここでのアイコンとは、例えば“買物カゴ”、“カート”、“携帯端末”のアイコンや、“来客者”のアイコンなどである。なお、表示画像生成部３５０は、画像生成部と表示制御部に対応する。

動線分析画像は、カメラ装置１００が撮像した撮像画像の中で移動体である従業員１５１や来客者１５２が映らないように排除された背景画像に、撮像画像に対応する撮像領域において来客者１５２が何処によく滞留したか、又は何処を通過したかを視覚的に示す動線情報がヒートマップのように定量的に可視化された画像である。また、表示画像生成部３５０は、生成した動線分析画像をモニタ４５０に表示させる。

レポート生成出力部３６０は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成され、動線分析レポートの生成指示が入力デバイス４００から入力された場合には、動線分析レポートを生成する。レポート生成出力部３６０は、生成した動線分析レポートをモニタ４５０に表示させる。

図６は、来客者の行動パターンを示した動線分析画像の一例を示す図である。同図に示す動線分析画像１７５は、背景画像１７６に、買物カゴのアイコン１８０と、来客者１５２のアイコン１８１と、買物カゴが通った軌跡１８５と、来客者１５２が通った軌跡１８６とが重畳されたものである。買物カゴには、ＢＬＥ送信端末１５０が取り付けられているので、該買物カゴはアイコン１８０として表示される。来客者１５２がその買物カゴを手にとって移動を開始すると、その移動に伴って軌跡１８５が表示される。一方、来客者１５２がＢＬＥ送信端末１５０そのものを所持するか、あるいはＢＬＥ送信端末１５０の機能を有する携帯端末を所持している場合、来客者を示すアイコン１８１が表示される。来客者１５２が移動を開始すると、それに伴って軌跡１８６が表示される。また、その来客者１５２の詳細を知りたい場合は、軌跡１８６を指定して所定の操作を行うことで（例えば、マウスでクリックすることで）、詳細な情報が表示される。例えば、該当日時の録画映像が再生され、またアイコン１８１にその来客者１５２の顔写真が現れる。図６は、来客者１５２の顔写真が現れた状態を示している。再生映像を見ることで、その来客者１５２の性別や推定年齢を確認することができる。

動線分析画像１７５を一見するだけで、従業員１５１と来客者１５２が混在する店舗においても、来客者１５２のみの行動軌跡を把握することができる。そして、来客者１５２のみの行動軌跡を把握できることから、マーケティング情報の把握も容易に行える。また、カメラ装置１００で撮像して得られた撮像画像から人物を取り除いた背景画像を用いることで、プライバシー保護が図れる。また、店舗内で陳列などレイアウト変更があっても、レイアウト変更と来客者１５２の行動軌跡の相関を鳥瞰することができる。

サーバ装置３００は、アイコン表示や軌跡表示等を行うための３つの機能を有している。以下、その３つの機能を列記する。
機能（１）：行動パターン表示機能（時間帯）
・指定された時間帯の行動パターンを描画する。
・何の行動パターンかを示すアイコンを描画する。
アイコンは、上述したように、“来客者”や“買物カゴ”等である。

機能（２）：行動軌跡の表示機能（時間帯）
トランザクション
・予め開始位置と終了位置を設定し、該当箇所に例えば買物カゴが移動した場合に開始位置・終了位置を保存することで１トランザクションを認識・記録する。・指定された時間帯の１トランザクションのみを描画することで、特定の来客者の行動軌跡のみを正確に描画することができる。

機能（３）：再生連携
・行動軌跡をクリックすると、該当箇所を撮像しているカメラ装置の該当日時の録画映像を再生させることができる。再生映像により、該当行動の詳細把握や該当来客者の顔画像確認による性別や推定年齢の確認をすることができる。録画映像はレコーダ２００に記録されており、サーバ装置３００は録画映像を再生する際に、レコーダ２００にアクセスする。

図７は、来客者１５２の位置情報を把握し、該来客者１５２の行動軌跡を背景画像に重畳させるまでの処理を説明するためのフローチャートである。同図において、まずカメラ装置（例えばカメラ装置１００とする）が、定期的に繰り返し生成した背景画像（撮像画像から人物を消した画像）を、定期時間帯（例えば１５分間隔）にカメラ装置１００内の背景画像蓄積部８０に一時保持する（ステップＳ１）。

カメラ装置１００は、背景画像を生成して一時保持した後、該背景画像をサーバ装置３００へ送信する。また、カメラ装置１００は、来客者１５２の位置情報を取得してサーバ装置３００へ送信する。サーバ装置３００は、カメラ装置１００から送信された背景画像を取得するとともに、来客者１５２の位置情報を取得して受信情報蓄積部３４０に保存する（ステップＳ２及びステップＳ３）。

サーバ装置３００が背景画像と来客者１５２の位置情報を受信情報蓄積部３４０に保存した後、ユーザが動線分析したい日時を指定する（ステップＳ４）。この指定により、サーバ装置３００の表示画像生成部３５０が受信情報蓄積部３４０を参照し、ユーザにて指定された日時の背景画像と来客者１５２の位置情報を取得する（ステップＳ５）。表示画像生成部３５０は、ユーザにて指定された日時の背景画像と来客者１５２の位置情報を取得した後、背景画像に来客者１５２の動線情報を重畳した動線分析画像を生成する。また、表示画像生成部３５０は、予め設定された来客者１５２に紐付けされたアイコンのオーバーレイ表示を行うための表示情報を生成する（ステップＳ６）。そして、生成した動線分析画像とアイコンをモニタ４５０に表示させる（ステップＳ７）。

図８は、来客者１５２の行動軌跡を背景画像に重畳させるためのトランザクションＩＤの生成／終了処理を説明するためのフローチャートである。また、図９は、トランザクションＩＤの生成／終了処理の説明を補助するための図である。なお、このトランザクションＩＤの生成／終了処理は、サーバ装置３００の表示画像生成部３５０で行われる。同図において、表示画像生成部３５０は、モニタ４５０に店舗画像を表示する（ステップＳ１０）。次いで、トランザクションの開始位置のエリアを設定し、それを背景画像上に表示する（ステップＳ１１）。即ち、図９に示すように、背景画像の店舗の入り口付近に開始位置のエリア１８２を表示する。トランザクションの開始位置のエリアの設定は、入力デバイス４００によって行われる。なお、トランザクションの開始位置のエリアは複数設定可能である。また、トランザクションの開始位置のエリアには、図示のように開始位置であることを示す“開始位置”が表示されるようにするとよい。

トランザクションの開始位置のエリア１８２を設定して、背景画像上への表示を行った後、表示画像生成部３５０は、トランザクションの終了位置のエリアを設定し、それを背景画像上に表示する（ステップＳ１２）。即ち、図９に示すように、背景画像のレジ付近に終了位置のエリア１８３を表示する。なお、トランザクションの終了位置のエリアは複数設定可能である。また、トランザクションの終了位置のエリアには、図示のように終了位置であることを示す“終了位置”が表示されるようにするとよい。

表示画像生成部３５０が、トランザクションの終了位置のエリア１８３を設定して、背景画像上への表示を行った後、ＢＬＥ送信端末１５０が付けられた買物カゴ、カート又は携帯端末をトランザクションの開始位置のエリア１８２に配置する。来客者１５２が買物カゴ、カート又は携帯端末を手にとり、トランザクションの開始位置のエリア１８２を出て店内に進むと、表示画像生成部３５０は、新規のトランザクション発生とみなしてトランザクションＩＤを付与する（ステップＳ１３）。その後、ＢＬＥ送信端末１５０が付けられた買物カゴ、カート又は携帯端末がトランザクションの終了位置のエリア１８３に入った場合、表示画像生成部３５０は、トランザクション終了とみなして、トランザクションＩＤをリセットし、アイドル状態となる（ステップＳ１４）。ステップＳ１３とステップＳ１４の処理は、店舗の営業時間が終了するまで繰り返し行われる。

以上により、本実施形態の動線分析システム５００Ａでは、ＢＬＥ送信端末１５０を来客者１５２に所持させ、ＢＬＥ受信端末１６０を店舗内の各所に設置して、ＢＬＥ送信端末１５０から送信された来客者１５２の位置情報をＢＬＥ受信端末１６０で受信させる。カメラ装置１００は、店舗のフロアを撮像して、該フロアの撮像画像の背景画像を繰り返し生成し、またＢＬＥ受信端末１６０で受信された来客者１５２の位置情報に基づき、撮像画像に含まれる来客者１５２のフロアにおける滞留位置又は通過位置に関する動線情報を取得する。そして、所定の送信周期毎に、生成した背景画像と、取得した来客者１５２の動線情報とをサーバ装置３００に送信する。サーバ装置３００は、カメラ装置１００から送信された背景画像と、来客者１５２の動線情報とを受信し、来客者１５２の動線情報を行動の軌跡として、背景画像に重畳した動線分析画像１７５を生成し、生成した動線分析画像１７５をモニタ４５０に表示させる。

これにより、動線分析画像１７５を一見するだけで、従業員１５１と来客者１５２が混在する店舗においても、来客者１５２のみの行動軌跡を把握することができる。そして、来客者１５２のみの行動軌跡を把握できることから、マーケティング情報の把握も容易に行える。また、カメラ装置１００で撮像して得られた撮像画像から人物を取り除いた背景画像を用いることで、プライバシー保護が図れる。また、店舗内で陳列などレイアウト変更があっても、レイアウト変更と来客者１５２の行動軌跡の相関を鳥瞰することができる。

（本実施形態の変形例）
なお、上述した本実施形態では、動線分析画像の生成処理はサーバ装置３００において実行されているが、動線分析画像の生成処理までをカメラ装置１００が実行しても良い。図１０は、本実施形態の変形例のカメラ装置１００Ｓの機能的な内部構成を詳細に示すブロック図である。図１０に示すカメラ装置１００Ｓは、撮像部１０と、画像入力部２０と、背景画像生成部３０と、動線情報分析部４０と、スケジュール管理部５０と、送信部６０Ｓと、イベント情報受領部７０と、背景画像蓄積部８０と、通過／滞留分析情報蓄積部９０と、表示画像生成部３５０Ｓと、来客者情報取得部１７０と、来客者の通過／滞留分析情報蓄積部１７１とを有する。図１０に示すカメラ装置１００Ｓの各部の説明において、図３に示すカメラ装置１００と同一の構成及び動作のものには同一の符号を付して説明を省略し、異なる内容について説明する。

表示画像生成部３５０Ｓは、スケジュール管理部５０又はイベント情報受領部７０からの指示に応じて、背景画像蓄積部８０に保存された背景画像と、来客者の通過／滞留分析情報蓄積部１７１に保存された来客者の撮像領域における滞留位置又は通過位置に関する動線情報とを用いて動線分析画像を生成して送信部６０Ｓに出力する。即ち、表示画像生成部３５０Ｓは、来客者の動線情報を行動軌跡として、撮像画像の背景画像に重畳した動線分析画像を生成して送信部６０Ｓに出力する。また、表示画像生成部３５０Ｓは、生成した動線分析画像に加えて、来客者の動線情報のアイコン（買物カゴ、カート、携帯端末、来客者等のアイコン）を送信部６０Ｓに出力する。送信部６０Ｓは、表示画像生成部３５０Ｓにより生成された動線分析画像及びアイコンをサーバ装置３００に送信する。

以上により、本実施形態の変形例では、カメラ装置１００Ｓは、所定の撮像領域の撮像画像の背景画像を生成するとともに、ＢＬＥ受信端末１６０の出力に基づき、撮像画像に含まれる来客者の撮像領域における滞留位置又は通過位置に関する動線情報を取得し、背景画像と来客者の動線情報とを用いて、来客者の動線情報を行動軌跡として、撮像画像の背景画像に重畳した動線分析画像を生成する。

これにより、カメラ装置１００Ｓにおいて、従業員１５１と来客者１５２が混在する店舗においても、来客者１５２のみの行動軌跡を把握することができる。そして、来客者１５２のみの行動軌跡を把握できることから、マーケティング情報の把握も容易に行える。また、カメラ装置１００Ｓで撮像して得られた撮像画像から人物を取り除いた背景画像を用いることで、プライバシー保護が図れる。また、店舗内で陳列などレイアウト変更があっても、レイアウト変更と来客者１５２の行動軌跡の相関を鳥瞰することができる。

また、カメラ装置１００Ｓは、動線分析画像の生成処理まで実行して生成結果である動線分析画像をサーバ装置３００に送信するので、例えばサーバ装置３００の処理負荷が相当に高い状態では、動線分析画像の生成処理をサーバ装置３００に実行させなくて済むため、サーバ装置３００の処理負荷の増大を抑制することができる。

なお、上述した本実施形態及び本実施形態の変形例では、プライバシーを考慮して、カメラ装置で撮像して得られた撮像画像から人物を消去した背景画像を用いていたが、プライバシーを考慮しない撮像画像、即ち、人物を消去しない撮像画像を背景画像として用いてもよい。

（カメラ装置及びサーバ装置の他の構成例）
次に、来客者１５２が所定の来客者識別情報を所持している場合、又は来客者１５２が店舗内において利用する利用物（例えば買物かご、カート）に所定の来客者識別情報を装着している場合に、動線分析システムを構成するサーバ装置が、来客者識別情報を抽出し、この抽出結果を、動線分析システムを構成するカメラ装置により生成された背景画像に重畳して動線分析画像を生成する例について、図１１〜図１３を参照して説明する。言い換えると、以下の説明では、動線分析システムにおいて来客者１５２はＢＬＥ送信端末１５０を所持したり、自己の利用物に装着したりする必要がなくなる。つまり、来客者１５２は、単に来客者識別情報（例えば後述するカラーバーコード）を所持したり、店舗内において利用する利用物に装着したりすればよいので、ＢＬＥ送信端末１５０がなくても良い分、来客者１５２の店舗利用時の利便性は改善する。

図１１は、図３に示すカメラ装置１００及びサーバ装置３００の変形例におけるそれぞれの機能的な内部構成を詳細に示すブロック図である。図１１に示すカメラ装置１００Ｖ及びサーバ装置３００Ｖの説明では、図３に示すカメラ装置１００及びサーバ装置３００と同一の構成については同一の符号を付して説明を簡略化又は省略し、異なる内容について説明する。

映像送信部６０Ｖは、画像入力部２０から出力された撮像画像のデータ（例えば、カメラ装置１００Ｖが撮像した店舗内のフロアの映像データ）をサーバ装置３００Ｖに送信する。なお、映像送信部６０Ｖは、カメラ装置１００Ｖにおいて送信部６０とは別に構成されているが、映像送信部６０Ｖは送信部６０と一体に構成されてもよい。言い換えると、送信部６０は、画像入力部２０から出力された撮像画像のデータをサーバ装置３００Ｖに送信してもよい。

映像受信部３３０Ｖは、映像送信部６０Ｖから送信された撮像画像のデータを受信して来客者動線情報生成処理部３７０に出力する。なお、映像受信部３３０Ｖは、サーバ装置３００Ｖにおいて受信部３３０とは別に構成されているが、映像受信部３３０Ｖは受信部３３０と一体に構成されてもよい。言い換えると、受信部３３０は、映像送信部６０Ｖから送信された撮像画像のデータを受信して来客者動線情報生成処理部３７０に出力してもよい。

来客者動線情報生成処理部３７０は、映像受信部３３０Ｖから出力された撮像画像のデータを基に、撮像画像のデータのフレーム毎に画像処理を行い、来客者１５２により所持され、又は来客者１５２の利用物に装着される来客者識別情報を検出して抽出する。来客者動線抽出部の一例としての来客者動線情報生成処理部３７０は、映像受信部３３０Ｖから出力された撮像画像のデータのフレーム数にわたり、フレーム毎に抽出した来客者識別情報を時間的に繋ぎ合わせることで、来客者１５２の店舗内のフロアにおける滞留位置又は通過位置に関する動線情報（以下、「来客者動線情報」という）を生成して抽出する。来客者動線情報生成処理部３７０は、来客者動線情報を受信情報蓄積部３４０に保存する。

表示画像生成部３５０は、受信情報蓄積部３４０から背景画像のデータと来客者１５２の来客者動線情報とを読み出し、背景画像のデータに来客者１５２の来客者動線情報を重畳した動線分析画像を生成する。表示画像生成部３５０は、例えば不図示のサーバ装置３００Ｖ内のメモリに予め保持されている、設定済みの来客者１５２に対応するアイコンを動線分析画像にオーバーレイ表示した表示情報（例えば図６参照）を生成する。また、表示制御部の一例としての表示画像生成部３５０は、動線分析画像と来客者１５２を示すアイコンとを対応付けるようにモニタ４５０に表示させる。

ここで、来客者識別情報について、図３に示す動線分析システムと図１１に示す動線分析システムとを比較しながら説明する。

図３に示す動線分析システムでは、ＢＬＥ送信端末１５０が来客者１５２により所持され、又は来客者１５２の店舗利用時における利用物（例えば買物かご、カート）に装着されており、更に、ＢＬＥ送信端末１５０から送信される信号（つまり、来客者１５２の店舗内のフロアの位置情報）を受信するためのＢＬＥ受信端末１６０が備えられていた。即ち、図３に示す動線分析システムでは、カメラ装置１００が来客者１５２の店舗内のフロアの位置情報を取得するために、特別な送信機及び受信機（つまり、ＢＬＥ送信端末１５０及びＢＬＥ受信端末１６０）が必要であった。

一方、図１１に示す動線分析システムでは、ＢＬＥ送信端末１５０及びＢＬＥ受信端末１６０のような特別な送信機及び受信機は不要となる。具体的には、例えばカラーバーコードに代表される来店客識別情報を来客者１５２により所持され、又は来客者１５２の店舗利用時の利用物に装着される。サーバ装置３００Ｖは、カメラ装置１００Ｖから送信された撮像画像のデータのフレームから来店客識別情報（例えばカラーバーコード）を画像処理によって検出して抽出し、フレーム数に応じた抽出結果を時間的に繋ぎ合わせることで来客者１５２の動線情報を生成して抽出する。

カラーバーコードは、例えばシアン、マゼンダ、イエロー、ブラック（ＣＭＹＫ）の各種の色を用いた複数のカラーパターンにより構成された識別可能な情報である。来客者動線情報生成処理部３７０は、撮像画像のデータのフレーム毎にカラーバーコードを検出すると、複数のフレームにより構成される撮像画像のデータ中のカラーバーコードの検出位置を、カラーバーコードに対応した来客者１５２の滞留位置又は通過位置に関する来店客動線情報として生成する。カラーバーコードを来店客動線情報として使用することで、サーバ装置３００Ｖは、ＢＬＥ送信端末１５０やＢＬＥ受信端末１６０のような特別な送信機及び受信機を必要とせずに、カメラ装置１００Ｖから送信された撮像画像のデータを画像処理することで、来客者１５２の店舗内のフロアの滞留位置又は通過位置に関する来店客動線情報を正確に生成して抽出することができる。

次に、図１１に示すカメラ装置１００Ｖ及びサーバ装置３００において、サーバ装置３００Ｖが来客者動線情報を抽出し、来客者動線情報を行動軌跡として背景画像に重畳させるまでの処理について、図１２を参照して説明する。図１２は、図１１に示すカメラ装置１００Ｖ及びサーバ装置３００Ｖにおいて、来客者動線情報を抽出し、来客者動線情報を行動軌跡として背景画像に重畳させるまでの処理を説明するためのフローチャートである。図１２では、ステップＳ２１〜ステップＳ２３の各処理と、ステップＳ２４〜ステップＳ２６の各処理とは時間的に並列に行われる。言い換えると、ステップＳ２１〜ステップＳ２３の各処理の前又は後にステップＳ２４〜ステップＳ２６の各処理が行われるのではない。

図１２において、カメラ装置１００Ｖは、撮像エリア（例えば店舗のフロア）の撮像画像に対応する背景画像（つまり、撮像画像から画角内に現れる人物を消した画像）を、定期的に繰り返して生成する。カメラ装置１００Ｖは、この生成した背景画像のデータを、定期時間帯（例えば１５分間隔）にカメラ装置１００内の背景画像蓄積部８０に一時保持する（ステップＳ２１）。

カメラ装置１００Ｖは、撮像エリア（例えば店舗のフロア）の撮像画像のデータのフレーム毎に、撮像画像のフレームにおける来客者１５２を含む移動体の動線情報を抽出して生成する。カメラ装置１００Ｖは、この生成した移動体の動線情報のデータを、定期時間帯（例えば１５分間隔）にカメラ装置１００内の通過／滞留分析情報蓄積部９０に一時保持する（ステップＳ２２）。カメラ装置１００Ｖは、ステップＳ２１及びステップＳ２２においてそれぞれ一時保存した背景画像のデータと移動体の動線情報とをサーバ装置３００Ｖに送信する。

サーバ装置３００Ｖは、カメラ装置１００Ｖから送信された背景画像のデータ及び移動体の動線情報を受信して受信情報蓄積部３４０に保存する（ステップＳ２３）。

また、カメラ装置１００Ｖは、撮像エリア（例えば店舗のフロア）を撮像し、撮像画像のデータ（つまり、撮像エリアの映像）をサーバ装置３００Ｖに送信する（ステップＳ２４）。

サーバ装置３００Ｖは、カメラ装置１００Ｖから送信された撮像画像のデータを基に、撮像画像のデータのフレーム毎に画像処理を行い、来客者１５２により所持され、又は来客者１５２の利用物に装着される来客者識別情報（例えばカラーバーコード）を検出して抽出する。サーバ装置３００Ｖは、撮像画像のデータのフレーム数にわたり、フレーム毎に抽出した来客者識別情報を時間的に繋ぎ合わせることで、来客者１５２の店舗内のフロアにおける滞留位置又は通過位置に関する動線情報（来客者動線情報）を生成して抽出する（ステップＳ２５）。

サーバ装置３００Ｖは、この生成した来客者動線情報を受信情報蓄積部３４０に保存する（ステップＳ２６）。

サーバ装置３００Ｖが背景画像のデータと来客者１５２の来客者動線情報と移動体の動線情報とを受信情報蓄積部３４０に保存した後、ユーザの入力デバイス４００を用いた操作により、ユーザが動線分析したい日時が指定される（ステップＳ２７）。なお、図３や図１１では、図面の複雑化を回避するために、入力デバイス４００と表示画像生成部３５０との間の矢印の図示を省略している。

ステップＳ２７の指定により、サーバ装置３００の表示画像生成部３５０は、受信情報蓄積部３４０を参照し、ユーザにて指定された日時の背景画像のデータと来客者１５２の来客者動線情報とを取得する（ステップＳ２８）。

表示画像生成部３５０は、ユーザにて指定された日時の背景画像のデータと来客者１５２の来客者動線情報とを取得した後、背景画像に来客者１５２の来客者動線情報を重畳した動線分析画像を生成する。また、表示画像生成部３５０は、予め設定された来客者１５２に紐付けされたアイコンのオーバーレイ表示を行うための表示情報を生成する（ステップＳ２９）。そして、表示画像生成部３５０は、この生成した動線分析画像とアイコンとを対応付けるようにモニタ４５０に表示させる（ステップＳ３０）。

図１３は、図１０に示すカメラ装置１００Ｓの変形例における機能的な内部構成を詳細に示すブロック図である。図１３の説明において、図１０に示すカメラ装置１００Ｓの各部と同一の構成については同一の符号を付与して説明を省略し、異なる内容について説明する。

来客者動線情報生成処理部３７０ＳＶは、画像入力部２０から出力された撮像画像のデータを基に、撮像画像のデータのフレーム毎に画像処理を行い、来客者１５２により所持され、又は来客者１５２の利用物に装着される来客者識別情報を検出して抽出する。来客者動線抽出部の一例としての来客者動線情報生成処理部３７０ＳＶは、画像入力部２０から出力された撮像画像のデータのフレーム数にわたり、フレーム毎に抽出した来客者識別情報を時間的に繋ぎ合わせることで、来客者１５２の店舗内のフロアにおける滞留位置又は通過位置に関する動線情報（来客者動線情報）を生成して抽出する。来客者動線情報生成処理部３７０ＳＶは、来客者動線情報を来客者の通過／滞留分析情報蓄積部１７１ＳＶに保存する。

来客者の通過／滞留分析情報蓄積部１７１ＳＶは、例えばフラッシュメモリ又はハードディスクを用いて構成され、来客者動線情報生成処理部３７０ＳＶにより生成された来客者１５２の来客者動線情報を保存する。また、図３や図１０に示す来客者の通過／滞留分析情報蓄積部１７１も同様にフラッシュメモリ又はハードディスクを用いて構成される。

表示画像生成部３５０ＳＶは、来客者の通過／滞留分析情報蓄積部１７１ＳＶから来客者１５２の来客者動線情報を読み出し、更に、背景画像蓄積部８０から背景画像のデータを読み出す。表示画像生成部３５０ＳＶは、背景画像に来客者１５２の来客者動線情報を重畳した動線分析画像を生成する。また、表示画像生成部３５０ＳＶは、例えば不図示のカメラ装置１００ＳＶ内のメモリに予め保持されている、設定済みの来客者１５２に対応するアイコンを動線分析画像にオーバーレイ表示した表示情報（例えば図６参照）を生成する。

送信部６０ＳＶは、表示画像生成部３５０ＳＶにより生成された動線分析画像、又は来客者１５２を示すアイコンが重畳された動線分析画像のデータをサーバ装置３００に送信する。

以上により、図１１に示すカメラ装置１００Ｖ及びサーバ装置３００Ｖを含む動線分析システムの例では、サーバ装置３００Ｖは、カメラ装置１００Ｖから送信された撮像画像のデータを基に、来客者１５２により所持され、又は来客者１５２の利用物に装着される来客者識別情報（例えばカラーバーコード）を検出して抽出する。サーバ装置３００Ｖは、撮像画像のデータのフレーム数にわたり、抽出された来店客識別情報を時間的に繋ぎ合わせることで、来客者１５２の来客者動線情報を生成し、この来客者動線情報を背景画像に重畳した動線分析画像を生成してモニタ４５０に表示させる。

これにより、図１１に示すカメラ装置１００Ｖ及びサーバ装置３００Ｖを含む動線分析システムは、来客者１５２と従業員１５１とが混在する店舗において、来客者１５２のプライバシーの保護を図りながらも、来客者１５２の行動軌跡を正確に把握することができ、レイアウト変更等によって所定のタイミングで更新された背景画像に人物（例えば来客者１５２）の滞留情報又は通過情報を重畳した正確な動線分析画像を生成することができる。

また、カメラ装置１００Ｖ及びサーバ装置３００Ｖを含む動線分析システムでは、カメラ装置１００Ｖは、撮像エリアである店舗のフロアの撮像画像に含まれる来客者１５２を含む移動体の移動体動線情報を抽出してサーバ装置３００Ｖに送信する。サーバ装置３００Ｖは、カメラ装置１００Ｖから送信された移動体の移動体動線情報とサーバ装置３００Ｖにより抽出された来客者１５２の来客者動線情報とを背景画像に重畳した動線分析画像を生成する。これにより、サーバ装置３００Ｖは、店舗のフロアに現れる移動体（従業員１５１、来客者１５２の両方を含む）の動線情報と来客者１５２の動線情報とを背景画像上で確認可能な動線分析画像を生成でき、ユーザのマーケティングに資する証拠画像データを得ることができる。

また、カメラ装置１００Ｖ及びサーバ装置３００Ｖを含む動線分析システムでは、カラーバーコードを来店客動線情報として使用することで、サーバ装置３００Ｖは、図２に示すＢＬＥ送信端末１５０やＢＬＥ受信端末１６０のような特別な送信機及び受信機を必要とせずに、カメラ装置１００Ｖから送信された撮像画像のデータを画像処理することで、来客者１５２の店舗内のフロアの滞留位置又は通過位置に関する来店客動線情報を正確に生成して抽出することができる。

また、カメラ装置１００Ｖ及びサーバ装置３００Ｖを含む動線分析システムでは、サーバ装置３００Ｖは、来客者１５２又は来客者１５２の利用物を示すアイコンを背景画像に重畳した動線分析画像を生成する。これにより、サーバ装置３００Ｖは、特定の注目する対象となる来客者１５２（例えばお得意様等の重要顧客）について、店舗のフロア内の動線状況を、ユーザに対して正確に把握させることができる。

また、図１３に示すカメラ装置１００ＳＶを含む動線分析システムでは、カメラ装置１００ＳＶは、撮像エリアの撮像画像の背景画像を生成するとともに、撮像画像に含まれる来客者１５２の来客者識別情報を検出して抽出する。カメラ装置１００ＳＶは、滞留位置又は通過位置に関する動線情報を取得し、背景画像と来客者の動線情報とを用いて、来客者の動線情報を行動軌跡として、撮像画像の背景画像に重畳した動線分析画像を生成し、動線分析画像をモニタ４５０に表示させるサーバ装置（例えば図３に示すサーバ装置３００）に送信する。

これにより、カメラ装置１００ＳＶは、従業員１５１と来客者１５２が混在する店舗においても、来客者１５２のみの行動軌跡を把握可能な動線分析画像を生成することができる。また、来客者１５２のみの行動軌跡を把握できることから、マーケティング情報の把握も容易に行える。また、カメラ装置１００ＳＶは、撮像により得られた撮像画像から人物を取り除いた背景画像を用いることで、撮像エリアに現れた人物のプライバシー保護を図ることができる。また、店舗内で陳列などレイアウト変更があっても、レイアウト変更と来客者１５２の行動軌跡の相関を俯瞰することができる。

また、カメラ装置１００ＳＶは、動線分析画像の生成処理まで実行して生成結果である動線分析画像をサーバ装置３００に送信するので、例えばサーバ装置３００の処理負荷が相当に高い状態では、動線分析画像の生成処理をサーバ装置３００に実行させなくて済むため、サーバ装置３００の処理負荷の増大を抑制することができる。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明は、来客者と従業員が混在する店舗において、プライバシーの保護を図りながらも、来客者の行動軌跡を把握することができるといった効果を有し、所定のタイミングで更新された背景画像に人物の滞留情報又は通過情報を重畳した正確な動線分析画像を生成する動線分析システム、カメラ装置及び動線分析方法として有用である。

１０ 撮像部
２０ 画像入力部
３０ 背景画像生成部
３１ 入力画像学習部
３２ 移動体分離部
３３ 背景画像抽出部
４０ 動線情報分析部
４１ 対象検出部
４２ 動線情報取得部
４３ 通過／滞留状況分析部
５０ スケジュール管理部
６０、６０ＳＶ 送信部
６０Ｖ 映像送信部
７０ イベント情報受領部
８０ 背景画像蓄積部
９０ 通過／滞留分析情報蓄積部
１００、１００Ａ、１００Ｎ、１００Ｓ、１００Ｖ、１００ＳＶ カメラ装置
１５０ ＢＬＥ送信端末
１５１ 従業員
１５２ 来客者
１６０ ＢＬＥ受信端末
１７０ 来客者情報取得部
１７１、１７１ＳＶ 来客者の通過／滞留分析情報蓄積部
２００ レコーダ
３００、３００Ｖ、６００ サーバ装置
３１０ イベント情報受領部
３２０ 通知部
３３０ 受信部
３３０Ｖ 映像受信部
３４０ 受信情報蓄積部
３５０、３５０Ｖ、３５０ＳＶ 表示画像生成部
３６０ レポート生成出力部
３７０、３７０ＳＶ 来客者動線情報生成処理部
４００ 入力デバイス
４５０ モニタ
５００Ａ、５００Ｂ、５００Ｃ 動線分析システム
７００ スマートフォン
８００ クラウドコンピュータ
９００ 設定端末装置
１０００ 販売管理システム
ＣＴ 人数カウント部
ＳＤ シーン識別部

Claims (6)

1. カメラ装置とサーバ装置とが相互に接続された動線分析システムであって、
   前記カメラ装置は、
   撮像エリアを撮像し、
   前記撮像された前記撮像エリアの撮像画像に対応する背景画像を繰り返し生成し、
   所定の送信周期毎に、前記撮像された前記撮像エリアの撮像画像と、前記生成された前記背景画像とを前記サーバ装置に送信し、
   前記サーバ装置は、
   前記カメラ装置から送信された前記撮像エリアの撮像画像と前記背景画像とを受信し、
   前記撮像エリアの撮像画像を基に、来客者により所持され、又は前記来客者の利用物に装着される来客者識別情報の前記撮像エリアにおける滞留位置又は通過位置に関する来客者動線情報を抽出し、
   前記抽出された前記来客者動線情報を前記来客者の行動軌跡として、前記背景画像に重畳した第１の動線分析画像を生成し、
   前記生成された前記第１の動線分析画像を表示部に表示させる、
   動線分析システム。
2. 請求項１に記載の動線分析システムであって、
   前記カメラ装置は、
   前記撮像された前記撮像エリアの撮像画像に含まれる、前記来客者を含む移動体の前記撮像エリアにおける滞留位置又は通過位置に関する移動体動線情報を抽出し、前記抽出された前記移動体動線情報を前記サーバ装置に送信し、
   前記サーバ装置は、
   前記カメラ装置から送信された前記移動体動線情報と前記来客者動線情報とを前記背景画像に重畳した第２の動線分析画像を生成し、前記生成された前記第２の動線分析画像を表示部に表示させる、
   動線分析システム。
3. 請求項１に記載の動線分析システムであって、
   前記来客者識別情報は、複数のカラーパターンを用いて前記来客者を識別可能なカラーバーコードである、
   動線分析システム。
4. 請求項１に記載の動線分析システムであって、
   前記サーバ装置は、前記来客者又は前記来客者の利用物を示すアイコンを更に前記表示部に表示させる、
   動線分析システム。
5. サーバ装置と接続され、動線分析システムで用いられるカメラ装置であって、
   撮像エリアを撮像する撮像部と、
   前記撮像された前記撮像エリアの撮像画像に対応する背景画像を繰り返し生成し、
   前記撮像エリアの撮像画像を基に、来客者により所持され、又は前記来客者の利用物に装着される来客者識別情報の前記撮像エリアにおける滞留位置又は通過位置に関する来客者動線情報を抽出し、
   所定の送信周期毎に、前記抽出された前記来客者動線情報を前記来客者の行動軌跡として、前記生成された前記背景画像に重畳した動線分析画像を生成するプロセッサと、
   所定の送信周期毎に、前記生成された前記動線分析画像を、前記動線分析画像を表示する前記サーバ装置に送信する送信部と、を備える、
   カメラ装置。
6. カメラ装置とサーバ装置とが相互に接続された動線分析システムにおける動線分析方法であって、
   前記カメラ装置において、
   撮像エリアを撮像し、
   前記撮像エリアの撮像画像に対応する背景画像を繰り返し生成し、
   所定の送信周期毎に、前記撮像エリアの撮像画像と前記背景画像とを前記サーバ装置に送信し、
   前記サーバ装置において、
   前記カメラ装置から送信された前記撮像エリアの撮像画像と前記背景画像とを受信し、
   前記撮像エリアの撮像画像を基に、来客者により所持され、又は前記来客者の利用物に装着される来客者識別情報の前記撮像エリアにおける滞留位置又は通過位置に関する来客者動線情報を抽出し、
   前記来客者動線情報を前記来客者の行動軌跡として、前記背景画像に重畳した第１の動線分析画像を生成し、
   前記第１の動線分析画像を表示部に表示させる、
   動線分析方法。

Images