JP5909712B1 - Flow line analysis system, camera device, and flow line analysis method - Google Patents

Abstract

【課題】来客者と従業員が混在する店舗において、プライバシーの保護を図りながらも、来客者の行動軌跡を把握する。【解決手段】カメラ装置１００は、店舗のフロアを撮像して、フロアの撮像画像の背景画像を繰り返し生成し、またＢＬＥ受信端末１６０で受信された来客者１５２の位置情報に基づき、撮像画像に含まれる来客者１５２のフロアにおける滞留位置又は通過位置に関する動線情報を取得する。カメラ装置１００は、所定の送信周期毎に、生成した背景画像と、取得した来客者１５２の動線情報とをサーバ装置３００に送信する。サーバ装置３００は、カメラ装置１００から送信された背景画像と、来客者１５２の動線情報とを受信し、来客者１５２の動線情報を行動の軌跡として、背景画像に重畳した動線分析画像１７５を生成し、生成した動線分析画像１７５をモニタ４５０に表示させる。【選択図】図３[PROBLEMS] To grasp the behavior trajectory of a visitor while protecting privacy in a store where visitors and employees are mixed. A camera apparatus 100 images a floor of a store, repeatedly generates a background image of a captured image of the floor, and converts the captured image into a captured image based on position information of a visitor 152 received by a BLE receiving terminal 160. The flow line information regarding the staying position or passing position on the floor of the included visitor 152 is acquired. The camera device 100 transmits the generated background image and the acquired flow line information of the visitor 152 to the server device 300 every predetermined transmission cycle. The server device 300 receives the background image transmitted from the camera device 100 and the flow line information of the visitor 152, and uses the flow line information of the visitor 152 as a trajectory of action to superimpose the flow line analysis image on the background image. 175 is generated, and the generated flow line analysis image 175 is displayed on the monitor 450. [Selection] Figure 3

Description

本発明は、カメラ装置の撮像により得られた画像に、人物の滞留情報又は通過情報を重畳した動線分析画像を生成する動線分析システム、カメラ装置及び動線分析方法に関する。   The present invention relates to a flow line analysis system, a camera apparatus, and a flow line analysis method for generating a flow line analysis image in which human residence information or passage information is superimposed on an image obtained by imaging by a camera device.

カメラ装置が設置された撮影現場における時間毎の人物の活動量レベルをヒートマップ画像として表示する先行技術として、例えば特許文献１が知られている。   For example, Patent Document 1 is known as a prior art for displaying an activity level of a person for each hour at a shooting site where a camera device is installed as a heat map image.

特許文献１では、ネットワークを介して接続されたセキュリティカメラが設置された撮影現場における人物の動線を分析して活動量レベルを算出し、撮影現場の床配置図にセンサの検出結果を重畳したヒートマップ画像を生成し、セキュリティカメラに対応したブラウザの画面上にヒートマップ画像を表示することが開示されている。これにより、ブラウザの画面上に表示されたヒートマップ画像を閲覧することにより、撮影現場における人物の活動量レベルが把握可能となる。   In Patent Literature 1, an activity level is calculated by analyzing a flow line of a person at a shooting site where a security camera connected via a network is installed, and a sensor detection result is superimposed on a floor plan of the shooting site. It is disclosed to generate a heat map image and display the heat map image on a browser screen corresponding to the security camera. Thereby, by browsing the heat map image displayed on the screen of the browser, it becomes possible to grasp the activity level of the person at the shooting site.

また、特許文献１に示す床配置図とは異なり、カメラ装置が撮像した画像上に、人物の動線密度や人数検出結果を重畳したヒートマップ画像を生成して表示する技術も提案されている（例えば非特許文献１参照）。   In addition, unlike the floor layout shown in Patent Document 1, a technique for generating and displaying a heat map image in which a person's flow line density and the number of people detection result are superimposed on an image captured by a camera device has also been proposed. (For example, refer nonpatent literature 1).

ここで、特許文献１における床配置図にセンサの検出結果を重畳させる場合、床配置図とセキュリティカメラの撮影現場における画像とが正確にマッチング（一致）していることが必要となるが、特許文献１では床配置図は変更されず不変であるため、ヒートマップ画像の元となる床配置図を作成した時点から、撮影現場の配置が変更ない場合に限り、画像と床配置図とはマッチングする。   Here, when the detection result of the sensor is superimposed on the floor layout in Patent Document 1, it is necessary that the floor layout and the image at the shooting site of the security camera accurately match (match). In Reference 1, the floor layout is unchanged and unchanged, so the image and the floor layout are matched only when the layout of the shooting site is not changed from the time the floor layout that is the basis of the heat map image is created. To do.

特開２００９−１３４６８８号公報JP 2009-134688 A

“今までなかった３６０°をたった一台で監視できる！革新的監視カメラＭＯＢＯＴＩＸ Ｑ２４”，[ｏｎｌｉｎｅ]，株式会社オーピーエヌ，２０１４，[ｒｅｔｒｉｅｖｅｄ ｏｎ ２０１４−０６−１６]，Ｒｅｔｒｉｅｖｅｄ ｆｒｏｍ ｔｈｅ Ｉｎｔｅｒｎｅｔ：<ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｏｐｎ−ｗｅｂ．ｃｏｍ／ｍｏｂｏｔｉｘ／ｉｎｄｅｘ．ｈｔｍ＞．“Unprecedented 360 ° can be monitored with just one unit! Innovative surveillance camera MOBOTIX Q24”, [online], OPN Corporation, 2014, [retrieved on 2014-06-16], Retrieved from the Internet: < URL: http: // www. opn-web. com / mobilex / index. htm>.

ところで、特許文献１のシステム構成を店舗にて使用することを想定すると、店舗マップ（つまり、撮影現場の床配置図に相当）上に人物の行動軌跡を表示することは可能であるが、店舗内の陳列等のレイアウト変更が行われた場合、レイアウト変更後はレイアウトと人物の行動軌跡との相関を俯瞰することができない。即ち、品物の配置を変えても店舗マップは変わらないが、人物（例えば来客者、従業員）の動きは変わってしまうため、これらの相関の俯瞰が困難となる。そこで、非特許文献１に記載の技術のように、店舗マップに代えてカメラ装置が撮像した画像上に人物の行動軌跡を表示することで、レイアウト変更があってもカメラ装置が変更後のレイアウトを撮像するので、レイアウトと人物の行動軌跡との相関を俯瞰することが可能である。   By the way, assuming that the system configuration of Patent Document 1 is used in a store, it is possible to display a person's action trajectory on a store map (that is, equivalent to a floor plan of a shooting site). When a layout change such as display is performed, the correlation between the layout and the person's action trajectory cannot be overlooked after the layout change. That is, the store map does not change even if the arrangement of the goods is changed, but the movement of the person (for example, a visitor, an employee) changes, and it is difficult to look down on these correlations. Therefore, as in the technique described in Non-Patent Document 1, by displaying a person's action trajectory on an image captured by the camera device instead of the store map, the layout after the camera device changes even if there is a layout change Therefore, it is possible to look down on the correlation between the layout and the person's action trajectory.

しかしながら、カメラ装置が撮像した画像を使用することで、カメラ装置の撮像領域に存在する全ての人物が映ってしまうため、プライバシー保護を図ることができなくなる。また、来客者と従業員の両方の行動軌跡を記録してしまうと、マーケティング情報の把握という点で正確性に欠けてしまう。   However, by using an image captured by the camera device, all persons existing in the imaging area of the camera device are reflected, and privacy protection cannot be achieved. In addition, if the behavior trajectories of both the visitor and the employee are recorded, the accuracy in terms of grasping the marketing information is lacking.

本発明は、上述した従来の課題を解決するために、来客者と従業員が混在する店舗において、プライバシーの保護を図りながらも、レイアウト変更があっても来客者の行動軌跡を正確に把握する動線分析システム、カメラ装置及び動線分析方法を提供することを目的とする。   In order to solve the above-described conventional problems, the present invention accurately grasps the visitor's behavior trajectory even if the layout is changed while protecting the privacy in a store where visitors and employees are mixed. It is an object of the present invention to provide a flow line analysis system, a camera device, and a flow line analysis method.

本発明は、カメラ装置とサーバ装置とが相互に接続された動線分析システムであって、前記カメラ装置は、撮像エリアを撮像し、前記撮像された前記撮像エリアの撮像画像に対応する背景画像を繰り返し生成し、所定の送信周期毎に、前記撮像された前記撮像エリアの撮像画像と、前記生成された前記背景画像とを前記サーバ装置に送信し、前記サーバ装置は、前記カメラ装置から送信された前記撮像エリアの撮像画像と前記背景画像とを受信し、前記撮像エリアの撮像画像を基に、来客者により所持され、又は前記来客者の利用物に装着される来客者識別情報の前記撮像エリアにおける滞留位置又は通過位置に関する来客者動線情報を抽出し、前記抽出された前記来客者動線情報を前記来客者の行動軌跡として、前記背景画像に重畳した第１の動線分析画像を生成し、前記生成された前記第１の動線分析画像を表示部に表示させる、動線分析システムを提供する。 The present invention relates to a camera device and a server device and the flow line analysis system connected to each other, the camera device captures an image area, corresponding to the previous SL shooting images captured image of the imaging area repeatedly generates a background image for each predetermined transmission period, and transmits the captured image of the imaging area which is pre-Symbol shooting an image, said background image has been made before Kisei to the server device, the server device receives said background image and the captured image of the imaging area which is transmitted from the camera device, based on a captured image of the imaging area, it is owned by the visitor, or is mounted on the visitor's use thereof extract the visitor flow line information about the dwell position or passing position in the imaging area of the visitor identification information, the pre Ki抽 out the visitor flow line information was as behavior trajectory of the visitor, superimposed on the background image The second Flow line analysis image generates, Ru is displayed before Kisei on the display unit of the first flow line analysis image was made, to provide a flow line analysis system.

また、本発明は、サーバ装置と接続され、動線分析システムで用いられるカメラ装置であって、撮像エリアを撮像する撮像部と、前記撮像された前記撮像エリアの撮像画像に対応する背景画像を繰り返し生成し、前記撮像エリアの撮像画像を基に、来客者により所持され、又は前記来客者の利用物に装着される来客者識別情報の前記撮像エリアにおける滞留位置又は通過位置に関する来客者動線情報を抽出し、所定の送信周期毎に、前記抽出された前記来客者動線情報を前記来客者の行動軌跡として、前記生成された前記背景画像に重畳した動線分析画像を生成するプロセッサと、所定の送信周期毎に、前記生成された前記動線分析画像を、前記動線分析画像を表示する前記サーバ装置に送信する送信部と、を備える、カメラ装置を提供する。 Further, the present invention is connected to a server apparatus, a camera apparatus for use in flow line analysis system, an imaging unit for imaging the imaging area, before Symbol shooting image background corresponding to the captured image of the imaging area A visitor who repeatedly generates an image and who is possessed by the visitor based on the captured image of the imaging area or who is attached to the visitor's use object, or a staying position or passing position in the imaging area extracting flow line information for each predetermined transmission period, before the action locus of Ki抽 issued said visitor flow line information the visitor, before Kisei made the flow line analysis superimposed on the background image comprising a processor for generating an image, for each predetermined transmission period, the flow line analysis images made before Kisei, and a transmission unit that transmits to the server device for displaying the flow-line analysis image, a camera device I will provide a

また、本発明は、カメラ装置とサーバ装置とが相互に接続された動線分析システムにおける動線分析方法であって、前記カメラ装置において、撮像エリアを撮像し、前記撮像エリアの撮像画像に対応する背景画像を繰り返し生成し、所定の送信周期毎に、前記撮像エリアの撮像画像と前記背景画像とを前記サーバ装置に送信し、前記サーバ装置において、前記カメラ装置から送信された前記撮像エリアの撮像画像と前記背景画像とを受信し、前記撮像エリアの撮像画像を基に、来客者により所持され、又は前記来客者の利用物に装着される来客者識別情報の前記撮像エリアにおける滞留位置又は通過位置に関する来客者動線情報を抽出し、前記来客者動線情報を前記来客者の行動軌跡として、前記背景画像に重畳した第１の動線分析画像を生成し、前記第１の動線分析画像を表示部に表示させる、動線分析方法を提供する。   Further, the present invention is a flow line analysis method in a flow line analysis system in which a camera device and a server device are connected to each other, and the camera device captures an imaging area and corresponds to a captured image of the imaging area. The background image is repeatedly generated, and the captured image of the imaging area and the background image are transmitted to the server device at every predetermined transmission cycle. In the server device, the captured image of the imaging area transmitted from the camera device is transmitted. Receiving the captured image and the background image, based on the captured image of the imaging area, the staying position in the imaging area of the visitor identification information that is possessed by the visitor or attached to the visitor's use object or The customer flow line information relating to the passing position is extracted, and the first flow line analysis image superimposed on the background image is generated using the visitor flow line information as the visitor's action trajectory. And to display the first flow line analysis image to the display unit, to provide a flow line analysis method.

本発明によれば、来客者と従業員が混在する店舗において、プライバシーの保護を図りながらも、レイアウト変更があっても来客者の行動軌跡を正確に把握することができる。   ADVANTAGE OF THE INVENTION According to this invention, a visitor's action locus | trajectory can be correctly grasped | ascertained even if there is a layout change, aiming at privacy protection in the shop where a visitor and an employee coexist.

本実施形態の販売管理システムの概略構成を示すブロック図The block diagram which shows schematic structure of the sales management system of this embodiment 本実施形態の販売管理システムの複数のカメラ装置、ＢＬＥ受信端末及びＢＬＥ送信端末の概要を示す図The figure which shows the outline | summary of the several camera apparatus of a sales management system of this embodiment, a BLE receiving terminal, and a BLE transmitting terminal. 本実施形態の販売管理システムのカメラ装置及びサーバ装置のそれぞれの機能的な内部構成を詳細に示すブロック図2 is a block diagram showing in detail the functional internal configuration of each of the camera device and server device of the sales management system of the present embodiment. 本実施形態の販売管理システムのカメラ装置の画像入力、背景画像生成、動線情報分析の各処理の動作タイミングを説明するタイムチャートTime chart explaining operation timing of each process of image input, background image generation, and flow line information analysis of the camera device of the sales management system of this embodiment 本実施形態の販売管理システムのカメラ装置の画像入力部に入力された撮像画像の一例と背景画像生成部により生成された背景画像の一例を示す図The figure which shows an example of the captured image input into the image input part of the camera apparatus of the sales management system of this embodiment, and an example of the background image produced | generated by the background image generation part 本実施形態の販売管理システムのサーバ装置において生成される動線分析画像の一例を示す図The figure which shows an example of the flow line analysis image produced | generated in the server apparatus of the sales management system of this embodiment. 本実施形態の販売管理システムのサーバ装置において、来客者の位置情報を把握し、該来客者の行動軌跡を背景画像に重畳させるまでの処理を説明するためのフローチャートThe flowchart for demonstrating the process until it grasps | ascertains a visitor's positional information and superimposes this visitor's action locus on a background image in the server apparatus of the sales management system of this embodiment. 本実施形態の販売管理システムのサーバ装置において、来客者の行動軌跡を背景画像に重畳させるためのトランザクションＩＤの生成／終了処理を説明するためのフローチャートThe flowchart for demonstrating the production | generation / end process of transaction ID for superimposing a visitor's action locus | trajectory on a background image in the server apparatus of the sales management system of this embodiment. 本実施形態の販売管理システムのサーバ装置において、トランザクションＩＤの生成／終了処理の説明を補助するための図The figure for assisting description of the production | generation / end process of transaction ID in the server apparatus of the sales management system of this embodiment. 本実施形態の変形例のカメラ装置の機能的な内部構成を詳細に示すブロック図The block diagram which shows the functional internal structure of the camera apparatus of the modification of this embodiment in detail 図３に示すカメラ装置及びサーバ装置の変形例におけるそれぞれの機能的な内部構成を詳細に示すブロック図The block diagram which shows each functional internal structure in the modification of the camera apparatus and server apparatus which are shown in FIG. 3 in detail. 図１１に示すカメラ装置及びサーバ装置において、来客者動線情報を抽出し、来客者動線情報を行動軌跡として背景画像に重畳させるまでの処理を説明するためのフローチャートIn the camera apparatus and server apparatus shown in FIG. 11, a flowchart for explaining a process from extracting the visitor flow line information and superimposing the visitor flow line information on the background image as an action trajectory. 図１０に示すカメラ装置の変形例における機能的な内部構成を詳細に示すブロック図The block diagram which shows in detail the functional internal structure in the modification of the camera apparatus shown in FIG.

以下、適宜図面を参照しながら、本発明に係る動線分析システム、カメラ装置及び動線分析方法を具体的に開示した実施形態（以下、「本実施形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。   Hereinafter, an embodiment (hereinafter referred to as “the present embodiment”) that specifically discloses a flow line analysis system, a camera device, and a flow line analysis method according to the present invention will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of already well-known matters and repeated descriptions for substantially the same configuration may be omitted. This is to avoid the following description from becoming unnecessarily redundant and to facilitate understanding by those skilled in the art. The accompanying drawings and the following description are provided to enable those skilled in the art to fully understand the present disclosure, and are not intended to limit the subject matter described in the claims.

図１は、本実施形態の販売管理システム１０００の概略構成を示すブロック図である。同図において、本実施形態の販売管理システム１０００は、複数の店舗Ａ，Ｂ，Ｃ，…に設置された動線分析システム５００Ａ，５００Ｂ，５００Ｃ，…と、運営本部のサーバ装置６００と、スマートフォン７００と、クラウドコンピュータ８００と、設定端末装置９００とを有する。複数の店舗Ａ，Ｂ，Ｃ，…に設置された動線分析システム５００Ａ，５００Ｂ，５００Ｃ，…は、ネットワークＮＷを介してサーバ装置６００、スマートフォン７００、クラウドコンピュータ８００及び設定端末装置９００と相互に接続されている。   FIG. 1 is a block diagram illustrating a schematic configuration of a sales management system 1000 according to the present embodiment. In the figure, a sales management system 1000 of this embodiment includes a flow line analysis system 500A, 500B, 500C,... Installed in a plurality of stores A, B, C,. 700, a cloud computer 800, and a setting terminal device 900. Flow line analysis systems 500A, 500B, 500C,... Installed in a plurality of stores A, B, C,... Mutually communicate with server device 600, smartphone 700, cloud computer 800, and setting terminal device 900 via network NW. It is connected.

ネットワークＮＷは、無線ネットワーク又は有線ネットワークである。無線ネットワークは、例えば無線ＬＡＮ（Local Area Network）、無線ＷＡＮ（Wide Area Network）、３Ｇ、ＬＴＥ（Long Term Evolution）又はＷｉＧｉｇ（Wireless Gigabit）である。有線ネットワークは、例えばイントラネット又はインターネットである。   The network NW is a wireless network or a wired network. The wireless network is, for example, a wireless LAN (Local Area Network), a wireless WAN (Wide Area Network), 3G, LTE (Long Term Evolution), or WiGig (Wireless Gigabit). The wired network is, for example, an intranet or the Internet.

店舗Ａに設置された動線分析システム５００Ａは、店舗Ａのフロア１に設置された複数のカメラ装置１００，１００Ａ，…，１００Ｎと、レコーダ２００と、サーバ装置３００と、入力デバイス４００と、モニタ４５０とを有する。店舗Ａのフロア１に設置されたカメラ装置１００，１００Ａ，…，１００Ｎ、レコーダ２００及びサーバ装置３００は、ネットワークＮＷに接続される。なお、店舗Ａのフロア２にもフロア１と同様に複数のカメラ装置１００，１００Ａ，…，１００Ｎが設置され、フロア２内のカメラ装置の図示を省略している。また、それぞれのカメラ装置１００，１００Ａ，…１００Ｎの内部構成は同様であり、その詳細については図３を参照して後述する。   A flow line analysis system 500A installed in the store A includes a plurality of camera devices 100, 100A,..., 100N installed on the floor 1 of the store A, a recorder 200, a server device 300, an input device 400, and a monitor. 450. Camera devices 100, 100A,..., 100N, recorder 200, and server device 300 installed on floor 1 of store A are connected to network NW. A plurality of camera devices 100, 100A,..., 100N are installed on the floor 2 of the store A as well as the floor 1, and illustration of the camera devices in the floor 2 is omitted. The internal configuration of each of the camera devices 100, 100A,... 100N is the same, and details thereof will be described later with reference to FIG.

店舗Ａに設置された動線分析システム５００Ａは、さらに、店舗Ａに来店するお客（以下、“来客者”という）に所持させる複数（１−ｎ、ｎは整数）のＢＬＥ送信端末（位置情報送信装置）１５０と、店舗Ａ内に設置される複数（１−ｍ、ｍは整数）のＢＬＥ受信端末（位置情報受信装置）１６０とを有する。これらの端末は、近距離無線通信（ＮＦＣ）機能を有する携帯端末に機能として設けることも可能である。ＢＬＥ受信端末１６０はフロア毎に複数設置される。ＢＬＥ送信端末１５０及びＢＬＥ受信端末１６０は近距離無線通信規格（Bluetooth（登録商標） Low Energy）に準拠した端末である。ＢＬＥ送信端末１５０は、来客者の利用物（買物カゴ、カート、携帯端末等）に装着することができるように小型・薄型化するのが望ましい。ＢＬＥ送信端末１５０は、これを所持（間接的に所持又は直接所持）した来客者の位置情報を送信し、ＢＬＥ受信端末１６０は、ＢＬＥ送信端末１５０から送信された来客者の位置情報を受信する。なお、フロア毎に設置されるＢＬＥ受信端末１６０の個数は店舗の規模に応じて予め決められるが、ＢＬＥ送信端末１５０の個数は来客者数に応じて変動する。   The flow line analysis system 500A installed in the store A further includes a plurality of (1-n, n is an integer) BLE transmission terminals (location information) that are carried by customers who visit the store A (hereinafter referred to as “customers”). (Transmission device) 150 and a plurality of (1-m, m are integers) BLE reception terminals (position information reception devices) 160 installed in store A. These terminals can be provided as functions in portable terminals having a near field communication (NFC) function. A plurality of BLE receiving terminals 160 are installed for each floor. The BLE transmitting terminal 150 and the BLE receiving terminal 160 are terminals compliant with the short-range wireless communication standard (Bluetooth (registered trademark) Low Energy). The BLE transmission terminal 150 is desirably small and thin so that the BLE transmission terminal 150 can be attached to a visitor's goods (shopping cart, cart, portable terminal, etc.). The BLE transmission terminal 150 transmits the position information of the visitor who possesses (indirectly or directly possesses) the BLE transmission terminal 150, and the BLE reception terminal 160 receives the position information of the visitor transmitted from the BLE transmission terminal 150. . The number of BLE receiving terminals 160 installed on each floor is determined in advance according to the scale of the store, but the number of BLE transmitting terminals 150 varies depending on the number of visitors.

店舗Ａ内に設置される全てのＢＬＥ受信端末１６０は、ネットワークＮＷに接続される。他の店舗Ｂ，Ｃ，…においても来客者がＢＬＥ送信端末１５０を所持し、フロア毎に複数のＢＬＥ受信端末１６０が設置される。図２は、例えば店舗Ａのフロア１に設置されたカメラ装置１００，１００Ａ，…及びＢＬＥ受信端末１６０と、店舗Ａのフロア１にいる来客者１５２が所持しているＢＬＥ送信端末１５０の概要を示す図である。同図に示すように、複数のカメラ装置１００，１００Ａ，…及び複数のＢＬＥ受信端末１６０のそれぞれがネットワークＮＷに接続される。また、各カメラ装置１００，１００Ａ，…は、店舗Ａのフロア１（所定の撮像領域）を撮像する。フロア１には、複数の従業員１５１と複数の来客者１５２が存在し、各カメラ装置１００，１００Ａ，…にて撮像される。   All the BLE receiving terminals 160 installed in the store A are connected to the network NW. In other stores B, C,..., Visitors also have a BLE transmission terminal 150, and a plurality of BLE reception terminals 160 are installed for each floor. FIG. 2 shows an overview of the camera devices 100, 100A,... And the BLE receiving terminal 160 installed on the floor 1 of the store A, and the BLE transmitting terminal 150 possessed by the visitor 152 on the floor 1 of the store A. FIG. As shown in the figure, each of a plurality of camera devices 100, 100A,... And a plurality of BLE receiving terminals 160 are connected to a network NW. Moreover, each camera apparatus 100,100A, ... images the floor 1 (predetermined imaging region) of the store A. On the floor 1, there are a plurality of employees 151 and a plurality of visitors 152, and each of the camera devices 100, 100A,.

図１に戻り、レコーダ２００は、例えば半導体メモリ又はハードディスク装置を用いて構成され、店舗Ａ内に設置された各カメラ装置１００，１００Ａ，…，１００Ｎの撮像により得られた画像（以下、カメラ装置の撮像により得られた画像を「撮像画像」という）を記憶する。レコーダ２００に記憶された撮像画像は、例えば防犯等の監視業務に供される。なお、各カメラ装置１００，１００Ａ，…，１００Ｎの撮像により得られた撮像画像をレコーダ２００に記憶する際には、日時と各カメラ装置１００，１００Ａ，…，１００Ｎに付与された識別番号も一緒に記憶される。   Returning to FIG. 1, the recorder 200 is configured using, for example, a semiconductor memory or a hard disk device, and images (hereinafter referred to as camera devices) obtained by imaging the camera devices 100, 100A,..., 100N installed in the store A. The image obtained by imaging is stored as “captured image”). The captured image stored in the recorder 200 is used for monitoring work such as crime prevention. When the captured images obtained by the imaging of the camera devices 100, 100A,..., 100N are stored in the recorder 200, the date and time and the identification numbers assigned to the camera devices 100, 100A,. Is remembered.

サーバ装置３００は、例えばＰＣ（Personal Computer）を用いて構成され、入力デバイス４００を操作するユーザ（例えば動線分析システムのユーザであって、店舗Ａの店長を含む従業員１５１を指す、以下同様）の入力操作に応じて、所定のイベント（例えば店舗Ａのフロア１の売場のレイアウトの変更）が発生したことをカメラ装置１００に通知する。また、詳細は後述するが、サーバ装置３００は、店舗Ａ内での来客者１５２の動線情報を行動軌跡として、撮像画像の背景画像に重畳した動線分析画像を生成してモニタ４５０に表示させる。なお、サーバ装置３００の内部構成の詳細については図３を参照して後述する。   The server apparatus 300 is configured using, for example, a PC (Personal Computer), and refers to a user who operates the input device 400 (for example, a user of a flow line analysis system and includes an employee 151 including a store manager of the store A, and so on) ) Is notified to the camera apparatus 100 that a predetermined event (for example, a change in the layout of the sales floor on the floor 1 of the store A) has occurred. Although details will be described later, the server device 300 generates, on the monitor 450, a flow line analysis image superimposed on the background image of the captured image using the flow line information of the visitor 152 in the store A as an action trajectory. Let Details of the internal configuration of the server apparatus 300 will be described later with reference to FIG.

入力デバイス４００は、例えばマウス、キーボード、タッチパネル又はタッチパッドを用いて構成され、ユーザの入力操作に応じた信号をカメラ装置１００又はサーバ装置３００に出力する。なお、図１では、図面を簡単にするために、入力デバイス４００とカメラ装置１００との間にだけ矢印が図示されているが、入力デバイス４００と他のカメラ装置（例えばカメラ装置１００Ａ、１００Ｎ）との間に矢印が図示されても良い。モニタ４５０は、例えばＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electrolumines-cence）を用いて構成され、サーバ装置３００により生成された動線分析画像を表示する。なお、モニタ４５０は、サーバ装置３００とは異なる外部装置として設けられるが、サーバ装置３００の内部に含まれた構成としても良い。   The input device 400 is configured using, for example, a mouse, a keyboard, a touch panel, or a touch pad, and outputs a signal corresponding to a user input operation to the camera device 100 or the server device 300. In FIG. 1, to simplify the drawing, an arrow is shown only between the input device 400 and the camera apparatus 100, but the input device 400 and other camera apparatuses (for example, the camera apparatuses 100 </ b> A and 100 </ b> N). An arrow may be shown between the two. The monitor 450 is configured using, for example, an LCD (Liquid Crystal Display) or an organic EL (Electrolumines-cence), and displays a flow line analysis image generated by the server device 300. The monitor 450 is provided as an external device different from the server device 300, but may be configured to be included in the server device 300.

運営本部のサーバ装置６００は、このサーバ装置６００を操作する運営本部の従業員（例えば役員）の入力操作に応じて、各店舗Ａ，Ｂ，Ｃ，…内に設置された動線分析システム５００Ａ，５００Ｂ，５００Ｃ，…において生成された動線分析画像を取得して表示するための閲覧用装置である。スマートフォン７００は、このスマートフォン７００を操作する運営本部の従業員（例えば営業担当者）の入力操作に応じて、各店舗Ａ，Ｂ，Ｃ，…内に設置された動線分析システム５００Ａ，５００Ｂ，５００Ｃ，…において生成された動線分析画像を取得して表示するための閲覧用装置である。クラウドコンピュータ８００は、各店舗Ａ，Ｂ，Ｃ，…内に設置された動線分析システム５００Ａ，５００Ｂ，５００Ｃ，…において生成された動線分析画像を記憶するオンラインストレージである。   The server device 600 of the operation headquarters is a flow line analysis system 500A installed in each store A, B, C,... According to an input operation of an employee (for example, an officer) of the operation headquarters who operates the server device 600. , 500B, 500C,... Browsing apparatus for acquiring and displaying the flow line analysis image generated. The smartphone 700 is a flow line analysis system 500A, 500B, installed in each store A, B, C,... According to an input operation of an employee (for example, a sales representative) of the operation headquarters who operates the smartphone 700. It is a browsing apparatus for acquiring and displaying the flow line analysis image generated in 500C,. The cloud computer 800 is an online storage that stores the flow line analysis images generated in the flow line analysis systems 500A, 500B, 500C,... Installed in the stores A, B, C,.

設定端末装置９００は、例えばＰＣを用いて構成され、各店舗Ａ，Ｂ，Ｃ，…内に設置された動線分析システム５００Ａ，５００Ｂ，５００Ｃ，…のカメラ装置の設定画面を表示する専用のブラウザソフトウェアを実行可能である。設定端末装置９００は、これを操作する運営本部の従業員（例えば販売管理システム１０００のシステム管理者）の入力操作に応じて、カメラ装置の設定画面（例えばＣＧＩ（Common Gateway Interface））をブラウザソフトウェアにおいて表示し、カメラ装置の設定情報を編集（修正、追加、削除）して設定する。   The setting terminal device 900 is configured by using a PC, for example, and is dedicated for displaying a setting screen of the camera device of the flow line analysis systems 500A, 500B, 500C,... Installed in each store A, B, C,. Browser software can be executed. The setting terminal device 900 displays a setting screen (for example, CGI (Common Gateway Interface)) of the camera device in accordance with browser software in response to an input operation by an employee (for example, a system administrator of the sales management system 1000) operating the headquarters. The setting information of the camera device is edited (modified, added, deleted) and set.

（カメラ装置）
図３は、本実施形態のカメラ装置１００及びサーバ装置３００のそれぞれの機能的な内部構成を詳細に示すブロック図である。なお、図１に示す販売管理システム１０００において、店舗Ａ，Ｂ，Ｃ，…に設置されるそれぞれのカメラ装置は同様な構成であるため、図３ではカメラ装置１００を例示して説明する。 (Camera device)
FIG. 3 is a block diagram illustrating in detail the functional internal configurations of the camera device 100 and the server device 300 of the present embodiment. In the sales management system 1000 shown in FIG. 1, the camera devices installed in the stores A, B, C,... Have the same configuration.

図３において、カメラ装置１００は、撮像部１０と、画像入力部２０と、背景画像生成部３０と、動線情報分析部４０と、スケジュール管理部５０と、送信部６０と、イベント情報受領部７０と、背景画像蓄積部８０と、通過／滞留分析情報蓄積部９０と、来客者情報取得部１７０と、来客者の通過／滞留分析情報蓄積部１７１とを有する。   In FIG. 3, the camera device 100 includes an imaging unit 10, an image input unit 20, a background image generation unit 30, a flow line information analysis unit 40, a schedule management unit 50, a transmission unit 60, and an event information reception unit. 70, a background image storage unit 80, a passage / staying analysis information storage unit 90, a visitor information acquisition unit 170, and a visitor passage / staying analysis information storage unit 171.

撮像部１０は、不図示のレンズとイメージセンサとを少なくとも有する。レンズは、カメラ装置１００の外部から入射する光（光線）を集光し、イメージセンサの所定の撮像面に結像させる。レンズには、魚眼レンズ、又は例えば１４０度以上の画角が得られる広角レンズが用いられる。イメージセンサは、例えばＣＣＤ（Charged-Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。   The imaging unit 10 includes at least a lens (not shown) and an image sensor. The lens collects light (light rays) incident from the outside of the camera device 100 and forms an image on a predetermined imaging surface of the image sensor. As the lens, a fish-eye lens or a wide-angle lens capable of obtaining an angle of view of, for example, 140 degrees or more is used. The image sensor is, for example, a solid-state imaging device such as a charge-coupled device (CCD) or a complementary metal oxide semiconductor (CMOS), and converts an optical image formed on the imaging surface into an electrical signal.

画像入力部２０は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、撮像部１０からの電気信号を用いて所定の信号処理を行うことで、人間が認識可能なＲＧＢ（Red Green Blue）又はＹＵＶ（輝度・色差）等により規定される撮像画像（フレーム）を生成して背景画像生成部３０及び動線情報分析部４０に出力する。   The image input unit 20 is configured using, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a DSP (Digital Signal Processor), and performs predetermined signal processing using an electrical signal from the imaging unit 10. Then, a captured image (frame) defined by RGB (Red Green Blue) or YUV (luminance / color difference) that can be recognized by humans is generated and output to the background image generation unit 30 and the flow line information analysis unit 40.

背景画像生成部３０は、入力画像学習部３１と、移動体分離部３２と、背景画像抽出部３３とを有し、撮像領域の撮像画像の背景画像を繰り返し生成する。背景画像生成部３０は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成され、所定のフレームレート（例えば３０ｆｐｓ（frame per second））で、画像入力部２０から出力された撮像画像（フレーム）毎に、撮像画像に含まれる移動体（人物であり、主に従業員１５１と来客者１５２）を排除した背景画像を生成して背景画像蓄積部８０に保存する。背景画像生成部３０における背景画像の生成処理は、例えば下記の参考特許文献に開示されている方法を用いることができるが、この参考特許文献に開示されている方法に限定されない。   The background image generation unit 30 includes an input image learning unit 31, a moving body separation unit 32, and a background image extraction unit 33, and repeatedly generates a background image of a captured image in the imaging region. The background image generation unit 30 is configured by using, for example, a CPU, MPU, or DSP, and for each captured image (frame) output from the image input unit 20 at a predetermined frame rate (for example, 30 fps (frame per second)). A background image from which a moving body (a person, mainly an employee 151 and a visitor 152) included in the captured image is excluded is generated and stored in the background image storage unit 80. The background image generation processing in the background image generation unit 30 can use, for example, the method disclosed in the following reference patent document, but is not limited to the method disclosed in this reference patent document.

（参考特許文献）特開２０１２−２０３６８０号公報   (Reference Patent Document) JP 2012-203680 A

ここで、背景画像生成部３０の動作概要について、図４及び図５を参照して簡単に説明する。図４は、本実施形態のカメラ装置１００の背景画像生成部３０の動作概要の説明図である。図５の（ａ）は、画像入力部２０に入力された撮像画像の一例を示す図である。図５の（ｂ）は、背景画像生成部３０により生成された背景画像の一例を示す図である。   Here, an outline of the operation of the background image generation unit 30 will be briefly described with reference to FIGS. 4 and 5. FIG. 4 is an explanatory diagram of an outline of the operation of the background image generation unit 30 of the camera device 100 of the present embodiment. FIG. 5A is a diagram illustrating an example of a captured image input to the image input unit 20. FIG. 5B is a diagram illustrating an example of the background image generated by the background image generation unit 30.

図４では、紙面の上側から下側に向かう時間軸に直交する紙面の左側から右側に向かって、入力画像学習部３１、移動体分離部３２、背景画像抽出部３３の生成結果が模式的に示され、店舗の来店客が飲料の入った４つの段ボールのうち１つの段ボールを持ち運ぶ様子が示されている。   In FIG. 4, the generation results of the input image learning unit 31, the moving body separation unit 32, and the background image extraction unit 33 are schematically shown from the left side to the right side of the page orthogonal to the time axis from the upper side to the lower side of the page. It is shown that a store visitor carries one cardboard out of four cardboards containing beverages.

入力画像学習部３１は、画像入力部２０から出力された複数の撮像画像のフレーム（例えば図４に示す各フレームＦＭ１〜ＦＭ５）において、画素毎に、画素の輝度及び色差の値の分布状況を分析する。移動体分離部３２は、入力画像学習部３１の学習結果（即ち、複数のフレーム間（例えば図４に示す時間軸方向）の同一画素毎の輝度及び色差の分布状況の分析結果）を用いて、撮像画像の各フレームＦＭ１〜ＦＭ５において、移動体の情報（例えばフレームＦＭ１ａ〜ＦＭ５ａ参照）と移動体以外（例えば、背景）の情報（例えばフレームＦＭ１ｂ〜ＦＭ５ｂ参照）とに分離する。なお、移動体である人物が段ボールを持ち運ぶ様子を示す撮像画像のフレームＦＭ３，ＦＭ４では、人物が持ち運ぶ段ボールの画素に対応する輝度及び色差の値は時間軸方向（例えば図４参照）に沿って変化するので、移動体分離部３２は、人物が持ち運ぶ段ボールを移動体とみなす。   The input image learning unit 31 displays the distribution state of the pixel luminance and color difference values for each pixel in a plurality of captured image frames output from the image input unit 20 (for example, the respective frames FM1 to FM5 shown in FIG. 4). analyse. The moving body separation unit 32 uses the learning result of the input image learning unit 31 (that is, the analysis result of the luminance and color difference distribution state for each same pixel between a plurality of frames (for example, the time axis direction shown in FIG. 4)). In each frame FM1 to FM5 of the captured image, the information is separated into information on the moving body (for example, refer to frames FM1a to FM5a) and information other than the moving body (for example, background) (for example, refer to frames FM1b to FM5b). In the frames FM3 and FM4 of the picked-up images showing how a person who is a moving object carries a cardboard, the luminance and color difference values corresponding to the pixels of the cardboard carried by the person are along the time axis direction (for example, see FIG. 4). Since it changes, the moving body separating unit 32 regards the cardboard carried by the person as the moving body.

背景画像抽出部３３は、移動体分離部３２が分離した情報のうち、移動体以外の情報が映るフレームＦＭ１ｂ〜ＦＭ５ｂを、画像入力部２０から出力された撮像画像のフレームＦＭ１〜ＦＭ５の背景画像のフレームＦＭ１ｃ〜ＦＭ５ｃとして抽出して背景画像蓄積部８０に保存する。   The background image extraction unit 33 uses the frames FM1b to FM5b in which information other than the moving body is reflected among the information separated by the moving body separation unit 32, and the background images of the frames FM1 to FM5 of the captured image output from the image input unit 20 The frames FM1c to FM5c are extracted and stored in the background image storage unit 80.

図５の（ａ）に示す撮像画像のフレームＦＭ１０ａでは、例えば食堂の中で料理を提供している人、料理をトレーで受け取る人がそれぞれ移動体として示されている。図５の（ａ）に示す撮像画像のフレームＦＭ１０ａに対して、背景画像生成部３０が生成した背景画像のフレームＦＭ１０ｃ（図５の（ｂ）参照）では、移動体としての同じ食堂の中で料理を提供している人も料理を受け取る人も映らないように排除されている。以上が背景画像生成部３０の動作概要である。   In the frame FM10a of the captured image shown in FIG. 5A, for example, a person who provides food in a cafeteria and a person who receives food with a tray are shown as moving bodies. In the frame FM10c of the background image generated by the background image generation unit 30 (see FIG. 5B), the frame FM10a of the captured image shown in FIG. It is excluded so that neither the person who provides the food nor the person who receives the food is shown. The above is the outline of the operation of the background image generation unit 30.

図３に戻り、動線情報分析部４０は、対象検出部４１と、動線情報取得部４２と、通過／滞留状況分析部４３とを有する。動線情報分析部４０は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成され、所定のフレームレート（例えば１０ｆｐｓ）で、画像入力部２０から出力された撮像画像（フレーム）毎に、該撮像画像に含まれる移動体の滞留位置又は通過位置に関する動線情報を抽出して通過／滞留分析情報蓄積部９０に保存する。撮像画像に含まれる移動体は、主に従業員１５１と来客者１５２である。   Returning to FIG. 3, the flow line information analysis unit 40 includes a target detection unit 41, a flow line information acquisition unit 42, and a passage / staying state analysis unit 43. The flow line information analysis unit 40 is configured using, for example, a CPU, MPU, or DSP, and for each captured image (frame) output from the image input unit 20 at a predetermined frame rate (for example, 10 fps), The flow line information relating to the staying position or passing position of the moving body included is extracted and stored in the passing / staying analysis information accumulating unit 90. The moving bodies included in the captured image are mainly employees 151 and visitors 152.

対象検出部４１は、画像入力部２０から出力された撮像画像のフレームに対して所定の画像処理（例えば人物検出処理、顔検出処理）を行うことで、撮像画像のフレームに含まれる移動体の有無を検出する。対象検出部４１は、撮像画像のフレームに含まれる移動体を検出した場合には、撮像画像のフレームに対する移動体の検出領域に関する情報（例えばフレームの座標情報）を動線情報取得部４２に出力する。なお、対象検出部４１は、撮像画像のフレームに含まれる移動体を検出しなかった場合には、移動体の検出領域に関する情報（例えば所定のヌル情報）を動線情報取得部４２に出力する。   The object detection unit 41 performs predetermined image processing (for example, person detection processing, face detection processing) on the frame of the captured image output from the image input unit 20, so that the moving object included in the frame of the captured image is detected. Detect the presence or absence. When the target detection unit 41 detects a moving body included in the frame of the captured image, the target detection unit 41 outputs information (for example, coordinate information of the frame) regarding the detection area of the moving body with respect to the frame of the captured image to the flow line information acquisition unit 42. To do. In addition, the object detection part 41 outputs the information (for example, predetermined null information) regarding the detection area | region of a moving body to the flow line information acquisition part 42, when the moving body contained in the flame | frame of a captured image is not detected. .

動線情報取得部４２は、対象検出部４１から出力された移動体の検出領域に関する情報を基に、画像入力部２０から出力された撮像画像の情報と、過去の移動体の検出領域に関する情報（例えば、撮像画像情報や座標情報）を用いて、現在と過去の検出領域に関する情報の紐付けを行い、動線情報（例えば移動体の検出領域の座標情報の変化量）として通過／滞留状況分析部４３に出力する。   The flow line information acquisition unit 42 is based on the information on the detection area of the moving object output from the target detection unit 41, and the information on the captured image output from the image input unit 20 and the information on the detection area of the past moving object. (For example, captured image information and coordinate information) are used to link information on the current and past detection areas, and pass / stay status as flow line information (for example, the amount of change in the coordinate information of the detection area of the moving object). The data is output to the analysis unit 43.

通過／滞留状況分析部４３は、複数の撮像画像に対して動線情報取得部４２から出力された動線情報を基に、撮像画像のフレームにおける移動体の滞留位置又は通過位置に関する動線情報（例えば、「対象位置情報」と「動線情報」と「通過状況又は滞留状況に関する情報」）を抽出して生成する。また、通過／滞留状況分析部４３は、移動体の滞留位置又は通過位置に関する動線情報の抽出結果を用いて、サーバ装置３００の表示画像生成部３５０において生成される動線分析画像のカラー部分の可視化画像を生成しても良い。通過／滞留状況分析部４３は、複数の撮像画像のフレームに対する動線情報を用いることで、画像入力部２０から出力された撮像画像のフレームの中で、移動体が滞留した位置又は通過した位置に関する正確な動線情報を抽出して生成することができる。   The passage / staying state analyzing unit 43 is based on the flow line information output from the flow line information acquiring unit 42 for a plurality of captured images, and the flow line information regarding the staying position or the passing position of the moving body in the frame of the captured image. (For example, “target position information”, “flow line information”, and “information about passage status or stay status”) are extracted and generated. Further, the passage / staying state analyzing unit 43 uses the extraction result of the flow line information regarding the staying position or the passing position of the moving body, and the color portion of the flow line analyzing image generated in the display image generating unit 350 of the server device 300. The visualized image may be generated. The passage / staying state analysis unit 43 uses the flow line information for the frames of the plurality of captured images, so that the position where the moving body stays or the position where it has passed in the frames of the captured image output from the image input unit 20. It is possible to extract and generate the accurate flow line information regarding.

来客者情報取得部１７０は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成され、ＢＬＥ受信端末１６０の出力に基づき、撮像領域の撮像画像に含まれる来客者の撮像領域における滞留位置又は通過位置に関する動線情報を検出して来客者の通過／滞留分析情報蓄積部１７１に保存する。スケジュール管理部５０は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成され、背景画像蓄積部８０に保存された背景画像と、通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果と、来客者の通過／滞留分析情報蓄積部１７１に保存された来客者の動線情報とをサーバ装置３００に定期的に送信するための所定の送信周期を送信部６０に指示する。所定の送信周期は、例えば１５分、１時間、１２時間、２４時間等であるが、これらの時間間隔に限定されない。   The visitor information acquisition unit 170 is configured using, for example, a CPU, MPU, or DSP, and based on the output of the BLE receiving terminal 160, the movement related to the staying position or the passing position of the visitor in the imaging area included in the captured image of the imaging area. The line information is detected and stored in the visitor pass / stay analysis information storage unit 171. The schedule management unit 50 is configured using, for example, a CPU, MPU, or DSP, and the background image stored in the background image storage unit 80 and the staying information or passage of the moving object stored in the passage / staying analysis information storage unit 90 A predetermined transmission cycle for periodically transmitting to the server device 300 the extraction result of the flow line information related to the information and the flow line information of the visitor stored in the visitor passage / staying analysis information storage unit 171 is transmitted. The unit 60 is instructed. The predetermined transmission period is, for example, 15 minutes, 1 hour, 12 hours, 24 hours, etc., but is not limited to these time intervals.

送信部６０は、スケジュール管理部５０又はイベント情報受領部７０からの指示に応じて、背景画像蓄積部８０に保存された背景画像と、通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果と、来客者の通過／滞留分析情報蓄積部１７１に保存された来客者の動線情報とを取得してサーバ装置３００に送信する。   In response to an instruction from the schedule management unit 50 or the event information receiving unit 70, the transmission unit 60 stores the background image stored in the background image storage unit 80 and the moving object stored in the passage / staying analysis information storage unit 90. The flow line information extraction result regarding the stay information or the passage information and the visitor flow line information stored in the visitor pass / stay analysis information storage unit 171 are acquired and transmitted to the server apparatus 300.

イベント情報受領部７０は、サーバ装置３００又は入力デバイス４００から所定のイベント（例えば店舗Ａのフロア１の売場のレイアウトの変更）の検出の通知を受領（取得）し、所定のイベントの検出の通知を受領したことで、背景画像蓄積部８０に保存された背景画像と、通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果と、来客者の通過／滞留分析情報蓄積部１７１に保存された来客者の動線情報とのサーバ装置３００への送信指示を送信部６０に出力する。   The event information receiving unit 70 receives (acquires) notification of detection of a predetermined event (for example, a change in the layout of the sales floor of the floor 1 of the store A) from the server device 300 or the input device 400, and notification of detection of the predetermined event , The background image stored in the background image storage unit 80, the extraction result of the flow information regarding the staying information or the passing information of the moving object stored in the passing / staying analysis information storing unit 90, and the visitor The transmission instruction to the server apparatus 300 of the flow line information of the visitor stored in the pass / stay analysis information storage unit 171 is output to the transmission unit 60.

背景画像蓄積部８０は、例えばＳＤメモリカード等の半導体メモリ又はハードディスク装置を用いて構成され、背景画像生成部３０により生成された背景画像（フレーム）を記憶する。通過／滞留分析情報蓄積部９０は、例えば半導体メモリ又はハードディスク装置を用いて構成され、動線情報分析部４０により生成された移動体の滞留位置又は通過位置に関する動線情報の抽出結果（例えば、「対象位置情報」と「動線情報」と「通過状況又は滞留状況に関する情報」）を記憶する。来客者の通過／滞留分析情報蓄積部１７１は、例えば半導体メモリ又はハードディスク装置を用いて構成され、来客者情報取得部１７０で取得された来客者の撮像領域における滞留位置又は通過位置に関する動線情報を記憶する。   The background image storage unit 80 is configured using, for example, a semiconductor memory such as an SD memory card or a hard disk device, and stores the background image (frame) generated by the background image generation unit 30. The passage / staying analysis information accumulating unit 90 is configured using, for example, a semiconductor memory or a hard disk device, and the flow line information extraction result (for example, the moving position staying or passing position of the moving object generated by the flow line information analyzing unit 40 (for example, "Target position information", "Flow line information", and "Information relating to passage status or stay status") are stored. The visitor passing / staying analysis information accumulating unit 171 is configured using, for example, a semiconductor memory or a hard disk device, and the flow line information regarding the staying position or passing position in the imaging area of the visitor acquired by the visitor information acquiring unit 170. Remember.

なお、図３に示すカメラ装置１００は、イベント情報受領部７０の代わりに、シーン識別部ＳＤを設けても良い。画像変化検出部の一例としてのシーン識別部ＳＤは、画像入力部２０から出力された撮像画像の変化（例えば店舗Ａのフロア１の売場のレイアウトが変更したというイベント）の有無を検出する。シーン識別部ＳＤは、撮像画像の変化を検出した場合には、背景画像蓄積部８０に保存された背景画像と、通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果と、来客者の通過／滞留分析情報蓄積部１７１に保存された来客者の撮像領域における滞留位置又は通過位置に関する動線情報とのサーバ装置３００への送信指示を送信部６０に出力する。   3 may include a scene identification unit SD instead of the event information receiving unit 70. The scene identification unit SD as an example of the image change detection unit detects whether there is a change in the captured image output from the image input unit 20 (for example, an event that the layout of the sales floor on the floor 1 of the store A has changed). When the scene identification unit SD detects a change in the captured image, the background image stored in the background image storage unit 80 and the staying information or passage information of the moving object stored in the passage / staying analysis information storage unit 90 are displayed. A transmission instruction to the server apparatus 300 is transmitted to the result of extracting the flow line information regarding the flow line information regarding the stay position or the pass position in the imaging area of the visitor stored in the visitor pass / stay analysis information storage unit 171. To the unit 60.

また、図３に示すカメラ装置１００は、人数カウント部ＣＴを更に設けても良い。移動体検出部の一例としての人数カウント部ＣＴは、画像入力部２０から出力された撮像画像に対して所定の画像処理（例えば人物検出処理）を行うことで、撮像画像に含まれる移動体の検出数をカウントする。人数カウント部ＣＴは、撮像画像に含まれる移動体の検出数に関する情報を送信部６０に出力する。   In addition, the camera device 100 illustrated in FIG. 3 may further include a person counting unit CT. The person counting unit CT as an example of the moving body detection unit performs predetermined image processing (for example, person detection processing) on the captured image output from the image input unit 20, so that the moving body included in the captured image is detected. Count the number of detections. The person count unit CT outputs information related to the number of detected moving bodies included in the captured image to the transmission unit 60.

（サーバ装置）
図３に示すサーバ装置３００は、イベント情報受領部３１０と、通知部３２０と、受信部３３０と、受信情報蓄積部３４０と、表示画像生成部３５０と、レポート生成出力部３６０とを含む構成である。イベント情報受領部３１０は、該当するカメラ装置（例えばカメラ装置１００）毎に、所定のイベント（例えば店舗Ａのフロア１の売場のレイアウトの変更）が発生したことを示す情報が入力デバイス４００から入力された場合には、所定のイベントの検出の通知を受領する。イベント情報受領部３１０は、所定のイベントの検出の通知を受領したことを通知部３２０に出力する。なお、所定のイベントが発生したことを示す情報には、所定のイベントが発生した場所を撮像領域として撮像するカメラ装置の識別番号が含まれる。 (Server device)
3 includes an event information reception unit 310, a notification unit 320, a reception unit 330, a reception information storage unit 340, a display image generation unit 350, and a report generation output unit 360. is there. The event information receiving unit 310 receives, from the input device 400, information indicating that a predetermined event (for example, a change in the layout of the sales floor on the floor 1 of the store A) has occurred for each corresponding camera device (for example, the camera device 100). If so, a notification of detection of a predetermined event is received. The event information receiving unit 310 outputs to the notification unit 320 that a notification of detection of a predetermined event has been received. Note that the information indicating that a predetermined event has occurred includes an identification number of a camera device that captures an image of a location where the predetermined event has occurred.

通知部３２０は、イベント情報受領部３１０から出力された所定のイベントの検出の通知を該当するカメラ装置（例えばカメラ装置１００）に送信する。受信部３３０は、カメラ装置１００の送信部６０から送信されたデータ（即ち、背景画像蓄積部８０に保存された背景画像、通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果、及び来客者の通過／滞留分析情報蓄積部１７１に保存された来客者の撮像領域における滞留位置又は通過位置に関する動線情報を受信して受信情報蓄積部３４０及び表示画像生成部３５０に出力する。   The notification unit 320 transmits a notification of detection of a predetermined event output from the event information reception unit 310 to the corresponding camera device (for example, the camera device 100). The receiving unit 330 receives data transmitted from the transmission unit 60 of the camera device 100 (that is, the background image stored in the background image storage unit 80, the staying information of the moving object stored in the passage / staying analysis information storage unit 90, or The received information storage unit 340 receives the flow line information extraction result related to the passing information and the flow line information related to the staying position or passing position in the imaging area of the visitor stored in the visitor passing / staying analysis information storage unit 171. And output to the display image generation unit 350.

受信情報蓄積部３４０は、例えば半導体メモリ又はハードディスク装置を用いて構成され、受信部３３０が受信したデータ（即ち、背景画像蓄積部８０に保存された背景画像、通過／滞留分析情報蓄積部９０に保存された移動体の滞留情報又は通過情報に関する動線情報の抽出結果、及び来客者の通過／滞留分析情報蓄積部１７１に保存された来客者の撮像領域における滞留位置又は通過位置に関する動線情報）を記憶する。受信情報蓄積部３４０には、当該各データの記憶において、日時や各カメラ装置１００，１００Ａ，…，１００Ｎの設置位置に対する撮像場所等の撮像画像を特定できる情報も併せて記憶される。   The reception information storage unit 340 is configured using, for example, a semiconductor memory or a hard disk device, and the data received by the reception unit 330 (that is, the background image stored in the background image storage unit 80, the pass / stay analysis information storage unit 90). Extraction result of the flow line information related to the staying information or passing information of the stored moving body, and the flow line information related to the staying position or passing position in the imaging area of the visitor stored in the visitor passing / staying analysis information accumulating unit 171 ) Is memorized. The received information storage unit 340 also stores information that can specify the captured image such as the date and time and the imaging location with respect to the installation positions of the camera devices 100, 100A,.

表示画像生成部３５０は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成され、受信部３３０又は受信情報蓄積部３４０から取得した撮像画像の背景画像、移動体の動線情報及び来客者の動線情報のうち、撮像画像の背景画像と来客者の動線情報を用いて動線分析画像を生成する。即ち、表示画像生成部３５０は、来客者の動線情報を行動軌跡として、撮像画像の背景画像に重畳した動線分析画像を生成する。そして、生成した動線分析画像をモニタ４５０に表示させる。さらに、表示画像生成部３５０は、生成した動線分析画像に加えて、来客者の動線情報を示すアイコンをモニタ４５０に表示させる。ここでのアイコンとは、例えば“買物カゴ”、“カート”、“携帯端末”のアイコンや、“来客者”のアイコンなどである。なお、表示画像生成部３５０は、画像生成部と表示制御部に対応する。   The display image generation unit 350 is configured using, for example, a CPU, MPU, or DSP, and the background image of the captured image acquired from the reception unit 330 or the reception information storage unit 340, the flow line information of the moving body, and the flow line information of the visitor Among them, the flow line analysis image is generated using the background image of the captured image and the flow line information of the visitor. That is, the display image generation unit 350 generates a flow line analysis image superimposed on the background image of the captured image using the flow line information of the visitor as an action trajectory. Then, the generated flow line analysis image is displayed on the monitor 450. In addition to the generated flow line analysis image, the display image generation unit 350 causes the monitor 450 to display an icon indicating the flow line information of the visitor. The icons here are, for example, “shopping cart”, “cart”, “mobile terminal” icons, “customer” icons, and the like. The display image generation unit 350 corresponds to an image generation unit and a display control unit.

動線分析画像は、カメラ装置１００が撮像した撮像画像の中で移動体である従業員１５１や来客者１５２が映らないように排除された背景画像に、撮像画像に対応する撮像領域において来客者１５２が何処によく滞留したか、又は何処を通過したかを視覚的に示す動線情報がヒートマップのように定量的に可視化された画像である。また、表示画像生成部３５０は、生成した動線分析画像をモニタ４５０に表示させる。   The flow line analysis image is a background image that is excluded from the captured image captured by the camera device 100 so that the employee 151 and the visitor 152 that are moving objects are not reflected in the captured area corresponding to the captured image. The flow line information visually indicating where the 152 has stayed or where it has passed is an image that is quantitatively visualized like a heat map. Further, the display image generation unit 350 displays the generated flow line analysis image on the monitor 450.

レポート生成出力部３６０は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成され、動線分析レポートの生成指示が入力デバイス４００から入力された場合には、動線分析レポートを生成する。レポート生成出力部３６０は、生成した動線分析レポートをモニタ４５０に表示させる。   The report generation output unit 360 is configured using, for example, a CPU, MPU, or DSP, and generates a flow line analysis report when a flow line analysis report generation instruction is input from the input device 400. The report generation / output unit 360 displays the generated flow line analysis report on the monitor 450.

図６は、来客者の行動パターンを示した動線分析画像の一例を示す図である。同図に示す動線分析画像１７５は、背景画像１７６に、買物カゴのアイコン１８０と、来客者１５２のアイコン１８１と、買物カゴが通った軌跡１８５と、来客者１５２が通った軌跡１８６とが重畳されたものである。買物カゴには、ＢＬＥ送信端末１５０が取り付けられているので、該買物カゴはアイコン１８０として表示される。来客者１５２がその買物カゴを手にとって移動を開始すると、その移動に伴って軌跡１８５が表示される。一方、来客者１５２がＢＬＥ送信端末１５０そのものを所持するか、あるいはＢＬＥ送信端末１５０の機能を有する携帯端末を所持している場合、来客者を示すアイコン１８１が表示される。来客者１５２が移動を開始すると、それに伴って軌跡１８６が表示される。また、その来客者１５２の詳細を知りたい場合は、軌跡１８６を指定して所定の操作を行うことで（例えば、マウスでクリックすることで）、詳細な情報が表示される。例えば、該当日時の録画映像が再生され、またアイコン１８１にその来客者１５２の顔写真が現れる。図６は、来客者１５２の顔写真が現れた状態を示している。再生映像を見ることで、その来客者１５２の性別や推定年齢を確認することができる。   FIG. 6 is a diagram showing an example of a flow line analysis image showing a visitor's behavior pattern. In the flow line analysis image 175 shown in the figure, a shopping cart icon 180, a visitor 152 icon 181, a trajectory 185 through which the shopping cart passes, and a trajectory 186 through which the visitor 152 passes are added to the background image 176. It is superimposed. Since the BLE transmission terminal 150 is attached to the shopping cart, the shopping cart is displayed as an icon 180. When the visitor 152 starts moving with the shopping cart in hand, a trajectory 185 is displayed along with the movement. On the other hand, when the visitor 152 has the BLE transmission terminal 150 itself or a portable terminal having the function of the BLE transmission terminal 150, an icon 181 indicating the visitor is displayed. When the visitor 152 starts moving, a trajectory 186 is displayed accordingly. Further, when it is desired to know the details of the visitor 152, detailed information is displayed by designating the locus 186 and performing a predetermined operation (for example, by clicking with the mouse). For example, a recorded video of the corresponding date and time is reproduced, and a face photograph of the visitor 152 appears on the icon 181. FIG. 6 shows a state where a facial photograph of the visitor 152 appears. By viewing the playback video, the gender and estimated age of the visitor 152 can be confirmed.

動線分析画像１７５を一見するだけで、従業員１５１と来客者１５２が混在する店舗においても、来客者１５２のみの行動軌跡を把握することができる。そして、来客者１５２のみの行動軌跡を把握できることから、マーケティング情報の把握も容易に行える。また、カメラ装置１００で撮像して得られた撮像画像から人物を取り除いた背景画像を用いることで、プライバシー保護が図れる。また、店舗内で陳列などレイアウト変更があっても、レイアウト変更と来客者１５２の行動軌跡の相関を鳥瞰することができる。   At a glance at the flow line analysis image 175, the behavior trajectory of only the visitor 152 can be grasped even in a store where the employees 151 and the visitor 152 are mixed. And since the action locus | trajectory of only the visitor 152 can be grasped | ascertained, marketing information can also be grasped | ascertained easily. In addition, privacy can be protected by using a background image obtained by removing a person from a captured image obtained by capturing with the camera device 100. Moreover, even if there is a layout change such as a display in the store, the bird's-eye view of the correlation between the layout change and the visitor's 152 action trajectory can be obtained.

サーバ装置３００は、アイコン表示や軌跡表示等を行うための３つの機能を有している。以下、その３つの機能を列記する。
機能（１）：行動パターン表示機能（時間帯）
・指定された時間帯の行動パターンを描画する。
・何の行動パターンかを示すアイコンを描画する。
アイコンは、上述したように、“来客者”や“買物カゴ”等である。 The server device 300 has three functions for performing icon display, locus display, and the like. The three functions are listed below.
Function (1): Action pattern display function (time zone)
・ Draw a behavior pattern for a specified time period.
・ Draw an icon to show what action pattern.
As described above, the icon is “visitor”, “shopping basket”, or the like.

機能（２）：行動軌跡の表示機能（時間帯）
トランザクション
・予め開始位置と終了位置を設定し、該当箇所に例えば買物カゴが移動した場合に開始位置・終了位置を保存することで１トランザクションを認識・記録する。・指定された時間帯の１トランザクションのみを描画することで、特定の来客者の行動軌跡のみを正確に描画することができる。 Function (2): Action locus display function (time zone)
Transactions-A start position and an end position are set in advance, and when a shopping cart moves to the corresponding location, for example, the start position and the end position are saved, and one transaction is recognized and recorded. -By drawing only one transaction in a specified time period, only the action trajectory of a specific visitor can be drawn accurately.

機能（３）：再生連携
・行動軌跡をクリックすると、該当箇所を撮像しているカメラ装置の該当日時の録画映像を再生させることができる。再生映像により、該当行動の詳細把握や該当来客者の顔画像確認による性別や推定年齢の確認をすることができる。録画映像はレコーダ２００に記録されており、サーバ装置３００は録画映像を再生する際に、レコーダ２００にアクセスする。 Function (3): Clicking the playback link / action trajectory can play back the recorded video of the corresponding date and time of the camera device capturing the corresponding location. By using the reproduced video, it is possible to check the gender and the estimated age by confirming the details of the corresponding action and confirming the face image of the corresponding visitor. The recorded video is recorded in the recorder 200, and the server device 300 accesses the recorder 200 when reproducing the recorded video.

図７は、来客者１５２の位置情報を把握し、該来客者１５２の行動軌跡を背景画像に重畳させるまでの処理を説明するためのフローチャートである。同図において、まずカメラ装置（例えばカメラ装置１００とする）が、定期的に繰り返し生成した背景画像（撮像画像から人物を消した画像）を、定期時間帯（例えば１５分間隔）にカメラ装置１００内の背景画像蓄積部８０に一時保持する（ステップＳ１）。   FIG. 7 is a flowchart for explaining processing until the position information of the visitor 152 is grasped and the action locus of the visitor 152 is superimposed on the background image. In the figure, first, a background image (an image obtained by deleting a person from a captured image) repeatedly generated by a camera device (for example, the camera device 100) periodically is displayed at regular time slots (for example, every 15 minutes). Is temporarily stored in the background image storage unit 80 (step S1).

カメラ装置１００は、背景画像を生成して一時保持した後、該背景画像をサーバ装置３００へ送信する。また、カメラ装置１００は、来客者１５２の位置情報を取得してサーバ装置３００へ送信する。サーバ装置３００は、カメラ装置１００から送信された背景画像を取得するとともに、来客者１５２の位置情報を取得して受信情報蓄積部３４０に保存する（ステップＳ２及びステップＳ３）。   The camera device 100 generates a background image and temporarily holds it, and then transmits the background image to the server device 300. In addition, the camera device 100 acquires the location information of the visitor 152 and transmits it to the server device 300. The server device 300 acquires the background image transmitted from the camera device 100, acquires the location information of the visitor 152, and stores it in the received information storage unit 340 (steps S2 and S3).

サーバ装置３００が背景画像と来客者１５２の位置情報を受信情報蓄積部３４０に保存した後、ユーザが動線分析したい日時を指定する（ステップＳ４）。この指定により、サーバ装置３００の表示画像生成部３５０が受信情報蓄積部３４０を参照し、ユーザにて指定された日時の背景画像と来客者１５２の位置情報を取得する（ステップＳ５）。表示画像生成部３５０は、ユーザにて指定された日時の背景画像と来客者１５２の位置情報を取得した後、背景画像に来客者１５２の動線情報を重畳した動線分析画像を生成する。また、表示画像生成部３５０は、予め設定された来客者１５２に紐付けされたアイコンのオーバーレイ表示を行うための表示情報を生成する（ステップＳ６）。そして、生成した動線分析画像とアイコンをモニタ４５０に表示させる（ステップＳ７）。   After the server device 300 stores the background image and the location information of the visitor 152 in the reception information storage unit 340, the user designates the date and time for which a flow line analysis is desired (step S4). With this designation, the display image generation unit 350 of the server device 300 refers to the reception information storage unit 340, and acquires the background image of the date and time designated by the user and the location information of the visitor 152 (step S5). The display image generation unit 350 acquires the background image of the date and time designated by the user and the position information of the visitor 152, and then generates a flow line analysis image in which the flow line information of the visitor 152 is superimposed on the background image. In addition, the display image generation unit 350 generates display information for performing an overlay display of an icon associated with a preset visitor 152 (step S6). Then, the generated flow line analysis image and icon are displayed on the monitor 450 (step S7).

図８は、来客者１５２の行動軌跡を背景画像に重畳させるためのトランザクションＩＤの生成／終了処理を説明するためのフローチャートである。また、図９は、トランザクションＩＤの生成／終了処理の説明を補助するための図である。なお、このトランザクションＩＤの生成／終了処理は、サーバ装置３００の表示画像生成部３５０で行われる。同図において、表示画像生成部３５０は、モニタ４５０に店舗画像を表示する（ステップＳ１０）。次いで、トランザクションの開始位置のエリアを設定し、それを背景画像上に表示する（ステップＳ１１）。即ち、図９に示すように、背景画像の店舗の入り口付近に開始位置のエリア１８２を表示する。トランザクションの開始位置のエリアの設定は、入力デバイス４００によって行われる。なお、トランザクションの開始位置のエリアは複数設定可能である。また、トランザクションの開始位置のエリアには、図示のように開始位置であることを示す“開始位置”が表示されるようにするとよい。   FIG. 8 is a flowchart for explaining transaction ID generation / termination processing for superimposing the action trajectory of the visitor 152 on the background image. FIG. 9 is a diagram for assisting in explanation of transaction ID generation / termination processing. The transaction ID generation / termination process is performed by the display image generation unit 350 of the server device 300. In the figure, the display image generation unit 350 displays a store image on the monitor 450 (step S10). Next, an area for starting the transaction is set and displayed on the background image (step S11). That is, as shown in FIG. 9, the start position area 182 is displayed in the vicinity of the store entrance of the background image. The setting of the area for starting the transaction is performed by the input device 400. Note that a plurality of transaction start position areas can be set. Further, in the area of the start position of the transaction, “start position” indicating the start position may be displayed as shown in the figure.

トランザクションの開始位置のエリア１８２を設定して、背景画像上への表示を行った後、表示画像生成部３５０は、トランザクションの終了位置のエリアを設定し、それを背景画像上に表示する（ステップＳ１２）。即ち、図９に示すように、背景画像のレジ付近に終了位置のエリア１８３を表示する。なお、トランザクションの終了位置のエリアは複数設定可能である。また、トランザクションの終了位置のエリアには、図示のように終了位置であることを示す“終了位置”が表示されるようにするとよい。   After the transaction start position area 182 is set and displayed on the background image, the display image generation unit 350 sets the transaction end position area and displays it on the background image (Step S1). S12). That is, as shown in FIG. 9, the end position area 183 is displayed near the register of the background image. A plurality of transaction end position areas can be set. Further, in the area of the transaction end position, “end position” indicating the end position may be displayed as shown.

表示画像生成部３５０が、トランザクションの終了位置のエリア１８３を設定して、背景画像上への表示を行った後、ＢＬＥ送信端末１５０が付けられた買物カゴ、カート又は携帯端末をトランザクションの開始位置のエリア１８２に配置する。来客者１５２が買物カゴ、カート又は携帯端末を手にとり、トランザクションの開始位置のエリア１８２を出て店内に進むと、表示画像生成部３５０は、新規のトランザクション発生とみなしてトランザクションＩＤを付与する（ステップＳ１３）。その後、ＢＬＥ送信端末１５０が付けられた買物カゴ、カート又は携帯端末がトランザクションの終了位置のエリア１８３に入った場合、表示画像生成部３５０は、トランザクション終了とみなして、トランザクションＩＤをリセットし、アイドル状態となる（ステップＳ１４）。ステップＳ１３とステップＳ１４の処理は、店舗の営業時間が終了するまで繰り返し行われる。   After the display image generation unit 350 sets the area 183 of the transaction end position and performs display on the background image, the shopping cart, cart, or mobile terminal attached with the BLE transmission terminal 150 is moved to the transaction start position. It is arranged in the area 182. When the visitor 152 picks up a shopping cart, a cart, or a portable terminal, exits the transaction start position area 182 and proceeds to the store, the display image generation unit 350 considers that a new transaction has occurred and assigns a transaction ID ( Step S13). Thereafter, when the shopping cart, cart, or portable terminal to which the BLE transmission terminal 150 is attached enters the transaction end position area 183, the display image generation unit 350 regards the transaction as being ended, resets the transaction ID, A state is reached (step S14). The processes in steps S13 and S14 are repeated until the business hours of the store end.

以上により、本実施形態の動線分析システム５００Ａでは、ＢＬＥ送信端末１５０を来客者１５２に所持させ、ＢＬＥ受信端末１６０を店舗内の各所に設置して、ＢＬＥ送信端末１５０から送信された来客者１５２の位置情報をＢＬＥ受信端末１６０で受信させる。カメラ装置１００は、店舗のフロアを撮像して、該フロアの撮像画像の背景画像を繰り返し生成し、またＢＬＥ受信端末１６０で受信された来客者１５２の位置情報に基づき、撮像画像に含まれる来客者１５２のフロアにおける滞留位置又は通過位置に関する動線情報を取得する。そして、所定の送信周期毎に、生成した背景画像と、取得した来客者１５２の動線情報とをサーバ装置３００に送信する。サーバ装置３００は、カメラ装置１００から送信された背景画像と、来客者１５２の動線情報とを受信し、来客者１５２の動線情報を行動の軌跡として、背景画像に重畳した動線分析画像１７５を生成し、生成した動線分析画像１７５をモニタ４５０に表示させる。   As described above, in the flow line analysis system 500A of the present embodiment, the BLE transmission terminal 150 is possessed by the customer 152, the BLE reception terminal 160 is installed in various places in the store, and the customer transmitted from the BLE transmission terminal 150 is transmitted. The position information 152 is received by the BLE receiving terminal 160. The camera device 100 images a store floor, repeatedly generates a background image of the captured image of the floor, and based on the location information of the visitor 152 received by the BLE receiving terminal 160, the visitor included in the captured image The flow line information regarding the staying position or the passing position on the floor of the person 152 is acquired. Then, the generated background image and the acquired flow line information of the visitor 152 are transmitted to the server device 300 at every predetermined transmission cycle. The server device 300 receives the background image transmitted from the camera device 100 and the flow line information of the visitor 152, and uses the flow line information of the visitor 152 as a trajectory of action to superimpose the flow line analysis image on the background image. 175 is generated, and the generated flow line analysis image 175 is displayed on the monitor 450.

これにより、動線分析画像１７５を一見するだけで、従業員１５１と来客者１５２が混在する店舗においても、来客者１５２のみの行動軌跡を把握することができる。そして、来客者１５２のみの行動軌跡を把握できることから、マーケティング情報の把握も容易に行える。また、カメラ装置１００で撮像して得られた撮像画像から人物を取り除いた背景画像を用いることで、プライバシー保護が図れる。また、店舗内で陳列などレイアウト変更があっても、レイアウト変更と来客者１５２の行動軌跡の相関を鳥瞰することができる。   As a result, only by looking at the flow line analysis image 175, the behavior trajectory of only the visitor 152 can be grasped even in a store where the employee 151 and the visitor 152 are mixed. And since the action locus | trajectory of only the visitor 152 can be grasped | ascertained, marketing information can also be grasped | ascertained easily. In addition, privacy can be protected by using a background image obtained by removing a person from a captured image obtained by capturing with the camera device 100. Moreover, even if there is a layout change such as a display in the store, the bird's-eye view of the correlation between the layout change and the visitor's 152 action trajectory can be obtained.

（本実施形態の変形例）
なお、上述した本実施形態では、動線分析画像の生成処理はサーバ装置３００において実行されているが、動線分析画像の生成処理までをカメラ装置１００が実行しても良い。図１０は、本実施形態の変形例のカメラ装置１００Ｓの機能的な内部構成を詳細に示すブロック図である。図１０に示すカメラ装置１００Ｓは、撮像部１０と、画像入力部２０と、背景画像生成部３０と、動線情報分析部４０と、スケジュール管理部５０と、送信部６０Ｓと、イベント情報受領部７０と、背景画像蓄積部８０と、通過／滞留分析情報蓄積部９０と、表示画像生成部３５０Ｓと、来客者情報取得部１７０と、来客者の通過／滞留分析情報蓄積部１７１とを有する。図１０に示すカメラ装置１００Ｓの各部の説明において、図３に示すカメラ装置１００と同一の構成及び動作のものには同一の符号を付して説明を省略し、異なる内容について説明する。 (Modification of this embodiment)
In the present embodiment described above, the flow line analysis image generation process is executed in the server apparatus 300, but the camera apparatus 100 may execute the flow line analysis image generation process. FIG. 10 is a block diagram illustrating in detail a functional internal configuration of a camera device 100S according to a modification of the present embodiment. The camera device 100S shown in FIG. 10 includes an imaging unit 10, an image input unit 20, a background image generation unit 30, a flow line information analysis unit 40, a schedule management unit 50, a transmission unit 60S, and an event information reception unit. 70, a background image storage unit 80, a passage / staying analysis information storage unit 90, a display image generation unit 350S, a visitor information acquisition unit 170, and a visitor pass / stay analysis information storage unit 171. In the description of each part of the camera device 100S shown in FIG. 10, the same components and operations as those of the camera device 100 shown in FIG.

表示画像生成部３５０Ｓは、スケジュール管理部５０又はイベント情報受領部７０からの指示に応じて、背景画像蓄積部８０に保存された背景画像と、来客者の通過／滞留分析情報蓄積部１７１に保存された来客者の撮像領域における滞留位置又は通過位置に関する動線情報とを用いて動線分析画像を生成して送信部６０Ｓに出力する。即ち、表示画像生成部３５０Ｓは、来客者の動線情報を行動軌跡として、撮像画像の背景画像に重畳した動線分析画像を生成して送信部６０Ｓに出力する。また、表示画像生成部３５０Ｓは、生成した動線分析画像に加えて、来客者の動線情報のアイコン（買物カゴ、カート、携帯端末、来客者等のアイコン）を送信部６０Ｓに出力する。送信部６０Ｓは、表示画像生成部３５０Ｓにより生成された動線分析画像及びアイコンをサーバ装置３００に送信する。   The display image generation unit 350S stores the background image stored in the background image storage unit 80 and the visitor pass / stay analysis information storage unit 171 in response to an instruction from the schedule management unit 50 or the event information reception unit 70. The flow line analysis image is generated using the flow line information regarding the staying position or the passing position in the imaging area of the visitor and is output to the transmission unit 60S. That is, the display image generation unit 350S generates a flow line analysis image superimposed on the background image of the captured image using the visitor's flow line information as an action trajectory, and outputs the generated flow line analysis image to the transmission unit 60S. Further, in addition to the generated flow line analysis image, display image generation unit 350S outputs a visitor's flow line information icon (icon of shopping cart, cart, portable terminal, visitor, etc.) to transmission unit 60S. The transmission unit 60S transmits the flow line analysis image and the icon generated by the display image generation unit 350S to the server device 300.

以上により、本実施形態の変形例では、カメラ装置１００Ｓは、所定の撮像領域の撮像画像の背景画像を生成するとともに、ＢＬＥ受信端末１６０の出力に基づき、撮像画像に含まれる来客者の撮像領域における滞留位置又は通過位置に関する動線情報を取得し、背景画像と来客者の動線情報とを用いて、来客者の動線情報を行動軌跡として、撮像画像の背景画像に重畳した動線分析画像を生成する。   As described above, in the modified example of the present embodiment, the camera device 100S generates the background image of the captured image in the predetermined imaging area, and based on the output of the BLE receiving terminal 160, the imaging area of the visitor included in the captured image The flow line analysis is obtained by using the background image and the visitor's flow line information as the action trajectory and superimposing on the background image of the captured image using the background image and the visitor's flow line information. Generate an image.

これにより、カメラ装置１００Ｓにおいて、従業員１５１と来客者１５２が混在する店舗においても、来客者１５２のみの行動軌跡を把握することができる。そして、来客者１５２のみの行動軌跡を把握できることから、マーケティング情報の把握も容易に行える。また、カメラ装置１００Ｓで撮像して得られた撮像画像から人物を取り除いた背景画像を用いることで、プライバシー保護が図れる。また、店舗内で陳列などレイアウト変更があっても、レイアウト変更と来客者１５２の行動軌跡の相関を鳥瞰することができる。   Thereby, in the camera device 100 </ b> S, the behavior trajectory of only the visitor 152 can be grasped even in a store where the employee 151 and the visitor 152 are mixed. And since the action locus | trajectory of only the visitor 152 can be grasped | ascertained, marketing information can also be grasped | ascertained easily. Moreover, privacy protection can be achieved by using a background image obtained by removing a person from a captured image obtained by capturing with the camera device 100S. Moreover, even if there is a layout change such as a display in the store, the bird's-eye view of the correlation between the layout change and the visitor's 152 action trajectory can be obtained.

また、カメラ装置１００Ｓは、動線分析画像の生成処理まで実行して生成結果である動線分析画像をサーバ装置３００に送信するので、例えばサーバ装置３００の処理負荷が相当に高い状態では、動線分析画像の生成処理をサーバ装置３００に実行させなくて済むため、サーバ装置３００の処理負荷の増大を抑制することができる。   In addition, since the camera device 100S executes the process up to the generation process of the flow line analysis image and transmits the flow line analysis image as the generation result to the server apparatus 300, for example, when the processing load on the server apparatus 300 is considerably high, the camera apparatus 100S Since it is not necessary for the server apparatus 300 to execute the line analysis image generation process, an increase in the processing load of the server apparatus 300 can be suppressed.

なお、上述した本実施形態及び本実施形態の変形例では、プライバシーを考慮して、カメラ装置で撮像して得られた撮像画像から人物を消去した背景画像を用いていたが、プライバシーを考慮しない撮像画像、即ち、人物を消去しない撮像画像を背景画像として用いてもよい。   In addition, in this embodiment and the modified example of the embodiment described above, in consideration of privacy, a background image in which a person is deleted from a captured image obtained by capturing with a camera device is used, but privacy is not considered. A captured image, that is, a captured image that does not erase a person may be used as a background image.

（カメラ装置及びサーバ装置の他の構成例）
次に、来客者１５２が所定の来客者識別情報を所持している場合、又は来客者１５２が店舗内において利用する利用物（例えば買物かご、カート）に所定の来客者識別情報を装着している場合に、動線分析システムを構成するサーバ装置が、来客者識別情報を抽出し、この抽出結果を、動線分析システムを構成するカメラ装置により生成された背景画像に重畳して動線分析画像を生成する例について、図１１〜図１３を参照して説明する。言い換えると、以下の説明では、動線分析システムにおいて来客者１５２はＢＬＥ送信端末１５０を所持したり、自己の利用物に装着したりする必要がなくなる。つまり、来客者１５２は、単に来客者識別情報（例えば後述するカラーバーコード）を所持したり、店舗内において利用する利用物に装着したりすればよいので、ＢＬＥ送信端末１５０がなくても良い分、来客者１５２の店舗利用時の利便性は改善する。 (Other configuration examples of camera device and server device)
Next, when the visitor 152 possesses the predetermined visitor identification information, or the visitor 152 attaches the predetermined visitor identification information to a use item (for example, a shopping basket or a cart) used in the store. If the server device that constitutes the flow line analysis system extracts the visitor identification information, the extracted result is superimposed on the background image generated by the camera device that constitutes the flow line analysis system. An example of generating an image will be described with reference to FIGS. In other words, in the following description, in the flow line analysis system, the visitor 152 does not have to carry the BLE transmission terminal 150 or attach it to his / her use object. That is, the visitor 152 may simply have the visitor identification information (for example, a color barcode described later) or be attached to a use item used in the store, and therefore the BLE transmission terminal 150 may not be provided. Therefore, the convenience of the customer 152 when using the store is improved.

図１１は、図３に示すカメラ装置１００及びサーバ装置３００の変形例におけるそれぞれの機能的な内部構成を詳細に示すブロック図である。図１１に示すカメラ装置１００Ｖ及びサーバ装置３００Ｖの説明では、図３に示すカメラ装置１００及びサーバ装置３００と同一の構成については同一の符号を付して説明を簡略化又は省略し、異なる内容について説明する。   FIG. 11 is a block diagram showing in detail the respective functional internal configurations in a modified example of the camera device 100 and the server device 300 shown in FIG. In the description of the camera device 100V and the server device 300V illustrated in FIG. 11, the same components as those of the camera device 100 and the server device 300 illustrated in FIG. explain.

映像送信部６０Ｖは、画像入力部２０から出力された撮像画像のデータ（例えば、カメラ装置１００Ｖが撮像した店舗内のフロアの映像データ）をサーバ装置３００Ｖに送信する。なお、映像送信部６０Ｖは、カメラ装置１００Ｖにおいて送信部６０とは別に構成されているが、映像送信部６０Ｖは送信部６０と一体に構成されてもよい。言い換えると、送信部６０は、画像入力部２０から出力された撮像画像のデータをサーバ装置３００Ｖに送信してもよい。   The video transmission unit 60V transmits captured image data output from the image input unit 20 (for example, video data of a floor in a store captured by the camera device 100V) to the server device 300V. The video transmission unit 60V is configured separately from the transmission unit 60 in the camera device 100V, but the video transmission unit 60V may be configured integrally with the transmission unit 60. In other words, the transmission unit 60 may transmit the captured image data output from the image input unit 20 to the server device 300V.

映像受信部３３０Ｖは、映像送信部６０Ｖから送信された撮像画像のデータを受信して来客者動線情報生成処理部３７０に出力する。なお、映像受信部３３０Ｖは、サーバ装置３００Ｖにおいて受信部３３０とは別に構成されているが、映像受信部３３０Ｖは受信部３３０と一体に構成されてもよい。言い換えると、受信部３３０は、映像送信部６０Ｖから送信された撮像画像のデータを受信して来客者動線情報生成処理部３７０に出力してもよい。   The video reception unit 330V receives the captured image data transmitted from the video transmission unit 60V and outputs the data to the visitor flow line information generation processing unit 370. In addition, although the video receiving unit 330V is configured separately from the receiving unit 330 in the server device 300V, the video receiving unit 330V may be configured integrally with the receiving unit 330. In other words, the receiving unit 330 may receive the captured image data transmitted from the video transmission unit 60V and output it to the visitor flow line information generation processing unit 370.

来客者動線情報生成処理部３７０は、映像受信部３３０Ｖから出力された撮像画像のデータを基に、撮像画像のデータのフレーム毎に画像処理を行い、来客者１５２により所持され、又は来客者１５２の利用物に装着される来客者識別情報を検出して抽出する。来客者動線抽出部の一例としての来客者動線情報生成処理部３７０は、映像受信部３３０Ｖから出力された撮像画像のデータのフレーム数にわたり、フレーム毎に抽出した来客者識別情報を時間的に繋ぎ合わせることで、来客者１５２の店舗内のフロアにおける滞留位置又は通過位置に関する動線情報（以下、「来客者動線情報」という）を生成して抽出する。来客者動線情報生成処理部３７０は、来客者動線情報を受信情報蓄積部３４０に保存する。   The visitor flow line information generation processing unit 370 performs image processing for each frame of the captured image data based on the captured image data output from the video reception unit 330V and is held by the visitor 152 or the visitor Visitor identification information attached to the 152 usage items is detected and extracted. The visitor flow line information generation processing unit 370 as an example of the visitor flow line extraction unit temporally extracts the visitor identification information extracted for each frame over the number of frames of the captured image data output from the video reception unit 330V. , The flow line information (hereinafter referred to as “customer flow line information”) relating to the staying position or passing position on the floor of the customer 152 in the store is generated and extracted. The visitor flow line information generation processing unit 370 stores the visitor flow line information in the reception information storage unit 340.

表示画像生成部３５０は、受信情報蓄積部３４０から背景画像のデータと来客者１５２の来客者動線情報とを読み出し、背景画像のデータに来客者１５２の来客者動線情報を重畳した動線分析画像を生成する。表示画像生成部３５０は、例えば不図示のサーバ装置３００Ｖ内のメモリに予め保持されている、設定済みの来客者１５２に対応するアイコンを動線分析画像にオーバーレイ表示した表示情報（例えば図６参照）を生成する。また、表示制御部の一例としての表示画像生成部３５０は、動線分析画像と来客者１５２を示すアイコンとを対応付けるようにモニタ４５０に表示させる。   The display image generation unit 350 reads the background image data and the visitor flow line information of the visitor 152 from the reception information storage unit 340 and superimposes the visitor flow line information of the visitor 152 on the background image data. Generate an analysis image. The display image generation unit 350 displays display information (for example, see FIG. 6) in which an icon corresponding to the set visitor 152 that is stored in advance in a memory in the server device 300V (not shown) is overlaid on the flow line analysis image. ) Is generated. Further, the display image generation unit 350 as an example of the display control unit causes the monitor 450 to display the flow line analysis image and the icon indicating the visitor 152 so as to be associated with each other.

ここで、来客者識別情報について、図３に示す動線分析システムと図１１に示す動線分析システムとを比較しながら説明する。   Here, the visitor identification information will be described while comparing the flow line analysis system shown in FIG. 3 with the flow line analysis system shown in FIG.

図３に示す動線分析システムでは、ＢＬＥ送信端末１５０が来客者１５２により所持され、又は来客者１５２の店舗利用時における利用物（例えば買物かご、カート）に装着されており、更に、ＢＬＥ送信端末１５０から送信される信号（つまり、来客者１５２の店舗内のフロアの位置情報）を受信するためのＢＬＥ受信端末１６０が備えられていた。即ち、図３に示す動線分析システムでは、カメラ装置１００が来客者１５２の店舗内のフロアの位置情報を取得するために、特別な送信機及び受信機（つまり、ＢＬＥ送信端末１５０及びＢＬＥ受信端末１６０）が必要であった。   In the flow line analysis system shown in FIG. 3, the BLE transmission terminal 150 is carried by a visitor 152 or attached to a use item (for example, a shopping basket or a cart) when the visitor 152 uses the store, and further, BLE transmission is performed. A BLE receiving terminal 160 for receiving a signal transmitted from the terminal 150 (that is, location information of the floor of the customer 152 in the store) was provided. That is, in the flow line analysis system shown in FIG. 3, in order for the camera apparatus 100 to acquire the location information of the floor in the store of the visitor 152, a special transmitter and receiver (that is, the BLE transmission terminal 150 and the BLE reception). Terminal 160) was required.

一方、図１１に示す動線分析システムでは、ＢＬＥ送信端末１５０及びＢＬＥ受信端末１６０のような特別な送信機及び受信機は不要となる。具体的には、例えばカラーバーコードに代表される来店客識別情報を来客者１５２により所持され、又は来客者１５２の店舗利用時の利用物に装着される。サーバ装置３００Ｖは、カメラ装置１００Ｖから送信された撮像画像のデータのフレームから来店客識別情報（例えばカラーバーコード）を画像処理によって検出して抽出し、フレーム数に応じた抽出結果を時間的に繋ぎ合わせることで来客者１５２の動線情報を生成して抽出する。   On the other hand, in the flow line analysis system shown in FIG. 11, special transmitters and receivers such as the BLE transmitting terminal 150 and the BLE receiving terminal 160 are not necessary. Specifically, for example, the visitor identification information represented by a color barcode is carried by the visitor 152, or is attached to a use item when the visitor 152 uses the store. The server device 300V detects and extracts store visitor identification information (for example, a color barcode) from the frame of the captured image data transmitted from the camera device 100V by image processing, and temporally extracts an extraction result corresponding to the number of frames. By connecting, the flow line information of the visitor 152 is generated and extracted.

カラーバーコードは、例えばシアン、マゼンダ、イエロー、ブラック（ＣＭＹＫ）の各種の色を用いた複数のカラーパターンにより構成された識別可能な情報である。来客者動線情報生成処理部３７０は、撮像画像のデータのフレーム毎にカラーバーコードを検出すると、複数のフレームにより構成される撮像画像のデータ中のカラーバーコードの検出位置を、カラーバーコードに対応した来客者１５２の滞留位置又は通過位置に関する来店客動線情報として生成する。カラーバーコードを来店客動線情報として使用することで、サーバ装置３００Ｖは、ＢＬＥ送信端末１５０やＢＬＥ受信端末１６０のような特別な送信機及び受信機を必要とせずに、カメラ装置１００Ｖから送信された撮像画像のデータを画像処理することで、来客者１５２の店舗内のフロアの滞留位置又は通過位置に関する来店客動線情報を正確に生成して抽出することができる。   The color bar code is identifiable information configured by a plurality of color patterns using various colors such as cyan, magenta, yellow, and black (CMYK). When the visitor flow line information generation processing unit 370 detects the color barcode for each frame of the captured image data, the visitor flow line information generation processing unit 370 determines the detection position of the color barcode in the captured image data composed of a plurality of frames. Is generated as store visitor flow line information relating to the staying position or passing position of the visitor 152 corresponding to. By using the color barcode as the store visitor flow line information, the server apparatus 300V transmits from the camera apparatus 100V without requiring a special transmitter and receiver such as the BLE transmitting terminal 150 and the BLE receiving terminal 160. By performing image processing on the captured image data, it is possible to accurately generate and extract visitor flow line information regarding the staying position or passing position of the floor of the customer 152 in the store.

次に、図１１に示すカメラ装置１００Ｖ及びサーバ装置３００において、サーバ装置３００Ｖが来客者動線情報を抽出し、来客者動線情報を行動軌跡として背景画像に重畳させるまでの処理について、図１２を参照して説明する。図１２は、図１１に示すカメラ装置１００Ｖ及びサーバ装置３００Ｖにおいて、来客者動線情報を抽出し、来客者動線情報を行動軌跡として背景画像に重畳させるまでの処理を説明するためのフローチャートである。図１２では、ステップＳ２１〜ステップＳ２３の各処理と、ステップＳ２４〜ステップＳ２６の各処理とは時間的に並列に行われる。言い換えると、ステップＳ２１〜ステップＳ２３の各処理の前又は後にステップＳ２４〜ステップＳ２６の各処理が行われるのではない。   Next, in the camera device 100V and the server device 300 shown in FIG. 11, the processing until the server device 300V extracts the visitor flow line information and superimposes the visitor flow line information on the background image as an action trajectory is shown in FIG. Will be described with reference to FIG. FIG. 12 is a flowchart for explaining the process from extracting the visitor flow line information to superimposing the visitor flow line information on the background image as an action trajectory in the camera apparatus 100V and the server apparatus 300V shown in FIG. is there. In FIG. 12, each process of step S21-step S23 and each process of step S24-step S26 are performed in parallel temporally. In other words, steps S24 to S26 are not performed before or after steps S21 to S23.

図１２において、カメラ装置１００Ｖは、撮像エリア（例えば店舗のフロア）の撮像画像に対応する背景画像（つまり、撮像画像から画角内に現れる人物を消した画像）を、定期的に繰り返して生成する。カメラ装置１００Ｖは、この生成した背景画像のデータを、定期時間帯（例えば１５分間隔）にカメラ装置１００内の背景画像蓄積部８０に一時保持する（ステップＳ２１）。   In FIG. 12, the camera device 100 </ b> V periodically and repeatedly generates a background image (that is, an image in which a person appearing within the angle of view is erased from the captured image) corresponding to the captured image in the imaging area (for example, a store floor). To do. The camera device 100V temporarily stores the generated background image data in the background image storage unit 80 in the camera device 100 in a regular time period (for example, every 15 minutes) (step S21).

カメラ装置１００Ｖは、撮像エリア（例えば店舗のフロア）の撮像画像のデータのフレーム毎に、撮像画像のフレームにおける来客者１５２を含む移動体の動線情報を抽出して生成する。カメラ装置１００Ｖは、この生成した移動体の動線情報のデータを、定期時間帯（例えば１５分間隔）にカメラ装置１００内の通過／滞留分析情報蓄積部９０に一時保持する（ステップＳ２２）。カメラ装置１００Ｖは、ステップＳ２１及びステップＳ２２においてそれぞれ一時保存した背景画像のデータと移動体の動線情報とをサーバ装置３００Ｖに送信する。   The camera device 100V extracts and generates the flow line information of the moving body including the visitor 152 in the frame of the captured image for each frame of the captured image data in the imaging area (for example, the floor of the store). The camera device 100V temporarily holds the generated movement line data of the moving body in the passage / staying analysis information accumulation unit 90 in the camera device 100 in a regular time period (for example, every 15 minutes) (step S22). The camera device 100V transmits the data of the background image temporarily stored in step S21 and step S22 and the flow line information of the moving body to the server device 300V.

サーバ装置３００Ｖは、カメラ装置１００Ｖから送信された背景画像のデータ及び移動体の動線情報を受信して受信情報蓄積部３４０に保存する（ステップＳ２３）。   The server apparatus 300V receives the background image data and the moving line flow information transmitted from the camera apparatus 100V and stores them in the reception information storage unit 340 (step S23).

また、カメラ装置１００Ｖは、撮像エリア（例えば店舗のフロア）を撮像し、撮像画像のデータ（つまり、撮像エリアの映像）をサーバ装置３００Ｖに送信する（ステップＳ２４）。   In addition, the camera device 100V images an imaging area (for example, a store floor), and transmits captured image data (that is, video of the imaging area) to the server device 300V (step S24).

サーバ装置３００Ｖは、カメラ装置１００Ｖから送信された撮像画像のデータを基に、撮像画像のデータのフレーム毎に画像処理を行い、来客者１５２により所持され、又は来客者１５２の利用物に装着される来客者識別情報（例えばカラーバーコード）を検出して抽出する。サーバ装置３００Ｖは、撮像画像のデータのフレーム数にわたり、フレーム毎に抽出した来客者識別情報を時間的に繋ぎ合わせることで、来客者１５２の店舗内のフロアにおける滞留位置又は通過位置に関する動線情報（来客者動線情報）を生成して抽出する（ステップＳ２５）。   The server device 300V performs image processing for each frame of the captured image data based on the captured image data transmitted from the camera device 100V, and is carried by the visitor 152 or attached to the use object of the visitor 152. The customer identification information (for example, color barcode) is detected and extracted. The server device 300V temporally connects the visitor identification information extracted for each frame over the number of frames of the captured image data, so that the flow line information about the stay position or the passage position on the floor in the store of the visitor 152 (Customer flow line information) is generated and extracted (step S25).

サーバ装置３００Ｖは、この生成した来客者動線情報を受信情報蓄積部３４０に保存する（ステップＳ２６）。   The server device 300V stores the generated visitor flow line information in the reception information storage unit 340 (step S26).

サーバ装置３００Ｖが背景画像のデータと来客者１５２の来客者動線情報と移動体の動線情報とを受信情報蓄積部３４０に保存した後、ユーザの入力デバイス４００を用いた操作により、ユーザが動線分析したい日時が指定される（ステップＳ２７）。なお、図３や図１１では、図面の複雑化を回避するために、入力デバイス４００と表示画像生成部３５０との間の矢印の図示を省略している。   After the server device 300V stores the background image data, the visitor flow line information of the visitor 152, and the flow line information of the moving body in the reception information storage unit 340, the user can perform operations by using the input device 400 by the user. A date and time for which a flow line analysis is desired is designated (step S27). 3 and 11, the arrows between the input device 400 and the display image generation unit 350 are not shown in order to avoid complication of the drawings.

ステップＳ２７の指定により、サーバ装置３００の表示画像生成部３５０は、受信情報蓄積部３４０を参照し、ユーザにて指定された日時の背景画像のデータと来客者１５２の来客者動線情報とを取得する（ステップＳ２８）。   By the designation in step S27, the display image generation unit 350 of the server device 300 refers to the reception information storage unit 340, and obtains the background image data and the visitor flow line information of the visitor 152 specified by the user. Obtain (step S28).

表示画像生成部３５０は、ユーザにて指定された日時の背景画像のデータと来客者１５２の来客者動線情報とを取得した後、背景画像に来客者１５２の来客者動線情報を重畳した動線分析画像を生成する。また、表示画像生成部３５０は、予め設定された来客者１５２に紐付けされたアイコンのオーバーレイ表示を行うための表示情報を生成する（ステップＳ２９）。そして、表示画像生成部３５０は、この生成した動線分析画像とアイコンとを対応付けるようにモニタ４５０に表示させる（ステップＳ３０）。   The display image generation unit 350 obtains the background image data of the date and time specified by the user and the visitor flow line information of the visitor 152, and then superimposes the visitor flow line information of the visitor 152 on the background image. A flow line analysis image is generated. Further, the display image generation unit 350 generates display information for performing an overlay display of an icon associated with a preset visitor 152 (step S29). Then, the display image generation unit 350 displays the generated flow line analysis image and the icon on the monitor 450 so as to be associated with each other (step S30).

図１３は、図１０に示すカメラ装置１００Ｓの変形例における機能的な内部構成を詳細に示すブロック図である。図１３の説明において、図１０に示すカメラ装置１００Ｓの各部と同一の構成については同一の符号を付与して説明を省略し、異なる内容について説明する。   FIG. 13 is a block diagram showing in detail a functional internal configuration in a modified example of the camera device 100S shown in FIG. In the description of FIG. 13, the same components as those of the camera device 100 </ b> S illustrated in FIG. 10 are denoted by the same reference numerals, description thereof is omitted, and different contents are described.

来客者動線情報生成処理部３７０ＳＶは、画像入力部２０から出力された撮像画像のデータを基に、撮像画像のデータのフレーム毎に画像処理を行い、来客者１５２により所持され、又は来客者１５２の利用物に装着される来客者識別情報を検出して抽出する。来客者動線抽出部の一例としての来客者動線情報生成処理部３７０ＳＶは、画像入力部２０から出力された撮像画像のデータのフレーム数にわたり、フレーム毎に抽出した来客者識別情報を時間的に繋ぎ合わせることで、来客者１５２の店舗内のフロアにおける滞留位置又は通過位置に関する動線情報（来客者動線情報）を生成して抽出する。来客者動線情報生成処理部３７０ＳＶは、来客者動線情報を来客者の通過／滞留分析情報蓄積部１７１ＳＶに保存する。   The visitor flow line information generation processing unit 370SV performs image processing for each frame of the captured image data based on the captured image data output from the image input unit 20, and is held by the visitor 152 or the visitor Visitor identification information attached to the 152 usage items is detected and extracted. The visitor flow line information generation processing unit 370SV as an example of the visitor flow line extraction unit temporally outputs the visitor identification information extracted for each frame over the number of frames of the captured image data output from the image input unit 20. , The flow line information (visitor flow line information) regarding the staying position or the passing position on the floor of the customer 152 in the store is generated and extracted. The visitor flow line information generation processing unit 370SV stores the visitor flow line information in the visitor pass / stay analysis information storage unit 171SV.

来客者の通過／滞留分析情報蓄積部１７１ＳＶは、例えばフラッシュメモリ又はハードディスクを用いて構成され、来客者動線情報生成処理部３７０ＳＶにより生成された来客者１５２の来客者動線情報を保存する。また、図３や図１０に示す来客者の通過／滞留分析情報蓄積部１７１も同様にフラッシュメモリ又はハードディスクを用いて構成される。   The visitor pass / stay analysis information storage unit 171SV is configured by using, for example, a flash memory or a hard disk, and stores the visitor flow line information of the visitor 152 generated by the visitor flow line information generation processing unit 370SV. Similarly, the visitor passing / staying analysis information accumulating unit 171 shown in FIGS. 3 and 10 is also configured using a flash memory or a hard disk.

表示画像生成部３５０ＳＶは、来客者の通過／滞留分析情報蓄積部１７１ＳＶから来客者１５２の来客者動線情報を読み出し、更に、背景画像蓄積部８０から背景画像のデータを読み出す。表示画像生成部３５０ＳＶは、背景画像に来客者１５２の来客者動線情報を重畳した動線分析画像を生成する。また、表示画像生成部３５０ＳＶは、例えば不図示のカメラ装置１００ＳＶ内のメモリに予め保持されている、設定済みの来客者１５２に対応するアイコンを動線分析画像にオーバーレイ表示した表示情報（例えば図６参照）を生成する。   The display image generation unit 350SV reads the visitor flow line information of the visitor 152 from the visitor pass / stay analysis information storage unit 171SV, and further reads the background image data from the background image storage unit 80. The display image generation unit 350SV generates a flow line analysis image in which the visitor flow line information of the visitor 152 is superimposed on the background image. Further, the display image generation unit 350SV displays display information (for example, a diagram) in which an icon corresponding to the set visitor 152, which is stored in advance in a memory in the camera device 100SV (not shown), is overlaid on the flow line analysis image. 6).

送信部６０ＳＶは、表示画像生成部３５０ＳＶにより生成された動線分析画像、又は来客者１５２を示すアイコンが重畳された動線分析画像のデータをサーバ装置３００に送信する。   The transmission unit 60SV transmits to the server device 300 the flow line analysis image generated by the display image generation unit 350SV or the data of the flow line analysis image on which the icon indicating the visitor 152 is superimposed.

以上により、図１１に示すカメラ装置１００Ｖ及びサーバ装置３００Ｖを含む動線分析システムの例では、サーバ装置３００Ｖは、カメラ装置１００Ｖから送信された撮像画像のデータを基に、来客者１５２により所持され、又は来客者１５２の利用物に装着される来客者識別情報（例えばカラーバーコード）を検出して抽出する。サーバ装置３００Ｖは、撮像画像のデータのフレーム数にわたり、抽出された来店客識別情報を時間的に繋ぎ合わせることで、来客者１５２の来客者動線情報を生成し、この来客者動線情報を背景画像に重畳した動線分析画像を生成してモニタ４５０に表示させる。   As described above, in the example of the flow line analysis system including the camera device 100V and the server device 300V illustrated in FIG. 11, the server device 300V is possessed by the visitor 152 based on the captured image data transmitted from the camera device 100V. Alternatively, it detects and extracts visitor identification information (for example, a color barcode) attached to the usage of the visitor 152. The server apparatus 300V generates the visitor flow line information of the visitor 152 by temporally connecting the extracted visitor identification information over the number of frames of the captured image data, and the visitor flow line information is generated. A flow line analysis image superimposed on the background image is generated and displayed on the monitor 450.

これにより、図１１に示すカメラ装置１００Ｖ及びサーバ装置３００Ｖを含む動線分析システムは、来客者１５２と従業員１５１とが混在する店舗において、来客者１５２のプライバシーの保護を図りながらも、来客者１５２の行動軌跡を正確に把握することができ、レイアウト変更等によって所定のタイミングで更新された背景画像に人物（例えば来客者１５２）の滞留情報又は通過情報を重畳した正確な動線分析画像を生成することができる。   As a result, the flow line analysis system including the camera device 100V and the server device 300V shown in FIG. 11 is designed to protect the privacy of the visitor 152 while protecting the privacy of the visitor 152 in a store where the visitor 152 and the employee 151 are mixed. The action trajectory of 152 can be accurately grasped, and an accurate flow line analysis image obtained by superimposing staying information or passing information of a person (for example, a visitor 152) on a background image updated at a predetermined timing by a layout change or the like can be obtained. Can be generated.

また、カメラ装置１００Ｖ及びサーバ装置３００Ｖを含む動線分析システムでは、カメラ装置１００Ｖは、撮像エリアである店舗のフロアの撮像画像に含まれる来客者１５２を含む移動体の移動体動線情報を抽出してサーバ装置３００Ｖに送信する。サーバ装置３００Ｖは、カメラ装置１００Ｖから送信された移動体の移動体動線情報とサーバ装置３００Ｖにより抽出された来客者１５２の来客者動線情報とを背景画像に重畳した動線分析画像を生成する。これにより、サーバ装置３００Ｖは、店舗のフロアに現れる移動体（従業員１５１、来客者１５２の両方を含む）の動線情報と来客者１５２の動線情報とを背景画像上で確認可能な動線分析画像を生成でき、ユーザのマーケティングに資する証拠画像データを得ることができる。   Further, in the flow line analysis system including the camera device 100V and the server device 300V, the camera device 100V extracts the moving body flow line information of the moving body including the visitor 152 included in the captured image of the store floor that is the imaging area. To the server device 300V. The server apparatus 300V generates a moving line analysis image in which the moving body flow line information of the moving body transmitted from the camera apparatus 100V and the visitor flow line information of the visitor 152 extracted by the server apparatus 300V are superimposed on the background image. To do. As a result, the server device 300V is capable of confirming on the background image the flow line information of the moving body (including both the employee 151 and the visitor 152) appearing on the floor of the store and the flow line information of the visitor 152. A line analysis image can be generated, and evidence image data contributing to user marketing can be obtained.

また、カメラ装置１００Ｖ及びサーバ装置３００Ｖを含む動線分析システムでは、カラーバーコードを来店客動線情報として使用することで、サーバ装置３００Ｖは、図２に示すＢＬＥ送信端末１５０やＢＬＥ受信端末１６０のような特別な送信機及び受信機を必要とせずに、カメラ装置１００Ｖから送信された撮像画像のデータを画像処理することで、来客者１５２の店舗内のフロアの滞留位置又は通過位置に関する来店客動線情報を正確に生成して抽出することができる。   Further, in the flow line analysis system including the camera device 100V and the server device 300V, the server device 300V uses the color barcode as the store visitor flow line information, so that the server device 300V has the BLE transmission terminal 150 and the BLE reception terminal 160 shown in FIG. The customer visits the store or the passing position of the floor in the store of the visitor 152 by performing image processing on the data of the captured image transmitted from the camera device 100V without requiring a special transmitter and receiver as described above. Customer flow line information can be accurately generated and extracted.

また、カメラ装置１００Ｖ及びサーバ装置３００Ｖを含む動線分析システムでは、サーバ装置３００Ｖは、来客者１５２又は来客者１５２の利用物を示すアイコンを背景画像に重畳した動線分析画像を生成する。これにより、サーバ装置３００Ｖは、特定の注目する対象となる来客者１５２（例えばお得意様等の重要顧客）について、店舗のフロア内の動線状況を、ユーザに対して正確に把握させることができる。   In the flow line analysis system including the camera device 100V and the server device 300V, the server device 300V generates a flow line analysis image in which a visitor 152 or an icon indicating a visitor 152 use object is superimposed on a background image. As a result, the server device 300V allows the user to accurately grasp the flow line situation in the store floor for the visitor 152 (for example, an important customer such as a customer) who is a specific target of interest. it can.

また、図１３に示すカメラ装置１００ＳＶを含む動線分析システムでは、カメラ装置１００ＳＶは、撮像エリアの撮像画像の背景画像を生成するとともに、撮像画像に含まれる来客者１５２の来客者識別情報を検出して抽出する。カメラ装置１００ＳＶは、滞留位置又は通過位置に関する動線情報を取得し、背景画像と来客者の動線情報とを用いて、来客者の動線情報を行動軌跡として、撮像画像の背景画像に重畳した動線分析画像を生成し、動線分析画像をモニタ４５０に表示させるサーバ装置（例えば図３に示すサーバ装置３００）に送信する。   In the flow line analysis system including the camera device 100SV shown in FIG. 13, the camera device 100SV generates a background image of the captured image in the imaging area and detects the visitor identification information of the visitor 152 included in the captured image. And extract. The camera device 100SV acquires flow line information related to the stay position or the passing position, and uses the background image and the flow line information of the visitor to superimpose the flow line information of the visitor on the background image of the captured image as an action trajectory. The flow line analysis image is generated and transmitted to a server device (for example, the server device 300 shown in FIG. 3) that displays the flow line analysis image on the monitor 450.

これにより、カメラ装置１００ＳＶは、従業員１５１と来客者１５２が混在する店舗においても、来客者１５２のみの行動軌跡を把握可能な動線分析画像を生成することができる。また、来客者１５２のみの行動軌跡を把握できることから、マーケティング情報の把握も容易に行える。また、カメラ装置１００ＳＶは、撮像により得られた撮像画像から人物を取り除いた背景画像を用いることで、撮像エリアに現れた人物のプライバシー保護を図ることができる。また、店舗内で陳列などレイアウト変更があっても、レイアウト変更と来客者１５２の行動軌跡の相関を俯瞰することができる。   Accordingly, the camera device 100SV can generate a flow line analysis image that can grasp the behavior trajectory of only the visitor 152 even in a store where the employees 151 and the visitor 152 are mixed. In addition, since the behavior trajectory of only the visitor 152 can be grasped, the marketing information can be grasped easily. In addition, the camera device 100SV can protect the privacy of the person who appears in the imaging area by using the background image obtained by removing the person from the captured image obtained by imaging. Moreover, even if there is a layout change such as a display in the store, the correlation between the layout change and the action trajectory of the visitor 152 can be overlooked.

また、カメラ装置１００ＳＶは、動線分析画像の生成処理まで実行して生成結果である動線分析画像をサーバ装置３００に送信するので、例えばサーバ装置３００の処理負荷が相当に高い状態では、動線分析画像の生成処理をサーバ装置３００に実行させなくて済むため、サーバ装置３００の処理負荷の増大を抑制することができる。   In addition, since the camera device 100SV executes the generation processing of the flow line analysis image and transmits the flow line analysis image as a generation result to the server device 300, for example, when the processing load on the server device 300 is considerably high, Since it is not necessary for the server apparatus 300 to execute the line analysis image generation process, an increase in the processing load of the server apparatus 300 can be suppressed.

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。   While various embodiments have been described above with reference to the drawings, it goes without saying that the present invention is not limited to such examples. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Understood.

本発明は、来客者と従業員が混在する店舗において、プライバシーの保護を図りながらも、来客者の行動軌跡を把握することができるといった効果を有し、所定のタイミングで更新された背景画像に人物の滞留情報又は通過情報を重畳した正確な動線分析画像を生成する動線分析システム、カメラ装置及び動線分析方法として有用である。   The present invention has an effect of being able to grasp the behavior trajectory of a visitor while protecting privacy in a store where visitors and employees are mixed, and provides a background image updated at a predetermined timing. The present invention is useful as a flow line analysis system, a camera device, and a flow line analysis method for generating an accurate flow line analysis image in which human residence information or passage information is superimposed.

１０ 撮像部
２０ 画像入力部
３０ 背景画像生成部
３１ 入力画像学習部
３２ 移動体分離部
３３ 背景画像抽出部
４０ 動線情報分析部
４１ 対象検出部
４２ 動線情報取得部
４３ 通過／滞留状況分析部
５０ スケジュール管理部
６０、６０ＳＶ 送信部
６０Ｖ 映像送信部
７０ イベント情報受領部
８０ 背景画像蓄積部
９０ 通過／滞留分析情報蓄積部
１００、１００Ａ、１００Ｎ、１００Ｓ、１００Ｖ、１００ＳＶ カメラ装置
１５０ ＢＬＥ送信端末
１５１ 従業員
１５２ 来客者
１６０ ＢＬＥ受信端末
１７０ 来客者情報取得部
１７１、１７１ＳＶ 来客者の通過／滞留分析情報蓄積部
２００ レコーダ
３００、３００Ｖ、６００ サーバ装置
３１０ イベント情報受領部
３２０ 通知部
３３０ 受信部
３３０Ｖ 映像受信部
３４０ 受信情報蓄積部
３５０、３５０Ｖ、３５０ＳＶ 表示画像生成部
３６０ レポート生成出力部
３７０、３７０ＳＶ 来客者動線情報生成処理部
４００ 入力デバイス
４５０ モニタ
５００Ａ、５００Ｂ、５００Ｃ 動線分析システム
７００ スマートフォン
８００ クラウドコンピュータ
９００ 設定端末装置
１０００ 販売管理システム
ＣＴ 人数カウント部
ＳＤ シーン識別部 DESCRIPTION OF SYMBOLS 10 Imaging part 20 Image input part 30 Background image generation part 31 Input image learning part 32 Moving body separation part 33 Background image extraction part 40 Flow line information analysis part 41 Target detection part 42 Flow line information acquisition part 43 Passing / staying state analysis part 50 Schedule Management Unit 60, 60SV Transmitting Unit 60V Video Transmitting Unit 70 Event Information Receiving Unit 80 Background Image Accumulating Unit 90 Passing / Standing Analysis Information Accumulating Unit 100, 100A, 100N, 100S, 100V, 100SV Camera Device 150 BLE Transmission Terminal 151 Employee Member 152 Visitor 160 BLE receiving terminal 170 Visitor information acquisition unit 171, 171 SV Passenger pass / stay analysis information storage unit 200 Recorder 300, 300 V, 600 Server device 310 Event information reception unit 320 Notification unit 330 Reception unit 330 V Video reception Unit 340 reception information storage unit 350, 350 , 350 SV Display image generation unit 360 Report generation output unit 370, 370 SV Visitor flow line information generation processing unit 400 Input device 450 Monitor 500A, 500B, 500C Flow line analysis system 700 Smart phone 800 Cloud computer 900 Setting terminal device 1000 Sales management system CT People count section SD Scene identification section

Claims (6)

カメラ装置とサーバ装置とが相互に接続された動線分析システムであって、
前記カメラ装置は、
撮像エリアを撮像し、
前記撮像された前記撮像エリアの撮像画像に対応する背景画像を繰り返し生成し、
所定の送信周期毎に、前記撮像された前記撮像エリアの撮像画像と、前記生成された前記背景画像とを前記サーバ装置に送信し、
前記サーバ装置は、
前記カメラ装置から送信された前記撮像エリアの撮像画像と前記背景画像とを受信し、
前記撮像エリアの撮像画像を基に、来客者により所持され、又は前記来客者の利用物に装着される来客者識別情報の前記撮像エリアにおける滞留位置又は通過位置に関する来客者動線情報を抽出し、
前記抽出された前記来客者動線情報を前記来客者の行動軌跡として、前記背景画像に重畳した第１の動線分析画像を生成し、
前記生成された前記第１の動線分析画像を表示部に表示させる、
動線分析システム。 A flow line analysis system in which a camera device and a server device are connected to each other,
The camera device is
Imaging the imaging area,
Repeatedly generates a background image corresponding to the captured image of the imaging area which is pre-Symbol shooting image,
The predetermined transmission every period, and transmits the captured image of the imaging area which is pre-Symbol shooting an image, and the background image has been made before Kisei to the server apparatus,
The server device
The captured image of the imaging area which is transmitted from the camera device receives the background image,
Based on the captured image of the imaging area, it is owned by the visitor, or extract the visitor flow line information about the dwell position or passing position in the imaging area of the visitor identification information attached to the visitor's use thereof ,
The visitor flow line information issued before Ki抽 as the action path of the visitor, and generates a first flow line analysis image superimposed on the background image,
Ru to display the first flow line analysis images made before Kisei on the display unit,
Flow line analysis system. 請求項１に記載の動線分析システムであって、
前記カメラ装置は、
前記撮像された前記撮像エリアの撮像画像に含まれる、前記来客者を含む移動体の前記撮像エリアにおける滞留位置又は通過位置に関する移動体動線情報を抽出し、前記抽出された前記移動体動線情報を前記サーバ装置に送信し、
前記サーバ装置は、
前記カメラ装置から送信された前記移動体動線情報と前記来客者動線情報とを前記背景画像に重畳した第２の動線分析画像を生成し、前記生成された前記第２の動線分析画像を表示部に表示させる、
動線分析システム。 The flow line analysis system according to claim 1,
The camera device is
Included in the prior SL shooting images captured image of the imaging area, it extracts the moving object flow line information about the dwell position or passing position in the imaging area of a mobile body including the visitor, the moving issued the extracted Send body movement line information to the server device,
The server device
Generating a second flow line analysis image superimposed on the background image and sent the mobile flow line information and the visitor flow line information from the camera device, the raw made the second flow line Display the analysis image on the display,
Flow line analysis system. 請求項１に記載の動線分析システムであって、
前記来客者識別情報は、複数のカラーパターンを用いて前記来客者を識別可能なカラーバーコードである、
動線分析システム。 The flow line analysis system according to claim 1,
The visitor identification information is a color barcode that can identify the visitor using a plurality of color patterns.
Flow line analysis system. 請求項１に記載の動線分析システムであって、
前記サーバ装置は、前記来客者又は前記来客者の利用物を示すアイコンを更に前記表示部に表示させる、
動線分析システム。 The flow line analysis system according to claim 1,
The server device further displays an icon indicating the visitor or the visitor's usage on the display unit.
Flow line analysis system. サーバ装置と接続され、動線分析システムで用いられるカメラ装置であって、
撮像エリアを撮像する撮像部と、
前記撮像された前記撮像エリアの撮像画像に対応する背景画像を繰り返し生成し、
前記撮像エリアの撮像画像を基に、来客者により所持され、又は前記来客者の利用物に装着される来客者識別情報の前記撮像エリアにおける滞留位置又は通過位置に関する来客者動線情報を抽出し、
所定の送信周期毎に、前記抽出された前記来客者動線情報を前記来客者の行動軌跡として、前記生成された前記背景画像に重畳した動線分析画像を生成するプロセッサと、
所定の送信周期毎に、前記生成された前記動線分析画像を、前記動線分析画像を表示する前記サーバ装置に送信する送信部と、を備える、
カメラ装置。 A camera device connected to a server device and used in a flow line analysis system,
An imaging unit for imaging the imaging area;
Repeatedly generates a background image corresponding to the captured image of the imaging area which is pre-Symbol shooting image,
Based on the captured image of the imaging area, it is owned by the visitor, or extract the visitor flow line information about the dwell position or passing position in the imaging area of the visitor identification information attached to the visitor's use thereof ,
The predetermined transmission every period, a pre Ki抽 out the visitor flow line information was as behavior trajectory of the visitor, a processor for generating a flow line analysis image obtained by superimposing before Kisei made an the background image,
The predetermined transmission per cycle, provided the flow line analysis images made before Kisei, and a transmission unit that transmits to the server device for displaying the flow-line analysis image,
Camera device. カメラ装置とサーバ装置とが相互に接続された動線分析システムにおける動線分析方法であって、
前記カメラ装置において、
撮像エリアを撮像し、
前記撮像エリアの撮像画像に対応する背景画像を繰り返し生成し、
所定の送信周期毎に、前記撮像エリアの撮像画像と前記背景画像とを前記サーバ装置に送信し、
前記サーバ装置において、
前記カメラ装置から送信された前記撮像エリアの撮像画像と前記背景画像とを受信し、
前記撮像エリアの撮像画像を基に、来客者により所持され、又は前記来客者の利用物に装着される来客者識別情報の前記撮像エリアにおける滞留位置又は通過位置に関する来客者動線情報を抽出し、
前記来客者動線情報を前記来客者の行動軌跡として、前記背景画像に重畳した第１の動線分析画像を生成し、
前記第１の動線分析画像を表示部に表示させる、
動線分析方法。 A flow line analysis method in a flow line analysis system in which a camera device and a server device are connected to each other,
In the camera device,
Image the imaging area,
Repeatedly generating a background image corresponding to the captured image of the imaging area;
For each predetermined transmission cycle, the captured image of the imaging area and the background image are transmitted to the server device,
In the server device,
Receiving the captured image of the imaging area and the background image transmitted from the camera device;
Based on the captured image of the imaging area, it extracts the visitor flow line information regarding the staying position or the passing position in the imaging area of the visitor identification information possessed by the visitor or attached to the visitor's use object ,
Generating a first flow line analysis image superimposed on the background image using the visitor flow line information as the visitor's action trajectory;
Displaying the first flow line analysis image on a display unit;
Flow line analysis method.

Images