JP5789776B2

JP5789776B2 - Residence time measuring device, residence time measuring system, and residence time measuring method

Info

Publication number: JP5789776B2
Application number: JP2014092317A
Authority: JP
Inventors: 裕一松本; 宏明由雄; 陽一合田
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2014-04-28
Filing date: 2014-04-28
Publication date: 2015-10-07
Anticipated expiration: 2033-09-27
Also published as: JP2015069639A

Description

本発明は、人物などの移動体ごとに測定エリア内での滞留時間を測定する滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法に関するものである。 The present invention relates to a residence time measuring device, a residence time measuring system, and a residence time measuring method for measuring a residence time in a measurement area for each moving body such as a person.

店舗のレジカウンタでは、精算を望む顧客が増えると、顧客が並ぶ行列ができ、顧客を長時間待たせることになるが、顧客が行列に並んで精算が終わるまでに要した待ち時間を把握することができると、この待ち時間に基づいて、店舗を運営する際の改善策を考えることで、顧客満足度の向上や店舗の効率的な運営を図ることができる。 At the checkout counter of a store, as customers who want to settle increase, customers form a line and wait for a long time. However, it is necessary to know the waiting time required for the customers to complete the line-up. If it is possible, improvement of customer satisfaction and efficient management of the store can be achieved by considering improvement measures when the store is operated based on this waiting time.

このような顧客の待ち時間を把握するには、顧客が並ぶ行列ができる場所をカメラで撮像し、その映像内の人物が並ぶ範囲に測定エリアを設定して、その測定エリア内での滞留時間、すなわち人物が測定エリアに進入してから退出するまでに要した時間を測定すればよく、このような滞留時間を測定することに関連するものとして、従来、映像の複数のフレームの情報を総合的に判断して、顧客の移動経路を追跡する、すなわち顧客が移動した経路を表す動線（移動軌跡）を取得することで、店舗内での所要のエリアの滞留時間を人物ごとに算出する技術が知られている（特許文献１参照）。 In order to grasp the waiting time of such customers, a place where customers can line up is imaged with a camera, a measurement area is set in the range where people in the image are lined up, and the residence time in the measurement area In other words, it is only necessary to measure the time required for a person to enter and exit the measurement area. The travel time of the customer is tracked, that is, the flow line (movement trajectory) representing the route traveled by the customer is obtained, and the residence time of the required area in the store is calculated for each person. A technique is known (see Patent Document 1).

特開２００４−３４８６１８号公報JP 2004-348618 A

さて、測定エリア内での顧客の滞留時間を測定した結果をモニタに表示させることで、測定エリアにおける顧客の滞留状況をユーザが把握することができるが、このとき、測定エリアにおける顧客の滞留状況を、その測定エリアを含む映像上で一目で把握できるようにすることが望まれ、このような要望に対して、前記従来の技術は何の配慮もなされていない。 Now, by displaying the result of measuring the customer residence time in the measurement area on the monitor, the user can grasp the customer residence status in the measurement area. At this time, the customer residence status in the measurement area It is desirable to be able to grasp at a glance on an image including the measurement area, and the conventional technology does not give any consideration to such a request.

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、顧客等の移動体の滞留状況に関して測定エリアを含む映像上で一目で把握できるように構成された滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法を提供することにある。 The present invention has been devised to solve such problems of the prior art, and its main purpose can be grasped at a glance on an image including a measurement area regarding a staying state of a moving body such as a customer. An object of the present invention is to provide a residence time measuring device, a residence time measuring system, and a residence time measuring method configured as described above.

本発明の滞留時間測定装置は、映像上に設定される測定エリアに対して進入して退出する移動体ごとの滞留時間を測定する滞留時間測定装置であって、前記測定エリアを含む映像から検出された移動体ごとの動線を取得する動線取得部と、この動線取得部により取得した前記動線に基づき、前記測定エリア内の移動に要した時間である滞留時間を移動体ごとに取得する滞留時間取得部と、前記滞留時間取得部で取得した移動体ごとの滞留時間を蓄積する蓄積部と、この蓄積部に蓄積された移動体ごとの滞留時間に対して時間的な統計処理を行って統計情報を生成する統計処理部と、前記統計情報に基づき、前記測定エリアでの滞留時間および滞留人数の２つの要素を異なる属性で表した１つの定形画像を前記測定エリアを含む映像上に重畳した表示画像を生成する表示画像生成部と、を備えた構成とする。 The dwell time measuring device of the present invention is a dwell time measuring device that measures a dwell time for each moving body that enters and leaves a measurement area set on an image, and is detected from an image including the measurement area. A flow line acquisition unit that acquires a flow line for each moving body, and a residence time that is a time required for movement in the measurement area based on the flow line acquired by the flow line acquisition unit for each moving body A residence time acquisition unit to be acquired, an accumulation unit for accumulating residence time for each moving object acquired by the residence time acquisition unit, and a temporal statistical process for the residence time for each moving object accumulated in the accumulation unit A statistical processing unit that performs statistical processing to generate statistical information, and a video that includes the measurement area based on the statistical information, one fixed image that represents two elements of the residence time and the number of people in the measurement area with different attributes Superimposed on A structure in which and a display image generating unit that generates a display image.

また、本発明の滞留時間測定システムは、映像上に設定される測定エリアに対して進入して退出する移動体ごとの滞留時間を測定する滞留時間測定システムであって、前記測定エリアを含む範囲を撮像するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記測定エリアを含む映像から検出された移動体ごとの動線を取得する動線取得部と、この動線取得部により取得した前記動線に基づき、前記測定エリア内の移動に要した時間である滞留時間を移動体ごとに取得する滞留時間取得部と、前記滞留時間取得部で取得した移動体ごとの滞留時間を蓄積する蓄積部と、この蓄積部に蓄積された移動体ごとの滞留時間に対して時間的な統計処理を行って統計情報を生成する統計処理部と、前記統計情報に基づき、前記測定エリアでの滞留時間および滞留人数の２つの要素を異なる属性で表した１つの定形画像を前記測定エリアを含む映像上に重畳した表示画像を生成する表示画像生成部と、を備えた構成とする。 The residence time measurement system of the present invention is a residence time measurement system that measures the residence time for each moving body that enters and exits the measurement area set on the image, and includes the measurement area. A flow line acquisition unit for acquiring a flow line for each moving object detected from an image including the measurement area. A residence time acquisition unit that acquires, for each moving object, a residence time that is a time required for movement in the measurement area based on the flow line acquired by the flow line acquisition unit, and the residence time acquisition unit. a storage section for storing a dwell time for each acquired mobile, a statistical processing unit for generating statistical information by performing a temporal statistical process on the accumulated residence time of each mobile was on the storage unit, the Based on statistical information Configuration and a display image generating unit that generates a display image superimposed on the video image containing the measurement area of one of the fixed form image representing the two elements in different attributes of residence times and residence number in the measurement area And

また、本発明の滞留時間測定方法は、映像上に設定される測定エリアに対して進入して退出する移動体ごとの滞留時間に関する測定を情報処理装置により行う滞留時間測定方法であって、前記測定エリアを含む映像から検出された移動体ごとの動線を取得するステップと、このステップにより取得した前記動線に基づき、前記測定エリア内の移動に要した時間である滞留時間を移動体ごとに取得するステップと、このステップで取得した移動体ごとの滞留時間を蓄積するステップと、このステップにより蓄積された移動体ごとの滞留時間に対して時間的な統計処理を行って統計情報を生成するステップと、前記統計情報に基づき、前記測定エリアでの滞留時間および滞留人数の２つの要素を異なる属性で表した１つの定形画像を前記測定エリアを含む映像上に重畳した表示画像を生成するステップと、を有する構成とする。 Further, the residence time measurement method of the present invention is a residence time measurement method in which the information processing device performs measurement related to the residence time for each moving body that enters and exits the measurement area set on the image. A step of acquiring a flow line for each moving object detected from an image including a measurement area, and a dwell time, which is a time required for movement in the measurement area, is determined for each moving object based on the flow line acquired in this step. Step, accumulating the residence time for each moving object obtained in this step, and generating statistical information by performing temporal statistical processing on the residence time for each moving object accumulated in this step steps and, based on the statistical information, the one shaped image representing the two elements of the residence time and residence number in the measurement area with different attributes the measurement area to And generating a display image superimposed on the video image comprising, a structure having.

本発明によれば、測定エリア内の移動体ごとの滞留時間に対して時間的な統計処理を行って統計情報を生成し、測定エリアを含む映像上に統計情報に基づき、測定エリアでの滞留時間および滞留人数の２つの要素を異なる属性で表した１つの定形画像が重畳されるので、滞留状況の把握が特に重要となる混雑した状況で、ユーザは、測定エリアを含む映像上でその滞留状況を一目で把握することができる。 According to the present invention, the statistical information is generated by performing temporal statistical processing on the residence time for each moving object in the measurement area, and the residence in the measurement area is based on the statistical information on the video including the measurement area. Since one fixed image that expresses two elements of time and the number of people staying with different attributes is superimposed, in a crowded situation where it is particularly important to grasp the staying situation, the user stays on the video including the measurement area. The situation can be grasped at a glance.

本実施形態に係る滞留時間測定システムの全体構成図Overall configuration diagram of a residence time measurement system according to the present embodiment 店舗におけるカメラ１の設置状況を示す平面図The top view which shows the installation situation of the camera 1 in a store カメラ１の映像上に設定される測定エリアを説明する説明図Explanatory drawing explaining the measurement area set on the image | video of the camera 1 測定エリアでの人物および動線の状況を説明する説明図Explanatory drawing explaining the situation of people and flow lines in the measurement area ＰＣ３の概略構成を示す機能ブロック図Functional block diagram showing schematic configuration of PC3 測定エリアに設定される測定開始ラインおよび測定終了ラインを説明する説明図Explanatory drawing explaining the measurement start line and measurement end line set in the measurement area 滞留時間代替処理が選択された場合にＰＣ３で行われる処理の手順を示すフロー図Flow chart showing the procedure of processing performed by PC 3 when the residence time alternative processing is selected 動線が測定エリア内の途中で出現する途中出現パターンの場合に滞留時間取得部２４で行われる処理を説明する説明図Explanatory drawing explaining the process performed in the residence time acquisition part 24 in the case of the appearance pattern in the middle where a flow line appears in the middle of a measurement area 動線が測定エリア内の途中で消失する途中消失パターンの場合に滞留時間取得部２４で行われる処理を説明する説明図Explanatory drawing explaining the process performed in the residence time acquisition part 24 in case of a flow disappearance pattern in the middle of disappearance in the measurement area 補償時間モデル生成部２７で行われる処理を説明する説明図Explanatory drawing explaining the process performed in the compensation time model production | generation part 27 滞留時間補償処理が選択された場合にＰＣ３で行われる処理の手順を示すフロー図Flow chart showing a procedure of processing performed by the PC 3 when the residence time compensation processing is selected 測定エリアおよびグリッドの変形例を説明する説明図Explanatory drawing explaining the modification of a measurement area and a grid 統計情報を表形式で表示する例を説明する説明図Explanatory drawing explaining an example of displaying statistical information in a table format 統計情報を画像で表示する例を説明する説明図Explanatory drawing explaining the example which displays statistical information with an image 異なる条件で求められた統計情報を並べて表示する例を説明する説明図Explanatory drawing explaining the example which displays the statistical information calculated | required on different conditions side by side 異なる条件で求められた統計情報の差分を表示する例を説明する説明図Explanatory drawing explaining the example which displays the difference of the statistical information calculated | required on different conditions 統計情報を画像で表現する場合の表現方法の別例を示す説明図Explanatory drawing which shows another example of the expression method in the case of expressing statistical information with an image 動線が測定エリア内で欠落する場合の別例を説明する説明図Explanatory drawing explaining another example when a flow line is missing in the measurement area

前記課題を解決するためになされた第１の発明は、映像上に設定される測定エリアに対して進入して退出する移動体ごとの滞留時間を測定する滞留時間測定装置であって、前記測定エリアを含む映像から検出された移動体ごとの動線を取得する動線取得部と、この動線取得部により取得した前記動線に基づき、前記測定エリア内の移動に要した時間である滞留時間を移動体ごとに取得する滞留時間取得部と、前記滞留時間取得部で取得した移動体ごとの滞留時間を蓄積する蓄積部と、この蓄積部に蓄積された移動体ごとの滞留時間に対して時間的な統計処理を行って統計情報を生成する統計処理部と、前記統計情報に基づき、前記測定エリアでの滞留時間および滞留人数の２つの要素を異なる属性で表した１つの定形画像を前記測定エリアを含む映像上に重畳した表示画像を生成する表示画像生成部と、を備えた構成とする。 A first invention made to solve the above-mentioned problems is a residence time measuring apparatus for measuring a residence time for each moving body that enters and exits a measurement area set on an image , wherein the measurement A flow line acquisition unit that acquires a flow line for each moving object detected from an image including an area, and a stay that is a time required for movement in the measurement area based on the flow line acquired by the flow line acquisition unit A residence time acquisition unit that acquires time for each mobile body, a storage unit that stores a residence time for each mobile body acquired by the residence time acquisition unit, and a residence time for each mobile body that is stored in the storage unit A statistical processing unit that performs statistical processing on a time basis and generates statistical information, and, based on the statistical information, one fixed image that represents two elements of the residence time and the number of people in the measurement area with different attributes The measurement area A display image generation unit for generating the display image superimposed on a non-image, and configurations with which.

これによると、測定エリア内の移動体ごとの滞留時間に対して時間的な統計処理を行って統計情報を生成し、測定エリアを含む映像上に統計情報に基づき、測定エリアでの滞留時間および滞留人数の２つの要素を異なる属性で表した１つの定形画像が重畳されるので、滞留状況の把握が特に重要となる混雑した状況で、ユーザは、測定エリアを含む映像上でその滞留状況を一目で把握することができる。 According to this, statistical information is generated by performing temporal statistical processing on the residence time for each moving object in the measurement area, and based on the statistical information on the video including the measurement area, the residence time in the measurement area and Since one fixed image representing two elements of the staying person with different attributes is superimposed, in a crowded situation where it is particularly important to grasp the staying situation, the user can view the staying situation on the video including the measurement area. It can be grasped at a glance.

また、第２の発明は、前記表示画像生成部は、前記測定エリアを含む映像上に前記定形画像を透過状態で重畳した表示画像を生成する構成とする。 Moreover, 2nd invention is set as the structure which the said display image production | generation part produces | generates the display image which superimposed the said fixed form image in the permeation | transmission state on the image | video containing the said measurement area.

これによると、測定エリアに映る移動体の状況を確認しつつ統計的な滞留状況をも把握することができる。 According to this, it is possible to grasp the statistical staying state while confirming the state of the moving object reflected in the measurement area.

また、第３の発明は、前記測定エリアでの滞留時間および滞留人数の要素のうち、一方の要素が前記定形画像の属性として大きさで表現され、他方の要素が前記定形画像の属性として塗りつぶしの色合いまたは色の濃さのいずれかで表現されている構成とする。 According to a third aspect of the present invention , one of the elements of the residence time and the number of people staying in the measurement area is expressed as a size as an attribute of the fixed image, and the other element is filled as an attribute of the fixed image. It is assumed that the color is expressed by either the color shade or the color intensity .

これによると、測定エリアでの滞留時間および滞留人数の要素の各々を画像の異なる属性である大きさと塗りつぶしの色合いまたは色の濃さのいずれかで表現するようにしたので、測定エリアを含む映像上に滞留状況を表す画像を重畳して表示する場合に、表示画面を見やすく、しかも滞留状況の数値の大きさを一目で把握することができる。 According to this, each of the elements of the residence time and the number of people in the measurement area is expressed by either the different attributes of the image, the shade of the fill, or the color intensity , so the image including the measurement area When an image representing a staying state is displayed in a superimposed manner, the display screen can be easily viewed, and the numerical value of the staying state can be grasped at a glance.

また、第４の発明は、更に、前記測定エリアを含む映像を再生する動画再生部を備え、この動画再生部による前記測定エリアを含む映像の再生に伴って、前記定形画像も時刻にしたがって変化させるようにした構成とする。 In addition, the fourth invention further includes a moving image reproducing unit that reproduces the video including the measurement area, and the regular image changes according to time as the video including the measurement area is reproduced by the moving image reproducing unit. It is set as the structure made to do.

これによると、動画が再生されるのに伴って定形画像も変化するので、測定エリアでの移動体の滞留状況を、測定エリアの映像に映った実際の移動体の状況と比較しながら確認することができる。 According to this, the fixed image also changes as the video is played back, so check the moving object's staying status in the measurement area while comparing it with the actual moving object's situation shown in the measurement area video. be able to.

また、第５の発明は、映像上に設定される測定エリアに対して進入して退出する移動体ごとの滞留時間を測定する滞留時間測定システムであって、前記測定エリアを含む範囲を撮像するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記測定エリアを含む映像から検出された移動体ごとの動線を取得する動線取得部と、この動線取得部により取得した前記動線に基づき、前記測定エリア内の移動に要した時間である滞留時間を移動体ごとに取得する滞留時間取得部と、前記滞留時間取得部で取得した移動体ごとの滞留時間を蓄積する蓄積部と、この蓄積部に蓄積された移動体ごとの滞留時間に対して時間的な統計処理を行って統計情報を生成する統計処理部と、前記統計情報に基づき、前記測定エリアでの滞留時間および滞留人数の２つの要素を異なる属性で表した１つの定形画像を前記測定エリアを含む映像上に重畳した表示画像を生成する表示画像生成部と、を備えた構成とする。 The fifth invention is a dwell time measurement system for measuring a dwell time for each moving body that enters and leaves a measurement area set on an image , and images a range including the measurement area. A flow line acquisition unit that has a camera and a plurality of information processing devices, and any of the plurality of information processing devices acquires a flow line for each moving object detected from an image including the measurement area; Based on the flow line acquired by the flow line acquisition unit, a residence time acquisition unit that acquires a residence time, which is a time required for movement in the measurement area, for each moving object, and a movement acquired by the residence time acquisition unit An accumulation unit for accumulating residence time for each body, a statistical processing unit for generating statistical information by performing temporal statistical processing on the residence time for each moving body accumulated in the accumulation unit, and the statistical information Based on the measurement area A display image generation unit for generating a display image obtained by superimposing one shaped image representing the two elements of the residence time and residence persons with different attributes on images including the measurement area, a configuration having a.

これによると、前記の第１の発明と同様に、滞留状況の把握が特に重要となる混雑した状況で、ユーザは、測定エリアを含む映像上でその滞留状況を一目で把握することができる。 According to this, similarly to the first invention, in a crowded situation where it is particularly important to grasp the staying state, the user can grasp the staying state at a glance on the video including the measurement area.

また、第６の発明は、映像上に設定される測定エリアに対して進入して退出する移動体ごとの滞留時間に関する測定を情報処理装置により行う滞留時間測定方法であって、前記測定エリアを含む映像から検出された移動体ごとの動線を取得するステップと、このステップにより取得した前記動線に基づき、前記測定エリア内の移動に要した時間である滞留時間を移動体ごとに取得するステップと、このステップで取得した移動体ごとの滞留時間を蓄積するステップと、このステップにより蓄積された移動体ごとの滞留時間に対して時間的な統計処理を行って統計情報を生成するステップと、前記統計情報に基づき、前記測定エリアでの滞留時間および滞留人数の２つの要素を異なる属性で表した１つの定形画像を前記測定エリアを含む映像上に重畳した表示画像を生成するステップと、を有する構成とする。 The sixth invention is a dwell time measurement method in which an information processing device performs a measurement relating to a dwell time for each moving object that enters and leaves a measurement area set on an image , wherein the measurement area is Acquiring a flow line for each moving object detected from the included image, and acquiring a dwell time, which is a time required for movement in the measurement area, for each moving object based on the flow line acquired in this step. A step of accumulating the residence time for each moving object acquired in this step, and a step of generating statistical information by performing temporal statistical processing on the residence time for each moving object accumulated by this step; the statistical basis of the information, the residence time in the measurement area and residence number on the image containing the measurement area of one of the fixed form image representing the two elements in different attributes A structure and a step of generating a superimposed display image.

以下、本発明の実施の形態を、図面を参照しながら説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、本実施形態に係る滞留時間測定システムの全体構成図である。この滞留時間測定システムは、スーパーマーケットなどの小売店舗などを対象にして構築されるものであり、カメラ１と、レコーダ（映像記録装置）２と、ＰＣ（滞留時間測定装置）３と、移動体追跡装置（移動体検出手段）４と、を備えている。 FIG. 1 is an overall configuration diagram of a residence time measurement system according to the present embodiment. This dwell time measurement system is constructed for retail stores such as supermarkets, and includes a camera 1, a recorder (video recording device) 2, a PC (dwell time measurement device) 3, and a moving object tracking. And a device (moving body detecting means) 4.

カメラ１は店舗内の適所に設置され、カメラ１により店舗内の監視エリアが撮像され、これにより得られた映像情報がレコーダ２に録画される。 The camera 1 is installed at an appropriate place in the store, and a monitoring area in the store is imaged by the camera 1, and video information obtained thereby is recorded in the recorder 2.

ＰＣ３には、監視員などのユーザが種々の入力操作を行うマウスなどの入力デバイス６と、監視画面を表示するモニタ（表示装置）７とが接続されている。なお、タッチパネルディスプレイで、入力デバイス６およびモニタ７を構成してもよい。 Connected to the PC 3 are an input device 6 such as a mouse for a user such as a monitor to perform various input operations, and a monitor (display device) 7 for displaying a monitoring screen. The input device 6 and the monitor 7 may be configured with a touch panel display.

このＰＣ３は、店舗の警備室などに設置され、監視者（警備員）が、モニタ７に表示される監視画面で、カメラ１で撮像された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の映像を閲覧することができる。 This PC 3 is installed in a security room of a store, etc., and a supervisor (security guard) can view the video in the store captured by the camera 1 in real time on the monitoring screen displayed on the monitor 7, In addition, it is possible to browse past videos in the store recorded by the recorder 2.

なお、本部に設けられたＰＣ１１にも図示しないモニタが接続され、カメラ１で撮像された店舗内の映像をリアルタイムで閲覧し、また、レコーダ２に録画された過去の店舗内の映像を閲覧して、本部で店舗内の状況を確認することができる。 Note that a monitor (not shown) is also connected to the PC 11 provided in the headquarters so that the in-store video captured by the camera 1 can be viewed in real time, and the past in-store video recorded by the recorder 2 can be viewed. The situation in the store can be checked at the headquarters.

移動体追跡装置４では、カメラ１の撮影映像から人物（移動体）を検出して、人物ごとの追跡情報（検出位置情報）を出力する。この移動体追跡処理は、公知の画像認識技術（人物検出技術および人物追跡技術など）を利用すればよい。 The moving body tracking device 4 detects a person (moving body) from the captured video of the camera 1 and outputs tracking information (detected position information) for each person. The moving body tracking process may use a known image recognition technique (such as a person detection technique and a person tracking technique).

図２は、店舗におけるカメラ１の設置状況を示す平面図である。店舗内には商品陳列棚およびレジカウンタが設けられており、レジカウンタを撮像するようにカメラ１が設置されている。顧客は、商品陳列棚で所望の商品を入手してレジカウンタで精算を行い、商品陳列棚が設けられた商品陳列エリアからレジカウンタに進入し、精算が終わるとレジカウンタから退出する。カメラ１は、レジカウンタに進入する顧客を正面から撮像し、カメラ１の映像から人物検出を行うことができる。 FIG. 2 is a plan view showing the installation status of the camera 1 in the store. A merchandise display shelf and a cash register counter are provided in the store, and the camera 1 is installed so as to image the cash register counter. The customer obtains a desired product from the merchandise display shelf, performs payment at the cashier counter, enters the cashier counter from the merchandise display area where the merchandise display shelf is provided, and exits from the cashier counter when payment is completed. The camera 1 can image a customer entering the checkout counter from the front and detect a person from the video of the camera 1.

図３は、図２に示したカメラ１の映像上に設定される測定エリアを説明する説明図である。カメラ１の映像には、レジカウンタで精算を行う人物および精算待ちで行列に並ぶ人物が映り、これらの人物は、カメラ１から離れた奥側からレジカウンタに進入してカメラ１に近接する手前側から退出する。そこで、本実施形態では、レジカウンタで人物が行列に並んで精算が終わるまでに要した待ち時間を把握するために、レジカウンタで人物が移動する領域に測定エリアを設定して、この測定エリア内での滞留時間を人物ごとに測定する。 FIG. 3 is an explanatory diagram for explaining a measurement area set on the video of the camera 1 shown in FIG. In the video of the camera 1, a person who performs payment at the checkout counter and a person queued for payment are shown, and these persons enter the checkout counter from the far side away from the camera 1 and come close to the camera 1. Exit from the side. Therefore, in the present embodiment, in order to grasp the waiting time required until the payment is completed after the people are arranged in a line at the checkout counter, a measurement area is set in the area where the checker counter moves and the measurement counter The dwell time is measured for each person.

図４は、図３に示した測定エリアでの人物および動線の状況を説明する説明図であり、図４（Ａ−１），（Ｂ−１），（Ｃ−１）に人物の状況を示し、図４（Ａ−２），（Ｂ−２），（Ｃ−２）に動線の状況を示す。 FIG. 4 is an explanatory diagram for explaining the situation of the person and the flow line in the measurement area shown in FIG. 3. FIGS. 4A-1, 4B-1 and 4C-1 show the situation of the person. 4 (A-2), (B-2), and (C-2) show the flow line conditions.

図４（Ａ−１）に示すように、注目人物が測定エリアに進入してから測定エリアを退出するまで継続して人物が検出されると、図４（Ａ−２）に示すように、測定エリアに進入してから測定エリアを退出するまで連続した完全な動線を取得することができる。 As shown in FIG. 4 (A-1), when a person is continuously detected from when the person of interest enters the measurement area until the person leaves the measurement area, as shown in FIG. 4 (A-2), A continuous complete flow line can be acquired from entering the measurement area until leaving the measurement area.

ところが、顧客が精算のためにレジカウンタに並んだ状態では、人物同士が重なり合うことで、後側の人物が見えなくなる、いわゆるオクルージョンが発生しやすい状況となり、このようなオクルージョンが発生すると、人物検出の精度が低下することで、測定エリア内の動線が不完全となる、すなわち動線が測定エリア内で一部欠落した状態となる場合がある。 However, when customers are lined up at the checkout counter for payment, people overlap each other, making it difficult to see the person behind them, so that so-called occlusion is likely to occur. As a result, the flow line in the measurement area becomes incomplete, that is, the flow line may be partially missing in the measurement area.

すなわち、図４（Ｂ−１）に示すように、注目人物が測定エリアに進入する直前に人物同士のオクルージョンが発生して、注目人物の検出ができないまま注目人物が測定エリアに進入した後、測定エリア内の途中で注目人物が検出されると、図４（Ｂ−２）に示すように、注目人物の動線が測定エリア内の途中で出現する。この場合、注目人物が測定エリアに進入した時刻から、動線の始点の時刻、すなわち注目人物が検出されるまでの時間が滞留時間から失われる。 That is, as shown in FIG. 4 (B-1), after the person of interest has entered the measurement area, occlusion occurs between the persons, and the person of interest enters the measurement area without being able to detect the person of interest. When a person of interest is detected in the middle of the measurement area, a flow line of the person of interest appears in the middle of the measurement area as shown in FIG. In this case, the time from the time when the person of interest enters the measurement area to the time of the start point of the flow line, that is, the time when the person of interest is detected is lost from the residence time.

また、図４（Ｃ−１）に示すように、注目人物が測定エリア内に進入した後に人物同士のオクルージョンが発生して注目人物の検出が失敗し、そのまま注目人物が測定エリアから退出すると、図４（Ｃ−２）に示すように、注目人物の動線が測定エリア内の途中で消失する。この場合、注目人物の動線の終点の時刻、すなわち注目人物の検出が失敗してから、注目人物が測定エリアから退出する時刻までの時間が滞留時間から失われる。 Further, as shown in FIG. 4 (C-1), when the person of interest enters the measurement area, occlusion between the persons occurs, the detection of the person of interest fails, and the person of interest leaves the measurement area as it is. As shown in FIG. 4C-2, the flow line of the person of interest disappears in the middle of the measurement area. In this case, the time from the end point of the flow line of the attention person, that is, the time from when the detection of the attention person fails until the time when the attention person leaves the measurement area is lost from the residence time.

このように動線が測定エリア内に欠落部分を有する状態となると、人物の測定エリア内での滞留時間を動線に基づいて正確に測定することができない。そこで、本実施形態では、人物ごとに測定エリア内での滞留時間を測定する滞留時間測定処理において、動線が測定エリア内に欠落部分を有するものと判定された場合に、その欠落部分を補償した滞留時間を取得する補償処理が行われる。 When the flow line has a missing part in the measurement area as described above, the residence time of the person in the measurement area cannot be accurately measured based on the flow line. Therefore, in the present embodiment, in the dwell time measurement process for measuring the dwell time in the measurement area for each person, when it is determined that the flow line has a deficient portion in the measurement area, the deficient portion is compensated. Compensation processing is performed to acquire the dwell time.

次に、図１に示したＰＣ３で行われる滞留時間測定処理について説明する。図５は、ＰＣ３の概略構成を示す機能ブロック図である。 Next, a residence time measurement process performed by the PC 3 shown in FIG. 1 will be described. FIG. 5 is a functional block diagram showing a schematic configuration of the PC 3.

ＰＣ３は、追跡情報蓄積部２１と、動線取得部（動線取得手段）２２と、動線情報蓄積部２３と、滞留時間取得部（滞留時間取得手段）２４と、滞留時間蓄積部（蓄積手段）２５と、を備えている。 The PC 3 includes a tracking information storage unit 21, a flow line acquisition unit (flow line acquisition unit) 22, a flow line information storage unit 23, a residence time acquisition unit (retention time acquisition unit) 24, and a residence time storage unit (storage). Means) 25.

追跡情報蓄積部２１では、移動体追跡装置４から取得した追跡情報が蓄積される。なお、追跡情報には、カメラ１の映像の各フレームで検出された人物ごとの検出位置、および人物が検出されたフレームの撮像時刻から取得した人物ごとの検出時刻などに関する情報が含まれる。 The tracking information accumulating unit 21 accumulates the tracking information acquired from the mobile body tracking device 4. The tracking information includes information regarding the detection position for each person detected in each frame of the video of the camera 1 and the detection time for each person acquired from the imaging time of the frame in which the person is detected.

動線取得部２２では、測定エリアの映像から検出された人物ごとの動線を取得する処理が行われる。この動線取得処理は、移動体追跡装置４で生成した追跡情報に基づいて行われ、事後的な処理を行う場合には追跡情報蓄積部２１から追跡情報を取得し、リアルタイムな処理を行う場合には移動体追跡装置４から追跡情報を取得する。この動線取得部２２で取得した人物ごとの動線に関する情報は動線情報蓄積部２３に蓄積される。動線情報には、移動ベクトル、ならびにその変化点の位置および時刻などに関する情報が含まれる。なお、本実施形態では、測定エリアの外周と動線との交差状況を判定するために、測定エリアの周辺部についても動線を取得する。 The flow line acquisition unit 22 performs a process of acquiring a flow line for each person detected from the video in the measurement area. This flow line acquisition process is performed based on the tracking information generated by the mobile body tracking device 4. When performing a subsequent process, the tracking information is acquired from the tracking information storage unit 21 and a real-time process is performed. The tracking information is acquired from the mobile tracking device 4. Information about the flow line for each person acquired by the flow line acquisition unit 22 is stored in the flow line information storage unit 23. The flow line information includes information relating to the movement vector and the position and time of the change point. In the present embodiment, in order to determine the intersection between the outer circumference of the measurement area and the flow line, the flow line is also acquired for the peripheral part of the measurement area.

滞留時間取得部２４では、動線取得部２２で取得した人物ごとの動線情報に基づいて、人物ごとの測定エリア内での滞留時間を取得する処理が行われる。この滞留時間取得部２４で取得した人物ごとの滞留時間は滞留時間蓄積部２５に蓄積される。 The residence time acquisition unit 24 performs processing for acquiring the residence time in the measurement area for each person based on the flow line information for each person acquired by the flow line acquisition unit 22. The residence time for each person acquired by the residence time acquisition unit 24 is accumulated in the residence time accumulation unit 25.

また、ＰＣ３は、動線判定部（動線判定手段）２６と、補償時間モデル生成部（学習モデル生成手段）２７と、補償時間蓄積部２８と、を備えている。 The PC 3 includes a flow line determination unit (flow line determination unit) 26, a compensation time model generation unit (learning model generation unit) 27, and a compensation time accumulation unit 28.

動線判定部２６では、動線取得部２２で取得した動線が測定エリア内に欠落部分を有するか否かを判定する処理が行われる。この動線判定部２６で、人物の動線が測定エリア内に欠落部分を有するものと判定されると、滞留時間取得部２４にて、欠落部分を補償した滞留時間を取得する処理が行われる。 The flow line determination unit 26 performs a process of determining whether or not the flow line acquired by the flow line acquisition unit 22 has a missing portion in the measurement area. When the flow line determination unit 26 determines that the flow line of the person has a missing portion in the measurement area, the residence time acquisition unit 24 performs processing for acquiring a residence time that compensates for the missing portion. .

補償時間モデル生成部２７では、複数の人物の測定エリア内での移動に要した時間を収集して、動線の欠落部分に相当する補償時間が欠落部分の位置に応じて設定された補償時間モデル（学習モデル）を生成する処理が行われる。この補償時間モデル生成部２７で生成した補償時間モデルは補償時間蓄積部２８に蓄積される。 The compensation time model generation unit 27 collects the time required for the movement of a plurality of persons within the measurement area, and the compensation time corresponding to the missing part of the flow line is set according to the position of the missing part. Processing for generating a model (learning model) is performed. The compensation time model generated by the compensation time model generation unit 27 is stored in the compensation time storage unit 28.

また、ＰＣ３は、測定条件設定部２９と、補償方法設定部３０と、を備えている。 The PC 3 includes a measurement condition setting unit 29 and a compensation method setting unit 30.

測定条件設定部２９では、ユーザの入力操作に応じて、測定エリアなどの測定条件を設定する処理が行われる。補償方法設定部３０では、ユーザの入力操作に応じて、滞留時間取得部２４にて欠落部分を補償した滞留時間を取得する際の補償方法を設定する処理が行われる。これらのユーザの入力操作はマウスなどの入力デバイス６を用いて行われる。 In the measurement condition setting unit 29, processing for setting measurement conditions such as a measurement area is performed in accordance with a user input operation. In the compensation method setting unit 30, processing for setting a compensation method for acquiring the residence time in which the missing portion is compensated by the residence time acquisition unit 24 is performed according to the input operation of the user. These user input operations are performed using an input device 6 such as a mouse.

また、ＰＣ３は、統計処理部（統計処理手段）３１と、画面生成部（出力情報生成手段）３２と、を備えている。 The PC 3 includes a statistical processing unit (statistical processing unit) 31 and a screen generation unit (output information generation unit) 32.

統計処理部３１では、滞留時間取得部２４で取得した人物ごとの滞留時間に対して時間的な統計処理を行って統計情報を生成する処理が行われる。特に本実施形態では、人物ごとの滞留時間および滞留時刻から、統計情報として単位時間（例えば時間帯）ごとの滞留時間を求める処理が行われる。また、人物ごとの滞留時刻から、統計情報として所定時刻の滞留人数、すなわち測定エリア内に同時に滞留する人数を求める処理が行われる。 The statistical processing unit 31 performs processing for generating statistical information by performing temporal statistical processing on the residence time for each person acquired by the residence time acquisition unit 24. In particular, in the present embodiment, processing for obtaining a residence time for each unit time (for example, a time zone) as statistical information is performed from the residence time and residence time for each person. Further, processing for obtaining the number of people staying at a predetermined time as statistical information, that is, the number of people staying simultaneously in the measurement area, is performed from the staying time for each person.

画面生成部３２では、統計処理部３１で生成した統計情報を含む出力情報として、統計情報をモニタ７に表示させるための画面情報を生成する処理が行われる。特に本実施形態では、統計処理部３１から取得した統計情報、およびカメラ１またはレコーダ２からの映像情報に基づいて、測定エリアを含む映像上に統計情報を表す画像を重畳して表示した表示画像に関する画面情報を生成する。 The screen generation unit 32 performs processing for generating screen information for displaying statistical information on the monitor 7 as output information including the statistical information generated by the statistical processing unit 31. In particular, in the present embodiment, based on the statistical information acquired from the statistical processing unit 31 and the video information from the camera 1 or the recorder 2, a display image in which an image representing the statistical information is displayed superimposed on the video including the measurement area. Generate screen information about.

なお、図５に示したＰＣ３の各部は、ＰＣ３のＣＰＵで滞留時間測定用のプログラムを実行させることで実現される。このプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録してユーザに提供されることも可能である。 Each part of the PC 3 shown in FIG. 5 is realized by causing the CPU of the PC 3 to execute a program for measuring the residence time. This program is installed in advance in the PC 3 as an information processing device and configured as a dedicated device, or can be provided to the user by being recorded on an appropriate program recording medium as an application program operating on a general-purpose OS. is there.

次に、図５に示した動線判定部２６で行われる処理について説明する。図６は、測定エリアに設定される測定開始ラインおよび測定終了ラインを説明する説明図である。 Next, processing performed by the flow line determination unit 26 shown in FIG. 5 will be described. FIG. 6 is an explanatory diagram for explaining a measurement start line and a measurement end line set in the measurement area.

測定エリアの外周には測定開始ラインおよび測定終了ラインが設定されている。測定開始ラインは、人物の移動方向に基づいて、人物が測定エリアに進入する際に通過する可能性の高い外周部分に設定される。測定終了ラインは、人物が測定エリアから退出する際に通過する可能性の高い外周部分に設定される。図６に示す例では、矩形をなす測定エリアの互いに対向する２辺に測定開始ラインおよび測定終了ラインが設定されている。 A measurement start line and a measurement end line are set on the outer periphery of the measurement area. The measurement start line is set on the outer peripheral portion that is likely to pass when the person enters the measurement area based on the moving direction of the person. The measurement end line is set to an outer peripheral portion that is likely to pass when a person leaves the measurement area. In the example shown in FIG. 6, a measurement start line and a measurement end line are set on two opposite sides of a rectangular measurement area.

この測定開始ラインおよび測定終了ラインは、ユーザの入力操作に応じて、測定条件設定部２９において設定され、測定エリアの外周部に任意の範囲でユーザが設定することができる。なお、測定エリアも任意に設定することができる。例えば、銀行のＡＴＭコーナーでは、顧客の人数に応じて行列の並び方を変更する場合があるが、このような行列の並び方が変更されると、人物の移動方向が変化するため、行列の並び方に応じて測定開始ラインおよび測定終了ラインや測定エリアを変更する。 The measurement start line and the measurement end line are set in the measurement condition setting unit 29 according to the user's input operation, and can be set by the user in an arbitrary range on the outer periphery of the measurement area. The measurement area can also be set arbitrarily. For example, in a bank ATM corner, the arrangement of the matrix may be changed according to the number of customers. If the arrangement of such a matrix is changed, the movement direction of the person changes, so the arrangement of the matrix is changed. The measurement start line, measurement end line, and measurement area are changed accordingly.

なお、測定開始ラインおよび測定終了ラインや測定エリアの指定は、カメラ１の映像をモニタ７に表示させて、入力デバイス６を操作してモニタ７の映像上で指定するようにするとよい。 The measurement start line, the measurement end line, and the measurement area may be specified by displaying the video of the camera 1 on the monitor 7 and operating the input device 6 to specify the video on the monitor 7.

動線判定部２６では、図４に示したように、測定エリア内の動線が欠落部分を有するか否かを判定する処理が行われる。この動線欠落判定処理では、測定開始ラインおよび測定終了ラインの少なくともいずれか一方と動線が交差していない場合に、その動線が欠落部分を有するものと判定する。 As shown in FIG. 4, the flow line determination unit 26 performs a process of determining whether or not the flow line in the measurement area has a missing portion. In this flow line missing determination process, when at least one of the measurement start line and the measurement end line does not intersect with the flow line, it is determined that the flow line has a missing portion.

すなわち、図４（Ｂ−２）に示したように、動線が測定エリア内の途中で出現する途中出現パターンの場合には、動線は測定開始ラインと交差せず、測定終了ラインと交差する。一方、図４（Ｃ−２）に示したように、動線が測定エリア内の途中で消失する途中消失パターンの場合には、動線は測定開始ラインと交差し、測定終了ラインと交差しない。これらの場合、動線が測定エリア内に欠落部分を有するものと判定する。 That is, as shown in FIG. 4 (B-2), when the flow line appears in the middle of the measurement area, the flow line does not intersect the measurement start line, but intersects the measurement end line. To do. On the other hand, as shown in FIG. 4 (C-2), when the flow line disappears in the middle of the measurement area, the flow line intersects the measurement start line and does not intersect the measurement end line. . In these cases, it is determined that the flow line has a missing portion in the measurement area.

また、動線判定部２６では、図４（Ｂ−２）に示した途中出現パターンと、図４（Ｃ−２）に示した途中消失パターンとを判別する。この判別処理は、動線が測定開始ラインおよび測定終了ラインのいずれと交差しないかで行うことができる。 Further, the flow line determination unit 26 determines the midway appearance pattern shown in FIG. 4B-2 and the midway disappearance pattern shown in FIG. 4C-2. This discrimination process can be performed depending on whether the flow line does not intersect with either the measurement start line or the measurement end line.

次に、図５に示した滞留時間取得部２４で行われる処理について詳しく説明する。 Next, the process performed in the residence time acquisition part 24 shown in FIG. 5 is demonstrated in detail.

滞留時間取得部２４では、動線判定部２６にて動線が測定エリア内に欠落部分を有するものと判定された場合に、他の人物の測定エリア内での移動に要した時間に基づいて、欠落部分を補償した滞留時間を取得する処理が行われる。一方、動線が欠落部分を有しないものと判定された場合には、測定エリアに対する進入および退出に関する時間情報、具体的には測定エリアに対する進入時刻および退出時刻に基づいて滞留時間を取得する。 In the residence time acquisition unit 24, when the flow line determination unit 26 determines that the flow line has a missing portion in the measurement area, the residence time acquisition unit 24 is based on the time required for movement of another person in the measurement area. Then, a process for obtaining a residence time that compensates for the missing portion is performed. On the other hand, when it is determined that the flow line has no missing portion, the dwell time is acquired based on time information related to entry and exit from the measurement area, specifically, entry time and exit time from the measurement area.

この滞留時間取得処理には、動線が測定エリア内に欠落部分を有しない他の人物の滞留時間で代替する滞留時間代替処理と、学習により取得した補償時間モデルに基づいて、動線の欠落部分の位置から欠落部分に相当する補償時間を求めて滞留時間を取得する補償時間モデル処理とがあり、これらの処理がユーザの選択操作に応じて選択的に実行される。 This dwell time acquisition process is based on a dwell time substitution process that substitutes the dwell time of another person whose flow line does not have a missing part in the measurement area, and a compensation time model obtained by learning. There is a compensation time model process for obtaining a dwell time by obtaining a compensation time corresponding to a missing part from the position of the part, and these processes are selectively executed according to a user's selection operation.

まず、滞留時間取得部２４で行われる滞留時間代替処理について説明する。滞留時間取得部２４では、滞留時間代替処理が選択された場合に、動線判定部２６にて注目する人物の動線が測定エリア内に欠落部分を有するものと判定されると、その人物の滞留時間を、動線が測定エリア内に欠落部分を有しない他の人物の滞留時間で代替する処理が行われる。 First, the residence time substitution process performed by the residence time acquisition unit 24 will be described. In the residence time acquisition unit 24, when the residence time substitution process is selected, the flow line determination unit 26 determines that the flow line of the person of interest has a missing portion in the measurement area. A process of substituting the dwell time with the dwell time of another person whose flow line does not have a missing portion in the measurement area is performed.

特に本実施形態では、滞留時間取得部２４において、注目する人物の滞留時間を、動線が測定エリア内に欠落部分を有しない他の人物の中で、時間的に最も近接する人物の滞留時間で代替する処理が行われる。すなわち、動線情報蓄積部２３から人物ごとの動線情報を取得して、注目する人物の滞留時刻の前後で、滞留時刻が最も近くかつ動線が測定エリア内に欠落部分を有しない人物を検索し、その人物の滞留時間を注目する人物の滞留時間に設定する。なお、滞留時刻は、測定エリアに対する進入時刻および退出時刻であり、この進入時刻および退出時刻の双方を見て、滞留時刻が最も近い人物を選択すればよい。 In particular, in the present embodiment, the residence time of the person of interest in the residence time acquisition unit 24 is the residence time of the person who is closest in time among other people whose flow lines do not have a missing portion in the measurement area. The process of substituting is performed. That is, by acquiring the flow line information for each person from the flow line information storage unit 23, before and after the dwell time of the person of interest, the person whose dwell time is closest and whose flow line has no missing part in the measurement area is obtained. Search and set the residence time of the person as the residence time of the person of interest. The stay time is an entry time and an exit time with respect to the measurement area, and it is only necessary to select a person having the closest stay time by looking at both the entry time and the exit time.

図７は、滞留時間代替処理が選択された場合にＰＣ３で行われる処理の手順を示すフロー図である。 FIG. 7 is a flowchart showing a procedure of processing performed by the PC 3 when the residence time alternative processing is selected.

ＰＣ３では、まず、移動体追跡装置４から注目人物の追跡情報を取得し（ＳＴ１０１）、その注目人物の追跡情報が追跡情報蓄積部２１に蓄積される。そして、動線取得部２２にて、注目人物の追跡情報に基づいて注目人物の動線を取得する処理が行われ（ＳＴ１０２）、注目人物の動線情報が動線情報蓄積部２３に蓄積される。ついで、動線判定部２６にて、注目人物の動線が測定エリア内に欠落部分を有するか否かを判定する動線欠落判定が行われる（ＳＴ１０３）。 In the PC 3, first, tracking information of the attention person is acquired from the mobile body tracking device 4 (ST 101), and the tracking information of the attention person is stored in the tracking information storage unit 21. Then, the flow line acquisition unit 22 performs processing for acquiring the flow line of the target person based on the tracking information of the target person (ST102), and the flow line information of the target person is accumulated in the flow line information storage unit 23. The Next, the flow line determination unit 26 performs a flow line missing determination to determine whether or not the flow line of the person of interest has a missing portion in the measurement area (ST103).

この動線欠落判定（ＳＴ１０３）で、注目人物の動線が測定エリア内に欠落部分を有するものと判定されると（ＳＴ１０３でＹＥＳ）、滞留時間取得部２４にて、動線情報蓄積部２３に蓄積された人物ごとの動線情報から、代替条件に該当する他の人物、すなわち時間的に最も近接しかつ動線が測定エリア内に欠落部分を有しない他の人物の滞留時間を取得し（ＳＴ１０４）、ここで取得した滞留時間を注目人物の滞留時間に代替し（ＳＴ１０５）、その注目人物の滞留時間が滞留時間蓄積部２５に蓄積される（ＳＴ１０６）。 If it is determined in this missing flow line determination (ST103) that the flow line of the person of interest has a missing part in the measurement area (YES in ST103), the dwell time acquisition unit 24 performs the flow line information accumulation unit 23. From the flow line information for each person stored in the table, the dwell times of other persons who meet the alternative conditions, that is, other persons whose flow lines are closest in time and whose flow line does not have a missing part in the measurement area are obtained. (ST104) The dwell time acquired here is replaced with the dwell time of the person of interest (ST105), and the dwell time of the person of interest is accumulated in the dwell time accumulation unit 25 (ST106).

一方、動線欠落判定（ＳＴ１０３）で、注目人物の動線が測定エリア内に欠落部分を有しないものと判定されると（ＳＴ１０３でＮＯ）、滞留時間取得部２４にて、測定エリアに対する進入時刻および退出時刻に基づいて滞留時間を算出する処理が行われ（ＳＴ１０７）、ここで取得した滞留時間が滞留時間蓄積部２５に蓄積される（ＳＴ１０８）。 On the other hand, if it is determined in the missing flow line determination (ST103) that the flow line of the person of interest does not have a missing part in the measurement area (NO in ST103), the residence time acquisition unit 24 enters the measurement area. A process for calculating the residence time is performed based on the time and the exit time (ST107), and the residence time acquired here is accumulated in the residence time accumulation unit 25 (ST108).

以上の処理は、対象となる全ての人物の処理が終了するまで繰り返される。 The above processing is repeated until the processing for all the persons to be processed is completed.

次に、図５に示した補償時間モデル生成部２７および滞留時間取得部２４で行われる処理について説明する。図８は、動線が測定エリア内の途中で出現する途中出現パターンの場合に滞留時間取得部２４で行われる処理を説明する説明図である。図９は、動線が測定エリア内の途中で消失する途中消失パターンの場合に滞留時間取得部２４で行われる処理を説明する説明図である。図８（Ａ）および図９（Ａ）には、測定エリア内での動線の状況を示し、図８（Ｂ）および図９（Ｂ）には、補償時間モデル生成部２７で生成して滞留時間取得部２４で用いられる補償時間モデルを示す。 Next, processing performed by the compensation time model generation unit 27 and the residence time acquisition unit 24 illustrated in FIG. 5 will be described. FIG. 8 is an explanatory diagram for explaining processing performed in the residence time acquisition unit 24 in the case of a midway appearance pattern in which a flow line appears midway in the measurement area. FIG. 9 is an explanatory diagram for explaining processing performed by the residence time acquisition unit 24 in the case of a midway disappearance pattern in which a flow line disappears in the middle of the measurement area. FIGS. 8A and 9A show the flow line conditions in the measurement area. FIGS. 8B and 9B show the flow line generated by the compensation time model generation unit 27. The compensation time model used in the residence time acquisition unit 24 is shown.

測定エリア内での人物の移動速度は、一定ではなく、測定エリア内の位置に応じて異なる。すなわち、レジカウンタにおいて行列に並んだ人物は緩慢に移動し、精算を行っている人物は停止し、精算を終えた人物は素早く移動する。このため、動線の欠落部分に相当する補償時間は動線の欠落部分の位置に応じて異なる。 The moving speed of the person in the measurement area is not constant and varies depending on the position in the measurement area. That is, the people who are lined up in the queue at the checkout counter move slowly, the person who is paying out stops, and the person who finishes paying moves quickly. For this reason, the compensation time corresponding to the missing part of the flow line varies depending on the position of the missing part of the flow line.

そこで、本実施形態では、補償時間モデル生成部２７にて、複数の人物の測定エリア内での移動に要した時間を収集して、動線の欠落部分に相当する補償時間を欠落部分の位置に応じて設定した補償時間モデル（学習モデル）を生成する処理が行われ、滞留時間取得部２４にて、補償時間モデルに基づいて動線の欠落部分の位置から補償時間を求めて、この補償時間に基づいて欠落部分を補償した滞留時間を取得する処理が行われる。 Therefore, in the present embodiment, the compensation time model generation unit 27 collects the time required for movement of a plurality of persons in the measurement area, and calculates the compensation time corresponding to the missing part of the flow line as the position of the missing part. A process for generating a compensation time model (learning model) set in accordance with is performed, and the dwell time acquisition unit 24 obtains the compensation time from the position of the missing part of the flow line based on the compensation time model, and this compensation A process of acquiring a residence time that compensates for the missing portion based on the time is performed.

また、本実施形態では、測定エリアが、複数のグリッド（分割領域）に分割され、補償時間モデル生成部２７では、複数の人物の測定エリア内での移動に要した時間をグリッド単位で収集して、グリッドごとの補償時間が設定された補償時間モデルを取得する処理が行われ、滞留時間取得部２４では、補償時間モデルに基づいて欠落部分が存在するグリッドの位置から補償時間を求める処理が行われる。すなわち、欠落部分を含まないグリッドの通過時間を実測時間から取得し、欠落部分を含むグリッドの通過時間を補償時間モデルから取得し、両者を加算することで測定エリア全体の滞留時間を取得する。なお、補償時間モデルは、グリッドごとの補償時間を記載したテーブルで構成される。 In the present embodiment, the measurement area is divided into a plurality of grids (divided regions), and the compensation time model generation unit 27 collects the time required for movement of a plurality of persons in the measurement area in units of grids. Thus, a process of acquiring a compensation time model in which a compensation time for each grid is set is performed, and the dwell time acquisition unit 24 performs a process of obtaining the compensation time from the position of the grid where the missing portion exists based on the compensation time model. Done. That is, the passage time of the grid that does not include the missing portion is obtained from the actual measurement time, the passage time of the grid that includes the missing portion is obtained from the compensation time model, and the retention time of the entire measurement area is obtained by adding both. The compensation time model is composed of a table describing compensation times for each grid.

次に、滞留時間取得部２４で行われる補償時間モデル処理について詳しく説明する。ここで、動線が測定エリア内に欠落部分を有する場合としては、図８（Ａ）に示すように、動線が測定エリア内の途中で出現する途中出現パターンと、図９（Ａ）に示すように、動線が測定エリア内の途中で消失する途中消失パターンと、がある。 Next, the compensation time model process performed by the residence time acquisition unit 24 will be described in detail. Here, as a case where the flow line has a missing portion in the measurement area, as shown in FIG. 8 (A), the flow appearance pattern appears in the middle of the measurement area, and in FIG. 9 (A). As shown, there is an intermediate disappearance pattern in which the flow line disappears in the middle of the measurement area.

まず、図８（Ａ）に示すように、人物の動線が測定エリア内の途中で出現する場合について説明する。この場合、補償時間モデルは、測定エリアに進入する、すなわち測定開始ラインを通過した時点から測定エリア内の各位置に到達するまでの所要時間を補償時間としたものとなり、滞留時間取得部２４では、補償時間モデルに基づいて、動線の始点の位置から補償時間を求める処理が行われる。 First, as shown in FIG. 8A, a case where a flow line of a person appears in the middle of the measurement area will be described. In this case, the compensation time model is the time required to enter the measurement area, that is, from the time when it passes through the measurement start line until it reaches each position in the measurement area as the compensation time. Based on the compensation time model, a process for obtaining the compensation time from the position of the start point of the flow line is performed.

特に本実施形態では、前記のように、グリッド単位で補償時間を求めるようにしており、補償時間モデルは、測定開始ラインを通過した時点から各グリッドを退出した時点までの所要時間を補償時間としたものとなる。したがって、補償時間は、欠落部分を含む１連のグリッドの通過時間を累積したものとなり、この補償時間モデルでは、図８（Ｂ）に示すように、測定開始ラインから離れるのに応じてグリッド（ｉ，ｊ）ごとの補償時間が次第に大きくなるように設定される。そして、滞留時間取得部２４では、動線の始点が位置するグリッド以前の通過時間を補償時間モデルから取得し、動線の始点が位置するグリッドより後の通過時間は実測時間から取得する。 In particular, in the present embodiment, as described above, the compensation time is obtained in units of grids, and the compensation time model uses the time required from the time of passing the measurement start line to the time of exiting each grid as the compensation time. Will be. Therefore, the compensation time is obtained by accumulating the transit time of a series of grids including missing portions. In this compensation time model, as shown in FIG. 8B, the grid ( The compensation time for each i, j) is set to gradually increase. The dwell time acquisition unit 24 acquires the passing time before the grid where the start point of the flow line is located from the compensation time model, and acquires the passing time after the grid where the start point of the flow line is located from the actually measured time.

図８（Ａ）に示した例では、動線の始点ＰｓがグリッドＧ（３，２）に位置する。そこで、図８（Ｂ）に示す補償時間モデルに基づいて、動線の始点Ｐｓが位置するグリッドＧ（３，２）の補償時間Ｔｃ＝８を求める。また、動線情報に基づいて、動線がグリッドＧ（３，２）を抜けた時点から測定終了ラインに到達するまでの実測時間Ｔｍを求める。そして、グリッドＧ（３，２）の補償時間Ｔｃ＝８を実測時間Ｔｍに加算することにより、滞留時間を取得する。 In the example shown in FIG. 8A, the start point Ps of the flow line is located on the grid G (3, 2). Therefore, based on the compensation time model shown in FIG. 8B, the compensation time Tc = 8 of the grid G (3, 2) where the flow line start point Ps is located is obtained. Further, based on the flow line information, an actual measurement time Tm from when the flow line passes through the grid G (3, 2) until reaching the measurement end line is obtained. Then, the residence time is acquired by adding the compensation time Tc = 8 of the grid G (3, 2) to the actual measurement time Tm.

次に、図９（Ａ）に示したように、人物の動線が測定エリア内の途中で消失する途中消失パターンの場合について説明する。この場合、補償時間モデルは、測定エリア内の各位置から測定エリアを退出する、すなわち測定終了ラインに到達した時点までの所要時間を補償時間としたものとなり、滞留時間取得部２４では、補償時間モデルに基づいて、動線の終点の位置から補償時間を求める処理が行われる。 Next, as shown in FIG. 9A, a case of a halfway disappearance pattern in which a person's flow line disappears in the middle of the measurement area will be described. In this case, the compensation time model is a compensation time that is a time required to exit the measurement area from each position in the measurement area, that is, when the measurement end line is reached. Based on the model, a process for obtaining the compensation time from the position of the end point of the flow line is performed.

特に本実施形態では、前記のように、グリッド単位で補償時間を求めるようにしており、補償時間モデルは、各グリッドに進入した時点から測定終了ラインに到達した時点までの所要時間を補償時間としたものとなる。したがって、補償時間は、欠落部分を含む１連のグリッドの通過時間を累積したものとなり、この補償時間モデルでは、図９（Ｂ）に示すように、測定終了ラインに近づくのに応じてグリッド（ｉ，ｊ）ごとの補償時間が次第に小さくなるように設定される。そして、滞留時間取得部２４では、動線の終点が位置するグリッド以前の滞留時間を実測時間から取得し、動線の終点が位置するグリッドより後の滞留時間を補償時間モデルから取得する。 In particular, in the present embodiment, as described above, the compensation time is obtained in units of grids, and the compensation time model uses the time required from the time of entering each grid to the time of reaching the measurement end line as the compensation time. Will be. Therefore, the compensation time is obtained by accumulating the passage time of a series of grids including missing portions. In this compensation time model, as shown in FIG. 9B, the grid ( The compensation time for each i, j) is set to be gradually reduced. The dwell time acquisition unit 24 acquires the dwell time before the grid where the end point of the flow line is located from the actual measurement time, and acquires the dwell time after the grid where the end point of the flow line is located from the compensation time model.

図９（Ａ）に示した例では、動線の終点ＰｅがグリッドＧ（３，２）に位置する。そこで、図９（Ｂ）に示した補償時間モデルに基づいて、動線の終点Ｐｅが位置するグリッドＧ（３，２）の補償時間Ｔｃを求める。また、動線情報に基づいて、測定開始ラインを通過した時点からグリッドＧ（３，２）に進入した時点までの実測時間Ｔｍを求める。そして、グリッドＧ（３，２）の補償時間Ｔｃ＝７を実測時間Ｔｍに加算することにより、滞留時間を取得する。 In the example shown in FIG. 9A, the end point Pe of the flow line is located on the grid G (3, 2). Therefore, based on the compensation time model shown in FIG. 9B, the compensation time Tc of the grid G (3, 2) where the end point Pe of the flow line is located is obtained. Further, based on the flow line information, an actual measurement time Tm from the time when it passes through the measurement start line to the time when it enters the grid G (3, 2) is obtained. Then, the residence time is acquired by adding the compensation time Tc = 7 of the grid G (3, 2) to the actual measurement time Tm.

次に、図５に示した補償時間モデル生成部２７で行われる処理について説明する。図１０は、補償時間モデル生成部２７で行われる処理、特に動線が測定エリア内の途中で出現する途中出現パターンに対応した補償時間モデルを生成する処理を説明する説明図である。 Next, processing performed by the compensation time model generation unit 27 illustrated in FIG. 5 will be described. FIG. 10 is an explanatory diagram for explaining processing performed by the compensation time model generation unit 27, particularly processing for generating a compensation time model corresponding to a midway appearance pattern in which a flow line appears midway in a measurement area.

前記のように、補償時間モデル生成部２７では、複数の人物の測定エリア内での移動に要した時間を収集して、動線の欠落部分に相当する補償時間が欠落部分の位置に応じて設定された補償時間モデル（学習モデル）を生成する処理が行われる。この処理は、欠落部分を有しない動線を対象にして行われる。 As described above, the compensation time model generation unit 27 collects the time required for movement of a plurality of persons within the measurement area, and the compensation time corresponding to the missing part of the flow line corresponds to the position of the missing part. Processing for generating a set compensation time model (learning model) is performed. This process is performed for a flow line having no missing portion.

特に、図８に示したように、動線が測定エリア内の途中で出現する途中出現パターンについては、測定エリアに進入してから測定エリア内の各位置に到達するまでの所要時間、すなわち、測定開始ラインを通過した時点から各グリッドを退出した時点までの所要時間を、欠落部分のない動線を対象に収集して、その所要時間を平均化することで補償時間を取得する。 In particular, as shown in FIG. 8, for the midway appearance pattern in which the flow line appears in the middle of the measurement area, the time required to reach each position in the measurement area after entering the measurement area, that is, Compensation time is acquired by collecting the required time from the time when it passes through the measurement start line to the time when it exits each grid for the flow line having no missing part, and averaging the required time.

具体的には、図１０に示すように、動線が通過したグリッドＧ（ｉ，ｊ）の各々について、測定開始ラインを通過した時点から、各グリッドＧ（ｉ，ｊ）を抜ける時点までの所要時間Ｔ（ｉ，ｊ）を算出し、この処理を欠落部分のない動線を対象にして繰り返し行い、グリッドＧ（ｉ，ｊ）ごとに所要時間Ｔ（ｉ，ｊ）が複数求められると、その所要時間Ｔ（ｉ，ｊ）をグリッドＧ（ｉ，ｊ）ごとに平均化することで補償時間を取得する。なお、所要時間Ｔ（ｉ，ｊ）が１つしか求められないグリッドＧ（ｉ，ｊ）では、その所要時間Ｔ（ｉ，ｊ）を補償時間とする。 Specifically, as shown in FIG. 10, for each of the grids G (i, j) through which the flow line has passed, from the point of time passing through the measurement start line to the point of time passing through each grid G (i, j). When the required time T (i, j) is calculated and this process is repeated for a flow line having no missing portion, a plurality of required times T (i, j) are obtained for each grid G (i, j). The compensation time is obtained by averaging the required time T (i, j) for each grid G (i, j). In the grid G (i, j) in which only one required time T (i, j) is obtained, the required time T (i, j) is set as the compensation time.

このようにしてグリッドＧ（ｉ，ｊ）ごとの補償時間を取得するため、各グリッドＧ（ｉ，ｊ）を通過する動線のサンプル数が増えるほど、そのグリッドＧ（ｉ，ｊ）の補償時間の精度が向上する。一方、動線が全く通過しないグリッドＧ（ｉ，ｊ）では補償時間を取得することができず、また、グリッドＧ（ｉ，ｊ）を通過する動線のサンプル数が少ないと、そのグリッドＧ（ｉ，ｊ）の補償時間の精度は低くなるが、このようなグリッドＧ（ｉ，ｊ）はそもそも動線が通過する可能性が低いため、あまり問題とならない。 In this way, in order to obtain the compensation time for each grid G (i, j), the compensation of the grid G (i, j) increases as the number of flow line samples passing through each grid G (i, j) increases. Time accuracy is improved. On the other hand, in the grid G (i, j) in which no flow line passes at all, the compensation time cannot be obtained, and when the number of flow line samples passing through the grid G (i, j) is small, the grid G Although the accuracy of the compensation time of (i, j) is low, such a grid G (i, j) is less problematic because the flow line is unlikely to pass through in the first place.

一方、図９に示したように、動線が測定エリア内の途中で消失する途中消失パターンに対応する補償時間モデルの生成処理は、図１０に示した途中出現パターンの場合とは逆となる。すなわち、各グリッドに進入した時点から測定終了ラインに到達した時点までの所要時間を、欠落部分のない動線を対象に収集して、その所要時間を平均化することで補償時間を取得する。 On the other hand, as shown in FIG. 9, the generation process of the compensation time model corresponding to the midway disappearance pattern in which the flow line disappears in the middle of the measurement area is the reverse of the midway appearance pattern shown in FIG. . That is, the compensation time is acquired by collecting the required time from the time of entering each grid to the time of reaching the measurement end line for the flow line having no missing portion and averaging the required time.

ところで、この補償時間モデル生成処理には、各人物の処理を行いながら補償時間モデルを更新する随時更新モードと、一定の期間を対象にして動線が測定エリア内に欠落部分を有しない人物の動線情報に基づいて補償時間モデルを生成する一括生成モードとがある。 By the way, in this compensation time model generation process, an update mode that updates the compensation time model while performing each person's processing, and a person whose flow line does not have a missing part in the measurement area for a certain period of time. There is a batch generation mode in which a compensation time model is generated based on flow line information.

一括生成モードでは、例えば、１日分の追跡情報を処理して補償時間モデルを生成し、この補償時間モデルを用いて次の日以降の処理を行う。この場合、補償時間モデルが一旦生成されると、以降の処理では補償時間モデルの更新は行わない。 In the batch generation mode, for example, the tracking information for one day is processed to generate a compensation time model, and the processing on and after the next day is performed using this compensation time model. In this case, once the compensation time model is generated, the compensation time model is not updated in the subsequent processing.

また、一括生成モードでは、人物ごとの滞留時刻に基づいて、補償時間モデルを時間帯ごとに生成するようにしてもよい。この場合、滞留時間取得部２４では、該当する時間帯の補償時間モデルを用いて補償時間を取得する。例えば、１日の業務が終了すると、その１日分の動線情報から補償時間モデルを時間帯ごとに生成し、次の日の処理では該当する時間帯の補償時間モデルを用いて補償時間を取得する。この場合、補償時間モデルの生成処理では、グリッドごとの所要時間Ｔ（ｉ，ｊ）の収集を時間帯ごとに分けて行う。 In the batch generation mode, the compensation time model may be generated for each time zone based on the residence time for each person. In this case, the residence time acquisition unit 24 acquires the compensation time using the compensation time model of the corresponding time zone. For example, when a day's work is completed, a compensation time model is generated for each time zone from the flow line information for that day, and in the next day's processing, the compensation time is calculated using the compensation time model of the corresponding time zone. get. In this case, in the compensation time model generation process, the required time T (i, j) for each grid is collected separately for each time zone.

なお、補償時間モデルは、測定条件、すなわち測定エリアや測定開始ラインおよび測定終了ラインが異なる場合に適用することは難しいため、測定開始ラインや測定開始ラインおよび測定終了ラインが変更されると、補償時間モデルも別に生成するようにするとよい。 The compensation time model is difficult to apply when the measurement conditions, i.e., measurement area, measurement start line, and measurement end line are different, so if the measurement start line, measurement start line, and measurement end line are changed, the compensation time model is compensated. It is advisable to generate a time model separately.

図１１は、滞留時間補償処理が選択された場合にＰＣ３で行われる処理の手順を示すフロー図である。なお、この図１１では、各人物の処理を行いながら補償時間モデルを更新する随時更新モードについて説明する。 FIG. 11 is a flowchart showing a procedure of processing performed by the PC 3 when the residence time compensation processing is selected. In FIG. 11, a description will be given of an occasional update mode in which the compensation time model is updated while processing each person.

ＰＣ３では、まず、移動体追跡装置４から注目人物の追跡情報を取得し（ＳＴ２０１）、その注目人物の追跡情報が追跡情報蓄積部２１に蓄積される。そして、動線取得部２２にて、注目人物の追跡情報に基づいて注目人物の動線を取得する処理が行われ（ＳＴ２０２）、注目人物の動線情報が動線情報蓄積部２３に蓄積される。ついで、動線判定部２６にて、注目人物の動線が測定エリア内に欠落部分を有するか否かを判定する動線欠落判定が行われる（ＳＴ２０３）。 In the PC 3, first, tracking information of the attention person is acquired from the mobile body tracking device 4 (ST 201), and the tracking information of the attention person is stored in the tracking information storage unit 21. Then, the flow line acquisition unit 22 performs a process of acquiring the flow line of the target person based on the tracking information of the target person (ST202), and the flow line information of the target person is accumulated in the flow line information storage unit 23. The Next, the flow line determination unit 26 performs a flow line missing determination to determine whether or not the flow line of the person of interest has a missing portion in the measurement area (ST203).

この動線欠落判定（ＳＴ２０３）で、注目人物の動線が測定エリア内に欠落部分を有するものと判定されると（ＳＴ２０３でＹＥＳ）、滞留時間取得部２４にて、補償時間モデルを用いて補償時間を取得する処理が行われ（ＳＴ２０４）、ついで、取得した補償時間から注目人物の滞留時間を算出する処理が行われる（ＳＴ２０５）。そして、その注目人物の滞留時間が滞留時間蓄積部２５に蓄積される（ＳＴ２０６）。 If it is determined in this missing flow line determination (ST203) that the flow line of the person of interest has a missing part in the measurement area (YES in ST203), the dwell time acquisition unit 24 uses the compensation time model. A process of acquiring the compensation time is performed (ST204), and then a process of calculating the residence time of the person of interest from the acquired compensation time is performed (ST205). Then, the residence time of the person of interest is accumulated in the residence time accumulation unit 25 (ST206).

一方、動線欠落判定（ＳＴ２０３）で、注目人物の動線が測定エリア内に欠落部分を有しないものと判定されると（ＳＴ２０３でＮＯ）、滞留時間取得部２４にて、測定エリアに対する進入時刻および退出時刻に基づいて滞留時間を取得する処理が行われ（ＳＴ２０７）、ここで取得した滞留時間が滞留時間蓄積部２５に蓄積される（ＳＴ２０８）。ついで、注目人物の動線情報に基づいて補償時間モデルを更新する処理が行われる（ＳＴ２０９）。 On the other hand, if it is determined in the missing flow line determination (ST203) that the flow line of the person of interest does not have a missing part in the measurement area (NO in ST203), the dwell time acquisition unit 24 enters the measurement area. Based on the time and the exit time, a process of acquiring the residence time is performed (ST207), and the acquired residence time is accumulated in the residence time accumulation unit 25 (ST208). Next, a process for updating the compensation time model based on the flow line information of the person of interest is performed (ST209).

このように随時更新モードでは、欠落部分のない動線が見つかるたびに補償時間モデルを更新する処理が行われる。 As described above, in the update mode as needed, a process for updating the compensation time model is performed every time a flow line having no missing portion is found.

ここで、随時更新モードでの補償時間モデルの更新処理の手順を説明すると、まず、欠落部分のない動線が見つかると、その動線が通過したグリッドごとの所要時間Ｔ（ｉ，ｊ）（図１０参照）を算出して、その所要時間Ｔ（ｉ，ｊ）を補償時間として補償時間蓄積部２８に蓄積する。次に欠落部分のない動線が見つかると、その動線が通過したグリッドごとの所要時間Ｔ（ｉ，ｊ）を算出し、既に所要時間Ｔ（ｉ，ｊ）が蓄積されたグリッドでは所要時間を平均化して新たな補償時間を取得して、グリッドごとの補償時間を更新する。この更新処理が欠落部分のない動線を取得するたびに繰り返される。 Here, the procedure of the update process of the compensation time model in the anytime update mode will be described. First, when a flow line having no missing portion is found, the required time T (i, j) (for each grid through which the flow line passes) 10) and the required time T (i, j) is stored in the compensation time accumulating unit 28 as the compensation time. Next, when a flow line having no missing portion is found, the required time T (i, j) for each grid through which the flow line has passed is calculated, and in the grid where the required time T (i, j) has already been accumulated, the required time is calculated. To obtain a new compensation time, and update the compensation time for each grid. This update process is repeated each time a flow line having no missing part is acquired.

以上のように本実施形態では、測定エリア内の動線が不完全な人物でも、測定エリア内の動線が完全な状態に相当する滞留時間を取得することができる。これにより、検出された全ての人物について、大きな誤差を含まない滞留時間を取得することができる。このため、滞留状況の把握が特に重要となる混雑した状況で、滞留状況を的確に把握することができる。また、滞留時間の時間的推移状況を把握したい場合に、実際に人物が測定エリア内に滞留しているにもかかわらず、滞留時間が表示されないという不自然な表示が行われることもなくなる。 As described above, in this embodiment, even for a person who has an incomplete flow line in the measurement area, the dwell time corresponding to a state in which the flow line in the measurement area is complete can be acquired. As a result, it is possible to acquire a residence time that does not include a large error for all detected persons. For this reason, it is possible to accurately grasp the staying situation in a crowded situation where it is particularly important to know the staying state. Further, when it is desired to grasp the temporal transition state of the residence time, an unnatural display that the residence time is not displayed is not performed even though the person is actually staying in the measurement area.

また、本実施形態では、動線が測定エリア内に欠落部分を有するか否かの動線欠落判定が、測定開始ラインおよび測定終了ラインと動線との交差状況を見るだけで済むため、判定動線欠落判定を簡単に行うことができる。 Further, in this embodiment, the determination of whether or not the flow line has a missing portion in the measurement area only needs to see the intersection of the measurement start line and the measurement end line with the flow line. A lack of flow line can be easily determined.

また、本実施形態では、動線の欠落部分に相当する補償時間に関する補償時間モデルを学習により生成して、その補償時間モデルに基づいて補償時間を求める補償時間モデル処理を選択することができるようになっており、これを選択することで、精度の高い滞留時間を取得することができる。 Further, in the present embodiment, it is possible to select a compensation time model process for generating a compensation time model related to the compensation time corresponding to the missing portion of the flow line by learning and obtaining the compensation time based on the compensation time model. By selecting this, it is possible to acquire a highly accurate residence time.

また、本実施形態では、動線が測定エリア内の途中で出現する途中出現パターンについて、測定エリアに進入した時点から、測定エリア内の各位置に到達した時点、具体的には各グリッドを退出した時点までの所要時間を補償時間とした補償時間モデルを生成して、その補償時間モデルに基づいて、動線の始点の位置、具体的には動線の始点が存在するグリッドの位置から補償時間を求めるようにしたため、途中出現パターンの場合の補償時間を簡単にかつ精度よく取得することができる。 Further, in the present embodiment, with respect to the midway appearance pattern in which the flow line appears in the middle of the measurement area, the point of arrival at each position in the measurement area from the time of entering the measurement area, specifically, exiting each grid. Generate a compensation time model with the required time to the compensation time as compensation time, and based on the compensation time model, compensate from the position of the start point of the flow line, specifically the position of the grid where the start point of the flow line exists Since the time is obtained, the compensation time in the case of a midway appearance pattern can be obtained easily and accurately.

また、本実施形態では、動線が測定エリア内の途中で消失する途中消失パターンについて、測定エリア内の各位置、具体的には各グリッドに進入した時点から、測定エリアを退出した時点までの所要時間を補償時間とした補償時間モデルを生成して、その補償時間モデルに基づいて、動線の終点の位置、具体的には動線の終点が存在するグリッドの位置から補償時間を求めるようにしたため、途中消失パターンの場合の補償時間を簡単にかつ精度よく取得することができる。 Further, in the present embodiment, about the midway disappearance pattern in which the flow line disappears in the middle of the measurement area, from each position in the measurement area, specifically, from the time of entering each grid to the time of leaving the measurement area. Generate a compensation time model with the required time as compensation time, and calculate the compensation time from the position of the end point of the flow line, specifically the position of the grid where the end point of the flow line exists based on the compensation time model. Therefore, it is possible to easily and accurately obtain the compensation time in the case of a halfway disappearance pattern.

また、本実施形態では、測定エリアを複数のグリッドに分割して、グリッドごとの補償時間を設定した補償時間モデルを生成し、この補償時間モデルに基づいて補償時間を求めるようにしたため、補償時間モデルの生成が容易になり、また、実用上十分な精度で滞留時間を取得することができる。 In the present embodiment, the measurement area is divided into a plurality of grids, a compensation time model in which the compensation time for each grid is set is generated, and the compensation time is obtained based on the compensation time model. The model can be easily generated, and the residence time can be acquired with sufficient accuracy for practical use.

また、本実施形態では、補償時間モデルを時間帯ごとに生成して、該当する時間帯の補償時間モデルに基づいて補償時間を求めるようにしたため、時間帯に応じて異なる測定エリア内での人物の移動状況が反映された補償時間を求めることができるため、補償時間の精度を高めることができる。 In the present embodiment, the compensation time model is generated for each time zone, and the compensation time is obtained based on the compensation time model of the corresponding time zone. Since the compensation time reflecting the movement status of the compensation can be obtained, the accuracy of the compensation time can be improved.

また、本実施形態では、動線が測定エリア内に欠落部分を有するものと判定された人物の滞留時間を、動線が測定エリア内に欠落部分を有しない他の人物の滞留時間で代替する滞留時間代替処理を選択することができるようになっており、これを選択すると、注目する人物の滞留時間を他の人物の滞留時間で代替するだけで済むため、滞留時間を取得する処理が容易になる。 In this embodiment, the dwell time of a person whose flow line is determined to have a missing part in the measurement area is replaced with the dwell time of another person whose flow line does not have a missing part in the measurement area. It is now possible to select a dwell time substitution process, and if this is selected, the dwell time of the person of interest only needs to be replaced with the dwell time of another person, so the dwell time acquisition process is easy become.

特に、本実施形態では、動線が測定エリア内に欠落部分を有するものと判定された人物の滞留時間を、動線が測定エリア内に欠落部分を有しない他の人物の中で時間的に最も近接する人物の滞留時間で代替するようにしており、注目する人物に時間的に最も近接する人物は、注目する人物と類似した状況にあり、注目する人物と近い滞留時間となる可能性が高いため、注目する人物の滞留時間を時間的に最も近接する人物の滞留時間で代替することにより、精度の高い滞留時間を取得することができる。 In particular, in the present embodiment, the residence time of a person who has been determined that the flow line has a missing portion in the measurement area is temporally compared with other persons whose flow lines do not have the missing portion in the measurement area. The stay time of the closest person is substituted, and the person who is closest to the person of interest in time is in a situation similar to the person of interest and may have a residence time close to the person of interest. Therefore, it is possible to obtain a highly accurate residence time by replacing the residence time of the person of interest with the residence time of the closest person in time.

また、本実施形態では、ユーザの入力操作に応じて、測定条件（測定エリアや測定開始ラインおよび測定終了ライン）、および補償方法（滞留時間代替処理および補償時間モデル処理）を設定するようにしたため、測定条件や補償方法をユーザが適宜に選択することができることから、ユーザの利便性を高めることができる。 In this embodiment, the measurement conditions (measurement area, measurement start line, and measurement end line) and the compensation method (residence time substitution process and compensation time model process) are set according to the user's input operation. Since the user can appropriately select the measurement conditions and the compensation method, the convenience for the user can be improved.

図１２は、測定エリアおよびグリッドの変形例を説明する説明図である。図８及び図９に示した例では、矩形状の測定エリアを設定して、その測定エリアを矩形状のグリッド（分割領域）に分割するようにしたが、測定エリアおよびグリッドの形状は矩形に限定されるものではなく、測定エリアの周辺の状況に応じて適宜な形状に設定すればよい。 FIG. 12 is an explanatory diagram for explaining a modification of the measurement area and the grid. In the example shown in FIGS. 8 and 9, a rectangular measurement area is set and the measurement area is divided into rectangular grids (divided regions). However, the measurement area and the grid shape are rectangular. The shape is not limited, and an appropriate shape may be set according to the situation around the measurement area.

図１２に示す例では、測定エリアおよびグリッドが台形に設定されている。図２に示したように、レジカウンタに対してカメラ１を設置した場合、測定エリアに対して人物がカメラ１から離れた奥側から進入してカメラ１に近接する手前側から退出するが、映像内でカメラ１から離れた奥側の人物は小さく映り、カメラ１に近接する手前側の人物は大きく映る。そこで、図１２に示した例では、測定エリアおよびグリッドが、人物の大きさに合わせて、奥側が小さく、手前側が大きくなるように台形状に設定されている。 In the example shown in FIG. 12, the measurement area and the grid are set to a trapezoid. As shown in FIG. 2, when the camera 1 is installed on the cashier counter, a person enters the measurement area from the back side away from the camera 1 and exits from the near side close to the camera 1. A person on the far side away from the camera 1 appears small in the image, and a person on the near side close to the camera 1 appears large. Therefore, in the example shown in FIG. 12, the measurement area and the grid are set in a trapezoidal shape so that the back side is small and the front side is large according to the size of the person.

なお、本実施形態では、測定エリアを格子状に分割してグリッド（分割領域）としたが、格子状に分割する構成に限定されるものではなく、測定エリアの内部の状況に応じて適宜な分割線で分割すればよい。また、測定エリアの分割数（分割領域の数）も適宜に設定すればよく、さらに、分割領域の大きさも均一に設定した構成に限定されるものではなく、測定エリアの内部の状況に応じて適宜な大きさに設定すればよい。 In the present embodiment, the measurement area is divided into a grid (divided area) by dividing the measurement area into a grid. However, the present invention is not limited to the configuration in which the measurement area is divided into a grid. What is necessary is just to divide by a dividing line. In addition, the number of divisions of the measurement area (number of divided areas) may be set as appropriate, and the size of the divided areas is not limited to a uniform setting, and depends on the situation inside the measurement area. What is necessary is just to set to an appropriate magnitude | size.

次に、図５に示した統計処理部３１で行われる処理について説明する。統計処理部３１では、人物ごとの滞留時間および滞留時刻に基づいて、時刻ごとの滞留時間を取得する処理が行われる。また、統計処理部３１では、人物ごとの滞留時刻に基づいて、時刻ごとの滞留人数、すなわち測定エリア内に同時に存在する人物の数を取得する処理が行われる。 Next, processing performed by the statistical processing unit 31 illustrated in FIG. 5 will be described. The statistical processing unit 31 performs processing for obtaining the residence time for each time based on the residence time and residence time for each person. In addition, the statistical processing unit 31 performs processing for obtaining the number of people staying at each time, that is, the number of people simultaneously present in the measurement area, based on the staying time for each person.

時刻ごとの滞留時間は、人物ごとの滞留時刻に基づいて人物ごとの滞留時間を時刻ごとに集計することで取得することができる。すなわち、人物ごとの滞留時刻から各時刻で測定エリアに滞留する人物を抽出し、該当する人物の滞留時間から時刻ごとの滞留時間を取得する。ここで、同一時刻に測定エリアに人物が複数存在する場合には各人物の滞留時間を平均化する。また、人物ごとの滞留時刻から各時刻で測定エリアに滞留する人物を抽出することで、時刻ごとの滞留人数を取得することができる。 The residence time for each time can be acquired by counting the residence time for each person based on the residence time for each person. That is, the person who stays in the measurement area at each time is extracted from the stay time for each person, and the stay time for each time is acquired from the stay time of the corresponding person. Here, when there are a plurality of persons in the measurement area at the same time, the residence time of each person is averaged. In addition, by extracting the person who stays in the measurement area at each time from the stay time for each person, the number of staying persons for each time can be acquired.

なお、人物ごとの滞留時刻、すなわち、測定エリアに対する進入時刻および退出時刻は、動線情報蓄積部２３に蓄積された人物ごとの動線情報から取得することができる。動線情報蓄積部２３には、動線情報として、人物の位置が時刻に対応づけて蓄積されており、この動線情報から人物ごとの滞留時刻を取得することができる。 The residence time for each person, that is, the entry time and the exit time for the measurement area can be acquired from the flow line information for each person stored in the flow line information storage unit 23. In the flow line information storage unit 23, the position of a person is stored in association with time as flow line information, and the residence time for each person can be acquired from the flow line information.

次に、統計処理部３１で生成した統計情報の出力例について説明する。前記のように、統計処理部３１では、滞留時間取得部２４で取得した人物ごとの滞留時間に対して時間的な統計処理を行って統計情報を生成する処理が行われ、画面生成部３２では、統計情報を表示する表示画面（表示画像）に関する画面情報を生成する処理が行われ、統計情報がモニタ７に表示される。以下にモニタ７に表示される統計情報の表示画面について説明する。 Next, an output example of statistical information generated by the statistical processing unit 31 will be described. As described above, the statistical processing unit 31 performs processing for generating statistical information by performing temporal statistical processing on the residence time for each person acquired by the residence time acquisition unit 24, and the screen generation unit 32 performs processing for generating statistical information. Then, a process for generating screen information related to a display screen (display image) for displaying statistical information is performed, and the statistical information is displayed on the monitor 7. A display screen of statistical information displayed on the monitor 7 will be described below.

まず、統計情報を表形式で表示する例について説明する。図１３は、統計情報を表形式で表示する例を説明する説明図である。 First, an example in which statistical information is displayed in a table format will be described. FIG. 13 is an explanatory diagram illustrating an example in which statistical information is displayed in a table format.

この図１３に示す例では、指定された時刻の統計情報（滞留時間および滞留人数）が表形式で表示されている。特に、ここでは、４つのレジカウンタにそれぞれ測定エリアＡ〜Ｄが設定されており、各測定エリアＡ〜Ｄの度数（滞留人数）、滞留時間、および信頼度が表示されている。 In the example shown in FIG. 13, the statistical information (staying time and number of people staying) at the designated time is displayed in a table format. In particular, here, measurement areas A to D are set in the four register counters, respectively, and the frequency (the number of people staying), the staying time, and the reliability of each measurement area A to D are displayed.

ここで、信頼度は、滞留時間の確からしさを示すものであり、動線が測定エリア内に欠落部分を有するために補償処理（滞留時間代替処理および補償時間モデル処理）が行われた人物の人数Ｎａの、動線が測定エリア内に欠落部分を有しない人物の人数Ｎｂに対する割合であり、次式により求められる。
信頼度＝Ｎａ／Ｎｂ×１００
なお、次式のように、人数Ｎａの総人数に占める割合としてもよい。
信頼度＝Ｎａ／（Ｎａ＋Ｎｂ）×１００ Here, the reliability indicates the certainty of the residence time. Since the flow line has a missing portion in the measurement area, the compensation processing (residence time substitution processing and compensation time model processing) of the person who has been performed is performed. The number of people Na is the ratio of the number of people Na to the number of people Nb whose flow line does not have a missing portion in the measurement area, and is obtained by the following equation.
Reliability = Na / Nb × 100
In addition, it is good also as a ratio which occupies for the total number of people Na like following Formula.
Reliability = Na / (Na + Nb) × 100

なお、指定された時間帯の統計情報を表示するようにしてもよく、この場合、時刻ごとの滞留時間および滞留人数を平均化することで、時間帯ごとの滞留時間および滞留人数を取得することができる。 Note that statistical information for a specified time zone may be displayed. In this case, the residence time and the number of people staying for each time zone are obtained by averaging the residence time and the number of people staying for each time. Can do.

次に、統計情報を画像で表示する例について説明する。図１４は、統計情報を画像で表示する例を説明する説明図である。 Next, an example in which statistical information is displayed as an image will be described. FIG. 14 is an explanatory diagram illustrating an example in which statistical information is displayed as an image.

この図１４に示す例では、測定エリアを含むカメラ１の映像４１上に測定エリアを表す枠画像４２および統計情報（滞留時間および滞留人数）を表す画像４３が重畳して表示されている。また、統計情報を表す画像４３は複数の測定エリアごとに並べて表示される。 In the example shown in FIG. 14, a frame image 42 representing a measurement area and an image 43 representing statistical information (staying time and number of people staying) are superimposed on the video 41 of the camera 1 including the measurement area. Further, the image 43 representing the statistical information is displayed side by side for each of a plurality of measurement areas.

統計情報を表す画像４３では、統計情報の数値の大きさが、画像４３の属性、すなわち大きさ、色合い（色相）および色の濃さ（濃度）の少なくともいずれかで表現される。特に、図１４に示す例では、円形状の画像４３の塗りつぶし色の濃さで滞留時間が表現され、画像４３の大きさで滞留人数が表現されており、滞留時間が長いほど画像４３の色が濃くなり、滞留人数が多いほど画像４３が大きくなる。 In the image 43 representing the statistical information, the numerical value of the statistical information is expressed by at least one of the attributes of the image 43, that is, the size, the hue (hue), and the color density (density). In particular, in the example illustrated in FIG. 14, the staying time is expressed by the darkness of the fill color of the circular image 43, and the staying number is expressed by the size of the image 43. As the number of staying people increases, the image 43 becomes larger.

特に本実施形態では、映像４１を動画で表示することができるようになっており、統計情報を表す画像４３は撮像時刻に対応する統計情報を表示し、動画の再生に伴って統計情報が変化するのに応じて統計情報を表す画像４３が変化する。すなわち、動画が再生されるのに伴って滞留時間および滞留人数が変化するのに応じて、画像４３の色の濃さおよび大きさが変化する。 In particular, in the present embodiment, the video 41 can be displayed as a moving image, and the image 43 representing the statistical information displays statistical information corresponding to the imaging time, and the statistical information changes as the moving image is played back. As a result, the image 43 representing the statistical information changes. That is, the color density and size of the image 43 change as the staying time and the number of staying people change as the moving image is played back.

なお、図１４に示す例では、統計情報を表す画像４３を透過状態で表示しており、このようにすると、映像４１における統計情報を表す画像４３で覆われた領域内に映る人物の状況も確認することができる。 In the example shown in FIG. 14, the image 43 representing the statistical information is displayed in a transparent state. In this way, the situation of the person reflected in the area covered with the image 43 representing the statistical information in the video 41 is also shown. Can be confirmed.

このように本実施形態では、滞留時間に対して時間的な統計処理を行って統計情報を生成して、その統計情報を含む出力情報を出力するようにしたため、滞留時間の時間的推移状況をユーザが把握することができる。 As described above, in the present embodiment, statistical processing is performed on the residence time to generate statistical information, and output information including the statistical information is output. The user can grasp it.

また、本実施形態では、測定エリアを含む映像上に統計情報を表す画像を重畳して表示するようにしたため、測定エリアでの人物の滞留状況を、測定エリアの映像に映った実際の人物の状況と比較しながら確認することができる。特に、本実施形態では、複数の測定エリアごとに統計情報を表す画像が並べて表示されるため、各測定エリアでの人物の滞留状況を簡単に比較することができる。 In the present embodiment, since the image representing the statistical information is superimposed and displayed on the video including the measurement area, the staying state of the person in the measurement area is represented by the actual person reflected in the video of the measurement area. It can be confirmed by comparing with the situation. In particular, in this embodiment, since images representing statistical information are displayed side by side for each of a plurality of measurement areas, it is possible to easily compare a person's staying state in each measurement area.

また、本実施形態では、統計情報が統計情報を表す画像の属性、すなわち大きさ、色合いおよび色の濃さなどで表現されるため、統計情報の数値の大きさを一目で把握することができる。特に、複数種類の統計情報の各々を画像の異なる属性で表現するようにすると、１つの画像で複数種類の統計情報を表現することができるため、測定エリアを含む映像上に統計情報を表す画像を重畳して表示する場合に、表示画面を見やすくすることができる。 Further, in the present embodiment, since the statistical information is expressed by the attribute of the image representing the statistical information, that is, the size, the hue, the color density, etc., the numerical value of the statistical information can be grasped at a glance. . In particular, if each of a plurality of types of statistical information is represented by different attributes of the image, a plurality of types of statistical information can be represented by a single image, so that an image representing statistical information on a video including a measurement area When the images are superimposed and displayed, the display screen can be made easier to see.

また、本実施形態では、統計情報として滞留時間および滞留人数が出力されるため、測定エリアでの人物の滞留状況をより詳細に把握することができる。特に、本実施形態では、滞留時間および滞留人数が、画像の２つの属性（大きさおよび色）で表現されるため、滞留時間および滞留人数を一目で把握することができる。 Moreover, in this embodiment, since the residence time and the number of people staying are output as statistical information, it is possible to grasp the person's staying status in the measurement area in more detail. In particular, in this embodiment, the residence time and the number of people staying are expressed by two attributes (size and color) of the image, so that the residence time and the number of people staying can be grasped at a glance.

次に、異なる条件で求められた統計情報を並べて表示する例について説明する。図１５は、異なる条件で求められた統計情報を並べて表示する例を説明する説明図である。 Next, an example in which statistical information obtained under different conditions is displayed side by side will be described. FIG. 15 is an explanatory diagram for explaining an example in which statistical information obtained under different conditions is displayed side by side.

なお、この図１５では、１つの時間帯（１１時〜１２時）のみに統計情報を表す画像を示しており、他の時間帯では統計情報を表す画像を省略しているが、これらの時間帯でも同様に統計情報を表す画像が表示される。また、統計情報の表示方法は図１４に示した例と同様である。 In FIG. 15, images representing statistical information are shown only in one time zone (11:00 to 12:00), and images representing statistical information are omitted in other time zones. Similarly, an image representing statistical information is displayed in the band. The statistical information display method is the same as the example shown in FIG.

この図１５に示す例では、時間帯（単位時間）ごとの統計情報（滞留時間および滞留人数）が時系列で並べて表示されている。この場合、統計処理部３１では、時刻ごとの統計情報を平均化することで、時間帯ごとの統計情報を生成する処理が行われ、画面生成部３２では、時間帯ごとの統計情報を時系列で並べた画面情報を生成する処理が行われる。 In the example shown in FIG. 15, statistical information (staying time and number of people staying) for each time zone (unit time) is displayed side by side in time series. In this case, the statistical processing unit 31 performs processing for generating statistical information for each time zone by averaging the statistical information for each time, and the screen generation unit 32 displays the statistical information for each time zone in time series. Processing for generating screen information arranged in the above is performed.

このように本実施形態では、時間帯ごとの滞留時間および滞留人数が時系列で並べて出力されるため、滞留時間および滞留人数の時間的推移状況を一目で把握することができ、また、時間帯ごとの滞留状況を簡単に比較することができる。 As described above, in the present embodiment, the residence time and the number of people staying for each time zone are output side by side in time series, so the time transition status of the residence time and the number of people staying can be grasped at a glance. The staying status of each can be easily compared.

なお、図１４に示した例では、１時間単位の統計情報を表示するようにしたが、単位時間は１時間に限定されるものではなく、分単位、あるいは朝、昼、および夕の単位などで統計情報を表示するようにしてもよい。また、図１３に示したように、統計情報を表形式で表示する場合に、図１５に示した例と同様に、時間帯ごとの統計情報を並べて表示するようにしてもよい。 In the example shown in FIG. 14, the statistical information in units of one hour is displayed. However, the unit time is not limited to one hour, and units such as minutes, morning, noon, and evening are used. You may make it display statistical information. Further, as shown in FIG. 13, when the statistical information is displayed in a table format, the statistical information for each time zone may be displayed side by side as in the example shown in FIG.

次に、異なる条件で求められた統計情報の差分を表示する例について説明する。図１６は、異なる条件で求められた統計情報の差分を表示する例を説明する説明図である。なお、統計情報の表示方法は図１４に示した例と同様である。 Next, an example of displaying a difference between statistical information obtained under different conditions will be described. FIG. 16 is an explanatory diagram illustrating an example in which a difference in statistical information obtained under different conditions is displayed. The statistical information display method is the same as the example shown in FIG.

図１６（Ａ）に示す例では、異なる条件として、同一の店舗における２つの時間帯の統計情報の差分を表示するようにしている。特にここでは、朝および夜の２つの時間帯（11:00〜12:00と19:00〜20:00）の差分を表示しており、夜の時間帯（19:00〜20:00）を基準にした朝の時間帯（11:00〜12:00）の滞留状況を確認することができる。 In the example shown in FIG. 16A, as a different condition, a difference between statistical information of two time zones in the same store is displayed. In particular, here, the difference between the morning and night time zones (11: 00-12: 00 and 19: 00-20: 00) is displayed, and the night time zone (19: 00-20: 00) It is possible to check the staying situation in the morning time (11: 00-12: 00) based on the above.

図１６（Ｂ）に示す例では、異なる条件として、２つの店舗における同一の時間帯の統計情報の差分を表示するようにしている。特にここでは、同一の時間帯（12:00〜13:00）における店舗Ａの統計情報から店舗Ｂの統計情報を差し引いた差分を表示しており、店舗Ｂを基準にした店舗Ａの滞留状況を確認することができる。 In the example shown in FIG. 16B, the difference between the statistical information of the same time zone in two stores is displayed as different conditions. In particular, here, the difference obtained by subtracting the statistical information of the store B from the statistical information of the store A in the same time zone (12:00 to 13:00) is displayed, and the staying status of the store A based on the store B Can be confirmed.

図１６（Ｃ）に示す例では、異なる条件として、同一の店舗において異なる位置に設置された２つのカメラにそれぞれ対応する測定エリアに関する同一の時間帯の統計情報の差分を表示するようにしている。特にここでは、店舗Ａの同一の時間帯（12:00〜13:00）におけるカメラＡの統計情報からカメラＢの統計情報を差し引いた差分を表示しており、カメラＢを基準にしたカメラＡの滞留状況を確認することができる。 In the example shown in FIG. 16C, as a different condition, the difference between the statistical information in the same time zone regarding the measurement areas respectively corresponding to two cameras installed at different positions in the same store is displayed. . In particular, here, the difference obtained by subtracting the statistical information of the camera B from the statistical information of the camera A in the same time zone (12:00 to 13:00) of the store A is displayed, and the camera A based on the camera B is displayed. Can be confirmed.

この図１６に示す各例の場合、統計処理部３１では、異なる条件で求められた統計情報（滞留時間および滞留人数）の差分を取得する処理が行われ、画面生成部３２では、統計処理部３１で取得した統計情報の差分を表示する画面情報を生成する処理が行われる。 In the case of each example shown in FIG. 16, the statistical processing unit 31 performs a process of obtaining a difference between statistical information (retention time and staying number of people) obtained under different conditions, and the screen generation unit 32 performs a statistical processing unit. A process of generating screen information for displaying the difference of the statistical information acquired in 31 is performed.

なお、図１６に示した例と同様に、異なる条件で求められた統計情報の差分を、図１３に示した例と同様に、表形式で表示するようにしてもよい。 Note that, similarly to the example shown in FIG. 16, the difference between the statistical information obtained under different conditions may be displayed in a table format as in the example shown in FIG.

このように本実施形態では、異なる条件で求められた統計情報の差分が出力されるため、条件が異なる場合の人物の滞留状況の相違を一目で確認することができる。 Thus, in this embodiment, since the difference of the statistical information calculated | required on different conditions is output, the difference in the retention status of the person when conditions differ can be confirmed at a glance.

すなわち、図１６（Ａ）に示した例では、２つの時間帯における顧客の滞留状況の相違を一目で確認することができるため、時間帯ごとの改善事項を検討する上で有益な情報を得ることができ、また、図１６（Ｂ）に示した例では、２つの店舗における顧客の滞留状況の相違を一目で確認することができるため、店舗ごとの改善事項を検討する上で有益な情報を得ることができ、図１６（Ｃ）に示した例では、店舗内の別の位置に設置されたレジカウンタ群の滞留状況の相違を一目で確認することができるため、レジカウンタ群ごとの改善事項、例えば混雑時の顧客誘導などに関する改善事項を検討する上で有益な情報を得ることができる。 That is, in the example shown in FIG. 16 (A), the difference in the staying status of the customers in the two time zones can be confirmed at a glance, so that useful information is obtained in considering the improvement items for each time zone. In addition, in the example shown in FIG. 16B, since it is possible to confirm at a glance the difference in the staying status of customers in two stores, it is useful information for considering improvement items for each store. In the example shown in FIG. 16C, the difference in the staying status of the register counter groups installed at different positions in the store can be confirmed at a glance. It is possible to obtain useful information in examining improvement matters, for example, improvement matters related to customer guidance at the time of congestion.

次に、統計情報を画像で表現する場合の表現方法の別例について説明する。図１７は、統計情報を画像で表現する場合の表現方法の別例を示す説明図である。 Next, another example of an expression method when the statistical information is expressed as an image will be described. FIG. 17 is an explanatory diagram illustrating another example of an expression method when the statistical information is expressed as an image.

図１４に示した例では、測定エリアを含むカメラの映像４１上に統計情報を表す画像４３を重畳して表示し、特に統計情報（滞留時間および滞留人数）を円形の図形の画像４３を用いて表現するようにしたが、この統計情報を表す画像４３は、図形、文字および記号の少なくともいずれかからなるものであればよい。すなわち、円形以外の図形、例えば正方形の図形を用いるようにしてもよい。さらに、統計情報を表す画像４３を、図形以外、例えば記号や文字で表現するようにしてもよい。 In the example shown in FIG. 14, an image 43 representing statistical information is superimposed and displayed on the video 41 of the camera including the measurement area, and in particular, the statistical information (retention time and number of people staying) is used using a circular graphic image 43. However, the image 43 representing the statistical information only needs to be composed of at least one of a figure, a character, and a symbol. That is, a figure other than a circle, for example, a square figure may be used. Further, the image 43 representing the statistical information may be represented by, for example, symbols or characters other than graphics.

また、図１４に示した例では、滞留時間の長さを画像４３の塗りつぶしの色の濃さで表現し、滞留人数を画像４３の大きさで表現するようにしたが、統計情報の数値の大きさを、統計情報を表す画像４３の属性、すなわち画像４３の大きさ、画像４３の塗りつぶし色や画像４３の輪郭線の色合いおよび色の濃さ、輪郭線の太さの少なくともいずれかで表現することができる。 In the example shown in FIG. 14, the length of the staying time is expressed by the darkness of the fill color of the image 43, and the number of staying people is expressed by the size of the image 43. The size is expressed by at least one of the attributes of the image 43 representing statistical information, that is, the size of the image 43, the fill color of the image 43, the color and density of the outline of the image 43, and the thickness of the outline. can do.

例えば、図１７（Ａ），（Ｂ），（Ｃ）に示す例では、統計情報を表す画像４３が正方形の図形からなっている。特に、図１７（Ａ）に示す例では、滞留時間の長さを正方形の塗りつぶしの色の濃さで表現し、図１７（Ｂ）に示す例では、滞留時間の長さを正方形の輪郭線の太さで表現し、図１７（Ｃ）に示す例では、滞留時間の長さを正方形の輪郭線の色の濃さで表現している。また、図１７（Ａ），（Ｂ），（Ｃ）に示す例では、滞留人数を正方形の大きさで表現している。なお、図１７（Ａ），（Ｃ）に示す例では、色の濃さの代わりに色合いで表現するようにしてもよい。 For example, in the example shown in FIGS. 17A, 17B, and 17C, the image 43 representing the statistical information is a square figure. In particular, in the example shown in FIG. 17A, the length of the residence time is expressed by the darkness of the square fill color, and in the example shown in FIG. 17B, the length of the residence time is expressed by a square outline. In the example shown in FIG. 17C, the length of the residence time is expressed by the color intensity of the square outline. Moreover, in the example shown to FIG. 17 (A), (B), (C), the staying number of people is expressed by the magnitude | size of the square. In the example shown in FIGS. 17A and 17C, the color may be expressed by hue instead of the color density.

図１７（Ｄ）に示す例では、統計情報を表す画像４３が記号からなっており、特にここでは、滞留時間の長さを記号で表現し、滞留人数を記号の大きさで表現している。また、図１７（Ｅ）に示す例では、統計情報を表す画像４３が文字からなっており、特にここでは、滞留時間の長さを文字で表現し、滞留人数を文字の大きさで表現している。 In the example shown in FIG. 17D, the image 43 representing the statistical information is composed of symbols. In particular, here, the length of the residence time is represented by a symbol, and the number of people staying is represented by the size of the symbol. . In the example shown in FIG. 17E, the image 43 representing statistical information is composed of characters. In particular, here, the length of the staying time is represented by characters, and the number of staying people is represented by the size of the characters. ing.

次に、動線が測定エリア内で欠落する場合の別例について説明する。図１８は、動線が測定エリア内で欠落する場合の別例を説明する説明図である。 Next, another example when the flow line is missing in the measurement area will be described. FIG. 18 is an explanatory diagram for explaining another example when a flow line is missing in a measurement area.

本実施形態では、図８に示したように動線が測定エリア内の途中で出現する途中出現パターン、および図９に示したように動線が測定エリア内の途中で消失する途中消失パターンについて、補償時間モデルに用いて滞留時間を取得する補償時間モデル処理を行うようにしたが、図１８に示すように、動線が欠落する形態は多様であり、以下に説明するように、動線の欠落のパターンに応じた処理を行うとよい。 In the present embodiment, as shown in FIG. 8, a flow appearance pattern in which a flow line appears in the middle of the measurement area, and a flow disappearance pattern in which the flow line disappears in the middle of the measurement area as shown in FIG. 9. The compensation time model processing for acquiring the residence time is performed using the compensation time model. However, as shown in FIG. 18, there are various forms in which the flow line is missing. It is preferable to perform processing according to the missing pattern.

図１８（Ａ）に示す例では、動線が測定エリア内の途中で消失した後に、同一の人物と認識される動線が測定エリア内の途中で出現している。この場合、動線が測定エリア内に欠落部分を有するが、測定エリアに対する進入時刻および退出時刻、すなわち動線が測定開始ラインおよび測定終了ラインとそれぞれ交差する時刻が明らかであり、これより求められる実測時間Ｔｍが滞留時間となる。 In the example shown in FIG. 18A, after the flow line disappears in the middle of the measurement area, the flow line recognized as the same person appears in the middle of the measurement area. In this case, although the flow line has a missing portion in the measurement area, the entry time and the exit time with respect to the measurement area, that is, the time when the flow line intersects with the measurement start line and the measurement end line, respectively, is clear and can be obtained from this. The actual measurement time Tm is the residence time.

一方、図１８（Ｂ）に示す例では、動線が測定エリア内の途中で出現した後に測定エリア内の途中で消失している。この場合、欠落部分を含まないグリッドが存在し、この欠落部分を含まないグリッドの通過時間は、動線がグリッドの境界線と交差する時刻が明らかであるため、これに基づいて実測時間Ｔｍを取得することができる。また、その前後の区間のうち、動線出現前の区間については図８に示した補償時間モデルから補償時間Ｔｃ１を取得することができ、動線消失後の区間については図９に示した補償時間モデルから補償時間Ｔｃ２を取得することができる。そして、実測時間Ｔｍおよび補償時間Ｔｃ１，Ｔｃ２を加算することで滞留時間を取得することができる。 On the other hand, in the example shown in FIG. 18B, the flow line disappears in the middle of the measurement area after appearing in the middle of the measurement area. In this case, there is a grid that does not include the missing part, and the transit time of the grid that does not include the missing part is clearly the time at which the flow line intersects the boundary line of the grid. Can be acquired. Of the preceding and following sections, the compensation time Tc1 can be obtained from the compensation time model shown in FIG. 8 for the section before the appearance of the flow line, and the compensation shown in FIG. 9 for the section after the disappearance of the flow line. The compensation time Tc2 can be acquired from the time model. The residence time can be acquired by adding the actual measurement time Tm and the compensation times Tc1 and Tc2.

また、図１８（Ｃ）に示す例では、動線が測定エリア内で出現および消失を繰り返している。この場合、動線が出現した後にグリッドの境界線と交差する時刻と、動線が測定終了ラインと交差する時刻が明らかであり、これより実測時間Ｔｍが求められる。また、これより前の区間については図８に示した補償時間モデルから補償時間Ｔｃを取得することができる。そして、実測時間Ｔｍおよび補償時間Ｔｃを加算することで滞留時間を取得することができる。 In the example shown in FIG. 18C, the flow line repeatedly appears and disappears in the measurement area. In this case, the time at which the flow line intersects with the grid boundary line and the time at which the flow line intersects the measurement end line are clear, and the actual measurement time Tm is obtained from this. Further, the compensation time Tc can be acquired from the compensation time model shown in FIG. The residence time can be acquired by adding the actual measurement time Tm and the compensation time Tc.

なお、図１８（Ｃ）に示す例と動線の欠落状態が前後逆（図上で上下逆）となるパターンでも同様の手順で滞留時間を取得することができ、この場合、図９に示した補償時間モデルを用いればよい。 It is to be noted that the dwell time can be obtained in the same procedure as in the example shown in FIG. 18C and the pattern in which the flow line missing state is reversed back and forth (upside down in the figure). In this case, as shown in FIG. A compensation time model may be used.

また、図１８（Ｄ）に示す例では、図１８（Ｃ）に示す例と同様に、動線が測定エリア内で出現および消失を繰り返しているが、動線がグリッドの境界線と交差する時刻に基づいて実測時間Ｔｍを取得することができ、また、その前後の区間については、図１８（Ｂ）に示した例と同様に、図８および図９に示した補償時間モデルから補償時間Ｔｃ１，Ｔｃ２を取得することができるため、実測時間Ｔｍおよび補償時間Ｔｃ１，Ｔｃ２を加算することで滞留時間を取得することができる。 In the example shown in FIG. 18D, similar to the example shown in FIG. 18C, the flow line repeatedly appears and disappears in the measurement area, but the flow line intersects the boundary line of the grid. The actual measurement time Tm can be acquired based on the time, and for the sections before and after that, the compensation time can be obtained from the compensation time model shown in FIGS. 8 and 9 as in the example shown in FIG. Since Tc1 and Tc2 can be acquired, the residence time can be acquired by adding the actual measurement time Tm and the compensation times Tc1 and Tc2.

このように動線が欠落部分の前後で測定開始ラインや測定終了ラインあるいはグリッドの境界線と交差する点が複数存在する場合には、その間に欠落部分が存在しても、２点間の移動に要した実測時間を取得することができ、この実測時間を用いることで滞留時間を取得することができる。 In this way, when there are multiple points where the flow line intersects the measurement start line, measurement end line or grid boundary before and after the missing part, even if the missing part exists between them, the movement between the two points It is possible to acquire the actual measurement time required for this, and it is possible to acquire the residence time by using this actual measurement time.

以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。 As mentioned above, although this invention was demonstrated based on specific embodiment, these embodiment is an illustration to the last, Comprising: This invention is not limited by these embodiment. In addition, the constituent elements of the residence time measuring device, the residence time measuring system, and the residence time measuring method according to the present invention shown in the above embodiments are not necessarily all essential, and at least as long as they do not depart from the scope of the present invention. It is possible to choose.

例えば、本実施形態では、スーパーマーケットなどの小売店舗のレジカウンタを測定エリアとしたが、待ち行列の発生するような場所、例えば、銀行のＡＴＭコーナー、イベントや展示会などの各種の会場の入口ゲートや受付、展示パネル、展示ブース前などを測定エリアとすることも可能である。 For example, in this embodiment, a cashier counter of a retail store such as a supermarket is used as a measurement area. However, a place where a queue is generated, for example, an ATM corner of a bank, an entrance gate of various venues such as an event or an exhibition It is also possible to set the measurement area in front of the reception desk, exhibition panel, exhibition booth, etc.

また、本実施形態では、滞留時間の測定対象となる移動体を人物とした例について説明したが、人物以外の移動体、例えば自動車や自転車などの車両を対象として、駐車場に入場する車両の滞留状況を把握する用途に適用することも可能である。 Further, in the present embodiment, an example in which a moving body that is a measurement target of a residence time is a person has been described. However, a moving body other than a person, for example, a vehicle such as an automobile or a bicycle, is a target of a vehicle that enters a parking lot. It is also possible to apply to the purpose of grasping the staying situation.

また、本実施形態では、補償時間モデル生成部２７にて、欠落部分のない動線を対象にして補償時間モデルを生成するようにしたが、欠落部分のある動線でも、欠落部分以外の動線部分からグリッドの通過時間を収集することができることから、欠落部分のある動線を、補償時間モデルの生成処理に利用するようにしてもよい。 In the present embodiment, the compensation time model generation unit 27 generates a compensation time model for a flow line having no missing portion. However, even in a flow line having a missing portion, a motion other than the missing portion is generated. Since the passage time of the grid can be collected from the line portion, a flow line having a missing portion may be used for the generation process of the compensation time model.

また、本実施形態では、補償時間モデルを時間帯別に複数生成する例について説明したが、例えば曜日など、時間帯以外の条件で補償時間モデルを複数生成するようにしてもよい。特に、一定の期間の動線情報を対象にして補償時間モデルを生成する一括生成モードでは、動線のサンプル数が多くなるため、種々の条件による補償時間モデルを生成することができる。 In this embodiment, an example in which a plurality of compensation time models are generated for each time zone has been described. However, for example, a plurality of compensation time models may be generated under conditions other than the time zone such as a day of the week. In particular, in the batch generation mode in which the compensation time model is generated for the flow line information for a certain period, the number of flow line samples increases, so that a compensation time model can be generated under various conditions.

また、本実施形態では、カメラ１とは別に移動体追跡装置４を設けたが、この移動体追跡装置の一部あるいは全部の機能をカメラ１に一体化して移動体追跡機能付き撮像装置として構成することも可能である。さらに、ＰＣ３の各部、例えば動線取得部２２をカメラ１と一体に構成することも可能である。また、移動体追跡装置４をＰＣ３で構成することも可能である。 In the present embodiment, the moving body tracking device 4 is provided separately from the camera 1. However, a part or all of the functions of the moving body tracking device are integrated into the camera 1 and configured as an imaging device with a moving body tracking function. It is also possible to do. Furthermore, each part of the PC 3, for example, the flow line acquisition unit 22, can be configured integrally with the camera 1. In addition, the moving body tracking device 4 can be configured by the PC 3.

また、本実施形態では、移動体追跡処理および滞留時間測定処理を、店舗に設けられた装置に行わせるようにしたが、これらの必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ１２に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で滞留時間測定システムが構成される。 Further, in this embodiment, the moving body tracking process and the residence time measurement process are performed by the apparatus provided in the store, but these necessary processes are provided in the headquarters as shown in FIG. The PC 11 or the cloud computer 12 constituting the cloud computing system may be caused to perform the process. In addition, necessary processing may be shared by a plurality of information processing apparatuses, and information may be transferred between the plurality of information processing apparatuses via a communication medium such as an IP network or a LAN. In this case, the residence time measurement system is configured by a plurality of information processing apparatuses that share necessary processing.

このような構成では、店舗に設けられた装置に、少なくとも移動体検出処理および動線取得処理を行わせるようにするとよい。このように構成すると、移動体検出処理および動線取得処理で取得した情報はデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ１１に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。 In such a configuration, it is preferable that at least the moving body detection process and the flow line acquisition process be performed by an apparatus provided in the store. With this configuration, the information acquired in the moving object detection process and the flow line acquisition process requires a small amount of data, so the remaining processing is installed in an information processing apparatus installed in a location different from the store, for example, in the headquarters. Even if the PC 11 is used, the communication load can be reduced, so that the system can be easily operated by the wide area network connection form.

また、クラウドコンピュータ１２に、少なくとも移動体検出処理および動線取得処理を行わせるようにしてもよい。このように構成すると、移動体検出処理および動線取得処理は演算量が大きくなるため、これをクラウドコンピューティングシステムを構成する情報処理装置に行わせることで、店舗などのユーザ側に高速な情報処理装置が不要となり、また、残りの処理は演算量が小さくて済むため、店舗に設置された販売情報管理装置を構成する情報処理装置に拡張機能として兼用させることも可能になり、これによりユーザが負担するコストを軽減することができる。 Further, the cloud computer 12 may be caused to perform at least a moving object detection process and a flow line acquisition process. If configured in this way, the amount of calculation of the moving object detection process and the flow line acquisition process becomes large, so that the information processing device that constitutes the cloud computing system performs this, so that information such as a store can be quickly transmitted to the user side. Since the processing device is not required and the remaining processing requires a small amount of computation, the information processing device that constitutes the sales information management device installed in the store can also be used as an extended function. Can reduce costs.

また、クラウドコンピュータ１２に必要な処理の全部を行わせ、あるいは、必要な処理のうちの少なくとも滞留時間の統計処理結果を出力する機能をクラウドコンピュータ１２に分担させるようにしてもよく、このように構成すると、店舗や本部に設けられたＰＣ３，１１の他に、スマートフォン１３などの携帯型端末でも滞留状況を確認することができるようになり、これにより店舗や本部の他に外出先などの任意の場所で滞留状況を確認することができる。 In addition, the cloud computer 12 may perform all necessary processes, or the cloud computer 12 may be assigned a function of outputting a statistical processing result of at least the residence time of the necessary processes. When configured, it becomes possible to check the staying status on a portable terminal such as a smartphone 13 in addition to the PCs 3 and 11 provided in the store or the headquarters. You can check the staying status at the location.

また、本実施形態では、店舗に設置されたＰＣ３のモニタ７に滞留時間の統計処理結果を出力するようにしたが、統計処理結果の閲覧装置をＰＣ３とは別に設けることも可能であり、例えば、前記のように本部に設置されたＰＣ１１やスマートフォン１３を統計処理結果の閲覧装置とする他に、店舗に設置された販売情報管理装置に統計処理結果の閲覧装置としての機能を付加することも可能である。また、統計処理結果をプリンタで出力することも可能である。 In the present embodiment, the statistical processing result of the residence time is output to the monitor 7 of the PC 3 installed in the store. However, it is also possible to provide a statistical processing result browsing device separately from the PC 3. In addition to using the PC 11 or the smartphone 13 installed in the headquarters as described above as a statistical processing result browsing device, a function as a statistical processing result browsing device may be added to the sales information management device installed in the store. Is possible. It is also possible to output the statistical processing result with a printer.

本発明にかかる滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法は、顧客等の移動体の滞留状況に関して測定エリアを含む映像上で一目で把握できる効果を有し、人物などの移動体ごとに測定エリア内での滞留時間を測定する滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法などとして有用である。 The dwell time measuring device, dwell time measuring system, and dwell time measuring method according to the present invention have an effect that can be grasped at a glance on an image including a measurement area with respect to a dwell state of a moving body such as a customer. It is useful as a residence time measuring device, a residence time measuring system, a residence time measuring method, and the like for measuring the residence time in the measurement area every time.

１カメラ
２レコーダ
３ＰＣ（滞留時間測定装置）
４移動体追跡装置
６入力デバイス
７モニタ
１２クラウドコンピュータ
１３スマートフォン
２１追跡情報蓄積部
２２動線取得部
２３動線情報蓄積部
２４滞留時間取得部
２５滞留時間蓄積部
２６動線判定部
２７補償時間モデル生成部
２８補償時間蓄積部
２９測定条件設定部
３０補償方法設定部
３１統計処理部
３２画面生成部（表示画像生成部、動画再生部） 1 Camera 2 Recorder 3 PC (Residence time measuring device)
DESCRIPTION OF SYMBOLS 4 Mobile body tracking apparatus 6 Input device 7 Monitor 12 Cloud computer 13 Smartphone 21 Tracking information storage part 22 Flow line acquisition part 23 Flow line information storage part 24 Residence time acquisition part 25 Residence time storage part 26 Flow line determination part 27 Compensation time model Generation unit 28 Compensation time storage unit 29 Measurement condition setting unit 30 Compensation method setting unit 31 Statistical processing unit 32 Screen generation unit (display image generation unit, moving image reproduction unit)

Claims

映像上に設定される測定エリアに対して進入して退出する移動体ごとの滞留時間を測定する滞留時間測定装置であって、
前記測定エリアを含む映像から検出された移動体ごとの動線を取得する動線取得部と、
この動線取得部により取得した前記動線に基づき、前記測定エリア内の移動に要した時間である滞留時間を移動体ごとに取得する滞留時間取得部と、
前記滞留時間取得部で取得した移動体ごとの滞留時間を蓄積する蓄積部と、
この蓄積部に蓄積された移動体ごとの滞留時間に対して時間的な統計処理を行って統計情報を生成する統計処理部と、
前記統計情報に基づき、前記測定エリアでの滞留時間および滞留人数の２つの要素を異なる属性で表した１つの定形画像を前記測定エリアを含む映像上に重畳した表示画像を生成する表示画像生成部と、
を備えたことを特徴とする滞留時間測定装置。 A dwell time measuring device that measures a dwell time for each moving object that enters and leaves a measurement area set on a video ,
A flow line acquisition unit for acquiring a flow line for each moving object detected from an image including the measurement area;
Based on the flow line acquired by the flow line acquisition unit, a residence time acquisition unit that acquires a residence time, which is a time required for movement in the measurement area, for each moving object;
An accumulator that accumulates the residence time for each moving object acquired by the residence time acquisition unit;
A statistical processing unit that generates statistical information by performing temporal statistical processing on the residence time for each moving object accumulated in the accumulation unit;
Based on the statistical information, a display image generation unit that generates a display image in which one fixed image representing two elements of the residence time and the number of people staying in the measurement area with different attributes is superimposed on the video including the measurement area When,
A residence time measuring apparatus comprising:

前記表示画像生成部は、前記測定エリアを含む映像上に前記定形画像を透過状態で重畳した表示画像を生成することを特徴とする請求項１に記載の滞留時間測定装置。 The dwell time measurement device according to claim 1, wherein the display image generation unit generates a display image in which the fixed image is superimposed on a video including the measurement area in a transparent state.

前記測定エリアでの滞留時間および滞留人数の要素のうち、一方の要素が前記定形画像の属性として大きさで表現され、他方の要素が前記定形画像の属性として塗りつぶしの色合いまたは色の濃さのいずれかで表現されていることを特徴とする請求項１または請求項２に記載の滞留時間測定装置。 Of the elements of the residence time and the number of people staying in the measurement area, one of the elements is expressed as a size as an attribute of the standard image, and the other element is an attribute of the fill image or color density as the attribute of the standard image The dwell time measuring device according to claim 1 or 2, wherein the dwell time measuring device is expressed in any one of the above.

更に、前記測定エリアを含む映像を再生する動画再生部を備え、
この動画再生部による前記測定エリアを含む映像の再生に伴って、前記定形画像も時刻にしたがって変化させるようにしたことを特徴とする請求項１から請求項３のいずれかに記載の滞留時間測定装置。 In addition, a video playback unit for playing back video including the measurement area,
The dwell time measurement according to any one of claims 1 to 3, wherein the fixed image is also changed according to time according to reproduction of the video including the measurement area by the moving image reproduction unit. apparatus.

映像上に設定される測定エリアに対して進入して退出する移動体ごとの滞留時間を測定する滞留時間測定システムであって、
前記測定エリアを含む範囲を撮像するカメラと、
複数の情報処理装置と、
を有し、
前記複数の情報処理装置のいずれかが、
前記測定エリアを含む映像から検出された移動体ごとの動線を取得する動線取得部と、
この動線取得部により取得した前記動線に基づき、前記測定エリア内の移動に要した時間である滞留時間を移動体ごとに取得する滞留時間取得部と、
前記滞留時間取得部で取得した移動体ごとの滞留時間を蓄積する蓄積部と、
この蓄積部に蓄積された移動体ごとの滞留時間に対して時間的な統計処理を行って統計情報を生成する統計処理部と、
前記統計情報に基づき、前記測定エリアでの滞留時間および滞留人数の２つの要素を異なる属性で表した１つの定形画像を前記測定エリアを含む映像上に重畳した表示画像を生成する表示画像生成部と、
を備えたことを特徴とする滞留時間測定システム。 A dwell time measurement system that measures a dwell time for each moving object that enters and exits a measurement area set on a video ,
A camera for imaging a range including the measurement area;
A plurality of information processing devices;
Have
Any of the plurality of information processing devices
A flow line acquisition unit for acquiring a flow line for each moving object detected from an image including the measurement area;
Based on the flow line acquired by the flow line acquisition unit, a residence time acquisition unit that acquires a residence time, which is a time required for movement in the measurement area, for each moving object;
An accumulator that accumulates the residence time for each moving object acquired by the residence time acquisition unit;
A statistical processing unit that generates statistical information by performing temporal statistical processing on the residence time for each moving object accumulated in the accumulation unit;
Based on the statistical information, a display image generation unit that generates a display image in which one fixed image representing two elements of the residence time and the number of people staying in the measurement area with different attributes is superimposed on the video including the measurement area When,
A dwell time measurement system comprising:

映像上に設定される測定エリアに対して進入して退出する移動体ごとの滞留時間に関する測定を情報処理装置により行う滞留時間測定方法であって、
前記測定エリアを含む映像から検出された移動体ごとの動線を取得するステップと、
このステップにより取得した前記動線に基づき、前記測定エリア内の移動に要した時間である滞留時間を移動体ごとに取得するステップと、
このステップで取得した移動体ごとの滞留時間を蓄積するステップと、
このステップにより蓄積された移動体ごとの滞留時間に対して時間的な統計処理を行って統計情報を生成するステップと、
前記統計情報に基づき、前記測定エリアでの滞留時間および滞留人数の２つの要素を異なる属性で表した１つの定形画像を前記測定エリアを含む映像上に重畳した表示画像を生成するステップと、
を有することを特徴とする滞留時間測定方法。 A dwell time measurement method in which an information processing device performs measurement related to a dwell time for each moving object that enters and exits a measurement area set on a video ,
Obtaining a flow line for each moving object detected from an image including the measurement area;
Based on the flow line acquired in this step, acquiring a residence time that is a time required for movement in the measurement area for each moving body;
A step of accumulating the residence time for each moving object acquired in this step;
Generating statistical information by performing temporal statistical processing on the residence time for each moving body accumulated by this step;
Based on the statistical information, generating a display image in which one fixed image representing two elements of the residence time and the number of people staying in the measurement area with different attributes is superimposed on a video including the measurement area ;
A residence time measuring method characterized by comprising: