JP2018106385A - Queue waiting time calculation system and queue waiting time calculation method and program - Google Patents

Queue waiting time calculation system and queue waiting time calculation method and program Download PDF

Info

Publication number
JP2018106385A
JP2018106385A JP2016251331A JP2016251331A JP2018106385A JP 2018106385 A JP2018106385 A JP 2018106385A JP 2016251331 A JP2016251331 A JP 2016251331A JP 2016251331 A JP2016251331 A JP 2016251331A JP 2018106385 A JP2018106385 A JP 2018106385A
Authority
JP
Japan
Prior art keywords
matrix
waiting time
image data
still image
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016251331A
Other languages
Japanese (ja)
Inventor
亮太 堂徳
ryota DOTOKU
亮太 堂徳
邦一 横沢
Kunikazu Yokozawa
邦一 横沢
健太 中平
Kenta Nakahira
健太 中平
浩大 清水
Hiromasa Shimizu
浩大 清水
浩太 本間
Kota Homma
浩太 本間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2016251331A priority Critical patent/JP2018106385A/en
Publication of JP2018106385A publication Critical patent/JP2018106385A/en
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To calculate a waiting time of a queue accurately by properly grasping a status of the queue formed.SOLUTION: A queue waiting time calculation system comprises a static image data acquisition section acquiring static image data photographing a zone including a queue formed, a first indicator information storage section storing image data of a first indicator for specifying a zone formed by a group that does not form the queue, a group zone processing section that determines whether a plurality of the first indicators are contained in the static image data based on the first indicator image data, and if determined that it is contained, deletes a zone specified by the plurality of the first indicators from the static image data as a group zone where the group presents, and a waiting time output section that specifies a queue present in the static image from which the group area is deleted based on information for specifying an image of a person, and calculates a waiting time of each queue to output it as waiting time data.SELECTED DRAWING: Figure 2

Description

本発明は、行列の待ち時間算出システム、行列の待ち時間算出方法及びプログラムに関する。   The present invention relates to a matrix latency calculation system, a matrix latency calculation method, and a program.

公共交通機関の駅や空港、テーマパーク、公営競技場等の施設では、施設への入場や施設内の一定区域への入場を待つ人の行列が形成されることがある。このような行列に並んでいる人やこれから並ぼうとする人に対しては、行列での待ち時間を適切に報知することが求められている。施設での待ち時間が施設の利用者やこれから利用しようとする人に適切に伝えられることによって、利用者は施設を安心して利用することができるとともに、施設運営者側には施設内や施設周辺が過度に混雑することによる混乱を避けることができる等のメリットがある。   In facilities such as public transport stations, airports, theme parks, and public stadiums, there may be a queue of people waiting to enter the facility or to enter certain areas within the facility. It is required to appropriately notify the waiting time in the queue to those who are lined up in such a queue or those who are going to line up in the future. By properly communicating the waiting time at the facility to users of the facility and those who are going to use it, the user can use the facility with peace of mind, and the facility operator will be in and around the facility. There are advantages such as avoiding confusion caused by excessive congestion.

上記のような施設では、施設に入場したり施設を利用したりするためのチケット購入用券売機・発券機で行列ができやすい他、近年ではセキュリティ上の理由から、施設への入場ゲートにおいて手回り品検査等のために一人あたりの通過時間が増える傾向にあり、長い行列ができやすくなっている。施設によって、どこにどの程度の待ち行列ができるかを予測することは難しいため、特に公共交通機関の利用者は、予期しない長い行列に遭遇した場合、目的の列車やフライトに間に合わないかも知れないという不安、ストレスを抱きがちである。この点でも行列での待ち時間を適切に報知することは必要である。   In facilities such as the ones mentioned above, it is easy to form a line at ticket vending machines and ticket issuing machines for entering and using the facilities, and in recent years, for security reasons, there is a loop around the entrance gate to the facility. There is a tendency for the passing time per person to increase due to product inspection, etc., making it easier to form long queues. It is difficult to predict where and how many queues will be available depending on the facility, so public transport users may not be in time for their intended train or flight, especially if they encounter an unexpectedly long queue I tend to have anxiety and stress. In this respect as well, it is necessary to appropriately notify the waiting time in the matrix.

このような観点から、例えば特許文献1では、空港の保安検査場前等に形成された自然発生型又は誘導路型の行列が複数であっても各行列の総延長又は各行列を形成する人数を正確に測定できるとする構成が提案されている。   From this point of view, for example, in Patent Document 1, even if there are a plurality of naturally occurring or taxiway-type matrices formed in front of the airport security checkpoint, etc., the total extension of each matrix or the number of people forming each matrix There has been proposed a configuration that can accurately measure.

特開2007−317052号公報JP 2007-317052 A

空港の保安検査場前等では、一つの入場ゲート前にできた行列が長くなると、折り返して2列、3列と延びていき、一の行列であっても見かけ上複数の行列が形成されているように見える状態となることがある。また、行列最後尾の近くに団体旅行客の集団が存在するために、行列とこの集団との区別が困難である場合もある。これらの場合、特許文献1では、入場ゲート前に形成されている行列の状態を適確に把握することが困難であるとともに、行列と他の集団との区別も難しいと考えられるため、正確な行列待ち時間を得ることができないおそれがあると考えられる。   In front of the airport security checkpoint, etc., if the queue formed before one entrance gate becomes long, it will fold back and extend to 2 and 3 columns, and even if it is one queue, multiple queues are apparently formed. May appear to be. In addition, since there is a group of group tourists near the end of the queue, it may be difficult to distinguish the queue from this group. In these cases, in Patent Document 1, it is difficult to accurately grasp the state of the matrix formed before the entrance gate, and it is considered difficult to distinguish the matrix from other groups. It is considered that there is a possibility that the queue waiting time cannot be obtained.

本発明は、上記のような課題に鑑みなされたものであり、形成されている行列の状態をより適切に把握することにより、より正確に行列の待ち時間を算出することを可能とする行列の待ち時間算出システム、行列の待ち時間算出方法及びプログラムを提供することを目的とする。   The present invention has been made in view of the problems as described above, and by properly grasping the state of the formed matrix, it is possible to calculate the matrix waiting time more accurately. It is an object of the present invention to provide a waiting time calculation system, a queue waiting time calculation method, and a program.

上記の、及び他の課題を解決するための本発明の一態様は、複数の人が並んで形成している行列における待ち時間を算出するための待ち時間算出システムであって、
形成されている行列を含む領域を撮影した静止画像データを取得する静止画像データ取得部と、
One aspect of the present invention for solving the above and other problems is a waiting time calculation system for calculating a waiting time in a matrix formed by a plurality of people,
A still image data acquisition unit for acquiring still image data obtained by photographing an area including the formed matrix;

前記形成されている行列を含む領域に存在する、行列を形成しない集団が形成する領域を特定するための標識である第1の標識を識別するための第1の標識画像データを記憶している第1標識情報記憶部と、   Stores first marker image data for identifying a first marker that is a marker for identifying a region formed by a group that does not form a matrix and exists in the region including the formed matrix. A first sign information storage unit;

前記第1標識画像データに基づいて、前記静止画像データに複数の前記第1標識が含まれているか判定し、含まれていると判定した場合、当該複数の第1標識によって特定される領域を前記集団が存在する集団領域として前記静止画像データから削除する集団領域処理部と、
前記静止画像データ内に存在する人物の画像を特定するための情報である人識別情報を記憶している人情報記憶部と、
Based on the first marker image data, it is determined whether the plurality of first markers are included in the still image data. If it is determined that the plurality of first markers are included, an area specified by the plurality of first markers is determined. A collective region processing unit for deleting from the still image data as a collective region in which the collective exists;
A person information storage unit storing person identification information which is information for specifying an image of a person existing in the still image data;

前記人情報に基づいて、前記集団領域が削除された前記静止画像データ内に存在する行列を特定し、各行列の待ち時間を算出して待ち時間データとして出力する待ち時間出力部とを備えている。
A waiting time output unit that specifies a matrix existing in the still image data from which the collective region has been deleted based on the human information, calculates a waiting time of each matrix, and outputs the waiting time data as a waiting time data; Yes.

本発明によれば、形成されている行列の状態をより適切に把握することにより、より正確に行列の待ち時間を算出することができる。   According to the present invention, it is possible to more accurately calculate the waiting time of a matrix by more appropriately grasping the state of the formed matrix.

図1は、本発明の一実施形態による待ち時間算出システムが適用される空港保安検査場ゲート前の状況を例示する模式平面図である。FIG. 1 is a schematic plan view illustrating a situation in front of an airport security inspection gate to which a waiting time calculation system according to an embodiment of the present invention is applied. 図2は、本実施形態による待ち時間算出システム1の全体構成例を示す図である。FIG. 2 is a diagram illustrating an overall configuration example of the waiting time calculation system 1 according to the present embodiment. 図3は、撮像装置20のハードウェア構成例を示す図である。FIG. 3 is a diagram illustrating a hardware configuration example of the imaging apparatus 20. 図4は、待ち時間算出サーバ10に備えられているAPサーバ100の構成例を示す図である。FIG. 4 is a diagram illustrating a configuration example of the AP server 100 provided in the waiting time calculation server 10. 図5は、待ち時間算出サーバ10に備えられているDBサーバ200の構成例を示す図である。FIG. 5 is a diagram illustrating a configuration example of the DB server 200 provided in the waiting time calculation server 10. 図6は、デジタルサイネージ30のハードウェア構成例を示す図である。FIG. 6 is a diagram illustrating a hardware configuration example of the digital signage 30. 図7は、ポールAマスタ記憶部221の構成例を示す図である。FIG. 7 is a diagram illustrating a configuration example of the pole A master storage unit 221. 図8は、ポールBマスタ記憶部222の構成例を示す図である。FIG. 8 is a diagram illustrating a configuration example of the pole B master storage unit 222. 図9は、背景マスタ記憶部223の構成例を示す図である。FIG. 9 is a diagram illustrating a configuration example of the background master storage unit 223. 図10は、ゲート入口位置マスタ記憶部224の構成例を示す図である。FIG. 10 is a diagram illustrating a configuration example of the gate entrance position master storage unit 224. 図11は、人形状マスタ記憶部225の構成例を示す図である。FIG. 11 is a diagram illustrating a configuration example of the human shape master storage unit 225. 図12は、行列形成領域統計マスタ記憶部226の構成例を示す図である。FIG. 12 is a diagram illustrating a configuration example of the matrix formation area statistics master storage unit 226. 図13は、待ち時間マスタ記憶部227の構成例を示す図である。FIG. 13 is a diagram illustrating a configuration example of the waiting time master storage unit 227. 図14は、待ち時間算出システム1における待ち時間を出力する流れを模式的に示すシーケンス図である。FIG. 14 is a sequence diagram schematically illustrating a flow of outputting a waiting time in the waiting time calculation system 1. 図15は、待ち時間算出システム1における全体処理フロー例を示す図である。FIG. 15 is a diagram illustrating an example of the overall processing flow in the waiting time calculation system 1. 図16は、集団領域処理の処理フロー例を示す図である。FIG. 16 is a diagram illustrating a processing flow example of the collective region processing. 図17Aは、複数列行列処理の処理フロー例を示す図である。FIG. 17A is a diagram illustrating an example of a processing flow of multi-column matrix processing. 図17Bは、複数列行列処理の処理フロー例を示す図である。FIG. 17B is a diagram illustrating an example of a processing flow of multi-column matrix processing.

以下、本発明について、その一実施形態に即して、図面を参照しつつ詳細に説明する。==本実施形態が適用される状況の説明==   Hereinafter, the present invention will be described in detail with reference to the drawings in accordance with an embodiment thereof. == Description of the situation to which this embodiment is applied ==

まず、本発明の一実施形態である待ち時間算出システムが適用される状況について説明する。図1は、空港の保安検査場ゲート前に形成される行列の待ち時間を算出するために、本実施形態の待ち時間算出システムを適用した状況を示す模式平面図である。図1の例ではゲート入口が4箇所(符号G1〜G4)あり、それぞれのゲート入口に利用客(人物)Pの待ち行列ができている。形成されている行列のうち、左から2番目の行列G2は、途中で折り返して2列となっている。なお、簡単のため、ゲート入口G1〜G4に形成されている行列についても、同一の符号を付すものとしている。   First, a situation where a waiting time calculation system according to an embodiment of the present invention is applied will be described. FIG. 1 is a schematic plan view showing a situation where the waiting time calculation system of the present embodiment is applied to calculate the waiting time of a matrix formed in front of the airport security checkpoint gate. In the example of FIG. 1, there are four gate entrances (reference numerals G1 to G4), and a queue of customers (persons) P is formed at each gate entrance. Among the formed matrices, the second matrix G2 from the left is folded halfway into two columns. For the sake of simplicity, the same symbols are attached to the matrices formed at the gate entrances G1 to G4.

一方、図1の例では、行列G1〜G4の後方(図の下方)にはほぼ隣接するように、修学旅行生や団体旅行客がゲート前に集合することによって形成される集団GRが存在する。本実施形態では、入場ゲート前の状況を、図1に例示するように天井方向から後述する撮像装置で撮影して得た画像データについて、行列待ち時間算出のための画像解析を行う。各ゲートの入口の位置、すなわち各行列の開始地点については、ゲート入口位置(行列開始基準位置)としてあらかじめ指定しておく。取得画像はX−Y平面として認識するように設定し、図1のY軸方向を行列形成方向として認識するようにしている。   On the other hand, in the example of FIG. 1, there is a group GR formed by school excursion students and group travelers gathering in front of the gate so that they are almost adjacent to the back of the matrices G1 to G4 (lower part of the figure). . In this embodiment, the image analysis for calculating the matrix waiting time is performed on the image data obtained by photographing the situation before the entrance gate with the imaging device described later from the ceiling direction as illustrated in FIG. The entrance position of each gate, that is, the start point of each matrix is designated in advance as the gate entrance position (matrix start reference position). The acquired image is set to be recognized as an XY plane, and the Y-axis direction in FIG. 1 is recognized as a matrix formation direction.

本実施形態では、集団GRを矩形として取り囲むように、第1標識としてのポールA(PA)を、集団が存在する領域の四隅に設置する。ポールAは、例えば図1のように天井方向から撮影した場合に、画像解析により容易に識別可能な大きさ、形状等を有するものとする。ポールAの設置は、空港職員などが行う。本実施形態の待ち時間算出システムは、ポールAで囲まれている領域を、行列を形成していない集団の領域であると認識して待ち行列から除外する。   In the present embodiment, poles A (PA) as the first markers are installed at the four corners of the region where the group exists so as to surround the group GR as a rectangle. The pole A is assumed to have a size, shape, and the like that can be easily identified by image analysis when taken from the ceiling as shown in FIG. Paul A will be installed by airport staff. The waiting time calculation system according to the present embodiment recognizes the area surrounded by the pole A as an area of a group not forming a queue and excludes it from the queue.

また、本実施形態では、図1のゲート入口G2に見られるように、一つの行列が折り返して2以上の複数列を形成するようになった場合には、その各列の端部に第2標識としてのポールB(PB)を設置する。ポールBは、例えば図1にように天井方向から撮影した場合に、画像解析により容易に識別可能な大きさ、形状等を有するとともに、ポールBと容易に判別可能なものとする。ポールBの設置は、ポールAと同様に、空港職員などが行う。本実施形態の待ち時間算出システムは、ポールBが設置されている行列は複数列であっても一つの行列であると認識して待ち時間を算出する。本実施形態の待ち時間算出システムの構成、それにより実行される待ち時間算出処理については、以下に詳細に説明する。   Further, in the present embodiment, as can be seen from the gate entrance G2 in FIG. 1, when one matrix is folded to form two or more columns, the second is formed at the end of each column. Install Paul B (PB) as a sign. For example, when the pole B is photographed from the ceiling as shown in FIG. 1, the pole B has a size, a shape, and the like that can be easily identified by image analysis, and can be easily distinguished from the pole B. Paul B will be installed by airport staff, etc. in the same way as Paul A. The waiting time calculation system of this embodiment calculates the waiting time by recognizing that the matrix in which the pole B is installed is a single matrix even if there are a plurality of columns. The configuration of the waiting time calculation system of the present embodiment and the waiting time calculation process executed thereby will be described in detail below.

なお、本実施形態は、一例として空港の保安検査場入口ゲートに適用した場合を示しているが、駅、客船ターミナル等の他の公共交通機関の施設、テーマパーク、スタジアム等のイベント関連施設、スーパーマーケットの会計レーンなど、入場待ちやサービス提供待ちなどの理由で行列が形成される可能性がある環境であれば、本発明は適宜適用することができるものである。
==待ち時間算出システムの構成==
In addition, although this embodiment has shown the case where it applies to the security inspection field entrance gate of an airport as an example, event related facilities, such as other public transport facilities, such as a station and a passenger ship terminal, a theme park, a stadium, The present invention can be appropriately applied to any environment where there is a possibility that a queue may be formed for reasons such as waiting for admission or waiting for service provision, such as a supermarket accounting lane.
== Configuration of waiting time calculation system ==

以上を踏まえて、本発明の一実施形態に係る待ち時間算出システムについて説明する。図2は、本発明の一実施形態に係る待ち時間算出システム1の全体構成例を示している。待ち時間算出システム1は、待ち時間算出サーバ10、撮像装置20、デジタルサイネージ30、及びこれらの要素間を互いに通信可能に接続する通信ネットワーク40とを備える。待ち時間算出サーバ10は、本発明の待ち時間算出方法の一態様によって待ち時間を算出する機能を有するコンピュータであり、アプリケーションサーバ(APサーバ)10
0とデータベースサーバ(DBサーバ)200とを備えている。撮像装置20は、待ち時間算出の対象となる行列が形成される区域の画像を取得する機能を有する。デジタルサイネージ30は、待ち時間算出サーバ10によって算出された待ち時間データを受信して待ち時間情報として視覚的に表示する機能を有する。通信ネットワーク40は、待ち時間算出サーバ10、撮像装置20、及びデジタルサイネージ30を相互に通信可能に接続しており、例えばLAN、WAN、インターネット等を含んで構成することができる。
==撮像装置==
Based on the above, a waiting time calculation system according to an embodiment of the present invention will be described. FIG. 2 shows an example of the overall configuration of the waiting time calculation system 1 according to an embodiment of the present invention. The waiting time calculation system 1 includes a waiting time calculation server 10, an imaging device 20, a digital signage 30, and a communication network 40 that connects these elements so that they can communicate with each other. The waiting time calculation server 10 is a computer having a function of calculating a waiting time according to one aspect of the waiting time calculation method of the present invention. The application server (AP server) 10
0 and a database server (DB server) 200. The imaging device 20 has a function of acquiring an image of an area where a matrix for which waiting time is calculated is formed. The digital signage 30 has a function of receiving the waiting time data calculated by the waiting time calculation server 10 and visually displaying it as waiting time information. The communication network 40 connects the waiting time calculation server 10, the imaging device 20, and the digital signage 30 so that they can communicate with each other, and can be configured to include, for example, a LAN, a WAN, the Internet, and the like.
== Imaging device ==

次に、撮像装置20について説明する。図3は、撮像装置20のハードウェア構成例を示す図である。撮像装置20は、撮像部21、画像データ送信部22、及び通信制御部23を備えている。撮像部21はCCD等の撮像素子を備えており、分析対象となる行列形成区域の動画像を撮影する機能を有する。画像データ送信部22は、撮像部21により取得された動画像データを所定のフォーマットで通信ネットワーク40に送出する機能を有する。通信制御部23は、画像データ送信部22からの画像データを通信ネットワーク40に送出すべく、通信ネットワーク40との間での通信を制御する機能を有し、例えば通信ネットワーク40がLANである場合にはネットワークインタフェースカード(NIC)が設けられる。撮像装置20は、産業用ビデオカメラに限られず、一般的な民生用デジタルビデオカメラにより実現することもできる。また、撮像装置20は、動画像を取得して送信する形態のほか、一定時間間隔等で静止画を取得して送信するように構成することもできる。なお、行列が形成される領域が広い場合、その領域全体をカバーするために、複数の撮像装置20を設置して、得られる複数の画像データを合成して利用する形態も可能である。
==APサーバ==
Next, the imaging device 20 will be described. FIG. 3 is a diagram illustrating a hardware configuration example of the imaging apparatus 20. The imaging device 20 includes an imaging unit 21, an image data transmission unit 22, and a communication control unit 23. The imaging unit 21 includes an imaging element such as a CCD and has a function of capturing a moving image of a matrix formation area to be analyzed. The image data transmission unit 22 has a function of transmitting the moving image data acquired by the imaging unit 21 to the communication network 40 in a predetermined format. The communication control unit 23 has a function of controlling communication with the communication network 40 in order to send the image data from the image data transmission unit 22 to the communication network 40. For example, when the communication network 40 is a LAN Is provided with a network interface card (NIC). The imaging device 20 is not limited to an industrial video camera, and can also be realized by a general consumer digital video camera. Moreover, the imaging device 20 can also be configured to acquire and transmit a still image at a fixed time interval, in addition to a mode of acquiring and transmitting a moving image. In addition, when the area | region where a matrix is formed is large, in order to cover the whole area | region, the form which installs several imaging device 20 and synthesize | combines and uses the several image data obtained is also possible.
== AP server ==

次に、待ち時間出力サーバ10に設けられるAPサーバ100について説明する。図4は、APサーバ100の構成例を示す図である。APサーバ100は、一般的なコンピュータにより実現することができ、後述するプログラムを実行することによりAPサーバ100の機能を実現するCPU等のプロセッサ110、プログラムやデータの一時記憶領域を提供するRAM、NVRAM等の記憶デバイスで構成されるメモリ120、プログラムやデータを格納しておくためのハードディスクドライブ(HDD)、半導体ドライブ(SSD)等の記憶デバイスを有する補助記憶装置130、通信ネットワーク40等との通信を制御する通信制御部140、及びAPサーバ150へのデータ入出力デバイスであるキーボード、マウス、タッチパネル、モニタ・ディスプレイ等を備えている入出力装置150を有する。これらの構成要素は、内部バス等により接続されている。   Next, the AP server 100 provided in the waiting time output server 10 will be described. FIG. 4 is a diagram illustrating a configuration example of the AP server 100. The AP server 100 can be realized by a general computer, and a processor 110 such as a CPU that realizes functions of the AP server 100 by executing a program to be described later, a RAM that provides a temporary storage area for programs and data, A memory 120 composed of a storage device such as NVRAM, a hard disk drive (HDD) for storing programs and data, an auxiliary storage device 130 having a storage device such as a semiconductor drive (SSD), a communication network 40, etc. A communication control unit 140 that controls communication and an input / output device 150 including a keyboard, a mouse, a touch panel, a monitor / display, and the like, which are data input / output devices for the AP server 150 are included. These components are connected by an internal bus or the like.

補助記憶装置130には、APサーバ100のコンピュータとしての機能を実現するための基本ソフトウェア(図示略)と、待ち時間算出機能を実現するためのプログラムが少なくとも格納されており、プロセッサ110によって適時にメモリ120に読み出されて実行される。このプログラムとしては、図4に示すように、撮像装置20より画像データを受信して蓄積する機能を有する画像データ取得部1201、受信した動画像データから静止画像を抽出する機能を有する静止画像データ抽出部1202、抽出された静止画像データの画像解析を実行して対象の静止画像データに第1の標識であるポールAを示す画像が含まれているか検索する機能を有するポールA判別部1203、ポールA判別部1203の判別結果から入場ゲート前に集団が存在すると判断した場合、当該入場ゲート前に並ぶ行列と区別すべく当該集団を静止画像データから削除する機能を有する集団領域削除部1204、前記静止画像データの画像解析を実行して対象の静止画像データに第2の標識であるポールBを示す画像が含まれているか検索する機能を有するポールB判別部1205、前記静止画像データにあらかじめ時間経過に応じて変化しない背景画像として登録した要素が含まれているか判別する機能を有する背景部判別部1206、背景部判別部1206で背景画像と判別された要素を削除する機能を有する背景部削除部1207、前記静
止画像データの中で各行列の開始地点を特定するために使用されるゲート入口位置情報を挿入する機能を有するゲート入口位置情報挿入部1208、一つの行列が折り返して複数列となっている場合にその複数列の行列が存在している領域を行列形成領域と判定する機能を有する複数列行列判定部1209、前記静止画像データの中で行列形成領域と判定された全ての領域をグルーピングしてそれぞれの面積を算出する機能を有する行列形成領域グルーピング部1210、及び算出された各行列形成領域の面積から各領域に対応する待ち時間を算出する機能を有する待ち時間算出部1211が格納されている。
The auxiliary storage device 130 stores at least basic software (not shown) for realizing the function of the AP server 100 as a computer and a program for realizing a waiting time calculation function. It is read into the memory 120 and executed. As shown in FIG. 4, the program includes an image data acquisition unit 1201 having a function of receiving and storing image data from the imaging device 20, and still image data having a function of extracting a still image from the received moving image data. An extraction unit 1202; a pole A determination unit 1203 having a function of executing image analysis of the extracted still image data and searching whether the target still image data includes an image indicating the pole A as the first sign; A group area deletion unit 1204 having a function of deleting the group from the still image data so as to be distinguished from the matrix arranged before the entrance gate when it is determined from the determination result of the pole A determination unit 1203 that the group exists before the entrance gate; Image analysis of the still image data is executed, and the target still image data includes an image showing the pole B as the second sign. Pole B discriminating unit 1205 having a function of searching, background portion discriminating unit 1206 having a function of discriminating whether or not the still image data includes an element registered in advance as a background image that does not change with time, and a background portion discriminating unit A background part deletion unit 1207 having a function of deleting an element determined to be a background image in 1206, and a function of inserting gate entrance position information used for specifying the start point of each matrix in the still image data A gate entry position information insertion unit 1208 having a multi-column matrix determination unit 1209 having a function of determining an area where a matrix of the plurality of columns exists as a matrix formation area when one matrix is folded into a plurality of columns Have a function of grouping all regions determined as matrix formation regions in the still image data and calculating the respective areas. Matrix forming region grouping unit waiting time calculating unit 1211 having 1210, and a function of calculating a wait time corresponding to each area from the area of the calculated each matrix formed regions is stored that.

なお、各プログラムの具体的なデータ処理動作については後述する。また、APサーバ100の所要機能を実現するのであれば、各プログラムは上記したようなモジュールによって構成される必要は必ずしもない。また、APサーバ100には上記以外の機能を有する他のプログラムが実装されていても差し支えない。
==DBサーバ==
A specific data processing operation of each program will be described later. If the required functions of the AP server 100 are realized, each program does not necessarily need to be configured by the modules as described above. Further, other programs having functions other than those described above may be installed in the AP server 100.
== DB server ==

次に、待ち時間算出サーバ10に設けられるDBサーバ200について説明する。図5は、DBサーバ200の構成例を示す図である。DBサーバ200は、一般的なコンピュータにより実現することができ、APサーバ100で実行されるプログラムが利用するデータ等を格納している。図5のDBサーバ200は、DBサーバ200のデータ入出力等の機能を実現するCPU等のプロセッサ210、プログラムやデータの一時記憶領域を提供するRAM、NVRAM等の記憶デバイスで構成されるメモリ220、プログラムやデータを格納しておくためのHDD、SSD等の記憶デバイスを有する補助記憶装置230、及び通信ネットワーク40等との通信を制御する通信制御部240を有する。これらの構成要素は、内部バス等により接続されている。   Next, the DB server 200 provided in the waiting time calculation server 10 will be described. FIG. 5 is a diagram illustrating a configuration example of the DB server 200. The DB server 200 can be realized by a general computer and stores data used by a program executed by the AP server 100. The DB server 200 in FIG. 5 includes a processor 210 such as a CPU that realizes functions such as data input / output of the DB server 200, a memory 220 that includes a storage device such as a RAM or NVRAM that provides a temporary storage area for programs and data. And an auxiliary storage device 230 having a storage device such as an HDD or SSD for storing programs and data, and a communication control unit 240 for controlling communication with the communication network 40 and the like. These components are connected by an internal bus or the like.

補助記憶装置230には、DBサーバ200のコンピュータとしての機能を実現する基本ソフトウェア(図示略)と、APサーバ100の待ち時間算出機能を果たすプログラムによって利用されるマスタデータ類が格納されている。マスタデータ類は、APサーバ100からの指示入力に応じてプロセッサ210によって適時に読み出されて通信制御部240からAPサーバ100へ送出される。なお、図5のDBサーバ200へのデータ入出力は、APサーバ100の入出力装置150を通じて実行する構成としているが、DB200に別個の入出力装置を設けることもできる。   The auxiliary storage device 230 stores basic software (not shown) that realizes a function of the DB server 200 as a computer and master data used by a program that performs the waiting time calculation function of the AP server 100. Master data is read by the processor 210 in a timely manner in response to an instruction input from the AP server 100 and sent from the communication control unit 240 to the AP server 100. Although the data input / output to / from the DB server 200 in FIG. 5 is executed through the input / output device 150 of the AP server 100, a separate input / output device may be provided in the DB 200.

本実施形態におけるマスタデータ類は、ポールAマスタ記憶部221(第1標識情報記憶部)、ポールBマスタ記憶部222(第2標識情報記憶部)、背景マスタ記憶部223、ゲート入口位置マスタ記憶部224、人形状データ記憶部225(人情報記憶部)、行列形成領域マスタ記憶部226、及び待ち時間マスタ記憶部227(待ち時間統計情報記憶部)にそれぞれ格納されており、APサーバ100からの指示入力に応じて適時に読み出されて利用される。   Master data in this embodiment includes a pole A master storage unit 221 (first sign information storage unit), a pole B master storage unit 222 (second sign information storage unit), a background master storage unit 223, and a gate entrance position master storage. Unit 224, human shape data storage unit 225 (human information storage unit), matrix formation area master storage unit 226, and waiting time master storage unit 227 (waiting time statistical information storage unit). Is read out and used in a timely manner in response to an instruction input.

図7に、ポールAマスタ記憶部221の構成例を示している。ポールAマスタ記憶部221には、APサーバ100が画像データ上でポールAの存在を判別するために使用する画像データが、ポールA#image1、…のようにあらかじめ記録されている。ポールAの画
像データとしては、撮像装置20によって取得される画像内で容易に判別可能となるように、例えば設置したポールAを上方から見た場合の画像データであって、画像解析によりポールAを判別するのに利用する1又は複数の画像データを格納する。図8に示すポールBマスタ記憶部222についても、ポールAの場合と同様である。
FIG. 7 shows a configuration example of the pole A master storage unit 221. In the pole A master storage unit 221, image data used by the AP server 100 to determine the presence of the pole A on the image data is recorded in advance as pole A # image1,. The image data of the pole A is, for example, image data when the installed pole A is viewed from above so that it can be easily discriminated in the image acquired by the imaging device 20. One or a plurality of image data used for discriminating is stored. The pole B master storage unit 222 shown in FIG.

図9には、背景マスタ記憶部223の構成例を示している。背景マスタ記憶部223には、撮像装置20によって取得される画像内で単に背景の画像を構成しているのみの物品、例えば各入口ゲート前に設置された旅客の所持品載置用の机やその所持品を検査するX
線検査装置等の物品が、例えば机#imageのようにあらかじめ記録されている。図10には、ゲート入口位置マスタ記憶部224の構成例を示している。ゲート入口位置は、撮像装置20によって撮影される画像におけるX−Y平面内の位置として、例えば「ゲート入口G1座標(x1,y1)」のようにあらかじめ記録される。図11には、人形状マスタ記憶部225の構成例を示している。人形状マスタ記憶部225には、撮像装置20が撮影した画像内において、APサーバ100が、行列を構成している利用客Pを識別するために使用する画像データを、例えば「頭部#image」、「胴部#image」のようにあらかじめ記録している。
FIG. 9 shows a configuration example of the background master storage unit 223. In the background master storage unit 223, an article that simply constitutes a background image in an image acquired by the imaging device 20, such as a desk for loading passenger belongings installed in front of each entrance gate, X to inspect the belongings
An article such as a line inspection apparatus is recorded in advance, such as a desk #image. FIG. 10 shows a configuration example of the gate entrance position master storage unit 224. The gate entrance position is recorded in advance as, for example, “gate entrance G1 coordinates (x 1 , y 1 )” as a position in the XY plane in an image taken by the imaging device 20. FIG. 11 shows a configuration example of the human shape master storage unit 225. In the human shape master storage unit 225, image data used by the AP server 100 to identify the user P constituting the matrix in the image captured by the imaging device 20, for example, “head #image ”And“ Torso #image ”.

図12には、行列形成領域統計マスタ記憶部226の構成例を示している。行列形成領域統計マスタ記憶部226には、保安検査場入口ゲート前において、過去の統計データ上行列が形成されると推定してよい領域がX−Y平面上の4つの点で、行列形成領域1(x1,y1)…(x4,y4)のようにあらかじめ記録される。APサーバ100による画像解析の対象となる画像内において、行列形成領域外で検出される利用客Pは、行列を形成していない単なる通行人等と判定される。図13には、待ち時間マスタ記憶部227の構成例を示している。待ち時間マスタ記憶部227には、APサーバ100による画像解析の対象となる画像内において、形成されている行列が占める領域の面積とその行列における待ち時間とを統計的に求めた対応関係があらかじめ記録されている。APサーバ100では、画像の解析結果として得られた行列が占める面積から対応する待ち時間を算出することができる。図13では、行列占有面積(m2)と待ち時間(分)との対応関係を離散的に記録して中間の値については補完することとしているが、これ以外の形式で記録するようにしてもよい。このように、行列専有面積と待ち時間との関係を統計的に記録しておくことにより、行列を構成している個々の人物を正確に特定する必要なく行列の待ち時間を得ることができるので、APサーバ100でのデータ処理を簡素化することができる。
==デジタルサイネージ==
FIG. 12 shows a configuration example of the matrix formation area statistics master storage unit 226. In the matrix formation area statistics master storage unit 226, there are four areas on the XY plane that can be estimated that a matrix on the past statistical data is formed before the entrance gate of the security checkpoint. 1 (x 1 , y 1 )... (X 4 , y 4 ) is recorded in advance. In the image to be subjected to image analysis by the AP server 100, the customer P detected outside the matrix formation area is determined as a simple passerby who does not form a matrix. FIG. 13 shows a configuration example of the waiting time master storage unit 227. In the waiting time master storage unit 227, a correspondence relationship obtained by statistically calculating the area of the region occupied by the formed matrix and the waiting time in the matrix in the image to be subjected to image analysis by the AP server 100 is stored in advance. It is recorded. The AP server 100 can calculate the corresponding waiting time from the area occupied by the matrix obtained as the image analysis result. In FIG. 13, the correspondence between the matrix occupation area (m 2 ) and the waiting time (minutes) is discretely recorded and the intermediate value is complemented, but it is recorded in a format other than this. Also good. Thus, by statistically recording the relationship between the area occupied by the matrix and the waiting time, it is possible to obtain the waiting time of the matrix without the need to accurately identify the individual persons making up the matrix. Data processing at the AP server 100 can be simplified.
== Digital signage ==

次に、デジタルサイネージ30について説明する。図6は、本実施形態のデジタルサイネージ30のハードウェア構成例を示す図である。デジタルサイネージ30は、主に大型の表示デバイスを備えたデジタルディスプレイであるが、民生用のテレビやタブレット等でも実現可能である。   Next, the digital signage 30 will be described. FIG. 6 is a diagram illustrating a hardware configuration example of the digital signage 30 according to the present embodiment. The digital signage 30 is a digital display mainly including a large display device, but can also be realized by a consumer television or tablet.

図6に例示するデジタルサイネージ30は、デジタル表示機能を実現するCPU等のプロセッサ31、プログラムやデータの一時記憶領域を提供するRAM、NVRAM等の記憶デバイスで構成されるメモリ32、プログラムやデータを格納しておくためのHDD、SSD等の記憶デバイスを有する補助記憶装置33、通信ネットワーク40等との通信を制御する通信制御部34、及び液晶ディスプレイ、LEDディスプレイ、有機ELディスプレイ等の適宜の形式の表示デバイスを備える画面表示部35を具備する。デジタルサイネージ30は、待ち時間算出サーバ10から受信する待ち時間データを利用して、各ゲートの待ち時間表示を行う。また、待ち時間データは、モバイルネットワークに送出することで、スマートフォン等のモバイル端末において表示させることが可能である。さらに、デジタルサイネージ30に音声出力部を設けて、待ち時間情報を音声で出力させることも可能である。
==待ち時間算出システムによるデータ処理==
A digital signage 30 illustrated in FIG. 6 includes a processor 31 such as a CPU that realizes a digital display function, a memory 32 that includes a storage device such as a RAM or NVRAM that provides a temporary storage area for programs and data, a program and data. Appropriate formats such as an auxiliary storage device 33 having storage devices such as HDD and SSD for storing, a communication control unit 34 for controlling communication with the communication network 40 and the like, and a liquid crystal display, LED display, organic EL display, etc. The screen display unit 35 including the display device is provided. The digital signage 30 displays the waiting time of each gate using the waiting time data received from the waiting time calculation server 10. The waiting time data can be displayed on a mobile terminal such as a smartphone by sending it to the mobile network. Furthermore, it is also possible to provide the digital signage 30 with an audio output unit to output the waiting time information as audio.
== Data processing by the waiting time calculation system ==

次に、以上説明した構成を備えている本実施形態の待ち時間算出システム1において実行されるデータ処理について説明する。図14は、本実施形態の待ち時間算出システム1における全体データ処理フロー例を示している。また図15は、本実施形態の待ち時間算出システム1によって待ち時間を算出するデータ処理の流れを、システム1を構成する装置に沿って模式的に示すシーケンス図である。ここでは、図14の全体処理フロー例に沿って、図15のシーケンス図をあわせて参照しながら待ち時間算出システム1の動作を説
明する。
Next, data processing executed in the waiting time calculation system 1 of the present embodiment having the above-described configuration will be described. FIG. 14 shows an example of the entire data processing flow in the waiting time calculation system 1 of the present embodiment. FIG. 15 is a sequence diagram schematically showing the flow of data processing for calculating the waiting time by the waiting time calculation system 1 of the present embodiment, along with the devices constituting the system 1. Here, the operation of the waiting time calculation system 1 will be described with reference to the sequence diagram of FIG. 15 along the example of the entire processing flow of FIG.

まず、待ち時間算出システム1が起動されて処理が開始されると(S300)、撮像装置20は撮像部21により行列待ち時間算出の対象となる区域(本実施形態では、図1に例示した空港の保安検査場入口ゲート前の区域)の動画データを上方から撮影し、画像送信部22から待ち時間算出サーバ10のAPサーバ100へ送信する(S301)。APサーバ100では画像データ取得部1201が動画データを取得して蓄積する一方、静止画像データ抽出部1202が一定時間ごとに、あるいは一定フレームごとに静止画像データを抽出する(S302)。なお、撮像装置20に関して前記したように、撮像装置20から静止画像データを受信する場合には、静止画像データ抽出部1202は特段設ける必要がない。   First, when the waiting time calculation system 1 is activated and the process is started (S300), the imaging device 20 uses the imaging unit 21 to calculate the area for which the matrix waiting time is calculated (in this embodiment, the airport illustrated in FIG. 1). The image data of the area in front of the security inspection hall entrance gate) is photographed from above and transmitted from the image transmission unit 22 to the AP server 100 of the waiting time calculation server 10 (S301). In the AP server 100, the image data acquisition unit 1201 acquires and accumulates moving image data, while the still image data extraction unit 1202 extracts still image data at regular intervals or at regular frames (S302). As described above with respect to the imaging device 20, when still image data is received from the imaging device 20, the still image data extraction unit 1202 does not need to be particularly provided.

次いで、APサーバ100のポールA判別部1203及び集団領域削除部1204が、抽出された静止画像データの中からDBサーバ200にあるポールAマスタ記憶部221と一致するポールAの情報を、APサーバ100のポールA判別部1203で検索する。ポールA判別部1203がポールAで囲まれた領域があると判定した場合、その領域は行列に含まれない集団領域として、入口から行列を形成している利用客と認識しないようにその集団領域を削除する(S303)。以下、このようなポールAに関する処理を「集団領域処理」と、その処理を実行する機能部を「集団領域処理部」とも呼ぶものとする。   Next, the pole A discriminating unit 1203 and the collective region deleting unit 1204 of the AP server 100 store the information on the pole A that matches the pole A master storage unit 221 in the DB server 200 from the extracted still image data. The 100 pole A discriminating unit 1203 performs a search. When the pole A discriminating unit 1203 determines that there is an area surrounded by the pole A, the area is a group area not included in the matrix, and the group area is not recognized as a customer who forms a matrix from the entrance. Is deleted (S303). Hereinafter, such processing related to the pole A is referred to as “collective region processing”, and a function unit that executes the processing is also referred to as “collective region processing unit”.

そして、APサーバ100のポールB判別部1205、背景部判別部1206、背景部削除部1207、ゲート入口位置情報挿入部1208、及び複数列形成判定部1209が、静止画像データの中からDBサーバ200にあるポールBマスタ記憶部222の記録データと一致するポールBの情報をAPサーバ200のポールB判別部1205で検索する。さらに、静止画像データの中からDBサーバ200にある背景マスタ記憶部223の記録データと一致する箇所を判定し、背景部を削除する。次いで静止画像データに、DBサーバ200にあるゲート入口位置マスタ記憶部224より静止画像中のゲート入口位置情報をAPサーバ100のゲート入口位置情報挿入部1208で挿入する。そして、ポールBに基づいて一の行列に複数列が形成されている領域を判定する(S304)。以下、このようなポールBに関する処理を「複数列行列処理」とも呼ぶものとする。   Then, the pole B determination unit 1205, the background portion determination unit 1206, the background portion deletion unit 1207, the gate entrance position information insertion unit 1208, and the multiple row formation determination unit 1209 of the AP server 100 are included in the DB server 200 from the still image data. The Pole B discriminating unit 1205 of the AP server 200 is searched for information on Pole B that matches the recorded data in the Pole B master storage unit 222 in FIG. Further, a portion that matches the recorded data of the background master storage unit 223 in the DB server 200 is determined from the still image data, and the background portion is deleted. Next, the gate entrance position information insertion unit 1208 of the AP server 100 inserts the gate entrance position information in the still image from the gate entrance position master storage unit 224 in the DB server 200 into the still image data. Then, an area where a plurality of columns are formed in one matrix is determined based on the pole B (S304). Hereinafter, such processing relating to the pole B is also referred to as “multi-column matrix processing”.

次いで、各入口ゲート前で行列を形成している利用客のグループを、APサーバ100の行列形成領域グルーピング部1210でグルーピングし、各行列形成領域の面積を算出する(S305)。複数列を形成している行列については、上記の複数列行列処理で特定された領域を行列形成領域として、静止画像中で占める画素領域等に基づいて算出することができる。一方、複数列を形成していない通常の一列の行列は、その行列を形成している人物を人形状マスタ記憶部225に記録されている人形状画像データにより識別し、互いに隣接する複数の人物と判定された領域を統合した一のグループ(行列形成領域)として特定することができる。より具体的には、このグルーピング処理は、人形状画像データに基づいて識別された静止画像データ中のオブジェクトのうち互いに所定画素数以内に近接する複数のオブジェクトを、人の集団を示す画素グループとし、さらに複数の画素グループが得られた場合に、それらの画素グループのうち互いに所定画素数以内に近接する複数の画素グループを統合することで一の行列形成領域を特定することができる。このグルーピング処理の過程では、後述するような背景画像やノイズの削除、画像の鮮明化等の、公知の画像処理技術を適用することができる。   Next, the group of customers forming a matrix in front of each entrance gate is grouped by the matrix formation area grouping unit 1210 of the AP server 100, and the area of each matrix formation area is calculated (S305). The matrix that forms a plurality of columns can be calculated based on the pixel area occupied in the still image, etc., with the area specified by the above-described multi-column matrix processing as the matrix formation area. On the other hand, in a normal single-column matrix that does not form a plurality of columns, a person forming the matrix is identified by human shape image data recorded in the human shape master storage unit 225, and a plurality of people adjacent to each other are identified. Can be specified as one group (matrix formation region). More specifically, in this grouping process, among objects in still image data identified based on human shape image data, a plurality of objects that are close to each other within a predetermined number of pixels are defined as a pixel group indicating a group of people. In addition, when a plurality of pixel groups are obtained, a single matrix formation region can be specified by integrating a plurality of pixel groups that are close to each other within a predetermined number of pixels among the pixel groups. In this grouping process, known image processing techniques such as background image and noise removal and image sharpening, which will be described later, can be applied.

なお、静止画像からグルーピングされた各行列形成領域は、DBサーバ200の行列形成領域統計マスタ記憶部226に記録されている行列形成領域マスタデータと比較して統計的に過去に行列が形成されていたと判定された領域と比較することにより、行列形成領域が適切に検出されていることを担保することが可能である。   Note that each matrix formation area grouped from still images has a statistically formed matrix in the past compared to the matrix formation area master data recorded in the matrix formation area statistics master storage unit 226 of the DB server 200. It is possible to ensure that the matrix formation region is properly detected by comparing with the region determined to be.

APサーバ100の待ち時間算出部1211にて算出した行列形成領域の面積と対応する待ち時間情報をDBサーバ200に格納する待ち時間マスタ記憶部227に問合わせ、待ち時間を算出し(S306)、算出した待ち時間のデータをデジタルサイネージ30へ送信して表示させる(S307)。   The waiting time master storage unit 227 that stores the waiting time information corresponding to the area of the matrix formation area calculated by the waiting time calculation unit 1211 of the AP server 100 is stored in the DB server 200, and the waiting time is calculated (S306). The calculated waiting time data is transmitted to the digital signage 30 for display (S307).

以上のデータ処理により、待ち時間算出システム1により、保安検査場入口ゲート前の区域に形成されている各行列の待ち時間がより正確に表示されることになる。
==集団領域処理==
By the above data processing, the waiting time calculation system 1 displays the waiting times of the respective matrices formed in the area in front of the security inspection entrance gate more accurately.
== Collective region processing ==

次に、図14に例示する本実施形態の待ち時間算出システム1による全体処理フローのうち、集団領域処理について詳細に説明する。図16は、集団領域処理の処理フロー例を示すフロー図である。図14の全体処理フローに関して説明したように、集団領域処理では、ポールAで囲むことによって指定されている、一定の領域に集合している団体旅行客のような、行列に隣接して存在しながら行列は形成していない集団領域を静止画像データ内で判別し、これを削除する処理である。この処理により、行列と集団領域との間が不明確となり、形成されている行列の特定とそれに基づく待ち時間の算出の精度が低下することが防止される。   Next, the collective region processing will be described in detail in the entire processing flow by the waiting time calculation system 1 of the present embodiment illustrated in FIG. FIG. 16 is a flowchart illustrating an example of a processing flow of collective region processing. As described with reference to the overall processing flow of FIG. 14, in the collective area process, there is an adjoining matrix such as a group traveler that is specified by surrounding with a pole A and is gathered in a certain area. However, this is a process for discriminating a collective area in which no matrix is formed in the still image data and deleting it. This process makes it unclear between the matrix and the collective region, and prevents the accuracy of the identification of the formed matrix and the calculation of the waiting time based on it from being reduced.

APサーバ100のポールA判別部1203は、S400で処理を開始後、DBサーバ200のポールAマスタ記憶部221に記録されているポールAを画像内で識別するための画像データであるポールA画像データを読み出して、APサーバ100のメモリ120の所定領域に書き込む(S401)。次いでポールA判別部1203は、静止画像データ抽出部1202が抽出した静止画像データを取得する(S402)。   The pole A determination unit 1203 of the AP server 100 starts processing in S400, and then the pole A image which is image data for identifying the pole A recorded in the pole A master storage unit 221 of the DB server 200 in the image. Data is read and written in a predetermined area of the memory 120 of the AP server 100 (S401). Next, the pole A determination unit 1203 acquires the still image data extracted by the still image data extraction unit 1202 (S402).

ポールA判別部1203は、メモリ120に書き込んだポールA画像データを前記静止画像データと比較して、当該静止画像の中にポールAが含まれているか判定する(S403)。静止画像にポールAが含まれていない、あるいは4個未満のポールAが含まれていると判定した場合(S404, No)、ポールA判別部1203はそのまま処理を終了して次の複数列判定処理に移行する(S407)。   The pole A determination unit 1203 compares the pole A image data written in the memory 120 with the still image data, and determines whether the still image includes the pole A (S403). When it is determined that the still image does not include the pole A or includes less than four poles A (S404, No), the pole A determination unit 1203 ends the process and determines the next multiple columns. The process proceeds to processing (S407).

一方、静止画像に4個のポールAが含まれていると判定した場合(S404, Yes)、ポー
ルA判別部1203は、検出された4つのポールAで囲まれている領域を集団領域と特定する(S405)。次いで、APサーバ100の集団領域削除部1204が、特定された集団領域の部分を構成する画像データを静止画像から削除して処理を終了する。
On the other hand, if it is determined that the four poles A are included in the still image (S404, Yes), the pole A determination unit 1203 identifies the area surrounded by the detected four poles A as the collective area. (S405). Next, the collective region deletion unit 1204 of the AP server 100 deletes the image data constituting the part of the specified collective region from the still image and ends the process.

このように、行列に隣接ないし近接しながら行列に含まれない集団に関する画像データを削除することで、行列を形成している領域に関する情報をより精度よく求めることが可能となり、行列待ち時間の算出精度も向上する。   In this way, by deleting image data related to a group that is adjacent to or close to the matrix but not included in the matrix, it is possible to obtain information about the area forming the matrix more accurately, and to calculate the matrix waiting time. Accuracy is also improved.

なお、一枚の静止画像で撮影されている区域内に、複数の集団領域が形成されている場合もありうる。このような場合、形成されている集団領域の数をnとすれば、4n個のポールAが設置されることとなる。この場合、ポールA判別部1203は、静止画像内の4n個のポールAを組み合わせてn個の集団領域を形成する処理を試行し、互いに重なり合わないn個の集団領域が得られるパターンを検出することにより集団領域を特定することができる。
==複数列行列処理==
There may be a case where a plurality of collective regions are formed in an area captured by a single still image. In such a case, if the number of formed collective regions is n, 4n poles A are installed. In this case, the pole A discriminating unit 1203 tries to form n collective regions by combining 4n poles A in the still image, and detects a pattern in which n collective regions that do not overlap each other are obtained. By doing so, the collective region can be specified.
== Multi-column matrix processing ==

次に、図14に例示する本実施形態の待ち時間算出システム1による全体処理フローのうち、複数列行列処理について説明する。図17A,図17Bは、複数列行列処理の処理フロー例を示すフロー図である。図14の全体処理フローに関して説明したように、複数
列行列処理では、複数列識別用の、ポールAとは異なるポールBを、複数列の各端部に相隣接するように設置することにより、一つの行列でありながら折り返して見かけ上複数列を形成しているように見える状態を識別する。この処理により、複数列を有する行列の待ち時間をより精度よく算出することができる。
Next, multi-column matrix processing will be described in the entire processing flow by the waiting time calculation system 1 of this embodiment illustrated in FIG. FIG. 17A and FIG. 17B are flowcharts showing a processing flow example of the multiple column matrix processing. As described with reference to the overall processing flow of FIG. 14, in the multi-column matrix processing, by installing a pole B different from the pole A for multi-column identification so as to be adjacent to each end of the plurality of columns, Although it is a single matrix, it is folded to identify a state that appears to form a plurality of columns. By this processing, the waiting time of a matrix having a plurality of columns can be calculated with higher accuracy.

APサーバ100のポールB判別部1205は、S500で処理を開始後、DBサーバ200のポールBマスタ記憶部222に記録されている、ポールBを画像内で識別するための画像データであるポールB画像データを読み出して、APサーバ100のメモリ120の所定領域に書き込む(S501)。次いでポールB判別部1205は、静止画像データ抽出部1202が抽出した静止画像データを取得する(S502)。   The pole B determination unit 1205 of the AP server 100 starts processing in S500, and then is recorded in the pole B master storage unit 222 of the DB server 200 and is image data for identifying the pole B in the image. Image data is read and written in a predetermined area of the memory 120 of the AP server 100 (S501). Next, the pole B determination unit 1205 acquires the still image data extracted by the still image data extraction unit 1202 (S502).

ポールB判別部1205は、メモリ120に書き込んだポールB画像データを前記静止画像データと比較して、当該静止画像の中にポールBが含まれているか判定する(S503)。静止画像にポールBが含まれていないと判定した場合(S504, No)、ポールB判別部1205はそのまま処理を終了して次の行列形成領域グルーピング処理(図14のS305)に移行する(S514)。   The pole B determination unit 1205 compares the pole B image data written in the memory 120 with the still image data, and determines whether the still image includes the pole B (S503). If it is determined that the still image does not include the pole B (S504, No), the pole B determination unit 1205 ends the process and proceeds to the next matrix formation region grouping process (S305 in FIG. 14) (S514). ).

一方、静止画像に複数のポールBが含まれていると判定した場合(S504, Yes)、AP
サーバ100の背景部判別部1206が、DBサーバ200の背景マスタ記憶部223に記録されている、机、X線検査装置といった背景に関する画像データを読み出し、APサーバ100のメモリ120の所定領域に書き込む(S505)。
On the other hand, if it is determined that a plurality of poles B are included in the still image (S504, Yes), AP
The background part discriminating unit 1206 of the server 100 reads out image data relating to the background, such as a desk and an X-ray inspection apparatus, recorded in the background master storage unit 223 of the DB server 200 and writes it in a predetermined area of the memory 120 of the AP server 100. (S505).

背景部判別部1206は、前記メモリ120に書き込んだ背景に関する画像データを、静止画像データと比較し(S506)、静止画像データの背景に関する画像データと一致した部分を、背景部削除部1207が削除する(S507)。なお、この際、背景部判別部1206は、処理中の静止画像と過去に異なる時点で取得された一又は複数の静止画像とを比較して、一定時間にわたって変化が見られない静止画像中の画素は、静止画像中で動いていない背景画像を構成するものであると判定して、該当画素データを背景部削除部1207により削除することもできる。   The background part determination unit 1206 compares the image data related to the background written in the memory 120 with the still image data (S506), and the background part deletion unit 1207 deletes the portion that matches the image data related to the background of the still image data. (S507). At this time, the background determination unit 1206 compares the still image being processed with one or a plurality of still images acquired at different times in the past, and the background portion determination unit 1206 The pixel can be determined to constitute a background image that does not move in the still image, and the corresponding pixel data can be deleted by the background portion deletion unit 1207.

次いで、APサーバ100のゲート入口位置情報挿入部1208が、DBサーバ200のゲート入口位置マスタ記憶部224に記録されている各ゲート入口位置に関する情報を読み出して、APサーバ100のメモリ120の所定領域に書き込む(S508)。次いで、複数列形成判定部1209が、メモリ120に格納されたゲート入口位置データにより、静止画像内でのゲート入口位置を特定し、入場ゲート入口と当該ゲート入口に最も近いポールBとの間にライン(図1におけるLineB)を設定し(S509)、DBサーバ200の人
形状マスタ記憶部225に記録されている人形状画像データを読み出してそのライン上に存在する物体から利用客(図1における利用客P)を認識する(S510)。
Next, the gate entrance position information insertion unit 1208 of the AP server 100 reads out information on each gate entrance position recorded in the gate entrance position master storage unit 224 of the DB server 200, and a predetermined area of the memory 120 of the AP server 100 is read. (S508). Next, the multi-row formation determination unit 1209 identifies the gate entrance position in the still image based on the gate entrance position data stored in the memory 120, and between the entrance gate entrance and the pole B closest to the gate entrance. A line (Line B in FIG. 1) is set (S509), the human shape image data recorded in the human shape master storage unit 225 of the DB server 200 is read out, and a customer (in FIG. 1) is detected from an object existing on the line. The user P) is recognized (S510).

このようにして一列目の行列形成領域を求めると、一列目の最後尾に設定されているポールBの横に、より具体的には、静止画像のX−Y平面におけるX軸方向に他のポールBが存在するか判定する(S511)。他のポールBが存在すると判定した場合(S511, Yes)
、複数列形成判定部1209が、検出された他のポールBから前記一本目のライン(LineB)と平行に二本目のライン(図1のLineB')を設定する(S512)。そして、LineBに関してと同様に、DBサーバ200の人形状マスタ記憶部225に記録されている人形状画像データを読み出してそのライン上に存在する物体から利用客(図1における利用客P)を認識する(S513)。複数列形成判定部1209は、隣接する他のポールBが検出されなくなるまで、(ポールBの数−1)回、S511〜S513の処理を繰り返すループ処理を実行し、ループ処理が終了した場合には、そのまま処理を終了する(S514)。
When the matrix formation region in the first column is obtained in this way, another region is formed next to the pole B set at the end of the first column, more specifically in the X-axis direction on the XY plane of the still image. It is determined whether there is a pole B (S511). When it is determined that another pole B exists (S511, Yes)
The multiple-row formation determination unit 1209 sets a second line (LineB ′ in FIG. 1) in parallel with the first line (LineB) from the detected other pole B (S512). As in the case of Line B, the human shape image data recorded in the human shape master storage unit 225 of the DB server 200 is read, and the user (user P in FIG. 1) is recognized from the objects existing on the line. (S513). The multi-row formation determination unit 1209 executes a loop process that repeats the processes of S511 to S513 (number of poles B-1) times until no other adjacent pole B is detected, and when the loop process ends. Ends the processing as it is (S514).

以上説明した複数列行列処理によれば、一つの長い行列が折り返しにより複数の行列と見かけ上観察される場合であっても、その複数列を一つの行列として認識することができるので、行列の待ち時間算出精度の向上が可能となる。   According to the multi-column matrix processing described above, even when one long matrix is apparently observed as a plurality of matrices by folding, the plurality of columns can be recognized as one matrix. The waiting time calculation accuracy can be improved.

複数列を含む行列以外の、一列の行列については、行列形成領域グルーピング部1210に関して説明したように、静止画像中の各ゲート前に存在している物体を人形状情報データに基づいて判定することにより、行列形成領域として特定することができる。この場合、一列の行列の末尾にもポールBを設置し、対応するゲート入口位置との間にLineBを
設定することにより、人形状画像データのみで人物を特定するのが困難である場合でも、より精度よく行列形成領域を特定することができる。
For a single-column matrix other than a matrix including a plurality of columns, as described with respect to the matrix formation region grouping unit 1210, an object existing before each gate in a still image is determined based on human shape information data. Thus, it can be specified as a matrix formation region. In this case, even if it is difficult to specify a person only with human shape image data by installing a pole B at the end of a row of columns and setting Line B between the corresponding gate entrance positions, The matrix formation area can be specified with higher accuracy.

なお、本実施形態では、集団領域処理と複数列行列処理との両方の処理を実行する待ち時間算出システムを例示したが、集団領域処理のみを実行するような構成であっても、行列待ち時間の精度向上の目的を達成することができる。   In this embodiment, the waiting time calculation system that executes both the collective region processing and the multi-column matrix processing is exemplified. However, even if the configuration is such that only the collective region processing is executed, the matrix waiting time is set. The purpose of improving accuracy can be achieved.

以上説明した本発明の一実施形態による待ち時間算出システムでは、形成されている行列の状態をより適切に把握することにより、より正確に行列の待ち時間を算出することができる。より具体的には、集団領域処理により、一定の領域に集合している団体旅行客のような、行列に隣接して存在しながら行列は形成していない集団領域を静止画像データ内で判別し、これを削除するので、行列と集団領域との間が不明確となり、形成されている行列の特定とそれに基づく待ち時間の算出の精度が低下することが防止される。   In the waiting time calculation system according to the embodiment of the present invention described above, the waiting time of the matrix can be calculated more accurately by grasping the state of the formed matrix more appropriately. More specifically, the group area processing discriminates in the still image data a group area that exists adjacent to the matrix but does not form a matrix, such as a group traveler who gathers in a certain area. Since this is deleted, the space between the matrix and the collective region becomes unclear, and it is possible to prevent the accuracy of the identification of the formed matrix and the calculation of the waiting time based thereon from being lowered.

また、複数列行列処理を行えば、複数列識別用の標識(ポールB)を、複数列の各端部に相隣接するように設置することにより、一つの行列でありながら折り返して見かけ上複数列を形成しているように見える状態を識別するので、複数列を有する行列の待ち時間をより精度よく算出することができる。   In addition, if a multi-column matrix process is performed, a multi-column identification mark (Paul B) is installed so as to be adjacent to each end of the plurality of columns, so that it appears to be a single matrix and appears to be a plurality. Since a state that appears to form a column is identified, the waiting time of a matrix having a plurality of columns can be calculated with higher accuracy.

なお、本発明の技術的範囲は上記の実施形態に限定されることはなく、他の変形例、応用例等も、特許請求の範囲に記載した事項の範囲内に含まれるものである。   The technical scope of the present invention is not limited to the above-described embodiment, and other modifications, application examples, and the like are included in the scope of the matters described in the claims.

10 待ち時間算出サーバ
20 撮像装置
30 デジタルサイネージ
40 通信ネットワーク
100 アプリケーションサーバ
1201 画像データ取得部
1202 静止画像データ抽出部
1203 ポールA判別部
1204 集団領域削除部
1205 ポールB判別部
1206 背景部判別部
1207 背景部削除部
1208 ゲート入口位置情報挿入部
1209 複数列行列判定部
1210 行列形成領域グルーピング部
1211 待ち時間算出部
200 データベースサーバ
221 ポールAマスタ記憶部
222 ポールBマスタ記憶部
223 背景マスタ記憶部
224 ゲート入口位置マスタ記憶部
225 人形状データ記憶部
226 行列形成領域マスタ記憶部
227 待ち時間マスタ記憶部227
DESCRIPTION OF SYMBOLS 10 Waiting time calculation server 20 Imaging device 30 Digital signage 40 Communication network 100 Application server 1201 Image data acquisition part 1202 Still image data extraction part 1203 Pole A discrimination | determination part 1204 Collective area deletion part 1205 Pole B discrimination | determination part 1206 Background part discrimination | determination part 1207 Background Deletion unit 1208 Gate entrance position information insertion unit 1209 Multi-column matrix determination unit 1210 Matrix formation region grouping unit 1211 Latency calculation unit 200 Database server 221 Pole A master storage unit 222 Pole B master storage unit 223 Background master storage unit 224 Gate entrance Position master storage unit 225 Human shape data storage unit 226 Matrix formation area master storage unit 227 Wait time master storage unit 227

Claims (12)

複数の人が並んで形成している行列における待ち時間を算出するための待ち時間算出システムであって、
形成されている行列を含む領域を撮影した静止画像データを取得する静止画像データ取得部と、
前記形成されている行列を含む領域に存在する、行列を形成しない集団が形成する領域を特定するための標識である第1標識を識別するための第1標識画像データを記憶している第1標識情報記憶部と、
前記第1標識画像データに基づいて、前記静止画像データに複数の前記第1標識が含まれているか判定し、含まれていると判定した場合、当該複数の第1標識によって特定される領域を前記集団が存在する集団領域として前記静止画像データから削除する集団領域処理部と、
前記静止画像データ内に存在する人物の画像を特定するための情報である人識別情報を記憶している人情報記憶部と、
前記人情報に基づいて、前記集団領域が削除された前記静止画像データ内に存在する行列を特定し、各行列の待ち時間を算出して待ち時間データとして出力する待ち時間出力部と、を備えている
待ち時間算出システム。
A waiting time calculation system for calculating a waiting time in a matrix formed by a plurality of people,
A still image data acquisition unit for acquiring still image data obtained by photographing an area including the formed matrix;
The first marker image data for identifying the first marker that is a marker for specifying the region formed by the group that does not form the matrix, which is present in the region including the formed matrix, is stored. A sign information storage unit;
Based on the first marker image data, it is determined whether the plurality of first markers are included in the still image data. If it is determined that the plurality of first markers are included, an area specified by the plurality of first markers is determined. A collective region processing unit for deleting from the still image data as a collective region in which the collective exists;
A person information storage unit storing person identification information which is information for specifying an image of a person existing in the still image data;
A waiting time output unit that specifies a matrix existing in the still image data from which the collective region has been deleted based on the human information, calculates a waiting time of each matrix, and outputs the waiting time data as waiting time data; Waiting time calculation system.
請求項1に記載の待ち時間算出システムであって、
各前記行列が複数列から形成されていることを示す標識である第2標識を識別するための情報である第2標識画像データを記憶している第2標識記憶部と、
前記第2標識画像データに基づいて、前記静止画像データに、相隣接する複数の前記第2標識が含まれるか判定し、相隣接する複数の前記第2標識が含まれると判定した場合、複数の当該第2標識によって特定される行列を複数列が含まれるものと特定する複数列形成判定部と、を備えている待ち行列算出システム。
The waiting time calculation system according to claim 1,
A second marker storage unit that stores second marker image data that is information for identifying a second marker that is a marker indicating that each matrix is formed of a plurality of columns;
Based on the second marker image data, it is determined whether the still image data includes a plurality of adjacent second markers, and when it is determined that a plurality of adjacent second markers are included, a plurality of A queue calculation system comprising: a multiple-column formation determination unit that specifies that the matrix specified by the second indicator is a column including a plurality of columns.
請求項1に記載の待ち時間算出システムであって、
行列が占める面積である行列専有面積と当該行列における待ち時間との統計的関係を格納している待ち時間統計情報記憶部を備え、
前記待ち時間出力部が、前記静止画像データから前記各行列についての前記行列専有面積を算出し、前記待ち時間統計情報記憶部の前記行列専有面積と前記待ち時間との統計的関係に基づいて、各行列における待ち時間を算出する、
待ち時間算出システム。
The waiting time calculation system according to claim 1,
A waiting time statistical information storage unit storing a statistical relationship between a matrix exclusive area that is an area occupied by a matrix and a waiting time in the matrix,
The waiting time output unit calculates the matrix exclusive area for each matrix from the still image data, and based on the statistical relationship between the matrix exclusive area of the waiting time statistical information storage unit and the waiting time, Calculate the waiting time in each matrix,
Latency calculation system.
請求項2に記載の待ち時間算出システムであって、
前記待ち時間出力部が、複数列が形成されている前記行列について、最初に検出された前記第2標識から当該行列の先頭位置に向けてラインを設定するとともに、他の前記第2の標識から前記ラインと平行に他のラインを設定し、各前記ライン上に存在する人を前記人情報に基づいて検出して待ち時間を算出する、
待ち時間算出システム。
The waiting time calculation system according to claim 2,
For the matrix in which a plurality of columns are formed, the waiting time output unit sets a line from the second sign detected first to the head position of the matrix, and from the other second sign Set another line in parallel with the line, calculate a waiting time by detecting a person existing on each line based on the person information,
Latency calculation system.
請求項2に記載の待ち時間算出システムであって、
単一の列を有する行列の末尾にも前記第2標識を設置し、当該第2標識から当該行列の先頭位置に向けて前記ラインを設定し、当該ライン上に存在する人を前記人情報に基づいて検出して当該行列についての待ち時間を算出する、
待ち時間算出システム。
The waiting time calculation system according to claim 2,
The second sign is also installed at the end of the matrix having a single column, the line is set from the second sign toward the head position of the matrix, and a person existing on the line is set as the person information. To detect and calculate the waiting time for the matrix,
Latency calculation system.
複数の人が並んで形成している行列における待ち時間を算出するための待ち時間算出方
法であって、プロセッサとメモリとを備えるコンピュータに、
形成されている行列を含む領域を撮影した静止画像データを取得する処理と、
前記形成されている行列を含む領域に存在する、行列を形成しない集団が形成する領域を特定するための標識である第1の標識を識別するための第1の標識画像データを記憶する処理と、
前記第1標識画像データに基づいて、前記静止画像データに複数の前記第1標識が含まれているか判定し、含まれていると判定した場合、当該複数の第1標識によって特定される領域を前記集団が存在する集団領域として前記静止画像データから削除する処理と、
前記静止画像データ内に存在する人物の画像を特定するための情報である人識別情報を記憶する処理と、
前記人情報に基づいて、前記集団領域が削除された前記静止画像データ内に存在する行列を特定し、各行列の待ち時間を算出して待ち時間データとして出力する処理と、を実行する
待ち時間算出方法。
A waiting time calculation method for calculating a waiting time in a matrix formed by a plurality of people, the computer comprising a processor and a memory,
A process of acquiring still image data obtained by photographing an area including a formed matrix;
A process of storing first marker image data for identifying a first marker that is a marker for identifying a region formed by a group that does not form a matrix and that exists in a region including the formed matrix; ,
Based on the first marker image data, it is determined whether the plurality of first markers are included in the still image data. If it is determined that the plurality of first markers are included, an area specified by the plurality of first markers is determined. A process of deleting from the still image data as a group area where the group exists;
Processing for storing human identification information, which is information for specifying an image of a person existing in the still image data;
Based on the human information, a matrix that is present in the still image data from which the collective region has been deleted is specified, a waiting time for each matrix is calculated and output as waiting time data Calculation method.
請求項6に記載の待ち時間算出方法であって、
各前記行列が複数列から形成されていることを示す標識である第2標識を識別するための情報である第2標識画像データを記憶する処理と、
前記第2標識画像データに基づいて、前記静止画像データに、相隣接する複数の前記第2標識が含まれるか判定し、相隣接する複数の前記第2標識が含まれると判定した場合、複数の当該第2標識によって特定される行列を複数列が含まれるものと特定する処理と、を実行する待ち時間算出方法。
The waiting time calculation method according to claim 6,
Processing for storing second marker image data that is information for identifying a second marker that is a marker indicating that each of the matrices is formed of a plurality of columns;
Based on the second marker image data, it is determined whether the still image data includes a plurality of adjacent second markers, and when it is determined that a plurality of adjacent second markers are included, a plurality of The waiting time calculation method of performing the process which specifies that the matrix specified by the said 2nd label | marker of that which contains multiple columns is included.
請求項6に記載の待ち時間算出方法であって、
行列が占める面積である行列専有面積と当該行列における待ち時間との統計的関係を格納する処理と、
前記静止画像データから前記各行列についての前記行列専有面積を算出し、前記待ち時間統計情報記憶部の前記行列専有面積と前記待ち時間との統計的関係に基づいて、各行列における待ち時間を算出する処理と、を実行する
待ち時間算出方法。
The waiting time calculation method according to claim 6,
A process of storing a statistical relationship between the area occupied by the matrix, which is the area occupied by the matrix, and the waiting time in the matrix;
The matrix exclusive area for each matrix is calculated from the still image data, and the waiting time in each matrix is calculated based on the statistical relationship between the matrix exclusive area and the waiting time in the waiting time statistical information storage unit. And a waiting time calculation method for executing.
請求項7に記載の待ち時間算出方法であって、
複数列が形成されている前記行列について、最初に検出された前記第2標識から当該行列の先頭位置に向けてラインを設定するとともに、他の前記第2の標識から前記ラインと平行に他のラインを設定し、各前記ライン上に存在する人を前記人情報に基づいて検出して待ち時間を算出する処理を実行する、
待ち時間算出方法。
The waiting time calculation method according to claim 7,
For the matrix in which a plurality of columns are formed, a line is set from the second sign detected first to the head position of the matrix, and another line in parallel with the line from the other second sign Set a line, detect a person present on each line based on the person information, and execute a process of calculating a waiting time,
Wait time calculation method.
請求項7に記載の待ち時間算出方法であって、
単一の列を有する行列の末尾にも前記第2標識を設置し、当該第2標識から当該行列の先頭位置に向けて前記ラインを設定し、当該ライン上に存在する人を前記人情報に基づいて検出して当該行列についての待ち時間を算出する処理を実行する、
待ち時間算出方法。
The waiting time calculation method according to claim 7,
The second sign is also installed at the end of the matrix having a single column, the line is set from the second sign toward the head position of the matrix, and a person existing on the line is set as the person information. Based on the detection and calculation of the waiting time for the matrix,
Wait time calculation method.
請求項1に記載の待ち時間算出システムであって、
各前記行列が複数列から形成されていることを示す標識である第2標識を識別するための情報である第2標識画像データを記憶している第2標識記憶部と、
前記第2標識画像データに基づいて、前記静止画像データに、相隣接する複数の前記第2標識が含まれるか判定し、相隣接する複数の前記第2標識が含まれると判定した場合、複数の当該第2標識によって特定される行列を複数列が含まれるものと特定する複数列形
成判定部と、
行列が占める面積である行列専有面積と当該行列における待ち時間との統計的関係を格納している待ち時間統計情報記憶部を備え、
前記待ち時間出力部が、前記静止画像データから前記各行列についての前記行列専有面積を算出し、前記待ち時間統計情報記憶部の前記行列専有面積と前記待ち時間との統計的関係に基づいて、各行列における待ち時間を算出する、
待ち時間算出システム。
The waiting time calculation system according to claim 1,
A second marker storage unit that stores second marker image data that is information for identifying a second marker that is a marker indicating that each matrix is formed of a plurality of columns;
Based on the second marker image data, it is determined whether the still image data includes a plurality of adjacent second markers, and when it is determined that a plurality of adjacent second markers are included, a plurality of A multi-column formation determination unit that identifies a matrix specified by the second label of the column as including a plurality of columns;
A waiting time statistical information storage unit storing a statistical relationship between a matrix exclusive area that is an area occupied by a matrix and a waiting time in the matrix,
The waiting time output unit calculates the matrix exclusive area for each matrix from the still image data, and based on the statistical relationship between the matrix exclusive area of the waiting time statistical information storage unit and the waiting time, Calculate the waiting time in each matrix,
Latency calculation system.
複数の人が並んで形成している行列における待ち時間を算出するための待ち時間算出プログラムであって、プロセッサとメモリとを備えるコンピュータに、
形成されている行列を含む領域を撮影した静止画像データを取得する処理と、
前記形成されている行列を含む領域に存在する、行列を形成しない集団が形成する領域を特定するための標識である第1の標識を識別するための第1の標識画像データを記憶する処理と、
前記第1標識画像データに基づいて、前記静止画像データに複数の前記第1標識が含まれているか判定し、含まれていると判定した場合、当該複数の第1標識によって特定される領域を前記集団が存在する集団領域として前記静止画像データから削除する処理と、
前記静止画像データ内に存在する人物の画像を特定するための情報である人識別情報を記憶する処理と、
前記人情報に基づいて、前記集団領域が削除された前記静止画像データ内に存在する行列を特定し、各行列の待ち時間を算出して待ち時間データとして出力する処理と、を実行させる
待ち時間算出プログラム。
A waiting time calculation program for calculating a waiting time in a matrix formed by a plurality of people, the computer comprising a processor and a memory,
A process of acquiring still image data obtained by photographing an area including a formed matrix;
A process of storing first marker image data for identifying a first marker that is a marker for identifying a region formed by a group that does not form a matrix and that exists in a region including the formed matrix; ,
Based on the first marker image data, it is determined whether the plurality of first markers are included in the still image data. If it is determined that the plurality of first markers are included, an area specified by the plurality of first markers is determined. A process of deleting from the still image data as a group area where the group exists;
Processing for storing human identification information, which is information for specifying an image of a person existing in the still image data;
Based on the human information, a matrix that exists in the still image data from which the collective region has been deleted is specified, a waiting time of each matrix is calculated and output as waiting time data, and a waiting time is executed. Calculation program.
JP2016251331A 2016-12-26 2016-12-26 Queue waiting time calculation system and queue waiting time calculation method and program Pending JP2018106385A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016251331A JP2018106385A (en) 2016-12-26 2016-12-26 Queue waiting time calculation system and queue waiting time calculation method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016251331A JP2018106385A (en) 2016-12-26 2016-12-26 Queue waiting time calculation system and queue waiting time calculation method and program

Publications (1)

Publication Number Publication Date
JP2018106385A true JP2018106385A (en) 2018-07-05

Family

ID=62787907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016251331A Pending JP2018106385A (en) 2016-12-26 2016-12-26 Queue waiting time calculation system and queue waiting time calculation method and program

Country Status (1)

Country Link
JP (1) JP2018106385A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021157085A1 (en) * 2020-02-07 2021-08-12 日本電気株式会社 Matrix analysis device, control method, and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021157085A1 (en) * 2020-02-07 2021-08-12 日本電気株式会社 Matrix analysis device, control method, and program
JPWO2021157085A1 (en) * 2020-02-07 2021-08-12
JP7384225B2 (en) 2020-02-07 2023-11-21 日本電気株式会社 Matrix analysis device, control method, and program

Similar Documents

Publication Publication Date Title
JP7314974B2 (en) VIDEO MONITORING SYSTEM, VIDEO MONITORING METHOD, AND PROGRAM
US20190278975A1 (en) Face recognition system, face recognition method, and storage medium
JP5851651B2 (en) Video surveillance system, video surveillance method, and video surveillance device
US20220335751A1 (en) Face recognition system, face matching apparatus, face recognition method, and storage medium
JP6145855B1 (en) Facility use support method, facility use support device, and user terminal device
JP2008112401A (en) Advertisement effect measurement apparatus
US9405978B2 (en) Prioritization of facial recognition matches based on likely route
JP2007317052A (en) System for measuring waiting time for lines
US20140301602A1 (en) Queue Analysis
US20170256044A1 (en) Device selecting apparatus, method and program
JP2014186650A (en) Passenger detection system
JP2019101664A (en) Estimating program, estimating system, and estimating method
CN110709857B (en) Person counting device, person counting method, and storage medium
JP6744652B1 (en) Congestion information notification system
JP2023024519A (en) Information processing device
JP7149063B2 (en) Monitoring system
KR20130092836A (en) Apparatus and method of guiding designated seat based on augmented reality technique
US9851784B2 (en) Movement line conversion and analysis system, method and program
JPH04199487A (en) Passersby counter and sales processor
JP2018106385A (en) Queue waiting time calculation system and queue waiting time calculation method and program
JP6912842B1 (en) Information processing equipment, information processing methods, and information processing programs
JP5115763B2 (en) Image processing apparatus, content distribution system, image processing method, and program
JP4110323B2 (en) Information output method and apparatus, program, and computer-readable storage medium storing information output program
JP2018151840A (en) System, method and program for collation
JP5795916B2 (en) Image processing apparatus and image processing method