JP7069667B2 - Estimating program, estimation system, and estimation method - Google Patents
Estimating program, estimation system, and estimation method Download PDFInfo
- Publication number
- JP7069667B2 JP7069667B2 JP2017230761A JP2017230761A JP7069667B2 JP 7069667 B2 JP7069667 B2 JP 7069667B2 JP 2017230761 A JP2017230761 A JP 2017230761A JP 2017230761 A JP2017230761 A JP 2017230761A JP 7069667 B2 JP7069667 B2 JP 7069667B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- grouping
- objects
- box
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 73
- 238000001514 detection method Methods 0.000 claims description 55
- 230000008569 process Effects 0.000 claims description 35
- 238000013528 artificial neural network Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 29
- 230000014759 maintenance of location Effects 0.000 claims description 19
- 230000003068 static effect Effects 0.000 description 156
- 230000015654 memory Effects 0.000 description 48
- 238000004364 calculation method Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
本発明は、推定プログラム、推定システム、及び推定方法に関する。 The present invention relates to an estimation program, an estimation system, and an estimation method.
店舗の混雑状況を把握する手法として、例えば、食券制等の店舗における利用者による発券機の利用状況を分析することで、利用者のサービスの提供待ち状況を把握する手法が知られている。 As a method of grasping the congestion status of a store, for example, a method of grasping the waiting status of a user's service by analyzing the usage status of a ticket issuing machine by a user in a store such as a meal ticket system is known.
上記の手法では、店舗の混雑状況を把握できるが、座席の混雑状況、例えば、座席の着席又は空席状況等を把握することは困難である。 With the above method, it is possible to grasp the congestion status of the store, but it is difficult to grasp the congestion status of the seats, for example, the seating status or the vacant seat status of the seats.
座席の混雑状況を把握する手法としては、各座席に加圧センサを設置したり、店舗に赤外線センサを設置したりする手法が知られている。加圧センサを用いた手法では、例えば、座席ごとに加圧センサを1つずつ取り付けることで、各座席における着席状況を検出し、店舗の混雑状況を把握できる。また、赤外線センサを用いた手法では、例えば、店舗に設置した赤外線センサにより、人体からの赤外線を検知することで、人の居る位置や人数を把握できる。 As a method for grasping the congestion status of seats, a method of installing a pressure sensor in each seat or an infrared sensor in a store is known. In the method using the pressure sensor, for example, by attaching one pressure sensor to each seat, the seating status in each seat can be detected and the congestion status of the store can be grasped. Further, in the method using an infrared sensor, for example, an infrared sensor installed in a store can detect infrared rays from a human body to grasp the position and number of people.
しかし、これらの手法では、例えば、座席ごとに加圧センサを1つずつ取り付けたり、人体からの赤外線の検知が困難な座席領域を分析用のソフトウェアに設定したり、といった導入コストや、分析用のソフトウェアの運用及び保守等の運用コスト等が発生し得る。 However, with these methods, for example, the introduction cost such as installing one pressure sensor for each seat or setting the seat area where it is difficult to detect infrared rays from the human body in the analysis software, and for analysis Operation costs such as operation and maintenance of the software may be incurred.
従って、例えば、飲食店のような100以上の座席を有する店舗の場合、店舗ごとに上述したコストが発生し得るため、容易に導入することは難しい。 Therefore, for example, in the case of a store having 100 or more seats such as a restaurant, the above-mentioned costs may be incurred for each store, and it is difficult to easily introduce the above-mentioned costs.
ところで、店舗に設置した監視カメラにより撮影された映像を分析することで、店舗における混雑状況を把握する手法も知られている。 By the way, there is also known a method of grasping a congestion situation in a store by analyzing an image taken by a surveillance camera installed in the store.
しかしながら、監視カメラの映像を分析する手法では、監視カメラの角度(例えば店舗内の撮影方向の角度や画角)、映像の解像度、撮影条件等が、認識精度に大きく影響を与える。また、例えば、混雑状況の監視対象とするエリアを指定して監視したり、撮影した映像と空席画像との比較により監視したりすることもできる。しかし、これらの監視を行なうためには、店舗の座席位置の情報や監視カメラの設定・設置条件等の種々の条件をソフトウェアに設定することになる。 However, in the method of analyzing the image of the surveillance camera, the angle of the surveillance camera (for example, the angle of the shooting direction in the store and the angle of view), the resolution of the image, the shooting conditions, and the like have a great influence on the recognition accuracy. Further, for example, it is possible to specify and monitor the area to be monitored for the congestion situation, or to monitor by comparing the captured image with the vacant seat image. However, in order to perform these monitoring, various conditions such as store seat position information and surveillance camera settings / installation conditions must be set in the software.
なお、座席位置の情報としては、上記の例においては座席配置図が挙げられる。座席位置(領域)は、空間において人物等の物体が滞留する「滞留領域」の一例である。 As the information on the seat position, the seat layout diagram may be mentioned in the above example. The seat position (area) is an example of a "retention area" in which an object such as a person stays in the space.
多くの店舗を有する企業の場合、このようなソフトウェアへの設定を店舗ごとに行なうことになるため、多大なコストが発生し得る。 In the case of a company having many stores, such software settings are made for each store, which may result in a large cost.
1つの側面では、本発明は、空間における物体の滞留領域の混雑状況を、低コストに又は高精度に推定することを目的とする。 In one aspect, it is an object of the present invention to estimate the congestion status of a stagnant area of an object in space at low cost or with high accuracy.
1つの側面では、推定プログラムは、以下の処理をコンピュータに実行させてよい。前記処理は、空間を撮影した複数の第1画像の各々から検出された物体について、検出され
た各物体の位置情報と、前記複数の第1画像の各々における各物体の検出状況と、に基づき、前記複数の第1画像間で相互に関連する物体をグループ化してよい。また、前記処理は、前記グループ化の結果に基づき、前記空間において各物体が滞留する滞留領域を推定してよい。さらに、前記処理は、所定数以上の前記第1画像間において、物体の画像成分が一致すると判断した前記所定数以上の物体を一の物体と対応付けて管理してよい。さらに、前記グループ化は、前記複数の第1画像間で、距離に関する条件を満たす一の物体同士を前記相互に関連する物体としてグループ化する処理を含んでよい。さらに、前記グループ化は、前記複数の第1画像の各々における各物体の検出状況を示す情報であって、前記一の物体ごとに、前記複数の第1画像の各々において当該一の物体に対応付けられた物体が存在するか否かを示す情報を生成し、前記生成した情報に基づき、対応する物体が一の第1画像内に存在する一の物体同士をグループ化の対象から除外する、処理を含んでよい。
In one aspect, the estimation program may cause the computer to perform the following processing. The processing is based on the position information of each detected object for the object detected from each of the plurality of first images obtained by photographing the space, and the detection status of each object in each of the plurality of first images. , Objects related to each other may be grouped among the plurality of first images. Further, in the process, the residence region where each object stays in the space may be estimated based on the result of the grouping. Further, in the process, the predetermined number or more of the objects determined to match the image components of the objects may be managed in association with one object among the predetermined number or more of the first images. Further, the grouping may include a process of grouping one object satisfying the condition regarding the distance between the plurality of first images as the mutually related object. Further, the grouping is information indicating the detection status of each object in each of the plurality of first images, and corresponds to the one object in each of the plurality of first images for each of the one objects. Information indicating whether or not the attached object exists is generated, and based on the generated information, one object whose corresponding object exists in one first image is excluded from the grouping target. Processing may be included.
1つの側面では、空間における物体の滞留領域の混雑状況を、低コストに又は高精度に推定することができる。 In one aspect, the congestion status of the stagnant area of an object in space can be estimated at low cost or with high accuracy.
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。例えば、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。なお、以下の実施形態で用いる図面において、同一符号を付した部分は、特に断らない限り、同一若しくは同様の部分を表す。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the embodiments described below are merely examples, and there is no intention of excluding various modifications and applications of techniques not specified below. For example, the present embodiment can be variously modified and implemented without departing from the spirit of the present embodiment. In the drawings used in the following embodiments, the parts with the same reference numerals represent the same or similar parts unless otherwise specified.
〔1〕一実施形態
上述のように、監視カメラにより撮影された映像を分析して座席の混雑状況を把握するには、座席配置図の情報や監視カメラの設定・設置条件等をソフトウェアに設定することになり、店舗数が増えるほどコストが増大し得る。
[1] Embodiment As described above, in order to analyze the image taken by the surveillance camera and grasp the congestion status of the seats, the information of the seat layout and the setting / installation conditions of the surveillance camera are set in the software. As the number of stores increases, the cost can increase.
そこで、一実施形態では、監視カメラにより撮影された映像に基づき、座席位置を推定することができる推定システムについて説明する。 Therefore, in one embodiment, an estimation system capable of estimating the seat position based on the image taken by the surveillance camera will be described.
例えば、一実施形態に係る推定システムは、以下の処理を行なってよい。 For example, the estimation system according to the embodiment may perform the following processing.
・空間を撮影した複数の第1画像の各々から検出された物体について、検出された各物体の位置情報と、複数の第1画像の各々における各物体の検出状況と、に基づき、複数の第1画像間で相互に関連する物体をグループ化する。 -For an object detected from each of a plurality of first images obtained by photographing a space, a plurality of first images are based on the position information of each detected object and the detection status of each object in each of the plurality of first images. 1 Group objects that are related to each other between images.
・グループ化の結果に基づき、空間において各物体が滞留する滞留領域を推定する。 -Based on the grouping results, estimate the retention area where each object stays in space.
以上の処理により、一実施形態に係る推定システムは、複数の第1画像に基づいて、各物体が滞留する滞留領域、例えば、人が居る座席位置を推定することができる。なお、滞留領域は、人物が留まる特定の領域を意味し、例えば、椅子や座布団等の着席領域に限らず、立っている領域(空間)を含んでよい。立っている領域の一例としては、立食(或いは、「立ち食い」と呼ばれる)形式の飲食店等や、顧客が立ったままサービスの提供を受ける施設等において、店舗から顧客に対して割り当てられる立席領域が挙げられる。 By the above processing, the estimation system according to the embodiment can estimate the retention area where each object stays, for example, the seat position where a person is present, based on a plurality of first images. The staying area means a specific area where a person stays, and may include not only a sitting area such as a chair or a cushion but also a standing area (space). As an example of a standing area, a standing restaurant (or called "tachigui") restaurant or a facility where a customer is provided with a service while standing is assigned to the customer by the store. The seat area can be mentioned.
空間を撮影した第1画像に基づき、空間における滞留領域を推定することで、例えば、空間を撮影した画像と、推定した滞留領域とに基づいて、滞留領域の混雑状況を容易に推定することができる。 By estimating the retention area in the space based on the first image obtained by photographing the space, for example, it is possible to easily estimate the congestion state of the retention area based on the image obtained by photographing the space and the estimated retention area. can.
例えば、監視カメラの映像に基づき座席の混雑状況を推定する際に、座席位置の情報等の条件をソフトウェアに設定する(或いは更新する)といった処理を不要とすることができ、低コスト化を実現できる。 For example, when estimating the seat congestion status based on the image of the surveillance camera, it is possible to eliminate the need for processing such as setting (or updating) conditions such as seat position information in the software, and realizing cost reduction. can.
また、事前に用意された座席配置図の情報を用いて座席の混雑状況を把握する場合、撮影した画像を、監視カメラの設定・設置条件等に基づき補正等を行なった上で、座席配置図と比較するため、混雑状況を正確に推定できない場合がある。これに対し、一実施形態に係る推定システムは、滞留領域の推定及び混雑状況の推定において、いずれも撮影した画像を利用した処理が行なわれる。従って、監視カメラの設定・設置条件等の影響を低減でき、混雑状況を高精度に推定することができる。 In addition, when grasping the seat congestion situation using the information of the seat layout prepared in advance, the captured image is corrected based on the setting and installation conditions of the surveillance camera, and then the seat layout is used. It may not be possible to accurately estimate the congestion situation because it is compared with. On the other hand, in the estimation system according to one embodiment, processing using captured images is performed in both the estimation of the retention area and the estimation of the congestion status. Therefore, the influence of the setting / installation conditions of the surveillance camera can be reduced, and the congestion status can be estimated with high accuracy.
以上のことから、一実施形態に係る推定システムは、推定した滞留領域の情報に基づいて、例えば、空間における滞留領域の利用状況を、低コストに又は高精度に推定することができる。 From the above, the estimation system according to the embodiment can estimate, for example, the usage status of the retention area in the space at low cost or with high accuracy based on the estimated information of the retention area.
なお、空間を撮影する監視カメラは、防犯等の目的により、店舗等において導入され利用されている可能性が高い。このため、座席の混雑状況の推定に監視カメラを用いることにより、既存の設備を利用できることから、加圧センサや赤外線センサ、或いは発券機等を新たに導入して座席の混雑状況を推定するよりも、コストを抑制することができる。 It is highly possible that surveillance cameras that capture space are introduced and used in stores and the like for the purpose of crime prevention and the like. For this reason, existing equipment can be used by using a surveillance camera to estimate the seat congestion status, so it is better to newly introduce a pressure sensor, infrared sensor, ticketing machine, etc. to estimate the seat congestion status. However, the cost can be suppressed.
〔1-1〕一実施形態の構成例
以下、一実施形態の構成例について説明する。図1は一実施形態に係る混雑度推定システム1の構成例を示すブロック図である。混雑度推定システム1は、推定対象の施設における滞留領域の混雑度を推定するシステムであり、上述した推定システムの一例である。混雑度推定システム1は、図1に示すように、例示的に、1以上(図1の例では複数)の監視カメラ2と、サーバ4と、をそなえてよい。
[1-1] Configuration Example of One Embodiment Hereinafter, a configuration example of one embodiment will be described. FIG. 1 is a block diagram showing a configuration example of a congestion
なお、監視カメラ2及びサーバ4は、例えば、ネットワーク5により相互に通信可能に接続されてよい。
The
ネットワーク5は、例えば、LAN(Local Area Network)或いはWAN(Wide Area Network)、又はこれらの組み合わせを含む、インターネット及びイントラネットの少なくとも一方であってよい。また、ネットワーク5は、VPN(Virtual Private Network)等の仮想ネットワークを含んでもよい。なお、ネットワーク5は、有線ネットワーク及び無線ネットワークの一方又は双方により形成されてよい。
The
監視カメラ2は、撮影方向における空間を撮影し、画像系列、例えば、動画像等の時系列に並んだ複数の画像(「フレーム」と称されてもよい)を取得してよい。
The
監視カメラ2は、例えば店舗3に設置されてよく、一例として、店舗3の店内及び店外に存在する顧客用の座席(好ましくは顧客用の全ての座席)を撮影範囲に含むように配置されてよい。
The
店舗3の店内及び店外の全ての座席を撮影範囲に含めるために、例えば、複数の監視カメラ2が互いの死角を補完する(或いは一部の撮影範囲が重なる)ような位置に設置されてもよいし、1以上の可動式の監視カメラ2が設置されてもよい。或いは、これらの組み合わせが採用されてもよい。
In order to include all the seats inside and outside the
監視カメラ2は、取得した映像をネットワーク5を介してサーバ4に送信してよい。例えば、監視カメラ2は、取得した映像を図示しないレコーダ等に蓄積し、所定のタイミングで、レコーダ内のデータをサーバ4に送信してもよい。所定のタイミングとしては、所定の時刻の到来、所定時間の経過、レコーダへの蓄積容量、蓄積フレーム数、等の種々の条件が用いられてよい。又は、監視カメラ2は、レコーダを介さずに、撮影した映像をサーバ4に送信してもよい。レコーダを介さない場合、例えば、監視カメラ2は、1~数フレームごとに(略リアルタイムに)映像を送信してもよい。
The
監視カメラ2としては、例えば、ボックス型カメラ、ドームカメラ、ネットワークカメラ等が挙げられる。なお、ネットワークカメラとしては、IP(Internet Protocol)カメラ等が挙げられる。また、店内又は店外の照明が暗い店舗3においては、監視カメラ2として赤外線カメラ等の暗視カメラが用いられてもよい。監視カメラ2は、例えば、防犯カメラ、監視カメラ、街頭カメラ、定点カメラ等の種々の用途のカメラが用いられてよい。
Examples of the
サーバ4は、監視カメラ2が撮影した映像に基づき、店舗3における座席位置を推定し、推定した座席位置と、監視カメラ2が撮影した映像と、に基づき、店舗3における座席の混雑度を推定してよい。サーバ4の詳細については後述する。
The server 4 estimates the seat position in the
なお、サーバ4が推定した座席の混雑度の情報は、例えば、図1に示すように、端末装置6に提供されてよい。一例として、サーバ4は、Webサーバの機能(例えば、後述する情報提示部14)を有してよく、Webサーバの機能により、ネットワーク5を介して、店舗3の混雑度を表すWebページを端末装置6に表示させてもよい。
Information on the degree of seat congestion estimated by the server 4 may be provided to the
端末装置6は、サーバ4が推定した店舗3の混雑度の情報を受け取るコンピュータである。例えば、端末装置6は、店舗3の座席の混雑状況に関心のある店舗3の利用候補者が有するコンピュータであってよい。端末装置6としては、例えば、デスクトップ、ラップトップ又はモバイル等のPC(Personal Computer)、タブレット、スマートホン、携帯電話等の各種情報処理装置が挙げられる。
The
端末装置6は、例えば、ネットワーク5を介して、サーバ4との間で、店舗3の座席の混雑状況取得に関する要求の送信、及び、混雑状況の推定結果に関する応答の受信等の種々の通信を行なってよい。
The
なお、図1に例示するように、端末装置6が無線通信を行なうPC、タブレット、スマートホン、携帯電話等である場合、ネットワーク5との接続は、基地局7を介したモバイルネットワーク経由で行なわれてよい。
As illustrated in FIG. 1, when the
端末装置6は、例示的に、ユーザからの情報(操作要求)の入力手段、ユーザへの情報の出力手段、及び、サーバ4との間の通信手段、等をそなえてよい。
Illustratively, the
〔1-2〕サーバ4の動作フェーズ
次に、サーバ4の動作フェーズについて説明する。
[1-2] Operation phase of the server 4 Next, the operation phase of the server 4 will be described.
サーバ4は、上述のように、監視カメラ2が撮影した映像に基づき、座席位置を推定してよい。そして、サーバ4は、推定した座席位置と、監視カメラ2が撮影した(例えば最新の)映像と、に基づいて、座席の(例えば最新の)混雑状況を推定してよい。
As described above, the server 4 may estimate the seat position based on the image taken by the
映像に基づく座席位置の推定には、種々の画像認識技術が用いられてよいが、一実施形態においては、例示的に、ニューラルネットワーク(NN;Neural Network)を用いたディープラーニング(Deep Learning)による検出モデルが用いられるものとする。 Various image recognition techniques may be used for estimating the seat position based on the image, but in one embodiment, by way of example, deep learning using a neural network (NN) is used. A detection model shall be used.
なお、店舗3の提供するサービス内容や時間帯等にも依るが、店舗3において顧客が座席を使用する期間は、十数分~数十分(或いは1時間以上)であると考えられる。監視カメラ2は、少なくとも1秒間に1フレーム(1FPS;Frame Per Second)以上の画像データを撮影可能であるが、顧客の着席、離席、退席等の座席の変化を検出するために全てのフレームのデータを分析することは非効率である。
Although it depends on the service content and time zone provided by the
このため、機械学習では、撮影された画像データのうちの一部のフレームの画像データが用いられればよい。例えば、一実施形態においては、映像から5分間隔等の所定のサンプリング間隔で取得されたフレームがニューラルネットワークに入力されてよい。 Therefore, in machine learning, the image data of a part of the captured image data may be used. For example, in one embodiment, frames acquired from the video at a predetermined sampling interval such as a 5-minute interval may be input to the neural network.
また、一実施形態においては、座席位置の推定のために、例えば、数時間~数日間の推定期間が設けられてよい。以下の説明では、例示的に、3日間の推定期間(所定期間)が設けられるものとする。 Further, in one embodiment, an estimation period of several hours to several days may be provided for estimating the seat position. In the following description, it is assumed that an estimated period (predetermined period) of 3 days is provided as an example.
以上の点から、一実施形態に係る手法は、図2に例示するフェーズに分けて実施されてよい。例えば、図2に示すように、監視カメラ2の運用が行なわれている店舗3に対して、監視カメラ2の映像をサーバ4に送信するための設定を行ない、所定期間として3日間の座席位置推定フェーズが設けられてよい。
From the above points, the method according to the embodiment may be carried out by dividing it into the phases illustrated in FIG. For example, as shown in FIG. 2, the
座席位置推定フェーズにより、座席位置が推定されると、次いで、サーバ4による混雑状況推定フェーズが開始されてよい。混雑状況推定フェーズでは、サーバ4は、推定された座席位置と、監視カメラ2より送られてくる画像データとに基づいて、所定のタイミングで混雑状況の推定を行なってよい。
After the seat position is estimated by the seat position estimation phase, the congestion situation estimation phase by the server 4 may be started next. In the congestion situation estimation phase, the server 4 may estimate the congestion situation at a predetermined timing based on the estimated seat position and the image data sent from the
このように、座席位置推定フェーズは、一実施形態に係る手法の初期設定フェーズと位置付けられてよく、混雑状況推定フェーズは、一実施形態に係る手法の通常運用フェーズと位置付けられてよい。 As described above, the seat position estimation phase may be positioned as the initial setting phase of the method according to the embodiment, and the congestion situation estimation phase may be positioned as the normal operation phase of the method according to the embodiment.
なお、店舗3においては、例えば店舗内のレイアウト変更や、顧客又は従業員等による座席の移動が発生する可能性がある。そこで、座席位置推定フェーズの終了後、混雑状況推定フェーズにおいても、推定した座席位置を更新するための座席位置推定(更新)フェーズが実施されてもよい。座席位置推定(更新)フェーズは、座席位置推定フェーズと同様の処理に実施可能であるため、以下の説明では、これらを区別せずに、単に座席位置推定フェーズと表記する。
In the
〔1-3〕サーバ4の構成例
次に、サーバ4の構成例について説明する。サーバ4は、店舗3、店舗3を有する企業等、又はデータセンタ等に設置される1以上のコンピュータの一例である。サーバ4としては、例えば、種々の物理サーバ装置及び/又は仮想サーバ装置が挙げられる。サーバ4の少なくとも一部の機能は、例えばクラウドサービスにより提供されるリソース、フレームワーク、アプリケーション等を利用して実現されてもよい。また、サーバ4の少なくとも一部の機能は、複数のコンピュータに分散又は冗長化して配置されてもよい。
[1-3] Configuration Example of Server 4 Next, a configuration example of the server 4 will be described. The server 4 is an example of one or more computers installed in a
図1に示すように、サーバ4は、例示的に、メモリ部11、制御部12、NN13、及び、情報提示部14をそなえてよい。
As shown in FIG. 1, the server 4 may optionally include a
メモリ部11は、サーバ4の処理に用いられる種々の情報を格納する。メモリ部11が格納する情報については、サーバ4の機能の説明において後述する。なお、メモリ部11としては、メモリ、例えばRAM(Random Access Memory)等の揮発性メモリ、並びに、記憶部、例えばHDD(Hard Disk Drive)又はSSD(Solid State Drive)等の記憶装置、の一方又は双方が挙げられる。
The
制御部12は、座席位置の推定及び混雑状況の推定に関する制御を行なう。図1に示すように、制御部12は、例示的に、情報取得部121、静的ボックス判定部122、座席推定部123、及び、混雑度算出部124をそなえてよい。
The
情報取得部121は、監視カメラ2(店舗3)から送信された映像データを受信し、メモリ部11に映像データ111として格納してよい。なお、一実施形態において、制御部12及びNN13は、5分間隔で撮影された、時系列に並んだ画像データ(フレーム)を用いてよい。時系列に並んだ画像データは、複数の第1画像の一例である。
The
例えば、情報取得部121は、受信した映像データから5分間隔でフレームを抽出した情報を、映像データ111としてメモリ部11に格納してもよい。或いは、店舗3又は監視カメラ2において、撮影した映像データから5分間隔で抽出したフレーム群が、映像データとしてサーバ4に送信されてもよい。
For example, the
なお、映像データ111は、少なくともN(Nは整数;例えば“5”)フレームの画像データを含んでよい。情報取得部121は、メモリ部11の記憶容量節約の観点から、映像データ111のデータサイズ或いはフレーム数等に上限を設け、上限を超えるフレームについて、撮影日時が過去のフレーム順に映像データ111内のフレームを削除してもよい。
The
静的ボックス判定部122及び座席推定部123は、座席位置推定フェーズにおいて、NN13と協働して、映像データ111から店舗3の座席位置を推定する。換言すれば、静的ボックス判定部122及び座席推定部123は、以下のグループ化部、及び、推定部の一例である。
The static
グループ化部は、空間を撮影した複数の第1画像の各々から検出された物体について、検出された各物体の位置情報と、複数の第1画像の各々における各物体の検出状況と、に基づき、複数の第1画像間で相互に関連する物体をグループ化してよい。推定部は、グループ化の結果に基づき、空間において各物体が滞留する滞留領域を推定してよい。 The grouping unit is based on the position information of each detected object for the object detected from each of the plurality of first images obtained by photographing the space, and the detection status of each object in each of the plurality of first images. , Objects that are related to each other may be grouped among a plurality of first images. The estimation unit may estimate the retention region in which each object stays in the space based on the result of grouping.
混雑度算出部124は、推定した座席位置に基づいて、店舗3の混雑度を算出する。換言すれば、混雑度算出部124は、空間を撮影した第2画像から検出された物体の位置情報と、推定された空間における滞留領域の情報と、に基づき、滞留領域の混雑度を推定する混雑度推定部の一例である。
The congestion
情報提示部14は、例えば、Webサーバ或いはDB(Database)サーバの機能を有してよく、端末装置6からの要求に応じて、端末装置6に対して、混雑度算出部124が算出した混雑度の情報を提示してよい。
The
以下、サーバ4の機能及び動作の一例について説明する。 Hereinafter, an example of the function and operation of the server 4 will be described.
〔1-3-1〕NNの説明
まず、NN13について説明する。NN13は、監視カメラ2が空間を撮影した複数の第1画像の各々から、物体を検出する。例えば、NN13は、メモリ部11に格納された、5分間隔の複数の画像データを含む映像データ111に基づき物体を検出してよい。
[1-3-1] Explanation of NN First, NN13 will be described. The
NN13は、事前に、画像データから検出対象の物体を検出するように機械学習が行なわれたシステムであってよい。例えば、NN13には、画像データから人物の頭部を検出する検出モデルが適用されてよい。人物の頭部は、検出対象の物体の一例である。
The
図3にNN13による物体の検出例を示す。図3に例示するように、NN13は、入力された画像データから、人物の頭部の位置及びスコアを算出してよい。なお、図3は、監視カメラ2により撮影された撮影空間30の画像に対して、NN13が当該画像に基づいて検出した頭部の位置及びスコアを当て嵌めた様子を示す。撮影空間30の画像は、画像の左上を(0,0)とし、画像の右下を(x,y)とする座標系を有してよい。xは画像の横幅(width)のサイズ、yは画像の高さ(height)のサイズを、それぞれピクセル数で示した値であってよい。
FIG. 3 shows an example of detecting an object by NN13. As illustrated in FIG. 3, the
頭部の位置は、例えば、頭部を囲う矩形形状の領域として特定されてよい。以下、頭部を囲う矩形形状を「ボックス」と表記する場合がある。なお、ボックスの形状は、矩形形状に限定されるものではなく、円形状、楕円形状、多角形状等であってもよい。 The position of the head may be specified, for example, as a rectangular area surrounding the head. Hereinafter, the rectangular shape surrounding the head may be referred to as a "box". The shape of the box is not limited to a rectangular shape, and may be a circular shape, an elliptical shape, a polygonal shape, or the like.
スコアは、最大値を“1.000”とする、検出した領域が人体の頭部であるという確からしさ(尤度)を示す情報の一例である。なお、図3の例は12時(“12:00”)に撮影されたフレームである。 The score is an example of information indicating the certainty (likelihood) that the detected region is the head of the human body, with the maximum value being "1.000". The example of FIG. 3 is a frame taken at 12:00 (“12:00”).
検出対象の物体を人物(人体)の頭部とすることにより、人体のうちの監視カメラ2に移りやすい部位を捉えることができ、検出精度を向上させることができる。また、ディープラーニングにより物体を検出することにより、正面の顔以外にも、種々の姿勢或いは状態における人物の頭部を検出できる。
By setting the object to be detected as the head of a person (human body), it is possible to capture a portion of the human body that easily moves to the
例えば、NN13は、背面(後頭部;図3の符号A参照)、上面(頭頂部(俯いた姿勢);符号B参照)、側面(横顔;符号C参照)等、人物の頭部が種々の姿勢であっても、正確に頭部を検出することができる。 For example, in NN13, the head of a person has various postures such as the back surface (occipital region; see reference numeral A in FIG. 3), the upper surface (top of the head (downward posture); see reference numeral B), and the side surface (profile; see reference numeral C). Even so, the head can be detected accurately.
また、NN13は、頭部が他の物体に隠れている状態、例えば、椅子に遮られている状態(符号D参照)や、着帽状態(符号E参照)、或いは混雑した場所において他人や障害物に遮られている状態等であっても、正確に頭部を検出することができる。 In addition, the NN13 is a state in which the head is hidden by another object, for example, a state in which the head is blocked by a chair (see reference numeral D), a state in which a cap is worn (see reference numeral E), or an obstacle or an obstacle in a crowded place. The head can be detected accurately even when it is blocked by an object.
NN13は、検出した頭部の位置及びスコアを検出情報112としてメモリ部11に格納してよい。検出情報112はフレームごとに生成されてもよいし、検出情報112においてフレームの識別情報が物体に対応付けられてもよい。なお、検出情報112は、種々のフォーマットのファイルであってよく、一例として、CSV(Comma-Separated Values)等の形式のファイルであってよい。
The
図4は検出情報112の一例である。図4に示すように、検出情報112は、例示的に、「No.」、「x1」、「y1」、「x2」、「y2」、「スコア」の情報が含まれてよい。なお、図4の例は、1つのフレーム(画像)において検出された物体の情報を示す。
FIG. 4 is an example of the
「No.」は検出した物体を識別する情報である。「No.」はフレームを識別する情報を更に含んでもよい。「x1」及び「y1」は、検出した頭部のボックスの左上の頂点の座標(x1,y1)を示し、「x2」及び「y2」は、検出した頭部のボックスの右下の頂点の座標(x2,y2)を示してよい。スコアは、(x1,y1)、(x2,y2)で表されるボックスの尤度を示してよい。なお、NN13により検出情報112に設定されるボックスは、スコアが“0.500”以上であるボックスに制限されてもよい。
"No." is information for identifying the detected object. "No." may further include information for identifying the frame. “X1” and “y1” indicate the coordinates (x1, y1) of the upper left vertex of the detected head box, and “x2” and “y2” indicate the coordinates of the lower right vertex of the detected head box. Coordinates (x2, y2) may be indicated. The score may indicate the likelihood of the box represented by (x1, y1), (x2, y2). The box set in the
〔1-3-2〕静的ボックス判定部の説明
静的ボックス判定部122は、座席位置の推定の前処理として、人物の頭部の検出結果である検出情報112に基づいて、座席に座っている人の頭部位置を判定してよい。
[1-3-2] Description of the static box determination unit The static
なお、静的ボックス判定部122による以下の処理の少なくとも一部は、NNを用いたディープラーニングにより実行されてもよい。例えば、静的ボックス判定部122は、NNをそなえてもよく、或いは、NN13が更に以下の処理を実行するように構成されてもよい。
At least a part of the following processing by the static
静的ボックス判定部122は、例えば、或るフレームに係る頭部の検出結果を、過去数フレームに係る頭部の検出結果と比較し、同じ位置に留まっているボックスを抽出する。同じ位置に留まっているボックスには、例えば、店舗3において、座席に着席している人物(の頭部)が含まれてよい。換言すれば、静的ボックス判定部122は、監視カメラ2の撮影画像から、撮影画像ごとに、滞留領域に留まっている物体を含む、滞留している物体を検出する。
For example, the static
フレーム間のボックスの同一性判定には、ボックスの座標(例えば、大きさ及び位置)の類似性判定、及び、ボックス自体の類似性判定が用いられてよい。 For the box identity determination between frames, the similarity determination of the box coordinates (for example, size and position) and the similarity determination of the box itself may be used.
以下、静的ボックス判定部122による「座っている人」の頭部位置のデータを取得する手法の一例について説明する。なお、以下の説明において、座っている人の頭部位置のボックスを「静的ボックス」と表記する。
Hereinafter, an example of a method of acquiring data on the head position of the “sitting person” by the static
静的ボックス判定部122は、過去フレームに係る頭部の検出結果のデータを、以下の2種類のデータに分けて管理してよい。
The static
(a)静的ボックスのデータ。 (A) Static box data.
(b)過去Nフレームにおける、静的ボックス以外の非静的ボックスのデータ。なお、N=5であるものとする。 (B) Data of non-static boxes other than static boxes in the past N frames. It is assumed that N = 5.
静的ボックス判定部122は、例えば、静的ボックス及び非静的ボックスのデータを、ボックス情報113としてメモリ部11に格納してよい。ボックス情報113は、例えば、静的ボックスのデータとして、静的ボックスごとに、複数のフレームにおける当該静的ボックスに対応すると判断したボックスの識別情報を含んでよい。また、ボックス情報113は、非静的ボックスのデータとして、複数のフレームにおける静的ボックスではないボックスの識別情報を含んでよい。
The static
このように、静的ボックス判定部122は、所定数以上の第1画像間において同一位置に存在すると判断した所定数以上の物体を一の静的物体と対応付けて管理する管理部の一例である。
As described above, the static
静的ボックス判定部122は、例えば、各時刻の画像データに対して、検出された物体の位置及び各フレームにおける各物体の検出状況に基づいて、以下の(i)~(iii)の処理を実行してよい。
For example, the static
以下の説明において、「現在の時刻のフレーム」とは、判定対象のフレームと読み替えてもよい。すなわち、静的ボックス判定部122は、判定対象のフレーム内で検出された各物体を、当該フレームよりも過去のNフレームと比較してよい。また、静的ボックス判定部122は、判定を行なうと、次の(5分後の)フレームを判定対象のフレームとして、当該フレームよりも過去のNフレームと比較してよい。
In the following description, the "frame of the current time" may be read as the frame to be determined. That is, the static
(i)静的ボックス判定部122は、現在の時刻のフレームにおいて検出されたボックスを過去の時刻のフレームの静的ボックスと比較し、同一と判定したボックスを静的ボックスのデータに追加する。
(I) The static
なお、静的ボックス判定部122は、検出情報112から、各時刻のフレームにおいて検出されたボックスの情報を取得してよい。フレーム間において静的ボックスが同一であるか否かの判定手法は後述する。
The static
(ii)静的ボックス判定部122は、現在の時刻フレームにおいて検出されたボックスのうち、静的ボックスと判別されなかったボックスを、過去Nフレームの静的ボックス以外の非静的ボックスのデータと比較する。そして、静的ボックス判定部122は、静的ボックスの条件を満たすボックスの組み合わせを検出すると、当該ボックスを新たな静的ボックスのデータに追加する。
(Ii) The static
例えば、静的ボックス判定部122は、N(N=5)フレーム中のMフレームに、互いに同一であると判定できるボックスが含まれていれば、これらのボックスのグループを新たに静的ボックスと判定してよい。なお、Mは、N未満の整数であり、例えば「3」等であってよい。
For example, if the M frame in the N (N = 5) frame contains boxes that can be determined to be identical to each other, the static
(iii)静的ボックス判定部122は、Mフレーム連続で観測(検出)されなかった静的ボックスについて、当該ボックスのデータを例えば記憶部のファイルに書き出し、メモリ上の静的ボックスのデータからは削除してよい。このような状況としては、例えば、着席していた人物が離席した等の事象が挙げられる。
(Iii) The static
なお、上述のように、メモリ部11は、メモリ及び記憶部の一方又は双方であってよい。従って、上記(iii)の処理は、過去Nフレーム中のMフレームにおいて検出されたアクティブな静的ボックスのデータをメモリに格納し、過去Mフレームにおいて検出されていない非アクティブな静的ボックスのデータを記憶部に退避させる、ことを意味する。
As described above, the
図5は、時刻“10:00”、“10:05”、“10:10”の3フレームにおける静的ボックス及び非静的ボックスの一例を示す図である。図5に示すように、例えば、3フレームにおいて同一であると判定された、右上がりの網掛けで示すボックス、及び、右下がりの網掛けで示すボックスは、それぞれ、静的ボックス(“static box 1”及び“static box 2”)であると判定される。一方、過去5フレーム中で同一であると判定されたフレームが3フレームに満たない白背景のボックスは、非静的ボックス(“non-static box”)であると判定される。
FIG. 5 is a diagram showing an example of a static box and a non-static box in three frames of time “10:00”, “10:05”, and “10:10”. As shown in FIG. 5, for example, the box shown by the shaded up to the right and the box shown by the shaded down to the right, which are determined to be the same in the three frames, are static boxes (“static boxes”, respectively. 1 ”and“
次に、フレーム間のボックスの同一性の判定手法について説明する。 Next, a method for determining the identity of boxes between frames will be described.
(ボックスの座標の類似性判定)
はじめに、ボックスの座標の類似性判定の手法について説明する。静的ボックス判定部122は、フレーム間のボックス同士の座標を比較し、比較結果が閾値を超える場合、両者を「異なるボックス」と判定してよい。比較対象の座標は、大きさ及び位置の少なくとも一方を含んでよい。
(Similarity judgment of box coordinates)
First, a method for determining the similarity of the box coordinates will be described. The static
静的ボックス判定部122は、ボックスの座標の類似性判定により、サイズが大きく異なる、及び/又は、位置(換言すれば距離)が大きく離れている、ボックスのペアを、静的ボックスの判定対象から除外してよい。これにより、その後のボックス自体の類似性判定における計算量を削減することができる。
The static
図6は、ボックスの座標の類似性判定処理の一例を示す図である。図6に例示するように、静的ボックス判定部122は、フレーム間のボックスの大きさの比較、及び、フレーム間のボックスの位置の比較、の少なくとも一方を実行してよい。なお、図6の例では、比較する2つのフレームとして、現在のフレーム(f)及び1つ過去のフレーム(f-1)を用いている。
FIG. 6 is a diagram showing an example of the similarity determination process of the coordinates of the box. As illustrated in FIG. 6, the static
例えば、静的ボックス判定部122は、図6の左上に示すように、比較する2つのボックスのサイズ比が閾値、例えば“1.3”、以下であるか否かを判定する。なお、ボックスサイズ比は、例えば、(大きい方のボックスサイズ)/(小さい方のボックスサイズ)により求められてよい。ボックスサイズは、例えば、ボックスの幅及び高さの平均であってよく、(width+height)/2により求められてよい。
For example, as shown in the upper left of FIG. 6, the static
また、例えば、静的ボックス判定部122は、図6の右上に示すように、比較する2つのボックス間の距離が、閾値、例えば“平均ボックスサイズ×1.5”以下であるか否かを判定する。なお、平均ボックスサイズは、比較する2つのボックス又は静的ボックスの平均のボックスサイズであってよい。或いは、平均ボックスサイズは、現在のフレーム、過去のNフレーム、又は、これまで分析した全てのフレーム等において検出されたボックスの平均ボックスサイズであってよい。
Further, for example, as shown in the upper right of FIG. 6, the static
静的ボックス判定部122は、上記の2つの判定により、ボックスのサイズ比、及び、ボックス間の距離、のうちの少なくとも一方が、対応する閾値よりも大きい場合、2つのボックスを静的ボックスの判定対象から除外してよい。
When at least one of the box size ratio and the distance between the boxes is larger than the corresponding threshold value, the static
(ボックス自体の類似性判定)
次に、ボックス自体の類似性判定の手法について説明する。静的ボックス判定部122は、例えば、比較する2つのボックスのクロップ画像の類似性、及び、ボックス同士の重なり、をそれぞれスコア化し、これらのスコアの総合スコアを算出してよい。そして、静的ボックス判定部122は、総合スコアが閾値(例えば“1”)以上であれば、2つボックスが同一であると判定してよい。
(Similarity judgment of the box itself)
Next, the method of determining the similarity of the box itself will be described. The static
なお、クロップ画像とは、画像データから物体(一実施形態では頭部)を切り出した画像である。クロップ画像の類似性のスコアを求めることは、例えば、色ヒストグラムの類似性のスコアを求めること、及び、ピクセル差分の類似性のスコアを求めること、を含んでよい。 The crop image is an image obtained by cutting out an object (head in one embodiment) from image data. Obtaining the similarity score of the crop image may include, for example, obtaining the similarity score of the color histogram and obtaining the similarity score of the pixel difference.
図7は、ボックス自体の類似性判定処理の一例を示す図である。図7に例示するように、静的ボックス判定部122は、以下のスコアを算出してよい。
FIG. 7 is a diagram showing an example of the similarity determination process of the box itself. As illustrated in FIG. 7, the static
(I)色ヒストグラムの類似性のスコア:“sim_color” (I) Color histogram similarity score: “sim_color”
色ヒストグラムとしては、例えば、RGB(Red Green Blue)値のヒストグラムが挙げられる。 Examples of the color histogram include a histogram of RGB (Red Green Blue) values.
(II)ピクセル差分による類似性のスコア:“sim_pixel” (II) Similarity score by pixel difference: “sim_pixel”
ピクセル差分による類似性は、例えば、NRMSE(Normalized Root Mean-Squared Error)等の手法により求められてよい。NRMSEによるピクセル差分の算出手法については、例えば、[http://scikit.image.org/docs/dev/api/skimage.measure.html#skimage.measure.compare_nrmse]に記載されている。 Similarity due to pixel difference may be obtained by, for example, a method such as NRMSE (Normalized Root Mean-Squared Error). For the method of calculating the pixel difference by NRMSE, for example, [http: // scikit. image. org / docks / dev / api / skimage. measurement. html # skimage. measurement. compare_nrmse].
(III)ボックスの重なりの度合い:IoU(Intersection over Union) (III) Degree of overlap of boxes: IoU (Intersection over Union)
IoUは、2つのボックス(換言すれば領域)の重なりの度合いを示す情報である。例えば、IoUは、図7に示すように、座標系において2つの領域を重ねた場合に、2つの領域を結合した結合領域(OR領域)に対する、重複する重複領域(AND領域)の比率を示す。 IoU is information indicating the degree of overlap of two boxes (in other words, regions). For example, as shown in FIG. 7, IoU indicates the ratio of the overlapping overlapping region (AND region) to the combined region (OR region) in which the two regions are overlapped when the two regions are overlapped in the coordinate system. ..
なお、上記(I)~(III)のスコアは、ニューラルネットワークにより算出されてもよい。 The scores of (I) to (III) may be calculated by a neural network.
静的ボックス判定部122は、算出した上記(I)~(III)のスコアに基づいて、“sim_color * sim_pixel + IoU”を総合スコアとして算出する。総合スコアは、物体の画像成分が一致するか否かを判断するための指標の一例である
The static
そして、静的ボックス判定部122は、総合スコアが閾値(例えば“1”)以上か否かを判定する。総合スコアが閾値以上の場合、静的ボックス判定部122は、比較する2つのボックスがフレーム間で同一のボックスであると判定してよい。
Then, the static
なお、静的ボックス判定部122は、上記(i)の処理における、現在のフレームのボックスと過去のフレームの静的ボックスとの比較では、以下のようにして類似性の判定を行なってよい。例えば、静的ボックス判定部122は、現在のフレームにおける比較対象のボックスと、過去の複数のフレームの各々における比較対象の静的ボックスと、の間で、それぞれ類似性の総合スコアを算出してよい。そして、静的ボックス判定部122は、算出した類似性の総合スコアの平均値を計算し、平均値が閾値(例えば“1”)よりも大きいか否かを判定してよい。平均値が閾値よりも大きい場合に、比較対象のボックスは、静的ボックスに追加されてよい。
The static
また、静的ボックス判定部122は、上記(ii)の処理における、現在のフレームのボックスと過去のフレームの非静的ボックスとの比較では、以下のようにして類似性の判定を行なってよい。例えば、静的ボックス判定部122は、現在のフレームにおける比較対象のボックスと、過去の複数のフレームの各々における非静的ボックスと、の間で、それぞれ類似性を算出してよい。そして、静的ボックス判定部122は、過去N(例えば“5”)フレーム中のM(例えば“3”)フレームにおいて、算出した類似性の総合スコアが閾値(例えば“1”)よりも大きいか否かを判定してよい。Mフレーム以上で総合スコアが閾値よりも大きい場合に、比較対象のボックス及び比較した非静的ボックスは、新たに静的ボックスと判定されてよい。
Further, the static
以上のように、静的ボックス判定部122は、ボックス自体の類似性を判定することにより、座席位置の誤検出の確率を低減させることができる。
As described above, the static
例えば、レジ前やトイレ前等の位置は、座席以外に顧客が留まる可能性のある場所である。このような場所は、5分間隔のフレーム間において、ボックスが連続して検出される可能性がある。 For example, a position in front of a cash register or a toilet is a place where customers may stay other than a seat. In such locations, boxes may be detected consecutively between frames at 5-minute intervals.
これに対し、静的ボックス判定部122は、ボックス自体の類似性を判定することにより、例えば、比較するボックスが互いに異なる人物の頭部である場合には、総合スコアが閾値以下となり、静的ボックスと判定されない。これにより、レジ前やトイレ前のような座席以外の場所において、互いに異なる人物の頭部が複数のフレームに亘って検出されたとしても、当該場所が座席位置として検出される可能性を低減又は排除することができ、座席位置の正確に推定することができる。
On the other hand, the static
〔1-3-3〕座席推定部の説明
座席推定部123は、ボックス情報113として蓄積した「座っている人」の情報に基づいて、座席位置を推定し、推定した座席位置の情報を座席情報114としてメモリ部11に格納する。
[1-3-3] Explanation of the seat estimation unit The
なお、座席推定部123による以下の処理の少なくとも一部は、NNを用いたディープラーニングにより実行されてもよい。例えば、座席推定部123は、NNをそなえてもよく、或いは、NN13が更に以下の処理を実行するように構成されてもよい。
In addition, at least a part of the following processing by the
例えば、座席推定部123は、静的ボックス判定部122が判定した「座っている人」の位置データ(静的ボックス)を一定期間(一実施形態では3日程度)蓄積したボックス情報113を利用し、座席位置及び座席数を推定してよい。
For example, the
一例として、座席推定部123は、静的ボックスの情報を元にクラスタリングを行ない、推測されたクラスタの数を座席数として扱い、各クラスタの位置を各座席の位置情報として扱ってよい。なお、静的ボックスの情報としては、位置、サイズ、及び、観測された時刻(フレーム)が挙げれられる。また、各クラスタの位置は、各クラスタに含まれる静的ボックスの位置の平均値に基づき算出されてよい。
As an example, the
一実施形態においては、店舗3の座席数は、初期設定の簡略化のために、取得・設定されていないものとする。この場合、クラスタリングのアルゴリズムは、階層型クラスタリングをベースとしてよい。
In one embodiment, the number of seats in the
例えば、図8に示すように、座席推定部123は、観測された全ての静的ボックスが別々のクラスタである状態を初期状態とし(“static boxes”参照)、距離の近いクラスタを同一クラスタとしてマージしてよい(“clustering result”参照)。マージする距離に閾値を設けることで、距離の離れたクラスタ同士はマージされずに残るため、座席推定部123は、残った各クラスタを最終的な座席データと推定してよい(“estimated seat positions”参照)。
For example, as shown in FIG. 8, the
ここで、クラスタとは、観測された静的ボックスをグループ化したものであり、複数の第1画像間で相互に関連する物体の一例である。同一クラスタ内の静的ボックス同士は、同じ座席に座った別の人の観測結果と考えられる。すなわち、一実施形態においては、最終的に残ったクラスタの位置を物体が滞留する位置と捉え、物体が滞留する位置を、座席位置として捉えることによって、座席位置を推定するのである。 Here, the cluster is a group of observed static boxes, and is an example of objects that are related to each other among a plurality of first images. Static boxes in the same cluster are considered to be observations of different people sitting in the same seat. That is, in one embodiment, the seat position is estimated by regarding the position of the finally remaining cluster as the position where the object stays and the position where the object stays as the seat position.
以下、図9を参照して、階層化クラスタリングを行なうための距離指標について説明する。図9は、階層化クラスタリングの距離指標の一例を示す図である。 Hereinafter, a distance index for performing hierarchical clustering will be described with reference to FIG. 9. FIG. 9 is a diagram showing an example of a distance index of hierarchical clustering.
座席推定部123は、距離計算のためのクラスタの代表値を設定してよい。図9の例では、座席推定部123は、各静的ボックスについて、クラスタ内の静的ボックスの中心座標の平均値を(cx,cy)、ボックスサイズの平均値をsize、クラスタ内に含まれる静的ボックスの数をn、としてよい。また、座席推定部123は、クラスタ内に含まれる静的ボックスについて、観測のあった時刻(フレーム)を“1”、観測の無い時刻(フレーム)を“0”、とする2値の配列を生成し、例えばメモリ部11に保持してよい。配列は、複数の第1画像の各々における各物体の検出状況を示す情報の一例である。
The
座席推定部123は、上記の代表値を用いて、図9に例示するように、下記の(1)~(3)式を算出することで、クラスタ間の距離指標を求めてよい。
The
ここで、(cxA,cyA),sizeA,nAは、それぞれ、クラスタAの座標、サイズ、静的ボックス数を示し、(cxB,cyB),sizeB,nBは、それぞれ、クラスタBの座標、サイズ、静的ボックス数を示す。 Here, (c xA , cyA ), size A , and n A indicate the coordinates, size, and number of static boxes of cluster A, respectively, and (c xB , cyB ), size B , and n B , respectively. , The coordinates of cluster B, the size, and the number of static boxes.
なお、上記(3)式のうち、“penalty”以外の部分は、ward法を用いた階層化クラスタリングの距離指標と同じである。これに対して、一実施形態では、ward法の距離指標に“penalty”を追加することにより、座席位置及び座席数の推定精度を向上させている。 In the above equation (3), the portion other than "penalty" is the same as the distance index of the hierarchical clustering using Ward's method. On the other hand, in one embodiment, the accuracy of estimating the seat position and the number of seats is improved by adding "penalty" to the distance index of the Ward method.
例えば、クラスタA及びクラスタB間で同時刻(同一フレーム)に静的ボックス、換言すれば「座っている人」、が観測された場合、これらのクラスタには、互いに別の座席が存在することが予想される。 For example, if a static box, in other words, a "sitting person", is observed between clusters A and B at the same time (same frame), these clusters have different seats from each other. Is expected.
このため、上記(3)式では、クラスタA及びクラスタB間で同時刻(同一フレーム)に静的ボックスが観測された場合に、観測された回数に応じてクラスタ間の距離を大きくするようなペナルティ項を追加している。例えば、座席推定部123は、観測時刻の配列同士のANDを取り、AND結果の配列のSUM(合計値)をペナルティとして、上記(3)式に適用してよい。
Therefore, in the above equation (3), when a static box is observed between clusters A and B at the same time (same frame), the distance between the clusters is increased according to the number of observations. A penalty term has been added. For example, the
このように、座席推定部123は、静的物体ごとに、複数の第1画像の各々において当該静的物体に対応付けられた物体が存在するか否かを示す情報を生成してよい。そして、座席推定部123は、生成した情報に基づき、対応する物体が一の第1画像内に存在する静的物体同士をグループ化の対象から除外してよい。
In this way, the
座席推定部123は、上記(3)式により得られるdwardを距離指標として用い、全ての静的ボックスのデータが別々のクラスタである初期状態から(図10の「初期状態」参照)、以下の手順により、階層化クラスタリングを実行してよい。
The
例えば、座席推定部123は、クラスタ間の距離指標(dward)が最も小さいクラスタペアを決定し、下記(4)式の停止条件(stop condition)を満たすか否かを判定する。
For example, the
上記(4)式の停止条件を満たす場合、座席推定部123は、階層化クラスタリングを終了し、残っているクラスタの情報を座席情報114としてメモリ部11に格納する。
When the stop condition of the above equation (4) is satisfied, the
一方、上記(4)式の停止条件を満たさない場合、座席推定部123は、当該クラスタペアをマージして新しいクラスタとする。
On the other hand, if the stop condition of the above equation (4) is not satisfied, the
座席推定部123は、上記の処理を、停止条件が満たされるか、或いは、クラスタ数が1になるまで繰り返し実行する。
The
このように、階層化クラスタリングによりマージされずに残ったクラスタがそれぞれ座席位置として推定される(図10の「座席位置の推定結果」参照)。座席推定部123は、クラスタに含まれる静的ボックスの中心座標の平均値(cx,cy)、及び、ボックスサイズの平均値(size)を、座席の位置及び参考サイズのデータとして用いてよい。
In this way, the clusters remaining unmerged by the hierarchical clustering are estimated as seat positions (see “Seat position estimation result” in FIG. 10). The
なお、座席推定部123は、マージされずに残ったクラスタのうち、クラスタ内に含まれるサンプル数(nの値)が極端に少ないクラスタを、ノイズと判断して座席情報から除外してもよい。サンプル数が極端に少ないクラスタとは、例えば、他のクラスタ内に含まれるサンプル数の平均値の数%(例示的に、2%)以下のクラスタであってよい。
The
〔1-3-4〕混雑度算出部の説明
混雑度算出部124は、混雑状況推定フェーズにおいて、頭部の検出結果と座席情報114とを用いて、混雑度を算出する。
[1-3-4] Description of Congestion Degree Calculation Unit The congestion
例えば、混雑度算出部124は、人の頭部の検出結果と座席情報114の各座席位置との距離を算出し、距離の近い検出結果及び座席位置のペアから順に、座席位置に対して、座席位置から閾値以下の距離に存在する人の頭部の検出結果を割り当てる。
For example, the congestion
これにより、頭部の検出結果が割り当てられた座席(人の居る座席)の情報と、検出結果が割り当てられない座席(空席)の情報と、が得られる。なお、頭部の検出位置と座席位置とが所定の距離以上離れている場合は、座席位置に対して当該頭部を割り当てなくてよい。 As a result, information on the seat to which the detection result of the head is assigned (seat with a person) and information on the seat to which the detection result is not assigned (vacant seat) can be obtained. If the detection position of the head and the seat position are separated by a predetermined distance or more, the head may not be assigned to the seat position.
人の頭部の検出結果としては、例えば、混雑状況推定フェーズにおいて取得された第2の画像における物体の検出結果が用いられてよい。一例として、人の頭部の検出結果は、メモリ部11に格納された検出情報112に含まれる、最新の(或いは端末装置6から要求された時刻の)検出対象のフレームにおいて検出された物体の情報が用いられてよい。
As the detection result of the human head, for example, the detection result of the object in the second image acquired in the congestion situation estimation phase may be used. As an example, the detection result of the human head is the object detected in the latest detection target frame (or the time requested by the terminal device 6) included in the
混雑度算出部124は、例えば、“人の居る座席数/全座席数”を算出することにより、検出対象のフレームに基づく混雑率を算出してよい。また、混雑度算出部124は、算出した混雑率に対して、“0.3”,“0.6”等の閾値を設けることにより、「空いている」/「通常」/「混んでいる」等の混雑状況の程度を表す混雑度(離散値)を推定してよい。なお、上記の例では、3段階の混雑度を推定するものとしたが、閾値の数を増減させることにより、混雑度の段階数を増減させてもよい。
The congestion
なお、上述のように、混雑状況推定フェーズ中に座席位置推定(更新)フェーズが実行される場合には、静的ボックス判定部122及び座席推定部123は、第2(第1)の画像における物体の検出結果を用いて、座席情報114を推定(更新)してよい。
As described above, when the seat position estimation (update) phase is executed during the congestion status estimation phase, the static
図11に混雑度算出部124による混雑度の推定結果の一例を示す。なお、図11は、監視カメラ2により撮影された撮影空間30の画像に対して、混雑度算出部124が当該画像に基づいて検出した、人の居る座席と、空席とを当て嵌めた様子を示す。図11においては、座席位置を丸の記号で示し、人が着席している座席位置を四角の記号で示している。
FIG. 11 shows an example of the estimation result of the degree of congestion by the degree of
図11(a)は混雑度が「空いている」場合、例えば混雑率が“0.3”未満である場合を示す。図11(b)は混雑度が「通常」の場合、例えば混雑率が“0.3”以上且つ“0.6”未満である場合を示す。図11(c)は混雑度が「混んでいる」場合、例えば混雑率が“0.6”以上である場合を示す。 FIG. 11A shows a case where the degree of congestion is “vacant”, for example, a case where the congestion rate is less than “0.3”. FIG. 11B shows a case where the degree of congestion is “normal”, for example, a case where the congestion rate is “0.3” or more and less than “0.6”. FIG. 11C shows a case where the degree of congestion is “crowded”, for example, a case where the congestion rate is “0.6” or more.
混雑度算出部124は、推定した混雑度の情報を、混雑度情報115としてメモリ部11に格納してよい。
The congestion
なお、図11(a)において符号Aで示すように、座席位置の情報が存在しないエリアで検出された物体には、座席が割り当てられなくてよく、この場合、当該物体は混雑率の算出に考慮しなくてよい。これにより、店員や移動中の顧客等が混雑率の算出に影響を与えないようにすることができる。なお、図11(a)においては、座席が割り当てられない物体を二重線の四角の記号で示している。 As shown by reference numeral A in FIG. 11A, a seat does not have to be assigned to an object detected in an area where the seat position information does not exist, and in this case, the object is used for calculating the congestion rate. You don't have to consider it. As a result, it is possible to prevent the clerk, the moving customer, and the like from affecting the calculation of the congestion rate. In FIG. 11A, an object to which a seat is not assigned is indicated by a double-lined square symbol.
〔1-3-5〕情報提示部の説明
情報提示部14は、制御部12により推定された混雑度の情報を、例えば端末装置6に提示してよい。
[1-3-5] Explanation of Information Presentation Unit The
図12は、情報提示部14による端末装置6への情報の提示例を示す図である。情報提示部14は、例えば、図12に示すように、端末装置6からの要求に応じて、端末装置6の表示装置60に対して、混雑度算出部124による推定結果である混雑度情報115に基づく店舗3の混雑度を提示してよい。
FIG. 12 is a diagram showing an example of presentation of information to the
提示される情報は、1つの店舗3に関する情報であってもよいし、図12に示すように複数の店舗3の各々に関する情報であってもよい。また、情報提示部14は、図12に示すように、店舗3の空席状況を閲覧できるようにしてもよい。空席情報は、例えば、推定した座席位置に基づきマップを生成し、当該マップに対して、空席或いは人が着席している座席を特定(例えば印を付ける等)した情報であってよい。
The information presented may be information about one
なお、端末装置6及び情報提示部14は、一例として、端末装置6がWebクライアント、情報提示部14がWebサーバとして機能してよい。この場合、端末装置6からのリクエストに応じて、情報提示部14がWebページを生成し、生成したWebページを端末装置6に応答してよい。なお、リクエストは、例えば、所定のURL(Uniform Resource Locator)に対するhttp(Hypertext Transfer Protocol)リクエストであってよい。また、Webページは、例えば、html(HyperText Markup Language)等のマークアップ言語により生成されてよい。
As an example of the
以上のように、一実施形態によれば、サーバ4は、NN13により、監視カメラ2の映像における人物の頭部を検出し、検出した頭部の位置を、静的ボックス判定部122及び座席推定部123により、例えばディープラーニングにより学習してよい。
As described above, according to one embodiment, the server 4 detects the head of a person in the image of the
人物の頭部が頻繁に滞留する、例えば停止する場所は、座席の位置と推定することができる。従って、映像から検出した人物の頭部が、推定した座席位置に重なるか否かを判定することにより、座席に人が居るか否かを判断でき、混雑率を算出できるようになる。 The location where the person's head frequently stays, for example, stops, can be presumed to be the position of the seat. Therefore, by determining whether or not the head of the person detected from the video overlaps with the estimated seat position, it is possible to determine whether or not there is a person in the seat, and the congestion rate can be calculated.
また、静的ボックス判定部122及び座席推定部123による処理によって、監視カメラ2の映像から座席位置を推定することができるため、店舗3の座席位置のマップや座席数を事前に取得しなくても、一実施形態に係る手法を適用できる。
Further, since the seat position can be estimated from the image of the
例えば、店舗3において、監視カメラ2の映像をサーバ4に送信する等の簡素な初期設定を行なうことで、一実施形態に係る手法を容易に店舗3に適用でき、高精度に座席の混雑率を把握可能となる。特に、多くの店舗3の座席の混雑状況を把握する際には、煩雑な初期設定等が不要となるため、従来のように1店舗ごとに監視カメラ2の撮影領域等の設定を行なうといった、多くのコストを削減できる。
For example, in the
一実施形態に係る手法は、例えば、以下のような場面に適用し、又は、応用することができる。 The method according to one embodiment can be applied or applied to, for example, the following situations.
・店舗3の混雑状況をリアルタイムに監視及び数値化する。
・施設や店舗3の経営者が混雑状況を把握し、店舗戦略に活用する。
・施設や店舗3の利用者が、混雑状況を端末装置6のモバイルアプリ等で確認し、施設や店舗3に行くか否かの意思決定を行なう。
・ Monitor and quantify the congestion status of
・ The managers of facilities and
-The user of the facility or
〔1-4〕動作例
次に、図13~図15を参照して、上述の如く構成された混雑度推定システム1の動作例を説明する。
[1-4] Operation Example Next, an operation example of the congestion
〔1-4-1〕座席位置推定フェーズの動作例
はじめに、図13及び図14を参照して、座席位置推定フェーズの動作例を説明する。
[1-4-1] Operation example of the seat position estimation phase First, an operation example of the seat position estimation phase will be described with reference to FIGS. 13 and 14.
サーバ4では、制御部12の情報取得部121が、店舗3に設置された監視カメラ2の映像データを取得し、映像データ111としてメモリ部11に格納する。
In the server 4, the
図13に例示するように、サーバ4のNN13は、映像データ111から一定間隔(例えば5分間隔)でフレームを取得し(ステップS1)、フレームから人物の頭部のボックスを検出する(ステップS2)。なお、NN13は、検出したボックスを検出情報112としてメモリ部11に格納してよい。
As illustrated in FIG. 13, the NN13 of the server 4 acquires frames from the
制御部12の静的ボックス判定部122は、検出情報112に基づいて、現在(例えば最新)のフレーム内の各ボックスを、過去N(例えばN=5)フレーム内のボックスと比較する(ステップS3)。
The static
なお、ボックス間の比較は、ボックスのサイズ及び/又はボックス間の距離、の比較によるスクリーニングと、色ヒストグラム、ピクセル差分、及びIoU等を用いたボックスの類似性の総合スコア同士の比較と、を含んでよい(図6及び図7参照)。 For comparison between boxes, screening by comparison of box size and / or distance between boxes and comparison of total scores of box similarity using color histograms, pixel differences, and IoU, etc. are performed. May include (see FIGS. 6 and 7).
静的ボックス判定部122は、比較した現在のフレーム内のボックスが過去のフレーム内のいずれかの静的ボックスと同一か否かを判定する(ステップS4)。
The static
ボックスが過去のフレーム内のいずれかの静的ボックスと同一の場合(ステップS4でYes)、静的ボックス判定部122は、当該ボックスを、ボックス情報113における当該静的ボックスのデータに追加し(ステップS5)、処理がステップS8に移行する。
If the box is the same as any static box in the past frame (Yes in step S4), the static
一方、ボックスが過去のフレーム内のいずれの静的ボックスとも同一ではない場合(ステップS4でNo)、過去Nフレーム中のM(例えばM=3)フレームに、ボックスと同一の非静的ボックスが存在するか否かを判定する(ステップS6)。ステップS6の条件を満たさない場合(ステップS6でNo)、処理がステップS8に移行する。 On the other hand, when the box is not the same as any static box in the past frame (No in step S4), the same non-static box as the box is in the M (for example, M = 3) frame in the past N frames. It is determined whether or not it exists (step S6). If the condition of step S6 is not satisfied (No in step S6), the process proceeds to step S8.
一方、ステップS6の条件を満たす場合(ステップS6でYes)、静的ボックス判定部122は、ボックス情報113において、これらのボックス及び非静的ボックスを新たな静的ボックスとして管理し(ステップS7)、処理がステップS8に移行する。
On the other hand, when the condition of step S6 is satisfied (Yes in step S6), the static
ステップS8では、過去Mフレーム連続で観測のない(すなわち検出されていない)静的ボックスが存在するか否かを判定する。該当する静的ボックスが存在しない場合(ステップS8でNo)、処理がステップS10に移行する。 In step S8, it is determined whether or not there is a static box that has not been observed (that is, has not been detected) in the past M frames in a row. If the corresponding static box does not exist (No in step S8), the process proceeds to step S10.
一方、該当する静的ボックスが存在する場合(ステップS8でYes)、静的ボックス判定部122は、当該静的ボックスをファイルに書き出し、メモリ上から削除する(ステップS9)。そして、静的ボックス判定部122は、現在のフレームにおいて全てのボックスを比較したか否かを判定する(ステップS10)。
On the other hand, when the corresponding static box exists (Yes in step S8), the static
全てのボックスを比較していない場合(ステップS10でNo)、処理がステップS3に移行し、比較を未実施のボックスについて比較を行なう。一方、全てのボックスを比較した場合(ステップS10でYes)、静的ボックス判定部122は、ボックス情報113の蓄積を開始してから所定期間、例えば3日間が経過したか否かを判定する(ステップS11)。
If all the boxes have not been compared (No in step S10), the process proceeds to step S3, and the boxes for which comparison has not been performed are compared. On the other hand, when all the boxes are compared (Yes in step S10), the static
所定期間が経過していない場合(ステップS11でNo)、処理がステップS1に移行し、次に入力されるフレームについて、上記の処理を実行する。 If the predetermined period has not elapsed (No in step S11), the process proceeds to step S1, and the above process is executed for the frame to be input next.
一方、所定期間が経過した場合(ステップS11でYes)、処理が図14のステップS12に移行する。なお、この場合、NN13及び静的ボックス判定部122は、座席位置推定(更新)フェーズとして、入力される映像データ111に基づき処理を継続してもよい。
On the other hand, when the predetermined period has elapsed (Yes in step S11), the process proceeds to step S12 in FIG. In this case, the
図14のステップS12では、座席推定部123が、各静的ボックスを初期のクラスタとして、各クラスタの代表値を設定する。例えば、座席推定部123は、クラスタ内の静的ボックスの中心座標の平均値(cx,cy)、ボックスサイズの平均値“size”、クラスタ内の静的ボックス数“n”、クラスタ内の静的ボックスの観測有無を示す配列、等を設定してよい。なお、配列には、例えば、フレームごとに、静的ボックスが観測されていれば“1”、観測されていなければ“0”が設定されてよい。
In step S12 of FIG. 14, the
次いで、座席推定部123は、クラスタのペアごとに、クラスタ間の距離指標(dward)を算出する(ステップS13)。なお、距離指標(dward)は、上記(3)式により算出されてよい。距離指標(dward)の算出には、クラスタペアの配列同士のAND結果のSUM(合計値)により求められるペナルティが加味されてよい(図9参照)。
Next, the
座席推定部123は、距離指標(dward)が最小となるクラスタペアを決定し(ステップS14)、当該クラスタペアが停止条件を満たすか否かを判定する(ステップS15)。停止条件は、上記(4)式により算出されてよい(図9参照)。
The
クラスタペアが停止条件を満たさない場合(ステップS15でNo)、座席推定部123は、当該クラスタペアをマージして新しいクラスタとする(ステップS16)。
When the cluster pair does not satisfy the stop condition (No in step S15), the
座席推定部123は、残りクラスタ数が1であるか否かを判定する(ステップS17)。残りクラスタ数が1ではない場合(ステップS17でNo)、処理がステップS13に移行する。
The
ステップS15でクラスタペアが停止条件を満たす場合(ステップS15でYes)、又は、ステップS17で残りクラスタ数が1の場合(ステップS17でYes)、処理がステップS18に移行する。 If the cluster pair satisfies the stop condition in step S15 (Yes in step S15), or if the number of remaining clusters is 1 in step S17 (Yes in step S17), the process proceeds to step S18.
ステップS18では、座席推定部123は、クラスタ内の静的ボックス数が他のクラスタの静的ボックス数の所定割合(例えば2%)以下であるクラスタを削除する。
In step S18, the
そして、座席推定部123は、残ったクラスタを座席情報114と出力、例えばメモリ部11に格納し(ステップS19)、座席位置推定フェーズの処理が終了する。
Then, the
〔1-4-2〕混雑状況推定フェーズの動作例
次に、図15を参照して、混雑状況推定フェーズの動作例を説明する。
[1-4-2] Operation example of congestion status estimation phase Next, an operation example of the congestion status estimation phase will be described with reference to FIG.
図15に例示するように、NN13は、映像データ111から一定間隔(例えば5分間隔)でフレームを取得し(ステップS21)、フレームから人物の頭部のボックスを検出する(ステップS22)。なお、NN13は、検出したボックスを検出情報112としてメモリ部11に格納してよい。また、座席位置推定(更新)フェーズが行なわれる場合、座席位置推定(更新)フェーズにおける図13のステップS1及びS2の処理は、ステップS21及びS22の処理に置き換えられてよい(ステップS1及びS2の処理を省略してもよい)。
As illustrated in FIG. 15, the
制御部12の混雑度算出部124は、検出情報112における現在(例えば最新)のフレームのボックスと、座席情報114における座席位置との間の距離を算出する(ステップS23)。なお、距離は、ボックス及び座席位置のそれぞれの中心座標或いは平均座標間の距離であってよい。
The congestion
次いで、混雑度算出部124は、距離の近い順に、座席位置に対して、距離が閾値以下のボックスを割り当てる(ステップS24)。
Next, the congestion
そして、混雑度算出部124は、ボックスを割り当てられた、換言すれば人の居る、座席数をカウントし(ステップS25)、混雑率として、“人の居る座席数/全座席数”を算出する(ステップS26)。
Then, the congestion
混雑度算出部124は、算出した混雑率が、第1の閾値の一例である“0.3”未満か否かを判定する(ステップS27)。混雑率が“0.3”未満の場合(ステップS27でYes)、混雑度算出部124は、混雑度を「空いている」と推定し(ステップS28)、混雑度情報115をメモリ部11に格納して、処理がステップS32に移行する。
The congestion
混雑率が“0.3”以上の場合(ステップS27でNo)、混雑度算出部124は、混雑率が、第2の閾値の一例である“0.6”未満か否かを判定する(ステップS29)。混雑率が“0.6”未満(且つ“0.3”以上)の場合(ステップS29でYes)、混雑度算出部124は、混雑度を「通常」と推定し(ステップS30)、混雑度情報115をメモリ部11に格納して、処理がステップS32に移行する。
When the congestion rate is "0.3" or more (No in step S27), the congestion
一方、混雑率が“0.6”以上の場合(ステップS29でNo)、混雑度算出部124は、混雑度を「混んでいる」と推定し(ステップS31)、混雑度情報115をメモリ部11に格納して、処理がステップS32に移行する。
On the other hand, when the congestion rate is "0.6" or more (No in step S29), the congestion
ステップS32では、サーバ4の情報提示部14が、混雑度情報115に基づき、店舗3の混雑度の情報を提示する。例えば、情報提示部14は、端末装置6からの要求に応じて、店舗3の混雑度の情報を含むWebページを端末装置6に表示させてよい。
In step S32, the
以上により、混雑状況推定フェーズの処理が終了する。 As a result, the processing of the congestion status estimation phase is completed.
〔1-5〕ハードウェア構成例
次に、図16を参照して、一実施形態に係るサーバ4のハードウェア構成例について説明する。以下、サーバ4の一例としてコンピュータ10を例に挙げて、コンピュータ10のハードウェア構成例について説明する。なお、端末装置6についても、サーバ4と同様のハードウェア構成をそなえてよい。
[1-5] Hardware Configuration Example Next, a hardware configuration example of the server 4 according to the embodiment will be described with reference to FIG. Hereinafter, a
図16に示すように、コンピュータ10は、例示的に、プロセッサ10a、メモリ10b、記憶部10c、IF(Interface)部10d、I/O(Input / Output)部10e、及び読取部10fをそなえてよい。
As shown in FIG. 16, the
プロセッサ10aは、種々の制御や演算を行なう演算処理装置の一例である。プロセッサ10aは、コンピュータ10内の各ブロックとバス10iで相互に通信可能に接続されてよい。プロセッサ10aとしては、例えば、CPU、MPU、DSP、ASIC、FPGA等の集積回路(IC)が用いられてもよい。なお、CPUはCentral Processing Unitの略称であり、MPUはMicro Processing Unitの略称である。DSPはDigital Signal Processorの略称であり、ASICはApplication Specific Integrated Circuitの略称であり、FPGAはField-Programmable Gate Arrayの略称である。
The
メモリ10bは、種々のデータやプログラム等の情報を格納するハードウェアの一例である。メモリ10bとしては、例えばRAM等の揮発性メモリが挙げられる。
The
記憶部10cは、種々のデータやプログラム等の情報を格納するハードウェアの一例である。記憶部10cとしては、例えばHDD等の磁気ディスク装置、SSD等の半導体ドライブ装置、不揮発性メモリ等の各種記憶装置が挙げられる。不揮発性メモリとしては、例えば、フラッシュメモリ、SCM(Storage Class Memory)、ROM(Read Only Memory)等が挙げられる。
The
なお、図1に示すメモリ部11は、例えば、サーバ4のメモリ10b及び記憶部10cの少なくとも一方の記憶領域により実現されてもよい。
The
また、記憶部10cは、コンピュータ10の各種機能の全部若しくは一部を実現するプログラム10gを格納してよい。プロセッサ10aは、記憶部10cに格納されたプログラム10gをメモリ10bに展開して実行することにより、図1に示すサーバ4としての機能を実現できる。
Further, the
IF部10dは、ネットワーク5との間の接続及び通信の制御等を行なう通信インタフェースの一例である。例えば、IF部10dは、LAN、或いは、光通信(例えばFC(Fibre Channel;ファイバチャネル))等に準拠したアダプタを含んでよい。例えば、プログラム10gは、当該通信インタフェースを介してネットワーク5からコンピュータ10にダウンロードされ、記憶部10cに格納されてもよい。
The
I/O部10eは、マウス、キーボード、又は操作ボタン等の入力部、並びに、タッチパネルディスプレイ、LCD(Liquid Crystal Display)等のモニタ、プロジェクタ、又はプリンタ等の出力部、の一方又は双方を含んでよい。
The I /
読取部10fは、記録媒体10hに記録されたデータやプログラムの情報を読み出すリーダの一例である。読取部10fは、記録媒体10hを接続可能又は挿入可能な接続端子又は装置を含んでよい。読取部10fとしては、例えば、USB(Universal Serial Bus)等に準拠したアダプタ、記録ディスクへのアクセスを行なうドライブ装置、SDカード等のフラッシュメモリへのアクセスを行なうカードリーダ等が挙げられる。なお、記録媒体10hにはプログラム10gが格納されてもよく、読取部10fが記録媒体10hからプログラム10gを読み出して記憶部10cに格納してもよい。
The
記録媒体10hとしては、例示的に、磁気/光ディスクやフラッシュメモリ等の非一時的な記録媒体が挙げられる。磁気/光ディスクとしては、例示的に、フレキシブルディスク、CD(Compact Disc)、DVD(Digital Versatile Disc)、ブルーレイディスク、HVD(Holographic Versatile Disc)等が挙げられる。フラッシュメモリとしては、例示的に、USBメモリやSDカード等が挙げられる。なお、CDとしては、例示的に、CD-ROM、CD-R、CD-RW等が挙げられる。また、DVDとしては、例示的に、DVD-ROM、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等が挙げられる。
Examples of the
上述したコンピュータ10のハードウェア構成は例示である。従って、サーバ4における、コンピュータ10内でのハードウェアの増減(例えば任意のブロックの追加や削除)、分割、任意の組み合わせでの統合、又は、バスの追加若しくは削除等は適宜行なわれてもよい。
The hardware configuration of the
〔2〕その他
上述した一実施形態に係る技術は、以下のように変形、変更して実施することができる。
[2] Others The technique according to the above-described embodiment can be modified or modified as follows.
例えば、図1に示すサーバ4の各機能ブロックは、それぞれ任意の組み合わせで併合してもよく、分割してもよい。また、図1に示す制御部12の各機能ブロックは、それぞれ任意の組み合わせで併合してもよく、分割してもよい。
For example, each functional block of the server 4 shown in FIG. 1 may be merged or divided in any combination. Further, each functional block of the
さらに、図16に示すコンピュータ10のプロセッサ10aは、シングルプロセッサやシングルコアプロセッサに限定されるものではなく、マルチプロセッサやマルチコアプロセッサであってもよい。
Further, the
上述した一実施形態では、映像に対する人の頭部の検出モデルの認識結果に基づき滞留領域を推定する手法を用いて、店舗映像の入力から混雑度を算出する処理について説明した。しかしながら、推定した滞留領域の情報は、上述した態様での利用に限定されるものではなく、種々の分析或いは推定に用いられてもよい。 In the above-described embodiment, the process of calculating the degree of congestion from the input of the store image is described by using the method of estimating the retention area based on the recognition result of the detection model of the human head for the image. However, the estimated retention region information is not limited to the use in the above-described embodiment, and may be used for various analyzes or estimations.
また、一実施形態において、座席推定部123は、階層化クラスタリングを行なうものとしたが、これに限定されるものではない。例えば、店舗3に設けられた座席の数が事前に判明している場合には、座席推定部123は、座席数と同数のクラスタを作成するように、非階層化クラスタリングを行なってもよい。
Further, in one embodiment, the
座席数の情報は、例えば、サーバ4或いは管理者等によりネットワーク5を介してインターネット等から取得され、データベース、例えばメモリ部11に格納されてよい。この場合、情報取得部121は、座席推定部123によるクラスタリングに際して、メモリ部11から、撮影空間30における座席数の情報を取得する取得部の一例として機能してよい。
The information on the number of seats may be acquired from the Internet or the like via the
店舗3の座席数の情報は、インターネットにおいて施設や店舗3のホームページや、紹介サイト等に掲載されている場合が多く、容易に取得可能である。従って、初期設定におけるコストの増加を抑制しつつ、正確な座席数に基づき座席位置を正確に推定することができる。
Information on the number of seats in the
さらに、一実施形態において、サーバ4が1つの監視カメラ2からの映像データに基づいて座席位置及び混雑度を推定するものとしたが、これに限定されるものではない。
Further, in one embodiment, the server 4 estimates the seat position and the degree of congestion based on the video data from one
例えば、サーバ4は、店舗3に設けられた複数の監視カメラ2の各々から映像データを取得する場合、監視カメラ2ごとに、座席位置及び混雑度を推定してよい。そして、サーバ4は、推定した監視カメラ2ごとの混雑度(或いは混雑率)を例えば平均化することで、店舗3における混雑度を推定してよい。
For example, when the server 4 acquires video data from each of the plurality of
〔3〕付記
以上の実施形態に関し、さらに以下の付記を開示する。
[3] Additional notes The following additional notes will be further disclosed with respect to the above embodiments.
(付記1)
空間を撮影した複数の第1画像の各々から検出された物体について、検出された各物体の位置情報と、前記複数の第1画像の各々における各物体の検出状況と、に基づき、前記複数の第1画像間で相互に関連する物体をグループ化し、
前記グループ化の結果に基づき、前記空間において各物体が滞留する滞留領域を推定する、
処理をコンピュータに実行させる、推定プログラム。
(Appendix 1)
For the objects detected from each of the plurality of first images obtained by photographing the space, the plurality of objects are based on the position information of each detected object and the detection status of each object in each of the plurality of first images. Grouping objects that are related to each other between the first images
Based on the result of the grouping, the residence area where each object stays in the space is estimated.
An estimation program that lets a computer perform processing.
(付記2)
前記空間を撮影した第2画像から検出された物体の位置情報と、推定された前記空間における前記滞留領域の情報と、に基づき、前記滞留領域の混雑度を推定する、
処理を前記コンピュータに実行させる、付記1に記載の推定プログラム。
(Appendix 2)
The degree of congestion of the stagnant region is estimated based on the position information of the object detected from the second image obtained by photographing the space and the estimated information of the stagnant region in the space.
The estimation program according to
(付記3)
所定数以上の第1画像間において同一位置に存在すると判断した前記所定数以上の物体を一の静的物体と対応付けて管理する、
処理を前記コンピュータに実行させ、
前記グループ化は、前記複数の第1画像間で、距離に関する条件を満たす静的物体同士を前記相互に関連する物体としてグループ化する、
付記1又は付記2に記載の推定プログラム。
(Appendix 3)
A predetermined number or more of objects determined to exist at the same position among a predetermined number or more of the first images are managed in association with one static object.
Let the computer perform the process
In the grouping, static objects satisfying the condition regarding distance are grouped as the interconnected objects among the plurality of first images.
The estimation program described in
(付記4)
前記管理は、前記所定数以上の第1画像間において、物体の画像成分が一致すると判断した前記所定数以上の物体を前記一の静的物体と対応付けて管理する、
付記3に記載の推定プログラム。
(Appendix 4)
The management manages the predetermined number or more of objects determined to match the image components of the objects among the predetermined number or more of the first images in association with the one static object.
The estimation program described in
(付記5)
前記グループ化は、
前記複数の第1画像の各々における各物体の検出状況を示す情報であって、前記静的物体ごとに、前記複数の第1画像の各々において当該静的物体に対応付けられた物体が存在するか否かを示す情報を生成し、
前記生成した情報に基づき、対応する物体が一の第1画像内に存在する静的物体同士をグループ化の対象から除外する、
付記3又は付記4に記載の推定プログラム。
(Appendix 5)
The grouping is
Information indicating the detection status of each object in each of the plurality of first images, and for each of the static objects, there is an object associated with the static object in each of the plurality of first images. Generates information indicating whether or not
Based on the generated information, static objects whose corresponding objects exist in one first image are excluded from the grouping target.
The estimation program according to
(付記6)
前記グループ化は、階層化クラスタリングを行なう、
付記1~5のいずれか1項に記載の推定プログラム。
(Appendix 6)
The grouping performs hierarchical clustering.
The estimation program according to any one of
(付記7)
前記空間における前記滞留領域の数をデータベースから取得する、
処理を前記コンピュータに実行させ、
前記グループ化は、取得した前記滞留領域の数のグループを作成するように、非階層化クラスタリングを行なう、
付記1~5のいずれか1項に記載の推定プログラム。
(Appendix 7)
The number of the stagnant areas in the space is obtained from the database.
Let the computer perform the process
The grouping performs non-hierarchical clustering so as to create a group of the number of acquired residence regions.
The estimation program according to any one of
(付記8)
前記物体は人体の頭部であり、
前記滞留領域は座席領域であり、
画像の特徴量を検出するニューラルネットワークを用いて、前記複数の第1画像の各々から人体の頭部である前記物体を検出する、
処理を前記コンピュータに実行させる、付記1~7のいずれか1項に記載の推定プログラム。
(Appendix 8)
The object is the head of the human body
The stagnation area is a seating area.
Using a neural network that detects the feature amount of an image, the object that is the head of the human body is detected from each of the plurality of first images.
The estimation program according to any one of
(付記9)
空間を撮影した複数の第1画像の各々から検出された物体について、検出された各物体の位置情報と、前記複数の第1画像の各々における各物体の検出状況と、に基づき、前記複数の第1画像間で相互に関連する物体をグループ化するグループ化部と、
前記グループ化の結果に基づき、前記空間において各物体が滞留する滞留領域を推定する推定部と、
をそなえる推定システム。
(Appendix 9)
For the objects detected from each of the plurality of first images obtained by photographing the space, the plurality of objects are based on the position information of each detected object and the detection status of each object in each of the plurality of first images. A grouping unit that groups objects that are related to each other between the first images,
Based on the result of the grouping, an estimation unit that estimates the retention area where each object stays in the space, and an estimation unit.
Estimating system with.
(付記10)
前記空間を撮影した第2画像から検出された物体の位置情報と、推定された前記空間における前記滞留領域の情報と、に基づき、前記滞留領域の混雑度を推定する混雑度推定部、
をそなえる、付記9に記載の推定システム。
(Appendix 10)
A congestion degree estimation unit that estimates the degree of congestion in the residence area based on the position information of the object detected from the second image obtained by photographing the space and the estimated information on the retention area in the space.
The estimation system described in
(付記11)
所定数以上の第1画像間において同一位置に存在すると判断した前記所定数以上の物体を一の静的物体と対応付けて管理する管理部、をそなえ、
前記グループ化部は、前記複数の第1画像間で、距離に関する条件を満たす静的物体同士を前記相互に関連する物体としてグループ化する、
付記9又は付記10に記載の推定システム。
(Appendix 11)
It is equipped with a management unit that manages the predetermined number or more of objects determined to exist at the same position among the predetermined number or more of the first images in association with one static object.
The grouping unit groups static objects satisfying the condition of distance between the plurality of first images as the mutually related objects.
The estimation system according to
(付記12)
前記管理部は、前記所定数以上の第1画像間において、物体の画像成分が一致すると判断した前記所定数以上の物体を前記一の静的物体と対応付けて管理する、
付記11に記載の推定システム。
(Appendix 12)
The management unit manages the predetermined number or more of objects determined to match the image components of the objects among the predetermined number or more of the first images in association with the one static object.
The estimation system according to
(付記13)
前記グループ化部は、
前記複数の第1画像の各々における各物体の検出状況を示す情報であって、前記静的物体ごとに、前記複数の第1画像の各々において当該静的物体に対応付けられた物体が存在するか否かを示す情報を生成し、
前記生成した情報に基づき、対応する物体が一の第1画像内に存在する静的物体同士をグループ化の対象から除外する、
付記11又は付記12に記載の推定システム。
(Appendix 13)
The grouping unit
Information indicating the detection status of each object in each of the plurality of first images, and for each of the static objects, there is an object associated with the static object in each of the plurality of first images. Generates information indicating whether or not
Based on the generated information, static objects whose corresponding objects exist in one first image are excluded from the grouping target.
The estimation system according to
(付記14)
前記グループ化部は、階層化クラスタリングにより前記グループ化を行なう、
付記9~13のいずれか1項に記載の推定システム。
(Appendix 14)
The grouping unit performs the grouping by hierarchical clustering.
The estimation system according to any one of
(付記15)
前記空間における前記滞留領域の数をデータベースから取得する取得部、をそなえ、
前記グループ化部は、取得した前記滞留領域の数のグループを作成するように、非階層化クラスタリングにより前記グループ化を行なう、
付記9~13のいずれか1項に記載の推定システム。
(Appendix 15)
It is equipped with an acquisition unit that acquires the number of the retention areas in the space from the database.
The grouping unit performs the grouping by non-hierarchical clustering so as to create a group of the number of acquired residence regions.
The estimation system according to any one of
(付記16)
前記物体は人体の頭部であり、
前記滞留領域は座席領域であり、
画像の特徴量を検出するニューラルネットワークであって、前記複数の第1画像の各々から人体の頭部である前記物体を検出する前記ニューラルネットワーク、をそなえる、付記9~15のいずれか1項に記載の推定システム。
(Appendix 16)
The object is the head of the human body
The stagnation area is a seating area.
In any one of the
(付記17)
空間を撮影した複数の第1画像の各々から検出された物体について、検出された各物体の位置情報と、前記複数の第1画像の各々における各物体の検出状況と、に基づき、前記複数の第1画像間で相互に関連する物体をグループ化し、
前記グループ化の結果に基づき、前記空間において各物体が滞留する滞留領域を推定する、推定方法。
(Appendix 17)
For the objects detected from each of the plurality of first images obtained by photographing the space, the plurality of objects are based on the position information of each detected object and the detection status of each object in each of the plurality of first images. Grouping objects that are related to each other between the first images
An estimation method for estimating a retention region in which each object stays in the space based on the result of the grouping.
(付記18)
前記空間を撮影した第2画像から検出された物体の位置情報と、推定された前記空間における前記滞留領域の情報と、に基づき、前記滞留領域の混雑度を推定する、
付記17に記載の推定方法。
(Appendix 18)
The degree of congestion of the stagnant region is estimated based on the position information of the object detected from the second image obtained by photographing the space and the estimated information of the stagnant region in the space.
The estimation method described in
(付記19)
所定数以上の第1画像間において同一位置に存在すると判断した前記所定数以上の物体を一の静的物体と対応付けて管理し、
前記グループ化は、前記複数の第1画像間で、距離に関する条件を満たす静的物体同士を前記相互に関連する物体としてグループ化する、
付記17又は付記18に記載の推定方法。
(Appendix 19)
The predetermined number or more of the objects determined to exist at the same position among the predetermined number or more of the first images are managed in association with one static object.
In the grouping, static objects satisfying the condition regarding distance are grouped as the interconnected objects among the plurality of first images.
The estimation method according to
(付記20)
前記管理は、前記所定数以上の第1画像間において、物体の画像成分が一致すると判断した前記所定数以上の物体を前記一の静的物体と対応付けて管理する、
付記19に記載の推定方法。
(Appendix 20)
The management manages the predetermined number or more of objects determined to match the image components of the objects among the predetermined number or more of the first images in association with the one static object.
The estimation method described in
1 混雑度推定システム
2 監視カメラ
3 店舗
4 サーバ
5 ネットワーク
6 端末装置
10 コンピュータ
11 メモリ部
111 映像データ
112 検出情報
113 ボックス情報
114 座席情報
115 混雑度情報
12 制御部
121 情報取得部
122 静的ボックス判定部
123 座席推定部
124 混雑度算出部
13 NN(ニューラルネットワーク)
14 情報提示部
1 Congestion
14 Information presentation section
Claims (8)
前記グループ化の結果に基づき、前記空間において各物体が滞留する滞留領域を推定する、
処理をコンピュータに実行させ、
所定数以上の前記第1画像間において、物体の画像成分が一致すると判断した前記所定数以上の物体を一の物体と対応付けて管理する、
処理をさらに前記コンピュータに実行させ、
前記グループ化は、前記複数の第1画像間で、距離に関する条件を満たす一の物体同士を前記相互に関連する物体としてグループ化する、処理を含み、
前記グループ化は、さらに、
前記複数の第1画像の各々における各物体の検出状況を示す情報であって、前記一の物体ごとに、前記複数の第1画像の各々において当該一の物体に対応付けられた物体が存在するか否かを示す情報を生成し、
前記生成した情報に基づき、対応する物体が一の第1画像内に存在する一の物体同士をグループ化の対象から除外する、処理を含む
推定プログラム。 For the objects detected from each of the plurality of first images obtained by photographing the space, the plurality of objects are based on the position information of each detected object and the detection status of each object in each of the plurality of first images. Grouping objects that are related to each other between the first images
Based on the result of the grouping, the residence area where each object stays in the space is estimated.
Let the computer do the processing,
Among the first images having a predetermined number or more, the objects having the predetermined number or more determined to match the image components of the objects are managed in association with one object.
Further processing is performed by the computer,
The grouping includes a process of grouping one object satisfying the condition regarding distance between the plurality of first images as the mutually related object.
The grouping further
Information indicating the detection status of each object in each of the plurality of first images, and for each of the one object, there is an object associated with the one object in each of the plurality of first images. Generates information indicating whether or not
Including a process of excluding one object whose corresponding object exists in one first image from the target of grouping based on the generated information.
Estimate program.
処理を前記コンピュータに実行させる、請求項1に記載の推定プログラム。 The degree of congestion of the stagnant region is estimated based on the position information of the object detected from the second image obtained by photographing the space and the estimated information of the stagnant region in the space.
The estimation program according to claim 1, wherein the processing is executed by the computer.
請求項1又は請求項2に記載の推定プログラム。 The management manages an object that is determined to exist at the same position among the predetermined number or more of the first images and that the image components are determined to match in association with the one object.
The estimation program according to claim 1 or 2.
請求項1~3のいずれか1項に記載の推定プログラム。 The grouping performs hierarchical clustering.
The estimation program according to any one of claims 1 to 3 .
処理を前記コンピュータに実行させ、
前記グループ化は、取得した前記滞留領域の数のグループを作成するように、非階層化クラスタリングを行なう、
請求項1~3のいずれか1項に記載の推定プログラム。 The number of the stagnant areas in the space is obtained from the database.
Let the computer perform the process
The grouping performs non-hierarchical clustering so as to create a group of the number of acquired residence regions.
The estimation program according to any one of claims 1 to 3 .
前記滞留領域は座席領域であり、
画像の特徴量を検出するニューラルネットワークを用いて、前記複数の第1画像の各々から人体の頭部である前記物体を検出する、
処理を前記コンピュータに実行させる、請求項1~5のいずれか1項に記載の推定プログラム。 The object is the head of the human body
The stagnation area is a seating area.
Using a neural network that detects the feature amount of an image, the object that is the head of the human body is detected from each of the plurality of first images.
The estimation program according to any one of claims 1 to 5 , which causes the computer to execute the process.
前記グループ化の結果に基づき、前記空間において各物体が滞留する滞留領域を推定する推定部と、
をそなえる推定システムであって、
前記推定システムは、所定数以上の前記第1画像間において、物体の画像成分が一致すると判断した前記所定数以上の物体を一の物体と対応付けて管理する管理部をさらにそなえ、
前記グループ化は、前記複数の第1画像間で、距離に関する条件を満たす一の物体同士を前記相互に関連する物体としてグループ化し、
前記グループ化は、さらに、
前記複数の第1画像の各々における各物体の検出状況を示す情報であって、前記一の物体ごとに、前記複数の第1画像の各々において当該一の物体に対応付けられた物体が存在するか否かを示す情報を生成し、
前記生成した情報に基づき、対応する物体が一の第1画像内に存在する一の物体同士をグループ化の対象から除外する、
推定システム。 For the objects detected from each of the plurality of first images obtained by photographing the space, the plurality of objects are based on the position information of each detected object and the detection status of each object in each of the plurality of first images. A grouping unit that groups objects that are related to each other between the first images,
Based on the result of the grouping, an estimation unit that estimates the retention area where each object stays in the space, and an estimation unit.
It is an estimation system that has
The estimation system further includes a management unit that manages the predetermined number or more of objects determined to match the image components of the objects among the predetermined number or more of the first images in association with one object.
In the grouping, one object satisfying the condition regarding the distance is grouped as the mutually related object among the plurality of first images.
The grouping further
Information indicating the detection status of each object in each of the plurality of first images, and for each of the one object, there is an object associated with the one object in each of the plurality of first images. Generates information indicating whether or not
Based on the generated information, one object whose corresponding object exists in one first image is excluded from the grouping target.
Estimating system.
前記グループ化の結果に基づき、前記空間において各物体が滞留する滞留領域を推定する、
処理をコンピュータが実行し、
前記所定数以上の前記第1画像間において、物体の画像成分が一致すると判断した前記所定数以上の物体を一の物体と対応付けて管理する、
処理をさらに前記コンピュータが実行し、
前記グループ化は、前記複数の第1画像間で、距離に関する条件を満たす一の物体同士を前記相互に関連する物体としてグループ化し、
前記グループ化は、さらに、
前記複数の第1画像の各々における各物体の検出状況を示す情報であって、前記一の物体ごとに、前記複数の第1画像の各々において当該一の物体に対応付けられた物体が存在するか否かを示す情報を生成し、
前記生成した情報に基づき、対応する物体が一の第1画像内に存在する一の物体同士をグループ化の対象から除外する、
推定方法。 For the objects detected from each of the plurality of first images obtained by photographing the space, the plurality of objects are based on the position information of each detected object and the detection status of each object in each of the plurality of first images. Grouping objects that are related to each other between the first images
Based on the result of the grouping, the residence area where each object stays in the space is estimated.
The computer executes the process,
Among the first images having a predetermined number or more, the objects having a predetermined number or more determined to match the image components of the objects are managed in association with one object.
Further processing is performed by the computer,
In the grouping, one object satisfying the condition regarding the distance is grouped as the mutually related object among the plurality of first images.
The grouping further
Information indicating the detection status of each object in each of the plurality of first images, and for each of the one object, there is an object associated with the one object in each of the plurality of first images. Generates information indicating whether or not
Based on the generated information, one object whose corresponding object exists in one first image is excluded from the grouping target.
Estimating method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017230761A JP7069667B2 (en) | 2017-11-30 | 2017-11-30 | Estimating program, estimation system, and estimation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017230761A JP7069667B2 (en) | 2017-11-30 | 2017-11-30 | Estimating program, estimation system, and estimation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019101664A JP2019101664A (en) | 2019-06-24 |
JP7069667B2 true JP7069667B2 (en) | 2022-05-18 |
Family
ID=66973694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017230761A Active JP7069667B2 (en) | 2017-11-30 | 2017-11-30 | Estimating program, estimation system, and estimation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7069667B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6877501B2 (en) * | 2019-08-09 | 2021-05-26 | 三菱電機インフォメーションシステムズ株式会社 | Retention detection device, retention detection method and retention detection program |
JP7238821B2 (en) * | 2020-02-06 | 2023-03-14 | トヨタ自動車株式会社 | Map generation system and map generation program |
CN111275002A (en) * | 2020-02-18 | 2020-06-12 | 上海商汤临港智能科技有限公司 | Image processing method and device and electronic equipment |
KR102514735B1 (en) * | 2020-12-10 | 2023-03-27 | 재단법인대구경북과학기술원 | Health examination assist apparatus and method |
WO2022172643A1 (en) * | 2021-02-09 | 2022-08-18 | パナソニックIpマネジメント株式会社 | Estimation system, human monitoring system, estimation method, and program |
JP7157838B2 (en) * | 2021-03-15 | 2022-10-20 | 三菱電機インフォメーションシステムズ株式会社 | Detection device, detection method and detection program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008250830A (en) | 2007-03-30 | 2008-10-16 | Toshiba Corp | Attendance checking system and attendance checking method |
JP2013218511A (en) | 2012-04-09 | 2013-10-24 | Panasonic Corp | Monitoring system and telephone system |
JP2013242825A (en) | 2012-05-23 | 2013-12-05 | Panasonic Corp | Personal attribute estimation system and learning data creation device |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3307354B2 (en) * | 1999-01-29 | 2002-07-24 | 日本電気株式会社 | Personal identification method and apparatus and recording medium recording personal identification program |
JP2010198566A (en) * | 2009-02-27 | 2010-09-09 | Nec Corp | Device, method and program for measuring number of people |
-
2017
- 2017-11-30 JP JP2017230761A patent/JP7069667B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008250830A (en) | 2007-03-30 | 2008-10-16 | Toshiba Corp | Attendance checking system and attendance checking method |
JP2013218511A (en) | 2012-04-09 | 2013-10-24 | Panasonic Corp | Monitoring system and telephone system |
JP2013242825A (en) | 2012-05-23 | 2013-12-05 | Panasonic Corp | Personal attribute estimation system and learning data creation device |
Non-Patent Citations (1)
Title |
---|
西川純貴、外4名,"カメラ画像に基づく講義室内の受講者位置推定",電子情報通信学会2015年総合大会,日本,一般社団法人電子情報通信学会,2015年02月24日,p.196 |
Also Published As
Publication number | Publication date |
---|---|
JP2019101664A (en) | 2019-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7069667B2 (en) | Estimating program, estimation system, and estimation method | |
US20190012547A1 (en) | Congestion-state-monitoring system | |
US10009579B2 (en) | Method and system for counting people using depth sensor | |
US10552687B2 (en) | Visual monitoring of queues using auxillary devices | |
US20150312529A1 (en) | System and method for video-based determination of queue configuration parameters | |
RU2607774C2 (en) | Control method in image capture system, control apparatus and computer-readable storage medium | |
US20180268224A1 (en) | Information processing device, determination device, notification system, information transmission method, and program | |
KR102335045B1 (en) | Method for detecting human-object using depth camera and device | |
US9858486B2 (en) | Device and method for detecting circumventing behavior and device and method for processing cause of circumvention | |
KR20130095727A (en) | Semantic parsing of objects in video | |
CN103578018A (en) | Method, device and system for detecting lost sales due to an out-of-shelf condition | |
US20080298636A1 (en) | Method for detecting water regions in video | |
EP3349142B1 (en) | Information processing device and method | |
JP2016095808A (en) | Object detection device, object detection method, image recognition device and computer program | |
JP5982557B2 (en) | Video surveillance system and image search system | |
US11023713B2 (en) | Suspiciousness degree estimation model generation device | |
JP4821355B2 (en) | Person tracking device, person tracking method, and person tracking program | |
JP2017063266A (en) | Information processing method, information processing apparatus, and program | |
KR102550673B1 (en) | Method for visitor access statistics analysis and apparatus for the same | |
WO2018107748A1 (en) | Path detection method and apparatus | |
US20160085297A1 (en) | Non-transitory computer readable medium, information processing apparatus, and position conversion method | |
JP2020173775A (en) | Object detector and congestion state management device | |
JP2012049774A (en) | Video monitoring device | |
KR102290857B1 (en) | Artificial intelligence based smart user detection method and device using channel state information | |
US20200388040A1 (en) | Video analyzing apparatus, control method thereof, and non-transitory computer-readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190607 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200911 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211115 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220228 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220228 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220315 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220322 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220418 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7069667 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |