JP6300130B1 - Service situation analysis device and service situation analysis system - Google Patents

Service situation analysis device and service situation analysis system Download PDF

Info

Publication number
JP6300130B1
JP6300130B1 JP2017010365A JP2017010365A JP6300130B1 JP 6300130 B1 JP6300130 B1 JP 6300130B1 JP 2017010365 A JP2017010365 A JP 2017010365A JP 2017010365 A JP2017010365 A JP 2017010365A JP 6300130 B1 JP6300130 B1 JP 6300130B1
Authority
JP
Japan
Prior art keywords
customer service
customer
store
position information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017010365A
Other languages
Japanese (ja)
Other versions
JP2018120344A (en
Inventor
祥樹 手島
祥樹 手島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2017010365A priority Critical patent/JP6300130B1/en
Application granted granted Critical
Publication of JP6300130B1 publication Critical patent/JP6300130B1/en
Publication of JP2018120344A publication Critical patent/JP2018120344A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】店員が接客を行ったことを精度良く判定できるようにする。【解決手段】店員特定の処理により、店舗内の人物を撮像した画像データから取得した人物の位置情報、および店員が所持する携帯端末装置の位置情報に基づいて、店員の位置情報および顧客の位置情報を取得し、発話判定の処理により、店舗内の音声を収音した音声データから取得した音声の位置情報、および店員の位置情報に基づいて、店員が発話した位置を表す発話位置情報を取得し、接客判定の処理により、発話位置情報および顧客の位置情報に基づいて、店員が接客を行ったか否かを判定し、接客集計の処理により、接客判定の判定結果に基づいて、接客状況に関する情報を生成する。【選択図】図５An object of the present invention is to accurately determine that a store clerk has been serving customers. Based on position information of a person acquired from image data obtained by imaging a person in a store by processing of store clerk identification and position information of a mobile terminal device possessed by the clerk, the position information of the clerk and the position of the customer Acquire information and utterance location information representing the location where the store clerk uttered based on the location information of the speech acquired from the voice data obtained by collecting the voice in the store and the location information of the store clerk through the speech determination process In the service determination process, it is determined whether or not the store clerk has been serving customers based on the utterance position information and the customer position information. Generate information. [Selection] Figure 5

Description

本発明は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置および接客状況分析システムに関するものである。   The present invention relates to a customer service situation analysis apparatus and a customer service situation analysis system that analyze a customer service situation of a customer at a store and generate information related to the customer service situation by a processor.

店舗では、来店した顧客に店員が声掛けや案内などの接客を行うが、この来店時の接客を迅速に行って、顧客を長時間放置しないようにすることが、顧客満足度を向上させる上で重要である。   In the store, the store clerk handles customer calls and guidance to customers who come to the store. Providing customers quickly when visiting the store and not leaving the customer for a long time improves customer satisfaction. Is important.

このような店舗での店員による接客状況を把握する技術として、従来、店舗内を撮像するカメラの撮像画像から人物の位置情報を取得し、また、店員が所持する携帯端末との通信により店員の位置情報を取得して、店員以外の人物を顧客として、店員と顧客とが近くにいる場合には、店員が接客を行っていると判定する技術が知られている（特許文献１参照）。   As a technique for grasping the customer service situation in such a store, conventionally, the position information of a person is acquired from a captured image of a camera that captures the inside of the store, and the store clerk's communication with a mobile terminal possessed by the store clerk A technique is known in which position information is acquired and a person other than the store clerk is a customer and the store clerk and the customer are close to each other, and it is determined that the store clerk is serving customers (see Patent Document 1).

特許第５８７９６１６号公報Japanese Patent No. 5879616

しかしながら、従来技術では、店員と顧客との位置関係のみで接客を判定するため、たまたま店員が顧客の近くにいる場合のように、店員が接客していない状況でも、接客と判定してしまう誤判定が生じるおそれがあった。また、従来技術では、店員および顧客の位置が店舗マップ上に表示されるため、店員と顧客の位置関係をユーザが把握することができるが、どの位置で実際に接客が行われたかをユーザが一目で把握することができないといった問題があった。   However, in the conventional technology, since the customer service is determined based only on the positional relationship between the store clerk and the customer, even if the store clerk happens to be close to the customer, such as when the store clerk is close to the customer, it is erroneously determined to be a customer service. Judgment may occur. In the prior art, since the positions of the store clerk and the customer are displayed on the store map, the user can grasp the positional relationship between the store clerk and the customer, but the user can determine at which position the customer service is actually performed. There was a problem that it was impossible to grasp at a glance.

そこで、本発明は、店員が接客を行ったことを精度良く判定することができ、さらに、店員が実際に接客を行った位置をユーザが一目で把握することができる接客状況分析装置および接客状況分析システムを提供することを主な目的とする。   Therefore, the present invention can accurately determine that the store clerk has served customers, and further, the customer service situation analysis device and the customer service status that enables the user to grasp at a glance the position where the store clerk actually served customers. The main purpose is to provide an analysis system.

本発明の接客状況分析装置は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置であって、前記プロセッサは、店舗内の人物を撮像した画像データから取得した人物の位置情報、および店員が所持する携帯端末装置の位置情報に基づいて、店員の位置情報および顧客の位置情報を取得し、店舗内の音声を収音した音声データから取得した音声の位置情報、および前記店員の位置情報に基づいて、店員が発話した位置を表す発話位置情報を取得し、前記発話位置情報および前記顧客の位置情報に基づいて、店員が接客を行ったか否かを判定し、その判定結果に基づいて、前記接客状況に関する情報を生成する構成とする。   A customer service situation analyzing apparatus according to the present invention is a customer service situation analyzing apparatus that analyzes a customer service situation of a store clerk for a customer in a store and generates information related to the customer service status by a processor. Based on the position information of the person acquired from the image data obtained by imaging the person and the position information of the mobile terminal device possessed by the store clerk, the position information of the store clerk and the position information of the customer are acquired, and the sound in the store is collected. Based on the position information of the voice acquired from the voice data and the position information of the store clerk, utterance position information representing the position spoken by the store clerk is acquired, and based on the utterance position information and the position information of the customer, the store clerk It is configured to determine whether or not the customer service has been performed, and generate information related to the customer service status based on the determination result.

また、本発明の接客状況分析システムは、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する接客状況分析システムであって、店舗内の音声を収音する収音装置と、店舗内の人物を撮像する撮像装置と、店員が所持する携帯端末装置と、１つまたは複数の情報処理装置と、を備え、前記１つまたは複数の情報処理装置は、前記収音装置から出力される音声データから音声の位置情報を取得し、前記撮像装置から出力される画像データから人物の位置情報を取得し、前記人物の位置情報および前記携帯端末装置の位置情報に基づいて、店員の位置情報および顧客の位置情報を取得し、前記音声の位置情報および前記店員の位置情報に基づいて、店員が発話した位置を表す発話位置情報を取得し、前記発話位置情報および前記顧客の位置情報に基づいて、店員が接客を行ったか否かを判定し、その判定結果に基づいて、前記接客状況に関する情報を生成する構成とする。   The customer service situation analysis system of the present invention is a customer service situation analysis system that analyzes customer service status of a store clerk for a customer in a store and generates information on the customer service status, and collects sound in the store. A device, an imaging device that captures an image of a person in the store, a mobile terminal device possessed by a store clerk, and one or more information processing devices, wherein the one or more information processing devices include the sound collection Obtaining voice position information from voice data output from the apparatus, obtaining position information of a person from image data output from the imaging apparatus, and based on the position information of the person and the position information of the portable terminal device The position information of the clerk and the position information of the customer are acquired, and the utterance position information indicating the position where the clerk uttered is acquired based on the position information of the voice and the position information of the clerk, and the utterance position information And on the basis of the position information of the customer, the clerk determines whether conducted customer, based on the determination result, a configuration for generating information relating to the customer status.

本発明によれば、接客時には声掛けや案内などで店員が発話することから、店員が発話した場合に店員が接客を行ったものと判定することで、店員が接客を行ったことを精度良く判定することができる。   According to the present invention, since the store clerk speaks with a voice call or guidance at the time of customer service, when the store clerk speaks, it is determined that the store clerk has served the customer, so that the store clerk performed the customer service with high accuracy. Can be determined.

本実施形態に係る接客状況分析システムの全体構成図Overall configuration diagram of a customer service situation analysis system according to the present embodiment 店舗のレイアウトと、マイク１、カメラ２およびビーコン発信機３の設置状況と、店舗に設定される分割エリアとを示す平面図The top view which shows the layout of a store, the installation condition of the microphone 1, the camera 2, and the beacon transmitter 3, and the divided areas set in the store 携帯端末４、音声処理用ＰＣ５、画像処理用ＰＣ６、測位管理サーバ７、および分析用ＰＣ８の概略構成を示すブロック図The block diagram which shows schematic structure of the portable terminal 4, the audio processing PC5, the image processing PC6, the positioning management server 7, and the analysis PC8 携帯端末４、音声処理用ＰＣ５、画像処理用ＰＣ６、および測位管理サーバ７で行われる処理の概要を示す説明図Explanatory drawing which shows the outline | summary of the process performed with the portable terminal 4, audio | voice processing PC5, image processing PC6, and the positioning management server 7. FIG. 分析用ＰＣ８で行われる処理の概要を示す説明図Explanatory drawing which shows the outline | summary of the process performed by PC8 for analysis 音声処理用ＰＣ５、画像処理用ＰＣ６、測位管理サーバ７、および分析用ＰＣ８で生成する情報を示す説明図Explanatory drawing which shows the information produced | generated by audio | voice processing PC5, image processing PC6, the positioning management server 7, and analysis PC8 店員特定の処理の要領を示す説明図Explanatory diagram showing the procedure for clerk specific processing 発話判定および接客判定の要領を示す説明図Explanatory drawing which shows the point of speech determination and customer service determination 発話判定および接客判定の手順を示すフロー図Flow chart showing utterance determination and customer service determination procedures 接客ヒートマップ表示画面を示す説明図Explanatory drawing showing the customer service heat map display screen ヒートマップ画像８１の表示要素と画像属性との関係を示す説明図Explanatory drawing which shows the relationship between the display element of heat map image 81, and an image attribute 統計情報表示画面に表示される一覧表の一例を示す説明図Explanatory drawing which shows an example of the list displayed on a statistics information display screen 統計情報表示画面に表示されるグラフの一例を示す説明図Explanatory drawing which shows an example of the graph displayed on a statistics information display screen

前記課題を解決するためになされた第１の発明は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置であって、前記プロセッサは、店舗内の人物を撮像した画像データから取得した人物の位置情報、および店員が所持する携帯端末装置の位置情報に基づいて、店員の位置情報および顧客の位置情報を取得し、店舗内の音声を収音した音声データから取得した音声の位置情報、および前記店員の位置情報に基づいて、店員が発話した位置を表す発話位置情報を取得し、前記発話位置情報および前記顧客の位置情報に基づいて、店員が接客を行ったか否かを判定し、その判定結果に基づいて、前記接客状況に関する情報を生成する構成とする。   A first invention made to solve the above-mentioned problem is a customer service situation analyzing device that analyzes a customer service situation of a store clerk for a customer at a store and generates information about the customer service situation by a processor. The processor acquires the position information of the store clerk and the position information of the customer based on the position information of the person acquired from the image data obtained by imaging the person in the store and the position information of the mobile terminal device possessed by the store clerk, Based on the position information of the voice acquired from the voice data obtained by collecting the voice of the voice and the position information of the store clerk, utterance position information representing the position where the store clerk spoke is acquired, and the utterance position information and the position of the customer Based on the information, it is determined whether or not the store clerk has engaged in customer service, and information on the customer service situation is generated based on the determination result.

これによると、接客時には声掛けや案内などで店員が発話することから、店員が発話した場合に店員が接客を行ったものと判定することで、店員が接客を行ったことを精度良く判定することができる。   According to this, since the store clerk speaks with a voice call or guidance at the time of customer service, when the store clerk speaks, it is determined that the store clerk has served customers, so it is accurately determined that the store clerk has served customers. be able to.

また、第２の発明は、前記プロセッサは、前記発話位置情報および前記顧客の位置情報に基づいて、店員が接客を行った位置である接客ポイントを取得する構成とする。   Moreover, 2nd invention is set as the structure which the said processor acquires the customer service point which is a position where the store clerk performed customer service based on the said utterance position information and the said customer's positional information.

これによると、店員が実際に接客を行った位置をユーザが容易に把握することができる。   According to this, the user can easily grasp the position where the store clerk actually handled the customer.

また、第３の発明は、前記プロセッサは、前記発話位置情報および前記顧客の位置情報に基づいて、店員の位置または店員と顧客との中央位置を、前記接客ポイントとして取得する構成とする。   According to a third aspect of the present invention, the processor acquires the position of a store clerk or the center position between the store clerk and the customer as the customer service point based on the utterance position information and the position information of the customer.

これによると、適切な接客ポイントをユーザに提示することができる。   According to this, an appropriate customer service point can be presented to the user.

また、第４の発明は、前記プロセッサは、店舗内の監視エリアに少なくとも１つ設定された測定エリアを対象にして、前記接客ポイントでの接客状況に関する統計情報を生成し、その統計情報を可視化した画像を店舗マップ画像に重畳した画面情報を出力する構成とする。   According to a fourth aspect of the present invention, the processor generates statistical information about the customer service situation at the customer service point for at least one measurement area set as a monitoring area in the store, and visualizes the statistical information It is set as the structure which outputs the screen information which superimposed the done image on the store map image.

これによると、店員が実際に接客を行った位置と、その位置での接客状況と、をユーザが一目で把握することができる。   According to this, the user can grasp at a glance the position where the store clerk actually handled the customer and the customer service situation at that location.

また、第５の発明は、前記測定エリアは、監視エリアを複数に均等分割した分割エリアである構成とする。   Moreover, 5th invention sets it as the structure where the said measurement area is a division area which divided | segmented the monitoring area equally into multiple.

これによると、監視エリアの全体を対象にして、店員が実際に接客を行った位置と、その位置での接客状況と、をユーザが一目で把握することができる。   According to this, the user can grasp at a glance the position where the store clerk actually handled the customer and the customer service situation at that location for the entire monitoring area.

また、第６の発明は、前記統計情報は、接客時間、接客回数および接客人数の各要素の少なくとも１つを含む構成とする。   According to a sixth aspect of the present invention, the statistical information includes at least one of each element of customer service time, customer service count, and customer service number.

これによると、接客時間、接客回数および接客人数が画像で可視化されるため、接客時間、接客回数および接客人数をユーザが一目で把握することができる。   According to this, since the customer service time, the number of customer service, and the number of customers are visualized with images, the user can grasp the customer service time, the number of customer services, and the number of customer service at a glance.

また、第７の発明は、前記統計情報を表わす画像は、前記接客時間、前記接客回数および前記接客人数の各要素のうち、任意の２つの要素を異なる属性で表した１つの定形画像である構成とする。   According to a seventh aspect of the invention, the image representing the statistical information is a single fixed image representing any two elements with different attributes among the elements of the customer service time, the number of customer services, and the number of customers. The configuration.

これによると、統計情報を表わす画像を店舗マップ画像上でユーザが容易に識別することができる。   According to this, the user can easily identify the image representing the statistical information on the store map image.

また、第８の発明は、前記定形画像は、前記店舗マップ画像上に透過状態で重畳される構成とする。   Moreover, 8th invention sets it as the structure on which the said fixed form image is superimposed on the said store map image in the permeation | transmission state.

これによると、定形画像が重畳された位置でも店舗マップ画像が透けて見えるため、接客状況をユーザが容易に把握することができる。   According to this, since the store map image can be seen through even at the position where the fixed image is superimposed, the user can easily understand the customer service situation.

また、第９の発明は、前記定形画像は、前記接客時間、前記接客回数および前記接客人数の各要素のうち、１つの要素が前記定形画像の大きさで表現され、もう１つの要素が前記定形画像の塗りつぶしの色合いまたは色の濃さのいずれかで表現される構成とする。   According to a ninth aspect of the invention, in the fixed image, one of the elements of the customer service time, the number of customer service, and the number of customers is expressed by the size of the fixed image, and the other element is the It is configured to be expressed by either the shade of the fill of the standard image or the color density.

これによると、定形画像により表現される接客時間、接客回数および接客人数をユーザが一目で把握することができる。   According to this, the user can grasp at a glance the customer service time, the number of customer services, and the number of customers represented by the fixed image.

また、第１０の発明は、前記プロセッサは、前記携帯端末装置に付与された端末識別情報に基づいて店員を識別して、店員別の前記接客ポイントを取得する構成とする。   In a tenth aspect of the invention, the processor identifies a store clerk based on terminal identification information given to the portable terminal device, and acquires the customer service point for each store clerk.

これによると、店員別の接客ポイントをユーザに提示することができる。   According to this, the customer service point according to the store clerk can be presented to the user.

また、第１１の発明は、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する接客状況分析システムであって、店舗内の音声を収音する収音装置と、店舗内の人物を撮像する撮像装置と、店員が所持する携帯端末装置と、１つまたは複数の情報処理装置と、を備え、前記１つまたは複数の情報処理装置は、前記収音装置から出力される音声データから音声の位置情報を取得し、前記撮像装置から出力される画像データから人物の位置情報を取得し、前記人物の位置情報および前記携帯端末装置の位置情報に基づいて、店員の位置情報および顧客の位置情報を取得し、前記音声の位置情報および前記店員の位置情報に基づいて、店員が発話した位置を表す発話位置情報を取得し、前記発話位置情報および前記顧客の位置情報に基づいて、店員が接客を行ったか否かを判定し、その判定結果に基づいて、前記接客状況に関する情報を生成する構成とする。   An eleventh aspect of the present invention is a customer service status analysis system that analyzes customer service status of a store clerk for a customer in a store and generates information related to the customer service status, and a sound collection device that collects sound in the store; An imaging device that images a person in a store, a mobile terminal device possessed by a store clerk, and one or more information processing devices, wherein the one or more information processing devices output from the sound collection device Audio position information is acquired from the audio data, the position information of the person is acquired from the image data output from the imaging device, and based on the position information of the person and the position information of the mobile terminal device, Acquire position information and customer position information, acquire utterance position information representing a position spoken by a clerk based on the position information of the voice and the position information of the clerk, the utterance position information and the customer Based on the position information, the clerk determines whether conducted customer, based on the determination result, a configuration for generating information relating to the customer status.

これによると、第１の発明と同様に、店員が接客を行ったことを精度良く判定することができる。   According to this, similarly to the first invention, it is possible to accurately determine that the store clerk has served customers.

以下、本発明の実施の形態を、図面を参照しながら説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、本実施形態に係る接客状況分析システムの全体構成図である。   FIG. 1 is an overall configuration diagram of a customer service situation analysis system according to the present embodiment.

この接客状況分析システムは、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成するものであり、マイク１（収音装置）と、カメラ２（撮像装置）と、ビーコン発信機３と、携帯端末４（携帯端末装置）と、音声処理用ＰＣ５（情報処理装置）と、画像処理用ＰＣ６（情報処理装置）と、測位管理サーバ７と、分析用ＰＣ８（接客状況分析装置、情報処理装置）と、閲覧端末９と、を備えている。   This customer service status analysis system analyzes the customer service status of a store clerk for a customer in a store and generates information related to the customer service status. The microphone 1 (sound pickup device), camera 2 (imaging device), and beacon Transmitter 3, portable terminal 4 (portable terminal apparatus), voice processing PC 5 (information processing apparatus), image processing PC 6 (information processing apparatus), positioning management server 7, and analysis PC 8 (customer service situation analysis) Device, information processing device) and a browsing terminal 9.

マイク１、カメラ２、音声処理用ＰＣ５、画像処理用ＰＣ６は、店舗内ネットワークに接続されている。店舗内ネットワークはゲートウェイ１１を介して外部ネットワークに接続されている。携帯端末４は、無線ＬＡＮなどの公衆アクセスポイント１２を介して外部ネットワークに接続されている。分析用ＰＣ８、測位管理サーバ７、閲覧端末９は、外部ネットワークに接続されている。   The microphone 1, the camera 2, the audio processing PC 5, and the image processing PC 6 are connected to the in-store network. The in-store network is connected to an external network via the gateway 11. The portable terminal 4 is connected to an external network via a public access point 12 such as a wireless LAN. The analysis PC 8, the positioning management server 7, and the browsing terminal 9 are connected to an external network.

マイク１は、店舗内に設置され、店舗内に滞在する人物（店員や顧客）が発話する音声を収音する。このマイク１は、全方向の音声を収音する、いわゆる全方位マイクであり、複数（例えば１６個）のマイク素子（収音素子）が円形状に等間隔に配置されたマイクアレイを備えている。このマイク１では、店舗内の音声を複数のマイク素子で収音して、複数のチャネルの音声データを生成して、この音声データを音声処理用ＰＣ５に送信する。   The microphone 1 is installed in a store and collects voices uttered by a person (a store clerk or a customer) staying in the store. The microphone 1 is a so-called omnidirectional microphone that collects sound in all directions, and includes a microphone array in which a plurality of (for example, 16) microphone elements (sound collecting elements) are arranged in a circular shape at equal intervals. Yes. The microphone 1 collects sound in the store by a plurality of microphone elements, generates sound data of a plurality of channels, and transmits the sound data to the sound processing PC 5.

カメラ２は、店舗内に設置され、店舗内に滞在する人物（店員や顧客）を撮像し、また、店舗に来店する人物を撮像する。このカメラ２は、全方位を撮像する、いわゆる全方位カメラである。このカメラ２では、店舗内を撮像して画像データを生成して、この画像データを画像処理用ＰＣ６に送信する。   The camera 2 is installed in the store, images a person (a store clerk or a customer) staying in the store, and images a person who visits the store. The camera 2 is a so-called omnidirectional camera that captures images in all directions. The camera 2 captures an image of the store, generates image data, and transmits the image data to the image processing PC 6.

音声処理用ＰＣ５は、マイク１から送信される音声データを受信して、その音声データに対して音声処理を行う。本実施形態では、音源の位置を特定する音声検出（音源位置検出）を行い、店舗内の音声レベルの分布状況、すなわち、どこでどの程度の音声が鳴っているかを表す音声ヒートマップ情報を生成して、その音声ヒートマップ情報を分析用ＰＣ８に送信する。   The voice processing PC 5 receives the voice data transmitted from the microphone 1 and performs voice processing on the voice data. In the present embodiment, sound detection (sound source position detection) for specifying the position of the sound source is performed, and sound heat map information indicating the distribution level of the sound level in the store, that is, where and how much sound is generated is generated. Then, the sound heat map information is transmitted to the analysis PC 8.

画像処理用ＰＣ６は、カメラ２から送信される画像データを受信して、その画像データに対して画像処理を行う。本実施形態では、画像データから店舗内に滞在する人物を検出して、人物ごとの位置情報を取得して、その位置情報を分析用ＰＣ８に送信する。   The image processing PC 6 receives image data transmitted from the camera 2 and performs image processing on the image data. In this embodiment, a person staying in the store is detected from the image data, position information for each person is acquired, and the position information is transmitted to the analysis PC 8.

ビーコン発信機３は、店舗内に複数設置され、測位用のビーコン信号を送信する。   A plurality of beacon transmitters 3 are installed in the store and transmit a beacon signal for positioning.

携帯端末４は、スマートフォンなどであり、店員が所持する。この携帯端末４では、ビーコン発信機３から送信されるビーコン信号を用いた測位を行って自装置の位置情報を取得して、その位置情報を測位管理サーバ７に送信する。   The portable terminal 4 is a smartphone or the like, and is held by a store clerk. In this portable terminal 4, positioning using the beacon signal transmitted from the beacon transmitter 3 is performed to acquire the position information of the own device, and the position information is transmitted to the positioning management server 7.

なお、本実施形態では、ビーコン発信機３が発するビーコン信号で、携帯端末４の測位を行うようにしたが、ＧＰＳ（Global Positioning System）などの衛星測位システムなどの他の測位システムでで、携帯端末４の測位を行うようにしてもよい。   In the present embodiment, the mobile terminal 4 is positioned using the beacon signal emitted from the beacon transmitter 3. However, the mobile terminal 4 can be used in other positioning systems such as a satellite positioning system such as GPS (Global Positioning System). You may make it perform the positioning of the terminal 4. FIG.

測位管理サーバ７は、携帯端末４ごとの位置情報を携帯端末４から収集して、携帯端末４ごとの位置情報を管理し、その携帯端末４ごとの位置情報を分析用ＰＣ８に送信する。   The positioning management server 7 collects the position information for each portable terminal 4 from the portable terminal 4, manages the position information for each portable terminal 4, and transmits the position information for each portable terminal 4 to the analysis PC 8.

分析用ＰＣ８は、音声処理用ＰＣ５から音声ヒートマップ情報を取得し、また、画像処理用ＰＣ６から人物ごとの位置情報を取得し、また、測位管理サーバ７から携帯端末４ごとの位置情報を取得し、これらの情報に基づいて、店舗での顧客に対する店員の接客状況に関する分析を行い、接客状況を表す情報を生成する。   The analysis PC 8 acquires audio heat map information from the audio processing PC 5, acquires position information for each person from the image processing PC 6, and acquires position information for each portable terminal 4 from the positioning management server 7. Then, based on these pieces of information, an analysis on the customer service situation of the store clerk for the customer at the store is performed, and information representing the customer service situation is generated.

閲覧端末９は、ＰＣやスマートフォンやタブレット端末などであり、ユーザ、例えばスーパーバイザーなどの本部側の管理者や店長などの店舗側の管理者が操作するものであり、分析用ＰＣ８にアクセスすることで、分析用ＰＣ８で生成した接客状況に関する情報をユーザが閲覧することができる。なお、分析用ＰＣ８とは別に情報配信専用のサーバを設けるようにしてもよい。   The browsing terminal 9 is a PC, a smartphone, a tablet terminal, or the like, and is operated by a user, for example, a manager on the headquarters side such as a supervisor or a manager on the store side such as a store manager, and accesses the analysis PC 8. Thus, the user can view information on the customer service situation generated by the analysis PC 8. A server dedicated to information distribution may be provided separately from the analysis PC 8.

また、チェーン店などのように管理する店舗が複数ある場合には、分析用ＰＣ８では、複数の店舗ごとの音声処理用ＰＣ５および画像処理用ＰＣ６ならびに測位管理サーバ７から各店舗の情報を収集して、店舗ごとの接客状況に関する情報を生成する。   When there are a plurality of stores to be managed such as chain stores, the analysis PC 8 collects information on each store from the voice processing PC 5 and the image processing PC 6 and the positioning management server 7 for each of the plurality of stores. Then, information on the customer service situation for each store is generated.

次に、店舗の一例について説明する。図２は、店舗のレイアウトと、マイク１、カメラ２およびビーコン発信機３の設置状況と、店舗に設定される分割エリアとを示す平面図である。   Next, an example of a store will be described. FIG. 2 is a plan view showing the store layout, the installation status of the microphone 1, the camera 2, and the beacon transmitter 3, and the divided areas set in the store.

店舗には、出入口、発券機、ソファ、什器（陳列棚や陳列台など）、テーブル、カウンタ、トイレ、作業室、バックヤードなどが設けられている。顧客は、出入口から店舗内に入店し、発券機で番号札を受け取り、ソファに座ったり、什器に陳列されている商品を見たりして、呼び出しがあるまで待機し、呼び出しを受けると、カウンタで商品の購入や契約などの手続きを行う。店員は、顧客が店舗内に入店すると、発券機の案内や什器に陳列されている商品の説明などの接客を行ったり、カウンタで接客を行ったりする。   The store is provided with an entrance / exit, ticketing machine, sofa, furniture (display shelf, display stand, etc.), table, counter, toilet, work room, backyard, and the like. The customer enters the store from the entrance, receives the number tag at the ticketing machine, sits on the sofa, looks at the product displayed on the fixture, waits for a call, Perform product purchases and contracts at the counter. When the customer enters the store, the store clerk handles customer service such as guidance on the ticketing machine and explanation of products displayed on the fixtures, or customer service at the counter.

また、店舗には、マイク１、カメラ２およびビーコン発信機３が設置されている。図２に示す例では、マイク１およびカメラ２が一体の装置として構成され、店舗内の天井などの適宜な位置に設置されており、マイク１が、店舗内に滞在する店員や顧客が発話する音声を収音し、カメラ２が、店舗内に滞在する店員や顧客を撮像し、また、店舗に来店する顧客を撮像する。また、ビーコン発信機３は、店舗内の適宜な位置に複数設置されており、このビーコン発信機３から送信されるビーコン信号が、店員が所持する携帯端末４で受信される。   In the store, a microphone 1, a camera 2, and a beacon transmitter 3 are installed. In the example shown in FIG. 2, the microphone 1 and the camera 2 are configured as an integrated device and are installed at an appropriate position such as a ceiling in the store, and the microphone 1 speaks by a store clerk or customer staying in the store. Sound is picked up, and the camera 2 images a clerk and a customer who stay in the store, and also images a customer who visits the store. A plurality of beacon transmitters 3 are installed at appropriate positions in the store, and a beacon signal transmitted from the beacon transmitter 3 is received by the mobile terminal 4 possessed by the store clerk.

また、本実施形態では、監視エリアの店舗マップ上に、監視エリアを格子状に均等分割した所定の大きさ（例えば５０ｃｍ四方）の複数のセル（分割エリア）が設定されており、このセルを単位として、分析用ＰＣ８で各種の処理が行われる。   In the present embodiment, a plurality of cells (divided areas) having a predetermined size (for example, 50 cm square) obtained by equally dividing the monitoring area into a grid are set on the store map of the monitoring area. As a unit, various processes are performed by the analysis PC 8.

次に、本接客状況分析システムで行われる処理について説明する。図３は、携帯端末４、音声処理用ＰＣ５、画像処理用ＰＣ６、測位管理サーバ７、および分析用ＰＣ８の概略構成を示すブロック図である。図４は、携帯端末４、音声処理用ＰＣ５、画像処理用ＰＣ６、および測位管理サーバ７で行われる処理の概要を示す説明図である。図５は、分析用ＰＣ８で行われる処理の概要を示す説明図である。図６は、音声処理用ＰＣ５、画像処理用ＰＣ６、測位管理サーバ７、および分析用ＰＣ８で生成する情報を示す説明図である。図７は、店員特定の処理の要領を示す説明図である。図８は、発話判定および接客判定の要領を示す説明図である。図９は、発話判定および接客判定の手順を示すフロー図である。   Next, processing performed in the customer service situation analysis system will be described. FIG. 3 is a block diagram showing a schematic configuration of the mobile terminal 4, the audio processing PC 5, the image processing PC 6, the positioning management server 7, and the analysis PC 8. FIG. 4 is an explanatory diagram showing an overview of processing performed by the mobile terminal 4, the audio processing PC 5, the image processing PC 6, and the positioning management server 7. FIG. 5 is an explanatory diagram showing an outline of processing performed by the analysis PC 8. FIG. 6 is an explanatory diagram showing information generated by the audio processing PC 5, the image processing PC 6, the positioning management server 7, and the analysis PC 8. FIG. 7 is an explanatory diagram showing a procedure for a clerk specific process. FIG. 8 is an explanatory diagram showing the points of speech determination and customer service determination. FIG. 9 is a flowchart showing the procedure of speech determination and customer service determination.

図３に示すように、携帯端末４は、ビーコン受信部２１と、通信部２２と、プロセッサ２３と、記憶部２４と、を備えている。   As illustrated in FIG. 3, the mobile terminal 4 includes a beacon receiving unit 21, a communication unit 22, a processor 23, and a storage unit 24.

ビーコン受信部２１は、ビーコン発信機３から送信されるビーコン信号を受信して、そのビーコン信号の電波強度を測定する。   The beacon receiving unit 21 receives a beacon signal transmitted from the beacon transmitter 3 and measures the radio wave intensity of the beacon signal.

通信部２２は、測位管理サーバ７との間で通信を行う。本実施形態では、プロセッサ２３で取得した位置情報を測位管理サーバ７に送信する。   The communication unit 22 communicates with the positioning management server 7. In the present embodiment, the position information acquired by the processor 23 is transmitted to the positioning management server 7.

記憶部２４は、端末ＩＤなどを記憶する。また、記憶部２４は、プロセッサ２３で実行するプログラムを記憶する。   The storage unit 24 stores a terminal ID and the like. The storage unit 24 stores a program executed by the processor 23.

プロセッサ２３は、記憶部２４に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、ビーコン測位の処理を行う。   The processor 23 performs various processes by executing a program stored in the storage unit 24. In the present embodiment, beacon positioning processing is performed.

ビーコン測位では、複数のビーコン発信機３からのビーコン信号の電波強度に基づいて、携帯端末４の位置情報（緯度、経度、高度など）を取得する。この処理では、例えば、予め測定された各位置でのビーコン発信機３ごとの電波強度を表す電波強度分布情報を用いて、ビーコン受信部２１で取得したビーコン発信機３ごとの電波強度から、携帯端末４の位置情報を取得する。   In the beacon positioning, position information (latitude, longitude, altitude, etc.) of the mobile terminal 4 is acquired based on the radio wave intensity of beacon signals from a plurality of beacon transmitters 3. In this process, for example, using the radio wave intensity distribution information representing the radio wave intensity of each beacon transmitter 3 at each position measured in advance, the radio wave intensity of each beacon transmitter 3 acquired by the beacon receiver 21 is The position information of the terminal 4 is acquired.

測位管理サーバ７は、図４に示すように、各携帯端末４から送信される位置情報を受信して、携帯端末４ごとの位置情報を収集し、各時刻における各携帯端末４の位置を表す端末別位置情報を生成して、その端末別位置情報を分析用ＰＣ８に送信する。この端末別位置情報には、図６（Ａ）に示すように、時刻、端末ＩＤ、位置座標の各情報が含まれる。   As shown in FIG. 4, the positioning management server 7 receives position information transmitted from each mobile terminal 4, collects position information for each mobile terminal 4, and represents the position of each mobile terminal 4 at each time. The terminal-specific position information is generated, and the terminal-specific position information is transmitted to the analysis PC 8. As shown in FIG. 6A, the terminal-specific position information includes time, terminal ID, and position coordinate information.

図３に示すように、音声処理用ＰＣ５は、通信部３１と、プロセッサ３２と、記憶部３３と、を備えている。   As shown in FIG. 3, the voice processing PC 5 includes a communication unit 31, a processor 32, and a storage unit 33.

通信部３１は、マイク１および分析用ＰＣ８との間で通信を行う。本実施形態では、マイク１から送信される音声データを受信する。また、プロセッサ３２で生成した音声ヒートマップ情報を分析用ＰＣ８に送信する。   The communication unit 31 performs communication between the microphone 1 and the analysis PC 8. In the present embodiment, audio data transmitted from the microphone 1 is received. Also, the sound heat map information generated by the processor 32 is transmitted to the analysis PC 8.

記憶部３３は、マイク１から取得した音声データなどを記憶する。また、記憶部３３は、プロセッサ３２で実行するプログラムを記憶する。   The storage unit 33 stores audio data acquired from the microphone 1. In addition, the storage unit 33 stores a program executed by the processor 32.

プロセッサ３２は、記憶部３３に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、音声検出（音源位置検出）の処理を行う。   The processor 32 performs various processes by executing the program stored in the storage unit 33. In the present embodiment, voice detection (sound source position detection) processing is performed.

図４に示すように、音声検出の処理では、マイク１から取得した複数（例えば１６）のチャネルの音声データに基づいて、各位置における音声レベル（例えば４段階）を取得して、音声ヒートマップ情報を生成する。このとき、指向性を制御することで各方向の音声を取得することができ、複数のチャネルの音声データの位相差に基づいて、各位置の音声レベルを取得する。   As shown in FIG. 4, in the sound detection process, sound levels (for example, four stages) at each position are acquired based on sound data of a plurality of channels (for example, 16 channels) acquired from the microphone 1, and a sound heat map is obtained. Generate information. At this time, the sound in each direction can be acquired by controlling the directivity, and the sound level at each position is acquired based on the phase difference between the sound data of a plurality of channels.

本実施形態では、監視エリアを格子状に分割したセル単位で音声レベルを取得し、図６（Ｅ）に示すように、各時刻における各セルでの音声レベルを表す音声ヒートマップ情報を生成する。この音声ヒートマップ情報を可視化すると、図８（Ａ）に示すようになる。   In the present embodiment, the sound level is acquired in units of cells obtained by dividing the monitoring area in a grid pattern, and as shown in FIG. 6E, sound heat map information representing the sound level in each cell at each time is generated. . When this audio heat map information is visualized, it becomes as shown in FIG.

なお、本実施形態では、図２に示すように、分析用ＰＣ８において、接客状況に関する分析処理をセル単位で行うが、この分析処理で用いられるセルと、音声ヒートマップ情報で用いられるセルとは、必ずしも同一の大きさとする必要はない。   In the present embodiment, as shown in FIG. 2, the analysis PC 8 performs analysis processing related to the customer service situation in units of cells. The cells used in the analysis processing and the cells used in the audio heat map information are as follows. It is not always necessary to have the same size.

図３に示すように、画像処理用ＰＣ６は、通信部４１と、プロセッサ４２と、記憶部４３と、を備えている。   As shown in FIG. 3, the image processing PC 6 includes a communication unit 41, a processor 42, and a storage unit 43.

通信部４１は、カメラ２および分析用ＰＣ８との間で通信を行う。本実施形態では、カメラ２から送信される画像データを受信する。また、プロセッサ４２で生成した人物別位置情報を分析用ＰＣ８に送信する。   The communication unit 41 performs communication between the camera 2 and the analysis PC 8. In the present embodiment, image data transmitted from the camera 2 is received. Further, the position information for each person generated by the processor 42 is transmitted to the analysis PC 8.

記憶部４３は、カメラ２から取得した画像データなどを記憶する。また、記憶部４３は、プロセッサ４２で実行するプログラムを記憶する。   The storage unit 43 stores image data acquired from the camera 2. The storage unit 43 stores a program to be executed by the processor 42.

プロセッサ４２は、記憶部４３に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、人物検出の処理を行う。   The processor 42 performs various processes by executing a program stored in the storage unit 43. In this embodiment, person detection processing is performed.

図４に示すように、人物検出の処理では、カメラ２から取得した画像データに含まれる撮像画像（フレーム）から人物を検出して、その人物の位置情報を取得して、各時刻における人物の位置を表す人物別位置情報を生成する。この人物別位置情報には、図６（Ｂ）に示すように、時刻、人物ＩＤ、位置座標の各情報が含まれる。   As shown in FIG. 4, in the person detection process, a person is detected from the captured image (frame) included in the image data acquired from the camera 2, the position information of the person is acquired, and the person's position at each time is acquired. The position information for each person representing the position is generated. As shown in FIG. 6B, the individual position information includes time, person ID, and position coordinate information.

図３に示すように、分析用ＰＣ８は、通信部５１と、プロセッサ５２と、記憶部５３と、を備えている。   As shown in FIG. 3, the analysis PC 8 includes a communication unit 51, a processor 52, and a storage unit 53.

通信部５１は、音声処理用ＰＣ５、画像処理用ＰＣ６、および測位管理サーバ７との間で通信を行う。本実施形態では、音声処理用ＰＣ５から送信される音声ヒートマップ情報を受信する。また、画像処理用ＰＣ６から送信される人物別位置情報を受信する。また、測位管理サーバ７から送信される端末別位置情報を受信する。   The communication unit 51 communicates with the audio processing PC 5, the image processing PC 6, and the positioning management server 7. In this embodiment, the audio heat map information transmitted from the audio processing PC 5 is received. Further, the position information for each person transmitted from the image processing PC 6 is received. Further, the terminal-specific position information transmitted from the positioning management server 7 is received.

記憶部５３は、音声処理用ＰＣ５、画像処理用ＰＣ６、および測位管理サーバ７から取得した情報や、プロセッサ５２で生成した情報などを記憶する。また、記憶部５３は、プロセッサ５２で実行するプログラムを記憶する。   The storage unit 53 stores information acquired from the audio processing PC 5, the image processing PC 6, and the positioning management server 7, information generated by the processor 52, and the like. The storage unit 53 stores a program executed by the processor 52.

プロセッサ５２は、記憶部５３に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、店員特定、発話判定、接客判定、第１の接客集計、第２の接客集計、来店集計、顧客集計および店員集計の各処理を行う。   The processor 52 performs various processes by executing a program stored in the storage unit 53. In the present embodiment, each process of store clerk identification, speech determination, customer service determination, first customer service total, second customer service total, store visit total, customer total and store clerk total is performed.

図５に示すように、店員特定の処理では、測位管理サーバ７から取得した端末別位置情報と、画像処理用ＰＣ６から取得した人物別位置情報と、に基づいて、人物別位置情報の各人物が店員であるか否かを判定して、店員別位置情報および顧客別位置情報を生成する。この顧客別位置情報および店員別位置情報には、図６（Ｂ）に示すように、時刻、人物ＩＤ、位置座標の各情報が含まれる。   As shown in FIG. 5, in the clerk specific process, each person in the position information by person is based on the position information by terminal acquired from the positioning management server 7 and the position information by person acquired from the image processing PC 6. It is determined whether or not is a clerk, and position information for each clerk and position information for each customer are generated. As shown in FIG. 6B, the customer location information and the store location information include time, person ID, and location coordinate information.

この店員特定の処理では、図７（Ａ）に示すように、端末別位置情報において携帯端末４が存在する位置と、図７（Ｂ）に示すように、人物別位置情報において人物が存在する位置と、を比較して、携帯端末４の近傍に人物が存在する場合に、図７（Ｃ）に示すように、その人物を店員と判定する。また、図７（Ｄ）に示すように、店員と判定された人物以外の人物を顧客と判定する。そして、店員と判定された人物に関する人物別位置情報を店員別位置情報とし、顧客と判定された人物に関する人物別位置情報を顧客別位置情報とする。   In this clerk specific process, as shown in FIG. 7A, the position where the portable terminal 4 exists in the terminal-specific position information and the person exists in the person-specific position information as shown in FIG. 7B. When a person is present in the vicinity of the portable terminal 4 by comparing the position, the person is determined to be a store clerk as shown in FIG. Further, as shown in FIG. 7D, a person other than the person determined to be a store clerk is determined as a customer. Then, position information for each person related to the person determined to be a store clerk is used as position information for each shop clerk, and position information for each person related to a person determined to be a customer is used as position information for each customer.

なお、測位管理サーバ７から取得した端末別位置情報から店員別位置情報を生成することも可能であるが、カメラ２の画像から取得した人物別位置情報の方が、ビーコン測位による端末別位置情報より精度が高いため、人物別位置情報から店員別位置情報を生成するようにするとよい。   Although it is possible to generate position information for each clerk from the position information for each terminal acquired from the positioning management server 7, the position information for each person acquired from the image of the camera 2 is the position information for each terminal by beacon positioning. Since the accuracy is higher, the position information for each clerk may be generated from the position information for each person.

図５に示すように、発話判定の処理では、店員特定の処理で取得した店員別位置情報および顧客別位置情報と、音声処理用ＰＣ５から取得した音声ヒートマップ情報と、に基づいて、店員が発話したか否かを判定して、顧客別位置発話情報および店員別位置発話情報を生成する。   As shown in FIG. 5, in the utterance determination process, the store clerk is based on the store clerk specific position information and the customer specific position information acquired in the store clerk specific process, and the audio heat map information acquired from the audio processing PC 5. It is determined whether or not an utterance is made, and position utterance information for each customer and position utterance information for each clerk are generated.

店員別位置発話情報および顧客別位置発話情報は、図６（Ｃ）に示すように、図６（Ｂ）に示す店員別位置情報および顧客別位置情報に、停留時間、および発話の有無の各情報を付加したものである。なお、停留時間は、ある位置に留まっている時間である。   As shown in FIG. 6 (C), the position utterance information for each clerk and the position utterance information for each customer include the stop time and the presence / absence of utterance in the position information for each clerk and the position information for each customer shown in FIG. Information is added. The stop time is the time spent at a certain position.

この発話判定の処理では、図８（Ａ）に示すように、音声ヒートマップ情報において音声が検出された位置と、図８（Ｂ）に示すように、店員別位置情報において店員が存在する位置と、を比較して、図８（Ｃ）に示すように、店員が存在する位置で、所定レベル以上の音声が検出された場合には、その位置で店員が発話したものと判定する。   In this utterance determination process, as shown in FIG. 8A, the position where the voice is detected in the voice heat map information, and the position where the clerk exists in the clerk-specific position information as shown in FIG. 8B. As shown in FIG. 8C, when a sound of a predetermined level or higher is detected at a position where the store clerk exists, it is determined that the store clerk speaks at that position.

本実施形態では、監視エリアを格子状に分割したセル単位で判定を行い（図２参照）、図９に示すように、店員が存在するセルで、所定レベル以上の音声が検出された場合に（ＳＴ１０２でＹｅｓ）、店員が発話したものと判定する（ＳＴ１０３）。   In the present embodiment, determination is made in units of cells obtained by dividing the monitoring area into a grid pattern (see FIG. 2), and as shown in FIG. 9, when a sound of a predetermined level or higher is detected in a cell where a store clerk exists. (Yes in ST102), it is determined that the clerk speaks (ST103).

なお、店員が歩行している状態では、足音を発話と誤判定するおそれがあるため、店員が停止している状態で、所定レベル以上の音声が検出された場合に、店員が発話したものと判定するようにするとよい。   In addition, when the store clerk is walking, there is a possibility that footsteps may be erroneously determined as utterances.Therefore, when the store clerk is stopped and a sound of a predetermined level or higher is detected, the store clerk speaks. Judgment should be made.

図５に示すように、接客判定の処理では、発話判定の処理で取得した店員別位置発話情報および顧客別位置発話情報に基づいて、店員が接客を行ったか否かを判定して、店員別位置発話接客情報および顧客別位置発話接客情報を取得する。   As shown in FIG. 5, in the customer service determination process, it is determined whether or not the store clerk has been serving customers based on the position utterance information for each clerk and the position utterance information for each customer acquired in the utterance determination process. Location utterance customer service information and customer-specific location utterance customer service information are acquired.

店員別位置発話接客情報および顧客別位置発話接客情報は、図６（Ｄ）に示すように、図６（Ｃ）に示す店員別位置発話情報および顧客別位置発話情報に、接客の有無および応対人数の各情報を付加したものである。なお、応対人数は、顧客別位置発話接客情報では、接客している店員の人数であり、店員別位置発話接客情報では、接客されている顧客の人数である。   As shown in FIG. 6 (D), the location utterance customer service information for each clerk and the customer location utterance customer service information include the presence / absence of customer service and the response to the location utterance information for each clerk and customer location utterance information shown in FIG. Each information of the number of people is added. Note that the number of customers is the number of store clerk who is serving customers in the position utterance customer service information for each customer, and the number of customers who are serving customers in the location utterance customer service information for each clerk.

この接客判定の処理では、図８（Ｄ）に示すように、店員別位置発話情報において発話した店員が存在する位置と、顧客別位置発話情報において顧客が存在する位置とを比較して、店員と顧客との距離が所定範囲（例えば５０ｃｍ）内であれば、店員が顧客に対して接客を行ったものと判定する。このとき、店員が発話する状態が所定時間以上継続したことを条件にして、店員が接客を行ったか否かを判定する。   In this customer service determination process, as shown in FIG. 8D, the position of the store clerk in the position utterance information by store clerk is compared with the position of the customer in the position utterance information by customer. If the distance between the customer and the customer is within a predetermined range (for example, 50 cm), it is determined that the store clerk has served the customer. At this time, it is determined whether or not the store clerk has served customers on the condition that the state where the store clerk utters continues for a predetermined time or more.

本実施形態では、セル単位で判定を行い、図９に示すように、同一のセルで店員が発話する状態が所定時間以上継続し（ＳＴ２０２でＹｅｓ）、かつ、店員と顧客とが同一のセルに所定時間以上継続して滞在した場合に（ＳＴ２０３でＹｅｓ）、店員が接客を行ったものと判定する（ＳＴ２０４）。   In the present embodiment, the determination is made on a cell-by-cell basis, and as shown in FIG. 9, the state where the clerk speaks in the same cell continues for a predetermined time or longer (Yes in ST202), and the clerk and customer are the same cell. When the customer stays for a predetermined time or longer (Yes in ST203), it is determined that the store clerk has served customers (ST204).

なお、接客時には発話が断続的に行われることから、店員の発話状態の判定（ＳＴ２０２）では、所定時間内に店員の発話が所定割合以上検知された否かを判定するようにするとよい。   Note that since utterances are intermittently performed during customer service, it is preferable to determine whether or not the clerk's utterance is detected within a predetermined time in the clerk's utterance state determination (ST202).

図５に示すように、第１の接客集計では、顧客別位置発話接客情報に基づいて、顧客が出入口から入店した時刻（入店時刻）と、店員が最初の接客（声掛けなどのファーストコンタクト）に着手した時刻（接客着手時刻）と、を取得して、入店時刻と接客着手時刻とに基づいて、顧客が入店してから店員が最初の接客に着手するまでの所要時間である接客着手時間を算出する。   As shown in FIG. 5, in the first customer service totaling, the customer enters the store from the entrance (entry time) based on the customer location utterance customer service information, and the store clerk receives the first customer service (first call etc.). The time required to start the first customer service after the customer enters the store based on the time of entry and the customer service start time. A certain customer service start time is calculated.

また、第１の接客集計の処理では、接客着手時間の平均値を算出する。このとき、店員および店舗を集計対象として、店員ごとに接客着手時間を集計して、店員ごとの平均値を算出し、また、店舗ごとに接客着手時間を集計して、店舗ごとの平均値を算出する。   In the first service counting process, an average value of the service start times is calculated. At this time, for the clerk and store, the customer service start time is calculated for each clerk, the average value for each clerk is calculated, and the customer service start time is calculated for each store, and the average value for each store is calculated. calculate.

第２の接客集計の処理では、接客判定の処理で取得した店員別位置発話接客情報に基づいて、店員ごとの接客回数、接客時間、および接客ポイント（接客が行われた位置）、接客人数を取得する。   In the second customer counting process, the number of customer service, the customer service time, the customer service point (position where customer service was performed), and the number of customers are calculated based on the position utterance customer service information obtained by the customer service determination process. get.

具体的には、店員別位置発話接客情報に含まれる各時刻の接客の有無に基づいて、店員ごとの接客回数を取得する。   Specifically, the number of customer service for each clerk is acquired based on the presence or absence of customer service at each time included in the position utterance customer service information for each clerk.

また、店員別位置発話接客情報に含まれる各時刻の接客の有無に基づいて、接客の開始時刻および終了時刻を取得して、接客時間を取得する。なお、集計期間において店員が接客を複数回行った場合には、各回の接客時間の合計値を取得する。   Further, based on the presence / absence of customer service at each time included in the position utterance customer service information by store clerk, the customer service start time and end time are acquired, and customer service time is acquired. In addition, when the store clerk performs customer service a plurality of times during the counting period, the total value of the customer service time for each time is acquired.

また、店員別位置発話接客情報に含まれる各時刻の店員の位置および接客の有無に基づいて、接客ポイントを取得する。この場合、店員の位置が接客ポイントとなる。なお、顧客位置発話接客情報も加味して接客ポイントを取得するようにしてもよい。すなわち、顧客が一人の場合、顧客位置発話接客情報に含まれる顧客の位置に基づいて、店員と顧客との間の中間点を接客ポイントとしてもよい。   In addition, the customer service point is acquired based on the position of the store clerk at each time and presence / absence of customer service included in the position utterance customer service information by store clerk. In this case, the position of the store clerk becomes the customer service point. The customer service point may be acquired in consideration of customer location utterance customer service information. That is, when there is only one customer, an intermediate point between the store clerk and the customer may be set as the customer service point based on the customer location included in the customer location utterance customer service information.

来店集計の処理では、画像処理用ＰＣ６から取得した人物別位置情報に基づいて、来店人数を取得する。本実施形態では、撮像画像における店舗の出入口の近傍に計測ラインを設定して、人物の位置情報に基づく人物の動線が、計測ラインに対して入店方向で交差することで、人物が来店したことを検知し、来店した人物をカウントして、来店人数を取得する。   In the store counting process, the number of customers is acquired based on the position information for each person acquired from the image processing PC 6. In the present embodiment, a measurement line is set in the vicinity of the store entrance and exit in the captured image, and the person's flow line based on the position information of the person intersects the measurement line in the store entry direction, so that the person visits the store The number of people who visit the store is counted and the number of visitors is obtained.

なお、計測ラインの代わりに計測エリアを設定して、この計測エリアに対する動線の交差状況に基づいて、人物の来店を検知するようにしてもよい。   Note that a measurement area may be set instead of the measurement line, and a person's visit may be detected based on the crossing situation of the flow line with respect to the measurement area.

また、来店集計の処理では、来店構成人数ごとの組数、すなわち、何人構成の顧客が何組来店したかを取得する。このとき、人物ごとの入店時刻を取得して、人物同士の入店間隔が所定時間（例えば５秒間）以内である場合には、グループで来店したものと判定する。また、発券機で番号札を受け取る時刻に基づいてグループ代表者を特定し、そのグループ構成を把握するようにしてもよい。   Further, in the store counting process, the number of groups for each store visitor number, that is, how many sets of customers visit the store, is acquired. At this time, the store entry time for each person is acquired, and if the store entry interval between the persons is within a predetermined time (for example, 5 seconds), it is determined that the store has visited the group. Further, a group representative may be specified based on the time when the number tag is received by the ticket issuing machine, and the group configuration may be grasped.

顧客集計の処理では、店員特定の処理で取得した顧客別位置情報に基づいて、滞在時間および滞在人数を取得する。このとき、各顧客が各セル（分割エリア）に滞在している時間を合計して、セルごとの滞在時間を取得する。また、各顧客が各セルに滞在している期間を集計して、セルごとの滞在人数を取得する。   In the customer counting process, the staying time and the number of staying persons are acquired based on the position information for each customer acquired in the shop clerk specific process. At this time, the total time that each customer stays in each cell (divided area) is obtained to obtain the stay time for each cell. Moreover, the period during which each customer stays in each cell is totaled, and the number of staying people for each cell is acquired.

店員集計の処理では、測位管理サーバ７から取得した端末位置情報に基づいて、各店員の運動量、休憩回数および休憩時間、ならびに実働店員人数を取得する。このとき、各店員の携帯端末４の位置情報に基づいて、各店員の移動量を算出して、各店員の運動量を取得する。また、各店員の携帯端末４の位置情報に基づいて、各店員がバックヤードや店舗外に滞在している休憩期間を取得して、各店員の休憩回数および休憩時間を取得する。また、各店員の勤務期間から休憩期間を除いた実働期間を集計して、単位時間ごとの実働店員人数を取得する。   In the clerk counting process, the amount of exercise, the number of breaks and the break time of each clerk, and the number of working clerk are obtained based on the terminal position information obtained from the positioning management server 7. At this time, based on the position information of the mobile terminal 4 of each clerk, the amount of movement of each clerk is calculated, and the amount of exercise of each clerk is acquired. Moreover, based on the position information of the mobile terminal 4 of each store clerk, each store clerk acquires a break period during which he / she stays in the backyard or outside the store, and acquires the number of breaks and the break time of each store clerk. In addition, the actual working period excluding the break period from the working period of each store clerk is totaled to obtain the number of shop assistants per unit time.

画面生成の処理では、接客ヒートマップ表示画面（図１０参照）の画面情報を生成する。このとき、第２の接客集計の処理で取得した統計情報（接客時間、接客人数および接客回数）に基づいて、各時刻のヒートマップ画像８１を生成して、店舗マップ画像８２上に重畳する。また、店員別位置発話接客情報および顧客別位置発話接客情報に含まれる店員および顧客の位置情報に基づいて、各時刻の店員および顧客の動線８４の画像を生成して、この動線８４の画像および人物マーク８５を店舗マップ画像８２上に重畳する。また、ファーストタッチの時刻（接客着手時刻）および位置に基づいて、ファーストタッチのマーク８７を店舗マップ画像８２上に重畳する。   In the screen generation process, screen information of the customer service heat map display screen (see FIG. 10) is generated. At this time, a heat map image 81 at each time is generated based on the statistical information (service time, number of customers, and number of customer service) acquired in the second service aggregation process, and is superimposed on the store map image 82. Further, based on the position information of the store clerk and the customer included in the position utterance customer service information for each clerk and the position utterance customer service information for each customer, an image of the flow line 84 of the store clerk and the customer at each time is generated. The image and the person mark 85 are superimposed on the store map image 82. Further, the first touch mark 87 is superimposed on the store map image 82 based on the first touch time (service start time) and position.

また、画面生成の処理では、第１の接客集計、第２の接客集計、来店集計、店員集計、顧客集計の各処理で取得した統計情報に基づいて、各種の一覧表（図１２参照）や各種のグラフ（図１３参照）を生成して、この一覧表やグラフが表示される統計情報画面の画面情報を生成する。   In the screen generation process, various lists (see FIG. 12) and the like based on the statistical information acquired in the processes of the first customer service total, the second customer service total, the store total, the store clerk total, and the customer total. Various graphs (see FIG. 13) are generated, and screen information of a statistical information screen on which the list and graphs are displayed is generated.

次に、閲覧端末９に表示される接客ヒートマップ表示画面について説明する。図１０は、接客ヒートマップ表示画面を示す説明図である。図１１は、ヒートマップ画像８１の表示要素と画像属性との関係を示す説明図である。   Next, the customer service heat map display screen displayed on the browsing terminal 9 will be described. FIG. 10 is an explanatory diagram showing a customer service heat map display screen. FIG. 11 is an explanatory diagram showing the relationship between display elements of the heat map image 81 and image attributes.

図１０に示すように、接客ヒートマップ表示画面には、検索条件設定部６１と、メニュー表示ボタン６２と、接客ヒートマップ表示部６３と、映像表示部６４と、再生操作部６５と、が設けられている。   As shown in FIG. 10, the customer service heat map display screen includes a search condition setting unit 61, a menu display button 62, a customer service heat map display unit 63, a video display unit 64, and a playback operation unit 65. It has been.

検索条件設定部６１は、検索条件、すなわち、接客ヒートマップ表示部６３の表示対象を絞り込むフィルタリングの条件を設定するものであり、設定した検索条件に該当する情報のみが接客ヒートマップ表示部６３に表示される。   The search condition setting unit 61 sets a search condition, that is, a filtering condition for narrowing the display target of the customer service heat map display unit 63, and only information corresponding to the set search condition is stored in the customer service heat map display unit 63. Is displayed.

この検索条件設定部６１には、項目設定部７１と、店員設定部７２と、顧客設定部７３と、エリア設定部７４と、期間設定部７５と、範囲設定部７６と、「検索」のボタン７７と、が設けられている。   The search condition setting unit 61 includes an item setting unit 71, a clerk setting unit 72, a customer setting unit 73, an area setting unit 74, a period setting unit 75, a range setting unit 76, and a “search” button. 77.

項目設定部７１は、接客ヒートマップ表示部６３に表示させる項目をユーザが選択する。本実施形態では、ヒートマップ、動線、およびファーストタッチの各項目を選択することができる。ヒートマップの項目を選択すると、ヒートマップ画像８１が表示され、動線の項目を選択すると、動線８４および人物マーク８５が表示され、ファーストタッチの項目を選択すると、ファーストタッチのマーク８７が表示される。   In the item setting unit 71, the user selects items to be displayed on the customer service heat map display unit 63. In this embodiment, each item of the heat map, the flow line, and the first touch can be selected. When a heat map item is selected, a heat map image 81 is displayed. When a flow line item is selected, a flow line 84 and a person mark 85 are displayed. When a first touch item is selected, a first touch mark 87 is displayed. Is done.

店員設定部７２は、接客ヒートマップ表示部６３の表示対象となる店員をユーザが選択するものであり、ここでユーザが選択した店員の接客事象に関する情報が接客ヒートマップ表示部６３に表示される。   The clerk setting unit 72 is used by the user to select a clerk to be displayed on the customer service heat map display unit 63, and information on the customer service event of the clerk selected by the user is displayed on the customer service heat map display unit 63. .

顧客設定部７３は、接客ヒートマップ表示部６３に顧客に関する情報を表示させるか否かをユーザが指定するものである。   The customer setting unit 73 is for the user to specify whether or not to display information related to the customer on the customer service heat map display unit 63.

エリア設定部７４は、接客ヒートマップ表示部６３の表示対象となる場所をユーザが選択するものであり、ここでユーザが選択した場所で発生した接客事象に関する情報が接客ヒートマップ表示部６３に表示される。なお、選択可能な場所は、少なくとも１つのセルを用いて、ユーザが場所名称と共に設定しておくことができる。   The area setting unit 74 is used by the user to select a location to be displayed on the customer service heat map display unit 63, and information on the customer service event occurring at the location selected by the user is displayed on the customer service heat map display unit 63. Is done. In addition, the place which can be selected can be set with the place name by the user using at least one cell.

期間設定部７５は、接客ヒートマップ表示部６３の表示対象となる期間（年月日、開始時刻、終了時刻）をユーザが指定するものであり、ここでユーザが指定した期間に発生した接客事象に関する情報が接客ヒートマップ表示部６３に表示される。   The period setting unit 75 is for the user to specify a period (year / month / day, start time, end time) to be displayed on the customer service heat map display unit 63, and a customer service event that occurs during the period specified by the user. Is displayed on the customer service heat map display unit 63.

範囲設定部７６は、接客ヒートマップ表示部６３の表示対象となる統計情報の範囲をユーザが指定するものであり、ここでユーザが指定した統計情報の範囲に該当する情報が接客ヒートマップ表示部６３に表示される。   The range setting unit 76 is used by the user to specify the range of statistical information to be displayed on the customer service heat map display unit 63, and information corresponding to the range of statistical information specified by the user is displayed on the customer service heat map display unit. 63.

接客時間の項目では、接客時間の範囲（下限値および上限値）を指定することで、接客時間が指定した範囲となる接客事象に関する情報が表示される。また、接客着手時間の項目では、接客着手時間の範囲（下限値および上限値）を指定することで、接客着手時間が指定した範囲となる接客事象に関する情報が表示される。また、顧客人数の項目では、顧客人数の範囲（下限値および上限値）を指定することで、顧客人数が指定した範囲となる期間に関する情報が表示される。また、店員の項目では、店員人数の範囲（下限値および上限値）を指定することで、店員人数が指定した範囲となる期間に関する情報が表示される。   In the customer service time item, by specifying a range of customer service time (a lower limit value and an upper limit value), information related to a customer service event that falls within the range specified by the customer service time is displayed. Also, in the item of customer service start time, by specifying the range of customer service start time (lower limit value and upper limit value), information on customer service events within the specified range of customer service start time is displayed. Further, in the item of the number of customers, by specifying the range (lower limit value and upper limit value) of the customer number, information related to the period in which the customer number is in the specified range is displayed. In the store clerk item, by specifying the range of the store clerk number (lower limit and upper limit), information on the period in which the store clerk is within the specified range is displayed.

以上のような検索条件設定部６１でユーザが各種の検索条件を指定する操作を行って「検索」のボタン７７を操作すると、指定した検索条件に基づいて、表示対象のフィルタリングが行われて、指定した検索条件に該当する情報が接客ヒートマップ表示部６３に表示される。   When the user performs various operations for specifying various search conditions in the search condition setting unit 61 as described above and operates the “search” button 77, the display target is filtered based on the specified search conditions, Information corresponding to the specified search condition is displayed on the customer service heat map display unit 63.

メニュー表示ボタン６２を操作すると、接客ヒートマップ、グラフ、および設定などを選択するメニューが表示される。ここで、他の画面を表示中に接客ヒートマップを選択すると、この接客ヒートマップ表示画面に遷移し、グラフを選択すると、グラフを表示する画面（図１３参照）に遷移し、設定を選択すると、各種のパラメータ（しきい値など）を設定する画面に遷移する。   When the menu display button 62 is operated, a menu for selecting a service heat map, a graph, settings, and the like is displayed. Here, if a customer service heat map is selected while another screen is displayed, the screen transitions to the customer service heat map display screen. If a graph is selected, the screen transitions to a screen displaying a graph (see FIG. 13), and a setting is selected. , Transition to a screen for setting various parameters (threshold, etc.).

接客ヒートマップ表示部６３には、接客ポイント（店員が接客を行った位置）を表す画像として、ヒートマップ画像８１（定形画像）が、店舗のレイアウトを表す店舗マップ画像８２上に表示される。   In the customer service heat map display unit 63, a heat map image 81 (standard image) is displayed on the store map image 82 representing the store layout as an image representing a customer service point (a position where the store clerk has served customers).

また、ヒートマップ画像８１は、店舗マップ画像８２上に透過状態で重畳され、ヒートマップ画像８１が重畳された位置でも、店舗マップ画像８２が透けて見えるようになっている。   Moreover, the heat map image 81 is superimposed on the store map image 82 in a transparent state, and the store map image 82 can be seen through even at the position where the heat map image 81 is superimposed.

また、このヒートマップ画像８１は、接客ポイントを示すとともに接客状況に関する統計情報を可視化するものであり、統計情報に応じて表示形態が変化する。本実施形態では、統計情報として、接客時間、接客人数および接客回数の各要素の少なくとも１つをヒートマップ画像８１で表現する。さらに、本実施形態では、接客時間、接客人数および接客回数の各要素のうち、任意の２つの要素を異なる画像属性で表現する。さらに、本実施形態では、接客時間、接客人数および接客回数の各要素のうち、１つの表示要素をヒートマップ画像８１の大きさで表現し、もう１つの表示要素をヒートマップ画像８１の塗りつぶしの色合いまたは色の濃さのいずれかで表現する。   Moreover, this heat map image 81 visualizes the statistical information regarding a customer service situation while showing a customer service point, and a display form changes according to statistical information. In the present embodiment, as statistical information, at least one of the elements of the customer service time, the number of customer service, and the number of customer service is represented by the heat map image 81. Furthermore, in this embodiment, arbitrary two elements are expressed by different image attributes among the elements of the customer service time, the number of customer service, and the number of customer service. Furthermore, in this embodiment, one display element is represented by the size of the heat map image 81 among the elements of the customer service time, the number of customers, and the number of customer service times, and the other display element is a fill of the heat map image 81. Expressed in either hue or color intensity.

図１１に示す例では、接客回数がヒートマップ画像８１の大きさで表現され、接客時間がヒートマップ画像８１の塗りつぶし色の濃さで表現され、接客回数が増えると、ヒートマップ画像８１が大きくなり、接客時間が長くなると、ヒートマップ画像８１の塗りつぶし色が濃くなる。また、接客時間を色合いで表現するようにしてもよく、例えば、接客時間が長くなると、ヒートマップ画像８１が青色から赤色に変化する。この場合、複数のしきい値を設定して、ヒートマップ画像８１の色合いが段階的に変化する、例えば、ヒートマップ画像８１が青色から緑色、黄色、赤色に段階的に変化するようにしてもよい。   In the example shown in FIG. 11, the number of customer service is expressed by the size of the heat map image 81, the customer service time is expressed by the darkness of the fill color of the heat map image 81, and the heat map image 81 becomes larger as the number of customer service increases. When the customer service time becomes longer, the fill color of the heat map image 81 becomes darker. In addition, the customer service time may be expressed in shades. For example, when the customer service time becomes longer, the heat map image 81 changes from blue to red. In this case, by setting a plurality of threshold values, the color of the heat map image 81 changes stepwise. For example, the heat map image 81 changes stepwise from blue to green, yellow, and red. Good.

また、色合いや色の濃さをヒートマップ画像８１の全体で均一としてもよいが、ヒートマップ画像８１内で色合いや色の濃さが異なる領域を、接客時間の長さに応じて変化させるようにしてもよい。例えば、接客時間の長さに応じて、ヒートマップ画像８１の中心部から赤色の領域が広がるように表示すれば、赤色の領域の大きさで接客時間の長さをユーザが把握することができる。   Further, although the hue and the color density may be uniform throughout the heat map image 81, the regions having different hues and color densities in the heat map image 81 are changed according to the length of the customer service time. It may be. For example, if the red area is displayed so as to spread from the center of the heat map image 81 according to the length of the customer service time, the user can grasp the length of the customer service time based on the size of the red area. .

また、本実施形態では、セル単位で統計情報の集計が行われ、セル単位の統計情報を可視化したヒートマップ画像８１がセルの中心位置に表示される。このため、ヒートマップ画像８１をセルより大きく表示するようにすると、ヒートマップ画像８１が重なり合うように表示される。   In the present embodiment, statistical information is aggregated in units of cells, and a heat map image 81 in which the statistical information in units of cells is visualized is displayed at the center position of the cells. For this reason, when the heat map image 81 is displayed larger than the cell, the heat map images 81 are displayed so as to overlap each other.

ここで、本実施形態では、ユーザが指定した集計期間（検索期間）で統計情報（接客時間、接客人数および接客回数）の集計が行われ、集計期間内に同じ位置（セル）で複数回の接客が行われた場合には、集計期間における複数回の接客時の情報を累積して取得した統計情報がヒートマップ画像８１で表現される。このようにすると、集計期間における店舗内の各位置（セル）での接客の頻度、すなわち、店舗内のどこで接客がどの程度行われているかをユーザが確認することができる。   Here, in the present embodiment, statistical information (customer service time, number of customer service, and number of customer service) is aggregated during the aggregation period (search period) designated by the user, and multiple times at the same position (cell) within the aggregation period. When customer service is performed, statistical information acquired by accumulating information at the time of customer service for a plurality of times in the counting period is represented by the heat map image 81. In this way, the user can confirm the frequency of customer service at each position (cell) in the store during the counting period, that is, how much customer service is performed in the store.

なお、ヒートマップ画像８１が、１回の接客時の状況を表すものとしてもよい。この場合、１回の接客の度にヒートマップが表示され、１回の接客が継続している間はヒートマップが表示され、１回の接客が終わると、ヒートマップが消失する。この場合、ヒートマップ画像８１は接客時間を表すものとするとよく、１回の接客が継続すると、接客時間の長さに応じて、ヒートマップ画像８１の表示形態（例えば色合い）が次第に変化する。このようにすると、各回の接客の状況を確認することができる。   The heat map image 81 may represent the situation at the time of one customer service. In this case, the heat map is displayed for each customer service, the heat map is displayed while one customer service is continued, and the heat map disappears when the customer service is completed. In this case, the heat map image 81 may represent the customer service time. When one customer service is continued, the display form (for example, color) of the heat map image 81 gradually changes according to the length of the customer service time. If it does in this way, the situation of customer service of each time can be checked.

また、ユーザが指定した検索期間より短い期間を統計情報の集計期間として、再生時刻から過去に遡った集計期間での統計情報をヒートマップ画像８１で表現するようにしてもよい。この場合、再生時刻が進むのに応じて集計期間が移動（更新されるように）する。   Further, the statistical information in the total period that goes back to the past from the reproduction time may be represented by the heat map image 81 with the period shorter than the search period designated by the user as the statistical information total period. In this case, the counting period is moved (updated) as the reproduction time advances.

また、本実施形態では、ヒートマップ画像８１の形状を円形としたが、ヒートマップ画像８１の形状は円形に限定されるものではなく、矩形などの他の形状としてもよい。   In the present embodiment, the shape of the heat map image 81 is circular. However, the shape of the heat map image 81 is not limited to a circular shape, and may be another shape such as a rectangle.

また、図１０に示すように、接客ヒートマップ表示部６３には、人物（店員および顧客）の行動状況を表す画像として、人物が移動した軌跡を描画した動線８４が店舗マップ画像８２上に表示される。また、動線８４の終端には人物マーク８５が表示される。この人物マーク８５は、再生時刻での人物の位置を示している。   As shown in FIG. 10, the customer service heat map display unit 63 has a flow line 84 on the store map image 82 that depicts a trajectory of the movement of the person as an image representing the behavior of the person (store clerk and customer). Is displayed. A person mark 85 is displayed at the end of the flow line 84. This person mark 85 indicates the position of the person at the reproduction time.

動線８４は、人物ごとに異なる色で表示される。また、店員と顧客とを容易に識別できるように、人物ごとの動線８４の配色を行うとよい。例えば、店員の動線８４を寒色系の色で表示し、顧客の動線８４を暖色系の色で表示するようにするとよい。   The flow line 84 is displayed in a different color for each person. Moreover, it is good to color-map the flow line 84 for every person so that a salesclerk and a customer can be identified easily. For example, the flow line 84 of the store clerk may be displayed in a cold color, and the flow line 84 of the customer may be displayed in a warm color.

また、接客ヒートマップ表示部６３には、ファーストタッチ（最初の接客）の位置を表す画像として、店舗マップ画像８２上のファーストタッチが行われた位置の近傍に、ファーストタッチのマーク８７が表示される。   The customer service heat map display unit 63 displays a first touch mark 87 in the vicinity of the position where the first touch is performed on the store map image 82 as an image representing the position of the first touch (first customer service). The

映像表示部６４には、カメラ２の撮像映像が表示される。本実施形態では、カメラ２が、魚眼レンズを用いた全方位カメラであるため、映像表示部６４には魚眼映像が表示される。この映像表示部６４に表示される撮像映像により、接客ヒートマップ表示部６３でヒートマップ画像８１や動線８４を再生している最中に、注目するタイミングでの店舗内の実際の状況を確認することができる。なお、映像表示部６４は、ユーザの好みに応じて、非表示にしたり、別ウィンドウで拡大表示したりするようにしてもよい。   The video display unit 64 displays a captured video of the camera 2. In the present embodiment, since the camera 2 is an omnidirectional camera using a fisheye lens, a fisheye image is displayed on the image display unit 64. While the heat map image 81 and the flow line 84 are being reproduced on the customer service heat map display unit 63, the actual situation in the store at the timing of interest is confirmed by the captured image displayed on the video display unit 64. can do. Note that the video display unit 64 may be hidden or enlarged and displayed in another window according to the user's preference.

再生操作部６５には、再生停止ボタン９１が設けられており、この再生停止ボタン９１を操作することで、接客ヒートマップ表示部６３の動画像（ヒートマップ画像８１、動線８４など）の再生および停止を行うことができる。この再生停止ボタン９１で再生を開始すると、再生時刻の進行に応じて動画像が変化する。すなわち、店員や顧客が存在する位置に人物マーク８５が出現し、店員や顧客が移動するのに応じて、店員や顧客の動線８４が徐々に延びる。そして、店員が接客を始めると、ヒートマップ画像８１が出現し、ファーストタッチであればマーク８７が出現する。また、接客時間や接客回数が増えるのに応じて、ヒートマップ画像８１の形態（大きさや色など）が徐々に変化する。   The reproduction operation unit 65 is provided with a reproduction stop button 91. By operating the reproduction stop button 91, a moving image (heat map image 81, flow line 84, etc.) of the customer service heat map display unit 63 is reproduced. And stop can be done. When playback is started with the playback stop button 91, the moving image changes according to the progress of the playback time. That is, a person mark 85 appears at a position where a store clerk or a customer exists, and the flow line 84 of the store clerk or customer gradually extends as the store clerk or customer moves. When the store clerk starts customer service, the heat map image 81 appears, and if it is the first touch, the mark 87 appears. In addition, the form (size, color, etc.) of the heat map image 81 gradually changes as the customer service time and the number of customer services increase.

また、再生操作部６５には、バー９２に沿って移動するスライダ９３が設けられており、このスライダ９３をずらす操作を行うことで、再生時刻を調整することができる。また、バー９２の両端部には、集計期間の開始時刻および終了時刻が表示され、スライダ９３の近傍には、再生時刻が表示される。   In addition, the playback operation unit 65 is provided with a slider 93 that moves along the bar 92, and the playback time can be adjusted by performing an operation of shifting the slider 93. Further, the start time and end time of the counting period are displayed at both ends of the bar 92, and the playback time is displayed near the slider 93.

次に、閲覧端末９に表示される統計情報表示画面について説明する。図１２は、統計情報表示画面に表示される一覧表の一例を示す説明図である。図１３は、統計情報表示画面に表示されるグラフの一例を示す説明図である。   Next, the statistical information display screen displayed on the browsing terminal 9 will be described. FIG. 12 is an explanatory diagram illustrating an example of a list displayed on the statistical information display screen. FIG. 13 is an explanatory diagram illustrating an example of a graph displayed on the statistical information display screen.

本実施形態では、接客着手時間を所定単位（例えば１０秒間）で区切ることで、接客着手時間の長さに関する複数のレベルが設定され、第２の接客集計の処理（図５参照）では、接客着手時間が各レベルとなる回数をカウントして、レベルごとの接客回数を取得する。また、第１の接客集計の処理（図５参照）では、レベルごとに接客着手時間を集計して、レベルごとの平均接客着手時間（各回の接客着手時間の平均値）を取得する。   In the present embodiment, the customer service start time is divided by a predetermined unit (for example, 10 seconds) to set a plurality of levels related to the length of the customer service start time. In the second service totaling process (see FIG. 5), Count the number of times the start time reaches each level, and obtain the number of customer service for each level. Further, in the first customer service counting process (see FIG. 5), the customer service start time for each level is totaled to obtain the average customer service start time for each level (the average value of the customer service start time for each time).

このとき、接客着手時間の集計を店員別に行うことで、図１２（Ａ）に示すように、店員ごとの接客回数および平均接客着手時間に関する一覧表を取得することができる。また、接客着手時間の集計をセル（分割エリア）別に行うことで、図１２（Ｂ）に示すように、セルごとの接客回数および平均接客着手時間に関する一覧表を取得することができる。この一覧表は、画面生成の処理（図５参照）で、画面表示することができる。   At this time, by summing up the customer service start time for each store clerk, as shown in FIG. 12A, it is possible to obtain a list of the number of customer service and the average customer service start time for each store clerk. Further, by summing up the customer service start time for each cell (divided area), as shown in FIG. 12B, it is possible to obtain a list regarding the number of customer service and the average customer service start time for each cell. This list can be displayed on the screen by screen generation processing (see FIG. 5).

また、本実施形態では、図１３に示すように、画面生成の処理（図５参照）で、第１の接客集計、第２の接客集計、来店集計、店員集計、顧客集計の各処理で取得した統計情報に関するグラフを生成して、画面表示することができる。   Further, in the present embodiment, as shown in FIG. 13, in the screen generation process (see FIG. 5), the first customer service total, the second customer total, the store visit, the salesclerk total, and the customer total are acquired. A graph related to the statistical information can be generated and displayed on the screen.

図１３（Ａ）に示す例では、ある店舗での日（曜日）ごとの接客着手時間（平均値）が棒グラフで表示されている。なお、単位期間を時間帯として、時間帯ごとの接客着手時間をグラフで表示するようにしてもよい。また、店員に関する単位期間ごとの接客着手時間をグラフで表示するようにしてもよい。   In the example shown in FIG. 13A, the customer service start time (average value) for each day (day of the week) at a certain store is displayed as a bar graph. In addition, you may make it display the customer service start time for every time slot | zone on a graph by making a unit period into a time slot | zone. Moreover, you may make it display the customer service start time for every unit period regarding a shop assistant with a graph.

また、図１３（Ｂ）に示す例では、店員ごとの接客回数および店員運動量が棒グラフで表示され、店員ごとの売上が折れ線グラフで表示されている。図１３（Ｃ）に示す例では、時間帯ごとの来店人数および店員人数が棒グラフで表示され、時間帯ごとの接客ロス率が折れ線グラフで表示されている。   In the example shown in FIG. 13B, the number of customer service for each clerk and the clerk's exercise amount are displayed as a bar graph, and the sales for each clerk are displayed as a line graph. In the example shown in FIG. 13C, the number of customers and the number of shop assistants for each time zone are displayed as a bar graph, and the customer service loss rate for each time zone is displayed as a line graph.

なお、売上は、本接客状況分析システムをＰＯＳ（販売情報管理システム）と連携させることで、ＰＯＳから取得することができる。また、接客ロス率は、来店した人物のうちで店員が接客しないまま退店した人物の割合であり、来店集計の処理で取得した来店人数と、接客判定の処理で取得した接客済みの顧客の人数と、に基づいて算出することができる。   Sales can be acquired from the POS by linking the customer service situation analysis system with a POS (sales information management system). In addition, the customer service loss rate is the ratio of the number of people who visited the store without the store clerk serving the customer. It can be calculated based on the number of people.

また、図１３に示す例と同様に、図１２に示す一覧表をグラフで表示するようにしてもよい。また、店員およびエリアごとの統計情報を店舗全体で集計することで、店舗全体の統計情報を取得することができるが、複数の店舗から収集した情報に基づいて、複数の店舗ごとの統計情報をグラフや一覧表で表示するようにしてもよい。   Moreover, you may make it display the table shown in FIG. 12 with a graph similarly to the example shown in FIG. In addition, statistical information for each store can be obtained by aggregating statistical information for each store clerk and area for the entire store. Based on information collected from multiple stores, statistical information for each store can be obtained. You may make it display with a graph and a list.

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。   As described above, the embodiments have been described as examples of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can be applied to embodiments in which changes, replacements, additions, omissions, and the like have been performed. Moreover, it is also possible to combine each component demonstrated by said embodiment into a new embodiment.

例えば、前記の実施形態では、音声処理用ＰＣ５と、画像処理用ＰＣ６と、測位管理サーバ７と、分析用ＰＣ８と、を備えた構成としたが、これらの装置の各機能は、かならずしも単一の情報処理装置で実現する必要はなく、適宜に１つまたは複数の情報処理装置に統合することができる。また、分析用ＰＣの機能を複数の情報処理装置で分担することも可能である。また、マイク１およびカメラ２が一体の監視カメラを多機能化し、音声処理用ＰＣ５や画像処理用ＰＣ６を介さずに、監視カメラのプロセッサが、人物別位置情報や音声ヒートマップを生成して、分析用ＰＣ８へ送信するようにすることも可能である。   For example, in the above-described embodiment, the audio processing PC 5, the image processing PC 6, the positioning management server 7, and the analysis PC 8 are provided. However, each function of these devices is not necessarily a single unit. The information processing apparatus need not be realized, and can be appropriately integrated into one or a plurality of information processing apparatuses. It is also possible to share the functions of the analysis PC with a plurality of information processing apparatuses. In addition, the monitoring camera in which the microphone 1 and the camera 2 are integrated is made multifunctional, and the processor of the monitoring camera generates position information for each person and an audio heat map without using the audio processing PC 5 and the image processing PC 6, It is also possible to transmit to the analysis PC 8.

本発明に係る接客状況分析装置および接客状況分析システムは、店員が接客を行ったことを精度良く判定することができ、さらに、店員が実際に接客を行った位置をユーザが一目で把握することができる効果を有し、店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置および接客状況分析システムなどとして有用である。   The customer service situation analysis apparatus and customer service situation analysis system according to the present invention can accurately determine that a store clerk has served customers, and the user can grasp at a glance the position where the store clerk actually served customers. The present invention is useful as a customer service situation analysis apparatus and a customer service situation analysis system in which a processor performs processing for generating information related to customer service conditions by analyzing the customer service situation of a customer at a store.

１ マイク（収音装置）
２ カメラ（撮像装置）
３ ビーコン発信機
４ 携帯端末（携帯端末装置）
５ 音声処理用ＰＣ（情報処理装置）
６ 画像処理用ＰＣ（情報処理装置）
７ 測位管理サーバ
８ 分析用ＰＣ（接客状況分析装置、情報処理装置）
９ 閲覧端末
１１ ゲートウェイ
１２ 公衆アクセスポイント
５２ プロセッサ
６３ 接客ヒートマップ表示部
８１ ヒートマップ画像（定形画像）
８２ 店舗マップ画像
８４ 動線
８５ 人物マーク
８７ ファーストタッチのマーク 1 Microphone (sound pickup device)
2 Camera (imaging device)
3 Beacon transmitter 4 Mobile terminal (mobile terminal device)
5 PC for voice processing (information processing equipment)
6 Image processing PC (information processing equipment)
7 Positioning management server 8 PC for analysis (service condition analyzer, information processor)
9 browsing terminal 11 gateway 12 public access point 52 processor 63 customer service heat map display unit 81 heat map image (standard image)
82 Store map image 84 Flow line 85 Person mark 87 First touch mark

Claims (11)

店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する処理をプロセッサにより実行する接客状況分析装置であって、
前記プロセッサは、
店舗内の人物を撮像した画像データから取得した人物の位置情報、および店員が所持する携帯端末装置の位置情報に基づいて、店員の位置情報および顧客の位置情報を取得し、
店舗内の音声を収音した音声データから取得した音声の位置情報、および前記店員の位置情報に基づいて、店員が発話した位置を表す発話位置情報を取得し、
前記発話位置情報および前記顧客の位置情報に基づいて、店員が接客を行ったか否かを判定し、
その判定結果に基づいて、前記接客状況に関する情報を生成することを特徴とする接客状況分析装置。 A customer service situation analysis device that analyzes a customer service situation of a customer at a store and generates information related to the customer service status by a processor,
The processor is
Based on the position information of the person acquired from the image data obtained by imaging the person in the store and the position information of the mobile terminal device possessed by the store clerk, the position information of the store clerk and the position information of the customer are acquired,
Based on the position information of the sound acquired from the sound data obtained by collecting the sound in the store, and the position information of the store clerk, to acquire the utterance position information representing the position where the store clerk spoke,
Based on the utterance position information and the customer position information, it is determined whether or not a store clerk has served customers,
A service situation analysis apparatus that generates information on the service situation based on the determination result. 前記プロセッサは、
前記発話位置情報および前記顧客の位置情報に基づいて、店員が接客を行った位置である接客ポイントを取得することを特徴とする請求項１に記載の接客状況分析装置。 The processor is
The customer service situation analysis apparatus according to claim 1, wherein a customer service point that is a position where a store clerk has served customer is acquired based on the utterance position information and the customer position information. 前記プロセッサは、
前記発話位置情報および前記顧客の位置情報に基づいて、店員の位置または店員と顧客との中央位置を、前記接客ポイントとして取得することを特徴とする請求項２に記載の接客状況分析装置。 The processor is
3. The customer service situation analysis apparatus according to claim 2, wherein a customer clerk position or a center position between a customer clerk and a customer is acquired as the customer service point based on the utterance position information and the customer position information. 前記プロセッサは、
店舗内の監視エリアに少なくとも１つ設定された測定エリアを対象にして、前記接客ポイントでの接客状況に関する統計情報を生成し、その統計情報を可視化した画像を店舗マップ画像に重畳した画面情報を出力することを特徴とする請求項２または請求項３のいずれかに記載の接客状況分析装置。 The processor is
For the measurement area set in at least one monitoring area in the store, statistical information on the customer service situation at the customer service point is generated, and screen information obtained by superimposing an image obtained by visualizing the statistical information on the store map image is displayed. 4. The customer service situation analyzing apparatus according to claim 2, wherein the service condition analyzing apparatus outputs the service. 前記測定エリアは、監視エリアを複数に均等分割した分割エリアであることを特徴とする請求項４に記載の接客状況分析装置。   The customer service situation analysis apparatus according to claim 4, wherein the measurement area is a divided area obtained by equally dividing the monitoring area into a plurality of areas. 前記統計情報は、接客時間、接客回数および接客人数の各要素の少なくとも１つを含むことを特徴とする請求項４または請求項５のいずれかに記載の接客状況分析装置。   6. The customer service situation analyzing apparatus according to claim 4, wherein the statistical information includes at least one of each element of a customer service time, a customer service number, and a customer service number. 前記統計情報を表わす画像は、前記接客時間、前記接客回数および前記接客人数の各要素のうち、任意の２つの要素を異なる属性で表した１つの定形画像であることを特徴とする請求項６に記載の接客状況分析装置。   The image representing the statistical information is one fixed image representing any two elements with different attributes among the elements of the customer service time, the customer service number, and the customer service number. The customer service status analyzer described in 1. 前記定形画像は、前記店舗マップ画像上に透過状態で重畳されることを特徴とする請求項７に記載の接客状況分析装置。   The customer service situation analyzing apparatus according to claim 7, wherein the fixed image is superimposed on the store map image in a transparent state. 前記定形画像は、前記接客時間、前記接客回数および前記接客人数の各要素のうち、１つの要素が前記定形画像の大きさで表現され、もう１つの要素が前記定形画像の塗りつぶしの色合いまたは色の濃さのいずれかで表現されることを特徴とする請求項７または請求項８に記載の接客状況分析装置。   In the fixed image, one of the elements of the customer service time, the number of customer service, and the number of customers is expressed by the size of the standard image, and the other element is a color or color of the fill of the standard image. 9. The customer service situation analysis apparatus according to claim 7 or 8, wherein the service condition analysis apparatus is expressed in any one of the darkness levels. 前記プロセッサは、
前記携帯端末装置に付与された端末識別情報に基づいて店員を識別して、店員別の前記接客ポイントを取得することを特徴とする請求項２から請求項９のいずれかに記載の接客状況分析装置。 The processor is
The customer service situation analysis according to any one of claims 2 to 9, wherein a store clerk is identified based on terminal identification information given to the mobile terminal device, and the customer service point for each store clerk is acquired. apparatus. 店舗での顧客に対する店員の接客状況を分析して、接客状況に関する情報を生成する接客状況分析システムであって、
店舗内の音声を収音する収音装置と、
店舗内の人物を撮像する撮像装置と、
店員が所持する携帯端末装置と、
１つまたは複数の情報処理装置と、
を備え、
前記１つまたは複数の情報処理装置は、
前記収音装置から出力される音声データから音声の位置情報を取得し、
前記撮像装置から出力される画像データから人物の位置情報を取得し、
前記人物の位置情報および前記携帯端末装置の位置情報に基づいて、店員の位置情報および顧客の位置情報を取得し、
前記音声の位置情報および前記店員の位置情報に基づいて、店員が発話した位置を表す発話位置情報を取得し、
前記発話位置情報および前記顧客の位置情報に基づいて、店員が接客を行ったか否かを判定し、
その判定結果に基づいて、前記接客状況に関する情報を生成することを特徴とする接客状況分析システム。 A customer service situation analysis system that analyzes the customer service situation of a store clerk to a customer at a store and generates information about the customer service situation,
A sound collection device that picks up sound in the store;
An imaging device for imaging a person in the store;
A mobile terminal device owned by a store clerk;
One or more information processing devices;
With
The one or more information processing devices include:
Obtaining voice position information from the voice data output from the sound pickup device;
Obtaining the position information of the person from the image data output from the imaging device,
Based on the position information of the person and the position information of the mobile terminal device, obtain the position information of the store clerk and the position information of the customer,
Based on the position information of the voice and the position information of the store clerk, obtain utterance position information representing the position where the store clerk spoke,
Based on the utterance position information and the customer position information, it is determined whether or not a store clerk has served customers,
Based on the determination result, information on the customer service situation is generated.
JP2017010365A 2017-01-24 2017-01-24 Service situation analysis device and service situation analysis system Active JP6300130B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017010365A JP6300130B1 (en) 2017-01-24 2017-01-24 Service situation analysis device and service situation analysis system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017010365A JP6300130B1 (en) 2017-01-24 2017-01-24 Service situation analysis device and service situation analysis system

Publications (2)

Publication Number Publication Date
JP6300130B1 true JP6300130B1 (en) 2018-03-28
JP2018120344A JP2018120344A (en) 2018-08-02

Family

ID=61756519

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017010365A Active JP6300130B1 (en) 2017-01-24 2017-01-24 Service situation analysis device and service situation analysis system

Country Status (1)

Country Link
JP (1) JP6300130B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020129231A (en) * 2019-02-07 2020-08-27 パナソニックＩｐマネジメント株式会社 Customer service state analyzer, customer service state analysis system, and customer service state analysis method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6905965B2 (en) * 2018-09-28 2021-07-21 Kddi株式会社 System and method to identify a person by the mounting position of the terminal
JP7336674B2 (en) * 2019-02-07 2023-09-01 パナソニックＩｐマネジメント株式会社 Customer Service Situation Analysis Device, Customer Service Situation Analysis System, and Customer Service Situation Analysis Method
JP7263951B2 (en) * 2019-07-09 2023-04-25 株式会社村田製作所 rating system
JP2022042014A (en) * 2020-08-31 2022-03-11 株式会社エクサウィザーズ Control method, program, information processing device, and information processing system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009238044A (en) * 2008-03-27 2009-10-15 Brother Ind Ltd Customer service support system
WO2016051693A1 (en) * 2014-09-30 2016-04-07 パナソニックＩｐマネジメント株式会社 Service monitoring system and service monitoring method
JP2016076092A (en) * 2014-10-07 2016-05-12 パナソニックＩｐマネジメント株式会社 Activity state analysis system, activity state analysis device, activity state analysis method, activity state analysis program, and storage medium for storing program
WO2016151643A1 (en) * 2015-03-20 2016-09-29 パナソニックＩｐマネジメント株式会社 Customer service monitoring device, customer service monitoring system and customer service monitoring method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009238044A (en) * 2008-03-27 2009-10-15 Brother Ind Ltd Customer service support system
WO2016051693A1 (en) * 2014-09-30 2016-04-07 パナソニックＩｐマネジメント株式会社 Service monitoring system and service monitoring method
JP2016076092A (en) * 2014-10-07 2016-05-12 パナソニックＩｐマネジメント株式会社 Activity state analysis system, activity state analysis device, activity state analysis method, activity state analysis program, and storage medium for storing program
WO2016151643A1 (en) * 2015-03-20 2016-09-29 パナソニックＩｐマネジメント株式会社 Customer service monitoring device, customer service monitoring system and customer service monitoring method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020129231A (en) * 2019-02-07 2020-08-27 パナソニックＩｐマネジメント株式会社 Customer service state analyzer, customer service state analysis system, and customer service state analysis method
JP7316580B2 (en) 2019-02-07 2023-07-28 パナソニックＩｐマネジメント株式会社 Customer Service Situation Analysis Device, Customer Service Situation Analysis System, and Customer Service Situation Analysis Method

Also Published As

Publication number Publication date
JP2018120344A (en) 2018-08-02

Similar Documents

Publication Publication Date Title
JP6300130B1 (en) Service situation analysis device and service situation analysis system
US10812761B2 (en) Complex hardware-based system for video surveillance tracking
JP6256885B2 (en) Facility activity analysis apparatus, facility activity analysis system, and facility activity analysis method
JP6444655B2 (en) Display method, stay information display system, display control device, and display control method
US20200302188A1 (en) Intra-facility activity analysis device, intra-facility activity analysis system, and intra-facility activity analysis method
CN117496643A (en) System and method for detecting and responding to visitor of smart home environment
CN106461789B (en) For crossing over the system and technology that are controlled based on geography fence
WO2015194115A1 (en) Customer service appraisal device, customer service appraisal system, and customer service appraisal method
JP6300131B1 (en) Service situation analysis device and service situation analysis system
CN107924548A (en) The real-time activity at a position is monitored automatically using wearable device to determine the system and method for stand-by period
JP5874886B1 (en) Service monitoring device, service monitoring system, and service monitoring method
US9877369B2 (en) Lighting device and method for managing a lighting system
JP2013106278A (en) Information supply system, acoustic signal output device, computer program, portable equipment program, data transmission method, and information acquisition method
CN106851209A (en) Monitoring method, device and electronic equipment
JP5866542B1 (en) Facility management support apparatus, facility management support system, and facility management support method
US9226224B1 (en) Method and system for obtaining information about Wi-Fi enabled telecommunications devices
WO2018025492A1 (en) Customer attendance monitoring device, customer attendance monitoring system, and customer attendance monitoring method
JP4167716B1 (en) Object position correspondence control device and object position correspondence control program
US10362462B2 (en) Ambient condition measurement and reporting system
JP2018132803A (en) Person detection system
CN104408066A (en) Alarm prompting method, device and equipment based on position information
CN106104646A (en) Numeral anti-lost safety-protection system, methods and procedures
JP2015149558A (en) Monitoring device, monitoring system, and monitoring method
JP2022053126A (en) Congestion status estimation device, method, and program
JP7316580B2 (en) Customer Service Situation Analysis Device, Customer Service Situation Analysis System, and Customer Service Situation Analysis Method

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180215

R151 Written notification of patent or utility model registration

Ref document number: 6300130

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151