JP2022041715A

JP2022041715A - Store management system

Info

Publication number: JP2022041715A
Application number: JP2020147082A
Authority: JP
Inventors: 淳士鈴木; Atsushi Suzuki
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2020-09-01
Filing date: 2020-09-01
Publication date: 2022-03-11

Abstract

To provide a store management system that is advantageous for improving accuracy of predicting time when a customer leaves a restaurant.SOLUTION: A store management system includes a system server 10 and a display device 12. The system server 10 includes: a customer information generation unit 13 that acquires first information on a customer attribute; an eating and drinking pace acquisition unit 15 that acquires second information on a pace that a customer eats and drinks; a staying time prediction unit 16 that predicts staying time of a customer on the basis of the first information; and an exit time prediction unit 14 that predicts prediction exit time of the customer by correcting the stay time on the basis of the second information. The display device 12 displays the prediction exit time.SELECTED DRAWING: Figure 1

Description

本発明は、飲食店における店舗管理システムに関する。 The present invention relates to a store management system in a restaurant.

レストラン等の飲食店において、顧客へのサービスおよび売り上げの向上のために利用されるシステムが提案されている。特許文献１には、撮影された画像に基づいて顧客の飲食ペースを評価し、評価に基づいて顧客に特典を提供するシステムが記載されている。特許文献２には、静電容量センサによって検出された静電容量の変化に基づいて顧客の飲食の状況を推定して従業員へ指示を出すことにより、従業員の負担を軽減し、サービスの向上に資するシステムが記載されている。特許文献３には、順番待ちの順位から空き席待ち時間を予測し、提示する装置が記載されている。 In restaurants such as restaurants, a system used for improving customer service and sales has been proposed. Patent Document 1 describes a system that evaluates a customer's eating and drinking pace based on an image taken and provides a privilege to the customer based on the evaluation. In Patent Document 2, the burden on the employee is reduced and the service is provided by estimating the eating and drinking situation of the customer based on the change in the capacitance detected by the capacitance sensor and giving an instruction to the employee. The system that contributes to improvement is described. Patent Document 3 describes a device that predicts and presents a vacant seat waiting time from the order of waiting in order.

特許第６４５９２８１号公報Japanese Patent No. 6459281 特開２０１９－００８５５１号公報Japanese Unexamined Patent Publication No. 2019-008551 特開２００３－２１６７６５号公報Japanese Patent Application Laid-Open No. 2003-216765

飲食店では混雑時に顧客が入店を待たされることがある。このような場合、顧客は長い時間待たされると、不満が増加する。このために店舗の運営に支障が出ることもありうる。このような顧客の不満を軽減するために、顧客に入店までの待ち時間を知らせることが行われる。顧客の不満を増加させないためには待ち時間を予測する精度が高いことが望まれる。待ち時間の予測の精度を向上するためには、飲食中の顧客の退店時間を精度よく予測することが望まれる。また飲食中の顧客の退店時間が分かれば従業員による片付けなどの段取りも円滑になる。本発明の目的は、飲食店において顧客が退店する時間の予測精度を向上させるのに有利な技術を提供することを目的とする。 At restaurants, customers may have to wait for entry when it is crowded. In such cases, the customer will be more dissatisfied if they wait for a long time. This may hinder the operation of the store. In order to alleviate such customer dissatisfaction, the customer is notified of the waiting time until entering the store. In order not to increase customer dissatisfaction, it is desirable that the accuracy of predicting the waiting time is high. In order to improve the accuracy of waiting time prediction, it is desirable to accurately predict the store leaving time of customers who are eating and drinking. In addition, if the customer's leaving time while eating and drinking is known, the arrangements such as cleaning up by employees will be smooth. An object of the present invention is to provide a technique advantageous for improving the accuracy of predicting the time when a customer leaves a restaurant.

本発明の店舗管理システムは、顧客の属性に関する第１情報を取得する顧客情報生成部と、顧客が飲食するペースに関する第２情報を取得する飲食ペース取得部と、前記第１情報に基づいて顧客の滞在時間を予測する滞在時間予測部と、前記第２情報に基づいて前記滞在時間を補正することにより前記顧客の退店時間を予測する退店時間予測部と、前記退店時間を表示する表示装置とを備えることを特徴とする。 The store management system of the present invention has a customer information generation unit that acquires first information about customer attributes, a food and drink pace acquisition unit that acquires second information about the pace at which the customer eats and drinks, and a customer based on the first information. A stay time prediction unit that predicts the stay time of the customer, a store exit time prediction unit that predicts the store exit time of the customer by correcting the stay time based on the second information, and the store exit time are displayed. It is characterized by being provided with a display device.

飲食店において顧客が退店する時間の予測精度を向上させるのに有利な技術を提供すること。 To provide a technology that is advantageous for improving the accuracy of predicting the time when a customer leaves a restaurant.

実施形態１に関わるシステム構成。The system configuration according to the first embodiment. 実施形態１に関わる顧客情報と滞在時間の関係を示すデータテーブル。A data table showing the relationship between the customer information related to the first embodiment and the staying time. 実施形態１に関わる飲食ペース評価システム。A food and drink pace evaluation system according to the first embodiment. 実施形態１に関わるフローチャート。The flowchart relating to the first embodiment. 実施形態１に関わるシステム構成。The system configuration according to the first embodiment. 実施形態１に関わるメニューと滞在時間の関係を示すデータテーブル。A data table showing the relationship between the menu and the staying time according to the first embodiment. 実施形態１に関わるフローチャート。The flowchart relating to the first embodiment. 実施形態１に関わるシステム構成。The system configuration according to the first embodiment. 実施形態１に関わるフローチャート。The flowchart relating to the first embodiment. 実施形態２に関わるシステム構成。The system configuration according to the second embodiment. 実施形態２に関わるフローチャート。The flowchart relating to the second embodiment. 実施形態２に関わる外部情報と滞在時間の関係例。An example of the relationship between the external information related to the second embodiment and the staying time.

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The following embodiments do not limit the invention according to the claims. Although a plurality of features are described in the embodiment, not all of the plurality of features are essential for the invention, and the plurality of features may be arbitrarily combined. Further, in the attached drawings, the same or similar configurations are given the same reference numbers, and duplicate explanations are omitted.

（実施形態１）
本実施形態について図１に示す飲食店の店舗管理システムの例により説明する。本システムは、飲食店で飲食している顧客の退店時間、混雑時に空き席がない場合の入店前の顧客の待ち時間を取得して表示しうる。本システムは、システムサーバ１０を含む。システムサーバ１０は顧客情報生成部１３、退店時間予測部１４、飲食ペース取得部１５、滞在時間予測部１６、全体を制御する制御部１８、待ち時間予測部１９を備える。システムサーバ１０は、例えば、ＣＰＵ、ＧＰＵ（ＧｒａｐｈｉｃａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、ＲＯＭ、ＲＡＭ、通信装置等を備えている。 (Embodiment 1)
This embodiment will be described with reference to an example of a restaurant management system shown in FIG. This system can acquire and display the exit time of a customer eating and drinking at a restaurant and the waiting time of the customer before entering the store when there are no vacant seats at the time of congestion. This system includes a system server 10. The system server 10 includes a customer information generation unit 13, a store exit time prediction unit 14, a food / drink pace acquisition unit 15, a stay time prediction unit 16, a control unit 18 that controls the whole, and a waiting time prediction unit 19. The system server 10 includes, for example, a CPU, a GPU (Graphical Processing Unit), an FPGA (Field-Programmable Gate Array), a ROM, a RAM, a communication device, and the like.

カメラ１１、表示装置１２及び端末１７がシステムサーバ１０に接続されうる。従業員は端末１７を操作して、顧客に関する情報や注文に関する情報を入力することができる。また、端末１７は、顧客自身が端末１７を操作して、グループで来店した顧客の人数を入力したり、飲食する品の注文を入力するための端末であってもよい。 The camera 11, display device 12, and terminal 17 may be connected to the system server 10. Employees can operate the terminal 17 to input information about customers and information about orders. Further, the terminal 17 may be a terminal for the customer to operate the terminal 17 to input the number of customers who have visited the store in a group or to input an order for food and drink.

カメラ１１は店舗内及び店舗外に設置されうる。例えば、カメラ１１は店舗外の、入店前の順番待ちをしている顧客を撮影できる場所に設置されてもよい。カメラ１１は席に座っている顧客を撮影できるように、テーブルごとに設置されてもよい。あるいはカメラ１１は店舗内の様子が把握できる適切な場所に数台が配置されてもよい。カメラ１１は、例えば所定時間間隔で画像を取得し、取得した画像をシステムサーバの顧客情報生成部１３へ送信する。 The camera 11 can be installed inside and outside the store. For example, the camera 11 may be installed outside the store at a place where customers waiting in line before entering the store can be photographed. The camera 11 may be installed at each table so that the customer sitting in the seat can be photographed. Alternatively, several cameras 11 may be arranged in an appropriate place where the inside of the store can be grasped. The camera 11 acquires images at predetermined time intervals, for example, and transmits the acquired images to the customer information generation unit 13 of the system server.

顧客情報生成部１３は、カメラ１１によって取得された画像に基づいて、顧客の入店状況、空き席の順番待ちの状況を監視したり、顧客に関する情報（以下、「顧客情報」という。）を生成しうる。顧客情報は年齢、性別、体形、服装、顧客が構成するグループの人数などの顧客の属性に関する情報及び顧客の顔画像の少なくともいずれか１つを含みうる。 The customer information generation unit 13 monitors the customer's entry status and the waiting status of vacant seats based on the image acquired by the camera 11, and obtains information about the customer (hereinafter referred to as "customer information"). Can be generated. Customer information may include at least one of customer attributes such as age, gender, body shape, clothing, number of groups of customers, and customer facial images.

顧客情報生成部１３では機械学習済みの学習モデルを用いて、入力された画像情報に基づいて年齢や性別等の顧客情報を生成して滞在時間予測部１６へ出力しうる。機械学習は、顧客情報を教師データとし、カメラにより撮影された画像を入力データとして、適切な顧客情報を生成するように行われる。制御部１８は機械学習済みの学習モデルを顧客情報生成部１３に設定できる。機械学習済みの学習モデルはパラメータが調整されたディープラーニング技術によって作成されたものであってもよい。ＧＰＵはデータをより多く並列処理することで効率的な演算を行うことができるので、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合にはＧＰＵで処理を行うことが有効である。学習部による処理にはＣＰＵに加えてＧＰＵを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵとＧＰＵが協働して演算を行うことで学習を行う。なお、学習部の処理はＣＰＵまたはＧＰＵのみにより演算が行われても良い。また、機械学習済みの学習モデルの推定を行う推定部も学習部と同様にＧＰＵを用いても良い。制御部１８はシステムサーバ１０の内部に設けてもよいし、システムサーバ１０の外に設けてもよい。 The customer information generation unit 13 can generate customer information such as age and gender based on the input image information by using the machine-learned learning model and output it to the stay time prediction unit 16. Machine learning is performed so as to generate appropriate customer information by using customer information as teacher data and images taken by a camera as input data. The control unit 18 can set a machine-learned learning model in the customer information generation unit 13. The machine-learned learning model may be created by a parameter-adjusted deep learning technique. Since GPU can perform efficient calculation by processing more data in parallel, it is effective to process with GPU when learning is performed multiple times using a learning model such as deep learning. Is. A GPU is used in addition to the CPU for processing by the learning unit. Specifically, when a learning program including a learning model is executed, learning is performed by the CPU and the GPU collaborating to perform calculations. The processing of the learning unit may be performed only by the CPU or GPU. Further, the estimation unit that estimates the machine-learned learning model may also use the GPU in the same manner as the learning unit. The control unit 18 may be provided inside the system server 10 or outside the system server 10.

例えば、顧客情報生成部１３は、カメラ１１により撮影された画像に基づいて、個々の人物を顔認識技術で識別して年齢などの顧客情報を生成してもよい。顧客がグループを構成して来店した場合に、顧客情報生成部１３は、個々の識別された情報を使って顧客情報を生成することにより、精度よく顧客情報を生成しうる。 For example, the customer information generation unit 13 may generate customer information such as age by identifying each person by a face recognition technique based on an image taken by the camera 11. When customers form a group and come to the store, the customer information generation unit 13 can generate customer information with high accuracy by generating customer information using each identified information.

顧客情報は従業員が端末１７を用いて顧客情報生成部１３へ入力してもよい。端末１７はハンディターミナル、スマートフォン、タブレット端末のようなものであってもよい。 The customer information may be input to the customer information generation unit 13 by the employee using the terminal 17. The terminal 17 may be something like a handy terminal, a smartphone, or a tablet terminal.

滞在時間予測部１６は、顧客情報に基づいて顧客が店内で飲食等に費やす滞在時間を予測して出力しうる。滞在時間予測部１６は、例えば、顧客情報と滞在時間の関係を格納したデータテーブルを備える。あるいは滞在時間予測部１６は、顧客情報と滞在時間を格納したデータベースを参照するようにしてもよい。データテーブルやデータベースはシステムサーバ１０の外部に設けてもよい。 The stay time prediction unit 16 can predict and output the stay time that the customer spends on eating and drinking in the store based on the customer information. The stay time prediction unit 16 includes, for example, a data table that stores the relationship between the customer information and the stay time. Alternatively, the stay time prediction unit 16 may refer to a database storing customer information and stay time. The data table and database may be provided outside the system server 10.

滞在時間予測部１６は、顧客情報が入力されると、データテーブルに予め用意された顧客情報と滞在時間との関係から、顧客の滞在時間を予測して退店時間予測部１４へ出力する。滞在時間予測部１６のデータテーブルの一例について図２により説明する。この例では顧客情報は年齢、性別、人数を含む顧客構成であるが、体形や服装に関する情報を含んでいてもよい。 When the customer information is input, the stay time prediction unit 16 predicts the customer's stay time based on the relationship between the customer information prepared in advance in the data table and the stay time, and outputs the customer information to the store exit time prediction unit 14. An example of the data table of the staying time prediction unit 16 will be described with reference to FIG. In this example, the customer information is a customer composition including age, gender, and number of people, but may include information on body shape and clothes.

また、滞在時間予測部１６は、来店した顧客の顔画像の情報と滞在時間とを記憶しておき、カメラ１１が撮影した顧客が、今回よりも前に来店したことがあったかどうかを判断できるようにしてもよい。この場合、滞在時間予測部１６は、来店した顧客が前に来店したことがあったと判断された場合には、その顧客の前に来店したときの滞在時間に関する情報から、今回予測された滞在時間を補正してもよい。前に来店したときの滞在時間に関する情報はその顧客の平均の滞在時間でもその顧客と注文した品物とを紐づけた滞在時間でもよい。例えば、顧客情報生成部１３が顧客情報として、男性、５０歳を出力した場合でも、滞在時間予測部１６が、その人が前に来店したことがあったか判断する。前に来店したと判断されたときは、来店したときの滞在時間を調べる。その結果、その顧客が同じ属性に分類された他の人よりも短い時間しか滞在しなかったことが分かった場合は、顧客情報により予測された滞在時間を短くなるように補正してもよい。この場合、前の来店のデータとして比較的最近のデータを使った方が予測精度の低下を抑制できると考えられるので、例えばデータは２年以内に取得されたものに限るようにしてもよい。これにより記憶されるデータの規模を小さくできる。 Further, the stay time prediction unit 16 stores the information on the face image of the customer who visited the store and the stay time so that the customer photographed by the camera 11 can determine whether or not the customer has visited the store before this time. You may do it. In this case, if it is determined that the customer who visited the store has visited the store before, the stay time prediction unit 16 predicts the stay time this time from the information on the stay time when the customer visits the store before. May be corrected. The information on the staying time when the customer visited the store before may be the average staying time of the customer or the staying time associated with the customer and the ordered item. For example, even if the customer information generation unit 13 outputs a male, 50 years old, as customer information, the stay time prediction unit 16 determines whether the person has visited the store before. If it is determined that you have visited the store before, check the length of stay when you visited the store. As a result, if it is found that the customer stays for a shorter time than other people classified into the same attribute, the stay time predicted by the customer information may be corrected to be shorter. In this case, it is considered that the deterioration of the prediction accuracy can be suppressed by using the relatively recent data as the data of the previous visit. Therefore, for example, the data may be limited to the data acquired within two years. As a result, the scale of stored data can be reduced.

例えばデータテーブルは予め、過去の実績に基づいて作成されたものでもよいし、制御部１８が飲食店の実測された滞在時間からデータテーブルを作成してもよい。各店舗毎に個別のデータテーブルを滞在時間予測部１６が保持してもよいし、チェーン店や飲食店業種毎に共通のデータテーブルを滞在時間予測部１６が保持してもよい。あるいは、システムサーバ１０の一部もしくは全部をクラウド上に設けて、各店舗はシステムサーバ１０やデータテーブルを共同利用してもよい。 For example, the data table may be created in advance based on past results, or the control unit 18 may create the data table from the actually measured stay time of the restaurant. The stay time prediction unit 16 may hold an individual data table for each store, or the stay time prediction unit 16 may hold a data table common to each chain store or restaurant industry. Alternatively, a part or all of the system server 10 may be provided on the cloud, and each store may share the system server 10 and the data table.

初期状態では、データテーブルにその店舗に向いた適切な既成のデータを格納しておき、その後、実測された時間に基づいてデータが修正されてもよい。データテーブルの修正は、例えば、予測された滞在時間と実際の滞在時間との差に基づいて、制顧客情報に対応する滞在時間が修正されてもよい。実際の滞在時間は、制御部１８が、顧客が席に着いてから退店するまでの時間を計測して求めうる。データテーブルの修正は、予測された滞在時間と実際の滞在時間との差が所定の閾値（例えばプラスマイナス５分）を超えるときや、実際の滞在時間が所定の閾値を超える回数が所定回数以上（例えば１０回）になったときに、制御部１８が行うようにしてもよい。 In the initial state, appropriate ready-made data suitable for the store may be stored in the data table, and then the data may be modified based on the actually measured time. The modification of the data table may be modified based on, for example, the difference between the predicted dwell time and the actual dwell time, and the dwell time corresponding to the customer information may be modified. The actual staying time can be obtained by the control unit 18 by measuring the time from when the customer takes a seat to when the customer leaves the store. The data table is modified when the difference between the predicted staying time and the actual staying time exceeds a predetermined threshold value (for example, plus or minus 5 minutes), or when the actual staying time exceeds the predetermined threshold value more than the predetermined number of times. When (for example, 10 times) is reached, the control unit 18 may perform the operation.

退店時間予測部１４は、現在時刻に、予測された滞在時間を加算し、退店時間の予測値を出力する。これを基本となる予測退店時間とする。退店時間の予測値は表示装置１２に入力されて、表示されうる。このとき表示装置１２に表示される退店時間を店内の顧客の退店時間のうちの最も短い時間とすれば、表示装置１２に表示された退店時間は最も早く席が空くまでの時間となりうる。退店時間予測部１４は待ち時間予測部１９へ退店時間の情報を出力しうる。待ち時間予測部１９は、店内に入れないで順番を待っている顧客がいる場合に、予測された退店時間に基づいて入店までの待ち時間を予測して出力しうる。予測される待ち時間は、入店の順番を待っている人や入店の順番を待っているグループのうちの、最後の人又はグループが入店できるまでの時間であってもよいし、その次に来る人が待たされる時間を予測して表示してもよい。 The store exit time prediction unit 14 adds the predicted stay time to the current time and outputs the predicted value of the store exit time. This is the basic estimated exit time. The predicted value of the exit time is input to the display device 12 and can be displayed. At this time, if the store closing time displayed on the display device 12 is the shortest of the customer closing times in the store, the store closing time displayed on the display device 12 is the time until the seat becomes available earliest. sell. The store exit time prediction unit 14 can output information on the store exit time to the waiting time prediction unit 19. The waiting time prediction unit 19 can predict and output the waiting time until entering the store based on the predicted exit time when there is a customer who is waiting for the turn without entering the store. The expected waiting time may be the time until the last person or group of the people waiting for the turn of entry or the group waiting for the turn of entering the store can enter the store. You may predict and display the time that the next person will be waiting.

待ち時間予測部１９による入店の待ち時間を予測する技術について次に説明する。例えば、カメラ１１によって撮影された入店の順番を待っている顧客の画像に基づいて、年齢、性別、体形、服装、人数やグループの構成などの顧客情報が顧客情報生成部１３により生成される。滞在時間予測部１６は、入店を待っている顧客の顧客情報に基づいて、入店を待っている人が店内に入った後に飲食等に費やすと予想される予想滞在時間を予測しうる。なお、入店の順番を待つ顧客は、店舗に用意された端末１７を用いてグループの人数などの顧客情報を顧客情報生成部１３入力してもよい。あるいは、従業員が端末１７を用いて順番を待っている顧客の顧客情報を顧客情報生成部１３へ入力してもよい。 Next, a technique for predicting the waiting time for entering a store by the waiting time prediction unit 19 will be described. For example, customer information such as age, gender, body shape, clothes, number of people, and group composition is generated by the customer information generation unit 13 based on the image of the customer waiting for the turn of entry taken by the camera 11. .. The stay time prediction unit 16 can predict the expected stay time that a person waiting to enter the store is expected to spend on eating and drinking after entering the store, based on the customer information of the customer waiting to enter the store. The customer waiting for the turn to enter the store may input customer information such as the number of people in the group into the customer information generation unit 13 using the terminal 17 prepared in the store. Alternatively, the employee may use the terminal 17 to input the customer information of the customer waiting for his / her turn into the customer information generation unit 13.

すでに席にいる人についての予測される退店時間と入店を待っている人の予想される滞在時間から、待っている人のうちの最後尾に来る人の待ち時間を予測しうる。例えば、３つのグループが３つのテーブルを待っている状態では、３つのテーブルが空き、かつ、４つ目のテーブルが空く時間を予測することにより、待っている人の最後尾に来る人（４番目に来る人）の待ち時間を予測しうる。 From the expected exit time for those who are already seated and the expected staying time for those who are waiting to enter, it is possible to predict the waiting time for the last person waiting. For example, when three groups are waiting for three tables, the person who comes to the end of the waiting person by predicting the time when the three tables are free and the fourth table is free (4). The waiting time of the second person) can be predicted.

待ち時間予測部１９は、退店時間予測部１６が予測した各テーブルの顧客の退店時間と滞在時間予測部１６が予測した、入店を待っている顧客の予想される滞在時間とに基づいて、入店の順番を待っている顧客の待ち時間を算出し、表示装置１２へ送信する。 The waiting time prediction unit 19 is based on the customer exit time of each table predicted by the store exit time prediction unit 16 and the expected stay time of the customer waiting to enter the store predicted by the stay time prediction unit 16. Then, the waiting time of the customer waiting for the turn of entering the store is calculated and transmitted to the display device 12.

表示装置１２は、待ち時間予測部１９が予測した待ち時間を表示しうる。順番を待っている人がいないが、空き席がない場合は、飲食中の顧客の中で最初に退店する顧客について予測された退店時間が待ち時間になりうる。また、空き席がある場合は待ち時間は通常はないから、表示装置１２は待ち時間を０と表示してもよい。滞在時間予測部１６が順番を待っている個々の人やグループの滞在時間を予測することにより、待ち時間予測部１９は入店を待つ順番の途中にいる人やグループの待ち時間も予測しうる。 The display device 12 can display the waiting time predicted by the waiting time prediction unit 19. If no one is waiting for their turn, but there are no seats available, the expected exit time for the first customer to leave while eating or drinking can be a waiting time. Further, since there is usually no waiting time when there are vacant seats, the display device 12 may display the waiting time as 0. By predicting the staying time of an individual person or group waiting for the turn, the staying time predicting unit 19 can predict the waiting time of the person or group in the middle of the turn waiting for entering the store. ..

待ち時間予測部１９は、順番を待っている人が入店した後に滞在するだろう時間を予測に利用することにより、入店の順番を待つ人が入店できるまでの時間を予測する精度が向上しうる。なお、待ち時間の予測に、顧客情報生成部１３、滞在時間予測部１６、退店時間予測部１４を利用する例を説明したが、処理の一部又は全部を待ち時間予測部１９が行ってもよい。 The waiting time prediction unit 19 uses the time that the person waiting for the turn will stay after entering the store for prediction, so that the accuracy of predicting the time until the person waiting for the turn can enter the store is accurate. Can be improved. Although an example of using the customer information generation unit 13, the stay time prediction unit 16, and the store exit time prediction unit 14 for predicting the waiting time has been described, the waiting time prediction unit 19 performs part or all of the processing. May be good.

表示装置１２はシステムサーバ１０から出力された予測された退店時間及び予測された待ち時間を表示しうる。表示装置１２は店舗内あるいは店舗外に設置しうる。表示装置に代えて、順番待ちをしている顧客が持つ端末等に通知するようにしてもよい。 The display device 12 can display the predicted exit time and the predicted waiting time output from the system server 10. The display device 12 may be installed inside or outside the store. Instead of the display device, the terminal or the like owned by the customer waiting in line may be notified.

次に退店時間予測部１４が、顧客の飲食ペースを使って予測された退店時間を補正することを説明する。食事が提供されて顧客の飲食が開始されると、カメラ１１は顧客の飲食中の画像を、例えば所定時間毎に取得し、システムサーバ１０へ送信する。飲食の開始は、カメラ１１が撮影した画像に基づいて飲食ペース取得部１５が判断してもよいし、食事が配膳されたタイミングで自動的又は従業員により端末１７から入力されてもよい。 Next, it will be described that the store exit time prediction unit 14 corrects the predicted store exit time using the eating and drinking pace of the customer. When the meal is served and the customer's eating and drinking is started, the camera 11 acquires, for example, an image of the customer's eating and drinking at predetermined time intervals, and transmits the image to the system server 10. The start of eating and drinking may be determined by the eating and drinking pace acquisition unit 15 based on the image taken by the camera 11, or may be automatically input from the terminal 17 by the employee at the timing when the meal is served.

飲食中の画像は例えば所定時間毎に飲食ペース取得部１５に入力される。飲食ペース取得部１５は入力された画像に基づいて、顧客の飲食ペースを取得する。飲食ペース取得部１５により取得された飲食ペースは退店時間予測部１４に入力される。退店時間予測部１４は入力された顧客の飲食ペースに応じて、退店時間予測部１４が予測した基本となる予測退店時間を補正する。飲食ペースによる補正は、飲食ペースの早いか遅いかに応じて退店時間予測部１４が、所定の時間を退店時間に加算または減算をしてもよい。あるいは飲食ペースの速さに応じた係数を滞在時間に掛けることにより退店時間を補正してもよい。退店時間予測部１４が、飲食ペースに基づいて基本となる退店時間を補正することにより、退店時間の予測精度が向上しうる。退店時間予測部１４は補正された退店時間を表示装置１２へ送信する。 The image during eating and drinking is input to the eating and drinking pace acquisition unit 15 at predetermined time intervals, for example. The eating and drinking pace acquisition unit 15 acquires the eating and drinking pace of the customer based on the input image. The food and drink pace acquired by the food and drink pace acquisition unit 15 is input to the store exit time prediction unit 14. The store exit time prediction unit 14 corrects the basic predicted store exit time predicted by the store exit time prediction unit 14 according to the input eating and drinking pace of the customer. As for the correction based on the eating and drinking pace, the store exit time prediction unit 14 may add or subtract a predetermined time to the closing time depending on whether the eating and drinking pace is fast or slow. Alternatively, the exit time may be corrected by multiplying the staying time by a coefficient according to the speed of the eating and drinking pace. By correcting the basic store exit time based on the eating and drinking pace, the store exit time prediction unit 14 can improve the prediction accuracy of the store exit time. The store exit time prediction unit 14 transmits the corrected store exit time to the display device 12.

次に飲食ペース取得部１５においてカメラ１１が撮影した画像から飲食ペースを取得することについて、図３により説明する。飲食ペース取得部１５は、カメラ１１により取得された画像に基づいて、顧客が飲食に使っている飲食器具３１、飲食物３２を認識する。具体的には、飲食器具３１が、例えば箸、スプーン、フォークのどれであるかを識別する。飲食ペース取得部１５は、所定時間毎に取得した複数画像において、飲食器具３１の位置の変化を検出することで飲食が行われた回数をカウントし、画像を取得した時間と飲食の回数から飲食ペースを算出しうる。 Next, the fact that the eating and drinking pace acquisition unit 15 acquires the eating and drinking pace from the image taken by the camera 11 will be described with reference to FIG. The eating and drinking pace acquisition unit 15 recognizes the eating and drinking utensils 31 and the eating and drinking 32 used by the customer for eating and drinking based on the image acquired by the camera 11. Specifically, it identifies whether the food or drink device 31 is, for example, a chopstick, a spoon, or a fork. The eating and drinking pace acquisition unit 15 counts the number of times eating and drinking is performed by detecting the change in the position of the eating and drinking utensil 31 in the plurality of images acquired at predetermined time intervals, and eats and drinks from the time when the image is acquired and the number of times of eating and drinking. The pace can be calculated.

飲食に使う器具や飲食回数の判別には機械学習が用いられてもよい。例えば、飲食回数は、学習済みモデルに飲食中の画像を入力し、飲食器具３１が何かを示す情報とその位置情報から、飲食物３２を口に運んだかどうか判定し、口に運んだ回数をカウントしうる。学習済みモデルは、飲食器具３１の種類と位置の変化の情報を入力データ、位置の変化に基づいて口に運ぶことを教師データとして学習させて得られたモデルであってもよい。飲食をした回数から時間当たりの飲食ペースを取得することができる。 Machine learning may be used to determine the equipment used for eating and drinking and the number of times of eating and drinking. For example, the number of times of eating and drinking is determined by inputting an image of eating and drinking into the trained model, determining whether or not the food and drink 32 has been brought to the mouth from the information indicating what the eating and drinking utensil 31 is and its position information, and the number of times of carrying the food and drink 32 to the mouth. Can be counted. The trained model may be a model obtained by learning to carry information on the type and position change of the food / drink device 31 to the mouth based on the input data and the position change as teacher data. The pace of eating and drinking per hour can be obtained from the number of times of eating and drinking.

また、飲食ペース取得部１５は、複数画像において識別された飲食物３２の体積の変化割合から飲食ペースを取得してもよい。飲食ペース取得部１５は、食事を提供した直後（食事の開始時）の画像を１００％とし、複数画像から得られた飲食物３２の体積の時間あたりの減少割合から飲食に必要とする時間を算出する。飲食ペースを求める方法には機械学習が用いられてもよい。このときの学習モデルは飲食物３２の体積の変化に着目させて作成しうる。飲食中の画像を入力し画像に対する飲食の進捗度を教師データとして、飲食する品物ごとの学習モデルを作成しうる。 Further, the eating / drinking pace acquisition unit 15 may acquire the eating / drinking pace from the rate of change in the volume of the food / drink 32 identified in the plurality of images. The eating and drinking pace acquisition unit 15 sets the image immediately after serving the meal (at the start of the meal) as 100%, and determines the time required for eating and drinking from the rate of decrease in the volume of the food and drink 32 obtained from the plurality of images per hour. calculate. Machine learning may be used as a method for determining the pace of eating and drinking. The learning model at this time can be created by paying attention to the change in the volume of the food and drink 32. It is possible to input an image during eating and drinking and use the progress of eating and drinking with respect to the image as teacher data to create a learning model for each item to be eaten and eaten.

複数人のグループで構成される顧客が飲食している場合は、顧客のそれぞれについての飲食ペースを取得してもよい。そのばあいは一番遅い飲食ペースに基づいて退店時間を予測してもよい。複数人の中から代表となる１名を選択してその人の飲食ペースをグループの代表値としてもよい。代表の選び方は例えば、グループで来店した顧客のうち、飲食に最も長い時間を要すると推測される人を代表としてもよい。例えば顧客情報生成部１３がグループの中に子供がいることを識別した場合は、顧客情報生成部１３は、カメラ１１が撮影した画像に基づいて子供の位置の情報を特定し、位置情報を飲食ペース取得部１５へ送信する。飲食ペース取得部１５は、位置情報に基づいて飲食ペースを取得して、グループの飲食ペースの代表値にする。あるいは、飲食ペース取得部１５は、カメラ１１の撮影した画像に基づいて飲食している子供を識別して、その子供の飲食ペースを取得してもよい。 If a customer consisting of a group of multiple people is eating and drinking, the eating and drinking pace for each of the customers may be acquired. In that case, the exit time may be predicted based on the slowest eating and drinking pace. One representative person may be selected from a plurality of people, and the eating and drinking pace of that person may be used as the representative value of the group. As for how to select a representative, for example, among the customers who come to the store in a group, the person who is estimated to take the longest time to eat and drink may be the representative. For example, when the customer information generation unit 13 identifies that there is a child in the group, the customer information generation unit 13 identifies the position information of the child based on the image taken by the camera 11, and eats and drinks the position information. It is transmitted to the pace acquisition unit 15. The eating and drinking pace acquisition unit 15 acquires the eating and drinking pace based on the position information and sets it as a representative value of the eating and drinking pace of the group. Alternatively, the eating and drinking pace acquisition unit 15 may identify the child eating and drinking based on the image taken by the camera 11 and acquire the eating and drinking pace of the child.

図４は本実施形態の退店時間を予測する動作を説明するフローチャートである。顧客が入店するとカメラ１１により撮影された顧客の画像が、カメラ１１から顧客情報生成部１３に入力される（Ｓ１１）。顧客情報生成部１３は、撮影された画像を入力とし、機械学習によって作成された学習済みモデルを使って顧客情報を生成する（Ｓ１３）。あるいは、従業員が端末１７に顧客の特徴を入力し（Ｓ１２）、顧客情報を生成してもよい（Ｓ１３）。滞在時間予測部１６は、顧客情報生成部１３により生成された顧客情報に基づいて予測滞在時間を退店時間予測部１４へ出力し、退店時間予測部１４は基本となる退店時間を出力する（Ｓ１４）。飲食が開始されると、カメラ１１により撮影された飲食中の顧客の画像が飲食ペース取得部１５に入力される（Ｓ１５）。カメラ１１により所定時間毎（Ｓ１８）に撮影された画像が所定の枚数に達したら（Ｓ１６）、画像は飲食ペース取得部１５に入力される（Ｓ１７）。飲食ペース取得部１５は、撮影された飲食中の顧客の画像に基づいて飲食ペースを評価し、飲食ペースを取得する（Ｓ１９）。飲食ペース取得部により取得された飲食ペースは退店時間予測部１４に入力され、退店時間予測部１４は入力された飲食ペースに基づいて、予測されていた退店時間を補正する（Ｓ１１０）。その後、退店時間予測部１４は補正した退店時間を表示装置１２へ送信し、表示装置１２は補正された退店時間を表示する。なお、カメラ１１が撮影した画像は、撮影の都度、システムサーバ１０へ入力されてもよい。その場合は、システムサーバはカメラ１１が撮影した時間間隔と撮影された画像を記憶しておき、撮影された画像が所定の枚数になったか、所定の時間が経過した後に、記憶された画像に基づいて飲食ペースを取得する。 FIG. 4 is a flowchart illustrating an operation of predicting the store closing time of the present embodiment. When the customer enters the store, the image of the customer taken by the camera 11 is input from the camera 11 to the customer information generation unit 13 (S11). The customer information generation unit 13 inputs the captured image and generates customer information using the trained model created by machine learning (S13). Alternatively, the employee may input the customer characteristics into the terminal 17 (S12) and generate the customer information (S13). The stay time prediction unit 16 outputs the predicted stay time to the store exit time prediction unit 14 based on the customer information generated by the customer information generation unit 13, and the store exit time prediction unit 14 outputs the basic store exit time. (S14). When the eating and drinking is started, the image of the customer who is eating and drinking taken by the camera 11 is input to the eating and drinking pace acquisition unit 15 (S15). When the number of images taken by the camera 11 at predetermined time intervals (S18) reaches a predetermined number (S16), the images are input to the eating / drinking pace acquisition unit 15 (S17). The eating and drinking pace acquisition unit 15 evaluates the eating and drinking pace based on the captured image of the customer during eating and drinking, and acquires the eating and drinking pace (S19). The food and drink pace acquired by the food and drink pace acquisition unit is input to the store exit time prediction unit 14, and the store exit time prediction unit 14 corrects the predicted store exit time based on the input food and drink pace (S110). .. After that, the store exit time prediction unit 14 transmits the corrected store exit time to the display device 12, and the display device 12 displays the corrected store exit time. The image taken by the camera 11 may be input to the system server 10 each time the image is taken. In that case, the system server stores the time interval taken by the camera 11 and the shot image, and after the number of shot images reaches a predetermined number or a predetermined time has elapsed, the stored image is stored. Get the eating and drinking pace based on.

（変形例１）
次に図５により滞在時間予測部４２が、顧客が注文したメニューの内容に基づいて滞在時間を予測する例を説明する。顧客の属性などの顧客に関する情報を利用した場合と相違する点を説明し、重複する箇所の説明は割愛する。 (Modification 1)
Next, an example in which the stay time prediction unit 42 predicts the stay time based on the contents of the menu ordered by the customer will be described with reference to FIG. Explain the differences from the case of using customer information such as customer attributes, and omit the explanation of overlapping parts.

この例では、顧客によって注文されたメニューの内容を入力するメニュー入力装置４１が設けられる。メニュー入力装置４１は、従業員が操作する端末でもよいし、顧客が操作する端末でもよい。顧客が操作する端末は、テーブルに置かれたタッチパネル式の端末や店舗に備えられた自動食券機のようなものでもよい。 In this example, a menu input device 41 for inputting the contents of the menu ordered by the customer is provided. The menu input device 41 may be a terminal operated by an employee or a terminal operated by a customer. The terminal operated by the customer may be a touch panel terminal placed on a table or an automatic ticket machine provided in a store.

メニュー入力装置４１から入力された注文内容はシステムサーバ１０に送信されて滞在時間予測部４２に入力される。滞在時間予測部４２は注文内容に基づいて滞在時間を予測する。滞在時間予測部４２は退店時間予測部１４へ予測した滞在時間を出力する。 The order contents input from the menu input device 41 are transmitted to the system server 10 and input to the stay time prediction unit 42. The staying time prediction unit 42 predicts the staying time based on the order contents. The stay time prediction unit 42 outputs the predicted stay time to the store exit time prediction unit 14.

滞在時間は次のように求めることができる。滞在時間予測部４２はメニューと滞在時間の関係を含むデータテーブルを備えている。データテーブルを使って注文したメニューから当てはまる予想滞在時間が決定される。滞在時間予測部４２が備えるデータテーブルの一例が図６に示される。例示されたデータテーブルは、メニューの品に対する滞在時間を示している。滞在時間予測部１４は、複数の品を注文する顧客に対しては品毎の滞在時間の合計値を出力してもよい。あるいは滞在時間予測部１４は、注文された複数の品の組み合わせに対応する滞在時間を出力してもよい。一緒にグループで来店した顧客についての滞在時間は、注文された品の中から調理や飲食に一番時間のかかるメニューを選んだ者の滞在時間を、グループの滞在時間としてもよい。 The length of stay can be calculated as follows. The stay time prediction unit 42 includes a data table including the relationship between the menu and the stay time. The expected dwell time that applies is determined from the menu ordered using the data table. FIG. 6 shows an example of the data table provided in the stay time prediction unit 42. The illustrated data table shows the time spent on the items on the menu. The staying time prediction unit 14 may output the total value of the staying time for each item to the customer who orders a plurality of items. Alternatively, the stay time prediction unit 14 may output the stay time corresponding to the combination of the plurality of ordered items. The staying time for customers who come to the store together as a group may be the staying time of the person who selects the menu that takes the longest time to cook or eat from the ordered items.

本例の動作について説明する。滞在時間予測部４２は、メニュー入力装置４１から入力された顧客の注文した品の情報を取得する（Ｓ２１）。滞在時間予測部４２は、注文された品の情報をデータテーブルに照合する（Ｓ２２）。データテーブルから求められた予測された滞在時間は、滞在時間予測部４２から退店時間予測部１４へ出力される。退店時間予測部１４は基本となる予測退店時間を出力する（Ｓ１４）。飲食ペース取得部１５により取得された飲食ペースによって、予測された退店時間は補正される（Ｓ１１０）。その他の処理は図４と同様である。 The operation of this example will be described. The staying time prediction unit 42 acquires the information of the customer's ordered item input from the menu input device 41 (S21). The staying time prediction unit 42 collates the information of the ordered item with the data table (S22). The predicted stay time obtained from the data table is output from the stay time prediction unit 42 to the store exit time prediction unit 14. The store exit time prediction unit 14 outputs a basic predicted store exit time (S14). The predicted exit time is corrected by the eating and drinking pace acquired by the eating and drinking pace acquisition unit 15 (S110). Other processing is the same as in FIG.

この例では、顧客の注文メニューに基づいて基本となる予測退店時間を予測する。このため、大量に注文する顧客やデザートや飲み物だけ注文する顧客など、顧客の年齢や性別からは予測がしにくい顧客に対して、退店時間の予測の精度の向上を達成しうる。この例でも、顧客情報に基づいて、待ち時間予測部１９により順番待ちの顧客の待ち時間を予測、表示するようにしてもよい。 In this example, the basic estimated exit time is predicted based on the customer's order menu. Therefore, it is possible to improve the accuracy of predicting the exit time for customers who are difficult to predict from the age and gender of customers, such as customers who order a large amount of food and customers who order only desserts and drinks. Also in this example, the waiting time prediction unit 19 may predict and display the waiting time of the waiting customer based on the customer information.

本例は、顧客情報に基づいて求めた滞在時間を補正するのに使ってもよい。例えば、滞在時間予測部４２は、注文品と滞在時間のデータテーブルに代えて、注文品と係数のデータテーブルを持つようにする。データテーブルで求めた係数を顧客情報から求めた滞在時間に掛けて、滞在時間を補正する。この場合、滞在時間予測部４２は、顧客情報に係るデータテーブルと注文品に係るデータテーブルとを備えることになる。係数は、例えば、図６に示す例によれば、牛丼並の滞在時間を基準にして、生姜焼き定食の係数を１．３決めてもよい。注文品の情報に、メニュー入力端末からのデータを利用できるので、データ取得の負担を軽減しうる。 This example may be used to correct the staying time obtained based on the customer information. For example, the stay time prediction unit 42 has a data table of the ordered product and a coefficient instead of the data table of the ordered product and the stay time. The staying time is corrected by multiplying the staying time obtained from the customer information by the coefficient obtained from the data table. In this case, the stay time prediction unit 42 includes a data table related to customer information and a data table related to ordered products. As the coefficient, for example, according to the example shown in FIG. 6, the coefficient of the ginger-grilled set meal may be determined to be 1.3 based on the staying time equivalent to that of beef bowl. Since the data from the menu input terminal can be used for the information of the ordered item, the burden of data acquisition can be reduced.

（変形例２）
次に図８を用いて、基本となる予測退店時間を店内の混雑度で補正する例を説明する。なお、実施形態１や変形例１と相違する点を説明し、重複する箇所の説明は割愛する。例えば、制御部１８や待ち時間予測部１９に関する説明は省略されている。 (Modification 2)
Next, with reference to FIG. 8, an example of correcting the basic predicted exit time by the degree of congestion in the store will be described. The differences from the first embodiment and the first modification will be described, and the description of the overlapping parts will be omitted. For example, the description of the control unit 18 and the waiting time prediction unit 19 is omitted.

混雑監視部８１は、店舗の混雑度合についての情報を取得し、混雑度に応じて、退店時間予測部１４が予測した基本となる予測退店時間を補正するための補正値を出力する。このときに使用する混雑度の情報は、現在時刻の混雑度の情報や、数分～数十分後に予測される混雑度の情報でもよい。 The congestion monitoring unit 81 acquires information about the degree of congestion of the store, and outputs a correction value for correcting the basic predicted exit time predicted by the store exit time prediction unit 14 according to the degree of congestion. The congestion degree information used at this time may be the congestion degree information at the current time or the congestion degree information predicted after several minutes to several tens of minutes.

動作を図９のフローチャートにより説明する。顧客情報から退店時間予測部１４は退店時間を予測する（Ｓ３１）。混雑監視部８１で算出した補正値を使って退店時間予測部１４はＳ３１で予測した退店時間を補正する（Ｓ３２）。それ以降のフローは図４と同様である。 The operation will be described with reference to the flowchart of FIG. The store exit time prediction unit 14 predicts the store exit time from the customer information (S31). The store exit time prediction unit 14 corrects the store exit time predicted in S31 using the correction value calculated by the congestion monitoring unit 81 (S32). The flow after that is the same as in FIG.

本実施形態では、予測された退店時間の混雑度による影響を補正することで予測の精度の向上を達成しうる。例えば、混雑していない店内では、飲食後も滞在を続ける可能性が高く、退店時間が遅くなることが多い。逆に混雑している場合は店内の居心地が悪化するため、退店時間を早める場合が多くなる。その一方、店内が混雑している場合は注文が滞留したり、調理や配膳、後片づけに時間がかかる場合がある。 In the present embodiment, it is possible to improve the accuracy of the prediction by correcting the influence of the congestion degree of the predicted closing time. For example, in a store that is not crowded, there is a high possibility that the store will continue to stay after eating and drinking, and the time to leave the store will often be delayed. On the other hand, if it is crowded, the comfort of the store will deteriorate, and the time to leave the store will be shortened in many cases. On the other hand, if the store is crowded, orders may be delayed, and it may take time to cook, serve, and clean up.

現在の時間、店内の画像、厨房の画像、待ち時間などが混雑監視部８１へ入力データとして与えられる。混雑監視部８１は、入力データに対して、混雑度を教師データとして機械学習させた学習済みモデルやパラメータを調整したディープラーニング技術による学習済みモデルにより混雑度を求める。次に混雑監視部８１は得られた混雑度に応じて退店時間を補正するための補正値を算出する。混雑度に応じた補正値は、混雑度と補正値のテーブルを使って出力しうる。退店時間の補正は、補正値に基づく時間を退店時間に加算又は減算して行いうる。あるいは、補正値に基づく係数を予測される滞在時間に掛けることにより行いうる。補正値は、補正された退店時間と実際の退店時間との差に基づいて修正しうる。この例でも、顧客情報に基づいて、待ち時間予測部１９により順番待ちの顧客の待ち時間を予測、表示するようにしてもよい。 The current time, the image in the store, the image of the kitchen, the waiting time, etc. are given to the congestion monitoring unit 81 as input data. The congestion monitoring unit 81 obtains the degree of congestion from the input data by using a trained model in which the degree of congestion is machine-learned as teacher data or a trained model by a deep learning technique in which parameters are adjusted. Next, the congestion monitoring unit 81 calculates a correction value for correcting the store exit time according to the obtained congestion degree. The correction value according to the degree of congestion can be output using the table of the degree of congestion and the correction value. The closing time can be corrected by adding or subtracting the time based on the correction value to the closing time. Alternatively, it can be done by multiplying the expected dwell time by a coefficient based on the correction value. The correction value can be corrected based on the difference between the corrected closing time and the actual closing time. Also in this example, the waiting time prediction unit 19 may predict and display the waiting time of the waiting customer based on the customer information.

以上、説明したように、本実施形態では、顧客の退店時間や順番を待っている顧客が入店するまでの待ち時間を予測できる。従業員は表示装置１２に表示される退店時間を確認することで、テーブルの片づけなどの作業を効率的に行うことができる。また、順番待ちをしている顧客は席に案内されるまでの待ち時間を知ることができ、不満解消に繋がる。 As described above, in the present embodiment, it is possible to predict the customer leaving time and the waiting time until the customer waiting for the turn enters the store. By confirming the exit time displayed on the display device 12, the employee can efficiently perform work such as cleaning up the table. In addition, customers who are waiting in line can know the waiting time until they are guided to their seats, which leads to the resolution of dissatisfaction.

（実施形態２）
本実施形態に係る飲食店の店舗管理システムについて図１０を用いて説明する。待ち時間予測部１９に関する説明は省略する。本実施形態では予測される退店時間を、学習済みモデルを使って予測して取得する。加えて、本実施形態では店舗外の状況を外部情報１０１として利用して滞在時間を予測することを行っている。なお、実施形態１と相違する点を説明し、重複する箇所の説明は割愛する。例えば制御部１８や待ち時間予測部１９に関する説明は省略されている。 (Embodiment 2)
The store management system of the restaurant according to the present embodiment will be described with reference to FIG. The description of the waiting time prediction unit 19 will be omitted. In this embodiment, the predicted exit time is predicted and acquired using a trained model. In addition, in the present embodiment, the situation outside the store is used as external information 101 to predict the staying time. It should be noted that the differences from the first embodiment will be described, and the description of the overlapping parts will be omitted. For example, the description of the control unit 18 and the waiting time prediction unit 19 is omitted.

外部情報１０１は飲食する顧客情報には直接的に関係しない情報であり、例えば店舗の周囲の天気、日時でありうる。外部情報１０１は従業員により端末が操作されて入力されてもよいし、通信ネットワークやインターネットを通じて外部から提供されてもよい。また店舗に備えられたセンサ等から取得されてもよい。滞在時間予測部１０２は入力された顧客情報や外部情報から滞在時間を予測して出力する。予測は、機械学習で作成された学習済みモデルを使って行われる。学習済みモデルとして、顧客情報や外部情報１０１を入力データとし滞在時間のデータを教師データとして機械学習されたものが用意される。制御部１８により学習済みモデルが滞在時間予測部１０２に設定される。学習済みモデルには、顧客情報と外部情報が入力され、それぞれの情報は重み付けされて滞在時間が出力される。 The external information 101 is information that is not directly related to customer information for eating and drinking, and may be, for example, the weather around the store, the date and time, and so on. The external information 101 may be input by the operation of the terminal by an employee, or may be provided from the outside through a communication network or the Internet. It may also be obtained from a sensor or the like provided in the store. The stay time prediction unit 102 predicts and outputs the stay time from the input customer information and external information. Predictions are made using a trained model created by machine learning. As a trained model, a machine-learned model is prepared in which customer information and external information 101 are input data and staying time data is used as teacher data. The trained model is set in the stay time prediction unit 102 by the control unit 18. Customer information and external information are input to the trained model, and each information is weighted and the staying time is output.

動作を図１１により説明する。滞在時間予測部１０２は顧客情報を取得（Ｓ１３）と外部情報を取得する（Ｓ４１）。取得した顧客情報、外部情報を用いて滞在時間予測部１０２において滞在時間を予測する（Ｓ４２）。それ以降のフローは図４と同様である。 The operation will be described with reference to FIG. The stay time prediction unit 102 acquires customer information (S13) and external information (S41). The staying time prediction unit 102 predicts the staying time using the acquired customer information and external information (S42). The flow after that is the same as in FIG.

本実施形態では、滞在時間を顧客情報に加えて、滞在時間に相関性のある外部情報を使って予測することで、より精度良く滞在時間が求められうる。図１２は滞在時間と相関性のある情報の例を示している。図１２（ａ）は時間帯と滞在時間の関係を表している。時間帯により顧客が飲食店に入店する目的が異なり、朝食、昼食、仕事の打合せ、仲間同士のコミュニケーションなどで滞在時間が変化すると推測される。図１２（ｂ）は天気と滞在時間の関係を表している。天気が悪いほど早く帰宅するため滞在時間が短くなると推測されたり、天気に依存して注文が増減する品の変化による滞在時間の変化も考えられる。 In the present embodiment, the staying time can be obtained more accurately by predicting the staying time by using external information correlating with the staying time in addition to the customer information. FIG. 12 shows an example of information that correlates with the staying time. FIG. 12A shows the relationship between the time zone and the staying time. It is presumed that the purpose of customers entering the restaurant differs depending on the time of day, and the length of stay will change due to breakfast, lunch, work meetings, communication between friends, and so on. FIG. 12B shows the relationship between the weather and the staying time. It is presumed that the worse the weather, the sooner the person will return home, so the staying time will be shorter, or the staying time may change due to changes in items whose orders increase or decrease depending on the weather.

これら以外の外部情報でも、例えば、気温、湿度、経済指標、店舗の周辺で行われている催事などの情報でも滞在時間が変化すると考えられる。それらの情報を外部情報１０１として入力すればさらに予測の精度を向上することができる。この場合も、外部情報を入力とし、滞在時間の変化を教師データとして得られた学習済みモデルにより、外部情報に応じた補正係数を求めて、滞在時間を補正するとよい。また、本実施形態のように外部情報を予測に利用することは実施形態１にも適用しうる。 It is thought that the length of stay will change depending on external information other than these, such as temperature, humidity, economic indicators, and information on events held around the store. If such information is input as external information 101, the accuracy of prediction can be further improved. In this case as well, it is advisable to correct the staying time by inputting external information and obtaining a correction coefficient according to the external information from the trained model obtained by using the change in the staying time as teacher data. Further, the use of external information for prediction as in the present embodiment can also be applied to the first embodiment.

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the above embodiment, and various modifications and modifications can be made without departing from the spirit and scope of the invention. Therefore, a claim is attached to publicize the scope of the invention.

１０：システムサーバ、１１：カメラ、１２：表示装置、１３：顧客情報生成部、１４：退店時間予測部、１５：飲食ペース取得部、１６：滞在時間予測部、１７：端末 10: System server, 11: Camera, 12: Display device, 13: Customer information generation unit, 14: Store exit time prediction unit, 15: Food and drink pace acquisition unit, 16: Stay time prediction unit, 17: Terminal

Claims

顧客の属性に関する第１情報を取得する顧客情報生成部と、
顧客が飲食するペースに関する第２情報を取得する飲食ペース取得部と、
前記第１情報に基づいて顧客の滞在時間を予測する滞在時間予測部と、
前記第２情報に基づいて前記滞在時間を補正することにより前記顧客の退店時間を予測する退店時間予測部と、
前記退店時間を表示する表示装置と、を備える店舗管理システム。 The customer information generation unit that acquires the first information about the customer's attributes,
The food and drink pace acquisition department that acquires the second information about the pace at which the customer eats and drinks,
A staying time prediction unit that predicts the staying time of a customer based on the first information,
A store exit time prediction unit that predicts the store exit time of the customer by correcting the stay time based on the second information.
A store management system including a display device for displaying the closing time.

前記滞在時間予測部は、前記第１情報に基づいて滞在時間を出力するデータテーブルを備えることを特徴とする請求項１に記載の店舗管理システム。 The store management system according to claim 1, wherein the stay time prediction unit includes a data table that outputs a stay time based on the first information.

前記退店時間予測部は、前記退店時間と前記顧客が実際に退店した時間との差が所定の閾値を越えた場合に、前記データテーブルを修正することを特徴とする請求項２に記載の店舗管理システム。 The second aspect of claim 2, wherein the store exit time prediction unit corrects the data table when the difference between the store exit time and the time when the customer actually leaves the store exceeds a predetermined threshold value. Described store management system.

前記第１情報は、カメラによって撮影された前記顧客の画像に基づいて、前記顧客情報生成部により取得されることを特徴とする請求項１乃至３のいずれか１項に記載の店舗管理システム。 The store management system according to any one of claims 1 to 3, wherein the first information is acquired by the customer information generation unit based on an image of the customer taken by a camera.

前記第１情報は、端末から前記顧客情報生成部へ入力されることを特徴とする請求項１乃至４のいずれか１項に記載の店舗管理システム。 The store management system according to any one of claims 1 to 4, wherein the first information is input from a terminal to the customer information generation unit.

前記第１情報は、顧客の年齢、顧客の性別、顧客の体形、顧客の服装、顧客が構成するグループの人数、顧客が注文した品のうちの少なくとも１つの情報を含むことを特徴とする請求項１乃至５のいずれか１項に記載の店舗管理システム。 The first information includes information on the age of the customer, the gender of the customer, the body shape of the customer, the clothes of the customer, the number of groups composed of the customer, and at least one of the items ordered by the customer. Item 6. The store management system according to any one of Items 1 to 5.

前記第１情報は前記顧客の顔画像を含み、前記滞在時間予測部は、前記顔画像に基づいて前記顧客が今回より前に来店したことがあるかどうか判断し、前記判断に基づいて前記滞在時間をさらに補正することを特徴とする請求項１乃至６のいずれか１項に記載の店舗管理システム。 The first information includes the face image of the customer, and the stay time prediction unit determines whether or not the customer has visited the store before this time based on the face image, and the stay is based on the judgment. The store management system according to any one of claims 1 to 6, wherein the time is further corrected.

前記第２情報は、所定の時間間隔でカメラによって撮影された飲食中の前記顧客の画像に基づいて前記飲食ペース取得部により取得されることを特徴とする請求項１乃至７のいずれか１項に記載の店舗管理システム。 The second information is any one of claims 1 to 7, wherein the second information is acquired by the eating and drinking pace acquisition unit based on an image of the customer during eating and drinking taken by a camera at a predetermined time interval. Store management system described in.

カメラにより撮影されたテーブルの空き状況、テーブルが空くのを待っている顧客の順番待ち状況及び顧客からの注文が滞留している状況についての情報のうちの少なくとも１つに基づいて店内の混雑度についての第３情報を取得する混雑監視部をさらに備え、前記退店時間予測部は前記第３情報に基づいて前記退店時間を補正することを特徴とする請求項１乃至８のいずれか１項に記載の店舗管理システム。 Congestion level in the store based on at least one of the information about the availability of the table taken by the camera, the waiting order of customers waiting for the table to become available, and the situation where orders from customers are stagnant. 1. The store management system described in the section.

前記退店時間予測部は、店舗の周囲の状況についての情報及び現在時刻についての情報のうちの少なくとも１つに基づいて前記退店時間をさらに補正することを特徴とする請求項１乃至９のいずれか１項に記載の店舗管理システム。 The closing time prediction unit further corrects the closing time based on at least one of information about the surrounding situation of the store and information about the current time, according to claims 1 to 9. The store management system described in any one of the items.

グループを構成する顧客の前記退店時間は、前記グループを構成する顧客のそれぞれの前記退店時間のうちの最も遅い退店時間とすることを特徴とする請求項１乃至１０のいずれか１項に記載の店舗管理システム。 One of claims 1 to 10, wherein the closing time of the customers constituting the group is the latest closing time of the closing times of the customers constituting the group. Store management system described in.

空き席を待っている顧客の属性に関する情報に基づいて、前記空き席を待っている顧客が店内に滞在する予想滞在時間を予測し、前記予想滞在時間と前記退店時間とに基づいて、顧客の待ち時間を予測する待ち時間予測部をさらに備えることを特徴とする請求項１乃至１１のいずれか１項に記載の店舗管理システム。 Based on the information about the attributes of the customer waiting for a vacant seat, the customer who is waiting for the vacant seat predicts the expected staying time in the store, and the customer is based on the expected staying time and the leaving time. The store management system according to any one of claims 1 to 11, further comprising a waiting time prediction unit for predicting the waiting time.

前記表示装置は、前記待ち時間を表示することを特徴とする請求項１２に記載の店舗管理システム。 The store management system according to claim 12, wherein the display device displays the waiting time.