JP2016177755A - Order terminal equipment, order system, customer information generation method, and program - Google Patents

Order terminal equipment, order system, customer information generation method, and program Download PDF

Info

Publication number
JP2016177755A
JP2016177755A JP2015059390A JP2015059390A JP2016177755A JP 2016177755 A JP2016177755 A JP 2016177755A JP 2015059390 A JP2015059390 A JP 2015059390A JP 2015059390 A JP2015059390 A JP 2015059390A JP 2016177755 A JP2016177755 A JP 2016177755A
Authority
JP
Japan
Prior art keywords
customer
sex
age
age group
gender
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015059390A
Other languages
Japanese (ja)
Inventor
達朗 細川
Tatsuro Hosokawa
達朗 細川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2015059390A priority Critical patent/JP2016177755A/en
Priority to PCT/JP2016/001564 priority patent/WO2016152122A1/en
Publication of JP2016177755A publication Critical patent/JP2016177755A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/01—Details for indicating
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide order terminal equipment, an order system, a customer information generation method, and a program capable of easily acquiring customer information such as an age group.SOLUTION: Order terminal equipment 1 includes: a learning result storage part 2; an image acquisition part 3; an age/sex estimation part 4; and a customer information generation part 5. The learning result storage part 2 stores learning result data about the feature information of a face image of each predetermined age group and sex. The image acquisition part 3 acquires the face image of a customer sitting in a seating position. An age/sex estimation part 4 compares the feature information of the face image of the customer acquired by the image acquisition part 3 with feature information stored in the learning result storage part 2 to estimate the age group and sex of the customer. The customer information generation part 5 generates customer information indicating the age group and sex of the customer on the basis of the age group and sex estimated by the age/sex estimation part 4.SELECTED DRAWING: Figure 1

Description

本発明は注文端末装置、注文システム、客情報生成方法、及びプログラムに関し、特に画像から客情報を生成する注文端末装置、注文システム、客情報生成方法、及びプログラムに関する。   The present invention relates to an order terminal device, an order system, a customer information generation method, and a program, and more particularly to an order terminal device, an order system, a customer information generation method, and a program for generating customer information from an image.

例えば飲食店などのように客に商品又はサービスを提供する環境では、どのような客が来客しているかを把握することが、マーケティングなどにおいて重要となっている。客の年齢層などの客情報の取得方法としては、例えば、利用客に会員カードを提示してもらう方法や、店員などの人力での取得が従来行われている。しかし、会員カードの場合、会員カードを持っていない客については情報取得ができず、また、人力での取得の場合、信頼性やコストの面で問題があった。   For example, in an environment where a product or service is provided to a customer such as a restaurant, it is important in marketing or the like to understand what customers are visiting. As a method for acquiring customer information such as a customer's age group, for example, a method in which a customer is presented with a membership card or a human resource such as a store clerk is conventionally used. However, in the case of a membership card, information cannot be obtained for customers who do not have a membership card, and there is a problem in terms of reliability and cost in the case of manual acquisition.

ところで、近年、客からの注文を受け付ける注文端末装置が開発されている（特許文献１）。特許文献１に記載された注文端末装置では、客が注文する際にカメラにより客の顔写真を撮影し、受け付けた注文と写真とを記憶することが開示されている。   By the way, in recent years, an order terminal device for receiving an order from a customer has been developed (Patent Document 1). The order terminal device described in Patent Literature 1 discloses that when a customer places an order, the customer's face photo is taken by a camera and the received order and photo are stored.

また、撮影画像から人物を同定する技術として、特許文献２に記載のものが知られている。特許文献２に記載された技術では、撮影画像から顔を含む部分画像を抽出し、抽出した部分画像と、別途取得した顔画像とをパターンマッチングすることにより、撮影画像中の人物を同定する。また、特許文献２では、同定の際、画像から性別、年齢、職業等を推定し、推定結果を利用することで、より正確に人物同定を行うことが開示されている。   Also, a technique described in Patent Document 2 is known as a technique for identifying a person from a captured image. In the technique described in Patent Document 2, a partial image including a face is extracted from a captured image, and a person in the captured image is identified by pattern matching between the extracted partial image and a separately acquired face image. Japanese Patent Laid-Open No. 2004-228561 discloses that when identifying, gender, age, occupation, and the like are estimated from an image, and the person is identified more accurately by using the estimation result.

特開２００４−２０６３７５号公報JP 2004-206375 A 特開２００２−３０５７１７号公報JP 2002-305717 A

しかしながら、特許文献１及び特許文献２に記載された技術では、年齢層等の客情報を取得することはできない。
本発明は、このような課題を解決するためになされたものであり、年齢層等の客情報を容易に取得することができる注文端末装置、注文システム、客情報生成方法、及びプログラムを提供することにある。 However, the techniques described in Patent Document 1 and Patent Document 2 cannot acquire customer information such as age groups.
The present invention has been made to solve such a problem, and provides an order terminal device, an order system, a customer information generation method, and a program capable of easily acquiring customer information such as an age group. There is.

本発明にかかる注文端末装置は、予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データを記憶する学習結果記憶手段と、着座位置に着座した客の顔画像を取得する画像取得手段と、前記画像取得手段により取得された前記客の顔画像の特徴情報を、前記学習結果記憶手段が記憶する特徴情報と比較して、前記客の年齢層及び性別を推定する年齢性別推定手段と、前記年齢性別推定手段により推定された年齢層及び性別に基づいて、前記客の年齢層及び性別を示す客情報を生成する客情報生成手段とを有する。   The ordering terminal device according to the present invention acquires learning result storage means for storing learning result data on feature information of face images for each predetermined age group and gender, and acquires a face image of a customer seated at a sitting position. Comparing the feature information of the face image of the customer acquired by the image acquisition means and the image acquisition means with the feature information stored in the learning result storage means to estimate the age group and sex of the customer An estimation unit; and a customer information generation unit configured to generate customer information indicating the age group and sex of the customer based on the age group and the gender estimated by the age-gender estimation unit.

また、本発明にかかる注文システムは、予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データを記憶する学習結果記憶手段と、着座位置に着座した客の顔画像を取得する画像取得手段と、前記画像取得手段により取得された前記客の顔画像の特徴情報を、前記学習結果記憶手段が記憶する特徴情報と比較して、前記客の年齢層及び性別を推定する年齢性別推定手段と、前記年齢性別推定手段により推定された年齢層及び性別に基づいて、前記客の年齢層及び性別を示す客情報を生成する客情報生成手段とを有する。   In addition, the order system according to the present invention acquires learning result storage means for storing learning result data about feature information of face images for each predetermined age group and gender, and acquires face images of customers seated at the sitting position. Comparing the feature information of the face image of the customer acquired by the image acquisition means and the image acquisition means with the feature information stored in the learning result storage means to estimate the age group and gender of the customer Gender estimating means, and customer information generating means for generating customer information indicating the age group and sex of the customer based on the age group and gender estimated by the age gender estimating means.

また、本発明にかかる客情報生成方法は、着座位置に着座した客の顔画像を取得する画像取得ステップと、取得された前記客の顔画像の特徴情報を、予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データと比較して、前記客の年齢層及び性別を推定する年齢性別推定ステップと、推定された年齢層及び性別に基づいて、前記客の年齢層及び性別を示す客情報を生成する客情報生成ステップとを含む。   Further, the customer information generation method according to the present invention includes an image acquisition step of acquiring a face image of a customer seated at a seating position, and feature information of the acquired face image of the customer using a predetermined age group and gender. An age-gender estimation step for estimating the age group and gender of the customer in comparison with the learning result data for the feature information of each facial image, and based on the estimated age group and gender, A customer information generation step for generating customer information indicating gender.

また、本発明にかかるプログラムは、着座位置に着座した客の顔画像を取得する画像取得ステップと、取得された前記客の顔画像の特徴情報を、予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データと比較して、前記客の年齢層及び性別を推定する年齢性別推定ステップと、推定された年齢層及び性別に基づいて、前記客の年齢層及び性別を示す客情報を生成する客情報生成ステップとをコンピュータに実行させる。   Further, the program according to the present invention includes an image acquisition step of acquiring a face image of a customer seated at a sitting position, and feature information of the acquired face image of the customer according to a predetermined age group and face for each gender. Compared with the learning result data about the image feature information, the age and sex estimation step for estimating the age and sex of the customer, and the age and sex of the customer based on the estimated age and sex The computer executes a customer information generation step for generating customer information.

本発明によれば、年齢層等の客情報を容易に取得することができる注文端末装置、注文システム、客情報生成方法、及びプログラムを提供できる。   ADVANTAGE OF THE INVENTION According to this invention, the order terminal device which can acquire customer information, such as an age group, an order system, a customer information generation method, and a program can be provided.

実施の形態にかかる注文端末装置の概要を示す図である。It is a figure which shows the outline | summary of the order terminal device concerning embodiment. 実施の形態にかかる注文システムの構成を示す図である。It is a figure which shows the structure of the order system concerning embodiment. 実施の形態にかかる注文端末装置の外観を示す斜視図である。It is a perspective view which shows the external appearance of the order terminal device concerning embodiment. 実施の形態にかかる注文端末装置本体のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of the order terminal device main body concerning embodiment. 実施の形態にかかる注文端末装置がテーブルに対して用意されている場合のカメラの撮像範囲の一例を模式的に示す平面図である。It is a top view which shows typically an example of the imaging range of a camera in case the order terminal device concerning embodiment is prepared with respect to the table. 実施の形態にかかる注文端末装置がカウンターに対して用意されている場合のカメラの撮像範囲の一例を模式的に示す平面図である。It is a top view which shows typically an example of the imaging range of a camera when the order terminal device concerning embodiment is prepared with respect to the counter. 実施の形態にかかる注文端末装置の機能ブロック図である。It is a functional block diagram of the order terminal device concerning an embodiment. 実施の形態にかかる注文端末装置における客情報の生成処理に関する動作の一例を示すフローチャートである。It is a flowchart which shows an example of the operation | movement regarding the production | generation process of the customer information in the order terminal device concerning embodiment.

（本発明にかかる実施の形態の概要）
実施の形態の説明に先立って、本発明にかかる実施の形態の概要を説明する。図１は、本発明の実施の形態にかかる注文端末装置１の概要を示す図である。注文端末装置１は、学習結果記憶部２と、画像取得部３と、年齢性別推定部４と、客情報生成部５とを有する。 (Outline of the embodiment of the present invention)
Prior to the description of the embodiment, an outline of the embodiment according to the present invention will be described. FIG. 1 is a diagram showing an outline of an order terminal device 1 according to an embodiment of the present invention. The order terminal device 1 includes a learning result storage unit 2, an image acquisition unit 3, an age / sex estimation unit 4, and a customer information generation unit 5.

学習結果記憶部２は、予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データを記憶する。画像取得部３は、着座位置に着座した客の顔画像を取得する。年齢性別推定部４は、画像取得部３により取得された客の顔画像の特徴情報を、学習結果記憶部２が記憶する特徴情報と比較して、客の年齢層及び性別を推定する。客情報生成部５は、年齢性別推定部４により推定された年齢層及び性別に基づいて、客の年齢層及び性別を示す客情報を生成する。
したがって、このような注文端末装置１によれば、客の画像から自動的に年齢層及び性別が推定され、推定結果に基づく客情報が生成される。よって、注文端末装置１によれば、年齢層等の客情報を容易に取得することができる。 The learning result storage unit 2 stores learning result data regarding the feature information of the face image for each predetermined age group and gender. The image acquisition unit 3 acquires the face image of the customer seated at the sitting position. The age and gender estimation unit 4 compares the feature information of the customer's face image acquired by the image acquisition unit 3 with the feature information stored in the learning result storage unit 2 to estimate the age group and sex of the customer. The customer information generation unit 5 generates customer information indicating the customer's age group and gender based on the age group and gender estimated by the age and gender estimation unit 4.
Therefore, according to such an order terminal device 1, an age group and sex are automatically estimated from a customer's image, and customer information based on an estimation result is generated. Therefore, according to the order terminal device 1, customer information such as an age group can be easily acquired.

（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。図２は、注文システム１０の構成を示す図である。図２に示されるように、注文システム１０は、１以上の注文端末装置１００と、情報収集サーバ２００とを備えている。注文端末装置１００と情報収集サーバ２００とは、ネットワーク３００を介して互いに接続されている。 (Embodiment 1)
Embodiments of the present invention will be described below with reference to the drawings. FIG. 2 is a diagram illustrating a configuration of the order system 10. As shown in FIG. 2, the order system 10 includes one or more order terminal devices 100 and an information collection server 200. The order terminal device 100 and the information collection server 200 are connected to each other via the network 300.

ネットワーク３００は、例えばＬＡＮ（Local Area Network）又はインターネット等の通信網（通信回線）であり、注文端末装置１００と情報収集サーバ２００とが通信を行う際に使用され得る。本実施の形態において、ネットワーク３００は無線通信網であるが、有線通信網であってもよい。   The network 300 is a communication network (communication line) such as a LAN (Local Area Network) or the Internet, for example, and can be used when the order terminal device 100 and the information collection server 200 communicate with each other. In the present embodiment, the network 300 is a wireless communication network, but may be a wired communication network.

情報収集サーバ２００は、例えばコンピュータで構成される。情報収集サーバ２００は、１つのコンピュータで構成されてもよいが、物理的に単一である必要はなく、複数の分散されたコンピュータで構成されてもよい。情報収集サーバ２００は、例えば、注文端末装置１００から送信される注文情報及び客情報などを収集する。   The information collection server 200 is configured by a computer, for example. The information collection server 200 may be configured by a single computer, but need not be physically single, and may be configured by a plurality of distributed computers. The information collection server 200 collects, for example, order information and customer information transmitted from the order terminal device 100.

注文端末装置１００は、客がセルフサービスにて商品又はサービスの注文を行う際に使用される端末装置である。例えば、注文端末装置１００は、テーブルごとに用意され、テーブルの脇に配置された椅子などの着座位置に着座した客の注文を受け付ける。また、例えば、注文端末装置１００は、カウンターに用意され、カウンターに沿って配置された椅子などの着座位置に着座した客の注文を受け付ける。注文端末装置１００は、例えば、居酒屋等の外食店舗で利用されてもよいし、カラオケ店などで利用されてもよい。   The order terminal device 100 is a terminal device used when a customer orders a product or service by self-service. For example, the order terminal device 100 is prepared for each table and accepts an order from a customer seated at a seating position such as a chair arranged beside the table. Further, for example, the order terminal device 100 is prepared at a counter and accepts an order of a customer seated at a seating position such as a chair arranged along the counter. For example, the order terminal device 100 may be used at a restaurant such as a pub, or may be used at a karaoke shop or the like.

図３は、注文端末装置１００の外観を示す斜視図である。また、図４は、注文端末装置本体１１０のハードウェア構成を示す図である。   FIG. 3 is a perspective view showing an external appearance of the order terminal device 100. FIG. 4 is a diagram illustrating a hardware configuration of the order terminal device main body 110.

図３に示されるように、注文端末装置１００は、注文端末装置本体１１０と、クレードル１２０とを有する。注文端末装置本体１１０は、カメラ１１１と、タッチパネル１１２と、スピーカ１１３と、アンテナ１１４とを有している。また、注文端末装置本体１１０は、コンピュータとしての機能を備えており、例えばＣＰＵ（Central Processing Unit）等の制御部１１５と、例えばメモリ又はハードディスク等の記憶部１１６とを有する（図４参照）。   As shown in FIG. 3, the order terminal device 100 includes an order terminal device main body 110 and a cradle 120. The order terminal apparatus main body 110 includes a camera 111, a touch panel 112, a speaker 113, and an antenna 114. Further, the order terminal device main body 110 has a function as a computer, and includes a control unit 115 such as a CPU (Central Processing Unit) and a storage unit 116 such as a memory or a hard disk (see FIG. 4).

クレードル１２０は、注文端末装置本体１１０を取り外し可能に支持する台座である。また、クレードル１２０は、電源ケーブル１３０を介して例えば交流電源が接続されており、注文端末装置本体１１０が搭載されている間、注文端末装置本体１１０に対し給電し、注文端末装置本体１１０の図示しないバッテリを充電する。このため、注文端末装置１００は、注文端末装置本体１１０がクレードル１２０に搭載されているか否かに関わらず、客からの注文を受け付けることが可能になっている。なお、クレードル１２０が、さらに、有線ＬＡＮに接続され、有線通信機能を備えてもよい。   The cradle 120 is a pedestal that removably supports the order terminal device main body 110. The cradle 120 is connected to, for example, an AC power supply via a power cable 130 and supplies power to the order terminal device main body 110 while the order terminal device main body 110 is mounted. Do not charge the battery. For this reason, the order terminal device 100 can accept orders from customers regardless of whether or not the order terminal device main body 110 is mounted on the cradle 120. Note that the cradle 120 may be further connected to a wired LAN and provided with a wired communication function.

カメラ１１１は、レンズ、ＣＣＤ(Charge Coupled Device)センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像素子を備えるデジタルカメラである。本実施の形態では、カメラ１１１は、注文端末装置本体１１０に内蔵されているが、クレードル１２０に内蔵されてもよいし、注文端末装置１００に外付けされていてもよい。   The camera 111 is a digital camera including a lens, a solid-state imaging device such as a CCD (Charge Coupled Device) sensor and a CMOS (Complementary Metal Oxide Semiconductor). In the present embodiment, the camera 111 is built in the order terminal apparatus main body 110, but may be built in the cradle 120 or may be externally attached to the order terminal apparatus 100.

カメラ１１１は、着座位置に着座した客の顔を撮像範囲とするよう設けられている。本実施の形態では、特に、カメラ１１１は、複数の着座位置に着座する複数の客の顔を撮像範囲とするよう設けられている。具体的には、本実施形態では、カメラ１１１は、注文端末装置本体１１０の前面側、すなわちタッチパネル１１２が設けられた面と同じ面に設けられており、注文端末装置本体１１０がクレードル１２０に搭載された際に、複数の着座位置に着座する複数の客の顔を撮像範囲とする。このため、カメラ１１１は、複数の客の顔を同時に撮像可能である。なお、カメラ１１１が、一つの着座位置に着座する一人の客の顔を撮像範囲とするよう設けられてもよい。   The camera 111 is provided so that the face of the customer seated at the seating position is the imaging range. In the present embodiment, in particular, the camera 111 is provided so that a plurality of customers' faces seated at a plurality of seating positions are set as an imaging range. Specifically, in this embodiment, the camera 111 is provided on the front side of the order terminal device main body 110, that is, the same surface as the surface on which the touch panel 112 is provided, and the order terminal device main body 110 is mounted on the cradle 120. When this is done, the faces of a plurality of customers seated at a plurality of seating positions are set as the imaging range. For this reason, the camera 111 can simultaneously image a plurality of customer faces. In addition, the camera 111 may be provided so that the face of one customer sitting at one seating position is set as the imaging range.

より具体的には、例えば、注文端末装置１００がテーブルに対して用意されている場合、カメラ１１１は、注文端末装置本体１１０がクレードル１２０に搭載された状態で、当該テーブルの脇の全ての着座位置に客が着座した際に想定される全ての客の顔の位置を撮像範囲とする。図５は、注文端末装置１００がテーブル５００に対して用意されている場合のカメラ１１１の撮像範囲の一例を模式的に示す平面図である。図５において、ハッチングされた領域がカメラ１１１の撮像範囲の一例である。図５に示した例では、テーブル５００の脇に設けられた椅子５０１に着座した店舗の客５０２の顔を客５０２の横方向からカメラ１１１が撮像している。なお、図５に示した例では、カメラ１１１の撮像範囲は、テーブル５００の脇の全ての着座位置を含んでいるが、必ずしもテーブルの脇の全ての着座位置を対象としなくてもよく、予め定められた範囲内の複数の着座位置それぞれに客が着座した際に想定される顔の位置を撮像範囲としてもよい。   More specifically, for example, when the order terminal device 100 is prepared for a table, the camera 111 is seated on all sides of the table with the order terminal device main body 110 mounted on the cradle 120. The position of all customer faces assumed when the customer is seated at the position is defined as an imaging range. FIG. 5 is a plan view schematically showing an example of an imaging range of the camera 111 when the order terminal device 100 is prepared for the table 500. In FIG. 5, the hatched area is an example of the imaging range of the camera 111. In the example shown in FIG. 5, the camera 111 images the face of the customer 502 in the store seated on a chair 501 provided beside the table 500 from the lateral direction of the customer 502. In the example shown in FIG. 5, the imaging range of the camera 111 includes all the seating positions on the side of the table 500, but not necessarily all the seating positions on the side of the table. The position of the face that is assumed when a customer is seated at each of a plurality of seating positions within a predetermined range may be set as the imaging range.

また、例えば、注文端末装置１００がカウンターに対して用意されている場合、カメラ１１１は、注文端末装置本体１１０がクレードル１２０に搭載された状態で、当該カウンターに沿って配置された１以上の着座位置に客が着座した際に想定される顔の位置を撮像範囲とする。図６は、注文端末装置１００がカウンター６００に対して用意されている場合のカメラ１１１の撮像範囲の一例を模式的に示す平面図である。図６において、ハッチングされた領域がカメラ１１１の撮像範囲の一例である。図６に示した例では、カウンター６００に沿って配置された椅子６０１に着座した店舗の客６０２の顔を客６０２の正面方向からカメラ１１１が撮像している。   Further, for example, when the order terminal device 100 is prepared for the counter, the camera 111 has one or more seats arranged along the counter in a state where the order terminal device main body 110 is mounted on the cradle 120. The face position assumed when the customer is seated at the position is defined as an imaging range. FIG. 6 is a plan view schematically showing an example of the imaging range of the camera 111 when the order terminal device 100 is prepared for the counter 600. In FIG. 6, the hatched area is an example of the imaging range of the camera 111. In the example illustrated in FIG. 6, the camera 111 captures the face of the customer 602 of the store seated on the chair 601 disposed along the counter 600 from the front of the customer 602.

このように、本実施の形態では、カメラ１１１の撮像範囲は、テーブルやカウンターなどの台に対向して座る１以上の客の顔を含む。なお、カメラ１１１が、客の顔を撮像範囲とする際、必ずしも、注文端末装置本体１１０がクレードル１２０に搭載された状態でなくてもよい。すなわち、カメラ１１１は、予め定められた場所に注文端末装置１００が設置された状態で、着座位置に着座する客の顔を撮像範囲としていればよい。例えば、注文端末装置１００がクレードル１２０を有さず、注文端末装置１００が壁などに固定されている場合、固定された設置場所においてカメラ１１１が客の顔を撮像範囲とすればよい。よって、注文端末装置１００は、図５、６においては、テーブル５００又はカウンター６００の端に配置されているが、必ずしもテーブル５００又はカウンター６００上でなくてもよく、例えば、テーブル５００やカウンター６００の付近の壁面や台上に配置されてもよい。   As described above, in the present embodiment, the imaging range of the camera 111 includes one or more customers' faces sitting on a table such as a table or a counter. When the camera 111 sets the customer's face as the imaging range, the order terminal device main body 110 does not necessarily have to be mounted on the cradle 120. In other words, the camera 111 only needs to set the face of the customer sitting at the sitting position as the imaging range in a state where the order terminal device 100 is installed at a predetermined location. For example, when the order terminal device 100 does not have the cradle 120 and the order terminal device 100 is fixed to a wall or the like, the camera 111 may set the customer's face as the imaging range at the fixed installation location. Therefore, although the order terminal device 100 is disposed at the end of the table 500 or the counter 600 in FIGS. 5 and 6, the order terminal device 100 may not necessarily be on the table 500 or the counter 600. It may be arranged on a nearby wall or table.

タッチパネル１１２は、注文端末装置本体１１０の前面に設けられており、情報を表示し、さらに客からの操作入力を受付ける。タッチパネル１１２は、例えば、メニューなど、店舗等が提供する商品又はサービスの選択肢を表示する。また、タッチパネル１１２は、例えば、商品又はサービスの選択肢のうち注文対象とする選択肢を選択する操作入力（注文操作）を受付ける。スピーカ１１３は、音声ガイダンスなどの各種音声信号を音として出力する。アンテナ１１４は、注文端末装置本体１１０が無線通信するためのアンテナであり、例えば情報収集サーバ２００との間で、信号の送受信を行う。   The touch panel 112 is provided on the front surface of the order terminal device main body 110, displays information, and accepts an operation input from a customer. The touch panel 112 displays, for example, options for products or services provided by stores such as menus. The touch panel 112 receives, for example, an operation input (order operation) for selecting an option to be ordered from among product or service options. The speaker 113 outputs various audio signals such as voice guidance as sound. The antenna 114 is an antenna for the ordering terminal device main body 110 to perform wireless communication. For example, the antenna 114 transmits and receives signals to and from the information collection server 200.

図７は、実施の形態にかかる注文端末装置１００の機能ブロック図である。注文端末装置１００は、学習結果記憶部１５１と、提示情報記憶部１５２と、画像取得部１５３と、年齢性別推定部１５４と、客情報生成部１５５と、情報出力部１５６と、注文受付部１５７と、客情報送信部１５８とを有する。   FIG. 7 is a functional block diagram of the order terminal device 100 according to the embodiment. The order terminal device 100 includes a learning result storage unit 151, a presentation information storage unit 152, an image acquisition unit 153, an age and sex estimation unit 154, a customer information generation unit 155, an information output unit 156, and an order reception unit 157. And a customer information transmission unit 158.

なお、画像取得部１５３、年齢性別推定部１５４、客情報生成部１５５、情報出力部１５６、注文受付部１５７及び客情報送信部１５８は、例えば、制御部１１５の制御によって、プログラムを実行させることによって実現できる。より具体的には、記憶部１１６に格納されたプログラムを、制御部１１５の制御によって実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、学習結果記憶部１５１及び提示情報記憶部１５２は、例えば、記憶部１１６により実現される。   Note that the image acquisition unit 153, the age and gender estimation unit 154, the customer information generation unit 155, the information output unit 156, the order reception unit 157, and the customer information transmission unit 158 cause the program to be executed under the control of the control unit 115, for example. Can be realized. More specifically, the program stored in the storage unit 116 is executed by being controlled by the control unit 115. In addition, each component is not limited to being realized by software by a program, but may be realized by any combination of hardware, firmware, and software. In addition, the learning result storage unit 151 and the presentation information storage unit 152 are realized by the storage unit 116, for example.

学習結果記憶部１５１は、予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データを記憶する。予め定められた年齢層は、例えば、１０代、２０代、３０代、４０代、５０代、６０台、７０代、８０代、９０代などである。すなわち、学習結果データは、例えば、１０代男性の学習結果データ、１０代女性の学習結果データ、２０代男性の学習結果データ、２０代女性の学習結果データなどというように、年齢層及び性別ごとのデータとなっている。なお、年齢層は、さらに細かく設定されていてもよいし、より大まかに設定されていてもよい。また、２０歳以下、２０歳から５０歳、５０歳以上などのように、各年齢層の年齢幅が異なってもよい。また、各年齢層の年齢幅が、１歳であってもよい。特徴情報は、例えば、顔のしわについての情報や、目・鼻・口などの顔の構成要素の相対位置についての情報など、顔の任意の特徴についての情報である。   The learning result storage unit 151 stores learning result data regarding the feature information of the face image for each predetermined age group and sex. The predetermined age groups are, for example, teens, 20s, 30s, 40s, 50s, 60 units, 70s, 80s, 90s, and the like. That is, the learning result data includes, for example, learning results data for teenage men, learning result data for teenage women, learning result data for men in their twenties, learning result data for women in their twenties, etc. It becomes data of. The age group may be set more finely or may be set more roughly. Moreover, the age ranges of the respective age groups may be different, such as 20 years old or less, 20 to 50 years old, 50 years old or more. Moreover, the age range of each age group may be one year old. The feature information is information about any feature of the face, such as information about wrinkles on the face and information about relative positions of face components such as eyes, nose, and mouth.

学習結果データは、例えば、機械学習により学習された、予め定められた年齢層及び性別ごとの顔画像の特徴情報を示すデータである。学習結果記憶部１５１は、例えば、性別及び年齢層が既知である複数の人物についての顔画像データを教師データとして機械学習することにより得られた特徴情報を示すデータを、当該性別及び年齢層の顔画像の特徴情報についての学習結果データとして記憶している。なお、教師データの数は、推定において必要とされる精度に応じて決定される。例えば、推定精度が高いほど、学習結果データを得るために機械学習の際に用いられる顔画像データは多くなる。   The learning result data is data indicating feature information of face images for each predetermined age group and sex, which is learned by machine learning, for example. The learning result storage unit 151 stores, for example, data indicating feature information obtained by machine learning using facial image data of a plurality of persons whose gender and age group are known as teacher data. It is stored as learning result data about the feature information of the face image. The number of teacher data is determined according to the accuracy required for estimation. For example, the higher the estimation accuracy, the more face image data is used in machine learning to obtain learning result data.

提示情報記憶部１５２は、客に対して、提示する情報を記憶する。例えば、提示情報記憶部１５２は、メニュー情報など、店舗等が提供する商品又はサービスについての情報を記憶する。   The presentation information storage unit 152 stores information to be presented to the customer. For example, the presentation information storage unit 152 stores information about products or services provided by stores or the like such as menu information.

画像取得部１５３は、カメラ１１１により撮像された客の顔画像を取得する。すなわち、画像取得部１５３は、着座位置に着座した客の顔画像を取得する。ここで、複数の着座位置のそれぞれに客が着座している場合には、画像取得部１５３は、複数の着座位置に着座する複数の客の顔画像を取得する。例えば、画像取得部１５３は、カウンター席に着座する複数の客の顔画像を取得してもよいし、テーブル席に着座する複数の客の顔画像を取得してもよい。なお、顔画像は、客の顔部分を含む画像である。画像取得部１５３は、取得した顔画像を年齢性別推定部１５４に出力する。なお、例えば、画像取得部１５３は、カメラ１１１から出力される画像のうち、客の顔部分を含む画像を公知の顔認識処理を用いて抽出し、客の顔部分を含む領域を切り出した部分画像を年齢性別推定部１５４に出力する。   The image acquisition unit 153 acquires a customer face image captured by the camera 111. That is, the image acquisition unit 153 acquires the face image of the customer seated at the sitting position. Here, when the customer is seated at each of the plurality of seating positions, the image acquisition unit 153 acquires the face images of the plurality of customers seated at the plurality of seating positions. For example, the image acquisition unit 153 may acquire face images of a plurality of customers seated at a counter seat or may acquire face images of a plurality of customers seated at a table seat. The face image is an image including a customer's face portion. The image acquisition unit 153 outputs the acquired face image to the age and sex estimation unit 154. Note that, for example, the image acquisition unit 153 extracts an image including a customer's face portion from images output from the camera 111 using a known face recognition process, and cuts out an area including the customer's face portion. The image is output to the age gender estimation unit 154.

年齢性別推定部１５４は、画像取得部１５３により取得された顔画像から、客の年齢層及び性別を推定する。具体的には、年齢性別推定部１５４は、画像取得部１５３により取得された客の顔画像の特徴情報を、学習結果記憶部１５１が記憶する特徴情報と比較して、客の年齢層及び性別を推定する。例えば、年齢性別推定部１５４は、画像取得部１５３により取得された顔画像の特徴情報が、学習結果記憶部１５１が記憶する年齢層及び性別ごとの特徴情報のうちいずれに最も近いかを判定し、最も近いと判定された特徴情報に対応付けられている年齢層及び性別を客の年齢層及び性別と推定する。ここで、特に、複数の着座位置のそれぞれに客が着座している場合には、年齢性別推定部１５４は、複数の客それぞれの年齢層及び性別を推定する。   The age and sex estimation unit 154 estimates the customer's age group and sex from the face image acquired by the image acquisition unit 153. Specifically, the age gender estimation unit 154 compares the feature information of the customer's face image acquired by the image acquisition unit 153 with the feature information stored in the learning result storage unit 151, and compares the age group and gender of the customer. Is estimated. For example, the age and gender estimation unit 154 determines which of the feature information for each age group and sex the facial image feature information acquired by the image acquisition unit 153 is the closest to is stored in the learning result storage unit 151. The age group and gender associated with the feature information determined to be the closest are estimated as the customer's age group and gender. Here, particularly when a customer is seated at each of a plurality of seating positions, the age and gender estimation unit 154 estimates the age group and gender of each of the plurality of customers.

本実施の形態では、年齢性別推定部１５４は、所定の期間、客の年齢層及び性別の推定を繰り返す。また、年齢性別推定部１５４は、所定の期間に繰り返して得た複数の推定結果から最終的な推定結果を算出し、客情報生成部１５５に通知する。所定期間の開始時期は、例えば、客の着席タイミングである。なお、着席タイミングは、店員等のタッチパネル１１２に対する操作入力により注文端末装置１００に与えられてもよいし、カメラ１１１により撮像された画像に対し、画像認識処理により着席を判定してもよい。また、所定期間の終了時期は、例えば、開始時期から予め定められた時間の経過であってもよいし、提供された商品又はサービスの清算タイミングであってもよい。なお、所定期間の開始時期及び終了時期は、これらに限らず任意の時期を設定可能である。年齢性別推定部１５４は、例えば、最終的な推定結果として平均値や最頻値を算出してもよい。すなわち、年齢性別推定部１５４は、ある客について推定された複数の年齢層について、それらの平均を当該客の年齢層としもよい。また、年齢性別推定部１５４は、ある客について推定された複数の性別について、その最頻値を当該客の性別としてもよい。このように、繰り返される推定により得られた複数の推定結果から最終的な推定結果を決定するため、推定精度を向上することが期待できる。   In the present embodiment, the age and sex estimation unit 154 repeats the estimation of the customer's age group and sex for a predetermined period. In addition, the age and gender estimation unit 154 calculates a final estimation result from a plurality of estimation results obtained repeatedly during a predetermined period, and notifies the customer information generation unit 155 of it. The start time of the predetermined period is, for example, the seating timing of the customer. Note that the seating timing may be given to the ordering terminal device 100 by an operation input to the touch panel 112 such as a store clerk, or seating may be determined by image recognition processing on an image captured by the camera 111. Further, the end time of the predetermined period may be, for example, the elapse of a predetermined time from the start time, or the settlement timing of the provided product or service. The start time and the end time of the predetermined period are not limited to these, and any time can be set. For example, the age and sex estimation unit 154 may calculate an average value or a mode value as a final estimation result. That is, the age-gender estimating unit 154 may set an average of a plurality of age groups estimated for a certain customer as the age group of the customer. Moreover, the age sex estimation part 154 is good also considering the mode value about the some sex estimated about a certain customer as the sex of the said customer. Thus, since the final estimation result is determined from a plurality of estimation results obtained by repeated estimation, it can be expected to improve the estimation accuracy.

なお、年齢性別推定部１５４は、画像取得部１５３により取得された客の顔画像のうち、注文端末装置１００から予め定められた距離以内に存在する客の顔画像を推定対象としてもよい。具体的には、例えば、年齢性別推定部１５４は、画像取得部１５３により取得された顔画像に含まれる顔のうち、顔の大きさが予め定められたサイズ範囲に含まれるもののみを推定対象とする。すなわち、顔の大きさが所定サイズ以下の場合、カメラ１１１から所定距離以上遠いものとみなして、推定対象外としてもよい。推定対象をこのように限定することにより、客情報の生成対象である客の背景に存在する、客情報の生成対象外である人物について、誤って客情報が生成されることが防がれる。   The age and gender estimation unit 154 may use a customer's face image that is within a predetermined distance from the ordering terminal device 100 among the customer's face images acquired by the image acquisition unit 153 as an estimation target. Specifically, for example, the age and gender estimation unit 154 estimates only the faces included in the face image acquired by the image acquisition unit 153 and whose size is included in a predetermined size range. And That is, when the size of the face is equal to or smaller than the predetermined size, it may be regarded as being a predetermined distance or more away from the camera 111 and excluded from the estimation target. By limiting the estimation target in this way, it is possible to prevent the customer information from being erroneously generated for a person who exists in the background of the customer who is the customer information generation target and is not the customer information generation target.

客情報生成部１５５は、年齢性別推定部１５４により推定された年齢層及び性別に基づいて、少なくとも客の年齢層及び性別を示す客情報を生成する。ここで、複数の着座位置のそれぞれに客が着座している場合には、客情報生成部１５５により生成される客情報は、グループを特定する情報を含む。グループを特定する情報は、例えば、グループを構成する人の数を示す情報を含む。   The customer information generation unit 155 generates customer information indicating at least the age group and sex of the customer based on the age group and sex estimated by the age / sex estimation unit 154. Here, when a customer is seated at each of a plurality of seating positions, the customer information generated by the customer information generation unit 155 includes information for specifying a group. The information for specifying the group includes, for example, information indicating the number of people constituting the group.

したがって、客情報生成部１５５は、画像取得部１５３が複数の着座位置に着座する複数の客の顔画像を取得した場合、これら複数の客を一つのグループとして、年齢性別推定部１５４により推定された年齢層及び性別に基づいて、このグループを構成する人の数、年齢層及び性別を示す客情報を生成する。すなわち、この場合、客情報生成部１５５は、グループの人数とグループを構成する各人の年齢層及び性別を示す情報を生成する。   Therefore, when the image acquisition unit 153 acquires face images of a plurality of customers seated at a plurality of seating positions, the customer information generation unit 155 is estimated by the age and gender estimation unit 154 with these plurality of customers as one group. Based on the age group and gender, customer information indicating the number, age group and gender of the people making up this group is generated. That is, in this case, the customer information generation unit 155 generates information indicating the number of groups and the age group and sex of each person making up the group.

例えば、画像取得部１５３がテーブル席に着座する複数の客の顔画像を取得する場合、客情報生成部１５５は、取得された顔画像が示す各客を一つのグループとして判断し、グループを特定する上述の情報を生成する。また、例えば、画像取得部１５３がカウンター席に着座する複数の客の顔画像を取得する場合、客情報生成部１５５は、取得された顔画像が示す各客を一つのグループとして判断し、グループを特定する上述の情報を生成する。   For example, when the image acquisition unit 153 acquires face images of a plurality of customers sitting on a table seat, the customer information generation unit 155 determines each customer indicated by the acquired face image as one group, and identifies the group The above information is generated. Further, for example, when the image acquisition unit 153 acquires face images of a plurality of customers sitting at a counter seat, the customer information generation unit 155 determines each customer indicated by the acquired face image as one group, and the group The above-described information that identifies the above is generated.

ここで、客情報生成部１５５は、複数の客のうち、画像取得部１５３により取得された顔画像に示される顔の向きが予め定められた条件を満たす客を一つのグループを構成する客として、客情報を生成してもよい。例えば、カウンター席の場合、画像取得部１５３により取得された画像に含まれる全ての人物が同じグループとは限らない。ここで、同じグループの客同士は、会話を行うことが想定される。そして、客が同じグループの他の客と会話する際は、当該他の客の方に顔を向けることが想定される。すなわち、例えば、所定期間の間に、グループ客は、他のグループ客又は個人客に顔を向ける頻度よりも、同じグループの客に顔を向ける頻度の方が多いと想定される。したがって、客情報生成部１５５は、例えば、所定期間の客の顔の向きを確認し、画像取得部１５３により取得された画像に示される客のうちグループを構成する客を特定してもよい。このようにすることにより、画像取得部１５３により取得された画像に、同一グループの客以外の客の顔が含まれる場合であっても、適切にグループを特定する情報を生成することができる。
なお、例えば、客の来店時に、店員が同一グループの客だけをカメラ１１１が撮像するよう、注文端末装置１００を配置してもよい。 Here, the customer information generation unit 155 selects, among a plurality of customers, customers who satisfy a predetermined condition for the face orientation indicated in the face image acquired by the image acquisition unit 153 as a customer constituting one group. Customer information may be generated. For example, in the case of a counter seat, all the persons included in the image acquired by the image acquisition unit 153 are not necessarily the same group. Here, it is assumed that customers in the same group have a conversation. Then, when a customer has a conversation with another customer of the same group, it is assumed that the customer faces his / her other customer. That is, for example, during a predetermined period, it is assumed that a group customer has a higher frequency of facing a customer of the same group than a frequency of facing a group customer or an individual customer. Therefore, for example, the customer information generation unit 155 may confirm the orientation of the customer's face during a predetermined period, and may specify the customers that make up the group among the customers indicated in the image acquired by the image acquisition unit 153. By doing in this way, even if it is a case where the image of the customer other than the customer of the same group is contained in the image acquired by the image acquisition part 153, the information which specifies a group appropriately can be produced | generated.
For example, the order terminal device 100 may be arranged so that the camera 111 captures only the customers in the same group when the customer visits the store.

情報出力部１５６は、提示情報記憶部１５２が記憶する情報を出力する。情報出力部１５６は、情報をタッチパネル１１２に表示出力してもよいし、スピーカ１１３に音声出力してもよい。また、情報出力部１５６は、客情報生成部１５５が生成した客情報に基づいて選択される情報を出力してもよい。すなわち、情報出力部１５６は、例えば、客情報に示される客の年齢層又は性別に応じたおすすめのメニューを出力してもよい。   The information output unit 156 outputs information stored in the presentation information storage unit 152. The information output unit 156 may display and output information on the touch panel 112 or may output sound to the speaker 113. Moreover, the information output part 156 may output the information selected based on the customer information which the customer information generation part 155 produced | generated. That is, for example, the information output unit 156 may output a recommended menu corresponding to the customer's age group or gender indicated in the customer information.

注文受付部１５７は、客からの注文を受け付ける。具体的には、注文受付部１５７は、タッチパネルを介した、客の操作入力により注文を受け付ける。客は、例えば、タッチパネル１１２に表示された商品又はサービスの選択肢に対し、選択操作をすることにより所望の商品又はサービスの注文操作を行う。   The order receiving unit 157 receives orders from customers. Specifically, the order receiving unit 157 receives an order by a customer operation input via a touch panel. For example, the customer performs an ordering operation for a desired product or service by performing a selection operation on a product or service option displayed on the touch panel 112.

客情報送信部１５８は、客情報生成部１５５により生成された客情報を情報収集サーバ２００に送信する。なお、客情報送信部１５８は、注文受付部１５７により受付けられた注文と関連づけて、客情報を送信してもよい。   The customer information transmission unit 158 transmits the customer information generated by the customer information generation unit 155 to the information collection server 200. The customer information transmission unit 158 may transmit the customer information in association with the order received by the order reception unit 157.

次に、客情報の生成処理について、注文端末装置１００の動作を説明する。図８は、注文端末装置１００における客情報の生成処理に関する動作の一例を示すフローチャートである。   Next, the operation of the order terminal device 100 will be described for the customer information generation process. FIG. 8 is a flowchart illustrating an example of an operation related to the customer information generation process in the order terminal device 100.

ステップ１０（Ｓ１０）において、制御部１１５は、客情報の生成処理の開始条件を満たしたか否かを判定する。開始条件を満たした場合、処理はステップ１１に移行し、開始条件を満たさない場合、ステップ１０が繰り返される。開始条件は、例えば、客の着席である。なお、ステップ１０による判定は、上述の年齢性別推定部１５４による推定が行われる所定の期間の開始時期の判定に相当する。   In step 10 (S10), the control unit 115 determines whether or not the customer information generation process start condition is satisfied. If the start condition is satisfied, the process proceeds to step 11. If the start condition is not satisfied, step 10 is repeated. The start condition is, for example, the seating of the customer. Note that the determination in step 10 corresponds to the determination of the start time of a predetermined period in which the estimation by the age sex estimation unit 154 described above is performed.

ステップ１１（Ｓ１１）において、制御部１１５はカメラ１１１に撮像を開始させる。そして、ステップ１２（Ｓ１２）において、画像取得部１５３が、カメラ１１１により撮像された客の顔画像を取得する。
次に、ステップ１３（Ｓ１３）において、年齢性別推定部１５４が、画像取得部１５３により取得された顔画像から、客の年齢層及び性別を推定する。 In step 11 (S11), the control unit 115 causes the camera 111 to start imaging. In step 12 (S12), the image acquisition unit 153 acquires the customer's face image captured by the camera 111.
Next, in step 13 (S13), the age and sex estimation unit 154 estimates the age group and sex of the customer from the face image acquired by the image acquisition unit 153.

次に、ステップ１４（Ｓ１４）において、制御部１１５は、推定処理の終了条件を満たしたか否かを判定する。終了条件を満たした場合、処理はステップ１５に移行し、終了条件を満たさない場合、ステップ１２へ戻る。終了条件は、例えば、ステップ１０でＹｅｓと判定されてから予め定められた時間が経過したことであってもよいし、提供された商品又はサービスの清算タイミングであってもよい。なお、ステップ１４による判定は、上述の年齢性別推定部１５４による推定が行われる所定の期間の終了時期の判定に相当する。   Next, in step 14 (S14), the control unit 115 determines whether or not the estimation process end condition is satisfied. When the end condition is satisfied, the process proceeds to step 15, and when the end condition is not satisfied, the process returns to step 12. The termination condition may be, for example, that a predetermined time has elapsed since it was determined to be Yes in Step 10, or a settlement timing of a provided product or service. Note that the determination in step 14 corresponds to the determination of the end time of a predetermined period in which the estimation by the age sex estimation unit 154 described above is performed.

ステップ１５（Ｓ１５）において、制御部１１５はカメラ１１１に撮像を終了させる。そして、ステップ１６（Ｓ１６）において、年齢性別推定部１５４は、最終的な推定結果を確定する。その後、ステップ１７（Ｓ１７）において、客情報生成部１５５がステップ１６による推定結果に基づいて客情報を生成する。   In step 15 (S15), the control unit 115 causes the camera 111 to finish imaging. In step 16 (S16), the age and sex estimation unit 154 determines the final estimation result. Thereafter, in step 17 (S17), the customer information generation unit 155 generates customer information based on the estimation result in step 16.

このように、本実施の形態の注文端末装置１００によれば、客の年齢層及び性別を示す客情報を自動的に生成することができる。したがって、注文端末装置１００によれば、客情報を容易に取得することができる。また、注文端末装置１００によれば、グループ客について、グループ客として客情報を生成することができる。このため、マーケティング等においてより有用な客情報を取得することができる。なお、上述の通り、本実施の形態の注文端末装置１００では、画像取得部１５３が取得した、複数の着座位置に着座する複数の客の顔画像から、グループを構成する各客の客情報を生成している。このため、例えば、注文操作の際、グループ客の全員が注文端末装置１００を操作しない場合であっても、グループを構成する各客の客情報を生成することができる。   Thus, according to the order terminal device 100 of the present embodiment, customer information indicating the customer's age group and gender can be automatically generated. Therefore, according to the order terminal device 100, customer information can be easily acquired. Moreover, according to the order terminal device 100, customer information can be generated as a group customer for the group customer. For this reason, more useful customer information in marketing etc. can be acquired. As described above, in the order terminal device 100 of the present embodiment, the customer information of each customer constituting the group is obtained from the face images of a plurality of customers seated at a plurality of seating positions acquired by the image acquisition unit 153. Is generated. For this reason, for example, even when all the group customers do not operate the order terminal device 100 during the order operation, customer information of each customer constituting the group can be generated.

以上、本発明の実施の形態について説明したが、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述の実施の形態では、顔画像により推定処理を行ったが、顔画像に限らず、顔を含む身体画像に基づいて推定処理を行ってもよい。この場合、例えば、学習結果記憶部１５１は、予め定められた年齢層及び性別ごとの顔を含む身体画像の特徴情報についての学習結果データを記憶する。また、画像取得部１５３は、客の顔を含む身体画像を取得する。また、年齢性別推定部１５４は、画像取得部１５３により取得された身体画像の特徴情報を、学習結果記憶部１５１が記憶する特徴情報と比較して、客の年齢層及び性別を推定する。このように、推定に利用する画像を身体画像とすることにより、客の姿勢や身長などの輪郭や、服装などを推定のための特徴情報として利用することができるため、推定精度の向上が期待できる。   Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and can be modified as appropriate without departing from the spirit of the present invention. For example, in the above-described embodiment, the estimation process is performed using a face image. However, the estimation process may be performed based on a body image including a face without being limited to the face image. In this case, for example, the learning result storage unit 151 stores learning result data regarding feature information of a body image including a face for each predetermined age group and sex. The image acquisition unit 153 acquires a body image including the customer's face. Moreover, the age sex estimation part 154 estimates the customer's age group and sex by comparing the feature information of the body image acquired by the image acquisition part 153 with the feature information stored in the learning result storage part 151. In this way, by making the image used for estimation a body image, the contour of the customer's posture and height, clothes, etc. can be used as feature information for estimation, so improvement in estimation accuracy is expected. it can.

また、上述の実施の形態では、注文端末装置が図１又は図７に示される各構成を備えるものとして説明したが、構成の一部を、情報収集サーバ２００などの他の装置が備えてもよい。すなわち、注文端末装置を含む注文システムが、図１又は図７に示される各構成を備えてもよい。   Further, in the above-described embodiment, the order terminal device has been described as including each configuration illustrated in FIG. 1 or FIG. 7, but a part of the configuration may be included in another device such as the information collection server 200. Good. That is, the order system including the order terminal device may include each configuration shown in FIG. 1 or FIG.

また、本発明は、注文端末装置に限らず、キオスク端末などの各種自動受付端末に適用されてもよい。   Further, the present invention is not limited to an order terminal device, and may be applied to various automatic reception terminals such as a kiosk terminal.

また、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。   The program can be stored using various types of non-transitory computer readable media and supplied to a computer. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic recording media (for example, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (for example, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W and semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)) are included. The program may also be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

１、１００ 注文端末装置
２ 学習結果記憶部
３ 画像取得部
４ 年齢性別推定部
５ 客情報生成部
１０ 注文システム
１１０ 注文端末装置本体
１１１ カメラ
１１２ タッチパネル
１１３ スピーカ
１１４ アンテナ
１１５ 制御部
１１６ 記憶部
１２０ クレードル
１３０ 電源ケーブル
１５１ 学習結果記憶部
１５２ 提示情報記憶部
１５３ 画像取得部
１５４ 年齢性別推定部
１５５ 客情報生成部
１５６ 情報出力部
１５７ 注文受付部
１５８ 客情報送信部
２００ 情報収集サーバ
３００ ネットワーク DESCRIPTION OF SYMBOLS 1,100 Order terminal device 2 Learning result storage part 3 Image acquisition part 4 Age sex estimation part 5 Customer information generation part 10 Order system 110 Order terminal apparatus main body 111 Camera 112 Touch panel 113 Speaker 114 Antenna 115 Control part 116 Storage part 120 Cradle 130 Power cable 151 Learning result storage unit 152 Presentation information storage unit 153 Image acquisition unit 154 Age and gender estimation unit 155 Customer information generation unit 156 Information output unit 157 Order reception unit 158 Customer information transmission unit 200 Information collection server 300 Network

Claims (12)

予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データを記憶する学習結果記憶手段と、
着座位置に着座した客の顔画像を取得する画像取得手段と、
前記画像取得手段により取得された前記客の顔画像の特徴情報を、前記学習結果記憶手段が記憶する特徴情報と比較して、前記客の年齢層及び性別を推定する年齢性別推定手段と、
前記年齢性別推定手段により推定された年齢層及び性別に基づいて、前記客の年齢層及び性別を示す客情報を生成する客情報生成手段と
を有する注文端末装置。 Learning result storage means for storing learning result data on feature information of face images for each predetermined age group and gender;
Image acquisition means for acquiring a face image of the customer seated at the sitting position;
Comparing the feature information of the customer's face image acquired by the image acquisition means with the feature information stored in the learning result storage means, and age and sex estimation means for estimating the age group and sex of the customer;
An ordering terminal device comprising: customer information generating means for generating customer information indicating the age group and sex of the customer based on the age group and gender estimated by the age sex estimating means. 前記画像取得手段は、複数の着座位置に着座する複数の客の顔画像を取得し、
前記年齢性別推定手段は、前記複数の客それぞれの年齢層及び性別を推定し、
前記客情報生成手段は、前記複数の客を一つのグループとして、前記年齢性別推定手段により推定された年齢層及び性別に基づいて、該グループを構成する人の数、年齢層及び性別を示す客情報を生成する
請求項１に記載の注文端末装置。 The image acquisition means acquires face images of a plurality of customers seated at a plurality of seating positions,
The age gender estimating means estimates the age group and gender of each of the plurality of customers,
The customer information generating means includes the plurality of customers as one group, and a customer indicating the number, age group, and gender of people constituting the group based on the age group and sex estimated by the age-sex-estimating means. The order terminal device according to claim 1 which generates information. 前記客情報生成手段は、前記複数の客のうち、前記画像取得手段により取得された顔画像に示される顔の向きが予め定められた条件を満たす客を一つのグループを構成する客として、客情報を生成する
請求項２に記載の注文端末装置。 The customer information generation unit is configured to select, as a customer constituting one group, a customer who satisfies a predetermined orientation of the face direction indicated in the face image acquired by the image acquisition unit among the plurality of customers. The order terminal device according to claim 2 which generates information. 前記年齢性別推定手段は、所定の期間、前記客の年齢層及び性別の推定を繰り返し、複数の推定結果から最終的な推定結果を算出する
請求項１乃至３いずれか１項に記載の注文端末装置。 The order terminal according to any one of claims 1 to 3, wherein the age and gender estimation means repeats estimation of the customer's age group and sex for a predetermined period, and calculates a final estimation result from a plurality of estimation results. apparatus. 前記年齢性別推定手段は、前記画像取得手段により取得された前記客の顔画像のうち、予め定められた距離以内に存在する客の顔画像を推定対象とする
請求項１乃至４のいずれか１項に記載の注文端末装置。 5. The age-sex-estimating means targets a customer face image existing within a predetermined distance among the face images of the customer acquired by the image acquisition means. The order terminal device according to the item. 前記客情報生成手段が生成した客情報に基づいて選択される情報を出力する情報出力手段
をさらに有する請求項１乃至５のいずれか１項に記載の注文端末装置。 The order terminal device according to claim 1, further comprising: an information output unit that outputs information selected based on customer information generated by the customer information generation unit. 前記学習結果記憶手段は、予め定められた年齢層及び性別ごとの顔を含む身体画像の特徴情報についての学習結果データを記憶し、
前記画像取得手段は、客の顔を含む身体画像を取得し、
前記年齢性別推定手段は、前記画像取得手段により取得された身体画像の特徴情報を、前記学習結果記憶手段が記憶する特徴情報と比較して、前記客の年齢層及び性別を推定する
請求項１乃至６のいずれか１項に記載の注文端末装置。 The learning result storage means stores learning result data about feature information of a body image including a face for each predetermined age group and gender,
The image acquisition means acquires a body image including a customer's face,
The age gender estimating means estimates the age group and gender of the customer by comparing the feature information of the body image acquired by the image acquisition means with the feature information stored in the learning result storage means. 7. The order terminal device according to any one of items 6 to 6. 前記画像取得手段は、カウンター席に着座する客の顔画像を取得する
請求項１乃至７のいずれか１項に記載の注文端末装置。 The order terminal device according to any one of claims 1 to 7, wherein the image acquisition unit acquires a face image of a customer sitting at a counter seat. 前記画像取得手段は、テーブル席に着座する客の顔画像を取得する
請求項１乃至７のいずれか１項に記載の注文端末装置。 The order terminal device according to claim 1, wherein the image acquisition unit acquires a face image of a customer sitting at a table seat. 予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データを記憶する学習結果記憶手段と、
着座位置に着座した客の顔画像を取得する画像取得手段と、
前記画像取得手段により取得された前記客の顔画像の特徴情報を、前記学習結果記憶手段が記憶する特徴情報と比較して、前記客の年齢層及び性別を推定する年齢性別推定手段と、
前記年齢性別推定手段により推定された年齢層及び性別に基づいて、前記客の年齢層及び性別を示す客情報を生成する客情報生成手段と
を有する注文システム。 Learning result storage means for storing learning result data on feature information of face images for each predetermined age group and gender;
Image acquisition means for acquiring a face image of the customer seated at the sitting position;
Comparing the feature information of the customer's face image acquired by the image acquisition means with the feature information stored in the learning result storage means, and age and sex estimation means for estimating the age group and sex of the customer;
An order system comprising: customer information generation means for generating customer information indicating the age group and sex of the customer based on the age group and gender estimated by the age sex estimation unit. 着座位置に着座した客の顔画像を取得する画像取得ステップと、
取得された前記客の顔画像の特徴情報を、予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データと比較して、前記客の年齢層及び性別を推定する年齢性別推定ステップと、
推定された年齢層及び性別に基づいて、前記客の年齢層及び性別を示す客情報を生成する客情報生成ステップと
を含む客情報生成方法。 An image acquisition step of acquiring a face image of the customer seated at the sitting position;
Compare the acquired feature information of the customer's face image with learning result data on the feature information of the face image for each predetermined age group and gender, and estimate the age group and sex of the customer An estimation step;
A customer information generation method including: a customer information generation step of generating customer information indicating the age group and sex of the customer based on the estimated age group and sex. 着座位置に着座した客の顔画像を取得する画像取得ステップと、
取得された前記客の顔画像の特徴情報を、予め定められた年齢層及び性別ごとの顔画像の特徴情報についての学習結果データと比較して、前記客の年齢層及び性別を推定する年齢性別推定ステップと、
推定された年齢層及び性別に基づいて、前記客の年齢層及び性別を示す客情報を生成する客情報生成ステップと
をコンピュータに実行させるプログラム。 An image acquisition step of acquiring a face image of the customer seated at the sitting position;
Compare the acquired feature information of the customer's face image with learning result data on the feature information of the face image for each predetermined age group and gender, and estimate the age group and sex of the customer An estimation step;
A program for causing a computer to execute a customer information generation step of generating customer information indicating the age group and sex of the customer based on the estimated age group and sex.
JP2015059390A 2015-03-23 2015-03-23 Order terminal equipment, order system, customer information generation method, and program Pending JP2016177755A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015059390A JP2016177755A (en) 2015-03-23 2015-03-23 Order terminal equipment, order system, customer information generation method, and program
PCT/JP2016/001564 WO2016152122A1 (en) 2015-03-23 2016-03-17 Order terminal device, order system, customer information generation method, and non-transitory computer readable medium that stores program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015059390A JP2016177755A (en) 2015-03-23 2015-03-23 Order terminal equipment, order system, customer information generation method, and program

Publications (1)

Publication Number Publication Date
JP2016177755A true JP2016177755A (en) 2016-10-06

Family

ID=56978001

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015059390A Pending JP2016177755A (en) 2015-03-23 2015-03-23 Order terminal equipment, order system, customer information generation method, and program

Country Status (2)

Country Link
JP (1) JP2016177755A (en)
WO (1) WO2016152122A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020091739A (en) * 2018-12-06 2020-06-11 株式会社 日立産業制御ソリューションズ Procedure detection device and procedure detection program
KR20200093251A (en) * 2019-01-28 2020-08-05 주식회사 스마트캐스트 Smart order processing apparatus
WO2020194488A1 (en) * 2019-03-26 2020-10-01 株式会社資生堂 Device, method, program, and system for determining three-dimensional shape of face
WO2022145712A1 (en) * 2020-12-31 2022-07-07 주식회사 메이아이 Method, device, and non-transitory computer-readable recording medium for analyzing visitor on basis of image in edge computing environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04352081A (en) * 1991-05-29 1992-12-07 Ikegami Tsushinki Co Ltd Preprocessing method and device for image recognition
JP2001134673A (en) * 1999-08-20 2001-05-18 Waitekku:Kk Customer service managing device
JP2004054376A (en) * 2002-07-17 2004-02-19 Japan Science & Technology Corp Method and device for estimating group attribute
JP2013246486A (en) * 2012-05-23 2013-12-09 Toshiba Tec Corp Order terminal and computer program
JP2015011712A (en) * 2013-06-28 2015-01-19 アザパ アールアンドディー アメリカズ インク Digital information gathering and analyzing method and apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04352081A (en) * 1991-05-29 1992-12-07 Ikegami Tsushinki Co Ltd Preprocessing method and device for image recognition
JP2001134673A (en) * 1999-08-20 2001-05-18 Waitekku:Kk Customer service managing device
JP2004054376A (en) * 2002-07-17 2004-02-19 Japan Science & Technology Corp Method and device for estimating group attribute
JP2013246486A (en) * 2012-05-23 2013-12-09 Toshiba Tec Corp Order terminal and computer program
JP2015011712A (en) * 2013-06-28 2015-01-19 アザパ アールアンドディー アメリカズ インク Digital information gathering and analyzing method and apparatus

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020091739A (en) * 2018-12-06 2020-06-11 株式会社 日立産業制御ソリューションズ Procedure detection device and procedure detection program
KR20200093251A (en) * 2019-01-28 2020-08-05 주식회사 스마트캐스트 Smart order processing apparatus
KR102203996B1 (en) * 2019-01-28 2021-01-18 주식회사 스마트캐스트 Smart order processing apparatus
WO2020194488A1 (en) * 2019-03-26 2020-10-01 株式会社資生堂 Device, method, program, and system for determining three-dimensional shape of face
WO2022145712A1 (en) * 2020-12-31 2022-07-07 주식회사 메이아이 Method, device, and non-transitory computer-readable recording medium for analyzing visitor on basis of image in edge computing environment

Also Published As

Publication number Publication date
WO2016152122A1 (en) 2016-09-29

Similar Documents

Publication Publication Date Title
WO2016152122A1 (en) Order terminal device, order system, customer information generation method, and non-transitory computer readable medium that stores program
TW201907350A (en) Offline shopping guide method and device
JP5874886B1 (en) Service monitoring device, service monitoring system, and service monitoring method
JP2019003360A (en) Guide robot, seat management device and program
CN104125396A (en) Image shooting method and device
JP5780348B1 (en) Information presentation program and information processing apparatus
US20180040046A1 (en) Sales management device, sales management system, and sales management method
JP2018084890A (en) Information processing unit, information processing method, and program
JP6440483B2 (en) COMMUNICATION SYSTEM, SERVER DEVICE, ROBOT, INFORMATION PROCESSING METHOD, AND PROGRAM
JP2019003361A (en) Seat management device, program and robot
CN109345320A (en) Customer type identifying system
US20170200208A1 (en) Sales support method and sales support system
US20180336603A1 (en) Restaurant review systems
US11915519B2 (en) Information processing system, method for managing object to be authenticated, and program
JP2017211932A (en) Information processing device, information processing system, program and information processing method
JP7103229B2 (en) Suspiciousness estimation model generator
JP6474982B2 (en) Shopping consultation system
CN110019405A (en) Information system, electronic equipment, computer-readable medium and information processing method
JP5720843B1 (en) Position conversion program and information processing apparatus
JP2019028559A (en) Work analyzing device, work analyzing method, and program
CN111178923A (en) Offline shopping guide method and device and electronic equipment
KR20190032936A (en) System and method for reserving restaurant
WO2017179134A1 (en) Makeup simulation system, makeup simulation method, and makeup simulation program
JP2018151720A (en) Vacant seat detection program, vacant seat detection device, and vacant seat detection method
CN113807910A (en) System, method, and medium for reducing service errors of restaurants

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190723

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200121