JP6835419B2

JP6835419B2 - Face recognition terminal device, face recognition sales management system, and face recognition sales management method

Info

Publication number: JP6835419B2
Application number: JP2019117464A
Authority: JP
Inventors: 怜央益田
Original assignee: NEC Platforms Ltd
Current assignee: NEC Platforms Ltd
Priority date: 2019-06-25
Filing date: 2019-06-25
Publication date: 2021-02-24
Anticipated expiration: 2039-06-25
Also published as: JP2021005155A

Description

本開示は、顔認証端末装置、顔認証販売管理システム、及び顔認証販売管理方法に関する。 The present disclosure relates to a face recognition terminal device, a face recognition sales management system, and a face recognition sales management method.

店舗の売り上げ等を管理するために、店舗に設置される業務端末装置の一例であるＰＯＳ（Point of sale）端末を含むＰＯＳシステムが利用されている。 In order to manage the sales of a store, a POS system including a POS (Point of sale) terminal, which is an example of a business terminal device installed in a store, is used.

例えば、特許文献１には、店員用表示部及び顧客用表示部を備え、顧客用表示部の表示面側の上部には、ＣＣＤ（Charge Coupled Device）イメージセンサ等で構成される撮像部が設けられたＰＯＳ端末装置が記載されている。上記撮像部は、上記ＰＯＳ端末装置の顧客側において、撮像部に略正対する顧客の顔を中心に撮像する。また、上記店員用表示部は、表示面を操作者である店員に向けて設置され、店員に対して情報を表示し、上記顧客用表示部は、表示面を顧客に向けて設置され、顧客に対して情報を表示する。上記ＰＯＳ端末装置は、店員用表示部及び顧客用表示部に表示され、タッチすることでキーの役割を果たすタッチキーも操作部の一部として設けられている。そして、特許文献１に記載のＰＯＳ端末装置は、上記撮像部で撮像した顔に基づき顧客の年齢及び性別を判定している。 For example, Patent Document 1 includes a store clerk display unit and a customer display unit, and an imaging unit composed of a CCD (Charge Coupled Device) image sensor or the like is provided above the display surface side of the customer display unit. The POS terminal device that has been used is described. On the customer side of the POS terminal device, the image pickup unit takes an image of the customer's face substantially facing the image pickup unit. In addition, the clerk display unit is installed with the display surface facing the clerk who is the operator to display information to the clerk, and the customer display unit is installed with the display surface facing the customer. Display information for. The POS terminal device is displayed on a store clerk display unit and a customer display unit, and a touch key that acts as a key when touched is also provided as a part of the operation unit. The POS terminal device described in Patent Document 1 determines the age and gender of the customer based on the face imaged by the imaging unit.

特開２０１８−１８１３８４号公報Japanese Unexamined Patent Publication No. 2018-181384

ところで、タッチパネル付きディスプレイを有する顔認証端末装置を用いて顧客の顔認証を行う場合には、次の２つの場面が想定できる。第１に、店員が顧客と対面して、店員がタッチパネル付きディスプレイを操作して顧客の顔認証を行う場面があり、第２に、顧客自身がタッチパネル付きディスプレイを操作して顧客自身の顔認証を行う場面とである。第１の場面では、カメラのレンズは顧客側を向き、タッチパネル付きディスプレイの操作画面は店員側を向くことになるが、第２の場面では、カメラのレンズとタッチパネル付きディスプレイの操作画面は顧客側を向くことになる。よって、タッチパネル付きディスプレイを有する顔認証端末装置は、それぞれの場面で、異なる構造とならざるをえず、それぞれの構造のタッチパネル付きディスプレイを有する顔認証端末装置が必要となる。なお、特許文献１に記載の装置において顔認証を行う機能を付加した場合には、２つの場面が同じ位置での場面に限られ、離間した２つの位置での使用はできない。 By the way, when performing face recognition of a customer using a face recognition terminal device having a display with a touch panel, the following two situations can be assumed. First, there is a scene where the clerk faces the customer and the clerk operates the display with the touch panel to authenticate the customer's face. Second, the customer himself operates the display with the touch panel to authenticate the customer's face. It is a scene to do. In the first scene, the camera lens faces the customer side and the operation screen of the display with the touch panel faces the clerk side, but in the second scene, the operation screen of the camera lens and the display with the touch panel faces the customer side. Will turn to. Therefore, the face recognition terminal device having a display with a touch panel has to have a different structure in each scene, and a face recognition terminal device having a display with a touch panel having each structure is required. When the function of performing face recognition is added to the device described in Patent Document 1, the two scenes are limited to the scenes at the same position, and cannot be used at two separated positions.

本開示の目的は、上述した課題を解決する、顔認証端末装置、顔認証販売管理システム、及び顔認証販売管理方法を提供することにある。上記課題は、タッチパネル付きディスプレイを備える顔認証端末装置において、店員が顧客と対面して店員が操作して顧客の顔認証を行う場合と、顧客自身が顔認証を行い顧客自身が操作して顧客自身の顔認証を行う場合の両方に使用できるようにすることにある。 An object of the present disclosure is to provide a face recognition terminal device, a face recognition sales management system, and a face recognition sales management method that solve the above-mentioned problems. The above problems are the case where the clerk faces the customer and the clerk operates the customer's face recognition in the face recognition terminal device provided with the display with a touch panel, and the case where the customer himself performs the face recognition and the customer operates the customer. The purpose is to be able to use it for both when performing own face recognition.

本開示の第１の態様に係る顔認証端末装置は、カメラを内蔵するカメラ部と、タッチパネル付きディスプレイを有するモニタ部と、を備え、前記カメラ部を、前記カメラが撮影する撮影方向と前記タッチパネル付きディスプレイの操作面に垂直な方向のうち前記操作面から前記操作面を視認可能な位置へ向かう方向であるモニタ方向とが異なる方向である第１の形態と、前記撮影方向と前記モニタ方向とが同一方向である第２の形態と、に配置可能であり、前記第１の形態においては、前記カメラ部と前記モニタ部とはそれぞれの厚さ方向の中心線が所定の角度をなすように当接しており、前記第２の形態においては、前記カメラ部と前記モニタ部とはそれぞれの厚さ方向の中心線の方向が略平行となるように当接している、ものである。 The face recognition terminal device according to the first aspect of the present disclosure includes a camera unit incorporating a camera and a monitor unit having a display with a touch panel, and the camera unit is photographed by the camera in a shooting direction and the touch panel. The first aspect, which is a direction perpendicular to the operation surface of the display with a monitor, which is a direction different from the monitor direction, which is a direction from the operation surface to a position where the operation surface can be visually recognized, and the shooting direction and the monitor direction. Can be arranged in the second form in which is the same direction, and in the first form, the center lines of the camera unit and the monitor unit in the thickness direction form a predetermined angle. In the second embodiment, the camera unit and the monitor unit are in contact with each other so that the directions of the center lines in the thickness directions of the camera unit and the monitor unit are substantially parallel to each other.

本開示の第２の態様に係る顔認証販売管理方法は、第１の顔認証端末装置、第２の顔認証端末装置、飲料供給装置、及び業務端末装置を備え、前記業務端末装置が前記第１の顔認証端末装置、前記第２の顔認証端末装置、及び前記飲料供給装置のいずれにも通信可能に接続された顔認証販売管理システムにおける顔認証販売管理方法であって、前記第１の顔認証端末装置及び前記第２の顔認証端末装置は、いずれも、カメラを内蔵するカメラ部と、タッチパネル付きディスプレイを有するモニタ部と、を備え、前記カメラ部を、前記カメラが撮影する撮影方向と前記タッチパネル付きディスプレイの操作面に垂直な方向のうち前記操作面から前記操作面を視認可能な位置へ向かう方向であるモニタ方向とが異なる方向である第１の形態と、前記撮影方向と前記モニタ方向とが同一方向である第２の形態と、に配置可能であり、前記第１の形態においては、前記カメラ部と前記モニタ部とはそれぞれの厚さ方向の中心線が所定の角度をなすように当接しており、前記第２の形態においては、前記カメラ部と前記モニタ部とはそれぞれの厚さ方向の中心線の方向が略平行となるように当接しており、前記顔認証販売管理方法は、前記第１の顔認証端末装置を、前記第１の形態に前記カメラ部が配置された状態で前記業務端末装置の近傍に設置し、前記第２の顔認証端末装置を、前記第２の形態に前記カメラ部が配置された状態で前記飲料供給装置の近傍に設置し、前記第１の顔認証端末装置で顧客についての顔認証処理を行い、前記第２の顔認証端末装置で同一顧客についての顔認証処理を行い、販売処理を行う、ものである。 The face authentication sales management method according to the second aspect of the present disclosure includes a first face authentication terminal device, a second face authentication terminal device, a beverage supply device, and a business terminal device, and the business terminal device is the first. A face authentication sales management method in a face authentication sales management system that is communicably connected to any of the face authentication terminal device, the second face authentication terminal device, and the beverage supply device, wherein the first face authentication sales management method is performed. Both the face recognition terminal device and the second face recognition terminal device include a camera unit having a built-in camera and a monitor unit having a display with a touch panel, and the camera unit is photographed in a shooting direction by the camera. The first embodiment is a direction perpendicular to the operation surface of the display with a touch panel, which is a direction different from the monitor direction, which is a direction from the operation surface to a position where the operation surface can be visually recognized, and the shooting direction and the above. It can be arranged in a second form in which the monitor direction is the same, and in the first form, the center line in the thickness direction of the camera unit and the monitor unit has a predetermined angle. In the second form, the camera unit and the monitor unit are in contact with each other so that the directions of the center lines in the thickness directions are substantially parallel to each other, and the face recognition is performed. In the sales management method, the first face recognition terminal device is installed in the vicinity of the business terminal device with the camera unit arranged in the first form, and the second face recognition terminal device is installed. The camera unit is arranged in the second form and installed in the vicinity of the beverage supply device, the first face recognition terminal device performs face recognition processing for the customer, and the second face recognition terminal is used. The device performs face recognition processing for the same customer and performs sales processing.

本開示により、上記課題を解決する顔認証端末装置、顔認証販売管理システム、及び顔認証販売管理方法を提供することができる。即ち、本開示によれば、タッチパネル付きディスプレイを備える顔認証端末装置において、店員が顧客と対面して店員が操作して顧客の顔認証を行う場合と、顧客自身が顔認証を行い顧客自身が操作して顧客自身の顔認証を行う場合の両方に使用できるようになる。 According to the present disclosure, it is possible to provide a face recognition terminal device, a face recognition sales management system, and a face recognition sales management method that solve the above problems. That is, according to the present disclosure, in a face recognition terminal device provided with a display with a touch panel, a clerk faces the customer and the clerk operates the face recognition of the customer, and the customer himself / herself performs face recognition and the customer himself / herself performs face recognition. It can be used for both operations and face recognition of the customer.

実施形態１に係る顔認証端末装置の一構成例を示す概略側面図である。It is a schematic side view which shows one configuration example of the face recognition terminal apparatus which concerns on Embodiment 1. FIG. 図１の顔認証端末装置を備えた顔認証販売管理システムの一構成例を示す概略図である。It is a schematic diagram which shows one configuration example of the face recognition sales management system provided with the face recognition terminal apparatus of FIG. 図２の顔認証販売管理システムにおける顔認証販売管理方法の一例を説明するためのフロー図である。It is a flow chart for demonstrating an example of the face authentication sales management method in the face authentication sales management system of FIG. 実施形態２に係る顔認証端末装置の第１形態における一構成例を示す概略側面図である。It is a schematic side view which shows one configuration example in 1st Embodiment of the face recognition terminal apparatus which concerns on Embodiment 2. FIG. 実施形態２に係る顔認証端末装置の第２形態における一構成例を示す概略側面図である。It is a schematic side view which shows one configuration example in 2nd Embodiment of the face recognition terminal apparatus which concerns on Embodiment 2. FIG. 実施形態２に係る顔認証端末装置の第１形態及び第２形態における一構成例を示す概略正面図である。It is a schematic front view which shows one configuration example in 1st form and 2nd form of the face recognition terminal apparatus which concerns on Embodiment 2. 実施形態２に係る顔認証端末装置の一構成例を示すブロック図である。It is a block diagram which shows one configuration example of the face recognition terminal apparatus which concerns on Embodiment 2. 実施形態３に係る顔認証端末装置を用いた顔認証販売管理システムの一構成例を示す図である。It is a figure which shows one configuration example of the face authentication sales management system using the face authentication terminal apparatus which concerns on Embodiment 3. 図８の顔認証販売管理システムにおいてＰＯＳ端末装置前に設置された顔認証端末装置の顔認証前の様子の一例を示す図である。It is a figure which shows an example of the state before face authentication of the face authentication terminal apparatus installed in front of a POS terminal apparatus in the face authentication sales management system of FIG. 図９に続く、顔認証端末装置の顔認証成功直後から回数券選択前までの様子の一例を示す図である。FIG. 9 is a diagram showing an example of a state from immediately after the successful face authentication of the face authentication terminal device to before the selection of the coupon ticket, following FIG. 図１０に続く、顔認証端末装置の確定ボタン押下前から押下後までの様子の一例を示す図である。FIG. 10 is a diagram showing an example of a state before and after pressing the confirmation button of the face authentication terminal device, following FIG. 10. 図８の顔認証販売管理システムにおいてコーヒーサーバ前に設置された顔認証端末装置の顔認証成功直後からチケット選択後までの様子の一例を示す図である。FIG. 8 is a diagram showing an example of a state from immediately after successful face authentication to after ticket selection of the face authentication terminal device installed in front of the coffee server in the face authentication sales management system of FIG. 装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware composition of a device.

以下、図面を参照して、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付すことがあり、重複する説明は適宜省略される。 Hereinafter, embodiments will be described with reference to the drawings. In the embodiment, the same or equivalent elements may be designated by the same reference numerals, and duplicate description may be omitted as appropriate.

＜実施形態１＞
図１は、実施形態１に係る顔認証端末装置の一構成例を示す概略側面図である。
図１に示すように、本実施形態に係る顔認証端末装置１ａは、カメラ１４を内蔵するカメラ部１２と、タッチパネル付きディスプレイ１３を有するモニタ部１１と、を備える。顔認証端末装置１ｂは、顔認証端末装置１ａと同じ装置であるが、そのモニタ部１１に対するカメラ部１２の配置を異ならせたもの、つまり異なる形態のものである。以下、顔認証端末装置１ａ，１ｂに共通の説明については、顔認証端末装置１として説明することがある。 <Embodiment 1>
FIG. 1 is a schematic side view showing a configuration example of the face authentication terminal device according to the first embodiment.
As shown in FIG. 1, the face recognition terminal device 1a according to the present embodiment includes a camera unit 12 having a built-in camera 14 and a monitor unit 11 having a display 13 with a touch panel. The face recognition terminal device 1b is the same device as the face recognition terminal device 1a, but has a different arrangement of the camera unit 12 with respect to the monitor unit 11, that is, a different form. Hereinafter, the description common to the face recognition terminal devices 1a and 1b may be described as the face recognition terminal device 1.

顔認証端末装置１は、カメラ部１２をモニタ部１１に対して第１形態と第２形態と配置可能となっている。第１形態は、カメラ１４が撮影する撮影方向（例えば被写体の中心に向かう方向）Ｖｃと、タッチパネル付きディスプレイ１３の操作面に垂直な方向のうち操作面から操作面を視認可能な位置へ向かう方向であるモニタ方向Ｖｓと、が異なる方向である形態を指す。第１形態については、顔認証端末装置１ａで例示するような形態である。第２形態は、顔認証端末装置１ｂで例示するように、上記撮影方向Ｖｃと上記モニタ方向Ｖｓとが同一方向である形態である。 In the face recognition terminal device 1, the camera unit 12 can be arranged in the first form and the second form with respect to the monitor unit 11. The first mode is a shooting direction (for example, a direction toward the center of the subject) Vc taken by the camera 14 and a direction perpendicular to the operation surface of the display 13 with a touch panel toward a position where the operation surface can be visually recognized from the operation surface. Refers to a form in which the monitor direction Vs is different from that of the monitor direction Vs. The first form is a form as illustrated by the face recognition terminal device 1a. The second form is a form in which the shooting direction Vc and the monitor direction Vs are in the same direction, as illustrated by the face recognition terminal device 1b.

換言すれば、顔認証端末装置１は、上記第１形態と上記第２形態との間でカメラ部１２のモニタ部１１に対する配置を変更する変更機構を有することができる。このような変更により、カメラ部１２は、操作面側（フロント側）を撮影する場合とリア側を撮影する場合とで切り替えることができる。 In other words, the face recognition terminal device 1 can have a changing mechanism for changing the arrangement of the camera unit 12 with respect to the monitor unit 11 between the first form and the second form. With such a change, the camera unit 12 can switch between the case of photographing the operation surface side (front side) and the case of photographing the rear side.

また、第１形態においては、顔認証端末装置１ａで例示するように、カメラ部１２とモニタ部１１とはそれぞれの厚さ方向の中心線（例えば中心面とすることもできる）が所定の角度θをなすように当接している。θは、例えば顧客の平均的な顔の位置にカメラ１４の撮影方向Ｖｃが向くように設計しておくことができる。一方で、第２形態においては、顔認証端末装置１ｂで例示するように、カメラ部１２とモニタ部１１とはそれぞれの厚さ方向の中心線の方向が略平行となるように当接しており、例えばこれらの方向が略一致するように当接しているようにすることができる。なお、顔認証端末装置１として、操作面側の面が略四角形（この例では略長方形）の平板状の形状の装置を例示しているが、その形状は問わない。 Further, in the first embodiment, as illustrated in the face recognition terminal device 1a, the center lines (for example, the center surface) of the camera unit 12 and the monitor unit 11 in the thickness direction are at a predetermined angle. They are in contact with each other so as to form θ. θ can be designed so that the shooting direction Vc of the camera 14 faces, for example, the average face position of the customer. On the other hand, in the second form, as illustrated in the face recognition terminal device 1b, the camera unit 12 and the monitor unit 11 are in contact with each other so that the directions of the center lines in the thickness directions are substantially parallel to each other. For example, these directions can be brought into contact with each other so as to be substantially aligned with each other. As the face recognition terminal device 1, a device having a flat plate shape having a substantially quadrangular surface (approximately rectangular shape in this example) on the operation surface side is illustrated, but the shape is not limited.

第１形態の顔認証端末装置１ａでは、図１の左側に示すようにカメラ１４の撮影方向Ｖｃとモニタ方向Ｖｓとのなす角度は定まっているため、使用する際は、タッチパネル付きディスプレイの角度を調整するだけでよくカメラ１４の角度を別途調整する必要はない。第２形態の顔認証端末装置１ｂは、図１の右側に示すようにカメラ１４の撮影方向Ｖｃとモニタ方向Ｖｓとが同一方向であるため、使用する際は、モニタ部１１の角度を調整するだけでよく、カメラ１４の角度を別途調整する必要はない。 In the face recognition terminal device 1a of the first form, as shown on the left side of FIG. 1, the angle formed by the shooting direction Vc of the camera 14 and the monitor direction Vs is fixed. Therefore, when using the device, the angle of the display with a touch panel is changed. It is only necessary to adjust it, and it is not necessary to adjust the angle of the camera 14 separately. In the face recognition terminal device 1b of the second form, as shown on the right side of FIG. 1, the shooting direction Vc of the camera 14 and the monitor direction Vs are in the same direction, so that the angle of the monitor unit 11 is adjusted when used. There is no need to adjust the angle of the camera 14 separately.

このような構成により、本実施形態に係る顔認証端末装置１は、店員が顧客と対面して店員がタッチ操作して顧客の顔認証を行う場合と、顧客自身が顔認証を行い顧客自身がタッチ操作して顧客自身の顔認証を行う場合の両方に使用することができる。 With such a configuration, in the face recognition terminal device 1 according to the present embodiment, there are cases where the clerk faces the customer and the clerk touch-operates to perform face recognition of the customer, and cases where the customer himself performs face recognition and the customer himself / herself performs face recognition. It can be used for both touch-operated face recognition of customers.

次に、このような使用例について、図２を参照しながら、図１の顔認証端末装置１ａ，１ｂの各状態の合計２台の顔認証端末装置を備えた顔認証販売管理システム（以下、本システムという）について説明する。図２は、本システムの一構成例を示す概略図である。 Next, with reference to FIG. 2, regarding such a usage example, a face recognition sales management system (hereinafter, referred to as a face recognition sales management system) including a total of two face recognition terminal devices in each state of the face recognition terminal devices 1a and 1b of FIG. This system) will be described. FIG. 2 is a schematic view showing a configuration example of this system.

図２に示すように、本システムは、上記第１形態にカメラ部１２が配置された顔認証端末装置１ａと、上記第２形態にカメラ部１２が配置された顔認証端末装置１ｂと、業務端末装置２と、飲料供給装置３と、を備える。顔認証端末装置１ａは第１形態の顔認証端末装置であり、顔認証端末装置１ｂは第２形態の顔認証端末装置である。業務端末装置２は、顔認証端末装置１ａ、顔認証端末装置１ｂ、及び飲料供給装置３のいずれにも有線／無線を問わず通信可能に接続されている。 As shown in FIG. 2, this system includes a face recognition terminal device 1a in which the camera unit 12 is arranged in the first form, and a face recognition terminal device 1b in which the camera unit 12 is arranged in the second form. A terminal device 2 and a beverage supply device 3 are provided. The face recognition terminal device 1a is the face recognition terminal device of the first form, and the face recognition terminal device 1b is the face recognition terminal device of the second form. The business terminal device 2 is communicably connected to any of the face recognition terminal device 1a, the face recognition terminal device 1b, and the beverage supply device 3 regardless of whether they are wired or wireless.

業務端末装置２は、例えばＰＯＳ端末装置で構成することができ、その場合、本システムは顔認証ＰＯＳシステムと称することができる。業務端末装置２は、商品又はサービスの少なくとも一方についての販売情報（決済情報或いは売上情報）を入力することが可能に構成されることができる。よって、業務端末装置２は、例えば、販売される商品を登録する処理やその商品の決済に関する処理を実行するように構成することができる。これらの処理は、例えば、業務端末装置２に接続された図示しないサーバ装置と協働して行うように構成することもできる。業務端末装置２は、コンビニエンスストアをはじめ、スーパーマーケット、ドラッグストア等の多店舗チェーン店などに設置されることができ、その場合、店舗端末装置と称することもできる。 The business terminal device 2 can be configured by, for example, a POS terminal device, in which case the system can be referred to as a face recognition POS system. The business terminal device 2 can be configured to be capable of inputting sales information (settlement information or sales information) for at least one of goods or services. Therefore, the business terminal device 2 can be configured to execute, for example, a process of registering a product to be sold and a process related to payment of the product. These processes can be configured to be performed in cooperation with a server device (not shown) connected to the business terminal device 2, for example. The business terminal device 2 can be installed in a convenience store, a multi-store chain store such as a supermarket or a drug store, and in that case, it can also be referred to as a store terminal device.

飲料供給装置３は、飲料供給装置３は、コーヒーサーバ等、飲料を供給する装置とすることができ、また、有線／無線を問わず、直接、顔認証端末装置１ｂに通信可能に接続しておくこともできる。なお、業務端末装置２、飲料供給装置３は、それぞれ業務アプリケーションプログラム、飲料供給アプリケーションプログラムを実行可能に組み込んでおくことができる。 The beverage supply device 3 can be a device that supplies beverages such as a coffee server, and can be directly connected to the face recognition terminal device 1b regardless of whether it is wired or wireless. You can also leave it. The business terminal device 2 and the beverage supply device 3 can be executably incorporated with the business application program and the beverage supply application program, respectively.

図２において、概略的な配置をその接続距離をイメージして図示するように、顔認証端末装置１ａは、業務端末装置２の近傍に設置され、顔認証端末装置１ｂは飲料供給装置３の近傍に設置されている。 In FIG. 2, the face recognition terminal device 1a is installed in the vicinity of the business terminal device 2, and the face recognition terminal device 1b is in the vicinity of the beverage supply device 3 so that the schematic arrangement is illustrated in the image of the connection distance. It is installed in.

本システムにおける顔認証販売管理方法（以下、本方法という）の一例について、図３を併せて参照しながら説明する。図３は、本方法の一例を説明するためのフロー図である。 An example of the face recognition sales management method (hereinafter referred to as this method) in this system will be described with reference to FIG. FIG. 3 is a flow chart for explaining an example of this method.

本方法では、第１形態にカメラ部１２が配置された状態の顔認証端末装置１ａを、業務端末装置２の近傍に設置し、第２形態にカメラ部１２が配置された状態の顔認証端末装置１ｂを、飲料供給装置３の近傍に設置しておく。そして、本方法は、第１の顔認証端末装置（顔認証端末装置１ａ）で顧客についての顔認証処理を行い（ステップＳ１）、次いで、第２の顔認証端末装置（顔認証端末装置１ｂ）で同一の顧客についての顔認証処理を行う（ステップＳ２）。本方法は、その後、業務端末装置２等が販売処理を行う（ステップＳ３）。 In this method, the face recognition terminal device 1a in which the camera unit 12 is arranged in the first form is installed in the vicinity of the business terminal device 2, and the face recognition terminal in which the camera unit 12 is arranged in the second form. The device 1b is installed in the vicinity of the beverage supply device 3. Then, in this method, the first face recognition terminal device (face recognition terminal device 1a) performs face recognition processing for the customer (step S1), and then the second face recognition terminal device (face recognition terminal device 1b). Performs face recognition processing for the same customer in (step S2). In this method, the business terminal device 2 or the like then performs a sales process (step S3).

ステップＳ３の販売処理には、ステップＳ１とステップＳ２の間に行う処理を含むこともできる。なお、販売処理は、例えばチケット販売や飲料供給指示などの様々な処理を含むことができる。 The sales process in step S3 may include a process performed between steps S1 and S2. The sales process can include various processes such as ticket sales and beverage supply instructions.

以上、本システム及び本方法によれば、顔認証端末装置１を、店員が顧客と対面して店員がタッチ操作して顧客の顔認証を行う場合と、顧客自身が顔認証を行い顧客自身がタッチ操作して顧客自身の顔認証を行う場合の両方に使用し、飲料を販売することができる。 As described above, according to this system and this method, there are cases where the clerk faces the customer and the clerk touch-operates the face recognition terminal device 1 to perform face recognition of the customer, and the customer himself performs face recognition and the customer himself / herself performs face recognition. It can be used for both touch-operated face recognition of customers and for selling beverages.

＜実施形態２＞
実施形態２について、図４〜図７を併せて参照しながら、実施形態１との相違点を中心に説明するが、実施形態１で説明した様々な例が適用できる。図４は、本実施形態に係る顔認証端末装置の第１形態における一構成例を示す概略側面図で、図５は、本実施形態に係る顔認証端末装置の第２形態における一構成例を示す概略側面図である。また、図６は、本実施形態に係る顔認証端末装置の第１形態及び第２形態における一構成例を示す概略正面図である。 <Embodiment 2>
The second embodiment will be described mainly on the differences from the first embodiment with reference to FIGS. 4 to 7, but various examples described in the first embodiment can be applied. FIG. 4 is a schematic side view showing a configuration example of the face recognition terminal device according to the present embodiment in the first embodiment, and FIG. 5 is a configuration example of the face recognition terminal device according to the present embodiment in the second embodiment. It is a schematic side view which shows. Further, FIG. 6 is a schematic front view showing one configuration example in the first and second embodiments of the face recognition terminal device according to the present embodiment.

図４に示す顔認証端末装置１０ａは、図１の顔認証端末装置１ａと同様のモニタ部１１及びカメラ部１２を備える。つまり顔認証端末装置１０ａは、カメラ部１２がカメラ１４の撮影方向Ｖｃとタッチパネル付きディスプレイ１３のモニタ方向Ｖｓとが異なる方向に配置され、カメラ部１２とモニタ部１１とはそれぞれの厚さ方向の中心線が所定の角度θをなすように当接している。このような配置により、図４に示すように、モニタ部１１のモニタ方向Ｖｓを店員ＰＳが居る方向とし、カメラ１４の撮影方向Ｖｃを顧客ＣＵが居る方向とすることができる。 The face recognition terminal device 10a shown in FIG. 4 includes a monitor unit 11 and a camera unit 12 similar to the face recognition terminal device 1a of FIG. That is, in the face recognition terminal device 10a, the camera unit 12 is arranged in a direction in which the shooting direction Vc of the camera 14 and the monitor direction Vs of the display 13 with a touch panel are different, and the camera unit 12 and the monitor unit 11 are in the respective thickness directions. The center lines are in contact with each other so as to form a predetermined angle θ. With such an arrangement, as shown in FIG. 4, the monitor direction Vs of the monitor unit 11 can be the direction in which the clerk PS is present, and the shooting direction Vc of the camera 14 can be the direction in which the customer CU is present.

図５に示す顔認証端末装置１０ｂは、図１の顔認証端末装置１ｂと同様のモニタ部１１及びカメラ部１２を備える。つまり、顔認証端末装置１０ｂは、は、カメラ部１２がカメラ１４の撮影方向Ｖｃとタッチパネル付きディスプレイ１３のモニタ方向Ｖｓとが同一方向に配置され、カメラ部１２とモニタ部１１とはそれぞれの厚さ方向の中心線が略平行になるように当接している。 The face recognition terminal device 10b shown in FIG. 5 includes a monitor unit 11 and a camera unit 12 similar to the face recognition terminal device 1b of FIG. That is, in the face recognition terminal device 10b, the camera unit 12 has the camera unit 12 arranged in the same direction as the shooting direction Vc of the camera 14 and the monitor direction Vs of the display 13 with the touch panel, and the camera unit 12 and the monitor unit 11 have their respective thicknesses. The center lines in the longitudinal direction are in contact with each other so as to be substantially parallel.

本実施形態では、カメラ部１２の厚さとモニタ部１１の厚さとが同一である例を示しており、それらの厚さ方向の中心線が一致しており、また、略四角形の平板状の形状である。このように、本実施形態でも、第２形態においては、顔認証端末装置は略四角形の平板状の形状とすることができる。無論、カメラ部１２の厚さとモニタ部１１の厚さとは異なっていてもよく、カメラ部１２とモニタ部１１のそれぞれの厚さ方向の中心線は平行であればよい。このような配置により、図５に示すように、モニタ部１１のモニタ方向Ｖｓ及びカメラ１４の撮影方向Ｖｃの双方を顧客ＣＵが居る方向とすることができる。 In the present embodiment, an example is shown in which the thickness of the camera unit 12 and the thickness of the monitor unit 11 are the same, the center lines in the thickness direction of the camera unit 12 are the same, and the shape is a substantially quadrangular flat plate. Is. As described above, also in the present embodiment, in the second embodiment, the face recognition terminal device can have a substantially quadrangular flat plate shape. Of course, the thickness of the camera unit 12 and the thickness of the monitor unit 11 may be different, and the center lines of the camera unit 12 and the monitor unit 11 in the thickness direction may be parallel to each other. With such an arrangement, as shown in FIG. 5, both the monitor direction Vs of the monitor unit 11 and the shooting direction Vc of the camera 14 can be set to the direction in which the customer CU is present.

また、図４の白抜き矢印で示すように顔認証端末装置１０ａのカメラ部１２を回転（逆回転でもよい）させることで、図５に示す顔認証端末装置１０ｂとして機能させることができる。同様に、図５の白抜き矢印で示すように顔認証端末装置１０ｂのカメラ部１２を回転（逆回転でもよい）させることで、図４に示す顔認証端末装置１０ａとして機能させることができる。このようなカメラ１４の撮影方向の変更により、図６で例示する顔認証端末装置１０ａ，１０ｂのようにその正面が変更されることになる。以下、顔認証端末装置１０ａ，１０ｂに共通の説明については、顔認証端末装置１０として説明することがある。 Further, by rotating the camera unit 12 of the face recognition terminal device 10a (may be reverse rotation) as shown by the white arrow in FIG. 4, the face recognition terminal device 10b can be made to function as shown in FIG. Similarly, by rotating the camera unit 12 of the face recognition terminal device 10b (may be reverse rotation) as shown by the white arrow in FIG. 5, the face recognition terminal device 10a can be made to function as shown in FIG. By such a change in the shooting direction of the camera 14, the front surface thereof is changed as in the face recognition terminal devices 10a and 10b illustrated in FIG. Hereinafter, the description common to the face recognition terminal devices 10a and 10b may be described as the face recognition terminal device 10.

カメラ部１２の回転は、例えば回転軸及び回転軸孔を有する回転機構１５を備えることで実現させることができる。つまり、カメラ部１２とモニタ部１１とは、一方に回転軸を有し、他方に回転軸孔を有し、回転軸孔に対して回転軸が回転されることで、第１形態と第２形態との間でのカメラ部１２の配置変更が可能に構成されることができる。顔認証端末装置１０は、このような回転機構を介してモニタ部１１とカメラ部１２とが配置されることになる。その結果、カメラ部１２を回転させてカメラ部１２のモニタ部１１に対する向きを変えて第１形態又は第２形態とすることができる。 The rotation of the camera unit 12 can be realized, for example, by providing a rotation mechanism 15 having a rotation shaft and a rotation shaft hole. That is, the camera unit 12 and the monitor unit 11 have a rotation shaft on one side and a rotation shaft hole on the other side, and the rotation shaft is rotated with respect to the rotation shaft hole, whereby the first form and the second form are The arrangement of the camera unit 12 can be changed with respect to the form. In the face recognition terminal device 10, the monitor unit 11 and the camera unit 12 are arranged via such a rotation mechanism. As a result, the camera unit 12 can be rotated to change the orientation of the camera unit 12 with respect to the monitor unit 11 to obtain the first form or the second form.

例えば、回転軸をカメラ部１２の底部に設け、回転軸孔をモニタ部１１の上部に設けておくことで、カメラ部１２は回転軸を中心にモニタ部１１に対して回転可能とすることができる。また、回転軸又は回転軸孔は、カメラ部１２の底面の縦方向及び横方向の中心であり、モニタ部１１の上面の縦方向及び横方向の中心である位置に設けておくことができる。なお、回転軸及び回転軸孔は、それぞれ備えられた側に固定しておけばよい。 For example, by providing the rotating shaft at the bottom of the camera unit 12 and providing the rotating shaft hole at the upper part of the monitor unit 11, the camera unit 12 can rotate with respect to the monitor unit 11 around the rotating shaft. it can. Further, the rotation shaft or the rotation shaft hole can be provided at a position which is the center in the vertical direction and the horizontal direction of the bottom surface of the camera unit 12 and the center in the vertical direction and the horizontal direction of the upper surface of the monitor unit 11. The rotating shaft and the rotating shaft hole may be fixed to the side provided with each.

このような構成により、カメラ部１２を回転させることで、カメラ１４はフロントカメラにもなるしリアカメラにもなる。これにより、カメラ１４をリア側に向けて店員が顧客の顔認証を行うことができ、カメラ１４をフロント側に向けて顧客が顧客自身の顔認証を行うことができる。なお、カメラ部１２がカメラ１４の撮影方向Ｖｃとタッチパネル付きディスプレイ１３のモニタ方向Ｖｓとが異なる方向であるとき（第１形態のとき）の上記所定の角度θは、顧客ＣＵの顔認証ができる範囲（例えば１００度〜１３５度）としておくことができる。 With such a configuration, by rotating the camera unit 12, the camera 14 can be a front camera or a rear camera. As a result, the store clerk can perform face recognition of the customer with the camera 14 facing the rear side, and the customer can perform face recognition of the customer with the camera 14 facing the front side. When the shooting direction Vc of the camera unit 12 and the monitor direction Vs of the display 13 with the touch panel are different directions (in the first form), the predetermined angle θ can be used for face recognition of the customer CU. It can be in the range (for example, 100 degrees to 135 degrees).

また、回転軸及び回転軸孔に代えて、カメラ部１２とモニタ部１１の一方に取付軸を有し、他方に対応する取付軸孔を有し、カメラ部１２を挿抜可能とすることもできる。取付軸及び取付軸孔も、それぞれ備えられた側に固定しておけばよい。取付軸及び取付軸孔は、例えば回転機構１５として図示した位置に設けておくことができる。このような構成により、カメラ部１２をモニタ部１１側から取り外してカメラ部１２の向きを変えてモニタ部１１側に装着することで、カメラ部１２とモニタ部１１に対する向きを変えることができる。このように、顔認証端末装置１０は、取付軸孔に対して取付軸が抜き差しされることで、第１形態と第２形態との間でのカメラ部１２の配置変更が可能に構成しておくこともできる。 Further, instead of the rotating shaft and the rotating shaft hole, one of the camera unit 12 and the monitor unit 11 has a mounting shaft, and the other has a mounting shaft hole corresponding to the other, so that the camera unit 12 can be inserted and removed. .. The mounting shaft and the mounting shaft hole may also be fixed to the provided sides. The mounting shaft and the mounting shaft hole can be provided at the positions shown as the rotating mechanism 15, for example. With such a configuration, the direction of the camera unit 12 and the monitor unit 11 can be changed by removing the camera unit 12 from the monitor unit 11 side and changing the orientation of the camera unit 12 so that the camera unit 12 is attached to the monitor unit 11 side. In this way, the face recognition terminal device 10 is configured so that the arrangement of the camera unit 12 can be changed between the first form and the second form by inserting and removing the mounting shaft from the mounting shaft hole. You can also leave it.

また、図４及び図５に示すように、顔認証端末装置１０は、モニタ部１１及びカメラ部１２のほかに、モニタ部１１を支持する支持部を備えることができる。この支持部は、例えば、土台部（固定部）１６、アーム部１７、及びモニタ取付部１８を有することができる。 Further, as shown in FIGS. 4 and 5, the face recognition terminal device 10 may include a support unit that supports the monitor unit 11 in addition to the monitor unit 11 and the camera unit 12. This support portion may have, for example, a base portion (fixed portion) 16, an arm portion 17, and a monitor mounting portion 18.

土台部１６は、図４及び図５に示すようにテーブル等の載置面に載置する台座状のものであってもよいし、テーブル等の板の端部を挟んで固定するクランプ状のものであってもよい。 As shown in FIGS. 4 and 5, the base portion 16 may have a pedestal shape to be placed on a mounting surface such as a table, or a clamp shape to sandwich and fix an end portion of a plate such as a table. It may be a thing.

モニタ取付部１８は、タッチパネル付きディスプレイ１３の裏側に位置するモニタ部１１の背面側筐体（又は筐体の側面側）に取り付ける部位である。また、土台部１６とモニタ取付部１８とはアーム部１７を介して接続されている。これにより、支持部で顔認証端末装置１０が支持できるようになる。 The monitor mounting portion 18 is a portion to be mounted on the back side housing (or the side surface side of the housing) of the monitor unit 11 located on the back side of the display 13 with a touch panel. Further, the base portion 16 and the monitor mounting portion 18 are connected via the arm portion 17. As a result, the face recognition terminal device 10 can be supported by the support portion.

アーム部１７は、土台部１６に固定又は取付がなされた下部（支柱部）１７ａと、モニタ取付部１８に固定又は取付がなされた上部（モニタアーム部）１７ｂと、ヒンジ部１７ｃと、を有することができる。ヒンジ部１７ｃは、下部１７ａと上部１７ｂとが回動可能で回動させた位置で固定されるように接続（結合）する部位とすることができる。例えばモニタ部１１を把持して顔認証端末装置１０を角度θｓで示す方向にこの回転の操作を実施することで、この角度θｓを変え、タッチパネル付きディスプレイ１３の操作面の角度を変えることができる。また、上部１７ｂの一端には上述のようにヒンジ部１７ｃを設けておくことができ、この場合、上部１７ｂの他端はモニタ取付部１８に固定又は取付がなされていることになるが、この部分も回動可能に固定又は取付がなされていてもよい。 The arm portion 17 has a lower portion (post portion) 17a fixed or attached to the base portion 16, an upper portion (monitor arm portion) 17b fixed or attached to the monitor attachment portion 18, and a hinge portion 17c. be able to. The hinge portion 17c can be a portion for connecting (coupling) the lower portion 17a and the upper portion 17b so as to be rotatably fixed at a rotated position. For example, by grasping the monitor unit 11 and performing this rotation operation on the face recognition terminal device 10 in the direction indicated by the angle θs, the angle θs can be changed and the angle of the operation surface of the display 13 with the touch panel can be changed. .. Further, a hinge portion 17c can be provided at one end of the upper portion 17b as described above. In this case, the other end of the upper portion 17b is fixed or attached to the monitor mounting portion 18. The portion may also be rotatably fixed or attached.

次に、図７を併せて参照しながら、顔認証端末装置１０の機能の一構成例について説明する。図７は、顔認証端末装置１０の一構成例を示すブロック図である。 Next, one configuration example of the function of the face authentication terminal device 10 will be described with reference to FIG. 7. FIG. 7 is a block diagram showing a configuration example of the face authentication terminal device 10.

顔認証端末装置１０は、図７に示すように、モニタ部１１及びカメラ部１２のほかに、通信部１９を備えることができる。また、カメラ部１２は、例えば、レンズ（カメラ１４のレンズ）１４ａと、撮影した画像を処理する撮像デバイス（カメラデバイス）１４ｂと、を有することができる。 As shown in FIG. 7, the face recognition terminal device 10 can include a communication unit 19 in addition to the monitor unit 11 and the camera unit 12. Further, the camera unit 12 can have, for example, a lens (lens of the camera 14) 14a and an imaging device (camera device) 14b for processing the captured image.

モニタ部１１は、タッチパネル付きディスプレイ１３を有し、制御部１１ａが収容されている。制御部１１ａは、カメラ部１２とタッチパネル付きディスプレイ１３と接続され、これらの制御を行い、また、通信部１９を介して業務端末装置２等の他の装置との通信を行う。制御部１１ａは、例えば、ＣＰＵ（Central Processing Unit）、作業用メモリ、及びプログラムを記憶した不揮発性の記憶装置などによって実現することができる。また、制御部は、例えば集積回路（Integrated Circuit）によって実現することもできる。 The monitor unit 11 has a display 13 with a touch panel, and the control unit 11a is housed in the monitor unit 11. The control unit 11a is connected to the camera unit 12 and the display 13 with a touch panel, controls them, and communicates with other devices such as the business terminal device 2 via the communication unit 19. The control unit 11a can be realized by, for example, a CPU (Central Processing Unit), a working memory, a non-volatile storage device that stores a program, or the like. Further, the control unit can also be realized by, for example, an integrated circuit.

通信部１９は、通信インタフェースを有することができる。なお、通信部１９は、カメラ部１２側に収容すること、或いはモニタ部１１側に収容することもできる。制御部１１ａについても同様にカメラ部１２側に収容することもできる。 The communication unit 19 can have a communication interface. The communication unit 19 can be housed on the camera unit 12 side or on the monitor unit 11 side. Similarly, the control unit 11a can be accommodated on the camera unit 12 side.

以上のような構成により、店員が顧客と対面して店員がタッチパネル付きディスプレイ１３を操作して顧客の顔認証を行う場合には、カメラ部１２を、カメラ１４の撮影方向Ｖｃがモニタ方向Ｖｓとは異なる方向となるように配置することができる。従って、顔認証端末装置１０のカメラ部１２を、カメラ１４のレンズ１４ａが顧客側に向き、タッチパネル付きディスプレイ１３の操作画面が店員側に向くように配置することができる。これにより、店員は、顧客の顔認証を行い、店員用の操作メニューが表示されたタッチパネル付きディスプレイ１３の操作をすることができる。 With the above configuration, when the store clerk faces the customer and the store clerk operates the display 13 with a touch panel to authenticate the customer's face, the camera unit 12 and the shooting direction Vc of the camera 14 are the monitor direction Vs. Can be arranged in different directions. Therefore, the camera unit 12 of the face recognition terminal device 10 can be arranged so that the lens 14a of the camera 14 faces the customer side and the operation screen of the display 13 with the touch panel faces the clerk side. As a result, the clerk can authenticate the customer's face and operate the display 13 with a touch panel on which the operation menu for the clerk is displayed.

また、顧客自身がタッチパネル付きディスプレイ１３を操作してする場合には、顔認証端末装置１０のカメラ部１２を、カメラ１４の撮影方向Ｖｃがモニタ方向Ｖｓと同一方向となるように配置することができる。従って、顔認証端末装置１０のカメラ部１２を、レンズ１４ａとタッチパネル付きディスプレイ１３が顧客側に向くように配置することができる。これにより、顧客自身が、顧客用の操作メニューが表示されたタッチパネル付きディスプレイ１３を操作して顧客自身の顔認証を行うことができる。 Further, when the customer himself / herself operates the display 13 with a touch panel, the camera unit 12 of the face recognition terminal device 10 may be arranged so that the shooting direction Vc of the camera 14 is the same as the monitor direction Vs. it can. Therefore, the camera unit 12 of the face recognition terminal device 10 can be arranged so that the lens 14a and the display 13 with the touch panel face the customer side. As a result, the customer himself / herself can operate the display 13 with a touch panel on which the operation menu for the customer is displayed to perform the customer's own face recognition.

タッチパネル付きディスプレイ１３の操作画面に表示される操作メニューは、例えばＧＵＩ（Graphical User Interface）画像により提供することができる。また、この操作メニューは、店員用操作メニューか顧客用操作メニューかを選択するキーをタッチパネル付きディスプレイ１３に表示して、その選択するキーをユーザ（主に店員）が押下して選択する。以下、店員が、店員用の操作メニューが表示されたタッチパネル付きディスプレイ１３を操作して顧客の顔認証を行うモードを、店員使用モードと称する。また、顧客自身が顧客用の操作メニューが表示されたタッチパネル付きディスプレイ１３を操作して顧客自身の顔認証を行うモードを、顧客使用モードと称する。ここでは、モードに応じて制御部１１ａが主にモニタ部１１におけるタッチパネル付きディスプレイ１３の制御（例えば表示させるＧＵＩ画像の切り替え等の制御）を行うことを前提としているが、モードに応じた制御対象はこれに限らない。 The operation menu displayed on the operation screen of the display 13 with a touch panel can be provided by, for example, a GUI (Graphical User Interface) image. Further, in this operation menu, a key for selecting a clerk operation menu or a customer operation menu is displayed on the display 13 with a touch panel, and the user (mainly the clerk) presses and selects the selected key. Hereinafter, a mode in which the clerk operates the display 13 with a touch panel on which the operation menu for the clerk is displayed to authenticate the customer's face is referred to as a clerk use mode. Further, a mode in which the customer himself / herself operates the display 13 with a touch panel on which the operation menu for the customer is displayed to perform face authentication of the customer himself / herself is referred to as a customer use mode. Here, it is premised that the control unit 11a mainly controls the display 13 with a touch panel in the monitor unit 11 according to the mode (for example, control such as switching of the GUI image to be displayed), but the control target according to the mode Is not limited to this.

上記のキー操作による方法に替えて、制御部１１ａが、カメラ部１２の配置の向き、即ち、顔認証端末装置１０が第１形態であるか、第２形態であるかに応じて、第１形態であれば店員使用モードで、第２形態であれば顧客使用モードで動作するようにしてもよい。なお、この場合、顔認証端末装置１０は、電源ＯＮで、第１形態であれば店員使用モードで、第２形態であれば顧客使用モードで立ち上がるようにしておくことができる。 Instead of the above-mentioned key operation method, the control unit 11a first determines the orientation of the camera unit 12, that is, whether the face recognition terminal device 10 is in the first form or the second form. If it is the form, it may be operated in the clerk use mode, and if it is the second form, it may be operated in the customer use mode. In this case, the face recognition terminal device 10 can be turned on and started up in the clerk use mode in the first form and in the customer use mode in the second form.

第１形態又は第２形態の検出のため、顔認証端末装置１０は、カメラ部１２が第１形態及び第２形態のいずれの形態に配置されているかを検出する検出部（図示せず）を備えることができる。これにより、制御部１１ａは、この検出部における検出結果に基づき、第１形態であった場合に店員使用モードで動作し、第２形態であった場合に顧客使用モードで動作するように、顔認証端末装置１０の制御を行う。ここでの制御は主にモニタ部１１におけるタッチパネル付きディスプレイ１３の制御（例えば表示させるＧＵＩ画像の切り替え等の制御）となるが、モードに応じた制御対象はに限らない。 For the detection of the first form or the second form, the face recognition terminal device 10 has a detection unit (not shown) that detects whether the camera unit 12 is arranged in the first form or the second form. Can be prepared. As a result, the control unit 11a operates in the clerk use mode in the case of the first form and operates in the customer use mode in the case of the second form based on the detection result in the detection unit. The authentication terminal device 10 is controlled. The control here is mainly the control of the display 13 with a touch panel in the monitor unit 11 (for example, the control of switching the GUI image to be displayed), but the control target according to the mode is not limited.

上記検出部は、接点を検出する検出部とすること、或いはセンサとすることができる。前者の場合、例えば、カメラ部１２の底面とモニタ部１１の上面とに、第１形態であれば接触し、第２形態であれば接触しない接点を設けておく。そして、制御部１１ａは、導通があれば、第１形態であると判断し、導通がなければ、第２形態であると判断する。後者の場合、センサとして、例えば、カメラ部１２の底部とモニタ部１１の上部とに設けた光センサ等を採用することができる。 The detection unit can be a detection unit that detects a contact point, or can be a sensor. In the former case, for example, the bottom surface of the camera unit 12 and the upper surface of the monitor unit 11 are provided with contacts that are in contact with each other in the first form and not in contact with the second form. Then, the control unit 11a determines that it is the first form if there is continuity, and determines that it is the second form if there is no continuity. In the latter case, as the sensor, for example, an optical sensor provided at the bottom of the camera unit 12 and the upper part of the monitor unit 11 can be adopted.

以上、本実施形態に係る顔認証端末装置１０は、店員が顧客と対面して、店員がタッチパネル付きディスプレイ１３を操作して顧客の顔認証を行う場合と、顧客自身がタッチパネル付きディスプレイ１３を操作して顧客自身の顔認証を行う場合の両方に使用できる。 As described above, in the face recognition terminal device 10 according to the present embodiment, there are cases where the clerk faces the customer and the clerk operates the display 13 with the touch panel to perform face recognition of the customer, and the customer himself operates the display 13 with the touch panel. It can be used for both when the customer's own face recognition is performed.

＜実施形態３＞
実施形態３について、図８〜図１２を併せて参照し、その効果も含めた実施形態１，２との相違点を中心に説明する。実施形態３は、実施形態１で説明した様々な例や、さらには実施形態２で説明した様々な例が適宜利用できる。 <Embodiment 3>
The third embodiment will be described with reference to FIGS. 8 to 12 and mainly the differences from the first and second embodiments including their effects. In the third embodiment, various examples described in the first embodiment and further various examples described in the second embodiment can be appropriately used.

図８は、本実施形態に係る顔認証端末装置を用いた顔認証販売管理システムの一構成例を示す図である。図８に示すように、本実施形態に係る顔認証ＰＯＳシステム（以下、本システムという）は、２台の顔認証端末装置１０ａ，１０ｂ、ＰＯＳ端末装置２０、及びコーヒーサーバ３０を備える。 FIG. 8 is a diagram showing a configuration example of a face recognition sales management system using the face recognition terminal device according to the present embodiment. As shown in FIG. 8, the face recognition POS system (hereinafter referred to as the present system) according to the present embodiment includes two face recognition terminal devices 10a and 10b, a POS terminal device 20, and a coffee server 30.

実施形態１で説明したように、本システムでは、第１形態にカメラ部１２が配置された状態の顔認証端末装置１０ａを、業務端末装置の一例であるＰＯＳ端末装置２０の近傍に設置する。また、本システムでは、第２形態にカメラ部１２が配置された状態の顔認証端末装置１０ｂを、飲料供給装置の一例であるコーヒーサーバ３０の近傍に設置しておく。そして、顔認証端末装置１０ａ、顔認証端末装置１０ｂ、及びコーヒーサーバ３０は、ＰＯＳ端末装置２０と有線で通信可能に接続されている。なお、有線に限らず、無線で通信可能に接続されていてもよい。また、顔認証端末装置１０ｂとコーヒーサーバ３０とは、有線又は無線で通信可能に接続されている。 As described in the first embodiment, in this system, the face recognition terminal device 10a in which the camera unit 12 is arranged in the first embodiment is installed in the vicinity of the POS terminal device 20 which is an example of the business terminal device. Further, in this system, the face recognition terminal device 10b in which the camera unit 12 is arranged in the second form is installed in the vicinity of the coffee server 30 which is an example of the beverage supply device. The face recognition terminal device 10a, the face recognition terminal device 10b, and the coffee server 30 are connected to the POS terminal device 20 by wire so as to be able to communicate with each other. The connection is not limited to wire, and may be connected so that communication can be performed wirelessly. Further, the face recognition terminal device 10b and the coffee server 30 are connected so as to be able to communicate with each other by wire or wirelessly.

本システムにおいて、顧客は、顔認証端末装置１０ａでの顔データの登録後、もしくは顔認証後、ＰＯＳ端末装置２０でコーヒーチケット（飲料購入券）を購入し、顔認証端末装置１０ｂでの顔認証後、コーヒーチケットでコーヒーを購入する。このコーヒーチケットは、コーヒーサーバ３０（又は同様の他店のコーヒーサーバ）でコーヒーを供給可能にするチケットである。無論、コーヒー以外の飲料についても適用でき、飲料の種類や、砂糖やミルク等の付加などの条件の違いによって飲料の種類を分けることもできる。 In this system, the customer purchases a coffee ticket (beverage purchase ticket) with the POS terminal device 20 after registering face data with the face recognition terminal device 10a or after face recognition, and face recognition with the face recognition terminal device 10b. Later, buy coffee with a coffee ticket. This coffee ticket is a ticket that enables coffee to be supplied by the coffee server 30 (or a coffee server of a similar store). Of course, it can be applied to beverages other than coffee, and the types of beverages can be classified according to the type of beverage and the difference in conditions such as addition of sugar, milk, etc.

このようなチケット購入及びコーヒーの提供の例について、図９〜図１２を併せて参照しながら説明する。図９は、ＰＯＳ端末装置２０前に設置された顔認証端末装置１０ａの顔認証前の様子の一例を示す図で、図１０は、図９に続く、顔認証端末装置１０ａの顔認証成功直後から回数券選択前までの様子の一例を示す図である。図１１は、図１０に続く、顔認証端末装置１０ａの確定ボタン押下前から押下後までの様子の一例を示す図である。また、図１２は、コーヒーサーバ３０前に設置された顔認証端末装置１０ｂの顔認証成功直後からチケット選択後までの様子の一例を示す図である。 An example of such ticket purchase and coffee provision will be described with reference to FIGS. 9 to 12. FIG. 9 is a diagram showing an example of the state before face authentication of the face authentication terminal device 10a installed in front of the POS terminal device 20, and FIG. 10 is a diagram immediately after successful face authentication of the face authentication terminal device 10a following FIG. It is a figure which shows an example of the state from to before selection of a coupon ticket. FIG. 11 is a diagram showing an example of the state of the face authentication terminal device 10a from before pressing the confirmation button to after pressing the confirmation button, following FIG. Further, FIG. 12 is a diagram showing an example of a state from immediately after the successful face authentication of the face authentication terminal device 10b installed in front of the coffee server 30 to after the ticket is selected.

まず、図９〜図１１に基づき、顧客がコーヒーチケットを追加購入する場合に、店員が操作する顔認証端末装置１０ａのモニタ部１１における操作画面に表示されるＧＵＩ画像例について説明する。顔認証端末装置１０ａは、店舗の精算場所に設置されており、店員が操作者となり、カメラ１４は顧客を向いており、モニタ方向は精算場所に居る店員を向いている。 First, based on FIGS. 9 to 11, an example of a GUI image displayed on the operation screen of the monitor unit 11 of the face authentication terminal device 10a operated by the clerk when the customer additionally purchases a coffee ticket will be described. The face recognition terminal device 10a is installed at the checkout place of the store, the clerk serves as the operator, the camera 14 faces the customer, and the monitor direction faces the clerk at the checkout place.

図９の画像１３ａ，１３ｂ，１３ｃは、顧客を顔認証するまでに表示される画像を示し、図１０の画像１３ｄ，１３ｅ及び図１１の画像１３ｆ，１３ｇは、顧客がコーヒーチケットを追加購入するまでに表示される画像を示す。 Images 13a, 13b, and 13c of FIG. 9 show images displayed before face recognition of the customer, and images 13d and 13e of FIG. 10 and images 13f and 13g of FIG. 11 additionally purchase a coffee ticket by the customer. Shows the images displayed up to.

顧客は、予め顔データと会員番号とが対応付けられて、ＰＯＳ端末装置２０に登録されている。また、当該顧客は、コーヒーチケットを既に購入済みで、顔データと会員番号と対応付けられて、ＰＯＳ端末装置２０に登録されているものとするが、コーヒーチケットの購入も行うことができる。 The customer is registered in the POS terminal device 20 in advance with the face data and the member number associated with each other. Further, it is assumed that the customer has already purchased the coffee ticket and is registered in the POS terminal device 20 in association with the face data and the membership number, but the customer can also purchase the coffee ticket.

まず、図９の左側の画像１３ａが、顔認証端末装置１０ａの制御部１１ａによって、顔画像の取得前に表示される。ここでは、顔をカメラに向けるように示唆する文言が表示されている。次に、図９の中央の画像１３ｂが、顔認証端末装置１０ａの制御部１１ａによって、顔画像の取得中に表示される。図９の画像１３ａ，１３ｂについては、店員が操作することなく自動で処理がなされる。 First, the image 13a on the left side of FIG. 9 is displayed by the control unit 11a of the face recognition terminal device 10a before the face image is acquired. Here, the wording suggesting that the face be turned to the camera is displayed. Next, the image 13b in the center of FIG. 9 is displayed by the control unit 11a of the face recognition terminal device 10a while the face image is being acquired. The images 13a and 13b of FIG. 9 are automatically processed without being operated by a clerk.

次に、図９の右側の画像１３ｃが、顔認証端末装置１０ａの制御部１１ａによって、顔認証前に表示される。画像１３ｃには「顔認証スタートボタン」が含まれ、これが押下されると、顔認証端末装置１０ａは、ＰＯＳ端末装置２０に取得した顧客の顔画像データを送信する。これに応答して、ＰＯＳ端末装置２０は、登録されている顔画像データとの照合（顔認証）を行って、結果を顔認証端末装置１０ａに送信する。ＰＯＳ端末装置２０は、顔認証が成功であった場合、当該顧客のコーヒーチケットのデータについても顔認証端末装置１０ａに送信する。 Next, the image 13c on the right side of FIG. 9 is displayed by the control unit 11a of the face recognition terminal device 10a before face recognition. The image 13c includes a "face recognition start button", and when this is pressed, the face recognition terminal device 10a transmits the acquired face image data of the customer to the POS terminal device 20. In response to this, the POS terminal device 20 performs collation (face recognition) with the registered face image data and transmits the result to the face recognition terminal device 10a. If the face recognition is successful, the POS terminal device 20 also transmits the coffee ticket data of the customer to the face recognition terminal device 10a.

次に、図１０の左側の画像１３ｄが、顔認証端末装置１０ａの制御部１１ａによって、顔認証後（認証成功直後）に表示される。なお、画像１３ｄには会員番号及び対応する登録顔画像（撮影した顔画像でもよい）を含むポップアップ画像を表示させることができる。また、画像１３ｄの表示から所定時間（例えば１秒）経過後、このポップアップ画像を自動で消し、図１０の右側の画像１３ｅ（又は図１１の画像１３ｆ）を表示させることができる。 Next, the image 13d on the left side of FIG. 10 is displayed by the control unit 11a of the face authentication terminal device 10a after face authentication (immediately after successful authentication). A pop-up image including a member number and a corresponding registered face image (may be a photographed face image) can be displayed on the image 13d. Further, after a predetermined time (for example, 1 second) has elapsed from the display of the image 13d, the pop-up image can be automatically erased and the image 13e (or the image 13f of FIG. 11) on the right side of FIG. 10 can be displayed.

画像１３ｄの表示後、図１０の右側の画像１３ｅが、顔認証端末装置１０ａの制御部１１ａによって、コーヒーチケットの追加購入の決定前に表示される。ここでは、追加購入可能なコーヒーの種類としてアイス、ホット、サイズなどの選択画像が活性化している。 After the image 13d is displayed, the image 13e on the right side of FIG. 10 is displayed by the control unit 11a of the face recognition terminal device 10a before the decision to additionally purchase the coffee ticket. Here, selected images such as ice, hot, and size are activated as the types of coffee that can be additionally purchased.

次いで、図１１の左側の画像１３ｆが、顔認証端末装置１０ａの制御部１１ａによって、コーヒーチケットの追加購入の決定後に表示される。顔認証端末装置１０ａは、コーヒーチケットの追加購入のデータをＰＯＳ端末装置２０に送信する。ＰＯＳ端末装置２０は、コーヒーチケットの追加購入代金の精算後、当該顧客のコーヒーチケットデータを更新し、更新後の当該顧客のコーヒーチケットデータを顔認証端末装置１０ａに送信する。次いで、図１１の右側の画像１３ｇが、顔認証端末装置１０ａの制御部１１ａによって、コーヒーチケットの追加購入代金の精算後に表示される。なお、ここでは、追加を取りやめるボタンを、所定の猶予期間（例えば２秒）の間、押下することを可能にすることができる。 Next, the image 13f on the left side of FIG. 11 is displayed by the control unit 11a of the face recognition terminal device 10a after the decision to additionally purchase the coffee ticket. The face recognition terminal device 10a transmits the data of the additional purchase of the coffee ticket to the POS terminal device 20. The POS terminal device 20 updates the coffee ticket data of the customer after the settlement of the additional purchase price of the coffee ticket, and transmits the updated coffee ticket data of the customer to the face recognition terminal device 10a. Next, the image 13g on the right side of FIG. 11 is displayed by the control unit 11a of the face recognition terminal device 10a after the additional purchase price of the coffee ticket is settled. Here, it is possible to press the button for canceling the addition for a predetermined grace period (for example, 2 seconds).

次に、図１２に基づき、顧客がコーヒーチケットを利用してコーヒーを購入する場合に、顧客が操作する顔認証端末装置１０ｂのモニタ部１１における操作画面に表示されるＧＵＩ画像例について説明する。顔認証端末装置１０ｂは、コーヒーサーバ３０前に設置されており、顧客が操作者となり、カメラ１４は顧客を向いており、モニタ方向も顧客を向いている。 Next, based on FIG. 12, an example of a GUI image displayed on the operation screen of the monitor unit 11 of the face recognition terminal device 10b operated by the customer when the customer purchases coffee using the coffee ticket will be described. The face recognition terminal device 10b is installed in front of the coffee server 30, the customer is the operator, the camera 14 is facing the customer, and the monitor direction is also facing the customer.

まず、図１２の左側の画像１３ｈが、顔認証端末装置１０ｂの制御部１１ａによって、顔認証後（認証成功直後）に表示される。この前に、顔認証端末装置１０ｂは、ＰＯＳ端末装置２０に取得した顧客の顔画像データを送信し、ＰＯＳ端末装置２０は登録されている顔画像データとの照合（顔認証）を行って、結果を顔認証端末装置１０ｂに送信する。ＰＯＳ端末装置２０は、顔認証が成功であった場合、当該顧客のコーヒーチケットのデータについても顔認証端末装置１０ｂに送信する。 First, the image 13h on the left side of FIG. 12 is displayed by the control unit 11a of the face authentication terminal device 10b after face authentication (immediately after successful authentication). Prior to this, the face recognition terminal device 10b transmits the customer's face image data acquired to the POS terminal device 20, and the POS terminal device 20 performs collation (face recognition) with the registered face image data. The result is transmitted to the face recognition terminal device 10b. If the face recognition is successful, the POS terminal device 20 also transmits the coffee ticket data of the customer to the face recognition terminal device 10b.

次いで、画像１３ｈの表示後、所定期間（例えば１秒）経過後に、図１２の中央の画像１３ｉが、顔認証端末装置１０ｂの制御部１１ａによって表示される。画像１３ｉは、顔認証成功後に購入するコーヒーの種類を選択する画像であり、図１０の画像１３ｅと同様の種類選択画像を含むことができる。 Next, after a predetermined period (for example, 1 second) has elapsed after displaying the image 13h, the image 13i in the center of FIG. 12 is displayed by the control unit 11a of the face recognition terminal device 10b. The image 13i is an image for selecting the type of coffee to be purchased after successful face recognition, and can include the same type selection image as the image 13e of FIG.

次いで、図１２の右側の画像１３ｊが、顔認証端末装置１０ｂの制御部１１ａによって、購入するコーヒーの種類を選択した後に表示される。画像１３ｊは、「ＯＫボタン」を含み、これが押下されると、顔認証端末装置１０ｂは、選択されたコーヒーの種類をＰＯＳ端末装置２０に送信する。ＰＯＳ端末装置２０は、当該顧客のコーヒーチケットのデータを更新し、更新後の当該顧客のコーヒーチケットのデータを顔認証端末装置１０ｂに送信する。ＰＯＳ端末装置２０は、これらの処理とともに、コーヒーサーバ３０を、選択されたコーヒーの種類を供給可能な状態とする。 Next, the image 13j on the right side of FIG. 12 is displayed after the type of coffee to be purchased is selected by the control unit 11a of the face recognition terminal device 10b. The image 13j includes an "OK button", and when this is pressed, the face recognition terminal device 10b transmits the selected coffee type to the POS terminal device 20. The POS terminal device 20 updates the coffee ticket data of the customer, and transmits the updated coffee ticket data of the customer to the face recognition terminal device 10b. Together with these processes, the POS terminal device 20 brings the coffee server 30 into a state where it can supply the selected coffee type.

以上に例示したように、本システムでは、顔認証端末装置１０ａで顧客を撮影した第１の画像データを被認証データとして第１の顔認証処理を行う。そして、本システムでは、第１の顔認証処理により認証がなされた顧客に購入させるコーヒーチケットを選択する選択画像を、顔認証端末装置１０ａにおけるモニタ部１１に表示させる。次いで、本システムでは、選択されるコーヒーチケットを示す購入データと第１の顔認証処理で用いた認証データ又は被認証データと対応付けて記憶する。なお、認証データは、例えば、顧客の氏名、会員番号、顔特徴データ等を示す顧客データとすることができる。記憶等の処理は、ＰＯＳ端末装置２０が実行すればよいが、システム内の他の装置が実行することもできる。 As illustrated above, in this system, the first face authentication process is performed using the first image data obtained by photographing the customer with the face authentication terminal device 10a as the authenticated data. Then, in this system, a selection image for selecting a coffee ticket to be purchased by a customer authenticated by the first face authentication process is displayed on the monitor unit 11 of the face authentication terminal device 10a. Next, in this system, the purchase data indicating the selected coffee ticket is stored in association with the authentication data or the authenticated data used in the first face recognition process. The authentication data can be, for example, customer data indicating the customer's name, membership number, facial feature data, and the like. The processing such as storage may be executed by the POS terminal device 20, but it can also be executed by another device in the system.

次いで、本システムでは、顔認証端末装置１０ｂで顧客を撮影した第２の画像データを被認証データとして第２の顔認証処理を行い、購入データの更新処理を行う。この更新処理は、第２の顔認証処理により認証がなされた顧客に対応付けられた購入データについて、購入データで示されるコーヒーチケットに対応する飲料をコーヒーサーバ３０から供給可能とする処理を含む。また、この更新処理は、それとともに、コーヒーサーバ３０から供給された（供給開始された場合、つまり一部が供給された場合でもよい）飲料に基づき購入データを更新する処理を含む。 Next, in this system, the second image data obtained by photographing the customer with the face recognition terminal device 10b is used as the authenticated data to perform the second face recognition process, and the purchase data is updated. This update process includes a process of enabling the coffee server 30 to supply a beverage corresponding to the coffee ticket indicated by the purchase data with respect to the purchase data associated with the customer authenticated by the second face recognition process. In addition, this update process also includes a process of updating purchase data based on the beverage supplied from the coffee server 30 (when the supply is started, that is, when a part of the beverage is supplied).

以上、本実施形態によれば、店員が顧客と対面して、店員がタッチパネル付きディスプレイを操作して顧客の顔認証を行う場合と、顧客自身がタッチパネル付きディスプレイを操作して顧客自身の顔認証を行う場合の両方に使用できる。 As described above, according to the present embodiment, there are cases where the clerk faces the customer and the clerk operates the display with the touch panel to authenticate the customer's face, and the customer himself operates the display with the touch panel to authenticate the customer's face. Can be used for both when doing.

＜他の実施形態＞
［ａ］
各実施形態において、システム及びそのシステムに含まれる各装置の機能について説明したが、各装置は、図示した構成例に限ったものではなく、各装置としてこれらの機能が実現できればよい。 <Other embodiments>
[A]
In each embodiment, the system and the functions of each device included in the system have been described, but each device is not limited to the illustrated configuration example, and it is sufficient that each device can realize these functions.

例えば、実施形態３は、上述した例に限定されるものではない。例えば、顔認証端末装置として実施形態２に係る顔認証端末装置を用いたが、双方又はいずれか一方の顔認証端末装置として、他の顔認証端末装置を適用することもできる。上記他の顔認証端末装置は、カメラ部とモニタ部を有するものであればよい。つまり上記他の顔認証端末装置は、店員が顧客の要望に応えてタッチパネル付きディスプレイを操作して顧客の顔認証を行う場合と、顧客自身がタッチパネル付きディスプレイを操作して顧客自身の顔認証を行う場合の両方に使用できるものでなくともよい。 For example, the third embodiment is not limited to the above-mentioned example. For example, although the face recognition terminal device according to the second embodiment is used as the face recognition terminal device, another face recognition terminal device can also be applied as the face recognition terminal device of both or either one. The other face recognition terminal device may have a camera unit and a monitor unit. That is, in the other face recognition terminal devices described above, the store clerk operates the display with a touch panel to perform face recognition of the customer in response to the customer's request, and the customer himself operates the display with a touch panel to perform face recognition of the customer himself. It does not have to be something that can be used for both cases.

［ｂ］
実施形態１〜３に係る各装置は、例えば、次のようなハードウェア構成を有することができる。図１３は、装置のハードウェア構成の一例を示す図である。なお、上記他の実施形態［ａ］についても同様である。 [B]
Each device according to the first to third embodiments can have the following hardware configuration, for example. FIG. 13 is a diagram showing an example of the hardware configuration of the device. The same applies to the other embodiment [a].

図１３に示す装置１００は、プロセッサ１０１、メモリ１０２、及び通信インタフェース１０３を有することができる。プロセッサ１０１は、例えば、マイクロプロセッサ、ＭＰＵ(Micro Processor Unit)、又はＣＰＵなどであってもよい。プロセッサ１０１は、複数のプロセッサを含んでもよい。メモリ１０２は、例えば、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。実施形態１〜３で説明した各装置における機能は、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み込んで実行することにより実現される。この際、情報の入出力は図示しない入出力インタフェースを介して行うことができ、他の装置との情報の送受は通信インタフェース１０３を介して行うことができる。 The device 100 shown in FIG. 13 can have a processor 101, a memory 102, and a communication interface 103. The processor 101 may be, for example, a microprocessor, an MPU (Micro Processor Unit), a CPU, or the like. The processor 101 may include a plurality of processors. The memory 102 is composed of, for example, a combination of a volatile memory and a non-volatile memory. The functions in each device described in the first to third embodiments are realized by the processor 101 reading and executing the program stored in the memory 102. At this time, information can be input / output via an input / output interface (not shown), and information can be exchanged with other devices via the communication interface 103.

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、この例は、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗを含む。さらに、この例は、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 In the above example, the program can be stored and supplied to a computer using various types of non-transitory computer readable media. Non-transitory computer-readable media include various types of tangible storage media. Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks). Further, this example includes CD-ROM (Read Only Memory), CD-R, CD-R / W. Further, this example includes semiconductor memories (eg, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)). The program may also be supplied to the computer by various types of transient computer readable media. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。 The present disclosure is not limited to the above embodiment, and can be appropriately modified without departing from the spirit. Further, the present disclosure may be carried out by appropriately combining the respective embodiments.

１，１ａ，１ｂ，１０，１０ａ，１０ｂ顔認証端末装置
２業務端末装置
３飲料供給装置
１１モニタ部
１１ａ制御部
１２カメラ部
１３タッチパネル付きディスプレイ
１３ａ，１３ｂ，１３ｃ，１３ｄ，１３ｅ，１３ｆ，１３ｇ，１３ｈ，１３ｉ，１３ｊ画像
１４カメラ
１４ａレンズ
１５回転機構
１６土台部
１７アーム部
１７ａ下部
１７ｂ上部
１７ｃヒンジ部
１８モニタ取付部
１９通信部
２０ＰＯＳ端末装置
３０コーヒーサーバ
１００装置
１０１プロセッサ
１０２メモリ
１０３通信インタフェース 1,1a, 1b, 10, 10a, 10b Face recognition terminal device 2 Business terminal device 3 Beverage supply device 11 Monitor unit 11a Control unit 12 Camera unit 13 Display with touch panel 13a, 13b, 13c, 13d, 13e, 13f, 13g, 13h, 13i, 13j Image 14 Camera 14a Lens 15 Rotating mechanism 16 Base 17 Arm 17a Lower 17b Upper 17c Hinge 18 Monitor mounting 19 Communication 20 POS terminal device 30 Coffee server 100 Device 101 Processor 102 Memory 103 Communication interface

Claims

カメラを内蔵するカメラ部と、タッチパネル付きディスプレイを有するモニタ部と、を備え、
前記カメラ部を、前記カメラが撮影する撮影方向と前記タッチパネル付きディスプレイの操作面に垂直な方向のうち前記操作面から前記操作面を視認可能な位置へ向かう方向であるモニタ方向とが異なる方向である第１の形態と、前記撮影方向と前記モニタ方向とが同一方向である第２の形態と、に配置可能であり、
前記第１の形態においては、前記カメラ部と前記モニタ部とはそれぞれの厚さ方向の中心線が所定の角度をなすように当接しており、
前記第２の形態においては、前記カメラ部と前記モニタ部とはそれぞれの厚さ方向の中心線の方向が略平行となるように当接している、
顔認証端末装置。 It is equipped with a camera unit with a built-in camera and a monitor unit with a display with a touch panel.
The camera unit is photographed in a direction different from the shooting direction taken by the camera and the direction perpendicular to the operation surface of the display with a touch panel, which is the direction from the operation surface to a position where the operation surface can be visually recognized. It can be arranged in a first form and a second form in which the shooting direction and the monitor direction are the same.
In the first embodiment, the camera unit and the monitor unit are in contact with each other so that the center lines in the thickness directions form a predetermined angle.
In the second aspect, the camera unit and the monitor unit are in contact with each other so that the directions of the center lines in the thickness directions are substantially parallel to each other.
Face recognition terminal device.

前記第２の形態においては、前記顔認証端末装置は略四角形の平板状の形状である、
請求項１に記載の顔認証端末装置。 In the second aspect, the face recognition terminal device has a substantially quadrangular flat plate shape.
The face recognition terminal device according to claim 1.

前記カメラ部と前記モニタ部とは、一方に回転軸を有し、他方に回転軸孔を有し、前記回転軸孔に対して前記回転軸が回転されることで、前記第１の形態と前記第２の形態との間での前記カメラ部の配置変更が可能に構成されている、
請求項１又は２に記載の顔認証端末装置。 The camera unit and the monitor unit have a rotation shaft on one side and a rotation shaft hole on the other side, and the rotation shaft is rotated with respect to the rotation shaft hole to obtain the first embodiment. It is configured so that the arrangement of the camera unit can be changed from that of the second form.
The face recognition terminal device according to claim 1 or 2.

前記カメラ部と前記モニタ部とは、一方に取付軸を有し、他方に取付軸孔を有し、前記取付軸孔に対して前記取付軸が抜き差しされることで、前記第１の形態と前記第２の形態との間での前記カメラ部の配置変更が可能に構成されている、
請求項１又は２に記載の顔認証端末装置。 The camera unit and the monitor unit have a mounting shaft on one side and a mounting shaft hole on the other side, and the mounting shaft is inserted into and removed from the mounting shaft hole to obtain the first embodiment. It is configured so that the arrangement of the camera unit can be changed from that of the second form.
The face recognition terminal device according to claim 1 or 2.

前記カメラ部が前記第１の形態及び前記第２の形態のいずれの形態に配置されているかを検出する検出部と、
前記検出部における検出結果に基づき、前記第１の形態であった場合に店員使用モードで動作し、前記第２の形態であった場合に顧客使用モードで動作するように、前記顔認証端末装置の制御を行う制御部と、
を備えた、
請求項１から４のいずれか１項に記載の顔認証端末装置。 A detection unit that detects whether the camera unit is arranged in the first form or the second form, and
Based on the detection result in the detection unit, the face recognition terminal device operates in the clerk use mode in the case of the first form and operates in the customer use mode in the case of the second form. And the control unit that controls
With,
The face recognition terminal device according to any one of claims 1 to 4.

請求項１から５のいずれか１項に記載の顔認証端末装置であって前記第１の形態に前記カメラ部が配置された第１の顔認証端末装置と、
請求項１から５のいずれか１項に記載の顔認証端末装置であって前記第２の形態に前記カメラ部が配置された第２の顔認証端末装置と、
飲料供給装置と、
前記第１の顔認証端末装置、前記第２の顔認証端末装置、及び前記飲料供給装置のいずれにも通信可能に接続された業務端末装置と、
を備え、
前記第１の顔認証端末装置は、前記業務端末装置の近傍に設置され、
前記第２の顔認証端末装置は、前記飲料供給装置の近傍に設置されている、
顔認証販売管理システム。 The first face recognition terminal device according to any one of claims 1 to 5, wherein the camera unit is arranged in the first form.
The second face recognition terminal device according to any one of claims 1 to 5, wherein the camera unit is arranged in the second form.
Beverage supply device and
A business terminal device communicably connected to any of the first face recognition terminal device, the second face recognition terminal device, and the beverage supply device.
With
The first face recognition terminal device is installed in the vicinity of the business terminal device, and is
The second face recognition terminal device is installed in the vicinity of the beverage supply device.
Face recognition sales management system.

前記第１の顔認証端末装置で顧客を撮影した第１の画像データを被認証データとして第１の顔認証処理を行い、
前記第１の顔認証処理により認証がなされた顧客に購入させる飲料購入券を選択する選択画像を、前記第１の顔認証端末装置における前記モニタ部に表示させ、
選択された飲料購入券を示す購入データと前記第１の顔認証処理で用いた認証データ又は被認証データ）と対応付けて記憶し、
前記第２の顔認証端末装置で顧客を撮影した第２の画像データを被認証データとして第２の顔認証処理を行い、
前記第２の顔認証処理により認証がなされた顧客に対応付けられた前記購入データについて、前記購入データで示される飲料購入券に対応する飲料を前記飲料供給装置から供給可能とするとともに、前記飲料供給装置から供給された飲料に基づき前記購入データを更新する、
請求項６に記載の顔認証販売管理システム。 The first face recognition process is performed using the first image data obtained by photographing the customer with the first face recognition terminal device as the authenticated data.
A selection image for selecting a beverage purchase ticket to be purchased by a customer authenticated by the first face recognition process is displayed on the monitor unit of the first face recognition terminal device.
The purchase data indicating the selected beverage purchase ticket and the authentication data or the authenticated data used in the first face recognition process) are stored in association with each other.
The second face recognition process is performed using the second image data obtained by photographing the customer with the second face recognition terminal device as the authenticated data.
With respect to the purchase data associated with the customer authenticated by the second face recognition process, the beverage corresponding to the beverage purchase ticket indicated by the purchase data can be supplied from the beverage supply device, and the beverage can be supplied. Update the purchase data based on the beverage supplied by the feeder,
The face recognition point-of-sale management system according to claim 6.

第１の顔認証端末装置、第２の顔認証端末装置、飲料供給装置、及び業務端末装置を備え、前記業務端末装置が前記第１の顔認証端末装置、前記第２の顔認証端末装置、及び前記飲料供給装置のいずれにも通信可能に接続された顔認証販売管理システムにおける顔認証販売管理方法であって、
前記第１の顔認証端末装置及び前記第２の顔認証端末装置は、いずれも、
カメラを内蔵するカメラ部と、タッチパネル付きディスプレイを有するモニタ部と、を備え、
前記カメラ部を、前記カメラが撮影する撮影方向と前記タッチパネル付きディスプレイの操作面に垂直な方向のうち前記操作面から前記操作面を視認可能な位置へ向かう方向であるモニタ方向とが異なる方向である第１の形態と、前記撮影方向と前記モニタ方向とが同一方向である第２の形態と、に配置可能であり、
前記第１の形態においては、前記カメラ部と前記モニタ部とはそれぞれの厚さ方向の中心線が所定の角度をなすように当接しており、
前記第２の形態においては、前記カメラ部と前記モニタ部とはそれぞれの厚さ方向の中心線の方向が略平行となるように当接しており、
前記顔認証販売管理方法は、
前記第１の顔認証端末装置を、前記第１の形態に前記カメラ部が配置された状態で前記業務端末装置の近傍に設置し、
前記第２の顔認証端末装置を、前記第２の形態に前記カメラ部が配置された状態で前記飲料供給装置の近傍に設置し、
前記第１の顔認証端末装置で顧客についての顔認証処理を行い、前記第２の顔認証端末装置で同一顧客についての顔認証処理を行い、販売処理を行う、
顔認証販売管理方法。 A first face recognition terminal device, a second face recognition terminal device, a beverage supply device, and a business terminal device are provided, and the business terminal device is the first face recognition terminal device, the second face recognition terminal device, and the like. And a face recognition sales management method in a face recognition sales management system that is communicably connected to any of the beverage supply devices.
Both the first face recognition terminal device and the second face recognition terminal device
It is equipped with a camera unit with a built-in camera and a monitor unit with a display with a touch panel.
The camera unit is photographed in a direction different from the shooting direction taken by the camera and the direction perpendicular to the operation surface of the display with a touch panel, which is the direction from the operation surface to a position where the operation surface can be visually recognized. It can be arranged in a first form and a second form in which the shooting direction and the monitor direction are the same.
In the first embodiment, the camera unit and the monitor unit are in contact with each other so that the center lines in the thickness directions form a predetermined angle.
In the second embodiment, the camera unit and the monitor unit are in contact with each other so that the directions of the center lines in the thickness directions are substantially parallel to each other.
The face recognition sales management method is
The first face recognition terminal device is installed in the vicinity of the business terminal device with the camera unit arranged in the first form.
The second face recognition terminal device is installed in the vicinity of the beverage supply device with the camera unit arranged in the second form.
The first face recognition terminal device performs face recognition processing for a customer, the second face recognition terminal device performs face recognition processing for the same customer, and sales processing is performed.
Face recognition sales management method.