JP2017097743A - Point management system, account generation method, vending machine, and program - Google Patents

Point management system, account generation method, vending machine, and program Download PDF

Info

Publication number
JP2017097743A
JP2017097743A JP2015231354A JP2015231354A JP2017097743A JP 2017097743 A JP2017097743 A JP 2017097743A JP 2015231354 A JP2015231354 A JP 2015231354A JP 2015231354 A JP2015231354 A JP 2015231354A JP 2017097743 A JP2017097743 A JP 2017097743A
Authority
JP
Japan
Prior art keywords
customer
account
vending machine
management server
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015231354A
Other languages
Japanese (ja)
Other versions
JP6728649B2 (en
Inventor
徹 柳亭
Toru Yanagitei
徹 柳亭
浩介 遠野
Kosuke Tono
浩介 遠野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2015231354A priority Critical patent/JP6728649B2/en
Publication of JP2017097743A publication Critical patent/JP2017097743A/en
Application granted granted Critical
Publication of JP6728649B2 publication Critical patent/JP6728649B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a point management system that appropriately protects personal information on customers while securing a mechanism to promote point use by the customers.SOLUTION: A point management system includes a vending machine and a management server. The vending machine generates a customer ID for identifying a customer from imaging data including a face image of the customer, and outputs it. The management server automatically generates an account for managing a point given to the customer, triggered by reception of the generated customer ID (identifier). Furthermore, the face of the customer cannot be reproduced from the customer ID generated by the vending machine.SELECTED DRAWING: Figure 1

Description

本発明は、ポイント管理システム、アカウント生成方法、自動販売機及びプログラムに関する。特に、顧客に付与されるポイント処理に係るポイント管理システム、アカウント生成方法、自動販売機及びプログラムに関する。   The present invention relates to a point management system, an account generation method, a vending machine, and a program. In particular, the present invention relates to a point management system, an account generation method, a vending machine, and a program related to point processing given to a customer.

近年、様々な業種にて「ポイントカード」の利用が広がっている。小売店等では、商品を購入した顧客にポイントカードを発行し、当該ポイントカードを用いたポイント還元の仕組みを構築している。つまり、ポイントカードにより顧客の再来店を促す仕組みが構築されている。   In recent years, the use of “point cards” has been spreading in various industries. In retail stores and the like, a point card is issued to a customer who has purchased a product, and a point return mechanism using the point card is constructed. In other words, a system has been established that encourages customers to return to the store using point cards.

また、非接触式のIC(Integrated Circuit)カードにより商品を購入すると一定のポイントが付与される自動販売機の普及も始まっている。あるいは、商品を購入するとポイントカードを発行し、次回の商品購入時に当該ポイントカードにより顧客に付与されたポイントを管理する自動販売機も存在する。   In addition, vending machines that give a certain point when a product is purchased with a non-contact type IC (Integrated Circuit) card have started to spread. Alternatively, there is a vending machine that issues a point card when a product is purchased and manages points given to the customer by the point card when the product is purchased next time.

特許文献1には、自身が採用する認証方式により利用者情報を取得して、機内に収容する選択された商品を販売する自動販売機が開示されている。特許文献1には、前記認証方式により取得した利用者情報が、過去の取引履歴情報に予め決められた基準回数以上記録されている場合には、該利用者に対して予め設定された特典を付与する特典付与手段を備えたことを特徴とする、と記載されている。   Patent Document 1 discloses a vending machine that acquires user information by an authentication method that it adopts and sells selected products to be accommodated in the machine. In Patent Document 1, when user information acquired by the authentication method is recorded more than a predetermined number of times in the past transaction history information, a privilege set in advance for the user is provided. It is described that a privilege granting means for granting is provided.

特開2011−113477号公報JP 2011-113477 A

なお、上記先行技術文献の開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。   The disclosure of the above prior art document is incorporated herein by reference. The following analysis was made by the present inventors.

商品を購入した顧客やサービスの提供を受けた顧客にポイントを付与して再来店を促すポイントカード等は、小売店等にとって重要な販促手段となっている。   Point cards and the like that give points to customers who have purchased products and customers who have received services and encourage them to return to the store are important sales promotion means for retail stores and the like.

また、小売店等は、ポイントカードを作成する際、顧客の個人情報(性別、年齢等)の提供を求めることがある。このような個人情報は、小売店等にとって重要なマーケティング手段となり得るためである。具体的には、小売店等は、個人情報と商品の購入履歴を関連付けて記憶し、当該情報を分析することで、年齢や性別ごとの嗜好が把握可能となる。   In addition, retail stores or the like may request provision of customer personal information (gender, age, etc.) when creating a point card. This is because such personal information can be an important marketing tool for retail stores and the like. Specifically, a retail store or the like stores personal information and a purchase history of a product in association with each other and analyzes the information, thereby making it possible to grasp the preference for each age and gender.

このように、小売店等にとって、ポイントカードは販促手段としてもマーケティング手段としても重要な役割を有している。換言するならば、小売店等は、顧客にポイントを付与するという対価を支払ってでも、顧客にポイントカードを保持、使用して貰いたいという願望を有している。   Thus, for retail stores and the like, the point card has an important role as both a sales promotion means and a marketing means. In other words, a retail store or the like has a desire to hold and use a point card for a customer even when paying a price for giving the customer a point.

一方、顧客は、小売店等から提供されるポイントが少額である場合や個人情報を提供する必要がある場合には、ポイントカードの利用を躊躇うことも多い。例えば、上述のように、ポイントカードやICカードによりポイントを管理する(ポイントを蓄積する)自動販売機が存在する。しかし、自動販売機で扱う商品は飲料やタバコ等の少額な商品が主であり、高額な商品が扱われることは少ない。そのため、上記のような自動販売機から商品を購入しても、付与されるポイントもまた少額となり、付与されるポイントは、顧客がポイントカードを継続的に利用する動機とならないこともある。また、個人情報を提供することには、セキュリティ上の問題を懸念する顧客も多い。   On the other hand, customers often ask for the use of a point card when the points provided from a retail store or the like are small or when it is necessary to provide personal information. For example, as described above, there exists a vending machine that manages points (stores points) using a point card or an IC card. However, the products handled by the vending machine are mainly small items such as beverages and cigarettes, and expensive items are rarely handled. Therefore, even if a product is purchased from a vending machine as described above, the points awarded are also small, and the points awarded may not be a motivation for the customer to use the point card continuously. In addition, many customers are concerned about security issues in providing personal information.

本発明は、顧客によるポイント利用を促進する仕組みを確保しつつ、顧客の個人情報を適切に保護することに寄与する、ポイント管理システム、アカウント生成方法、自動販売機及びプログラムを提供することを目的とする。   An object of the present invention is to provide a point management system, an account generation method, a vending machine, and a program that contribute to appropriately protecting customer personal information while ensuring a mechanism for promoting the use of points by the customer. And

本発明の第1の視点によれば、顧客の顔画像を含む撮像データから前記顧客を識別する顧客IDを生成し、出力する自動販売機と、前記生成された顧客IDの受信を契機として、前記顧客に付与されるポイントを管理するアカウントを生成する、管理サーバと、を含み、前記生成された顧客IDから前記顧客の顔を再現することはできない、ポイント管理システムが提供される。   According to the first aspect of the present invention, triggered by receiving a vending machine that generates and outputs a customer ID for identifying the customer from imaging data including a customer's face image and the generated customer ID, There is provided a point management system including a management server that generates an account for managing points given to the customer, and the face of the customer cannot be reproduced from the generated customer ID.

本発明の第2の視点によれば、自動販売機が、顧客の顔画像を含む撮像データから前記顧客を識別する顧客IDを生成し、出力するステップと、管理サーバが、前記生成された顧客IDの受信を契機として、前記顧客に付与されるポイントを管理するアカウントを生成するステップと、を含み、前記生成された顧客IDから前記顧客の顔を再現することはできない、アカウント生成方法が提供される。   According to a second aspect of the present invention, a vending machine generates and outputs a customer ID for identifying the customer from imaging data including a customer's face image, and a management server includes the generated customer. And generating an account for managing the points given to the customer when the ID is received, and an account generation method is provided that cannot reproduce the customer's face from the generated customer ID. Is done.

本発明の第3の視点によれば、顧客の顔画像を含む撮像データから前記顧客を識別する顧客IDを生成する顧客ID生成部を備え、前記顧客ID生成部は、前記生成された顧客IDを、前記生成された顧客IDの受信を契機として、前記顧客に付与されるポイントを管理するアカウントを生成する管理サーバに向けて出力し、前記生成された顧客IDから前記顧客の顔を再現することはできない、自動販売機が提供される。   According to a third aspect of the present invention, a customer ID generation unit that generates a customer ID for identifying the customer from imaging data including a customer's face image is provided, and the customer ID generation unit includes the generated customer ID. Is output to the management server that generates an account for managing the points given to the customer with the reception of the generated customer ID, and the face of the customer is reproduced from the generated customer ID A vending machine is provided that cannot.

本発明の第4の視点によれば、顧客の顔画像を含む撮像データから前記顧客を識別するIDであって、前記IDから前記顧客の顔を再現することはできない顧客IDを生成する処理と、前記生成された顧客IDを、前記生成された顧客IDの受信を契機として、前記顧客に付与されるポイントを管理するアカウントを生成する管理サーバに向けて出力する処理と、を自動販売機を制御するコンピュータに実行させるプログラムが提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transient)なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
According to a fourth aspect of the present invention, a process of generating an ID for identifying the customer from imaging data including a customer's face image, the customer ID being unable to reproduce the customer's face from the ID; A process of outputting the generated customer ID to a management server that generates an account for managing the points given to the customer, triggered by reception of the generated customer ID. A program to be executed by a controlling computer is provided.
This program can be recorded on a computer-readable storage medium. The storage medium may be non-transient such as a semiconductor memory, a hard disk, a magnetic recording medium, an optical recording medium, or the like. The present invention can also be embodied as a computer program product.

本発明の各視点によれば、顧客によるポイント利用を促進する仕組みを確保しつつ、顧客の個人情報を適切に保護することに寄与する、ポイント管理システム、アカウント生成方法、自動販売機及びプログラムが、提供される。   According to each aspect of the present invention, there is provided a point management system, an account generation method, a vending machine, and a program that contribute to appropriately protecting customer personal information while securing a mechanism for promoting the use of points by the customer. Provided.

一実施形態の概要を説明するための図である。It is a figure for demonstrating the outline | summary of one Embodiment. 第1の実施形態に係るポイント管理システムの構成の一例を示す図である。It is a figure which shows an example of a structure of the point management system which concerns on 1st Embodiment. 第1の実施形態に係るポイント管理システムの動作の一例を示すシーケンス図である。It is a sequence diagram which shows an example of operation | movement of the point management system which concerns on 1st Embodiment. 自動販売機による表示の一例を示す図である。It is a figure which shows an example of the display by a vending machine. 第1の実施形態に係る自動販売機のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware constitutions of the vending machine which concerns on 1st Embodiment. 第1の実施形態に係る自動販売機の処理構成の一例を示すブロック図である。It is a block diagram showing an example of processing composition of a vending machine concerning a 1st embodiment. 撮像データから顔画像を抽出することを説明するための図である。It is a figure for demonstrating extracting a face image from imaging data. 顔画像から特徴量ベクトルを算出する際の動作を説明するための図である。It is a figure for demonstrating the operation | movement at the time of calculating the feature-value vector from a face image. 顔画像から特徴量ベクトルを算出する際の動作を説明するための図である。It is a figure for demonstrating the operation | movement at the time of calculating the feature-value vector from a face image. 第1の実施形態に係る自動販売機の撮像データ入力から顧客ID送信までの動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement from the imaging data input of the vending machine which concerns on 1st Embodiment to customer ID transmission. 第1の実施形態に係る管理サーバのハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware constitutions of the management server which concerns on 1st Embodiment. 第1の実施形態に係る管理サーバの処理構成の一例を示すブロック図である。It is a block diagram which shows an example of the process structure of the management server which concerns on 1st Embodiment. アカウント管理テーブルの一例を示す図である。It is a figure which shows an example of an account management table. 第1の実施形態に係るアカウント管理部の動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of the account management part which concerns on 1st Embodiment. 第2の実施形態に係る自動販売機の処理構成の一例を示すブロック図である。It is a block diagram which shows an example of the process structure of the vending machine which concerns on 2nd Embodiment. 第2の実施形態に係る管理サーバの処理構成の一例を示すブロック図である。It is a block diagram which shows an example of the process structure of the management server which concerns on 2nd Embodiment. 第2の実施形態にて用いられるアカウント管理テーブルの一例を示す図である。It is a figure which shows an example of the account management table used in 2nd Embodiment. 第2の実施形態に係るマーケティング情報生成部の動作を説明するための図である。It is a figure for demonstrating operation | movement of the marketing information generation part which concerns on 2nd Embodiment.

初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。   First, an outline of one embodiment will be described. Note that the reference numerals of the drawings attached to the outline are attached to the respective elements for convenience as an example for facilitating understanding, and the description of the outline is not intended to be any limitation.

一実施形態に係るポイント管理システムは、自動販売機101と管理サーバ102を含む。自動販売機101は、顧客の顔画像を含む撮像データから顧客を識別する顧客IDを生成し、出力する。管理サーバ102は、生成された顧客ID(Identifier)の受信を契機として、顧客に付与されるポイントを管理するアカウントを自動的に生成する。さらに、自動販売機101が生成する顧客IDから顧客の顔を再現することはできない。   A point management system according to an embodiment includes a vending machine 101 and a management server 102. The vending machine 101 generates and outputs a customer ID for identifying the customer from the imaging data including the customer's face image. The management server 102 automatically generates an account for managing the points given to the customer when the generated customer ID (Identifier) is received. Further, the customer's face cannot be reproduced from the customer ID generated by the vending machine 101.

一実施形態に係る自動販売機101は、例えば、商品を購入した顧客を撮像し、顔画像から顧客を一意に識別可能な顧客IDを生成する。生成された顧客IDは管理サーバ102に送信され、管理サーバ102は、顧客IDの受信を契機として、顧客のアカウントを自動的に生成する。その結果、飲料やタバコのような少額な商品を扱う自動販売機であっても、アカウントの生成が促進される。また、自動販売機101は、顧客IDの生成の際に、例えば、不可逆な一方向関数のハッシュ関数を利用することで、顧客IDから顧客の顔を再現不能としている。その結果、顧客IDから顧客の個人情報(顧客の顔)を得ることはできず、顧客の個人情報は適切に保護される。   The vending machine 101 according to an embodiment, for example, captures an image of a customer who has purchased a product, and generates a customer ID that can uniquely identify the customer from the face image. The generated customer ID is transmitted to the management server 102, and the management server 102 automatically generates a customer account upon receipt of the customer ID. As a result, the creation of accounts is facilitated even for vending machines that handle small items such as beverages and tobacco. The vending machine 101 makes it impossible to reproduce the customer's face from the customer ID by using, for example, an irreversible one-way hash function when generating the customer ID. As a result, the customer personal information (customer face) cannot be obtained from the customer ID, and the customer personal information is appropriately protected.

以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。なお、各実施形態において同一構成要素には同一の符号を付し、その説明を省略する。   Hereinafter, specific embodiments will be described in more detail with reference to the drawings. In addition, in each embodiment, the same code | symbol is attached | subjected to the same component and the description is abbreviate | omitted.

[第1の実施形態]
第1の実施形態について、図面を用いてより詳細に説明する。
[First Embodiment]
The first embodiment will be described in more detail with reference to the drawings.

図2は、第1の実施形態に係るポイント管理システムの構成の一例を示す図である。図2を参照すると、ポイント管理システムは、自動販売機10−1〜10−n(但し、nは正の整数。以下、同じ)と、管理サーバ20と、を含んで構成される。なお、以降の説明において、自動販売機10−1〜10−nを区別する特段の理由が無い場合には、単に「自動販売機10」と表記する。   FIG. 2 is a diagram illustrating an example of the configuration of the point management system according to the first embodiment. Referring to FIG. 2, the point management system includes vending machines 10-1 to 10-n (where n is a positive integer; hereinafter the same) and a management server 20. In the following description, when there is no particular reason for distinguishing the vending machines 10-1 to 10-n, they are simply expressed as “vending machine 10”.

自動販売機10は、飲料やタバコ等の低額商品を販売する装置である。但し、自動販売機10が販売する商品を限定する趣旨ではなく、自動販売機10は他の商品を扱うものであってもよい。   The vending machine 10 is a device that sells low-priced products such as beverages and tobacco. However, the vending machine 10 is not intended to limit the products sold by the vending machine 10, and the vending machine 10 may handle other products.

図2に示すポイント管理システムでは、顧客が自動販売機10にて商品を購入すると、自動販売機10は、当該顧客の顔を撮像し、顧客の顔画像を含む撮像データから当該顧客を識別する顧客IDを生成する。自動販売機10は、生成した顧客IDを管理サーバ20に向けて出力する。管理サーバ20は、自動販売機10から顧客IDを受信したことを契機として当該顧客に付与されるポイントを管理するアカウントを自動的に生成する。管理サーバ20により自動的に生成されたアカウントにより顧客に付与されるポイントは管理され、顧客は当該ポイントを使用すれば、次に商品を購入する際の代金が減額されるなどの特典が得られる。   In the point management system shown in FIG. 2, when a customer purchases a product with the vending machine 10, the vending machine 10 images the customer's face and identifies the customer from imaging data including the customer's face image. A customer ID is generated. The vending machine 10 outputs the generated customer ID to the management server 20. The management server 20 automatically generates an account for managing points given to the customer when the customer ID is received from the vending machine 10. The points granted to the customer are managed by the account automatically generated by the management server 20, and if the customer uses the points, the benefit for the next purchase of the product is reduced. .

なお、図2に示すポイント管理システムでは、自動販売機10−1〜10−nのそれぞれは同等の機能を有するものである。そのため、自動販売機10−1〜10−nのいずれかで顧客が商品を購入すれば、当該顧客のアカウントが自動的に生成され、付与されるポイントが管理される。顧客は、最初に商品を購入した自動販売機を含む自動販売機10にて商品を購入すると、上記付与されたポイントを使用することができる。例えば、顧客が自動販売機10−1にて商品を購入すると、管理サーバ20は当該顧客のアカウントを自動的に生成し、所定のポイント数を付与する。次に、顧客が自動販売機10−1や自動販売機10−2にて商品を購入すると、上記付与されたポイントを使用することができる。即ち、管理サーバ20が自動的に生成するアカウントは、自動販売機10−1〜10−nにて共通に使用可能なアカウントであると言える。なお、管理サーバ20が自動販売機10−1〜10−nにて共通使用されるアカウントを管理するため、第1の実施形態に係るポイント管理システムはクラウドシステム上にて構築されていると言える。   In the point management system shown in FIG. 2, each of the vending machines 10-1 to 10-n has an equivalent function. Therefore, if a customer purchases a product at any one of the vending machines 10-1 to 10-n, the account of the customer is automatically generated and the points to be given are managed. When a customer purchases a product with the vending machine 10 including the vending machine that first purchased the product, the customer can use the given points. For example, when a customer purchases a product at the vending machine 10-1, the management server 20 automatically creates an account for the customer and gives a predetermined number of points. Next, when the customer purchases a product with the vending machine 10-1 or the vending machine 10-2, the given points can be used. That is, it can be said that the account automatically generated by the management server 20 is an account that can be commonly used in the vending machines 10-1 to 10-n. In addition, since the management server 20 manages an account commonly used in the vending machines 10-1 to 10-n, it can be said that the point management system according to the first embodiment is built on the cloud system. .

[ポイント管理システムの概略動作]
次に、図3を参照しつつ、第1の実施形態に係るポイント管理システムの概略動作を説明する。
[Outline of point management system]
Next, a schematic operation of the point management system according to the first embodiment will be described with reference to FIG.

自動販売機10は、商品を購入した顧客をカメラにより撮影し、撮像データを取得する(ステップS01)。その後、自動販売機10は、撮像データから上記顧客を一意に識別する顧客IDを生成する(ステップS02)。自動販売機10は、生成した顧客IDを管理サーバ20に向けて送信する(ステップS03)。   The vending machine 10 photographs a customer who has purchased a product with a camera, and obtains imaging data (step S01). Thereafter, the vending machine 10 generates a customer ID that uniquely identifies the customer from the imaging data (step S02). The vending machine 10 transmits the generated customer ID to the management server 20 (step S03).

顧客IDを受信した管理サーバ20は、当該顧客IDのアカウントに関する情報を、顧客IDの送信元である自動販売機10に通知する(ステップS04)。   The management server 20 that has received the customer ID notifies the vending machine 10 that is the transmission source of the customer ID of information related to the account of the customer ID (step S04).

具体的には、管理サーバ20は、受信した顧客IDに対応するアカウントが存在しない場合には、対応するアカウントを新たに生成し、その旨を自動販売機10に通知する。なお、新規にアカウントを作成した旨を示す通知を、「新規アカウント通知」と表記する。   Specifically, when there is no account corresponding to the received customer ID, the management server 20 newly generates a corresponding account and notifies the vending machine 10 to that effect. Note that a notification indicating that a new account has been created is referred to as a “new account notification”.

また、顧客IDを受信した管理サーバ20は、当該顧客IDに対応するアカウントが存在するが、当該アカウントの存在が顧客により承認されていない場合には、その旨を自動販売機に通知する。この場合の通知を、「未承認アカウント通知」と表記する。   In addition, the management server 20 that has received the customer ID has an account corresponding to the customer ID. If the account is not approved by the customer, the management server 20 notifies the vending machine to that effect. This notification is referred to as “unapproved account notification”.

また、顧客IDを受信した管理サーバ20は、当該顧客IDに対応するアカウントが存在し、且つ、当該アカウントの存在が顧客により承認されている場合には、その旨を自動販売機10に通知する。この場合の上記通知を、「承認アカウント通知」と表記する。   In addition, when the account corresponding to the customer ID exists and the existence of the account is approved by the customer, the management server 20 that has received the customer ID notifies the vending machine 10 to that effect. . The above notification in this case is referred to as “approval account notification”.

なお、管理サーバ20は、「未承認アカウント通知」や「承認アカウント通知」を自動販売機10に送信する場合には、これらのアカウントにより管理されているポイント数も併せて通知する。   The management server 20 also notifies the number of points managed by these accounts when transmitting “not-approved account notification” or “approval account notification” to the vending machine 10.

管理サーバ20からアカウントに関する情報の通知(例えば、新規アカウント通知)を受信した自動販売機10は、当該通知の内容に応じた処理を行う。具体的には、管理サーバ20から「新規アカウント通知」を受信した場合(ステップS05、Yes分岐)には、自動販売機10は、顧客のアカウントを新規に生成した旨の表示を行い、当該事実を顧客に伝える(ステップS06)。例えば、自動販売機10は、図4(a)に示すようなメッセージを液晶パネル等に表示する。   The vending machine 10 that has received a notification of information related to an account (for example, a new account notification) from the management server 20 performs processing according to the content of the notification. Specifically, when the “new account notification” is received from the management server 20 (step S05, Yes branch), the vending machine 10 displays that the customer account has been newly generated, and the fact. To the customer (step S06). For example, the vending machine 10 displays a message as shown in FIG.

管理サーバ20から「未承認アカウント通知」を受信した場合(ステップS07、Yes分岐)には、自動販売機10は、管理サーバ20により自動的に生成されたアカウントを利用するか、又は、廃止するかに関する顧客の意思を確認する。具体的には、自動販売機10は、顧客のアカウントが存在することと、当該アカウントを利用するか否かに関する決定を顧客に要求することと、を示す表示(アカウント利用に係る表示)を行う(ステップS08)。例えば、自動販売機10は、図4(b)に示すようなメッセージを液晶パネル等に表示する。   When the “not-approved account notification” is received from the management server 20 (step S07, Yes branch), the vending machine 10 uses or abolishes the account automatically generated by the management server 20. Confirm the customer ’s intentions. Specifically, the vending machine 10 performs display (display related to account use) indicating that the customer's account exists and requesting the customer to make a decision regarding whether or not to use the account. (Step S08). For example, the vending machine 10 displays a message as shown in FIG.

図4(b)に示すような表示に接した顧客は、ポイントが付与されたアカウントを今後利用する場合には、「アカウント利用ボタン」を押下し、アカウントを廃止する場合には、「アカウント廃止ボタン」を押下することになる。なお、図4(b)に示す表示を顧客に提示することで、顧客が「ポイントが付与されたアカウント」の利用を希望する場合には、管理サーバ20により自動的に生成されたアカウントが顧客により「承認」されたと捉えることができる。あるいは、顧客が上記アカウントの廃止を希望した場合には、自動的に生成されたアカウントは顧客により承認されず(非承認)と捉えることができる。   The customer who is in contact with the display as shown in FIG. 4B presses the “account use button” when the account to which the points are given is used in the future, and the account is abolished when the account is abolished. Button ". If the customer desires to use the “account with points” by presenting the display shown in FIG. 4B to the customer, the account automatically generated by the management server 20 is the customer. It can be understood that it has been “approved”. Alternatively, if the customer wishes to abolish the account, the automatically generated account can be regarded as not being approved by the customer (non-approved).

上記顧客の操作を受け付けた自動販売機10は、顧客によるアカウント承認に関する情報(図4(b)のような表示及び顧客の操作により確認した顧客の意思)を、顧客IDと共に管理サーバ20に通知する(ステップS09)。具体的には、自動販売機10は、顧客がアカウントを利用する意思を示した場合には、「アカウント承認通知」を管理サーバ20に送信する。あるいは、自動販売機10は、顧客がアカウントを廃止する意思を示した場合には、「アカウント非承認通知」を管理サーバ20に送信する。   The vending machine 10 that has received the customer's operation notifies the management server 20 of information related to the account approval by the customer (the display as shown in FIG. 4B and the customer's intention confirmed by the customer's operation) together with the customer ID. (Step S09). Specifically, the vending machine 10 transmits an “account approval notification” to the management server 20 when the customer indicates an intention to use the account. Alternatively, the vending machine 10 transmits an “account non-approval notification” to the management server 20 when the customer indicates an intention to abolish the account.

アカウント承認の情報に関する通知を受信した管理サーバ20は、当該通知が「アカウント非承認通知」である場合(ステップS10、Yes分岐)には、該当するアカウントを削除(ステップS11)し、その旨を応答する(ステップS12)。あるいは、上記通知が「アカウント承認通知」である場合(ステップS10、No分岐)には、管理サーバ20は、上記通知に対する応答(ACK;Acknowledge)を行う(ステップS12)。   The management server 20 that has received the notification regarding the account approval information deletes the corresponding account (step S11) if the notification is an “account non-approval notification” (step S10, Yes branch), and notifies that fact. A response is made (step S12). Alternatively, when the notification is an “acknowledgement notification” (step S10, No branch), the management server 20 makes a response (ACK; Acknowledge) to the notification (step S12).

管理サーバ20から「承認アカウント通知」を受信した場合(ステップS05にてNo分岐、且つ、ステップS07にてNo分岐)や、顧客がアカウントを承認して管理サーバ20にて適切に処理された場合(ステップS12にてACKの受信)に、自動販売機10は、顧客によるポイント利用に係る表示を行う(ステップS13)。   When an “approval account notification” is received from the management server 20 (No branch at step S05 and No branch at step S07), or when the customer approves the account and is appropriately processed by the management server 20 (Receiving ACK at step S12), the vending machine 10 performs display related to the point use by the customer (step S13).

例えば、自動販売機10は、図4(c)に示すようなメッセージを液晶パネル等に表示する。図4(c)に示すような表示に接した顧客は、ポイントを使用する場合には、「ポイント使用ボタン」を押下し、ポイントを蓄積する場合には、「ポイント付与ボタン」を押下することになる。   For example, the vending machine 10 displays a message as shown in FIG. The customer who is in contact with the display as shown in FIG. 4C presses the “use point button” when using points, and presses the “point grant button” when accumulating points. become.

上記顧客の操作を受け付けた自動販売機10は、ポイントに対する顧客の要求に関する情報を、顧客IDと共に管理サーバ20に通知する(ステップS14)。具体的には、自動販売機10は、顧客がポイントの使用を希望する場合には、「ポイント使用通知」を管理サーバ20に送信する。あるいは、自動販売機10は、顧客がポイントの付与を希望する場合には、「ポイント付与通知」を管理サーバ20に送信する。   The vending machine 10 that has received the customer's operation notifies the management server 20 of information related to the customer's request for points together with the customer ID (step S14). Specifically, the vending machine 10 transmits a “point use notification” to the management server 20 when the customer wishes to use points. Alternatively, the vending machine 10 transmits a “point grant notification” to the management server 20 when the customer wishes to give points.

上記通知を受信した管理サーバ20は、その内容に応じて、該当アカウントのポイントを適切に管理する。具体的には、管理サーバ20は、「ポイント使用通知」を受信した場合には、該当アカウントのポイントを初期化する。あるいは、管理サーバ20は、「ポイント付与通知」を受信した場合には、該当アカウントのポイントに所定の値を加算し、ポイント数を更新する。   The management server 20 that has received the notification appropriately manages the points of the account according to the contents. Specifically, when the management server 20 receives a “point use notification”, the management server 20 initializes points of the corresponding account. Alternatively, when the management server 20 receives the “point grant notification”, the management server 20 adds a predetermined value to the points of the account and updates the number of points.

上記処理が終了すると、管理サーバ20は、上記通知に対する応答を行う(ステップS15)。   When the above process ends, the management server 20 responds to the notification (step S15).

管理サーバ20にてアカウントのポイント処理が適切に終了すると、自動販売機10は、顧客が商品を購入する際の代金を減額(ポイント使用時)するか、顧客のアカウントにポイントが付与された旨の表示(ポイント付与時)を行う(ステップS16)。   When the account point processing is properly completed in the management server 20, the vending machine 10 reduces the price when the customer purchases the product (when using the point) or that the customer's account has been given points. Is displayed (when points are given) (step S16).

[自動販売機の構成及び動作]
次に、自動販売機10の構成及び動作について説明する。
[Configuration and operation of vending machine]
Next, the configuration and operation of the vending machine 10 will be described.

図5は、第1の実施形態に係る自動販売機10のハードウェア構成の一例を示すブロック図である。自動販売機10は、図5に例示する構成を備える。例えば、自動販売機10は、内部バスにより相互に接続される、CPU(Central Processing Unit)11、メモリ12、表示モジュール13、操作モジュール14、カメラモジュール15、NIC(Network Interface Card)16等を備える。   FIG. 5 is a block diagram illustrating an example of a hardware configuration of the vending machine 10 according to the first embodiment. The vending machine 10 has the configuration illustrated in FIG. For example, the vending machine 10 includes a CPU (Central Processing Unit) 11, a memory 12, a display module 13, an operation module 14, a camera module 15, a NIC (Network Interface Card) 16, and the like that are connected to each other via an internal bus. .

なお、図5に示す構成は、自動販売機10のハードウェア構成を限定する趣旨ではない。自動販売機10は、図示しないハードウェアも含む。具体的には、図5には、自動販売機10が有する自動販売機としての機能を実現するためのハードウェア(商品を格納する格納手段、顧客が選択した商品を外部に排出する手段、商品購入代金を処理する決済手段等)が図示されていない。これらのハードウェアは既存の自動販売機にて用いられている手段を使用することができる。   Note that the configuration shown in FIG. 5 is not intended to limit the hardware configuration of the vending machine 10. The vending machine 10 also includes hardware not shown. Specifically, FIG. 5 shows hardware for realizing the function as a vending machine included in the vending machine 10 (storage means for storing the product, means for discharging the product selected by the customer, product The payment means for processing the purchase price) is not shown. These hardware can use the means used in the existing vending machine.

自動販売機10は、NIC16を介してネットワークにアクセスし、管理サーバ20と通信を行う。   The vending machine 10 accesses the network via the NIC 16 and communicates with the management server 20.

メモリ12は、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)等である。   The memory 12 is a random access memory (RAM), a read only memory (ROM), a hard disk drive (HDD), or the like.

表示モジュール13は、液晶パネル等の表示デバイスを含んで構成される。表示モジュール13は、CPU11から表示データを受け取り、当該表示データを用いて液晶パネル等を駆動することで、顧客に情報を提供する。   The display module 13 includes a display device such as a liquid crystal panel. The display module 13 receives display data from the CPU 11, and provides information to the customer by driving a liquid crystal panel or the like using the display data.

操作モジュール14は、タッチパネル等の操作デバイスを含んで構成される。操作モジュール14は、タッチパネル等による顧客の操作を検出し、その結果(例えば、顧客による押下座標)を操作データとしてCPU11に出力する。なお、液晶パネルとタッチパネルを一体として構成することにより、GUI(Graphical User Interface)を構築することができる。第1の実施形態に係る自動販売機10は、液晶パネルとタッチパネルが一体して構成されているものとして説明を行う。   The operation module 14 includes an operation device such as a touch panel. The operation module 14 detects a customer's operation using a touch panel or the like, and outputs the result (for example, a pressed coordinate by the customer) to the CPU 11 as operation data. Note that a GUI (Graphical User Interface) can be constructed by integrally configuring the liquid crystal panel and the touch panel. The vending machine 10 according to the first embodiment will be described assuming that the liquid crystal panel and the touch panel are integrally configured.

カメラモジュール15は、レンズ等の光学系の部品と、受光素子やメモリ等の電子系の部品と、を含んで構成される。カメラモジュール15は、所定の周期にて自動販売機10の前方を撮影し、撮像データをCPU11に出力するように構成される。あるいは、CPU11がカメラモジュール15に指示を行うことで、定期的に撮像データを取得するようにしてもよいし、顧客が代金を投入した後に商品を選択したタイミングにて撮像データを取得するようにしてもよい。なお、自動販売機10が有するカメラは、商品を購入しようとする顧客の顔を含む正面が撮像できるように設置される。   The camera module 15 includes optical parts such as a lens and electronic parts such as a light receiving element and a memory. The camera module 15 is configured to take an image of the front of the vending machine 10 at a predetermined cycle and output the image data to the CPU 11. Alternatively, the CPU 11 may instruct the camera module 15 to periodically acquire imaging data, or the imaging data may be acquired at the timing when the customer selects a product after inserting the price. May be. In addition, the camera which the vending machine 10 has is installed so that the front surface including the face of the customer who is going to purchase goods can be imaged.

図6は、第1の実施形態に係る自動販売機10の処理構成の一例を示すブロック図である。図6を参照すると、自動販売機10は、入力部201と、顔画像抽出部202と、特徴量ベクトル生成部203と、顧客ID生成部204と、操作処理部205と、NIC16を制御し、他の装置との間の通信を実現する通信制御部206と、を含んで構成される。   FIG. 6 is a block diagram illustrating an example of a processing configuration of the vending machine 10 according to the first embodiment. Referring to FIG. 6, the vending machine 10 controls the input unit 201, the face image extraction unit 202, the feature vector generation unit 203, the customer ID generation unit 204, the operation processing unit 205, and the NIC 16, And a communication control unit 206 that realizes communication with other devices.

上記の各処理モジュールは、例えば、メモリ12に格納されたプログラムをCPU11が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能を何らかのハードウェア、及び/又は、ソフトウェアで実行する手段があればよい。   Each processing module described above is realized, for example, by the CPU 11 executing a program stored in the memory 12. The program can be downloaded through a network or updated using a storage medium storing the program. Furthermore, the processing module may be realized by a semiconductor chip. That is, it is sufficient if there is a means for executing the function performed by the processing module with some hardware and / or software.

入力部201は、操作モジュール14が出力する操作データやカメラモジュール15が出力する撮像データを入力する手段である。入力部201は、撮像データを取得した場合には、当該撮像データを顔画像抽出部202に引き渡す。また、入力部201は、操作データを取得した場合には、当該操作データを操作処理部205に引き渡す。   The input unit 201 is a unit that inputs operation data output from the operation module 14 and imaging data output from the camera module 15. When the input unit 201 acquires the imaging data, the input unit 201 delivers the imaging data to the face image extraction unit 202. Further, when the operation data is acquired, the input unit 201 delivers the operation data to the operation processing unit 205.

顔画像抽出部202は、取得した撮像データに人の顔に係る画像(以下、顔画像と表記する)が含まれているか否かを判定し、撮像データに顔画像が含まれる場合に、当該顔画像を撮像データから抽出する手段である。例えば、顔画像抽出部202は、図7に示すような撮像データを取得したものとする。この場合、顔画像抽出部202は、図7の破線により囲まれた領域を「顔画像」として抽出する。   The face image extraction unit 202 determines whether or not an image related to a human face (hereinafter referred to as a face image) is included in the acquired imaging data, and when the imaging data includes a face image, It is a means for extracting a face image from the imaging data. For example, it is assumed that the face image extraction unit 202 has acquired imaging data as shown in FIG. In this case, the face image extraction unit 202 extracts a region surrounded by a broken line in FIG. 7 as a “face image”.

なお、撮像データが顔画像を含むか否かの判定や顔画像の抽出処理には、種々の技術を用いることができる。   Various techniques can be used for the determination of whether the captured image includes a face image and the face image extraction processing.

例えば、特開2014−170979号公報(参考文献1)に開示されているように、入力画像(顔画像を含む映像データ)と、顔画像のテンプレート画像と、を比較し、両者の差分が閾値以下であるか否かにより、顔画像の存否の判定や顔画像の抽出をしてもよい。また、色情報やエッジの方向や密度を組み合わせたモデルをあらかじめ記憶しておき、入力フレームからモデルに類似した領域が検出された場合に顔が存在すると判定し、顔画像を抽出することもできる。さらに、顔(頭部)の輪郭は楕円、目や口は矩形形状をしていることを利用して作成したテンプレートを使用し、顔画像を抽出することも可能である。さらにまた、頬や額の部分は輝度が高く、目や口の部分の輝度は低いという輝度分布の特性を利用した顔検出手法や、顔の対称性や肌色領域と位置を利用して顔検出を行う手法等を用いてもよい。あるいは、大量の顔と非顔の学習サンプルから得られた特徴量分布を統計的に学習し、入力画像から得られる特徴量が顔と非顔のどちらの分布に属するかを判定する手法を用いてもよい。即ち、サポートベクターマシン等の機械学習に係る技術を顔画像の抽出に用いてもよい。   For example, as disclosed in Japanese Patent Application Laid-Open No. 2014-170979 (reference document 1), an input image (video data including a face image) is compared with a template image of a face image, and the difference between the two is a threshold value. Whether the face image exists or not may be extracted or the face image may be extracted depending on whether or not it is below. It is also possible to store a model combining color information, edge direction and density in advance, determine that a face exists when an area similar to the model is detected from the input frame, and extract a face image. . Furthermore, it is possible to extract a face image by using a template created using the fact that the contour of the face (head) is an ellipse and the eyes and mouth are rectangular. Furthermore, a face detection method that uses the characteristics of luminance distribution that the cheeks and forehead are bright and the eyes and mouth are low, and face detection using the face symmetry and skin color area and position. A technique for performing the above may be used. Alternatively, a method is used that statistically learns the feature quantity distribution obtained from a large number of face and non-face learning samples and determines whether the feature quantity obtained from the input image belongs to the face or non-face distribution. May be. That is, a technique related to machine learning such as a support vector machine may be used for face image extraction.

顔画像抽出部202は、抽出した顔画像を特徴量ベクトル生成部203に引き渡す。   The face image extraction unit 202 delivers the extracted face image to the feature quantity vector generation unit 203.

特徴量ベクトル生成部203は、取得した顔画像(抽出された顔画像)を特徴付ける特徴量ベクトルを算出する。例えば、図8に示すように、特徴量ベクトル生成部203は、顔画像から種々の特徴点を抽出し、当該特徴点の座標(X座標、Y座標)を並べることで特徴量ベクトルを生成できる。例えば、図8を参照すると、特徴量ベクトル生成部203は、両眼の端点を特徴点A1、A2、口の両端点を特徴点A3、A4、鼻頭を特徴点A5として抽出する。その際、特徴点A1〜A5それぞれの座標は、図9のとおりであるとする。なお、顔画像から特徴点を抽出する際には、テンプレートマッチング等の手法を用いる。   The feature vector generation unit 203 calculates a feature vector that characterizes the acquired face image (extracted face image). For example, as shown in FIG. 8, the feature vector generation unit 203 can generate a feature vector by extracting various feature points from the face image and arranging the coordinates (X coordinate, Y coordinate) of the feature points. . For example, referring to FIG. 8, the feature vector generation unit 203 extracts the endpoints of both eyes as feature points A1 and A2, the endpoints of the mouth as feature points A3 and A4, and the nasal head as a feature point A5. At that time, the coordinates of the feature points A1 to A5 are as shown in FIG. When extracting feature points from the face image, a method such as template matching is used.

特徴量ベクトル生成部203は、各特徴点の座標を順に並べることで、特徴量ベクトルを生成する。図8、図9に示す例では、下記の式(1)に示す10次元の特徴量ベクトルFVが生成される。

FV={X1、Y1、X2、Y2、・・・、X5、Y5} ・・・(1)
The feature vector generation unit 203 generates a feature vector by arranging the coordinates of each feature point in order. In the example shown in FIGS. 8 and 9, a 10-dimensional feature vector FV shown in the following equation (1) is generated.

FV = {X1, Y1, X2, Y2,..., X5, Y5} (1)

あるいは、顔画像からの特徴量ベクトル算出に関しては、例えば、特開2015−097000号公報(参考文献2)に開示されているように、顔画像から特徴点(例えば、目、鼻、口等の中心点や端点)を抽出し、特徴点近傍の濃淡値や特性(周期性、方向性、色分布等)を利用して特徴量ベクトルを生成してもよい。   Alternatively, regarding feature value vector calculation from a face image, for example, as disclosed in Japanese Patent Application Laid-Open No. 2015-097000 (reference document 2), feature points (for example, eyes, nose, mouth, etc.) A center point or an end point) may be extracted, and a feature amount vector may be generated using a gray value or characteristics (periodicity, directionality, color distribution, etc.) in the vicinity of the feature point.

ここで、特徴量ベクトル算出の元となった顔画像が異なれば、特徴量ベクトルも異なる。換言するならば、特徴量ベクトル算出の元となった顔画像が同一であれば、特徴量ベクトルも同一となる。特徴量ベクトル生成部203は、生成した特徴量ベクトルを顧客ID生成部204に引き渡す。   Here, if the face image from which the feature quantity vector is calculated is different, the feature quantity vector is also different. In other words, if the face image from which the feature quantity vector is calculated is the same, the feature quantity vector is also the same. The feature vector generation unit 203 delivers the generated feature vector to the customer ID generation unit 204.

顧客ID生成部204は、取得した特徴量ベクトルに基づき、当該特徴量ベクトル算出の元となった顔画像に対応する人物の顧客IDを生成する手段である。具体的には、顧客ID生成部204は、特徴量ベクトルによる数値列をハッシュ関数(Hash Function)に入力することで得られるハッシュ値(ダイジェスト)を顧客IDとして扱う。   The customer ID generation unit 204 is a means for generating a customer ID of a person corresponding to the face image from which the feature quantity vector is calculated based on the acquired feature quantity vector. Specifically, the customer ID generation unit 204 handles, as a customer ID, a hash value (digest) obtained by inputting a numerical string based on a feature quantity vector into a hash function (Hash Function).

なお、顧客ID(ハッシュ値)から特徴量ベクトル(入力値)が算出可能であることは、顧客の個人情報保護の観点から好ましくないので、顧客ID生成部204は、不可逆な一方向関数のハッシュ関数を利用するものとする。例えば、顧客ID生成部204は、SHA1(Secure Hash Algorithm 1)やMD5(Message Digest 5)等のハッシュ関数を使用し、顧客IDを生成する。顧客ID生成部204は、通信制御部206を介して、生成した顧客IDを管理サーバ20に送信する。   Since it is not preferable from the viewpoint of protecting personal information of the customer that the feature vector (input value) can be calculated from the customer ID (hash value), the customer ID generation unit 204 has an irreversible one-way function hash. Assume that a function is used. For example, the customer ID generation unit 204 generates a customer ID using a hash function such as SHA1 (Secure Hash Algorithm 1) or MD5 (Message Digest 5). The customer ID generation unit 204 transmits the generated customer ID to the management server 20 via the communication control unit 206.

このように、顧客ID生成部204は不可逆な一方向関数を用いて顧客IDを生成するため、顧客IDから特徴量ベクトルを得ることはできない。特徴量ベクトルが得られなければ、顧客の顔画像を再現することはできない。即ち、自動販売機10により生成された顧客IDから顧客の顔を再現することはできない。   As described above, since the customer ID generation unit 204 generates a customer ID using an irreversible one-way function, a feature vector cannot be obtained from the customer ID. If the feature vector cannot be obtained, the customer's face image cannot be reproduced. That is, the customer's face cannot be reproduced from the customer ID generated by the vending machine 10.

撮像データの入力から顧客IDを送信するまでの自動販売機10の動作をまとめると、図10に示すフローチャートのとおりとなる。   The operation of the vending machine 10 from the input of imaging data to the transmission of the customer ID is summarized as shown in the flowchart of FIG.

入力部201は、撮像データを入力する(ステップS101)。   The input unit 201 inputs imaging data (step S101).

次に、顔画像抽出部202は、撮像データに顔画像が含まれているか否かを判定する(ステップS102)。   Next, the face image extraction unit 202 determines whether or not a face image is included in the imaging data (step S102).

顔画像が含まれていれば(ステップS102、Yes分岐)、ステップS103以降の処理が実行される。顔画像が含まれていなければ(ステップS102、No分岐)、入力された撮像データは破棄され、ステップS101に戻り処理を継続する。顔画像抽出部202は、撮像データから顔画像を抽出する(ステップS103)。   If a face image is included (step S102, Yes branch), the processing after step S103 is executed. If the face image is not included (step S102, No branch), the input imaging data is discarded, and the process returns to step S101 to continue the processing. The face image extraction unit 202 extracts a face image from the imaging data (step S103).

その後、特徴量ベクトル生成部203は、抽出された顔画像を特徴付ける特徴量ベクトルを生成する(ステップS104)。   Thereafter, the feature vector generation unit 203 generates a feature vector that characterizes the extracted face image (step S104).

次に、顧客ID生成部204は、特徴量ベクトルにハッシュ関数を適用することで顧客IDを生成(ステップS105)し、管理サーバ20に向けて送信する(ステップS106)。   Next, the customer ID generation unit 204 generates a customer ID by applying a hash function to the feature quantity vector (step S105), and transmits it to the management server 20 (step S106).

図6に示す操作処理部205は、操作データと、管理サーバ20から送信される種々の情報(例えば、アカウントに関する情報)と、を処理する手段である。   The operation processing unit 205 illustrated in FIG. 6 is a unit that processes operation data and various types of information (for example, information related to an account) transmitted from the management server 20.

具体的には、操作処理部205は、管理サーバ20から「新規アカウント通知」を受信した場合には、顧客のアカウントが自動的に生成され、所定のポイントが付与された旨の表示を行う(例えば、図4(a)参照)。   Specifically, when receiving a “new account notification” from the management server 20, the operation processing unit 205 displays that a customer account has been automatically generated and a predetermined point has been given ( For example, see FIG.

また、操作処理部205は、管理サーバ20から「未承認アカウント通知」を受信した場合には、顧客のアカウントが既に存在し、アカウントを継続して利用するか否かを顧客に問う表示を行う。例えば、図4(b)を参照すると、顧客は、「アカウント利用ボタン」か「アカウント廃止ボタン」を押下する。アカウント利用ボタンが押された場合には、自動的に生成されたアカウントが顧客により承認されたものとし、操作処理部205は、「アカウント承認通知」を管理サーバ20に送信する。アカウント廃止ボタンが押された場合には、自動的に生成されたアカウントが顧客により承認されないものとし、操作処理部205は、「アカウント非承認通知」を管理サーバ20に送信する。   In addition, when the “unapproved account notification” is received from the management server 20, the operation processing unit 205 displays that the customer account already exists and asks the customer whether or not to continue using the account. . For example, referring to FIG. 4B, the customer presses an “account use button” or an “account abandon button”. When the account use button is pressed, it is assumed that the automatically generated account is approved by the customer, and the operation processing unit 205 transmits an “account approval notification” to the management server 20. When the account abandon button is pressed, it is assumed that the automatically generated account is not approved by the customer, and the operation processing unit 205 transmits an “account non-approval notification” to the management server 20.

さらに、操作処理部205は、管理サーバ20から「承認アカウント通知」を受信した場合には、アカウントにより管理されているポイントに対する顧客の意思を確認する表示を行う(例えば、図4(c)参照)。なお、操作処理部205は、顧客が自分のアカウントを承認した場合にも(図4(b)のアカウント利用ボタンが押下された場合にも)、図4(c)の表示を行う。図4(c)を参照すると、操作処理部205は、顧客がポイントの使用を希望する場合には(ポイント使用ボタンが押下された場合には)、「ポイント使用通知」を管理サーバ20に送信する。あるいは、操作処理部205は、顧客がポイントの付与を希望する場合には(ポイント付与ボタンが押下された場合には)、「ポイント付与通知」を管理サーバ20に送信する。   Further, when receiving the “approval account notification” from the management server 20, the operation processing unit 205 performs display for confirming the customer's intention with respect to the point managed by the account (see, for example, FIG. 4C). ). Note that the operation processing unit 205 displays the screen illustrated in FIG. 4C even when the customer approves his / her account (even when the account use button illustrated in FIG. 4B is pressed). Referring to FIG. 4C, the operation processing unit 205 transmits a “point use notification” to the management server 20 when the customer desires to use points (when the point use button is pressed). To do. Alternatively, the operation processing unit 205 transmits a “point grant notification” to the management server 20 when the customer desires to give points (when the point grant button is pressed).

操作処理部205は、上記「ポイント使用通知」や「ポイント付与通知」に対する管理サーバ20から応答に応じて、商品購入代金を処理する決済手段にポイント数相当の減額を指示したり、顧客にポイントが付与される旨の表示を行ったりする。   In response to a response from the management server 20 to the “point use notification” or “point grant notification”, the operation processing unit 205 instructs the settlement means for processing the product purchase price to reduce the amount corresponding to the number of points, Or display that is granted.

[管理サーバの構成及び動作]
次に、管理サーバ20の構成及び動作について説明する。
[Configuration and operation of the management server]
Next, the configuration and operation of the management server 20 will be described.

図11は、第1の実施形態に係る管理サーバ20のハードウェア構成の一例を示すブロック図である。管理サーバ20は、所謂、コンピュータであり、図11に例示する構成を備える。例えば、管理サーバ20は、CPU21、メモリ22、入出力インターフェイス23及びNIC24等を備える。なお、図11に示す構成は、管理サーバ20のハードウェア構成を限定する趣旨ではない。   FIG. 11 is a block diagram illustrating an example of a hardware configuration of the management server 20 according to the first embodiment. The management server 20 is a so-called computer and has the configuration illustrated in FIG. For example, the management server 20 includes a CPU 21, a memory 22, an input / output interface 23, a NIC 24, and the like. Note that the configuration shown in FIG. 11 is not intended to limit the hardware configuration of the management server 20.

入出力インターフェイス23は、図示しない入出力装置のインターフェイスとなる手段である。入出力装置には、例えば、表示装置、操作デバイス等が含まれる。表示装置は、例えば、液晶ディスプレイ等である。操作デバイスは、例えば、キーボードやマウス等である。   The input / output interface 23 serves as an interface for an input / output device (not shown). Examples of the input / output device include a display device and an operation device. The display device is, for example, a liquid crystal display. The operation device is, for example, a keyboard or a mouse.

図12は、第1の実施形態に係る管理サーバ20の処理構成の一例を示すブロック図である。図12を参照すると、管理サーバ20は、アカウント管理部301と、NIC24を制御し、自動販売機10との間の通信を可能とする通信制御部302と、を含んで構成される。上記の各処理モジュールは、例えば、メモリ22に格納されたプログラムをCPU21が実行することで実現される。   FIG. 12 is a block diagram illustrating an example of a processing configuration of the management server 20 according to the first embodiment. Referring to FIG. 12, the management server 20 includes an account management unit 301 and a communication control unit 302 that controls the NIC 24 and enables communication with the vending machine 10. Each processing module described above is realized by the CPU 21 executing a program stored in the memory 22, for example.

アカウント管理部301は、自動販売機10から送信される顧客IDに関連付けられるアカウントを管理する手段である。具体的には、アカウント管理部301は、メモリ22により構成される記憶部(図示せず)にアカウント管理テーブルを構築し、当該テーブルを用いて顧客のアカウントを管理する。   The account management unit 301 is means for managing an account associated with the customer ID transmitted from the vending machine 10. Specifically, the account management unit 301 constructs an account management table in a storage unit (not shown) configured by the memory 22 and manages customer accounts using the table.

図13は、アカウント管理テーブルの一例を示す図である。図13を参照すると、アカウント管理テーブルは、自動販売機10から取得した顧客IDと、当該顧客IDのアカウントに蓄積されたポイント数と、当該アカウントの状態(承認、未承認)と、を1つのレコードとして記憶する。   FIG. 13 is a diagram illustrating an example of an account management table. Referring to FIG. 13, the account management table shows the customer ID acquired from the vending machine 10, the number of points accumulated in the account of the customer ID, and the status (approved or unapproved) of the account. Store as a record.

次に、図14に示すフローチャートを参照しつつ、アカウント管理部301の動作を説明する。   Next, the operation of the account management unit 301 will be described with reference to the flowchart shown in FIG.

アカウント管理部301は、自動販売機10から顧客IDを取得すると、当該顧客IDに一致する顧客IDフィールドを有するレコードをアカウント管理テーブルから検索する(ステップS201)。   When acquiring the customer ID from the vending machine 10, the account management unit 301 searches the account management table for a record having a customer ID field that matches the customer ID (step S201).

検索の結果、取得した顧客IDに一致するレコードが存在しなければ(ステップS202、No分岐)、アカウント管理部301は、取得した顧客IDに該当するアカウントは存在しないものとし、新規にアカウントを生成する(ステップS203)。より具体的には、アカウント管理部301は、顧客IDフィールドに取得した顧客IDを設定し新たなレコードを作成すると共に、ポイント数に所定のポイントを設定し、アカウント状態フィールドには「未承認」を設定する。また、この場合、アカウント管理部301は、顧客IDを送信してきた自動販売機10に対して、「新規アカウント通知」を送信する(ステップS204)。   If there is no record that matches the acquired customer ID as a result of the search (step S202, No branch), the account management unit 301 assumes that there is no account corresponding to the acquired customer ID and generates a new account. (Step S203). More specifically, the account management unit 301 sets the acquired customer ID in the customer ID field, creates a new record, sets a predetermined point for the number of points, and sets “unapproved” in the account status field. Set. In this case, the account management unit 301 transmits a “new account notification” to the vending machine 10 that has transmitted the customer ID (step S204).

アカウント管理テーブルの検索の結果、取得した顧客IDに一致するフィールドを有するレコードが存在すれば(ステップS202、Yes分岐)、アカウント管理部301は、当該レコードのアカウント状態フィールドを確認する(ステップS205)。   If there is a record having a field that matches the acquired customer ID as a result of searching the account management table (step S202, Yes branch), the account management unit 301 confirms the account status field of the record (step S205). .

アカウント状態フィールドの値が「未承認」であれば(ステップS206、Yes分岐)、アカウント管理部301は、顧客IDを送信してきた自動販売機10に対して、「未承認アカウント通知」を送信する(ステップS207)。アカウント状態フィールドの値が「承認」であれば(ステップS206、No分岐)、アカウント管理部301は、顧客IDを送信してきた自動販売機10に対して、「承認アカウント通知」を送信する(ステップS208)。   If the value of the account status field is “unapproved” (step S206, Yes branch), the account management unit 301 transmits “not-approved account notification” to the vending machine 10 that has transmitted the customer ID. (Step S207). If the value of the account status field is “approved” (step S206, No branch), the account management unit 301 transmits an “approval account notification” to the vending machine 10 that has transmitted the customer ID (step S206). S208).

「未承認アカウント通知」を受信した自動販売機10は、顧客のアカウント承認に関する意思を確認し、その結果(アカウント承認通知、アカウント非承認通知)を管理サーバ20に送信する。アカウント管理部301は、アカウント承認の情報を受信すると、その内容に応じた処理を行う。具体的には、アカウント管理部301は、「アカウント承認通知」を受信した場合(ステップS209、Yes分岐)には、該当するアカウントのアカウント状態フィールドを「承認」に設定する(ステップS210)。   The vending machine 10 that has received the “unapproved account notification” confirms the customer's intention regarding the account approval, and transmits the result (account approval notification, account non-approval notification) to the management server 20. Upon receiving the account approval information, the account management unit 301 performs processing according to the content. Specifically, when the “account approval notification” is received (step S209, Yes branch), the account management unit 301 sets the account status field of the corresponding account to “approval” (step S210).

アカウント管理部301は、「アカウント非承認通知」を受信した場合(ステップS209、No分岐)には、該当するレコードをアカウント管理テーブルから削除する(ステップS211)。   When the “account non-approval notification” is received (step S209, No branch), the account management unit 301 deletes the corresponding record from the account management table (step S211).

管理サーバ20から「承認アカウント通知」が送信された場合(ステップS208)や、顧客がアカウントを承認した場合(ステップS209、Yes分岐)には、顧客は自身のアカウントに蓄積されたポイントを使用することを希望する、又は、ポイントを付与することを希望する。このような顧客の意思は、自動販売機10から「ポイント使用通知」又は「ポイント付与通知」という形式により管理サーバ20に伝えられる。   When the “approval account notification” is transmitted from the management server 20 (step S208), or when the customer approves the account (step S209, Yes branch), the customer uses the points accumulated in his / her account. I would like to give a point. Such customer intention is transmitted from the vending machine 10 to the management server 20 in the form of “point use notification” or “point grant notification”.

「ポイント使用通知」を受信した場合(ステップS212、Yes分岐)には、アカウント管理部301は、該当するレコードのポイント数フィールドを初期化(ポイント数=0を設定)する(ステップS213)。   When the “point use notification” is received (step S212, Yes branch), the account management unit 301 initializes the point number field of the corresponding record (sets the number of points = 0) (step S213).

「ポイント付与通知」を受信した場合(ステップS212、No分岐)には、アカウント管理部301は、該当するレコードのポイント数フィールドに所定のポイント数を加算する(ステップS214)。   When the “point grant notification” is received (step S212, No branch), the account management unit 301 adds a predetermined number of points to the point number field of the corresponding record (step S214).

以上のように、第1の実施形態に係る自動販売機10は、商品を購入した顧客を撮影し、顔画像から当該顧客を一意に識別可能なID(顧客ID)を生成する。また、生成された顧客IDは管理サーバ20に送信され、管理サーバ20は、受信した顧客IDに対応するアカウントが存在しなければ、新規なアカウントを自動的に生成する。その結果、飲料やタバコのような少額な商品を扱う自動販売機であっても、アカウントの生成が促進される。   As described above, the vending machine 10 according to the first embodiment photographs a customer who has purchased a product, and generates an ID (customer ID) that can uniquely identify the customer from the face image. Further, the generated customer ID is transmitted to the management server 20, and the management server 20 automatically generates a new account if there is no account corresponding to the received customer ID. As a result, the creation of accounts is facilitated even for vending machines that handle small items such as beverages and tobacco.

ここで、顧客IDを生成する際の生体情報として、顔画像の他に指紋を利用することが考えられる。しかし、自動販売機により指紋を採取するには、顧客に所定の場所を触れて貰う必要があることと、指紋が採取されることに抵抗を覚える顧客が多いことを鑑みると、指紋を利用した場合には多くのアカウントが生成されない可能性がある。一方、第1の実施形態では、顧客は自動販売機の前に立って商品を購入すればよく、アカウント生成に関し、顧客に要求する操作、動作は必要ない。従って、この点からも多くのアカウントが生成されることとなる(アカウントの生成が促進される)。   Here, it is conceivable to use a fingerprint in addition to a face image as biometric information when generating a customer ID. However, in order to collect fingerprints with a vending machine, it is necessary to touch the customer with a predetermined place, and considering that many customers are reluctant to collect fingerprints, fingerprints were used. In some cases, many accounts may not be created. On the other hand, in the first embodiment, the customer only has to purchase the product while standing in front of the vending machine, and the operation and operation required from the customer are not required for account generation. Therefore, many accounts are generated from this point as well (account generation is promoted).

また、顧客は、自動的に生成されたアカウントを存続させるか廃止するかを決定でき、顧客がアカウントを利用(ポイントの使用、付与)すれば生成されたアカウントは事後的に承認されたと捉えることができる。   In addition, the customer can decide whether to keep the automatically generated account alive or retired, and if the customer uses the account (use / grant points), the generated account will be regarded as approved afterwards. Can do.

さらに、自動販売機10は、顧客IDの生成に不可逆な一方向関数のハッシュ関数を利用するため、自動販売機10により生成された顧客IDからその基礎となった顔画像を再現することはできない。そのため、万が一、管理サーバ20から顧客IDが漏洩することがあったとしても、顧客IDから顧客の個人情報(顧客の顔)が再現されることはなく、顧客の個人情報、プライバシは適切に保護される。   Furthermore, since the vending machine 10 uses a hash function of a one-way function that is irreversible for generating a customer ID, the face image that is the basis of the hash ID cannot be reproduced from the customer ID generated by the vending machine 10. . Therefore, even if the customer ID is leaked from the management server 20, the customer personal information (customer face) is not reproduced from the customer ID, and the customer personal information and privacy are appropriately protected. Is done.

[第2の実施形態]
続いて、第2の実施形態について図面を参照して詳細に説明する。
[Second Embodiment]
Next, a second embodiment will be described in detail with reference to the drawings.

第1の実施形態では、自動販売機10が顧客IDを生成し、管理サーバ20が当該顧客IDを用いてアカウントを自動的に生成する場合について説明した。第2の実施形態では、企業のマーケティング活動に利用可能な情報を生成する場合について説明する。なお、第2の実施形態に係るポイント管理システムの概略構成や各装置のハードウェア構成は、第1の実施形態にて説明した構成と同様であるので、第2の実施形態の図2、図5及び図11に相当する説明を省略する。   In the first embodiment, a case has been described in which the vending machine 10 generates a customer ID and the management server 20 automatically generates an account using the customer ID. In the second embodiment, a case will be described in which information that can be used for corporate marketing activities is generated. Note that the schematic configuration of the point management system according to the second embodiment and the hardware configuration of each device are the same as those described in the first embodiment, so FIG. 2 and FIG. 2 of the second embodiment. 5 and the description corresponding to FIG.

図15は、第2の実施形態に係る自動販売機10aの処理構成の一例を示すブロック図である。図15を参照すると、第1の実施形態に係る自動販売機10と比較し、第2の実施形態に係る自動販売機10aは、顧客ID生成部204aの機能が異なっている。より具体的には、顧客ID生成部204aは、顧客の顔画像から生成した顧客IDと共に、当該顧客IDの生成時に得られる情報(以下、付帯情報と表記する)を管理サーバ20aに送信する。   FIG. 15 is a block diagram illustrating an example of a processing configuration of the vending machine 10a according to the second embodiment. Referring to FIG. 15, the vending machine 10a according to the second embodiment differs from the vending machine 10 according to the first embodiment in the function of the customer ID generation unit 204a. More specifically, the customer ID generation unit 204a transmits information obtained when the customer ID is generated (hereinafter referred to as supplementary information) to the management server 20a together with the customer ID generated from the customer's face image.

顧客ID生成部204aが送信する付帯情報としては、自動販売機10aの位置(緯度、経度)、顧客が商品を購入した日時、顧客が購入した商品に関する情報(例えば、商品名)が例示される。   The incidental information transmitted by the customer ID generation unit 204a is exemplified by the position (latitude, longitude) of the vending machine 10a, the date and time when the customer purchased the product, and information on the product purchased by the customer (for example, the product name). .

あるいは、顧客ID生成部204aは、管理サーバ20aに送信する付帯情報を、入力部201を介して取得する撮像データに基づき生成してもよい。例えば、顧客ID生成部204aは、撮像データを解析することで顧客の性別、年代(又は年齢)を推定し、当該推定した性別等を付帯情報として管理サーバ20aに送信してもよい。なお、撮像データ(顔画像)からの性別、年代の推定には、特開2007−080057号公報(参考文献3)に記載の技術を利用することができる。   Alternatively, the customer ID generation unit 204a may generate incidental information to be transmitted to the management server 20a based on imaging data acquired via the input unit 201. For example, the customer ID generation unit 204a may estimate the gender and age (or age) of the customer by analyzing the imaging data, and transmit the estimated gender and the like as incidental information to the management server 20a. Note that the technique described in Japanese Patent Application Laid-Open No. 2007-080057 (Reference Document 3) can be used for estimating the sex and age from the captured data (face image).

図16は、第2の実施形態に係る管理サーバ20aの処理構成の一例を示すブロック図である。図16を参照すると、第1の実施形態に係る管理サーバ20と比較し、第2の実施形態に係る管理サーバ20aは、アカウント管理部301aの機能が異なる点と、マーケティング情報生成部303を有する点と、が異なる。   FIG. 16 is a block diagram illustrating an example of a processing configuration of the management server 20a according to the second embodiment. Referring to FIG. 16, compared to the management server 20 according to the first embodiment, the management server 20a according to the second embodiment includes a marketing information generation unit 303 and a difference in the function of the account management unit 301a. The point is different.

アカウント管理部301aは、第1の実施形態にて説明したアカウント管理と同様の動作を行いつつ、各アカウントの顧客IDと共に送信される付帯情報をアカウント管理テーブルに追加する。   The account management unit 301a adds the incidental information transmitted together with the customer ID of each account to the account management table while performing the same operation as the account management described in the first embodiment.

図17は、第2の実施形態にて用いられるアカウント管理テーブルの一例を示す図である。図17を参照すると、アカウント管理部301aは、顧客IDと共に送信されてくる付帯情報を受信するたびに、当該付帯情報をアカウント管理テーブルに追記していくことで、顧客IDにより一意に定まる人物の商品購入履歴が構成される。   FIG. 17 is a diagram illustrating an example of an account management table used in the second embodiment. Referring to FIG. 17, each time the account management unit 301 a receives the incidental information transmitted together with the customer ID, the account management unit 301 a adds the incidental information to the account management table, thereby identifying the person uniquely determined by the customer ID. A product purchase history is configured.

マーケティング情報生成部303は、アカウント管理テーブルにより記憶される情報(付帯情報)により、マーケティング情報を生成する手段である。例えば、システム管理者が、操作デバイスや端末(図示せず)を用いて、管理サーバ20aにマーケティング情報生成に関する情報を入力すると、マーケティング情報生成部303は、当該入力情報に基づきマーケティング情報を生成する。   The marketing information generation unit 303 is means for generating marketing information based on information (accompanying information) stored in the account management table. For example, when a system administrator inputs information about marketing information generation to the management server 20a using an operation device or a terminal (not shown), the marketing information generation unit 303 generates marketing information based on the input information. .

例えば、マーケティング情報生成部303は、アカウント管理テーブルにより管理される人物ごとの商品購入履歴を集計し、マーケティング情報とすることができる。   For example, the marketing information generation unit 303 can aggregate the product purchase history for each person managed by the account management table and use it as marketing information.

あるいは、マーケティング情報生成部303は、特定の人物に着目し、当該人物の行動履歴を可視化するような情報を生成し、マーケティング情報としてもよい。図17の例示では、顧客ID_1により特定される人物の行動履歴を、図18のように可視化してもよい。   Alternatively, the marketing information generation unit 303 may focus on a specific person, generate information that visualizes the action history of the person, and use the information as marketing information. In the illustration of FIG. 17, the action history of the person specified by the customer ID_1 may be visualized as shown in FIG.

ここで、顧客により承認されていないアカウント(アカウント状態が「未承認」のアカウント)であっても、付帯情報が追加されることにより、当該アカウントからマーケティング情報を生成することは可能である。しかし、未承認なアカウントが必ずしも承認されるとは限らず、アカウントの廃止を希望する顧客は、たとえ、顧客IDが匿名化されているとしても、自身の行動が把握されるような情報(商品購入履歴、行動履歴)の存在を肯定する可能性は低いと想定される。従って、マーケティング情報生成部303は、マーケティング情報生成の基礎となるアカウントを、顧客により承認されているアカウントに限定することが望ましい。   Here, even if the account is not approved by the customer (account whose account status is “unapproved”), it is possible to generate marketing information from the account by adding incidental information. However, an unapproved account is not always approved, and a customer who wants to abolish the account is able to grasp his / her behavior even if the customer ID is anonymized (product) It is assumed that the possibility of affirming the existence of purchase history and behavior history is low. Therefore, it is desirable for the marketing information generation unit 303 to limit the account serving as a basis for generating the marketing information to an account approved by the customer.

以上のように、第2の実施形態では、顧客IDと共に送信される付帯情報に基づき、小売店等にとって有益なマーケティング情報が生成され、提供される。   As described above, in the second embodiment, marketing information useful for a retail store or the like is generated and provided based on incidental information transmitted together with a customer ID.

なお、第1及び第2の実施形態にて説明したポイント管理システムの構成(図2)は例示であって、システムの構成を限定する趣旨ではない。例えば、自動販売機10の一部機能(例えば、顧客ID生成機能)が管理サーバ20に組み込まれていてもよい。具体的には、自動販売機10は、撮像データを管理サーバ20に送信し、当該撮像データからの顧客ID生成を管理サーバ20に委託してもよい。   Note that the configuration (FIG. 2) of the point management system described in the first and second embodiments is an example, and is not intended to limit the configuration of the system. For example, a partial function (for example, a customer ID generation function) of the vending machine 10 may be incorporated in the management server 20. Specifically, the vending machine 10 may transmit imaging data to the management server 20 and entrust the management server 20 to generate a customer ID from the imaging data.

第2の実施形態では、顧客にポイントを付与した上で、自動販売機10が生成する付帯情報をマーケティングに利用する場合を説明したが、顧客にポイントを付与せずにマーケティング情報を生成することも勿論可能である。   In 2nd Embodiment, after giving the customer a point and explaining the case where the incidental information which the vending machine 10 produces | generates was used for marketing, generating marketing information without giving a customer a point Of course it is possible.

上記実施形態では、顧客が新規アカウントに対する意思表示は、アカウントの利用(アカウント承認)かアカウント廃止(アカウント非承認)の2択であったが、顧客によるアカウント承認を保留する選択肢を用意してもよい。具体的には、図4(b)において、「アカウント利用ボタン」と「アカウント廃止ボタン」に加え、「保留ボタン」を設けてもよい。この場合、管理サーバ20は、未承認の状態にあるアカウントにより、顧客に付与された仮のポイントを管理することになる。   In the above embodiment, the customer's intention for the new account was either the use of the account (account approval) or the account abolition (account non-approval), but even if the option to hold the account approval by the customer is prepared Good. Specifically, in FIG. 4B, a “hold button” may be provided in addition to the “account use button” and the “account abolish button”. In this case, the management server 20 manages temporary points given to the customer by an account in an unapproved state.

上記実施形態では、顧客がアカウントを利用する形態としては、顧客が、自身のアカウントに蓄積されたポイントを使用するか、ポイント付与を希望するか、の2つであったが、使用するポイント数を顧客が指定できる形態であってもよい。   In the above embodiment, the customer uses the account in two ways: whether the customer uses points accumulated in his / her own account or wants to give points. Can be specified by the customer.

上記実施形態では、同一人物を自動販売機10が撮影すれば、得られる撮像データから抽出される顔画像は同一であることを前提としている。しかし、実際には、顧客を撮影する時間帯や顧客の立ち位置によって、同一人物であっても得られる顔画像が異なる可能性がある。この場合、特徴量ベクトル算出の元となった顔画像が異なれば、当該顔画像から得られる特徴量ベクトルが異なり、2つの特徴量ベクトルから生成される顧客IDもまた異なるものとなる。即ち、同一人物であっても別人であると判断され、異なる顧客IDが割り当てられる可能性がある。   In the said embodiment, if the vending machine 10 image | photographs the same person, it is a premise that the face image extracted from the imaging data obtained is the same. However, in fact, there is a possibility that the face image obtained even for the same person differs depending on the time zone for photographing the customer and the standing position of the customer. In this case, if the face image from which the feature quantity vector is calculated is different, the feature quantity vector obtained from the face image is different, and the customer ID generated from the two feature quantity vectors is also different. That is, even if it is the same person, it is judged that it is a different person, and a different customer ID may be assigned.

上記のような不都合を解消するため、撮像データに事前処理を施し、同一人物であれば同じ特徴量ベクトル(顧客ID)が生成されるようにすることが望ましい。例えば、顧客が自動販売機10に正対しておらず斜めを向いている場合や、顧客が所定の位置よりも離れている(あるいは顧客と自動販売機10の間の距離が短すぎる)場合等を考慮し、特徴量ベクトル生成部203は、顔画像に対して幾何的な変換(例えば、顔が正面を向くように画像を回転、顔のサイズが所定の大きさとなるように画像を拡大縮小)を施した上で(顔画像を正規化した上で)、特徴量ベクトルの生成をするのが望ましい。   In order to eliminate the inconvenience as described above, it is desirable to perform preprocessing on the imaging data so that the same feature vector (customer ID) is generated for the same person. For example, when the customer is not facing the vending machine 10 and is facing the diagonal, or when the customer is farther than a predetermined position (or the distance between the customer and the vending machine 10 is too short), etc. In consideration of the above, the feature vector generation unit 203 performs geometric transformation on the face image (for example, the image is rotated so that the face faces the front, and the image is enlarged or reduced so that the face size becomes a predetermined size. ) (After normalizing the face image), it is desirable to generate a feature vector.

あるいは、上記不都合を解消するため、顔画像の解像度を低くする等の対応を行ってもよい。例えば、顔画像のサイズが256×256ピクセルの場合に、当該サイズを16×16ピクセルに変換し、当該変換された顔画像から特徴量ベクトルを生成することで、同一人物の2つの顔画像における微小な座標の違いを吸収することができる。但し、顔画像の解像度を低下させると、異なる人物同士が同一人物であると判定される可能性が高くなる。そこで、顔画像の解像度を適切に選択する事で、顧客IDによる精度を調整するのが望ましい。   Alternatively, in order to eliminate the above inconvenience, a countermeasure such as lowering the resolution of the face image may be performed. For example, when the size of a face image is 256 × 256 pixels, the size is converted to 16 × 16 pixels, and a feature quantity vector is generated from the converted face image, so that two face images of the same person A minute difference in coordinates can be absorbed. However, if the resolution of the face image is lowered, the possibility that different persons are determined to be the same person increases. Therefore, it is desirable to adjust the accuracy based on the customer ID by appropriately selecting the resolution of the face image.

上記実施形態では、管理サーバ20が顧客に対して一律にポイントを付与する場合について説明した。しかし、例えば、商品を購入する際の顧客の表情等に基づいて、顧客に付与するポイントを差別化してもよい。例えば、顧客が笑顔で商品を購入している場合には多くのポイントを付与し、怒った顔や悲しい顔の場合には少ないポイントを付与するという差別化をしてもよい。但し、顧客が怒っていても笑っていても人物は同一であり、怒り顔であっても笑い顔であっても同一人物であると認識される必要がある。つまり、異なる表情の顔画像から生成する顧客IDは同一である必要がある。そこで、特徴量ベクトル生成部203は、顔画像から抽出した特徴点のうち、表情の変化による影響が少ない特徴点(例えば、鼻頭等)を選択し、顧客IDを生成し、さらに、顔画像から抽出した特徴点に対しテンプレートマッチング等の手法を適用し、当該顔画像に映る人物の表情を決定するのが望ましい。即ち、特徴量ベクトル生成部203は、顧客IDを生成するための特徴点と顧客の表情を特定するための特徴点に関し、それぞれ異なる特徴点を用いるのが望ましい。なお、自動販売機10は、顧客IDと共に、顧客の表情を管理サーバ20に通知する。管理サーバ20は、顧客の表情に応じたポイント数を顧客に付与する。   In the embodiment described above, the case where the management server 20 uniformly gives points to customers has been described. However, for example, the points to be given to the customer may be differentiated based on the facial expression of the customer when purchasing the product. For example, a differentiation may be made such that many points are given when a customer purchases a product with a smile, and few points are given when an angry or sad face is purchased. However, even if the customer is angry or laughing, the person is the same, and even if the customer is angry or laughing, it must be recognized as the same person. That is, customer IDs generated from face images with different facial expressions need to be the same. Therefore, the feature vector generation unit 203 selects a feature point (for example, a nasal head) that is less affected by the change in facial expression from the feature points extracted from the face image, generates a customer ID, and further generates a customer ID from the face image. It is desirable to apply a technique such as template matching to the extracted feature points to determine the facial expression of the person shown in the face image. That is, it is desirable that the feature vector generation unit 203 uses different feature points for the feature point for generating the customer ID and the feature point for specifying the customer's facial expression. The vending machine 10 notifies the management server 20 of the customer's facial expression along with the customer ID. The management server 20 gives the customer the number of points corresponding to the customer's facial expression.

上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、例えば各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。   In the plurality of flowcharts used in the above description, a plurality of steps (processes) are described in order, but the execution order of the steps executed in each embodiment is not limited to the description order. In each embodiment, the order of the illustrated steps can be changed within a range that does not hinder the contents, for example, the processes are executed in parallel. Moreover, each above-mentioned embodiment can be combined in the range in which the content does not conflict.

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
上述の第1の視点に係るポイント管理システムのとおりである。
[付記2]
前記管理サーバは、
前記アカウントを生成した場合に、前記生成したアカウントの状態を未承認に設定し、
前記自動販売機から受信した顧客IDに一致する顧客IDのアカウントであって、状態が未承認に設定されているアカウントが存在する場合に、前記自動販売機に対して未承認のアカウントが存在する旨の通知を行い、
前記自動販売機は、前記未承認のアカウントが存在する旨の通知を受信した場合に、前記生成されたアカウントを利用するか、又は、廃止するかに関する前記顧客の意思を確認する、付記1のポイント管理システム。
[付記3]
前記自動販売機は、前記確認した顧客の意思を前記管理サーバに通知し、
前記管理サーバは、前記顧客が前記生成されたアカウントの廃止の意思を示した時は、前記生成されたアカウントを削除する、付記2のポイント管理システム。
[付記4]
前記自動販売機は、前記撮像データから顔画像を抽出し、前記抽出された顔画像を特徴付ける特徴量ベクトルを生成し、前記生成された特徴量ベクトルに基づき前記顧客IDを生成する、付記1乃至3のいずれか一に記載のポイント管理システム。
[付記5]
前記自動販売機は、前記抽出された顔画像から特徴点を抽出し、前記抽出された特徴点の座標を並べることで、前記特徴量ベクトルを生成する、付記4のポイント管理システム。
[付記6]
前記自動販売機は、前記特徴量ベクトルによる数値列を、不可逆な一方向関数のハッシュ関数に入力することで得られるハッシュ値を前記顧客IDとする、付記4又は5のポイント管理システム。
[付記7]
前記自動販売機は、前記顧客IDと共に、前記顧客IDの生成時に得られる付帯情報を出力し、
前記管理サーバは、前記付帯情報に基づき前記顧客の商品購入履歴又は行動履歴をマーケティング情報として生成する、付記1乃至6のいずれか一に記載のポイント管理システム。
[付記8]
前記自動販売機は、前記撮像データに基づき、前記顧客の性別又は年代を前記付帯情報として生成する、付記7のポイント管理システム。
[付記9]
上述の第2の視点に係るアカウント生成方法のとおりである。
[付記10]
上述の第3の視点に係る自動販売機のとおりである。
[付記11]
上述の第4の視点に係るプログラムのとおりである。
なお、付記9〜11の形態は、付記1の形態と同様に、付記2の形態〜付記8の形態に展開することが可能である。
A part or all of the above embodiments can be described as in the following supplementary notes, but is not limited thereto.
[Appendix 1]
This is the same as the point management system according to the first aspect described above.
[Appendix 2]
The management server
When you create the account, set the status of the generated account to unapproved,
If there is an account with a customer ID that matches the customer ID received from the vending machine and the status is set to unapproved, there is an unapproved account for the vending machine To that effect,
The vending machine confirms the customer's intention regarding whether to use or abolish the generated account when receiving a notification that the unapproved account exists. Point management system.
[Appendix 3]
The vending machine notifies the management server of the intention of the confirmed customer,
The point management system according to appendix 2, wherein the management server deletes the generated account when the customer indicates an intention to abolish the generated account.
[Appendix 4]
The vending machine extracts a face image from the imaging data, generates a feature vector that characterizes the extracted face image, and generates the customer ID based on the generated feature vector. 4. The point management system according to any one of 3.
[Appendix 5]
The point management system according to appendix 4, wherein the vending machine extracts feature points from the extracted face image and generates the feature quantity vector by arranging the coordinates of the extracted feature points.
[Appendix 6]
The point management system according to appendix 4 or 5, wherein the vending machine uses, as the customer ID, a hash value obtained by inputting a numerical sequence based on the feature vector into an irreversible one-way function hash function.
[Appendix 7]
The vending machine outputs incidental information obtained when generating the customer ID together with the customer ID,
The point management system according to any one of appendices 1 to 6, wherein the management server generates a product purchase history or an action history of the customer as marketing information based on the supplementary information.
[Appendix 8]
The point management system according to appendix 7, wherein the vending machine generates gender or age of the customer as the incidental information based on the imaging data.
[Appendix 9]
This is the same as the account generation method according to the second viewpoint described above.
[Appendix 10]
The vending machine according to the third aspect described above.
[Appendix 11]
It is as the program which concerns on the above-mentioned 4th viewpoint.
Note that the forms of Supplementary Notes 9 to 11 can be developed into the form of Supplementary Note 2 to the form of Supplementary Note 8, similarly to the form of Supplementary Note 1.

なお、引用した上記の特許文献の開示は、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。   The disclosure of the cited patent document is incorporated herein by reference. Within the scope of the entire disclosure (including claims) of the present invention, the embodiments and examples can be changed and adjusted based on the basic technical concept. In addition, various combinations or selections of various disclosed elements (including each element in each claim, each element in each embodiment or example, each element in each drawing, etc.) within the scope of the entire disclosure of the present invention. Is possible. That is, the present invention of course includes various variations and modifications that could be made by those skilled in the art according to the entire disclosure including the claims and the technical idea. In particular, with respect to the numerical ranges described in this document, any numerical value or small range included in the range should be construed as being specifically described even if there is no specific description.

10、10a、10−1〜10−n、101 自動販売機
20、20a、102 管理サーバ
11、21 CPU(Central Processing Unit)
12、22 メモリ
13 表示モジュール
14 操作モジュール
15 カメラモジュール
16、24 NIC(Network Interface Card)
23 入出力インターフェイス
201 入力部
202 顔画像抽出部
203 特徴量ベクトル生成部
204、204a 顧客ID生成部
205 操作処理部
206、302 通信制御部
301、301a アカウント管理部
303 マーケティング情報生成部
10, 10a, 10-1 to 10-n, 101 Vending machine 20, 20a, 102 Management server 11, 21 CPU (Central Processing Unit)
12, 22 Memory 13 Display module 14 Operation module 15 Camera module 16, 24 NIC (Network Interface Card)
23 Input / output interface 201 Input unit 202 Face image extraction unit 203 Feature vector generation unit 204, 204a Customer ID generation unit 205 Operation processing unit 206, 302 Communication control unit 301, 301a Account management unit 303 Marketing information generation unit

Claims (11)

顧客の顔画像を含む撮像データから前記顧客を識別する顧客IDを生成し、出力する自動販売機と、
前記生成された顧客IDの受信を契機として、前記顧客に付与されるポイントを管理するアカウントを生成する、管理サーバと、
を含み、
前記生成された顧客IDから前記顧客の顔を再現することはできない、ポイント管理システム。
A vending machine that generates and outputs a customer ID for identifying the customer from imaging data including a customer face image;
A management server for generating an account for managing points given to the customer, triggered by reception of the generated customer ID;
Including
A point management system in which the customer's face cannot be reproduced from the generated customer ID.
前記管理サーバは、
前記アカウントを生成した場合に、前記生成したアカウントの状態を未承認に設定し、
前記自動販売機から受信した顧客IDに一致する顧客IDのアカウントであって、状態が未承認に設定されているアカウントが存在する場合に、前記自動販売機に対して未承認のアカウントが存在する旨の通知を行い、
前記自動販売機は、前記未承認のアカウントが存在する旨の通知を受信した場合に、前記生成されたアカウントを利用するか、又は、廃止するかに関する前記顧客の意思を確認する、請求項1のポイント管理システム。
The management server
When you create the account, set the status of the generated account to unapproved,
If there is an account with a customer ID that matches the customer ID received from the vending machine and the status is set to unapproved, there is an unapproved account for the vending machine To that effect,
The vending machine confirms the customer's intention regarding whether to use or abolish the generated account when receiving a notification that the unauthorized account exists. Point management system.
前記自動販売機は、前記確認した顧客の意思を前記管理サーバに通知し、
前記管理サーバは、前記顧客が前記生成されたアカウントの廃止の意思を示した時は、前記生成されたアカウントを削除する、請求項2のポイント管理システム。
The vending machine notifies the management server of the intention of the confirmed customer,
The point management system according to claim 2, wherein the management server deletes the generated account when the customer indicates an intention to abolish the generated account.
前記自動販売機は、前記撮像データから顔画像を抽出し、前記抽出された顔画像を特徴付ける特徴量ベクトルを生成し、前記生成された特徴量ベクトルに基づき前記顧客IDを生成する、請求項1乃至3のいずれか一項に記載のポイント管理システム。   The vending machine extracts a face image from the imaging data, generates a feature vector that characterizes the extracted face image, and generates the customer ID based on the generated feature vector. The point management system as described in any one of thru | or 3. 前記自動販売機は、前記抽出された顔画像から特徴点を抽出し、前記抽出された特徴点の座標を並べることで、前記特徴量ベクトルを生成する、請求項4のポイント管理システム。   The point management system according to claim 4, wherein the vending machine extracts feature points from the extracted face image, and generates the feature quantity vector by arranging the coordinates of the extracted feature points. 前記自動販売機は、前記特徴量ベクトルによる数値列を、不可逆な一方向関数のハッシュ関数に入力することで得られるハッシュ値を前記顧客IDとする、請求項4又は5のポイント管理システム。   6. The point management system according to claim 4, wherein the vending machine uses a hash value obtained by inputting a numerical sequence based on the feature vector into a hash function of an irreversible one-way function as the customer ID. 前記自動販売機は、前記顧客IDと共に、前記顧客IDの生成時に得られる付帯情報を出力し、
前記管理サーバは、前記付帯情報に基づき前記顧客の商品購入履歴又は行動履歴をマーケティング情報として生成する、請求項1乃至6のいずれか一項に記載のポイント管理システム。
The vending machine outputs incidental information obtained when generating the customer ID together with the customer ID,
The point management system according to any one of claims 1 to 6, wherein the management server generates a product purchase history or an action history of the customer as marketing information based on the incidental information.
前記自動販売機は、前記撮像データに基づき、前記顧客の性別又は年代を前記付帯情報として生成する、請求項7のポイント管理システム。   The point management system according to claim 7, wherein the vending machine generates gender or age of the customer as the incidental information based on the imaging data. 自動販売機が、顧客の顔画像を含む撮像データから前記顧客を識別する顧客IDを生成し、出力するステップと、
管理サーバが、前記生成された顧客IDの受信を契機として、前記顧客に付与されるポイントを管理するアカウントを生成するステップと、
を含み、
前記生成された顧客IDから前記顧客の顔を再現することはできない、アカウント生成方法。
A vending machine generating and outputting a customer ID for identifying the customer from imaging data including a customer's face image; and
A management server generating an account for managing points given to the customer, triggered by reception of the generated customer ID;
Including
An account generation method in which the customer's face cannot be reproduced from the generated customer ID.
顧客の顔画像を含む撮像データから前記顧客を識別する顧客IDを生成する顧客ID生成部を備え、
前記顧客ID生成部は、前記生成された顧客IDを、前記生成された顧客IDの受信を契機として、前記顧客に付与されるポイントを管理するアカウントを生成する管理サーバに向けて出力し、
前記生成された顧客IDから前記顧客の顔を再現することはできない、自動販売機。
A customer ID generating unit that generates a customer ID for identifying the customer from imaging data including a customer face image;
The customer ID generation unit outputs the generated customer ID toward a management server that generates an account for managing points given to the customer, triggered by reception of the generated customer ID,
A vending machine that cannot reproduce the customer's face from the generated customer ID.
顧客の顔画像を含む撮像データから前記顧客を識別するIDであって、前記IDから前記顧客の顔を再現することはできない顧客IDを生成する処理と、
前記生成された顧客IDを、前記生成された顧客IDの受信を契機として、前記顧客に付与されるポイントを管理するアカウントを生成する管理サーバに向けて出力する処理と、
を自動販売機を制御するコンピュータに実行させるプログラム。
Processing for generating an ID for identifying the customer from imaging data including a customer's face image, the customer ID being unable to reproduce the customer's face from the ID;
A process of outputting the generated customer ID to a management server that generates an account for managing points given to the customer, triggered by reception of the generated customer ID;
A program that causes a computer that controls a vending machine to execute
JP2015231354A 2015-11-27 2015-11-27 Point management system, account generation method, vending machine and program Active JP6728649B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015231354A JP6728649B2 (en) 2015-11-27 2015-11-27 Point management system, account generation method, vending machine and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015231354A JP6728649B2 (en) 2015-11-27 2015-11-27 Point management system, account generation method, vending machine and program

Publications (2)

Publication Number Publication Date
JP2017097743A true JP2017097743A (en) 2017-06-01
JP6728649B2 JP6728649B2 (en) 2020-07-22

Family

ID=58803958

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015231354A Active JP6728649B2 (en) 2015-11-27 2015-11-27 Point management system, account generation method, vending machine and program

Country Status (1)

Country Link
JP (1) JP6728649B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018225113A1 (en) * 2017-06-05 2018-12-13 日本電気株式会社 Value determining device, value determining method, recording medium having value determining program recorded thereon, system, and notifying device
WO2020003400A1 (en) * 2018-06-27 2020-01-02 株式会社日立国際電気 Face collation system
JP2020087093A (en) * 2018-11-28 2020-06-04 サントリーホールディングス株式会社 Vending machine settlement system, vending machine, face authentication server, vending machine settlement method, and program
WO2022185542A1 (en) * 2021-03-05 2022-09-09 日本電気株式会社 Server device, terminal, system, server control method, and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312835A (en) * 2001-04-11 2002-10-25 Matsushita Electric Ind Co Ltd Automatic vending machine system
JP2009043176A (en) * 2007-08-10 2009-02-26 Yamaha Motor Co Ltd Vending machine
JP2010055248A (en) * 2008-08-27 2010-03-11 Shoei Computer:Kk Sales information generation system with clientele
JP2011113477A (en) * 2009-11-30 2011-06-09 Fuji Electric Retail Systems Co Ltd Automatic vending machine
WO2015151155A1 (en) * 2014-03-31 2015-10-08 株式会社日立国際電気 Personal safety verification system and similarity search method for data encrypted for confidentiality

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312835A (en) * 2001-04-11 2002-10-25 Matsushita Electric Ind Co Ltd Automatic vending machine system
JP2009043176A (en) * 2007-08-10 2009-02-26 Yamaha Motor Co Ltd Vending machine
JP2010055248A (en) * 2008-08-27 2010-03-11 Shoei Computer:Kk Sales information generation system with clientele
JP2011113477A (en) * 2009-11-30 2011-06-09 Fuji Electric Retail Systems Co Ltd Automatic vending machine
WO2015151155A1 (en) * 2014-03-31 2015-10-08 株式会社日立国際電気 Personal safety verification system and similarity search method for data encrypted for confidentiality

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018225113A1 (en) * 2017-06-05 2018-12-13 日本電気株式会社 Value determining device, value determining method, recording medium having value determining program recorded thereon, system, and notifying device
WO2020003400A1 (en) * 2018-06-27 2020-01-02 株式会社日立国際電気 Face collation system
JPWO2020003400A1 (en) * 2018-06-27 2021-05-13 株式会社日立国際電気 Face matching system
JP2020087093A (en) * 2018-11-28 2020-06-04 サントリーホールディングス株式会社 Vending machine settlement system, vending machine, face authentication server, vending machine settlement method, and program
JP7180869B2 (en) 2018-11-28 2022-11-30 サントリーホールディングス株式会社 Vending machine payment system, vending machine, face authentication server, vending machine payment method and program
WO2022185542A1 (en) * 2021-03-05 2022-09-09 日本電気株式会社 Server device, terminal, system, server control method, and storage medium

Also Published As

Publication number Publication date
JP6728649B2 (en) 2020-07-22

Similar Documents

Publication Publication Date Title
US11195165B2 (en) Modulating mobile-device displays based on ambient signals to reduce the likelihood of fraud
Mason et al. An investigation of biometric authentication in the healthcare environment
US11777930B2 (en) Transaction authentication
CN108293054A (en) System and method for the biometric authentication for using social networks
JP6728649B2 (en) Point management system, account generation method, vending machine and program
JP2022022083A (en) Entry/exit management device, entry/exit management method, entry/exit management program and entry/exit management system
JP2017102846A (en) Customer servicing evaluation device and customer servicing evaluation method
JP7180869B2 (en) Vending machine payment system, vending machine, face authentication server, vending machine payment method and program
JP2022098409A (en) Management system, server device, program, and method
JP7207521B2 (en) Authentication method, authentication device, program
JP2013190934A (en) Counter authentication system, counter authentication server, program and counter authentication method
JP2016136361A (en) Payment system, payment server and payment method
JP7239149B2 (en) Vending machine payment system, vending machine, vending machine payment method and program
JP2009289183A (en) Content providing system, content providing method and program
JP7036300B1 (en) System, authentication method, authentication terminal, authentication terminal control method and program
US20240086962A1 (en) System, authentication server, management server, authentication terminal and method
US20190005314A1 (en) Online user verification without prior knowledge of the user
US20230125814A1 (en) Credit score management apparatus, credit score management method, and computer readable recording medium
JP7116372B1 (en) Authentication terminal, authentication terminal control method and program
WO2022185542A1 (en) Server device, terminal, system, server control method, and storage medium
US20240037595A1 (en) Information controlling apparatus, information controlling method, and computer-readable medium
WO2023021599A1 (en) Device, system, and method for recommendation, and computer-readable medium
WO2023281747A1 (en) Service processing device, system, method, and computer-readable medium
WO2022065059A1 (en) Authentication system
EP4117328A1 (en) Authentication system, authentication method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181002

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200615

R150 Certificate of patent or registration of utility model

Ref document number: 6728649

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150