JP6443184B2 - Checkout system, product registration device, checkout device, program, and checkout method - Google Patents
Checkout system, product registration device, checkout device, program, and checkout method Download PDFInfo
- Publication number
- JP6443184B2 JP6443184B2 JP2015072038A JP2015072038A JP6443184B2 JP 6443184 B2 JP6443184 B2 JP 6443184B2 JP 2015072038 A JP2015072038 A JP 2015072038A JP 2015072038 A JP2015072038 A JP 2015072038A JP 6443184 B2 JP6443184 B2 JP 6443184B2
- Authority
- JP
- Japan
- Prior art keywords
- customer
- image
- settlement
- information
- checkout
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Cash Registers Or Receiving Machines (AREA)
Description
本発明は、精算システム、商品登録装置、精算装置、プログラム、及び精算方法に関する。 The present invention relates to a settlement system, a commodity registration apparatus, a settlement apparatus, a program, and a settlement method.
スーパーマーケット等の店舗におけるレジ端末では、(1)精算対象の商品を登録する処理(バーコードの読み取りなど)及び(2)登録された商品の精算を行う処理(代金の受け取りやおつりの返却など)という2つの処理が行われる。 At cash register terminals in supermarkets and other stores, (1) processing for registering products for payment (reading barcodes, etc.) and (2) processing for performing payments for registered products (such as receiving payment and returning a change) Two processes are performed.
そして、このようなレジ端末の機能を2つの装置に分離し、(1)の処理と(2)の処理とを異なる装置で行うという運用方法がある。例えば特許文献1は、(1)の処理に用いられる登録装置と、(2)の処理に用いられる会計装置とが分離して設けられているセルフ POS システムを開示している。店員は、登録装置を用いて商品の登録を行う。登録装置は、撮像部で顧客を撮像する。登録装置を操作する店員は、撮像部によって撮像された顧客の画像の中から、会計データ(登録された商品に関するデータ)に関連付ける顧客の画像を選択する。その結果、登録装置は、顧客の画像と会計データとを関連付ける。その後、顧客は、会計装置を利用して会計を行う。会計装置は、顧客を撮像し、生成された顧客の画像と一致性の高い顧客の画像に関連付けられている会計データを取得する。そして、顧客は、この会計データに基づく会計を行う。 Then, there is an operation method in which the function of the cash register terminal is divided into two devices, and the processing of (1) and the processing of (2) are performed by different devices. For example, Patent Literature 1 discloses a self-POS system in which a registration device used for the process (1) and an accounting device used for the process (2) are separately provided. The store clerk registers the product using the registration device. The registration device images the customer by the imaging unit. The store clerk operating the registration device selects a customer image to be associated with the accounting data (data regarding the registered product) from the customer image captured by the imaging unit. As a result, the registration device associates the customer image with the transaction data. Thereafter, the customer performs accounting using the accounting device. The accounting apparatus captures the customer and acquires accounting data associated with the customer image that is highly consistent with the generated customer image. Then, the customer performs accounting based on this accounting data.
登録装置を利用する顧客と、登録装置で登録された商品の精算を行うために精算装置を利用する顧客とは、異なる場合がある。例えば夫婦で買い物に来ている場合、夫が登録装置を利用し、妻が会計装置を利用する場合がある。そのため、会計装置を利用する顧客を店員が決定したり、装置で自動的に決定したりすることは難しい。 A customer who uses a registration device may be different from a customer who uses a payment device to check out a product registered by the registration device. For example, when a couple is shopping, a husband may use a registration device and a wife may use an accounting device. For this reason, it is difficult for the store clerk to determine the customer who uses the accounting apparatus or to automatically determine the customer using the apparatus.
特許文献1の発明では、会計に関する情報に対して関連付ける顧客の画像を、店員が決定している。そのため、登録装置を利用した顧客以外の顧客は会計装置を利用できない。 In the invention of Patent Document 1, a store clerk determines a customer image to be associated with information related to accounting. Therefore, customers other than the customer who uses the registration device cannot use the accounting device.
本発明は、上記の課題に鑑みてなされたものである。本発明の目的は、顧客が柔軟に精算を行えるようにする技術を提供することである。 The present invention has been made in view of the above problems. An object of the present invention is to provide a technique that allows a customer to flexibly perform settlement.
本発明の精算システムは、商品登録装置及び精算装置を有する。
前記商品登録装置は、顧客を含む第1顧客画像を生成する第1撮像手段と、顧客が閲覧できるディスプレイ装置に前記第1顧客画像を表示する第1表示制御手段と、精算処理を行う顧客の第1顧客画像を選択する入力を受け付ける第1入力受付手段と、前記選択された第1顧客画像と商品の精算に用いる精算情報とを関連付けた関連情報を生成する生成手段と、を有する。
前記精算装置は、顧客を含む第2顧客画像を生成する第2撮像手段と、前記第2顧客画像に対応する第1顧客画像と前記関連情報において関連付けられている前記精算情報を取得する取得手段と、を有する。
The settlement system of the present invention has a product registration device and a settlement device.
The product registration device includes: a first imaging unit that generates a first customer image including a customer; a first display control unit that displays the first customer image on a display device that can be browsed by the customer; A first input receiving unit that receives an input for selecting a first customer image; and a generating unit that generates related information in which the selected first customer image is associated with payment information used for payment of a product.
The settlement apparatus includes a second imaging unit that generates a second customer image including a customer, and an acquisition unit that acquires the settlement information associated with the first customer image corresponding to the second customer image and the related information. And having.
本発明の商品登録装置は、本発明の精算システムが有する商品登録装置である。 The merchandise registration apparatus of the present invention is a merchandise registration apparatus included in the settlement system of the present invention.
本発明の精算装置は、本発明の精算システムが有する精算装置である。 The settlement apparatus of the present invention is a settlement apparatus included in the settlement system of the present invention.
本発明の第1のプログラムは、コンピュータを本発明の商品登録装置として動作させるプログラムである。 The first program of the present invention is a program that causes a computer to operate as the commodity registration apparatus of the present invention.
本発明の第2のプログラムは、コンピュータを本発明の精算装置として動作させるプログラムである。 The second program of the present invention is a program that causes a computer to operate as the settlement apparatus of the present invention.
本発明の精算方法は、商品登録装置及び精算装置を有する精算システムによって実行される。当該精算方法は、前記商品登録装置が、顧客を含む第1顧客画像を生成する第1撮像ステップと、前記商品登録装置が、顧客が閲覧できるディスプレイ装置に前記第1顧客画像を表示する第1表示制御ステップと、前記商品登録装置が、精算処理を行う顧客の第1顧客画像を選択する入力を受け付ける第1入力受付ステップと、前記商品登録装置が、前記選択された第1顧客画像と商品の精算に用いる精算情報とを関連付けた関連情報を生成する生成ステップと、前記精算装置が、顧客を含む第2顧客画像を生成する第2撮像ステップと、前記精算装置が、前記第2顧客画像に対応する第1顧客画像と前記関連情報において関連付けられている前記精算情報を取得する取得ステップと、を有する。 The settlement method of the present invention is executed by a settlement system having a product registration apparatus and a settlement apparatus. In the settlement method, the product registration device generates a first customer image including a customer, and the product registration device displays the first customer image on a display device that the customer can view. A display control step, a first input receiving step in which the product registration device receives an input for selecting a first customer image of a customer who performs a checkout process, and the product registration device has the selected first customer image and product A generating step for generating related information associated with the checkout information used for checkout, a second imaging step in which the checkout device generates a second customer image including a customer, and the checkout device in the second customer image. And acquiring the settlement information associated with the first customer image corresponding to the information in the related information.
本発明によれば、顧客が柔軟に精算を行えるようにする技術が提供される。 ADVANTAGE OF THE INVENTION According to this invention, the technique which enables a customer to pay flexibly is provided.
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In all the drawings, the same reference numerals are given to the same components, and the description will be omitted as appropriate.
[実施形態1]
図1は、精算システム2000が有する商品登録装置3000と精算装置4000の配置を例示する図である。精算システム2000は、商品登録装置3000及び精算装置4000を有する。図1に示すように、商品登録装置3000と精算装置4000は、独立した装置として設けられている。精算システム2000を利用する店舗では、商品登録装置3000及び精算装置4000を用いて商品の精算が行われる。ここで、商品登録装置3000及び精算装置4000の設置数はそれぞれ1以上である。
[Embodiment 1]
FIG. 1 is a diagram exemplifying an arrangement of a
商品登録装置3000は、商品を精算対象として登録する処理に用いられる。商品を購入したい顧客は、その商品を持って商品登録装置3000のところへ行く。商品登録装置3000を操作する店員は、顧客から商品を受け取り、その商品を精算対象として登録する。具体的には、店員は、各商品に付されているバーコード等を、商品登録装置3000が有するリーダに読み取らせる。商品の登録に伴い、商品登録装置3000は精算情報を生成する。精算情報は、精算対象として登録された商品の精算処理に関する情報である。
The
精算装置4000は、精算対象として登録された商品の精算(代金の受け取りなど)に用いられる。商品の登録が終わった後、顧客は、任意の精算装置4000のところへ移動する。精算装置4000は、その顧客が購入する商品に関する精算情報を取得し、その精算情報に基づいて精算処理を行う。具体的には、精算装置4000は、顧客に対する代金の提示、顧客によって投入された代金の数え上げ、顧客に対するおつりの払い戻し、レシートの発行などを行う。
The
<商品登録装置3000及び精算装置4000の構成>
図2は、実施形態1に係る精算システム2000を例示するブロック図である。図2において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
<Configuration of
FIG. 2 is a block diagram illustrating a
商品登録装置3000は、第1撮像部3020、第1表示制御部3040、第1入力受付部3060、及び生成部3080を有する。第1撮像部3020は、顧客を含む画像を生成する。以下、この画像を第1顧客画像と表記する。第1表示制御部3040は、顧客が閲覧できるディスプレイ装置10に第1顧客画像を表示する。第1入力受付部3060は、精算処理を行う顧客の第1顧客画像を選択する入力を受け付ける。生成部3080は、選択された第1顧客画像と精算情報とを関連付けた関連情報を生成する。
The
精算装置4000は、第2撮像部4020及び及び取得部4080を有する。第2撮像部4020は、顧客を含む画像を生成する。以下、この画像を第2顧客画像と表記する。取得部4080は、関連情報を用いて、第2顧客画像に対応する第1顧客画像と関連付けられている精算情報を取得する。「第2顧客画像に対応する第1顧客画像」は、第2顧客画像に写っている顧客と同じ顧客が写っていると考えられる第1顧客画像である。「第2顧客画像に対応する第1顧客画像」に関するこれ以上の具体的な説明は後述する。
The
<作用・効果>
一般に、店舗には複数の顧客がいるため、第1撮像部3020によって撮像される画像には、複数の顧客が写る可能性がある。そのため、ある顧客が購入した商品に関する精算情報に関連付けるべき第1顧客画像(その顧客が写っている第1顧客画像)が、どの第1顧客画像なのかを決定することが難しい場合がある。
<Action and effect>
In general, since there are a plurality of customers in a store, there is a possibility that a plurality of customers are reflected in an image captured by the
また、精算装置4000を利用する顧客と、商品登録装置3000を利用する顧客とが同一であるとは限らない。例えば夫婦で買い物に来ている場合、夫が商品登録装置3000を利用し、妻が精算装置4000を利用する場合もある。そのため、精算装置4000を利用する顧客を店員が決定したり、装置で自動的に決定したりすることは難しい。
Further, the customer who uses the
本実施形態の商品登録装置3000は、顧客が写った第1顧客画像に精算情報を関連付ける際、精算情報に関連付ける第1顧客画像を、顧客に選択させる。よって、商品登録装置3000を利用している顧客は、自分が写っている第1顧客画像だけでなく、自分以外の顧客(例えば隣に立っている家族など)が写っている第1顧客画像を選択することもできる。よって、本実施形態の精算システム2000によれば、顧客が柔軟に精算を行える。
When associating the settlement information with the first customer image showing the customer, the
以下、本実施形態についてさらに詳細を述べる。 Hereinafter, the present embodiment will be described in further detail.
<処理の流れ>
図3は、実施形態1の商品登録装置3000によって実行される処理を例示するフローチャートである。第1撮像部3020は第1顧客画像を生成する(S102)。第1表示制御部3040は、第1顧客画像をディスプレイ装置10に表示する(S104)。第1入力受付部3060は、第1顧客画像の選択を受け付ける(S106)。生成部3080は、選択された第1顧客画像と精算情報とを関連付けて関連情報を生成する(S108)。
<Process flow>
FIG. 3 is a flowchart illustrating the process executed by the
図4は、実施形態1の精算装置4000によって実行される処理の流れを例示するフローチャートである。第2撮像部4020は第2顧客画像を生成する(S202)。取得部4080は、第2顧客画像に対応する第1顧客画像と関連付けられている精算情報を取得する(S204)。
FIG. 4 is a flowchart illustrating the flow of processing executed by the
<商品登録装置3000のハードウエア構成例>
商品登録装置3000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。
<Example of Hardware Configuration of
Each functional component of the
図5は、実施形態1の商品登録装置3000を実現する計算機1000のハードウエア構成を例示する図である。この計算機1000は、レジ端末等の専用装置を用いて実装されてもよいし、PC(Personal Computer)や携帯端末などの汎用装置を用いて実装されてもよい。
FIG. 5 is a diagram illustrating a hardware configuration of a
計算機1000は、バス1020、プロセッサ1040、メモリ1060、ストレージ1080、入出力インタフェース1100、及びネットワークインタフェース1120を有する。バス1020は、プロセッサ1040、メモリ1060、ストレージ1080、入出力インタフェース1100、及びネットワークインタフェース1120が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1040などを互いに接続する方法は、バス接続に限定されない。プロセッサ1040は、例えば CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ1060は、例えば RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ1080は、例えばハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ1080は、RAM や ROM 等のメモリであってもよい。
The
入出力インタフェース1100は、計算機1000と入出力デバイスとを接続するためのインタフェースである。入出力デバイスは、例えばキーボードやマウスなどである。
The input /
ネットワークインタフェース1120は、計算機1000を外部の装置と通信可能に接続するためのインタフェースである。ネットワークインタフェース1120は、有線回線と接続するためのネットワークインタフェースでもよいし、無線回線と接続するためのネットワークインタフェースでもよい。例えば商品登録装置3000を構成する計算機1000は、ネットワークを介して、精算装置4000を構成する計算機6000と接続されている。
The
ストレージ1080は、第1撮像部3020、第1表示制御部3040、第1入力受付部3060、及び生成部3080をそれぞれ実現するプログラムモジュールを記憶している。プロセッサ1040は、これら各プログラムモジュールを実行することで、対応する各機能構成部の機能を実現する。ここでプロセッサ1040は、上記各モジュールを実行する際、これらのモジュールをメモリ1060上に読み出してから実行してもよいし、メモリ1060上に読み出さずに実行してもよい。
The
計算機1000のハードウエア構成は図5に示した構成に限定されない。例えば、各プログラムモジュールはメモリ1060に格納されてもよい。この場合、計算機1000は、ストレージ1080を備えていなくてもよい。
The hardware configuration of the
入出力インタフェース1100に接続される入出力デバイスは、商品情報シンボルを読み取るリーダ40を含む。リーダ40の具体的な実装方法は、商品に付されている商品情報シンボルに依存する。商品情報シンボルは、商品に付されているシンボルであり、商品を特定する情報(商品情報のID(Identifier)など)を表すシンボルである。シンボルは、バーコード、2次元コード(QRコード(登録商標)など)、又は文字列シンボルなどである。なお、ここでいう文字列には、数値列も含まれる。商品情報シンボルは、商品情報を特定する情報が符号化されたバーコード等、又は商品情報を特定する情報を表す文字列シンボルなどである。
The input / output device connected to the input /
例えば商品情報シンボルがバーコードである場合、リーダ40はバーコードリーダをある。また例えば、商品情報シンボルが2次元コードである場合、リーダ40は、2次元コードリーダである。また例えば、商品情報シンボルが文字列シンボルである場合、リーダ40は、この文字列を撮像する撮像素子と、撮像された文字列シンボルを解析して商品のIDなどを割り出す処理部とを有する。なお、文字列シンボルの解析には、文字列解析に関する様々な既知の技術を用いることができる。これら既知の技術に関する説明は省略する。
For example, when the product information symbol is a barcode, the
なお、商品情報シンボルとして複数の種類のシンボルが用いられる場合、入出力インタフェース1100には、複数種類のリーダが接続される。例えば、商品情報シンボルとしてバーコード及び2次元コードが用いられる場合、この入出力インタフェース1100には、バーコードリーダ及び2次元コードリーダが接続される。
When a plurality of types of symbols are used as the product information symbol, a plurality of types of readers are connected to the input /
また、入出力インタフェース1100に対して接続される入出力デバイスは、ディスプレイ装置10を含む。ディスプレイ装置10は、第1表示制御部3040によって制御されるディスプレイ装置である。ディスプレイ装置10は、例えばタッチパネル12を有する。ディスプレイ装置10は、商品登録装置3000を利用する顧客が閲覧できるように、顧客の方を向けて設置される。
The input / output device connected to the input /
<<第1撮像部3020のハードウエア構成>>
第1撮像部3020は、撮像した結果を記録する撮像素子を有する。例えば第1撮像部3020は、この撮像素子を有するカメラを用いて構成される。第1撮像部3020は、静止画像を撮像してもよいし、動画を撮像してもよい。後者の場合、第1顧客画像は動画を構成する各フレームである。
<< Hardware Configuration of
The first
第1撮像部3020は、商品登録装置3000を利用する顧客を撮像できる位置に設置される。第1撮像部3020は、商品登録装置3000と一体に設けられていてもよいし、別体に設けられていてもよい。後者の場合、例えば入出力インタフェース1100に対して、第1撮像部3020を実現するカメラ30が接続される。
The
<精算装置4000のハードウエア構成例>
精算装置4000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。
<Hardware configuration example of
Each functional component of the
図6は、実施形態1の精算装置4000を実現する計算機6000のハードウエア構成を例示する図である。この計算機6000は、レジ端末等の専用装置を用いて実装されてもよいし、PC(Personal Computer)や携帯端末などの汎用装置を用いて実装されてもよい。なお、計算機6000の構成は、計算機1000の構成と同様である。
FIG. 6 is a diagram illustrating a hardware configuration of a
ストレージ6080は、第2撮像部4020及び取得部4080の機能をそれぞれ実現するためのプログラムモジュールを記憶している。プロセッサ6040は、これら各プログラムモジュールを実行することで、対応する各機能構成部の機能を実現する。ここでプロセッサ6040は、上記各モジュールを実行する際、これらのモジュールをメモリ6060上に読み出してから実行してもよいし、メモリ6060上に読み出さずに実行してもよい。
The
計算機6000のハードウエア構成は図6に示した構成に限定されない。例えば、各プログラムモジュールはメモリ6060に格納されてもよい。この場合、計算機6000は、ストレージ6080を備えていなくてもよい。
The hardware configuration of the
入出力インタフェース6100に対して接続される入出力デバイスは、第2表示制御部4040によって制御されるディスプレイ装置20を含む。ディスプレイ装置20は、例えばタッチパネル22を有する。このディスプレイ装置20は、精算装置4000を利用する顧客が閲覧できるように、顧客に向けて設置される。このディスプレイ装置は、精算装置4000と一体に設けられていてもよいし、別体に設けられていてもよい。
The input / output devices connected to the input /
また、入出力インタフェース6100に対して接続される入出力デバイスは、顧客が代金を投入するためのデバイス、おつりを返金するためのデバイス、及びレシートを発行するためのデバイスなどを含む(図示せず)。
The input / output devices connected to the input /
<<第2撮像部4020のハードウエア構成>>
第2撮像部4020は、例えば第1撮像部3020と同様のハードウエア構成で実現される。カメラ35は、第2撮像部4020を実現するカメラである。第2撮像部4020を実現するカメラ35等は、精算装置4000を利用する顧客を撮像できる位置に設置される。
<< Hardware Configuration of
The
<商品登録装置3000による商品の登録処理>
前述したように商品登録装置3000は、精算対象として登録される商品に関する精算情報を生成する。商品登録装置3000は、生成した精算情報を、商品登録装置3000の内部又は外部の記憶部に記憶する。
<Product Registration Processing by
As described above, the
1つの精算処理における精算対象には、複数の商品が含まれうる。例えば商品登録装置3000は、精算対象の登録処理の開始を指示する操作を受け付けた後、精算対象の登録処理の終了を指示する操作を受け付けるまでの間に登録された1つ又は複数の商品を、1つの精算処理における精算対象として登録する。ある精算処理に関する精算情報は、その精算処理の対象として登録された各商品のIDなどを示す。また精算情報は、取引番号、各商品の金額、及び合計金額などをさらに示してもよい。
A checkout object in one checkout process may include a plurality of products. For example, the
図7は、精算情報をテーブル形式で例示する図である。図7に示す精算情報を、精算情報200と表記する。精算情報200は、精算情報ID202及び商品リスト204という2つの列を有する。商品リスト204は、精算対象として登録された商品IDのリストである。商品ID206は、精算対象として登録された商品のIDである。
FIG. 7 is a diagram illustrating the settlement information in a table format. The settlement information shown in FIG. The
なお、リーダ等で読み取った商品のIDを用いて精算情報を生成する具体的な方法には様々な既知の技術を利用できるため、この方法に関する説明は省略する。 It should be noted that various known techniques can be used as a specific method for generating the settlement information using the product ID read by the reader or the like, and thus description of this method is omitted.
<第1撮像部3020が行う処理の詳細>
第1撮像部3020は第1顧客画像を生成する(図3:S102)。第1撮像部3020が撮像を行うタイミングは様々である。例えば第1撮像部3020は、商品登録装置3000が稼働している間、常に繰り返し撮像を行う。第1撮像部3020が繰り返し撮像を行う頻度は、例えば一般的な動画のフレームレートと同じ 1/30 秒である。
<Details of processing performed by
The
また例えば第1撮像部3020は、顧客が商品登録装置3000の付近にいることを検出し、その検出に応じて撮像を行ってもよい。例えば第1撮像部3020の付近に、人の検出を行う赤外線センサなどを設ける。第1撮像部3020は、この赤外線センサからの通知を受けることで、第1撮像部3020の付近に顧客がいることを把握することができる。そこで例えば、第1撮像部3020は、この赤外線センサによって第1撮像部3020の付近に顧客がいることが検出された時に顧客の撮像を行い、第1顧客画像を生成する。
Further, for example, the
なお、第1撮像部3020は、上記検出が行われた時から所定の期間、顧客を繰り返し撮像してもよい。例えば第1撮像部3020は、上記検出が行われた時から所定時間、顧客を繰り返し撮像する。また例えば、第1撮像部3020は、上記検出が行われた時から、その顧客が購入する商品の登録が終わるまで(精算情報が生成されるまで)の間、顧客を繰り返し撮像してもよい。
Note that the
上述の「所定時間」は、予め第1撮像部3020に設定されていてもよいし、商品登録装置3000の内部又は外部に設けられた記憶部に記憶されてもよい。後者の場合、第1撮像部3020は、この記憶部から上記所定時間を取得して利用する。なお、特に説明しない限り、以降で説明する各機能構成部が利用する各種所定の値(所定時間や所定値など)も同様に、その機能構成部に設定されるか、又は記憶部から取得して利用される。
The above-mentioned “predetermined time” may be set in the
また、第1撮像部3020は、商品登録装置3000を操作する店員によって操作されてもよい。例えば店員は、顧客に声をかけるなどの方法で、第1撮像部3020の撮像範囲に顧客の顔が入るように顧客を誘導する。そして、店員は、第1撮像部3020の撮像範囲に顧客の顔が入っていることを確認して、第1撮像部3020に、顧客画像の撮像を行わせる。
Further, the
また、上記誘導は、第1撮像部3020によって行われてもよい。例えば第1撮像部3020は、ディスプレイ装置10に文字で案内を表示したり、音で声案内を行ったりすることで顧客を誘導し、顧客の顔が第1撮像部3020によって撮像されるようにする。
Further, the guidance may be performed by the
前述したように、第1撮像部3020によって撮像される画像には、複数の顧客が写る可能性がある。そこで、第1撮像部3020は、第1撮像部3020の撮像素子に記録された画像に写っている顧客をそれぞれ抽出し、各顧客それぞれについて、第1顧客画像を生成する。ここで、画像に写っている各顧客を抽出する処理には、画像に写っている人を抽出する既知のオブジェクト認識処理を用いることができる。そのため、この処理の詳細については省略する。
As described above, an image captured by the
第1撮像部3020が顧客を複数回撮像した場合、同じ顧客が写った原画像が複数生成される。そこで、第1撮像部3020は、これら複数の原画像のうち、いずれかを用いて第1顧客画像を生成する。どの原画像を第1顧客画像の生成に用いるかを決定する方法は様々である。例えば第1撮像部3020は、顧客の写りがよい画像を第1顧客画像とする。「顧客の写りがよい画像」は、顧客が大きく写っている画像や、ブレが小さい画像である。ここで、画像に写っているオブジェクト(顧客)の大きさを算出したり、ブレの大きさを算出したりする方法は、既知の技術である。そのため、これらの方法に関する説明は省略する。
When the
<第1表示制御部3040が行う処理の詳細>
第1表示制御部3040は、第1撮像部3020によって生成された第1顧客画像をディスプレイ装置10に表示する(図3:S104)。図8は、ディスプレイ装置10における表示を例示する図である。図8(a)において、第1表示制御部3040は、ディスプレイ装置10のタッチパネル12に1つの第1顧客画像50を表示している。一方、図8(b)において、第1表示制御部3040は、ディスプレイ装置10のタッチパネル12に3つの第1顧客画像を表示している。なお、第1撮像部3020によって撮像された顧客が多い場合、第1表示制御部3040は、ディスプレイ装置10のタッチパネルにボタン70を表示する。顧客がボタン70を押すと、第1表示制御部3040は、現在タッチパネル12に表示していない第1顧客画像50を表示する。
<Details of Processing Performed by First
The first
<第1入力受付部3060が行う処理の詳細>
第1入力受付部3060は、ディスプレイ装置10に表示された第1顧客画像の選択を受け付ける(図3:S106)。第1顧客画像の選択を受け付ける方法には、ディスプレイ上に表示された画像やボタンなどの選択を受け付ける既知の様々な技術を利用できる。例えばディスプレイ装置10がタッチパネル12を有し、第1入力受付部3060がそのタッチパネル12に第1顧客画像を表示する場合、第1入力受付部3060は、タッチパネル12に表示された第1顧客画像が押されたことを検出することで、その第1顧客画像の選択を受け付ける。
<Details of Processing Performed by First
The first
前述の図8(a)の場合、顧客は、タッチパネル12に表示されている第1顧客画像50に写っている顧客が、自分であるか否かを確認する。第1顧客画像50に写っている顧客が自分である場合、顧客は、第1顧客画像50を押下することで、第1顧客画像50を選択する。
In the case of FIG. 8A described above, the customer confirms whether or not the customer shown in the
前述の図8(b)の場合、顧客は、タッチパネル12に表示されている第1顧客画像50、又はボタン70を押すことでタッチパネル12に表示される第1顧客画像の中に、自分が写っている第1顧客画像50があるか否かを確認する。そして、自分が写っている第1顧客画像50がある場合、顧客は、その第1顧客画像50を押下することで、その第1顧客画像50を選択する。
In the case of FIG. 8B described above, the customer is reflected in the
なお、図8(b)のように第1表示制御部3040が複数の第1顧客画像を表示する場合、第1入力受付部3060は、複数の第1顧客画像を選択する入力を受け付けてもよい。例えば3人の家族が商品登録装置3000を利用している場合、ディスプレイ装置10にはこれら3人の第1顧客画像がそれぞれ表示される。この家族は、3人それぞれの第1顧客画像を選択してもよい。こうすることで、この3人全員が、精算装置4000を利用して商品の精算を行える。例えば図8(b)において、顧客は、複数の第1顧客画像50を押すことで、それら複数の第1顧客画像50を選択する。
In addition, when the 1st
ここで、第1入力受付部3060は、顧客から、自分が写っている第1顧客画像がない旨を示す入力を受け付けてもよい。例えば図8において、顧客はボタン60を押すことで、自分が写っている第1顧客画像がない旨を示す入力を行う。例えばこの入力がなされた場合、第1撮像部3020は、再度顧客を撮像して、第1顧客画像を生成する。そして、第1表示制御部3040は、生成された第1顧客画像をディスプレイ装置10に表示する。
Here, the 1st
なお、第1入力受付部3060が入力を受け付ける方法は、タッチパネルを利用した方法に限定されない。例えば第1入力受付部3060は、キーボードなどを介して入力を受け付けてもよい。
Note that the method by which the first
<生成部3080が行う処理の詳細>
生成部3080は、第1顧客画像に対して精算情報を関連付ける(図3:S108)。この関連付けを示す情報を、関連付け情報と表記する。図9は、関連付け情報の構成をテーブル形式で例示する図である。図9に示す関連付け情報を、関連付け情報300と表記する。関連付け情報300は、第1顧客画像302及び精算情報ID304という2つの列を有する。第1顧客画像302は、第1顧客画像が記録された画像ファイルを示す。精算情報ID304は、精算情報のIDを示す。
<Details of processing performed by
The
生成部3080は、第1顧客画像に対して、その第1顧客画像に写っている顧客が購入した商品に関する精算情報を関連付ける。具体的には、生成部3080は、商品の登録処理を始めた時からその登録処理を終えるまでの間に生成された第1顧客画像に対して、その登録処理によって生成された精算情報を関連付ける。なお、第1入力受付部3060に対して複数の第1顧客画像を選択する入力が行われた場合、生成部3080は、精算情報に対してこれら複数の第1顧客画像を関連付けた関連情報を生成する。
The
生成部3080は、関連付け情報を、各精算装置4000からアクセス可能な記憶部に記憶する。この記憶部は、商品登録装置3000の内部にあってもよいし、外部にあってもよい。例えば商品登録装置3000の外部にある記憶部は、商品登録装置3000及び精算装置4000からアクセス可能なデータベースサーバなどである。
The
<精算装置4000による精算処理について>
精算装置4000は精算情報を取得し、その精算情報に基づいて精算処理を行う。精算装置4000が商品の精算処理に用いる情報(精算情報)に基づいて精算処理を行う方法には、既知の手法が利用できる。この既知の手法についての詳細は省略する。
<Regarding the settlement process by the
The
<第2撮像部4020が行う処理の詳細>
第2撮像部4020は、第2顧客画像を生成する(図4:S202)。第2撮像部4020が第2顧客画像を生成する処理は、第1撮像部3020が第1顧客画像を生成する処理と同様である。
<Details of Processing Performed by
The
<取得部4080が行う処理の詳細>
取得部4080は、関連情報を用いて、第2顧客画像に対応する第1顧客画像と関連付けられている精算情報を取得する(図4:S204)。具体的には、取得部4080は、生成部3080が関連情報を記憶した記憶部にアクセスし、第2顧客画像に対応する第1顧客画像が示されている関連情報が示す精算情報を取得する。
<Details of Processing Performed by
The
「第2顧客画像に対応する第1顧客画像」は、第2顧客画像に写っている顧客と同じ顧客が写っていると考えられる第1顧客画像である。例えば「第2顧客画像に対応する第1顧客画像」は、第2顧客画像に写っている顧客との類似度が最も高い顧客が写っている第1顧客画像である。この場合、取得部4080は、第2顧客画像に写っている顧客と各第1顧客画像に写っている顧客との類似度を算出する。
The “first customer image corresponding to the second customer image” is a first customer image that is considered to include the same customer as that shown in the second customer image. For example, the “first customer image corresponding to the second customer image” is a first customer image in which a customer having the highest similarity with the customer in the second customer image is shown. In this case, the
ここで、取得部4080が上記類似度を算出する方法は様々である。例えば取得部4080は、第1顧客画像と第2顧客画像それぞれについて、写っている顧客の特徴量を算出する。そして取得部4080は、これら顧客の特徴量の類似度を算出する。ここで、画像からオブジェクトの特徴量を抽出する方法、及び特徴量の類似度を算出する方法には、オブジェクトのマッチングに用いられる様々な既知の手法を利用できる。また、第1顧客画像と第2顧客画像との類似度を算出する方法は、特徴量を用いる方法に限定されない。第1の類似度の算出には、画像に写っているオブジェクトの類似度を算出する既知の様々な方法が利用できる。
Here, there are various methods by which the
また例えば、精算装置4000は、第2顧客画像に写っている顧客と同じ顧客が写っている第1顧客画像の候補(以下、候補画像)を顧客が閲覧できるディスプレイ装置に表示し、顧客による候補画像の選択を受け付けてもよい。この場合、精算装置4000は、第2表示制御部4040及び第2入力受付部4060をさらに有する(図10)。第2表示制御部4040は顧客が閲覧できるディスプレイ装置20に候補画像を表示する。第2入力受付部4060は、表示画面に表示された候補画像を選択する入力を受け付ける。そして、第2入力受付部4060は、選択された候補画像と関連付けられている精算情報を取得する。
Further, for example, the
<第2表示制御部4040が行う処理の詳細>
第2表示制御部4040は、第2顧客画像に写っている顧客との類似度が高い顧客が写っている第1顧客画像を候補画像とする。例えば第2表示制御部4040は、第2顧客画像に写っている顧客との類似度が所定値以上である第1顧客画像を候補画像とする。また例えば、第2表示制御部4040は、上記類似度の昇順に並べた場合の順位が所定順位以上である第1顧客画像を候補画像とする。なお、第2表示制御部4040が上記類似度を算出する方法は、取得部4080が上記類似度を算出する方法と同様である。
<Details of Processing Performed by Second
The 2nd
<第2入力受付部4060が行う処理の詳細>
第2入力受付部4060は候補画像の選択を受け付ける。第2入力受付部4060が候補画像の選択を受け付ける方法は、第1入力受付部3060が第1顧客画像の選択を受け付ける方法と同様である。
<Details of Processing Performed by Second
Second
<その他の機能について>
精算装置4000は、判定部4100をさらに有していてもよい。図11は、判定部4100を有する精算装置4000を例示するブロック図である。判定部4100は所定の場合に、「第2顧客画像に写っている顧客と同じ顧客が写っている第1顧客画像がない」と判定する。この所定の場合は、例えば、1)第2入力受付部4060に対して、精算装置4000を利用する顧客が写っている候補画像がない旨の入力(図8のボタン60を押す操作など)が行われた場合、2)第2入力受付部4060が候補画像の選択操作を受け付けなかった場合(顧客が候補画像の選択を行わなかった場合)、又は3)第2表示制御部4040によって表示される候補画像が無い場合である。
<About other functions>
The
判定部4100によって、「第2顧客画像に写っている顧客と同じ顧客が写っている第1顧客画像がない」と判定された場合、精算装置4000は種々の例外処理を行う。例えば第2表示制御部4040が、ディスプレイ装置20に、その顧客が購入する商品に関する精算情報がない旨のメッセージを表示する。また例えば、精算装置4000は、図4に示す一連の処理を再度実行してもよい。これにより、新たに顧客を撮像して生成された第2顧客画像を用いて、類似度の算出などが行われる。こうすることで、顧客がより確実に精算を行えるようになる。
If the
[実施形態2]
図12は、実施形態2の精算システム2000を例示するブロック図である。図12において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
[Embodiment 2]
FIG. 12 is a block diagram illustrating a
実施形態2の精算システム2000は、精算装置4000が設置されているエリアを出ようとしている顧客が精算処理を終えていない場合に、警告処理を行う機能を有する。そのために、実施形態2の精算システム2000は、以下のように構成される。
The
実施形態2の生成部3080が生成する関連情報は、完了フラグをさらに示す。完了フラグは、その関連情報によって示される精算情報を用いた精算が完了したか否かを示す。つまり、実施形態2の生成部3080は、第1顧客画像、精算情報、及び完了フラグを関連付けた関連情報を生成する。以下、精算が完了していることを示す完了フラグの値は「精算完了」であり、精算が完了していないことを示す完了フラグの値は「精算未完了」であるとする。図13は、実施形態2における関連付け情報300を例示する図である。関連付け情報300は、第1顧客画像302と精算情報ID304に加え、完了フラグ306をさらに有する。
The related information generated by the
実施形態2の精算システム2000は警告装置5000をさらに有する。警告装置5000は、第3撮像部5020及び警告部5040を有する。第3撮像部5020は、撮像を行って、精算装置4000が設置されているエリアの出口(以下、単に「出口」とも表記する)にいる顧客を含む画像を生成する。以下、第3撮像部5020によって生成される画像を第3顧客画像と表記する。
The
警告部5040は、第1警告条件が満たされた場合に警告処理を行う。第1警告条件は、「第3顧客画像に写っている顧客と同じ顧客が写っている第1顧客画像に関連付けられている完了フラグが、精算未完了を示していること」である。
The
<処理の流れ>
図14は、実施形態2の警告装置5000によって実行される処理の流れを例示するフローチャートである。第3撮像部5020は、出口にいる顧客を撮像して、第3顧客画像を生成する(S302)。警告部5040は、第1警告条件が満たされているか否かを判定する(S304)。第1警告条件が満たされている場合(S304:YES)、警告部5040は警告処理を行う(S306)。第1警告条件が満たされていない場合(S304:NO)、図14の処理は終了する。
<Process flow>
FIG. 14 is a flowchart illustrating the flow of processing executed by the
<ハードウエア構成例>
例えば警告装置5000は、商品登録装置3000や精算装置4000を実現する計算機と同様のハードウエア構成を有する計算機によって実現される。この計算機の入出力インタフェースには、第3撮像部5020を構成するハードウエア(例えばカメラ)が接続される。第3撮像部5020は、出口の付近に設けられる。例えば、第3撮像部5020は、この出口付近の天井に設けられる。また例えば、この出口に顧客が通るゲートがある場合、第3撮像部5020はこのゲートに設けられてもよい。ただし、第3撮像部5020は、出口にいる顧客を撮像できればよく、その設置場所は上述の例に限定されない。その他の点については、第3撮像部5020は、第1撮像部3020や第2撮像部4020と同様に実装される。
<Hardware configuration example>
For example, the
警告装置5000を実現する計算機のストレージは、警告部5040を実現するプログラムモジュールを有する。警告装置5000を実現する計算機のプロセッサは、このプログラムモジュールを実行することで、警告部5040の機能を実現する。
The computer storage that implements the
<第3撮像部5020が行う処理の詳細>
第3撮像部5020が行う処理(図14:S302)は、第1撮像部3020や第2撮像部4020が行う処理と同様である。
<Details of Processing Performed by
The processing performed by the third imaging unit 5020 (FIG. 14: S302) is the same as the processing performed by the
<警告部5040が行う処理の詳細>
警告部5040は、第1警告条件が満たされているか否かを判定し(図14:S304)、第1顧客画像が満たされている場合に警告処理を行う(図14:S306)。警告部5040が行う警告処理は様々である。例えば警告部5040は、第1撮像部3020によって撮像された顧客、又は店員や警備員などが聞くことができる場所で、アラーム音を出力する。例えばこの場所は、出口付近、商品登録装置3000の付近、又は警備室などである。この場合、アラーム音を出力する場所に、アラーム音を出力するスピーカなどが設置される。
<Details of processing performed by
The
また例えば、警告部5040は、第3撮像部5020によって撮像された顧客、又は店員や警備員などが見ることができる場所に、警告メッセージを表示する。例えば出口付近に、顧客が閲覧できるディスプレイ装置が設けられる。そして、警告部5040は、このディスプレイ装置に、精算が完了していない旨の警告メッセージを表示する。また例えば、警告部5040は、各商品登録装置3000のディスプレイ装置10や、警備員室にあるディスプレイ装置などに警告メッセージを表示する。
In addition, for example, the
また、出口にゲートが設置されている場合、警告部5040は、第1警告条件が満たされた場合に、そのゲートを閉じる処理を行ってもよい。こうすることで、顧客が出口から出られなくなるため、精算を行っていない顧客が誤って帰ってしまうことを防ぐことができる。
Moreover, when the gate is installed in the exit, the
また、精算システム2000を運用する店舗において会員制度が導入されている場合、警告部5040は、会員情報を利用して警告を行ってもよい。具体的には、会員の画像(顔写真など)及び会員の連絡先(メールアドレスなど)が、会員情報として予め登録されているとする。第1警告条件が満たされている場合、警告部5040は、会員情報が記憶されているデータベース等にアクセスし、第3顧客画像に写っている顧客と同じ顧客が写っている会員の画像を検索する。そして、警告部5040は、このような画像があった場合、その画像が示されている会員情報が示す顧客の連絡先に、警告メッセージを送信する。例えば警告部5040は、顧客のメールアドレス宛に、警告メッセージを含むメールを送信する。会員情報を利用することで、顧客に対して直接的に警告メッセージを行うことができる。そのため、顧客が誤って精算を忘れて出口を出てしまった場合でも、そのことが他の人に分からないように、顧客に対して警告を行うことができる。よって、顧客のプライバシーを守ることができる。
In addition, when a membership system is introduced in a store that operates the
<具体例>
実施形態2の精算システム2000の動作を具体的に例示する。図15は、実施形態2の精算システム2000の運用環境を例示する図である。図15において、精算装置4000は、エリア80の中に設置されている。出口90は、エリア80の出口である。ゲート100は、出口90を出る際に顧客が通過するゲートである。図15において、第3撮像部5020は、このゲート100に備えられている。
<Specific example>
The operation of the
通常、顧客は、商品登録装置3000を利用した後、精算装置4000を利用して精算を行う。精算装置4000は、その顧客の精算が完了した際、第2入力受付部4060を用いて顧客が選択した第1顧客画像に関連付けられている完了フラグの値を「精算完了」に変更する。
Usually, after using the
顧客がゲート100を通過する際、第3撮像部5020は、その顧客を撮像して第3顧客画像を生成する。そして、警告部5040は、第3顧客画像に写っている顧客と同じ顧客が写っている第1顧客画像と関連付けられている完了フラグが「精算未完了」を示しているか否かを判定する。上述のように、顧客が精算を完了していれば、完了フラグは「精算完了」を示している。そのため、警告部5040は警告処理を行わない。
When the customer passes through the
一方、顧客が精算を行っていないと、第3顧客画像に写っている顧客と同じ顧客が写っている第1顧客画像と関連付けられている完了フラグは「精算未完了」を示している。この場合、警告部5040は警告処理を行う。例えば警告部5040は、ゲート100を閉じ、ゲート100に設けられているディスプレイ装置に警告メッセージを表示する。
On the other hand, if the customer has not settled, the completion flag associated with the first customer image showing the same customer as the customer shown in the third customer image indicates “unsettled”. In this case, the
<作用・効果>
本実施形態の精算システム2000は、第1警告条件が満たされている場合、警告処理を行う。ここで、第1警告条件が満たされていることは、顧客が、購入する商品の精算を行う前に出口を出ようとしたこと(又は出口を出たこと)を表す。よって、本実施形態の精算システム2000によれば、顧客が精算を忘れて帰ってしまうことを防止することができるため、顧客と店舗との間でトラブルが発生することを未然に防ぐことができる。
<Action and effect>
The
[実施形態3]
実施形態3の精算システム2000は、実施形態2の精算システム2000と同様に図13で表される。下記で説明する点を除き、実施形態3の精算システム2000は、実施形態2の精算システム2000と同様である。
[Embodiment 3]
The
実施形態3の精算システム2000は、精算情報に基づく精算を行う顧客の候補が複数いる場合に、その精算情報に基づく精算が行われる前にその候補の顧客全てが出口を出ようとしたとき、警告処理を行う。そのために、実施形態3の精算システム2000は、以下のように構成される。
In the
実施形態3の第1入力受付部3060は、複数の第1顧客画像の選択を受け付ける。第1入力受付部3060が複数の第1顧客画像の選択を受け付ける具体的な方法は、実施形態1で説明した通りである。
The first
実施形態3の生成部3080は、選択された複数の第1顧客画像を精算情報に関連付けて関連情報を生成する。これにより、この精算情報に基づく精算を行う顧客は、関連付けられた複数の第1顧客画像のいずれかに写っている顧客となる。言い換えれば、精算情報に基づく精算を行う顧客の候補が複数いることを意味する。なお、複数の第1顧客画像と精算情報を関連付けて関連情報を生成する具体的な方法も、実施形態1で説明した通りである。
The
実施形態3の警告部5040は、第1警告条件に加え、第2警告条件も満たされた場合に、警告処理を行う。一方、警告部5040は、第2警告条件が満たされない場合は、警告処理を行わない。
The
第2警告条件は、「第3顧客画像と同じ顧客が写っている第1顧客画像と共に精算情報と関連付けられている全ての第1顧客画像について、それと同じ顧客が写っている第3顧客画像が生成されていること」である。ここで、第1顧客画像と同じ顧客が写っている第3顧客画像が生成されていることは、その第1顧客画像に写っている顧客が、精算装置4000が設置されているエリアの出口を出たことを意味する。そのため、上記第2警告条件は、現在出口を出ようとしている顧客が購入する商品の精算を行う顧客の候補(精算情報に関連付けられている各顧客)の内、現在出口を出ようとしている顧客以外の全ての顧客が、すでに出口を出ていることを意味する。よって、現在出口を出ようとしている顧客も出口を出てしまうと、その精算情報に基づく精算が行われないまま、精算を行う候補の顧客全員が出口を出てしまうこととなる。そこで実施形態3の警告部5040は、このような場合に警告処理を行う。
The second warning condition is “For all the first customer images associated with the checkout information together with the first customer image in which the same customer as the third customer image is reflected, the third customer image in which the same customer is reflected. It has been generated ”. Here, the third customer image in which the same customer as the first customer image is generated is that the customer in the first customer image is at the exit of the area where the
一方、第2警告条件が満たされていない場合、現在出口を出ようとしている顧客が購入する商品の精算を行う顧客の候補の内、いずれか一人以上が、まだ出口を出ていないこととなる。この場合、まだ出口を出ていない顧客によって精算が行われれば問題がないため、警告部5040は警告処理を行わない。
On the other hand, if the second warning condition is not satisfied, one or more of the candidate customers who will settle the products purchased by the customer who is currently leaving the exit has not yet exited. . In this case, there is no problem if payment is performed by a customer who has not yet exited, and the
<処理の流れ>
図16は、実施形態3の警告装置5000によって実行される処理の流れを例示するフローチャートである。図16のフローチャートは、S402の分岐を有する点を除き、図14のフローチャートと同様である。
<Process flow>
FIG. 16 is a flowchart illustrating the flow of processing executed by the
第1警告条件が満たされている場合(S304:YES)、警告部5040は第2警告条件が満たされているか否かを判定する(S402)。第2警告条件が満たされている場合(S402:YES)、警告部5040は警告処理を行う(S306)。第2警告条件が満たされていない場合(S402:NO)、図16の処理は終了する。
When the first warning condition is satisfied (S304: YES), the
<ハードウエア構成例>
実施形態3の精算システム2000のハードウエア構成は、実施形態2の精算システム2000のハードウエア構成と同様である。ただし、警告装置5000の実装に用いられる計算機1000のストレージ1080には、実施形態3の警告部5040の機能を実現するためのプログラムモジュールが記憶される。
<Hardware configuration example>
The hardware configuration of the
<第3撮像部5020が行う処理の詳細>
実施形態3の第3撮像部5020は、生成した第3顧客画像を警告装置5000の内部又は外部の記憶部に記憶する。つまり、実施形態3の警告装置5000では、第3顧客画像の履歴が記憶される。
<Details of Processing Performed by
The
<警告部5040が行う処理の詳細>
警告部5040は第2警告条件が満たされているか否かを判定する(図16:S402)。具体的には、警告部5040は、次のように処理を行う。
<Details of processing performed by
The
警告部5040は、第3顧客画像に写っている顧客と同一の顧客が写っている第1顧客画像を示す関連情報から、この第1顧客画像以外の各第1顧客画像を取得する。そして、警告部5040は、取得した各第1顧客画像について、その第1顧客画像に写っている顧客と同じ顧客が写っている第3顧客画像があるか否かを判定する。
The
警告部5040は、第3撮像部5020が記憶部に記憶した第3顧客画像を利用する。具体的には、警告部5040は、上記取得した第1顧客画像に写っている顧客と、記憶部に記憶されている各第3顧客画像に写っている顧客とを比較することで、この第1顧客画像に写っている顧客と同じ顧客が写っている第3顧客画像を探索する。
The
例えば警告部5040は、第2表示制御部4040が行う処理と同様の処理により、第1顧客画像に写っている顧客と第3顧客画像に写っている顧客との類似度を算出する。そして、警告部5040は、類似度が所定の閾値以上である第3顧客画像がある場合、第1顧客画像に写っている顧客と同じ顧客が写っている第3顧客画像があると判定する。一方、警告部5040は、類似度が所定の閾値以上である第3顧客画像がない場合、第1顧客画像に写っている顧客と同じ顧客が写っている第3顧客画像がないと判定する。
For example, the
取得した全ての第1顧客画像について、第1顧客画像に写っている顧客と同じ顧客が写っている第3顧客画像がある場合、第2警告条件が満たされる。この場合、警告部5040は警告処理を行う。一方、取得した第1顧客画像のいずれか1つ以上について、第1顧客画像に写っている顧客と同じ顧客が写っている第3顧客画像がない場合、第2警告条件が満たされない。この場合、警告部5040は、警告処理を行わない。
For all the acquired first customer images, when there is a third customer image in which the same customer as the customer in the first customer image is present, the second warning condition is satisfied. In this case, the
なお、実施形態3の警告部5040が行う警告処理は、実施形態2の警告部5040が行う警告処理と同様である。
Note that the warning process performed by the
<作用・効果>
本実施形態の警告部5040は、精算装置4000が設置されているエリアの出口にいる顧客と関連付けられている精算情報について、その精算情報に関連付けられている他の各顧客が出口を出たか否か(第3撮像部5020によって生成された第3顧客画像のいずれかに写っているか)を判定する。そして警告部5040は、これら各顧客が出口を出ている場合に警告処理を行う。こうすることで、ある精算情報に基づく精算を行う候補の顧客が複数いる場合に、その候補の顧客全てが出口を出てしまう場合のみ警告が行われる。一方、精算情報に基づく精算処理を行う候補の顧客の中に、まだ上記エリア内にいる顧客がいる場合は、警告が行われない。そのため、本実施形態の精算システム2000によれば、顧客が精算を忘れて帰ってしまうことが防止され、かつ顧客が精算を柔軟に行えるようになる。
<Action and effect>
The
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。 As mentioned above, although embodiment of this invention was described with reference to drawings, these are the illustrations of this invention, Various structures other than the above are also employable.
以下、参考形態の例を付記する。
1. 商品登録装置及び精算装置を有する精算システムであって、
前記商品登録装置は、
顧客を含む第1顧客画像を生成する第1撮像手段と、
顧客が閲覧できるディスプレイ装置に前記第1顧客画像を表示する第1表示制御手段と、
精算処理を行う顧客の第1顧客画像を選択する入力を受け付ける第1入力受付手段と、
前記選択された第1顧客画像と商品の精算に用いる精算情報とを関連付けた関連情報を生成する生成手段と、を有し、
前記精算装置は、
顧客を含む第2顧客画像を生成する第2撮像手段と、
前記第2顧客画像に対応する第1顧客画像と前記関連情報において関連付けられている前記精算情報を取得する取得手段と、を有する精算システム。
2. 前記第2顧客画像に写っている顧客と同じ顧客が写っている前記第1顧客画像の候補である候補画像を、顧客が閲覧できるディスプレイ装置に表示する第2表示制御手段と、
前記ディスプレイ装置に表示された候補画像を選択する入力を受け付ける第2入力受付手段と、を有し、
前記取得手段は、選択された候補画像と前記関連情報において関連付けられている前記精算情報を取得する、1.に記載の精算システム。
3. 前記第1入力受付手段は、複数の第1顧客画像の選択を受け付け、
前記関連情報は、前記選択された複数の第1顧客画像を前記精算情報に関連付けて前記関連情報を生成する1.又は2.に記載の精算システム。
4. 前記関連情報は、前記精算情報に対し、その精算情報を用いた精算が完了したか否かを示す完了フラグをさらに関連付け、
前記精算システムは、
前記精算装置が設置されているエリアの出口にいる顧客を含む第3顧客画像を生成する第3撮像手段と、
前記第3顧客画像に写っている顧客と同じ顧客が写っている第1顧客画像に関連付けられている前記完了フラグが、前記精算情報を用いた精算が完了していないことを示している場合、警告処理を行う警告手段と、を有する警告装置を有する1.乃至3.いずれか一つに記載の精算システム。
5. 前記第1入力受付手段は、複数の第1顧客画像の選択を受け付け、
前記関連情報は、前記選択された複数の第1顧客画像を前記精算情報に関連付けて前記関連情報を生成し、
前記警告手段は、前記第3顧客画像に写っている顧客と同じ顧客が写っている第1顧客画像に関連付けられている前記完了フラグが、前記精算情報を用いた精算が完了していないことを示している場合において、
その精算情報に関連付けられている複数の前記第1顧客画像の全てについて、前記第1顧客画像に写っている顧客と同じ顧客が写っている第3顧客画像がある場合、前記警告処理を行い、
その精算情報に関連付けられている複数の前記第1顧客画像のいずれかについて、前記第1顧客画像に写っている顧客と同じ顧客が写っている第3顧客画像がない場合、前記警告処理を行わない、4.に記載の精算システム。
6. 1.乃至5.いずれか一つに記載の商品登録装置。
7. 1.乃至5.いずれか一つに記載の精算装置。
8. コンピュータを、6.いずれか一つに記載の商品登録装置として動作させるプログラム。
9. コンピュータを、7.いずれか一つに記載の精算装置として動作させるプログラム。
10. 商品登録装置及び精算装置を有する精算システムによって実行される精算方法であって、
前記商品登録装置が、顧客を含む第1顧客画像を生成する第1撮像ステップと、
前記商品登録装置が、顧客が閲覧できるディスプレイ装置に前記第1顧客画像を表示する第1表示制御ステップと、
前記商品登録装置が、精算処理を行う顧客の第1顧客画像を選択する入力を受け付ける第1入力受付ステップと、
前記商品登録装置が、前記選択された第1顧客画像と商品の精算に用いる精算情報とを関連付けた関連情報を生成する生成ステップと、
前記精算装置が、顧客を含む第2顧客画像を生成する第2撮像ステップと、
前記精算装置が、前記第2顧客画像に対応する第1顧客画像と前記関連情報において関連付けられている前記精算情報を取得する取得ステップと、を有する精算方法。
11. 前記精算装置が、前記第2顧客画像に写っている顧客と同じ顧客が写っている前記第1顧客画像の候補である候補画像を、顧客が閲覧できるディスプレイ装置に表示する第2表示制御ステップと、
前記精算装置が、前記ディスプレイ装置に表示された候補画像を選択する入力を受け付ける第2入力ステップと、を有し、
前記取得ステップは、選択された候補画像と前記関連情報において関連付けられている前記精算情報を取得する、10.に記載の精算方法。
12. 前記第1入力受付ステップは、複数の第1顧客画像の選択を受け付け、
前記生成ステップは、前記選択された複数の第1顧客画像を前記精算情報に関連付けて前記関連情報を生成する10.又は11.に記載の精算システム。
13. 前記関連情報は、前記精算情報に対し、その精算情報を用いた精算が完了したか否かを示す完了フラグをさらに関連付け、
前記精算システムは、警告装置をさらに有し、
前記警告装置が、前記精算装置が設置されているエリアの出口にいる顧客を含む第3顧客画像を生成する第3撮像ステップと、
前記警告装置が、前記第3顧客画像に写っている顧客と同じ顧客が写っている第1顧客画像に関連付けられている前記完了フラグが、前記精算情報を用いた精算が完了していないことを示している場合、警告処理を行う警告ステップと、を有する10.乃至12.いずれか一つに記載の精算システム。
14. 前記第1入力受付ステップは、複数の第1顧客画像の選択を受け付け、
前記関連情報は、前記選択された複数の第1顧客画像を前記精算情報に関連付けて前記関連情報を生成し、
前記警告ステップは、前記第3顧客画像に写っている顧客と同じ顧客が写っている第1顧客画像に関連付けられている前記完了フラグが、前記精算情報を用いた精算が完了していないことを示している場合において、
その精算情報に関連付けられている複数の前記第1顧客画像の全てについて、前記第1顧客画像に写っている顧客と同じ顧客が写っている第3顧客画像がある場合、前記警告処理を行い、
その精算情報に関連付けられている複数の前記第1顧客画像のいずれかについて、前記第1顧客画像に写っている顧客と同じ顧客が写っている第3顧客画像がない場合、前記警告処理を行わない、13.に記載の精算システム。
Hereinafter, examples of the reference form will be added.
1. A payment system having a product registration device and a payment device,
The product registration device
First imaging means for generating a first customer image including the customer;
First display control means for displaying the first customer image on a display device that can be browsed by the customer;
A first input receiving means for receiving an input for selecting a first customer image of a customer who performs a checkout process;
Generating means for generating related information associating the selected first customer image and checkout information used for checkout of a product;
The settlement apparatus is
Second imaging means for generating a second customer image including the customer;
A payment system comprising: a first customer image corresponding to the second customer image; and acquisition means for acquiring the payment information associated in the related information.
2. Second display control means for displaying a candidate image that is a candidate for the first customer image in which the same customer as the customer shown in the second customer image is displayed on a display device that the customer can view;
Second input receiving means for receiving an input for selecting a candidate image displayed on the display device;
The acquisition unit acquires the settlement information associated with the selected candidate image in the related information. Checkout system described in.
3. The first input receiving means receives selection of a plurality of first customer images,
The related information generates the related information by associating the selected first customer images with the checkout information. Or 2. Checkout system described in.
4). The related information further associates a completion flag indicating whether or not the settlement using the settlement information is completed with respect to the settlement information,
The settlement system is
Third imaging means for generating a third customer image including a customer at an exit of an area where the settlement apparatus is installed;
When the completion flag associated with the first customer image showing the same customer as the customer shown in the third customer image indicates that the payment using the payment information is not completed, A warning device having warning means for performing warning processing; To 3. The settlement system according to any one of the above.
5). The first input receiving means receives selection of a plurality of first customer images,
The related information generates the related information by associating the selected first customer images with the checkout information,
The warning means that the completion flag associated with the first customer image in which the same customer as the customer in the third customer image is reflected is that the settlement using the settlement information has not been completed. In the case shown
If there is a third customer image showing the same customer as the customer shown in the first customer image for all of the plurality of first customer images associated with the checkout information, the warning process is performed,
For any one of the plurality of first customer images associated with the checkout information, if there is no third customer image showing the same customer as the customer shown in the first customer image, the warning process is performed. No, 4 Checkout system described in.
6). 1. To 5. The product registration device according to any one of the above.
7). 1. To 5. The settlement apparatus according to any one of the above.
8). 5. Computer. A program for operating as the product registration apparatus according to any one of the above.
9. 6. Computer. A program that operates as the settlement apparatus according to any one of the above.
10. A checkout method executed by a checkout system having a product registration device and a checkout device,
A first imaging step in which the commodity registration device generates a first customer image including a customer;
A first display control step in which the product registration device displays the first customer image on a display device that a customer can browse;
A first input receiving step in which the product registration device receives an input for selecting a first customer image of a customer who performs a checkout process;
The product registration device generates a related information in which the selected first customer image is associated with payment information used for product payment;
A second imaging step in which the settlement apparatus generates a second customer image including the customer;
A settlement method comprising: an acquisition step in which the settlement apparatus obtains the settlement information associated with the first customer image corresponding to the second customer image and the related information.
11. A second display control step in which the settlement apparatus displays a candidate image that is a candidate for the first customer image in which the same customer as the customer in the second customer image is displayed on a display device that the customer can view; ,
A second input step for receiving an input for selecting a candidate image displayed on the display device;
The acquisition step acquires the settlement information associated with the selected candidate image in the related information. Checkout method described in 1.
12 The first input receiving step receives selection of a plurality of first customer images,
The generating step generates the related information by associating the selected first customer images with the checkout information. Or 11. Checkout system described in.
13. The related information further associates a completion flag indicating whether or not the settlement using the settlement information is completed with respect to the settlement information,
The checkout system further includes a warning device,
A third imaging step in which the warning device generates a third customer image including a customer at an exit of an area where the checkout device is installed;
The warning flag indicates that the completion flag associated with the first customer image in which the same customer as the customer in the third customer image is reflected is not settled using the settlement information. If so, a warning step for performing warning processing is included. To 12. The settlement system according to any one of the above.
14 The first input receiving step receives selection of a plurality of first customer images,
The related information generates the related information by associating the selected first customer images with the checkout information,
In the warning step, the completion flag associated with the first customer image showing the same customer as the customer shown in the third customer image indicates that the payment using the payment information is not completed. In the case shown
If there is a third customer image showing the same customer as the customer shown in the first customer image for all of the plurality of first customer images associated with the checkout information, the warning process is performed,
For any one of the plurality of first customer images associated with the checkout information, if there is no third customer image showing the same customer as the customer shown in the first customer image, the warning process is performed. No, 13 Checkout system described in.
10、20 ディスプレイ装置
12、22 タッチパネル
30、35 カメラ
40 リーダ
50 第1顧客画像
60、70 ボタン
80 エリア
90 出口
100 ゲート
200 精算情報
202 精算情報ID
204 商品リスト
206 商品ID
300 関連付け情報
302 第1顧客画像
304 精算情報ID
306 完了フラグ
1000、6000 計算機
1020、6020 バス
1040、6040 プロセッサ
1060、6060 メモリ
1080、6080 ストレージ
1100、6100 入出力インタフェース
1120、6120 ネットワークインタフェース
2000 精算システム
3000 商品登録装置
3020 第1撮像部
3040 第1表示制御部
3060 第1入力受付部
3080 生成部
4000 精算装置
4020 第2撮像部
4040 第2表示制御部
4060 第2入力受付部
4080 取得部
4100 判定部
5000 警告装置
5020 第3撮像部
5040 警告部
6000 計算機
10, 20
204
300
306
Claims (10)
前記商品登録装置は、
顧客を含む第1顧客画像を生成する第1撮像手段と、
顧客が閲覧できるディスプレイ装置に前記第1顧客画像を表示する第1表示制御手段と、
精算処理を行う顧客の第1顧客画像を選択する入力を受け付ける第1入力受付手段と、
前記選択された第1顧客画像と商品の精算に用いる精算情報とを関連付けた関連情報を生成する生成手段と、を有し、
前記精算装置は、
顧客を含む第2顧客画像を生成する第2撮像手段と、
前記第2顧客画像に対応する第1顧客画像と前記関連情報において関連付けられている前記精算情報を取得する取得手段と、を有する精算システム。 A payment system having a product registration device and a payment device,
The product registration device
First imaging means for generating a first customer image including the customer;
First display control means for displaying the first customer image on a display device that can be browsed by the customer;
A first input receiving means for receiving an input for selecting a first customer image of a customer who performs a checkout process;
Generating means for generating related information associating the selected first customer image and checkout information used for checkout of a product;
The settlement apparatus is
Second imaging means for generating a second customer image including the customer;
A payment system comprising: a first customer image corresponding to the second customer image; and acquisition means for acquiring the payment information associated in the related information.
前記ディスプレイ装置に表示された候補画像を選択する入力を受け付ける第2入力受付手段と、を有し、
前記取得手段は、選択された候補画像と前記関連情報において関連付けられている前記精算情報を取得する、請求項1に記載の精算システム。 Second display control means for displaying a candidate image that is a candidate for the first customer image in which the same customer as the customer shown in the second customer image is displayed on a display device that the customer can view;
Second input receiving means for receiving an input for selecting a candidate image displayed on the display device;
The payment system according to claim 1, wherein the acquisition unit acquires the payment information associated with the selected candidate image in the related information.
前記生成手段は、前記選択された複数の第1顧客画像を前記精算情報に関連付けて前記関連情報を生成する請求項1又は2に記載の精算システム。 The first input receiving means receives selection of a plurality of first customer images,
The payment system according to claim 1, wherein the generation unit generates the related information by associating the selected first customer images with the payment information.
前記精算システムは、
前記精算装置が設置されているエリアの出口にいる顧客を含む第3顧客画像を生成する第3撮像手段と、
前記第3顧客画像に写っている顧客と同じ顧客が写っている第1顧客画像に関連付けられている前記完了フラグが、前記精算情報を用いた精算が完了していないことを示している場合、警告処理を行う警告手段と、を有する警告装置を有する請求項1乃至3いずれか一項に記載の精算システム。 The related information further associates a completion flag indicating whether or not the settlement using the settlement information is completed with respect to the settlement information,
The settlement system is
Third imaging means for generating a third customer image including a customer at an exit of an area where the settlement apparatus is installed;
When the completion flag associated with the first customer image showing the same customer as the customer shown in the third customer image indicates that the payment using the payment information is not completed, The settlement system according to any one of claims 1 to 3, further comprising a warning device having warning means for performing warning processing.
前記関連情報は、前記選択された複数の第1顧客画像を前記精算情報に関連付けて前記関連情報を生成し、
前記警告手段は、前記第3顧客画像に写っている顧客と同じ顧客が写っている第1顧客画像に関連付けられている前記完了フラグが、前記精算情報を用いた精算が完了していないことを示している場合において、
その精算情報に関連付けられている複数の前記第1顧客画像の全てについて、前記第1顧客画像に写っている顧客と同じ顧客が写っている第3顧客画像がある場合、前記警告処理を行い、
その精算情報に関連付けられている複数の前記第1顧客画像のいずれかについて、前記第1顧客画像に写っている顧客と同じ顧客が写っている第3顧客画像がない場合、前記警告処理を行わない、請求項4に記載の精算システム。 The first input receiving means receives selection of a plurality of first customer images,
The related information generates the related information by associating the selected first customer images with the checkout information,
The warning means that the completion flag associated with the first customer image in which the same customer as the customer in the third customer image is reflected is that the settlement using the settlement information has not been completed. In the case shown
If there is a third customer image showing the same customer as the customer shown in the first customer image for all of the plurality of first customer images associated with the checkout information, the warning process is performed,
For any one of the plurality of first customer images associated with the checkout information, if there is no third customer image showing the same customer as the customer shown in the first customer image, the warning process is performed. The settlement system according to claim 4, wherein there is no settlement.
前記商品登録装置が、顧客を含む第1顧客画像を生成する第1撮像ステップと、
前記商品登録装置が、顧客が閲覧できるディスプレイ装置に前記第1顧客画像を表示する第1表示制御ステップと、
前記商品登録装置が、精算処理を行う顧客の第1顧客画像を選択する入力を受け付ける第1入力受付ステップと、
前記商品登録装置が、前記選択された第1顧客画像と商品の精算に用いる精算情報とを関連付けた関連情報を生成する生成ステップと、
前記精算装置が、顧客を含む第2顧客画像を生成する第2撮像ステップと、
前記精算装置が、前記第2顧客画像に対応する第1顧客画像と前記関連情報において関連付けられている前記精算情報を取得する取得ステップと、を有する精算方法。 A checkout method executed by a checkout system having a product registration device and a checkout device,
A first imaging step in which the commodity registration device generates a first customer image including a customer;
A first display control step in which the product registration device displays the first customer image on a display device that a customer can browse;
A first input receiving step in which the product registration device receives an input for selecting a first customer image of a customer who performs a checkout process;
The product registration device generates a related information in which the selected first customer image is associated with payment information used for product payment;
A second imaging step in which the settlement apparatus generates a second customer image including the customer;
A settlement method comprising: an acquisition step in which the settlement apparatus obtains the settlement information associated with the first customer image corresponding to the second customer image and the related information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015072038A JP6443184B2 (en) | 2015-03-31 | 2015-03-31 | Checkout system, product registration device, checkout device, program, and checkout method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015072038A JP6443184B2 (en) | 2015-03-31 | 2015-03-31 | Checkout system, product registration device, checkout device, program, and checkout method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018221570A Division JP6696554B2 (en) | 2018-11-27 | 2018-11-27 | Payment system and payment method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016192090A JP2016192090A (en) | 2016-11-10 |
JP6443184B2 true JP6443184B2 (en) | 2018-12-26 |
Family
ID=57245583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015072038A Active JP6443184B2 (en) | 2015-03-31 | 2015-03-31 | Checkout system, product registration device, checkout device, program, and checkout method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6443184B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6940285B2 (en) * | 2017-02-21 | 2021-09-22 | 東芝テック株式会社 | Information processing equipment and programs |
JP2018136731A (en) * | 2017-02-22 | 2018-08-30 | 東芝テック株式会社 | Information processing device and program |
JP6598321B1 (en) * | 2018-05-21 | 2019-10-30 | Necプラットフォームズ株式会社 | Information processing apparatus, control method, and program |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5083638A (en) * | 1990-09-18 | 1992-01-28 | Howard Schneider | Automated point-of-sale machine |
JP3770528B2 (en) * | 1999-10-20 | 2006-04-26 | 東芝テック株式会社 | Product sales registration data processing device |
JP5790160B2 (en) * | 2011-05-31 | 2015-10-07 | 株式会社寺岡精工 | Self-accounting POS system and accounting device |
JP5311239B2 (en) * | 2011-06-17 | 2013-10-09 | カシオ計算機株式会社 | Sales data processing apparatus and program |
JP5783149B2 (en) * | 2012-01-25 | 2015-09-24 | 株式会社寺岡精工 | POS system and registration device |
JP5961408B2 (en) * | 2012-03-05 | 2016-08-02 | グローリー株式会社 | Sales management system, sales management apparatus and sales management method |
-
2015
- 2015-03-31 JP JP2015072038A patent/JP6443184B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016192090A (en) | 2016-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6686290B2 (en) | System and method | |
JP7384516B2 (en) | Information processing device, product recommendation method, program, and system | |
JP2017041168A (en) | Information processing system, settlement apparatus, commodity registration apparatus, information processing method, settlement method, commodity registration method, settlement program, and commodity registration program | |
JP2016038771A (en) | Accounting system, information processing method and processing device | |
JP6648408B2 (en) | Product registration device, program, and control method | |
JP6443184B2 (en) | Checkout system, product registration device, checkout device, program, and checkout method | |
JP5681682B2 (en) | Information processing apparatus and program | |
JP6696554B2 (en) | Payment system and payment method | |
US20150220964A1 (en) | Information processing device and method of setting item to be returned | |
JP6398331B2 (en) | Information processing apparatus, control method, and program | |
JP7212840B2 (en) | Information processing device, information processing method and program | |
JP2022012266A (en) | Information processing system, information processor, information processing method, and program | |
JP2020074082A (en) | Commodity registration device, program, and control method | |
US20220092573A1 (en) | Portable terminal and information processing method for a portable terminal | |
JP2016024601A (en) | Information processing apparatus, information processing system, information processing method, commodity recommendation method, and program | |
JP7243766B2 (en) | Information processing device and control method | |
JP7444454B2 (en) | Product registration system, product registration device, control method for product registration device, and program | |
JP2020091542A (en) | Electronic receipt generation system, electronic receipt generation method, and program | |
JP7268670B2 (en) | Information processing device, control method, and program | |
WO2023281617A1 (en) | Information processing system, method, and recording medium | |
US20240104546A1 (en) | Store mobile terminal device, payment device, system, method, and recording medium | |
JP5255027B2 (en) | Code reader and program | |
US20240046237A1 (en) | Store mobile terminal device, method, and recording medium for stores | |
WO2023281616A1 (en) | Information processing system, method, and recording medium | |
US20240054469A1 (en) | Store mobile terminal device, customer mobile terminal device, system, method, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181030 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6443184 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |