JP2020197758A - Settlement device and settlement method - Google Patents
Settlement device and settlement method Download PDFInfo
- Publication number
- JP2020197758A JP2020197758A JP2019101655A JP2019101655A JP2020197758A JP 2020197758 A JP2020197758 A JP 2020197758A JP 2019101655 A JP2019101655 A JP 2019101655A JP 2019101655 A JP2019101655 A JP 2019101655A JP 2020197758 A JP2020197758 A JP 2020197758A
- Authority
- JP
- Japan
- Prior art keywords
- product
- settlement
- user
- display
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012937 correction Methods 0.000 claims abstract description 37
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 description 56
- 238000004891 communication Methods 0.000 description 16
- 238000003860 storage Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 235000019219 chocolate Nutrition 0.000 description 9
- 241000209094 Oryza Species 0.000 description 6
- 235000007164 Oryza sativa Nutrition 0.000 description 6
- 235000009566 rice Nutrition 0.000 description 6
- 238000003825 pressing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 235000009508 confectionery Nutrition 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 235000011888 snacks Nutrition 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 235000019640 taste Nutrition 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 235000015429 Mirabilis expansa Nutrition 0.000 description 1
- 244000294411 Mirabilis expansa Species 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 235000021438 curry Nutrition 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 235000013536 miso Nutrition 0.000 description 1
- 235000012149 noodles Nutrition 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 235000019643 salty taste Nutrition 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 235000013555 soy sauce Nutrition 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/01—Details for indicating
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/12—Cash registers electronically operated
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Cash Registers Or Receiving Machines (AREA)
Abstract
Description
本開示は、精算装置および精算方法に関する。 The present disclosure relates to a settlement device and a settlement method.
商品毎の売り上げを販売時点において管理する、販売時点情報管理(POS、Point Of Sales)システムを導入する店舗が増えている。POSシステムにおいて使用されるレジスタは、来店客が購入する商品のパッケージに印刷されたバーコードを読み取るバーコードリーダーを備え、レジスタは、読み取られたバーコードに基づいて、商品を特定し登録する。バーコードを備えない商品(例えば、野菜、果物)を登録するために、表示部および操作部を備える商品登録装置が提案されている(特許文献1)。 An increasing number of stores are introducing point-of-sale (POS, Point Of Sales) systems that manage sales for each product at the time of sale. The register used in the POS system includes a barcode reader that reads a barcode printed on the package of the product purchased by the customer, and the register identifies and registers the product based on the read barcode. A product registration device including a display unit and an operation unit has been proposed for registering a product (for example, vegetables, fruits) that does not have a barcode (Patent Document 1).
近年、人件費高騰による店舗従業員確保の困難化に伴い、商品を購入する来店客が店舗従業員の介入なしに商品の代金を精算するセルフレジの需要が高まりつつある。しかしながら、特許文献1に記載の商品登録装置のような、店舗従業員の使用を想定した商品登録装置をセルフレジに転用して来店客に使用させると、様々な困難が生じる。例えば、商品のパッケージにおけるバーコードの印刷位置は、商品によって異なる。したがって、来店客がバーコードをスキャンするために商品毎にバーコードを探すため、精算に時間がかかり、来店客に過度の負担を強いる結果となる。また、タッチパネルディスプレイにおいて商品の画像が表示される位置を把握していない来店客は、店舗が扱う商品数が多い場合、商品毎に商品の画像を探すため、精算に時間がかかり、来店客に過度の負担を強いる結果となる。 In recent years, as it has become difficult to secure store employees due to soaring labor costs, there is an increasing demand for self-checkouts in which customers who purchase products pay for the products without the intervention of the store employees. However, if a product registration device such as the product registration device described in Patent Document 1 that is supposed to be used by a store employee is diverted to a self-checkout and used by a customer, various difficulties occur. For example, the printing position of the barcode on the product package differs depending on the product. Therefore, since the customer searches for the barcode for each product in order to scan the barcode, it takes time to settle the payment, which results in an excessive burden on the customer. In addition, if the number of products handled by the store is large, the customer who does not know the position where the image of the product is displayed on the touch panel display searches for the image of the product for each product, so that it takes time to settle the payment and the customer The result is an excessive burden.
本開示の一実施例は、商品を購入するユーザが商品の代金の精算を行うための、改善された精算装置および精算方法の提供に資する。 One embodiment of the present disclosure contributes to the provision of an improved settlement device and settlement method for a user who purchases a product to settle the price of the product.
本開示に係る精算装置は、台上に置かれた商品を撮影する第1のカメラと、前記商品の画像に基づいて、前記商品を認識する商品画像認識回路と、前記商品の認識結果を表示する表示装置と、前記商品の認識結果の訂正指示の入力を受け付ける入力装置と、音声を検出するマイクと、前記音声を音声認識する音声認識回路と、前記音声認識の結果に含まれるキーワードに基づいて前記商品の候補を抽出する制御回路と、を備え、前記表示装置は、前記候補を表示し、前記入力装置は、前記候補の選択をユーザから受け付け、前記制御回路は、前記選択に基づいて、前記商品の認識結果を訂正する、構成を採る。 The settlement device according to the present disclosure displays a first camera that photographs a product placed on a table, a product image recognition circuit that recognizes the product based on an image of the product, and a recognition result of the product. Based on the display device, the input device that receives the input of the correction instruction of the recognition result of the product, the microphone that detects the voice, the voice recognition circuit that recognizes the voice, and the keyword included in the result of the voice recognition. A control circuit for extracting a candidate for the product is provided, the display device displays the candidate, the input device accepts the selection of the candidate from the user, and the control circuit is based on the selection. , Correct the recognition result of the product, adopt the structure.
本開示に係る精算方法は、カメラが、台上に置かれた商品を撮影し、商品画像認識回路が、前記商品の画像に基づいて、前記商品を認識し、表示装置が、前記商品の認識結果を表示し、入力装置が、前記商品の認識結果の訂正指示の入力を受け付け、マイクが、音声を検出し、音声認識回路が、前記音声を音声認識し、制御回路が、前記音声認識の結果に含まれるキーワードに基づいて前記商品の候補を抽出し、前記表示装置が、前記候補を表示し、前記入力装置が、前記候補の選択をユーザから受け付け、前記制御回路が、前記選択に基づいて、前記商品の認識結果を訂正する、構成を採る。 In the settlement method according to the present disclosure, the camera photographs the product placed on the table, the product image recognition circuit recognizes the product based on the image of the product, and the display device recognizes the product. The result is displayed, the input device receives the input of the correction instruction of the recognition result of the product, the microphone detects the voice, the voice recognition circuit recognizes the voice, and the control circuit recognizes the voice. Candidates for the product are extracted based on the keywords included in the result, the display device displays the candidates, the input device accepts the selection of the candidates from the user, and the control circuit is based on the selection. Therefore, a configuration is adopted in which the recognition result of the product is corrected.
なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。 It should be noted that these comprehensive or specific embodiments may be realized in a system, device, method, integrated circuit, computer program, or recording medium, and the system, device, method, integrated circuit, computer program, and recording medium. It may be realized by any combination of.
本開示の一実施例によれば、商品を購入するユーザが商品の代金の精算を行うための、改善された精算装置および精算方法を提供できる。 According to one embodiment of the present disclosure, it is possible to provide an improved settlement device and settlement method for a user who purchases a product to settle the price of the product.
本開示の一実施例における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、1つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。 Further advantages and effects in one embodiment of the present disclosure will be apparent from the specification and drawings. Such advantages and / or effects are provided by some embodiments and features described in the specification and drawings, respectively, but not all need to be provided in order to obtain one or more identical features. There is no.
以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、以下に説明する実施の形態は一例であり、本開示は以下の実施の形態により限定されるものではない。 Hereinafter, embodiments of the present disclosure will be described in detail with reference to the drawings. The embodiments described below are examples, and the present disclosure is not limited to the following embodiments.
[精算装置10の構成]
図1は、本開示に係る精算装置10の外部構成の一例を示す図である。図2は、本開示に係る精算装置10の内部構成の一例を示す図である。
[Configuration of payment device 10]
FIG. 1 is a diagram showing an example of an external configuration of the
精算装置10は、ユーザが、購入する商品の代金の精算に用いる装置である。ユーザは、例えば、来店客である。精算装置10は、例えば、店舗の商品陳列棚と出口との間に設置される。精算装置10は、精算台(台、撮影領域)110と、第1のカメラ130と、タッチパネルディスプレイ150と、第2のカメラ160と、マイク170と、音声認識部(音声認識回路)210と、商品画像認識部(商品画像認識回路)220と、顔画像認識部(顔画像認識回路)230と、精算処理部(精算処理回路)240と、メモリ260と、ストレージ270と、プロセッサ(制御回路)280と、を備える。
The
精算台110は、ユーザが購入する商品を載置するための台である。精算台110は、商品を容易かつ安定的に載置することが可能であるように、例えば、精算装置10の天板120の部分に設けられる。精算台110は、第1のカメラ130により撮影される画像からの商品の特定が容易になるように、例えば、白色、灰色、黒色といった一つの色を呈するのが好ましい。
The checkout table 110 is a table on which the product purchased by the user is placed. The checkout table 110 is provided, for example, on the
第1のカメラ130は、ユーザが購入する商品を撮影する。第1のカメラ130は、例えば、精算装置10の天井部140の部分に、精算台110に対向して設けられる。第1のカメラ130は、例えば、CCD(Charge Coupled Device)センサ、または、CMOS(Complementary Metal Oxide Semiconductor)センサを含む。
The
タッチパネルディスプレイ150は、ディスプレイ(表示装置)152と、入力装置154と、を備える。タッチパネルディスプレイ150は、例えば、精算装置10の天板120の部分に設けられる。一例において、タッチパネルディスプレイ150は、精算台110と、第2のカメラ160と、マイク170と、に隣り合って設けられる。ディスプレイ152は、ユーザに対して精算画面300(図5参照)、商品訂正画面400(図9参照)、商品指定画面500(図11参照)、または商品指定画面600(図12参照)を表示する。ディスプレイ152は、例えば、液晶モニタまたはOLED(Organic Light Emtting Diode)モニタである。入力装置154は、ユーザによるタッチ操作およびタッチ操作が行われた位置を検出する。入力装置154は、例えば、抵抗膜方式、静電容量方式、超音波表面弾性波方式、赤外線光学イメージング方式、または、電磁誘導方式のタッチパネルを含む。
The
第2のカメラ160は、ユーザの顔を撮影する。第2のカメラ160は、タッチパネルディスプレイ150を操作するユーザの顔を撮影しやすいように、例えば、精算装置10の天板120の部分の、タッチパネルディスプレイ150の奥側に設けられる。第2のカメラ160は、例えば、CCDセンサ、または、CMOSセンサを含む。
The
マイク170は、音声を検知し、電気信号に変換する。音声は、ユーザの発話を含む。マイク170は、例えば、指向性を有するマイクアレイを含む。マイク170は、タッチパネルディスプレイ150を操作するユーザの発話を検知しやすいように、例えば、精算装置10の天板120の部分の、タッチパネルディスプレイ150の奥側であって、精算台110と第2のカメラ160の間に設けられる。
The
音声認識部210は、検知された音声に対して、音声認識を実行し、ユーザの発話に対応する文字列を生成する。一例において、音声認識部210は、音声認識を実行するプロセッサを備える。プロセッサは、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field-Programmable Gate Array)である。
The
商品画像認識部220は、商品を撮影した画像から、撮影された商品を認識(または、識別)する。一例において、商品画像認識部220は、プロセッサを備える。プロセッサは、例えば、CPU、GPU、ASIC、またはFPGAである。プロセッサは、例えば、線形分類器、SVM(Support Vector Machine)、またはニューラルネットワークといった教師あり学習手法を用いて、商品を撮影した画像および学習済みデータに基づいて、撮影された商品を認識(または、識別)する。ここで、学習済みデータは、商品を撮影した画像と商品を特定する情報との関係を予め学習させることによって得られたデータである。
The product
顔画像認識部230は、ユーザの顔を撮影した画像または動画から、撮影されたユーザを認識(または、識別)する。一例において、商品画像認識部220は、プロセッサを備える。プロセッサは、例えば、CPU、GPU、ASIC、またはFPGAである。プロセッサは、例えば、線形分類器、SVM、またはニューラルネットワークといった教師あり学習手法を用いて、顔を撮影した画像および学習済みデータに基づいて、撮影されたユーザを認識(または、識別)する。ここで、学習済みデータは、ユーザの顔を撮影した画像とユーザを特定する情報との関係を予め学習させることによって得られたデータである。
The face
精算処理部240は、認識された人物に代金を精算する。一例において、精算処理部240は、例えば、銀行またはクレジットカードのサーバと接続するためのネットワークインターフェースと、銀行またはクレジットカード会社にあるユーザの口座に対して、プロセッサ280が算出した代金の課金処理を行うためのプロセッサと、を備える。
The
一例において、精算装置10は、例えば、商品認識装置250をさらに備える。
In one example, the
商品認識装置250は、入力したバーコードから商品を特定する識別子を特定する。商品認識装置250は、例えば、バーコードリーダーである。バーコードは、1次元バーコードまたは2次元バーコードである。1次元バーコードは、例えば、JAN、EAN、UPC、CODE39、CODE128、NW−7、またはITFである。2次元バーコードは、例えば、QRコード(登録商標)である。
The
メモリ260またはストレージ270は、商品を示す情報(商品情報)を記憶する。商品情報は、例えば、店舗が取り扱う商品を示す画像と、商品に関するキーワードと、商品の値段と、を含む。商品に関するキーワードは、例えば、商品名を含む。ここで、商品名とは、商品を特定する名称であり、例えば、商標、商標の略称、登録商標、登録商標の略称である。
The
一例において、商品に関するキーワードは、さらに、店舗が取り扱う商品のメーカー(製造元)名と、ブランド名と、ジャンル名と、シリーズ名と、の少なくとも1つを含む。なお、メーカー名、ブランド名と、ジャンル名と、シリーズ名は短縮語や崩し言葉(アイスコーヒーをアイコと短縮するなど)でも良い。 In one example, the keyword related to the product further includes at least one of the manufacturer (manufacturer) name, the brand name, the genre name, and the series name of the product handled by the store. The manufacturer name, brand name, genre name, and series name may be abbreviated words or broken words (such as shortening iced coffee to Aiko).
ここで、ブランド名とは、特定の商品群を識別するために用いられる名称であり、例えば、商号、商号の略称、商標、商標の略称、登録商標、登録商標の略称である。また、ジャンル名(または、カテゴリ名)とは、商品を指し示す普通名称または慣用名称を含み、ジャンル(または、カテゴリ)とは、ジャンル名(または、カテゴリ名)によって指し示される商品の範囲である。ジャンル名は、例えば、「おにぎり」、「チョコ(チョコレート)」、「焼きそば」である。また、シリーズ名とは、バリエーションを有する商品を包括的に特定する名称である。シリーズ名は、例えば、バリエーション「AAAラーメン醤油味」および「AAAラーメン味噌味」を有する商品の包括的な名称「AAAラーメン」、バリエーション「BBBスナック塩味」および「BBBスナックカレー味」を有する商品の包括的な名称「BBBスナック」である。 Here, the brand name is a name used to identify a specific product group, and is, for example, a trade name, an abbreviation for a trade name, a trademark, an abbreviation for a trademark, a registered trademark, or an abbreviation for a registered trademark. Further, the genre name (or category name) includes a common name or an idiomatic name indicating a product, and the genre (or category) is a range of products indicated by the genre name (or category name). .. The genre names are, for example, "rice balls", "chocolate", and "fried noodles". The series name is a name that comprehensively identifies products having variations. The series name is, for example, the comprehensive name "AAA ramen" of the product having the variations "AAA ramen soy sauce taste" and "AAA ramen miso taste", and the product having the variations "BBB snack salty taste" and "BBB snack curry taste". The comprehensive name is "BBB Snack".
一例において、メモリ260またはストレージ270は、商品に関するキーワードまたはその組み合わせに基づいて商品情報をルックアップするためのデータベースを備える。また、一例において、メモリ260またはストレージ270は、商品認識装置250によって特定される識別子に基づいて商品情報をルックアップするためのデータベースを備える。
In one example, the
プロセッサ280は、精算装置10の各構成要素を制御して、図3、図4、図6、図7、図8、図10、図13、図14、および図15を参照して後述する処理を実行する。プロセッサ280は、例えば、CPU、GPU、ASIC、またはFPGAである。
The
[精算装置10の動作]
図3は、本開示に係る精算装置10の動作の一例を示すフローチャートである。以下のボタン等はいずれも、「修正」等をユーザが発声することによる音声認識によっても押下処理が可能である。
[Operation of payment device 10]
FIG. 3 is a flowchart showing an example of the operation of the
ステップS102において、精算装置10は、商品画像認識処理を実行する。商品画像認識処理の詳細については、図4を参照して後述する。
In step S102, the
ステップS104において、入力装置154は、ボタンの押下を受け付ける。ボタンは、例えば、タッチパネルディスプレイ150に表示されたボタンである。
In step S104, the
ステップS106において、プロセッサ280は、押下されたボタンの種類を判定する。判定されるボタンの種類は、例えば、修正ボタン、追加ボタン、削除ボタン、または精算ボタンである。これらのボタンの詳細については、図5を参照して後述する。
In step S106,
ステップS108において、プロセッサ280は、商品訂正処理を実行する。商品訂正処理の詳細については、図6を参照して後述する。
In step S108, the
ステップS110において、プロセッサ280は、ユーザが購入する商品の精算処理を実行する。精算処理の詳細については、図15を参照して後述する。その後、精算装置10は、フローを終了する。
In step S110, the
[商品画像認識処理]
図4は、図3のステップS102(商品画像認識処理)における精算装置10の動作の一例を示すフローチャートである。
[Product image recognition processing]
FIG. 4 is a flowchart showing an example of the operation of the
ステップS202において、第1のカメラ130は、商品の画像を撮影する。ここで、撮影する商品の個数は、1個以上の任意の数であってよい。第1のカメラ130は、例えば、ユーザが精算台110上に商品を載置したことを検知したことに応じて、商品の画像を撮影する。第1のカメラ130は、例えば、撮影する画像が静止画像であるか否かを判定し、撮影する画像が精算台110の静止画像以外の静止画像である場合、ユーザが精算台110上に商品を載置したことを検知する。
In step S202, the
ステップS204において、商品画像認識部220は、撮影された画像から、商品を認識する。なお、必要に応じて、精算装置10は、ステップS202およびステップS204を繰り返し実行してもよい。
In step S204, the product
ステップS206において、プロセッサ280は、認識された全ての商品を含む購入商品リストを生成する。プロセッサ280は、生成した購入商品リストをメモリ260またはストレージ270に記憶させる。
In step S206,
ステップS208において、プロセッサ280は、メモリ260またはストレージ270に記憶させた購入商品リストを表示する。その後、精算装置10は、フローを終了する。
In step S208, the
図5は、精算画面300の一例を示す図である。精算画面300は、例えば、タッチパネルディスプレイ150のディスプレイ152(図1,図2参照)に表示される。
FIG. 5 is a diagram showing an example of the
精算画面300は、例えば、購入商品リスト表示310と、追加ボタン340と、精算ボタン350と、を備える。
The
購入商品リスト表示310は、ステップS206において生成された購入商品リストの表示である。購入商品リスト表示310は、購入商品リストに含まれる商品の表示(購入商品表示)320a,320bと、スクロールバー330と、を含む。
The purchased
購入商品表示320a,320bは、それぞれ、商品画像表示321と、商品名表示323と、値段表示325と、修正ボタン327と、削除ボタン329と、を含む。プロセッサ280は、例えば、メモリ260またはストレージ270から読み出した商品情報に基づいて、精算画面300に、商品画像表示321と、商品名表示323と、値段表示325と、を表示させる。
The purchased
スクロールバー330は、購入商品リスト表示310に含まれる購入商品表示320a,320bの個数が多い場合に、ディスプレイ152に表示させる購入商品表示320a,320bをユーザに指定させるためのユーザインターフェースである。
The
修正ボタン327と、追加ボタン340と、削除ボタン329と、は、ユーザが商品訂正処理を指示するためのボタンである。ここで、商品訂正処理とは、ユーザが購入商品リスト表示310を訂正する場合に実行される処理である。商品訂正処理は、商品修正処理と、商品追加処理と、商品削除処理と、を含む。商品訂正処理については、図6等を参照して後述する。
The
精算ボタン350は、ユーザが商品精算処理を指示するためのボタンである。精算処理の詳細については、図15を参照して後述する。
The
[商品訂正処理]
ユーザが実際に購入した商品と、購入商品リスト表示310に含まれる購入商品表示320a,320bとが一致しない場合、ユーザは、修正ボタン327、追加ボタン340、または削除ボタン329を押下する。押下に応じて実行される商品訂正処理を、以下に説明する。
[Product correction process]
When the product actually purchased by the user does not match the purchased
図6は、図3のステップS108(商品訂正処理)における精算装置10の動作の一例を示すフローチャートである。
FIG. 6 is a flowchart showing an example of the operation of the
ステップS302において、プロセッサ280は、精算画面300(図5参照)において押下されたボタンの種類を判定する。判定されるボタンの種類は、例えば、修正ボタン327、追加ボタン340、または削除ボタン329、である。
In step S302, the
押下されたボタンの種類が追加ボタン340であった場合(ステップS302:追加)、商品追加処理を実行するために、ステップS304において、プロセッサ280は、指定商品を決定するための商品指定処理を実行する。商品指定処理の詳細については、図7を参照して後述する。
When the type of the pressed button is the add button 340 (step S302: addition), in step S304, the
ステップS306において、プロセッサ280は、メモリ260またはストレージ270が記憶する購入商品リストに、決定された指定商品を追加する。
In step S306, the
押下されたボタンの種類が修正ボタン327であった場合(ステップS302:修正)、商品修正処理を実行するために、ステップS308において、プロセッサ280は、指定商品を決定するための商品指定処理を実行する。商品指定処理の詳細については、図7を参照して後述する。
When the type of the pressed button is the correction button 327 (step S302: correction), in step S308, the
ステップS310において、プロセッサ280は、メモリ260またはストレージ270が記憶する購入商品リストの対象商品を、決定された指定商品と入れ替える。ここで、対象商品は、押下された修正ボタン327に対応する商品(例えば、図5に示される商品「AAAチョコ」または商品「BBB缶コーヒー」)である。
In step S310, the
押下されたボタンの種類が削除ボタン329であった場合(ステップS302:削除)、商品削除処理を実行するために、ステップS312において、プロセッサ280は、メモリ260またはストレージ270が記憶する購入商品リストの対象商品を削除する。ここで、対象商品は、押下された削除ボタン329に対応する商品(例えば、図5に示される商品「AAAチョコ」または商品「BBB缶コーヒー」)である。
When the type of the pressed button is the delete button 329 (step S302: delete), in step S312, the
ステップS314において、プロセッサ280は、精算画面300において、購入商品リストの表示を更新する。その後、プロセッサ280は、商品訂正処理を終了する。
In step S314, the
[商品指定処理]
図7は、図6のステップS304,S308(商品指定処理)における精算装置10の動作の一例を示すフローチャートである。
[Product designation processing]
FIG. 7 is a flowchart showing an example of the operation of the
ステップS402において、プロセッサ280は、マイク170が音声入力を検知したか否かを判定する。
In step S402, the
マイク170が音声入力を検知した場合(ステップS402:Yes)、ステップS404において、精算装置10は、音声認識商品指定処理を実行する。音声認識商品指定処理の詳細については、図8を参照して後述する。
When the
ステップS406において、プロセッサ280は、商品指定が完了した、即ち、ステップS404において、指定商品が確定したか否かを判定する。商品指定が完了していない場合(ステップS406:No)、精算装置10は、処理をステップS402に移す。一方、商品指定が完了した場合(ステップS406:Yes)、プロセッサ280は、フローを終了する。
In step S406, the
マイク170が音声入力を検知しなかった場合(ステップS402:No)、ステップS408において、プロセッサ280は、入力装置154がタッチパネル入力を検知したか否かを判定する。
When the
入力装置154がタッチパネル入力を検知しなかった場合(ステップS408:Yes)、ステップS410において、プロセッサ280は、タッチパネル商品指定処理を実行する。タッチパネル商品指定処理の詳細については、図13を参照して後述する。その後、プロセッサ280は、フローを終了する。
When the
入力装置154がタッチパネル入力を検知しなかった場合(ステップS408:No)、ステップS412において、プロセッサ280は、商品認識装置250がバーコードの入力を検知したか否かを判定する。
When the
商品認識装置250がバーコードの入力を検知した場合(ステップS412:Yes)ステップS414において、精算装置10は、バーコード商品指定処理を実行する。バーコード商品指定処理の詳細については、図14を参照して後述する。その後、プロセッサ280は、フローを終了する。
When the
なお、精算装置10が商品認識装置250を備えない実施の形態においては、ステップS412およびS414は、省略できる。この場合、入力装置154がタッチパネル入力を検知しなかった場合(ステップS408:No)、プロセッサ280は、処理をステップS402に移す。
In the embodiment in which the
[音声認識商品指定処理]
図8は、図7のステップS404(音声認識商品指定処理)における精算装置10の動作の一例を示すフローチャートである。
[Voice recognition product designation processing]
FIG. 8 is a flowchart showing an example of the operation of the
ステップS502において、音声認識部210は、検知された音声に対して、音声認識を実行する。
In step S502, the
ステップS504において、プロセッサ280は、音声認識の結果に認識対象のキーワードが含まれるか否かを判定する。例えば、プロセッサ280は、ストレージ270に予め格納された、認識対象のキーワードが登録されたデータベースから、音声認識の結果を検索する。
In step S504, the
音声認識の結果に認識対象のキーワードが含まれる場合(ステップS504:Yes)、ステップS506において、プロセッサ280は、商品絞り込み処理を実行する。商品絞り込み処理の詳細については、図10を参照して後述する。
When the recognition target keyword is included in the voice recognition result (step S504: Yes), in step S506, the
ステップS508において、ディスプレイ152は、商品絞り込み処理によって抽出された商品の一覧を表示する。表示の一例については、図11および図12を参照して後述する。
In step S508, the
ステップS510において、入力装置154は、商品の指定(選択)を受け付ける。その後、精算装置10は、フローを終了する。
In step S510, the
一方、音声認識の結果に認識対象のキーワードが含まれない場合(ステップS504:No)、精算装置10は、フローを終了する。
On the other hand, when the recognition target keyword is not included in the voice recognition result (step S504: No), the
図9は、商品訂正画面400の一例を示す図である。商品訂正画面400は、例えば、タッチパネルディスプレイ150のディスプレイ152(図1,図2参照)に表示される。
FIG. 9 is a diagram showing an example of the
商品訂正画面400は、ガイダンス表示410と、ジャンル選択画面420と、を備える。ジャンル選択画面420は、ジャンルボタン422a,422b,422cを備える。ジャンルボタン422a,422b,422cには、ジャンル名が表示され、ユーザが押下によりジャンルを指定するためのボタンである。
The
ガイダンス表示410は、ユーザに対して、ジャンルボタン422a,422b,422cの押下に代えて、音声入力によっても商品またはジャンルを指定できることを示す表示である。ガイダンス表示410は、「おにぎり」、「DDD(DDDメーカ)のチョコ」、「焼きそば」といった、ジャンル名またはメーカー名とジャンル名との組み合わせの発話の一例を示すためのガイダンス吹き出し表示412を含んでもよい。ガイダンス表示410の内容は、例えば、ジャンルボタン422a,422b,422cのジャンル名に基づいて生成される。
The
図10は、図8のステップS506(商品絞り込み処理)における精算装置10の動作の一例を示すフローチャートである。
FIG. 10 is a flowchart showing an example of the operation of the
ステップS602において、プロセッサ280は、メーカー名に該当するキーワードが、音声認識結果に含まれるか否かを判定する。
In step S602, the
メーカー名に該当するキーワードが音声認識結果に含まれる場合(ステップS602:Yes)、ステップS604において、プロセッサ280は、ジャンル名に該当するキーワード(例えば、「チョコ(チョコレート)」、「おにぎり」、「缶コーヒー」)が、音声認識結果に含まれるか否かを判定する。
When the keyword corresponding to the manufacturer name is included in the voice recognition result (step S602: Yes), in step S604, the
ジャンル名に該当するキーワードが、音声認識結果に含まれる場合(ステップS604:Yes)、ステップS606において、プロセッサ280は、キーワードに該当する商品を抽出する。抽出された商品は、商品訂正処理後の購入商品リストに含まれうる商品の候補である。その後、プロセッサ280は、フローを終了する。また、ジャンル名に該当するキーワードが、音声認識結果に含まれない場合(ステップS604:No)、プロセッサ280は、フローを終了する。
When the keyword corresponding to the genre name is included in the voice recognition result (step S604: Yes), in step S606, the
一方、メーカー名に該当するキーワードが音声認識結果に含まれない場合(ステップS602:No)、ステップS608において、プロセッサ280は、ブランド名に該当するキーワードが、音声認識結果に含まれるか否かを判定する。
On the other hand, when the keyword corresponding to the manufacturer name is not included in the voice recognition result (step S602: No), in step S608, the
ブランド名に該当するキーワードが音声認識結果に含まれる場合(ステップS608:Yes)、プロセッサ280は、処理をステップS606に移す。一方、ブランド名に該当するキーワードが音声認識結果に含まれない場合(ステップS608:No)、ステップS610において、プロセッサ280は、ジャンル名に該当するキーワード(例えば、「チョコ(チョコレート)」、「おにぎり」、「缶コーヒー」))が、音声認識結果に含まれるか否かを判定する。
When the keyword corresponding to the brand name is included in the voice recognition result (step S608: Yes), the
ジャンル名に該当するキーワードが含まれる場合(ステップS610:Yes)、プロセッサ280は、処理をステップS606に移す。一方、ジャンル名に該当するキーワードが音声認識結果に含まれない場合(ステップS610:No)、ステップS612において、プロセッサ280は、商品名に該当するキーワード(例えば、「EEEおにぎり」、「FFFおにぎり」)が、音声認識結果に含まれるか否かを判定する。
When the keyword corresponding to the genre name is included (step S610: Yes), the
商品名に該当するキーワードが含まれる場合(ステップS612:Yes)、プロセッサ280は、処理をステップS606に移す。一方、商品名に該当するキーワードが音声認識結果に含まれない場合(ステップS612:No)、プロセッサ280は、フローを終了する。
When the keyword corresponding to the product name is included (step S612: Yes), the
図11は、商品指定画面500の一例を示す図である。商品指定画面500は、例えば、タッチパネルディスプレイ150のディスプレイ152(図1,図2参照)に表示される。一例において、商品指定画面500は、図8のステップS506において、商品絞り込み処理によって抽出された商品の数が所定の数以下である場合に、表示される。
FIG. 11 is a diagram showing an example of the
商品指定画面500は、抽出された商品の表示510a,510bを備える。商品の表示510a,510bは、それぞれ、商品画像表示512と、商品名表示514と、値段表示516と、指定ボタン518と、を含む。プロセッサ280は、例えば、メモリ260またはストレージ270から読み出した商品情報に基づいて、商品指定画面500に、商品画像表示512と、商品名表示514と、値段表示516と、を表示させる。指定ボタン518は、ユーザが商品の指定を指示するためのボタンである。
The
図12は、商品指定画面600の一例を示す図である。商品指定画面600は、例えば、タッチパネルディスプレイ150のディスプレイ152(図1,図2参照)に表示される。一例において、商品指定画面500は、図8のステップS506において、商品絞り込み処理によって抽出された商品の数が所定の数より大きい場合に、表示される。
FIG. 12 is a diagram showing an example of the
商品指定画面600は、ガイダンス表示610と、抽出された商品の一覧表示画面620と、を備える。抽出された商品の一覧表示画面620は、抽出された商品の表示622a,622bを備える。商品の表示622a,622bは、それぞれ、商品画像表示632と、商品名表示634と、値段表示636と、指定ボタン638と、を含む。プロセッサ280は、例えば、メモリ260またはストレージ270から読み出した商品情報に基づいて、商品指定画面600に、商品の表示622a,622bは、それぞれ、商品画像表示632と、商品名表示634と、値段表示636と、を表示させる。指定ボタン638は、ユーザが商品の指定を指示するためのボタンである。
The
ガイダンス表示610は、ユーザに対して、指定ボタン638の押下に代えて、音声入力によってさらに商品の絞り込みを実行できることを示す表示である。例えば、ユーザが「お菓子」を発話した場合、ガイダンス表示610は、「お菓子」を絞り込むための発話の一例、例えば、「チョコレート、ガム、あめ」を示すためのガイダンス吹き出し表示612を含んでもよい。ガイダンス表示610の内容は、例えば、商品の一覧表示画面620に含まれる商品名に基づいて生成される。
The
一例において、プロセッサ280は、ユーザまたはユーザの属性に応じて、抽出された商品の表示622a,622bの順序を変更する。ユーザの属性は、例えば、ユーザの推定年齢またはユーザの推定性別である。例えば、第2のカメラ160が、ユーザを撮影し、顔画像認識部230が、ユーザの顔画像または顔動画に基づいて、ユーザまたはユーザの属性を認識する。プロセッサ280は、ユーザまたはユーザの属性の認識の結果に基づいて、抽出された商品の表示622a,622bの順序を変更する。例えば、メモリ260またはストレージ270は、ユーザが過去に購入した商品を記憶し、プロセッサ280は、ユーザが過去に購入した商品が他の商品に優先するように、抽出された商品の表示622a,622bの順序を変更する。
In one example, the
[タッチパネル商品指定処理]
図13は、図7のステップS410(タッチパネル商品指定処理)における精算装置10の動作の一例を示すフローチャートである。
[Touch panel product designation processing]
FIG. 13 is a flowchart showing an example of the operation of the
ステップS702において、ディスプレイ152は、ジャンルの一覧を表示する。ジャンルの数が多く、一度に表示できない場合、ディスプレイ152は、ジャンルの一部とともに、例えば、スクロールバー、スクロールボタン、または、タブを表示してもよい。
In step S702, the
ステップS704において、入力装置154は、ユーザからのジャンルの指定を受け付ける。
In step S704, the
ステップS706において、ディスプレイ152は、ユーザから指定されたジャンルに属する商品の一覧を表示する。商品の数が多く、一度に表示できない場合、ディスプレイ152は、商品の一部とともに、例えば、スクロールバー、スクロールボタン、または、タブを表示してもよい。
In step S706, the
ステップS708において、入力装置154は、ユーザからの商品の指定を受け付ける。その後、精算装置10は、フローを終了する。
In step S708, the
[バーコード商品指定処理]
図14は、図7のステップS414(バーコード商品指定処理)における精算装置10の動作の一例を示すフローチャートである。
[Barcode product specification processing]
FIG. 14 is a flowchart showing an example of the operation of the
ステップS802において、商品認識装置250は、入力したバーコードから商品の識別子を特定する。
In step S802, the
ステップS804において、プロセッサ280は、識別子で特定される商品を指定する。その後、精算装置10は、フローを終了する。
In step S804,
[精算処理]
図15は、図3のステップS110(精算処理)における精算装置10の動作の一例を示すフローチャートである。
[Settlement process]
FIG. 15 is a flowchart showing an example of the operation of the
ステップS902において、第2のカメラ160が、ユーザの顔画像または顔動画を撮影する。
In step S902, the
ステップS904において、顔画像または顔動画からユーザを認識する。ステップS902およびステップS904は、ユーザを認識できるまで、繰り返し実行されてもよい。 In step S904, the user is recognized from the face image or the face moving image. Step S902 and step S904 may be repeated until the user can be recognized.
ステップS906において、精算処理部240は、認識されたユーザに商品の代金を課金する。その後、精算装置10は、フローを終了する。
In step S906, the
本開示によれば、ユーザは、バーコードリーダーを使用せずに、商品を精算装置10に登録し、購入代金を精算できる。したがって、来店客は、精算装置10を用いることにより、バーコードリーダーを用いる負担をなくすまたは低減することができ、精算にかかる時間を短縮できる。
According to the present disclosure, the user can register the product in the
また、本開示によれば、タッチパネルディスプレイ150に表示される商品が多い場合、ユーザ(来店客)が発話によって商品を絞り込むことができる。したがって、来店客は、精算装置10を用いることにより、タッチパネルディスプレイを用いた商品の画像の選択による負担を低減することができ、精算にかかる時間を短縮できる。例えば、店舗が扱う商品数が多く、商品の候補が数百種類に亘る場合であっても、ディスプレイ上には全商品一覧または全商品カテゴリが表示され、来店客がその中から目的の商品を選択するといった、操作が煩雑になる状況を回避できる。また、来店客は、精算装置10を用いることにより、目的の商品を選ぶまでの手間を短縮できる。
Further, according to the present disclosure, when there are many products displayed on the
また、本開示によれば、来店客は、発話のみに基づいて購入商品の登録を完了しなくてもよく、また、商品を絞り込むためのステップ数も少ない場合が多い。したがって、来店客は、精算装置10を用いることにより、精算処理を素早く完了できる。
Further, according to the present disclosure, the customer does not have to complete the registration of the purchased product based only on the utterance, and the number of steps for narrowing down the product is often small. Therefore, the customer can quickly complete the settlement process by using the
また、本開示によれば、商品絞り込み処理において、商品に関するキーワードの組み合わせに基づいて、商品が絞り込まれ、ユーザ(来店客)は、絞り込まれた商品の中からタッチパネルディスプレイ150を介して商品を指定(選択)できる。したがって、商品名の正確な名前を一意に理解して発話することが難しいために、商品名と異なるキーワードを来店客が発話した場合であっても、精算装置10が発話に基づき商品を絞り込むことにより、来店客による商品の指定(選択)が容易になる。したがって、来店客の発話内容が曖昧であっても許容される場合が多くなり、店舗従業員がいない場合であっても、来店客は、精算装置10を容易に操作できる。
Further, according to the present disclosure, in the product narrowing process, the products are narrowed down based on the combination of keywords related to the products, and the user (customer) specifies the products from the narrowed down products via the
また、本開示によれば、商品認識装置250(例えば、バーコードリーダー)は、必須の構成要素ではない。したがって、商品認識装置250を省略することにより、精算装置10の設置空間の省スペース化を図ることができる。
Further, according to the present disclosure, the product recognition device 250 (for example, a barcode reader) is not an essential component. Therefore, by omitting the
(その他の実施の形態)
本開示において、例えば、図5に示される精算画面300には、修正ボタン327、削除ボタン329、追加ボタン340、精算ボタン350が含まれる。また、例えば、図11に示される商品指定画面500および図12に示される商品指定画面600には、指定ボタン638が含まれる。しかしながら、精算画面300、図9に示される商品訂正画面400、商品指定画面500、および商品指定画面600には、修正ボタン327、削除ボタン329、追加ボタン340、精算ボタン350、および指定ボタン638のいずれとも異なるボタンが表示されてもよい。
(Other embodiments)
In the present disclosure, for example, the
一例において、精算装置10の制御フローの変更を指示するための他のボタンが表示されてもよい。例えば、精算画面300には、精算装置10に、図7に示されるステップS404,S406の音声認識商品指定処理を再実行することを指示する、音声認識やり直しボタンが表示されてもよい。また、例えば、商品訂正画面400、商品指定画面500、または商品指定画面600には、精算装置10に、図8に示されるステップS506の商品絞り込み処理を再実行することを指示する、商品絞り込みやり直しボタンが表示されてもよい。例えば、メモリ260またはストレージ270が、各ステップにおける購入商品リスト、商品絞り込みの結果といった精算装置10の操作状態の履歴を記憶し、音声認識やり直しボタンまたは商品絞り込みやり直しボタンが押下されたことに応じて、操作状態を過去に遡って更新してもよい。
In one example, another button for instructing a change in the control flow of the
本開示において、例えば、図10に示される商品絞り込み処理のフローチャートにおいて、商品に関するキーワードとして、メーカー名、ブランド名、ジャンル名、および商品名が記載されている。しかしながら、商品に関するキーワードとして、シリーズ名を用いる実施の形態も考えられる。例えば、図10において、ステップS610およびステップS612の間に、ステップS611として、プロセッサ280がシリーズ名に該当するキーワードが含まれるか否かを判定するステップを挿入してもよい。
In the present disclosure, for example, in the flow chart of the product narrowing process shown in FIG. 10, a manufacturer name, a brand name, a genre name, and a product name are described as keywords related to the product. However, an embodiment using a series name as a keyword related to a product is also conceivable. For example, in FIG. 10, a step for determining whether or not the
本開示において、図3に示されるように、精算ボタンが押下された後、ステップS110の精算処理が実行される。しかしながら、ステップS110の精算処理のうち、図15に示されるステップS902およびステップS904は、精算ボタンが押下される前に実行されてもよい。 In the present disclosure, as shown in FIG. 3, the settlement process of step S110 is executed after the settlement button is pressed. However, among the settlement processes of step S110, steps S902 and S904 shown in FIG. 15 may be executed before the settlement button is pressed.
本開示において、図4に示されるようにステップS204において商品の画像を認識した後に、ステップS206において購入商品リストが生成される。これに代えて、ステップS202およびS204を省略し、ステップS206において、プロセッサ280が店舗の全商品からなる購入商品リストを生成する実施の形態も考えられる。この場合、精算装置10の構成から、第1のカメラ130と商品画像認識部220とを省略してもよい。
In the present disclosure, after recognizing the image of the product in step S204 as shown in FIG. 4, the purchased product list is generated in step S206. Alternatively, an embodiment in which steps S202 and S204 are omitted and the
本開示において、図1に示されるように、マイク170は、精算装置10の天板120の部分の、タッチパネルディスプレイ150の奥側であって、精算台110と第2のカメラ160の間に設けられる。これに代えて、マイク170は、精算装置10に接続された受話器に設けられる実施の形態も考えられる。マイク170を受話器に設けることにより、来店客は、自分の発話内容が他人に聞こえないように発話するのがより容易になる。
In the present disclosure, as shown in FIG. 1, the
上述の実施の形態においては、各構成要素に用いる「・・・部」という表記は、「・・・回路(circuitry)」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」といった他の表記に置換されてもよい。 In the above-described embodiment, the notation "... part" used for each component is "... circuitry", "... device", "... unit", or "... unit". It may be replaced with another notation such as "... module".
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。 Although various embodiments have been described above with reference to the drawings, it goes without saying that the present disclosure is not limited to such examples. It is clear that a person skilled in the art can come up with various modifications or modifications within the scope of the claims, which naturally belong to the technical scope of the present disclosure. Understood. In addition, each component in the above embodiment may be arbitrarily combined as long as the purpose of disclosure is not deviated.
本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるLSIとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのLSI又はLSIの組み合わせによって制御されてもよい。LSIは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。LSIはデータの入力と出力を備えてもよい。LSIは、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。集積回路化の手法はLSIに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集化を行ってもよい。バイオ技術の適用等が可能性としてありえる。 The present disclosure can be realized by software, hardware, or software linked with hardware. Each functional block used in the description of the above embodiment is partially or wholly realized as an LSI which is an integrated circuit, and each process described in the above embodiment is partially or wholly. It may be controlled by one LSI or a combination of LSIs. The LSI may be composed of individual chips, or may be composed of one chip so as to include a part or all of functional blocks. The LSI may include data input and output. LSIs may be referred to as ICs, system LSIs, super LSIs, and ultra LSIs depending on the degree of integration. The method of making an integrated circuit is not limited to LSI, and may be realized by a dedicated circuit, a general-purpose processor, or a dedicated processor. Further, an FPGA (Field Programmable Gate Array) that can be programmed after the LSI is manufactured, or a reconfigurable processor that can reconfigure the connection and setting of the circuit cells inside the LSI may be used. The present disclosure may be realized as digital processing or analog processing. Furthermore, if an integrated circuit technology that replaces an LSI appears due to advances in semiconductor technology or another technology derived from it, it is natural that the functional blocks may be integrated using that technology. There is a possibility of applying biotechnology.
本開示は、通信機能を持つあらゆる種類の装置、デバイス、システム(通信装置と総称)において実施可能である。通信装置の、非限定的な例としては、電話機(携帯電話、スマートフォン等)、タブレット、パーソナル・コンピューター(PC)(ラップトップ、デスクトップ、ノートブック等)、カメラ(デジタル・スチル/ビデオ・カメラ等)、デジタル・プレーヤー(デジタル・オーディオ/ビデオ・プレーヤー等)、着用可能なデバイス(ウェアラブル・カメラ、スマートウオッチ、トラッキングデバイス等)、ゲーム・コンソール、デジタル・ブック・リーダー、テレヘルス・テレメディシン(遠隔ヘルスケア・メディシン処方)デバイス、通信機能付きの乗り物又は移動輸送機関(自動車、飛行機、船等)、及び上述の各種装置の組み合わせがあげられる。 The present disclosure can be implemented in all types of devices, devices and systems (collectively referred to as communication devices) having a communication function. Non-limiting examples of communication devices include telephones (mobile phones, smartphones, etc.), tablets, personal computers (PCs) (laptops, desktops, notebooks, etc.), cameras (digital stills / video cameras, etc.). ), Digital players (digital audio / video players, etc.), wearable devices (wearable cameras, smart watches, tracking devices, etc.), game consoles, digital book readers, telehealth telemedicines (remote health) Care / medicine prescription) devices, vehicles with communication functions or mobile transportation (automobiles, airplanes, ships, etc.), and combinations of the above-mentioned various devices can be mentioned.
通信装置は、持ち運び可能又は移動可能なものに限定されず、持ち運びできない又は固定されている、あらゆる種類の装置、デバイス、システム、例えば、スマート・ホーム・デバイス(家電機器、照明機器、スマートメーター又は計測機器、コントロール・パネル等)、自動販売機、その他IoT(Internet of Things)ネットワーク上に存在し得るあらゆる「モノ(Things)」をも含む。 Communication devices are not limited to those that are portable or mobile, but are not portable or fixed, any type of device, device, system, such as a smart home device (home appliances, lighting equipment, smart meters or It also includes measuring instruments, control panels, etc.), vending machines, and any other "Things" that can exist on the IoT (Internet of Things) network.
通信には、セルラーシステム、無線LANシステム、通信衛星システム等によるデータ通信に加え、これらの組み合わせによるデータ通信も含まれる。また、通信装置には、本開示に記載される通信機能を実行する通信デバイスに接続又は連結される、コントローラやセンサ等のデバイスも含まれる。例えば、通信装置の通信機能を実行する通信デバイスが使用する制御信号やデータ信号を生成するような、コントローラやセンサが含まれる。 Communication includes data communication by a combination of these, in addition to data communication by a cellular system, a wireless LAN system, a communication satellite system, and the like. Communication devices also include devices such as controllers and sensors that are connected or connected to communication devices that perform the communication functions described in the present disclosure. For example, it includes controllers and sensors that generate control and data signals used by communication devices that perform the communication functions of the communication device.
また、通信装置には、上記の非限定的な各種装置と通信を行う、あるいはこれら各種装置を制御する、インフラストラクチャ設備、例えば、基地局、アクセスポイント、その他あらゆる装置、デバイス、システムが含まれる。 Communication devices also include infrastructure equipment that communicates with or controls these non-limiting devices, such as base stations, access points, and any other device, device, or system. ..
本開示に係る精算装置は、台上に置かれた商品を撮影する第1のカメラと、前記商品の画像に基づいて、前記商品を認識する商品画像認識回路と、前記商品の認識結果を表示する表示装置と、前記商品の認識結果の訂正指示の入力を受け付ける入力装置と、音声を検出するマイクと、前記音声を音声認識する音声認識回路と、前記音声認識の結果に含まれるキーワードに基づいて前記商品の候補を抽出する制御回路と、を備え、前記表示装置は、前記候補を表示し、前記入力装置は、前記候補の選択をユーザから受け付け、前記制御回路は、前記選択に基づいて、前記商品の認識結果を訂正する。 The settlement device according to the present disclosure displays a first camera that photographs a product placed on a table, a product image recognition circuit that recognizes the product based on an image of the product, and a recognition result of the product. Based on a display device, an input device that receives input of a correction instruction for the recognition result of the product, a microphone that detects voice, a voice recognition circuit that recognizes the voice, and keywords included in the voice recognition result. A control circuit for extracting a candidate for the product is provided, the display device displays the candidate, the input device accepts the selection of the candidate from the user, and the control circuit is based on the selection. , Correct the recognition result of the product.
本開示に係る精算装置において、前記キーワードは、メーカー名、商品名、ブランド名、ジャンル名、およびシリーズ名の1つまたは2つ以上の組み合わせである。 In the settlement device according to the present disclosure, the keyword is one or a combination of two or more of a manufacturer name, a product name, a brand name, a genre name, and a series name.
本開示に係る精算装置において、前記第1のカメラは、前記台に対向して設けられる。 In the settlement device according to the present disclosure, the first camera is provided facing the table.
本開示に係る精算装置において、前記マイクは、指向性を備えるマイクアレイを含む。 In the settlement device according to the present disclosure, the microphone includes a microphone array having directivity.
本開示に係る精算装置において、ユーザの顔を撮影する第2のカメラと、前記第2のカメラによって撮影された画像に基づいて、前記ユーザを認識する顔画像認識回路と、前記認識されたユーザに対して、前記商品の代金を課金処理する精算処理回路と、を備える。 In the settlement device according to the present disclosure, a second camera that captures a user's face, a face image recognition circuit that recognizes the user based on an image captured by the second camera, and the recognized user. On the other hand, a settlement processing circuit for charging the price of the product is provided.
本開示に係る精算装置において、前記マイクは、前記第1のカメラおよび前記第2のカメラの間に設けられる。 In the settlement device according to the present disclosure, the microphone is provided between the first camera and the second camera.
本開示に係る精算装置において、前記表示装置は、前記台、前記第2のカメラ、および前記マイクに隣り合って設けられる。 In the settlement device according to the present disclosure, the display device is provided adjacent to the table, the second camera, and the microphone.
本開示に係る精算装置において、前記制御回路は、前記ユーザまたは前記ユーザの属性に応じて、前記表示装置が表示する前記候補の順序を変更する。 In the settlement device according to the present disclosure, the control circuit changes the order of the candidates displayed by the display device according to the user or the attribute of the user.
本開示に係る精算装置において、前記入力装置は、前記表示装置の表示面に設けられるタッチパネルを備える。 In the settlement device according to the present disclosure, the input device includes a touch panel provided on the display surface of the display device.
本開示に係る精算方法は、カメラが、台上に置かれた商品を撮影し、商品画像認識回路が、前記商品の画像に基づいて、前記商品を認識し、表示装置が、前記商品の認識結果を表示し、入力装置が、前記商品の認識結果の訂正指示の入力を受け付け、マイクが、音声を検出し、音声認識回路が、前記音声を音声認識し、制御回路が、前記音声認識の結果に含まれるキーワードに基づいて前記商品の候補を抽出し、前記表示装置が、前記候補を表示し、前記入力装置が、前記候補の選択をユーザから受け付け、前記制御回路が、前記選択に基づいて、前記商品の認識結果を訂正する。 In the settlement method according to the present disclosure, the camera photographs the product placed on the table, the product image recognition circuit recognizes the product based on the image of the product, and the display device recognizes the product. The result is displayed, the input device accepts the input of the correction instruction of the recognition result of the product, the microphone detects the voice, the voice recognition circuit recognizes the voice, and the control circuit recognizes the voice. Candidates for the product are extracted based on the keywords included in the result, the display device displays the candidates, the input device accepts the selection of the candidates from the user, and the control circuit is based on the selection. Then, the recognition result of the product is corrected.
本開示は、スーパーマーケット、コンビニエンスストアといった、複数の商品の購入代金をまとめて精算する精算システムに有用である。 The present disclosure is useful for a settlement system such as a supermarket or a convenience store where the purchase price of a plurality of products is collectively settled.
10 精算装置
110 精算台
120 天板
130 第1のカメラ
140 天井部
150 タッチパネルディスプレイ
160 第2のカメラ
170 マイク
210 音声認識部
220 商品画像認識部
230 顔画像認識部
240 精算処理部
250 商品認識装置
260 メモリ
270 ストレージ
280 プロセッサ
10
Claims (10)
前記商品の画像に基づいて、前記商品を認識する商品画像認識回路と、
前記商品の認識結果を表示する表示装置と、
前記商品の認識結果の訂正指示の入力を受け付ける入力装置と、
音声を検出するマイクと、
前記音声を音声認識する音声認識回路と、
前記音声認識の結果に含まれるキーワードに基づいて前記商品の候補を抽出する制御回路と、
を備え、
前記表示装置は、前記候補を表示し、
前記入力装置は、前記候補の選択をユーザから受け付け、
前記制御回路は、前記選択に基づいて、前記商品の認識結果を訂正する、
精算装置。 The first camera that shoots the products placed on the table,
A product image recognition circuit that recognizes the product based on the image of the product,
A display device that displays the recognition result of the product and
An input device that accepts input of correction instructions for the recognition result of the product,
With a microphone that detects voice,
A voice recognition circuit that recognizes the voice and
A control circuit that extracts the product candidates based on the keywords included in the voice recognition result, and
With
The display device displays the candidate and displays the candidate.
The input device accepts the selection of the candidate from the user and receives
The control circuit corrects the recognition result of the product based on the selection.
Settlement device.
前記第2のカメラによって撮影された画像に基づいて、前記ユーザを認識する顔画像認識回路と、
前記認識されたユーザに対して、前記商品の代金を課金処理する精算処理回路と、
を備える、
請求項1から4のいずれか一項に記載の精算装置。 A second camera that captures the user's face,
A face image recognition circuit that recognizes the user based on the image taken by the second camera, and
A settlement processing circuit that charges the recognized user for the price of the product, and
To prepare
The settlement device according to any one of claims 1 to 4.
商品画像認識回路が、前記商品の画像に基づいて、前記商品を認識し、
表示装置が、前記商品の認識結果を表示し、
入力装置が、前記商品の認識結果の訂正指示の入力を受け付け、
マイクが、音声を検出し、
音声認識回路が、前記音声を音声認識し、
制御回路が、前記音声認識の結果に含まれるキーワードに基づいて前記商品の候補を抽出し、
前記表示装置が、前記候補を表示し、
前記入力装置が、前記候補の選択をユーザから受け付け、
前記制御回路が、前記選択に基づいて、前記商品の認識結果を訂正する、
精算方法。 The camera shoots the product placed on the table,
The product image recognition circuit recognizes the product based on the image of the product.
The display device displays the recognition result of the product,
The input device accepts the input of the correction instruction of the recognition result of the product, and receives the input.
The microphone detects the voice and
The voice recognition circuit recognizes the voice and
The control circuit extracts the product candidates based on the keywords included in the voice recognition result.
The display device displays the candidate,
The input device accepts the selection of the candidate from the user and receives
The control circuit corrects the recognition result of the product based on the selection.
Settlement method.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019101655A JP2020197758A (en) | 2019-05-30 | 2019-05-30 | Settlement device and settlement method |
PCT/JP2020/017189 WO2020241120A1 (en) | 2019-05-30 | 2020-04-21 | Billing device and billing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019101655A JP2020197758A (en) | 2019-05-30 | 2019-05-30 | Settlement device and settlement method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020197758A true JP2020197758A (en) | 2020-12-10 |
Family
ID=73552297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019101655A Pending JP2020197758A (en) | 2019-05-30 | 2019-05-30 | Settlement device and settlement method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2020197758A (en) |
WO (1) | WO2020241120A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114445980B (en) * | 2022-01-28 | 2023-11-28 | 成都商汤科技有限公司 | Commodity checkout method and device, electronic equipment and storage medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000293754A (en) * | 1999-04-07 | 2000-10-20 | Toshiba Tec Corp | Merchandise sales registered data processor |
JP2014109924A (en) * | 2012-12-03 | 2014-06-12 | Toshiba Tec Corp | Commodity recognition device and commodity recognition program |
JP2017108287A (en) * | 2015-12-09 | 2017-06-15 | 株式会社リコー | Communication device, control method and control program |
WO2018116536A1 (en) * | 2016-12-20 | 2018-06-28 | 日本電気株式会社 | Information processing system, customer identification device, information processing method, and program |
-
2019
- 2019-05-30 JP JP2019101655A patent/JP2020197758A/en active Pending
-
2020
- 2020-04-21 WO PCT/JP2020/017189 patent/WO2020241120A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000293754A (en) * | 1999-04-07 | 2000-10-20 | Toshiba Tec Corp | Merchandise sales registered data processor |
JP2014109924A (en) * | 2012-12-03 | 2014-06-12 | Toshiba Tec Corp | Commodity recognition device and commodity recognition program |
JP2017108287A (en) * | 2015-12-09 | 2017-06-15 | 株式会社リコー | Communication device, control method and control program |
WO2018116536A1 (en) * | 2016-12-20 | 2018-06-28 | 日本電気株式会社 | Information processing system, customer identification device, information processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
WO2020241120A1 (en) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210342588A1 (en) | Object identification and device communication through image and audio signals | |
US9844467B2 (en) | Image capture and identification system and process | |
JP2009163331A (en) | Merchandise sales data processor and computer program | |
CN107798268B (en) | Article reading apparatus, control method, terminal device, and computer-readable storage medium | |
US20140291396A1 (en) | Headheld Scanner and POS Display with Mobile Phone | |
JP6472925B1 (en) | Information processing apparatus, information processing system, learning apparatus, learned estimation model, and learning data collection method | |
TWM560634U (en) | Display system with image recognition and combined with multimedia-based shopping | |
WO2020227845A1 (en) | Compressed network for product recognition | |
JPWO2014020794A1 (en) | Information processing apparatus and screen setting method | |
JP2014081888A (en) | Order support device, order support method and order support program | |
US20230334523A1 (en) | Management system, server device and method | |
JP4913719B2 (en) | Merchandise sales data processing apparatus and computer program | |
WO2020241120A1 (en) | Billing device and billing method | |
JP2009163330A (en) | Merchandise sales data processor and computer program | |
JP2021018470A (en) | Article specification device and program | |
US9355395B2 (en) | POS terminal apparatus and commodity specification method | |
CN112154488A (en) | Information processing apparatus, control method, and program | |
WO2021251280A1 (en) | Information processing device, information processing method, information processing program, and information processing system | |
JP2020071852A (en) | Information processing device, information processing system, learning device, learned estimation model, and method for collecting data for learning | |
JP2017146939A (en) | Image display device, display control method and display control program | |
JP7205603B2 (en) | REGISTRATION DEVICE, REGISTRATION METHOD AND PROGRAM | |
JP6696554B2 (en) | Payment system and payment method | |
US20240070657A1 (en) | Reward calculation system, reward calculation method, and information storage medium | |
WO2023281616A1 (en) | Information processing system, method, and recording medium | |
JP2023031946A (en) | Information processing system, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190625 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20191021 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230725 |