JP2016105228A - Commodity ordering apparatus, commodity ordering method, commodity price output device and commodity price output method - Google Patents
Commodity ordering apparatus, commodity ordering method, commodity price output device and commodity price output method Download PDFInfo
- Publication number
- JP2016105228A JP2016105228A JP2014242913A JP2014242913A JP2016105228A JP 2016105228 A JP2016105228 A JP 2016105228A JP 2014242913 A JP2014242913 A JP 2014242913A JP 2014242913 A JP2014242913 A JP 2014242913A JP 2016105228 A JP2016105228 A JP 2016105228A
- Authority
- JP
- Japan
- Prior art keywords
- product
- sub
- customer
- image
- ordering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 46
- 238000003384 imaging method Methods 0.000 abstract description 16
- 238000012545 processing Methods 0.000 description 38
- 238000010586 diagram Methods 0.000 description 13
- 239000010902 straw Substances 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 12
- 230000007704 transition Effects 0.000 description 11
- 235000013305 food Nutrition 0.000 description 9
- 238000012790 confirmation Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 235000013336 milk Nutrition 0.000 description 4
- 239000008267 milk Substances 0.000 description 4
- 210000004080 milk Anatomy 0.000 description 4
- 239000006188 syrup Substances 0.000 description 4
- 235000020357 syrup Nutrition 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 235000008429 bread Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000011389 fruit/vegetable juice Nutrition 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 240000007124 Brassica oleracea Species 0.000 description 1
- 235000003899 Brassica oleracea var acephala Nutrition 0.000 description 1
- 235000011301 Brassica oleracea var capitata Nutrition 0.000 description 1
- 235000001169 Brassica oleracea var oleracea Nutrition 0.000 description 1
- 244000000626 Daucus carota Species 0.000 description 1
- 235000002767 Daucus carota Nutrition 0.000 description 1
- 241000287828 Gallus gallus Species 0.000 description 1
- 244000141359 Malus pumila Species 0.000 description 1
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 241000220324 Pyrus Species 0.000 description 1
- 101100412093 Schizosaccharomyces pombe (strain 972 / ATCC 24843) rec16 gene Proteins 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 235000013330 chicken meat Nutrition 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 235000012489 doughnuts Nutrition 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000013410 fast food Nutrition 0.000 description 1
- 235000015220 hamburgers Nutrition 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 235000021017 pears Nutrition 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 235000011890 sandwich Nutrition 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
Images
Landscapes
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
- Image Analysis (AREA)
- Cash Registers Or Receiving Machines (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、オブジェクト認識を利用した商品注文装置、商品注文方法、商品価格出力装置および商品価格出力方法に関する。 The present invention relates to a product ordering device, a product ordering method, a product price output device, and a product price output method using object recognition.
セルフ方式のうどん屋において顧客は、トングを用いて陳列台から所望のちくわや天ぷらなどを取ってトレー上の皿に載せて、POS端末(レジ)で代金の精算を受ける。ここでPOSとは、販売時点情報管理(Point Of Sale system)の略称である。このようなうどん屋では、ちくわや天ぷらなどの調理品は、陳列台にそのまま陳列することが多い。これにより、出来たての調理品をそのまま味や食感を落とすことなしに顧客に提供でき、かつ皿に載せる工数を省略することができる。その反面、調理品を皿に載せないことによりこの調理品を電子的に管理することが困難であるという問題がある。 In the self-type udon shop, the customer takes desired chikuwa or tempura from the display stand using tongs and places them on a plate on the tray and receives payment at the POS terminal (register). Here, POS is an abbreviation for point of sale system. In such udon shops, cooking products such as chikuwa and tempura are often displayed on the display stand as they are. As a result, the freshly prepared food can be provided to the customer without sacrificing the taste and texture as it is, and the number of steps to put on the plate can be omitted. On the other hand, there is a problem that it is difficult to electronically manage the cooked product by not placing the cooked product on the plate.
調理品の種類は多種・多様であり、同一種類であっても外観が完全に同一とは限らない。うどん屋の店員は、トレー上の調理品の種類を正確に見分けて手作業でPOS端末に入力する必要がある。よって、店員に対する所定の訓練期間が必要であった。
このため近年では、トレー上の食品をカメラで撮影し、この画像情報からトレー上の食品の種類と数量とを自動認識して、商品登録を自動化するPOS端末が出現している。これにより、店員の訓練期間を短縮することができる。
There are many different types of cooked products, and even if they are the same type, the appearance is not always the same. Udon shop clerk needs to manually identify the type of food on the tray and manually input it to the POS terminal. Therefore, a predetermined training period for the store clerk is necessary.
For this reason, in recent years, POS terminals have appeared that automate product registration by photographing food on a tray with a camera and automatically recognizing the type and quantity of food on the tray from this image information. Thereby, the training period of the store clerk can be shortened.
特許文献1の課題には、「画像認識によりパンの種類を正確に識別する。」と記載され、構成には、「パンのカラー画像を内側領域のカラー画像と外側領域のカラー画像とに分割する。パンの画像からパンの輪郭に関する特徴量と、パンのテクスチャーに関する特徴量と、パンの内側領域のカラースペース内での特徴量と、パンの外側領域のカラースペース内での特徴量とを求め、パンの種類を識別する。」と記載されている。
The problem of
うどん屋は、顧客が店内で飲食できるように構成されている。そのような店舗において顧客は、トングを用いて調理品の陳列台から所望の調理品をトレーに取り、店員に飲み物を注文する。このとき店員は、顧客が要求する飲み物をキッチンやバックヤード等に注文(オーダ)して、この飲み物を作成させると共に、これを売上登録することが必要である。 The udon shop is configured so that customers can eat and drink in the store. In such a store, the customer uses the tongs to take the desired food from the food display stand to the tray and order a drink from the store clerk. At this time, the store clerk needs to order (order) the drink requested by the customer from the kitchen, the backyard or the like, create the drink, and register the sales.
飲み物は液体であり、それ自体では固有の形態を有さない。また、飲み物の容器は、商品の種類によらず共通のものが提供される。よって、飲み物またはその容器の外観によって、商品の種類を識別することは困難である。また、カメラで撮影する際に、所定の高さを有する飲み物の容器は、背の低い調理品と共にフォーカスできず、明瞭に撮影できない虞がある。更に飲み物をオブジェクト認識して売上登録する場合でも、この飲み物をキッチンやバックヤード等に注文する手間を省くことはできない。 Drinks are liquid and do not have an inherent form by themselves. In addition, a common drink container is provided regardless of the type of product. Therefore, it is difficult to identify the type of product based on the appearance of the drink or its container. Further, when taking a picture with a camera, a drink container having a predetermined height cannot be focused together with a short cooked product, and there is a possibility that it cannot be taken clearly. Furthermore, even when a drink is recognized as an object and registered for sales, it is not possible to save the trouble of ordering this drink to the kitchen or backyard.
そこで、本発明は、商品の情報出力にかかる手間を抑制可能な商品注文装置、商品注文方法、商品価格出力装置および商品価格出力方法を提供することを課題とする。 Therefore, an object of the present invention is to provide a product ordering device, a product ordering method, a product price output device, and a product price output method that can reduce the labor involved in outputting product information.
本発明は、上記目的を達成するため、
商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて記憶されている記憶手段と、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の注文情報を出力する制御手段と、
を備えたことを特徴とする商品注文装置である。
In order to achieve the above object, the present invention
For each sub-provided provided to the customer together with the product, storage means for storing the product to be provided to the customer together with the sub-provided,
When the object photographed by the photographing means is recognized as a sub-provided provided to the customer together with the product based on the image information of the object, the storage means is associated with the recognized sub-provided. Control means for outputting the order information of the product stored in
A product ordering device characterized by comprising:
上記目的を達成するため、
商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて、予め記憶手段に記憶させておくステップと、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の注文情報を出力するステップと、
を有することを特徴とする商品注文方法である。
To achieve the above objective,
For each sub-provided provided to the customer together with the product, the step of storing the product to be provided to the customer together with the sub-provided in advance in the storage means;
When the object photographed by the photographing means is recognized as a sub-provided provided to the customer together with the product based on the image information of the object, the storage means is associated with the recognized sub-provided. Outputting the order information of the product stored in
A product ordering method characterized by comprising:
上記目的を達成するため、
商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて記憶されている記憶手段と、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の価格を出力する制御手段と、
を備えたことを特徴とする商品価格出力装置である。
To achieve the above objective,
For each sub-provided provided to the customer together with the product, storage means for storing the product to be provided to the customer together with the sub-provided,
When the object photographed by the photographing means is recognized as a sub-provided provided to the customer together with the product based on the image information of the object, the storage means is associated with the recognized sub-provided. Control means for outputting the price of the product stored in
A product price output device characterized by comprising:
上記目的を達成するため、
商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて、予め記憶手段に記憶させておくステップと、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の価格情報を出力するステップと、
を有することを特徴とする商品価格出力方法である。
To achieve the above objective,
For each sub-provided provided to the customer together with the product, the step of storing the product to be provided to the customer together with the sub-provided in advance in the storage means;
When the object photographed by the photographing means is recognized as a sub-provided provided to the customer together with the product based on the image information of the object, the storage means is associated with the recognized sub-provided. Outputting the price information of the product stored in
A product price output method characterized by comprising:
本発明によれば、商品の情報出力にかかる手間を抑制可能な商品注文装置、商品注文方法、商品価格出力装置および商品価格出力方法を提供することが可能となる。 According to the present invention, it is possible to provide a product ordering device, a product ordering method, a product price output device, and a product price output method that can reduce the labor involved in outputting product information.
以降、本発明を実施するための形態を、各図を参照して詳細に説明する。なお、複数の図面において、同一の要素には同一の符号を付与し、重複する説明を適宜省略する。
図1は、本実施形態における商品注文装置1−1,1−2を示す斜視図である。
図1に示すように、商品注文装置1−1は、顧客用ディスプレイ11と、撮影装置12と、照明装置13とを備えており、店舗のレーン15に設置される。商品注文装置1−2も、商品注文装置1−1と同様に構成され、レーン15に設置される。以下、商品注文装置1−1,1−2を特に区別しないときには、単に商品注文装置1と記載する。なお、店員は、接客するにあたりレーン15の図面奥側に立つ。顧客は、レーン15の図面手前側の左端付近に立ち、レーン15にトレー3を載せて左から右に移動する。
レーン15には、複数種類のコースター5aが置かれ、その右側には、商品注文装置1−1が設置されている。このコースター5aまたはその近傍には、このコースター5aと共に顧客が提供を受けるコーヒーとその種別が記載されている。この商品注文装置1−1は、顧客によってトレー3に置かれたコースター5aを認識して、このコースター5aに対応する飲み物を注文する。
商品注文装置1−1の右側にはストロー5bが置かれ、更にその右側には、商品注文装置1−2が設置されている。このストロー5bまたはその近傍には、このストロー5bと共に顧客が提供を受けるジュースとその種別が記載されている。この商品注文装置1−2は、顧客によってトレー3に置かれたストロー5bを認識して、このストロー5bに対応する飲み物を注文する。なお、商品注文装置1−2は、ストロー5bを認識するが、コースター5aを認識せず、これに対応するコーヒーの注文を出力しない。これにより、下流側の商品注文装置1−2は、重ねて同一の飲み物を注文しないように動作する。
本実施形態のコースター5aに対応するコーヒーは、ストロー5bに対応するジュースよりも作成期間が長い。よって、作成期間が相対的に長いコーヒーに対して、より多くの準備期間を割り当てることができる。これにより、商品登録システム7(図2参照)は、顧客を待たせることが少なくなり、より多くの顧客の注文を受けることが可能となる。
商品注文装置1は、飲料の注文情報を受けると、キッチンに設置されたキッチンプリンタ4(図2参照)により注文を印刷する。この動作については、後記する図4から図9で詳細に説明する。
Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings. In addition, in several drawing, the same code | symbol is provided to the same element and the overlapping description is abbreviate | omitted suitably.
FIG. 1 is a perspective view showing product ordering apparatuses 1-1 and 1-2 in the present embodiment.
As shown in FIG. 1, the product ordering device 1-1 includes a
A plurality of types of
A
The coffee corresponding to the
Upon receiving the drink order information, the
顧客用ディスプレイ11は、例えば液晶表示装置であり、顧客側である図面手前側を向いている。顧客用ディスプレイ11は、顧客に対して取扱商品に関する情報(商品名、金額等)を表示する。
The
撮影装置12は、レーン15に置かれたトレー3、および、トレー3の上の取扱商品または/および副提供物を真上から撮影する。副提供物とは、例えばコースター5a、ストロー5b、割り箸5c(図4参照)、スプーン、フォーク、ナイフ、砂糖袋、ガムシロップ容器、ミルク容器、ナプキン等であり、取扱商品に付随して顧客に提供するものである。以下、取扱商品と副提供物のことを、「取扱商品等」と記載する場合がある。撮影領域121は、撮影装置12によって撮影可能なレーン15上の領域である。
照明装置13は、例えばLED(Light Emitting Diode)光源であり、撮影装置12に隣接して設置される。照明装置13は、レーン15に置かれたトレー3、および、トレー3の上の取扱商品または/および副提供物に真上から照らす。これにより、撮影装置12は、トレー3の上の取扱商品等をより鮮明に撮影することができる。撮影装置12が撮影する際、トレー3上のコースター5aには、照明装置13の照明光が照射される。このトレー3の色は白色または淡色とすることが望ましい。更にトレー3は、その上面に微細なマット加工を付すことが望ましい。これにより、照明光や環境光の反射を抑止することができる。
顧客は、トレー3に副提供物であるコースター5aを載せて、このトレー3を滑らせて撮影領域121に移動させる。図1の例では1枚のコースター5aがトレー3の上に載せられている。店員は、商品注文装置1−2よりも右側でPOS端末2(図2参照)を操作している。店員は、POS端末2により顧客の注文を精算すると共に、取扱商品である飲み物をキッチンから受け取ってコースター5aの上に載せる。
The photographing
The
The customer places the
商品注文装置1は、撮影装置12によって撮影された画像を処理することで、トレー3の上の取扱商品を特定する。商品注文装置1は更に、コースター5a、ストロー5b、スプーン、箸、砂糖袋、ガムシロップ容器、ミルク容器等の副提供物に基づいて、飲み物の種類を判定し、判定した飲み物(取扱商品)のオーダ情報をキッチンプリンタ4により印刷する。これにより、商品注文装置1は、外部であるキッチン側に飲み物のオーダを通知することができる。商品注文装置1は更に、外部であるPOS端末2に、飲み物の商品名、個数、価格等の情報を送信し、この飲み物を売上登録させる。即ち、商品注文装置1は、取扱商品の価格情報を出力する商品価格出力装置として機能する。
The
図2は、商品注文装置1−1,1−2と、これらを含む商品登録システム7とを示す概略の構成図である。
商品注文装置1−1は、図1で示した構成以外に、CPU(Central Processing Unit)101と、RAM(Random Access Memory)102と、ROM(Read Only Memory)103と、記憶部104と、通信部14とを備えている。各構成は、内部バスや各入出力回路(不図示)を介して互いに通信可能に接続されている。商品注文装置1−1は、ネットワークを介してキッチンプリンタ4とPOS端末2とに接続されている。商品注文装置1−2も同様に、ネットワークを介してキッチンプリンタ4とPOS端末2とに接続されている。
FIG. 2 is a schematic configuration diagram showing the product ordering apparatuses 1-1 and 1-2 and the
In addition to the configuration shown in FIG. 1, the merchandise ordering apparatus 1-1 includes a CPU (Central Processing Unit) 101, a RAM (Random Access Memory) 102, a ROM (Read Only Memory) 103, a
CPU101は、中央制御装置であり、商品注文装置1全体の制御を司る制御手段である。
RAM102は、CPU101によって使用される一時記憶手段であり、CPU101が実行するプログラムに係る画像データや各種変数等を一時的に記憶する。
ROM103は、不揮発性の記憶手段であり、CPU101によって実行されるプログラム等を記憶する。
The
The
The
顧客用ディスプレイ11は、CPU101によって制御され、顧客に対して取扱商品等の撮影画像や取扱商品の会計に関する情報(商品名、金額等)を表示する表示手段である。
The
記憶部104は、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等によって構成され、各種プログラムや各種ファイルを記憶する記憶手段である。記憶部104に記憶されている各種プログラムや各種ファイルは、商品注文装置1の起動時に、その全部または一部がRAM102にコピーされてCPU101により実行される。この記憶部104には、各種のデータが記憶されている。
The
撮影装置12は、カラーCCD(Charge Coupled Device)イメージセンサやカラーCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等から構成される。撮影装置12は、CPU101の制御の下で撮影を行う撮影手段である。撮影装置12は、例えば30fps(frame per second)の動画像の撮影を行う。撮影装置12が所定のフレームレートで順次撮影したフレーム画像(撮影画像)は、RAM102に保存される。
The photographing
照明装置13は、CPU101の制御の下で、撮影装置12によってトレー3やトレー3の上の取扱商品等を撮影する際に撮影画像がより鮮明になるように、トレー3の上から下向きに光を照射する。これにより、画像処理の精度を高めることができる。照明装置13による光の照射のタイミングは、例えば、撮影装置12の撮影のタイミングに合わせてもよいし、あるいは、常時でもよい。
Under the control of the
通信部14は、例えばネットワークインタフェースコントローラであり、キッチンプリンタ4とPOS端末2とに接続されている。CPU101は、この通信部14を介して、オーダ内容をキッチンプリンタ4に印字させ、POS端末2に商品登録させる。
POS端末2は、会計を登録する端末である。POS端末2は、商品注文装置1−1,1−2から取扱商品であるちくわや天ぷら等の識別情報と、飲料の識別情報とを受信し、合計代金等の表示や、販売管理・売上実績管理等の演算・入出力を実行する。
The
The
図3は、商品注文装置1を示す論理ブロック図である。
商品注文装置1のCPU101(図2参照)は、ROM103(図2参照)に格納された不図示のプログラムを実行することにより、処理部8を具現化する。処理部8は、画像記憶部81と、オブジェクト認識処理部82と、確定通知部83と、オーダ印刷部84と、情報出力部85とを含んで構成される。このオブジェクト認識処理部82は、物体検出部821と、類似度演算部822と、類似度判断部823とを備えている。
処理部8は、記憶部104に格納されたオブジェクト認識用データ105と、商品内容データ106と、売上マスタ107とを参照する。処理部8は、撮影装置12によって撮影された物体が取扱商品であるか否かを、物体の画像情報に基づいて認識する。また、処理部8は、撮影装置12によって撮影された物体が副提供物であると認識された場合に、この認識された副提供物に対応づけられて記憶されている取扱商品の注文情報をキッチンプリンタ4(図2参照)などに出力する。
なお、処理部8は、記憶部104に格納されたオブジェクト認識用データ105と、商品内容データ106と、売上マスタ107とを参照する。
FIG. 3 is a logical block diagram showing the
The CPU 101 (see FIG. 2) of the
The
Note that the
オブジェクト認識用データ105は、調理品や副提供物の種類毎にモデル化された特徴量を組み合わせたテンプレート情報等が予め登録されている。即ち、オブジェクト認識用データ105は、店舗に陳列して販売する取扱商品等の各々について、商品名または商品IDと、その取扱商品等の特徴量との関連付けが設定されたデータファイルであり、取扱商品等の認識用の辞書として機能する。オブジェクト認識用データ105には、取扱商品と共に顧客に提供される副提供物ごとに、副提供物またはその組み合わせと共に顧客に提供されることとなる取扱商品が対応づけて記憶されている。
ここで、各商品注文装置1が格納するオブジェクト認識用データ105には、各装置が認識対象とする調理品や副提供物に関する情報が格納される。これにより、各商品注文装置1が対象とする調理品や副提供物のみをそれぞれキッチンに注文するので、商品の注文が重複することがなくなる。
In the
Here, in the
商品内容データ106は、取扱商品の内容情報が設定されたデータファイルである。商品内容データ106には、取扱商品の内容情報として、商品ID(IDentifier)、商品名、単価、値引き情報等が設定される。
売上マスタ107は、取扱商品の売上登録を記録するデータファイルであり、顧客に売り上げた商品IDと、これに対応する商品分類、商品名、単価、販売個数等が記録される。
画像記憶部81は、撮影されて撮影装置12が撮影したフレーム画像(カラーデジタル画像)を順次取り込んで記憶する。
The
The
The
物体検出部821は、エッジ検出等の技術を用いて、取り込んだフレーム画像における取扱商品等の候補となる画像を背景から分離する、すなわち識別対象の物体だけを切り出して検出する。具体的にいうと、処理部8は、常に撮影装置12によってレーン15上の撮影領域121を所定周期で撮影する。物体検出部821は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部821は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して画像を各領域に分離して、物体を検出する。
The
類似度演算部822は、個々の取扱商品等の種類を、検出された各物体の分離画像に基づいて識別する。類似度演算部822は、各分離画像について、大きさ、形状、色合い、表面の凹凸具合等の表面の状態を特徴量として演算する。類似度演算部822は更に、各分離画像の特徴量と、オブジェクト認識用データ105に記録された取扱商品等の各特徴量とをそれぞれ比較することで、各分離画像とオブジェクト認識用データ105に記録された取扱商品等との類似度をそれぞれ算出する。
即ち、類似度とは、オブジェクト認識用データ105に記録されている取扱商品等が想定する特徴量を100%の類似度とした場合に、各分離画像の特徴量がどの程度まで類似しているかを示すものである。つまり類似度は、物体の分離画像と、取扱商品等に想定される基準画像とがどの程度まで類似しているかを示している。なお、類似度演算部822は、特徴量が複数種類ある場合には複数の特徴量に基づいて総合評価をするが、そのとき、特徴量ごとに重み付けをしてもよい。
The
That is, the similarity refers to the degree of similarity between the separated images when the feature quantity assumed by the handling product recorded in the
このように、画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。下記の柳井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、更にその今後について展望している。
柳井啓司,「一般物体認識の現状と今後」,[online]、情報処理学会論文誌,2007年11月15日,Vol.48,No.SIG16、1-24頁,[平成26年10月31日検索],インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>
Recognizing an object included in an image in this way is called generic object recognition. In "Current status and future of general object recognition" written by Keiji Yanai below, a survey of general object recognition research is added to methods, data sets and evaluation benchmarks are performed, and the future is prospected.
Keiji Yanai, “Current Status and Future of General Object Recognition”, [online], Journal of Information Processing Society of Japan, November 15, 2007, Vol. 48, No. SIG16, pp. 1-24, [October 31, 2014 Day search], Internet <URL: http: //mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>
また、画像をオブジェクト(物体)ごとに領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”, Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on,[平成26年10月31日検索],インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>
A technique for performing general object recognition by dividing an image into regions for each object (object) is described in the following document.
Jamie Shotton et al., “Semantic Texton Forests for Image Categorization and Segmentation”, Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on, [October 31, 2014 search], Internet <URL: http: // citeseerx .ist.psu.edu / viewdoc / download? doi = 10.1.1.145.3036 & rep = rep1 & type = pdf>
なお、撮影された商品画像等の特徴量と、オブジェクト認識用データ105に記録された取扱商品の商品画像等の特徴量との類似度の算出方法は特に問わないものとする。例えば、撮影された商品画像等の特徴量と、オブジェクト認識用データ105に記録された各取扱商品等の特徴量との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
It should be noted that the method for calculating the degree of similarity between the feature amount of the photographed product image and the feature amount of the product image of the handled product recorded in the
類似度を絶対評価として算出する場合には、分離画像の特徴量と、オブジェクト認識用データ105として記憶された取扱商品等の特徴量とを1対1で比較し、この比較の結果算出される類似度(0〜100%)をそのまま採用すればよい。
また、類似度を相対評価として算出する場合には、各取扱商品等との類似度の総和が1.0(100%)となるよう算出する。例えば、オブジェクト認識用データ105として商品A,B、副提供物M,Nの特徴量が記憶されていたとする。このとき分離画像について、例えば、商品Aに対して類似度が0.65、商品Bに対しては類似度が0.2、副提供物Mに対しては類似度が0.1、副提供物Nに対しては類似度が0.05、等のように算出する。
When the similarity is calculated as an absolute evaluation, the feature amount of the separated image is compared with the feature amount of the handled product stored as the
Further, when calculating the similarity as a relative evaluation, the calculation is performed so that the sum of the similarities with each handled product is 1.0 (100%). For example, it is assumed that the feature quantities of the products A and B and the secondary offers M and N are stored as the
類似度判断部823は、物体の分離画像ごとに、類似度演算部822が算出した類似度に基づいて、対応する取扱商品等を一意に決定する。
The
確定通知部83は、類似度判断部823が取扱商品等を一意に決定した分離画像の物体について、この取扱商品等が一意に確定されたことを、顧客用ディスプレイ11への表示や音声出力等によって顧客に報知する。
より詳細には、確定通知部83は、類似度判断部823が取扱商品等を一意に決定した分離画像を、緑の枠線と共に顧客用ディスプレイ11に表示することで、分離画像に対応した取扱商品等が一意に確定されたことを示す。
The
More specifically, the
オーダ印刷部84は、キッチンプリンタ4に飲み物の注文を印刷させる。これにより顧客は、店員に対して口頭で飲み物の注文を伝えることなしに、キッチンに飲み物の注文情報を伝えることができる。なお、商品注文装置1は、顧客用ディスプレイ11に飲み物が注文された旨を表示するように構成されてもよい。
The
情報出力部85は、上述のようにして確定された確定商品等の商品IDに基づいて商品内容データ106を参照し、これに対応する商品分類、商品名、単価、販売個数等を取得する。情報出力部85は、取得した情報を顧客用ディスプレイ11に表示すると共に、POS端末2に送信する。
The
図4(a)〜(c)は、画面遷移の例を示す図である。この画面は、顧客用ディスプレイ11(図1参照)に表示される。 4A to 4C are diagrams illustrating examples of screen transition. This screen is displayed on the customer display 11 (see FIG. 1).
図4(a)は、黒色のコースター5aとちくわ6と割り箸5cを載せたトレー3がレーン15上の撮影領域121に移動されたときの画面の例を示す図である。黒色のコースター5aは、ホットコーヒーと共に顧客に提供する副提供物であり、かつ、このホットコーヒーの注文を示す指標である。
顧客用ディスプレイ11には、撮影装置12によるスルー画が常に表示される。顧客は、トレー3にちくわ6とコースター5aと割り箸5cとを載せて、トレー3を撮影領域121に移動させる。これにより、顧客用ディスプレイ11には、図4(b)の画面が表示される。
この画面では、コースター5aには緑の輪郭が付与され、コースター5aの分離画像に対応した副提供物が一意に確定されたことを示す。コースター5aの上には、これに対応する商品の内容を示す、「ホットコーヒーS・100円」のウインドウ51が表示される。
4A is a diagram showing an example of a screen when the
On the
In this screen, the
ちくわ6は、取扱商品そのものである。この画面では、ちくわ6には緑の輪郭が付与され、ちくわ6の分離画像に対応した取扱商品が一意に確定されたことを示す。ちくわ6の上には、これに対応する商品の内容を示す、「ちくわ・180円」のウインドウ61が表示される。
割り箸5cは、取扱商品を示す指標ではない。割り箸5cは、この商品注文装置1の認識対象ではないため、輪郭やウインドウは表示されない。
画面最上部には、「あと5秒でキッチンにオーダします」のメッセージが表示されている。ここで5秒とは、商品の注文情報を出力するまでの時間である。このメッセージは顧客用ディスプレイ11に、リアルタイムにカウントダウン表示される。5秒が経過すると、図4(b)の画面に遷移する。
The
At the top of the screen, the message “I will order in the kitchen in 5 seconds” is displayed. Here, 5 seconds is the time until the order information of the product is output. This message is displayed in countdown on the
図4(b)は、キッチンに飲み物がオーダされたときの画面の例を示す図である。
図4(b)の例では、トレー3が撮影領域121の右側に移動している。画面最上部には、「キッチンにコーヒーをオーダしました」のメッセージが表示されている。このメッセージは、所定時間の経過後に消去される。こののち顧客は、取扱商品であるコーヒー・Sサイズを店員から受け取る。
商品注文装置1は、所定時間だけトレー3を認識しつづけることにより、この飲み物の注文を確定して、この注文情報をキッチンプリンタ4に印刷する。これにより、商品注文装置1は、非接触で顧客の商品注文を確定することができ、衛生的である。なお、顧客が注文を取り消すときには、所定時間内に、トレー3または黒のコースター5aを商品注文装置1の撮影領域121から外せばよい。これにより、商品注文装置1は、非接触で顧客の商品注文のキャンセル処理が行える。
FIG. 4B is a diagram illustrating an example of a screen when a drink is ordered in the kitchen.
In the example of FIG. 4B, the
The
図5は、商品注文装置1の動作を示すアクティビティ図である。
商品注文装置1は、電源がオンされると、モードM10のトレー認識処理に遷移する。
モードM10は、トレー認識処理モードである。このとき商品注文装置1は、撮影装置12による撮影画像にオブジェクト認識処理を行い、新規のトレーを認識する。モードM10においてトレー認識処理が終了すると、商品注文装置1はモードM11に遷移する。
モードM11は、スルー画表示モードである。このとき商品注文装置1は、撮影装置12のスルー画をそのまま顧客用ディスプレイ11に表示し、モードM12に遷移する。具体的にいうと、このスルー画の表示とは、図4(a)に例示した画面である。
モードM12は、スルー画表示モードにおける判断である。このとき商品注文装置1は、撮影画像に新規トレーが検知されたならば、モードM13に遷移し、その他の場合は、モードM10に戻り、トレーの認識処理を繰り返す。
FIG. 5 is an activity diagram showing the operation of the
When the power is turned on, the
Mode M10 is a tray recognition processing mode. At this time, the
Mode M11 is a through image display mode. At this time, the
Mode M12 is a determination in the through image display mode. At this time, the
モードM13は、商品等認識処理モードである。このとき商品注文装置1は、撮影装置12による撮影画像にオブジェクト認識処理を行い、取扱商品等を認識する。モードM13において商品等認識処理が終了すると、商品注文装置1はモードM14に遷移する。
モードM14は、認識結果表示モードである。このとき商品注文装置1は、商品等認識処理の結果を顧客用ディスプレイ11に表示する。具体的にいうと、この商品等認識処理の結果の表示とは、図4(a)に例示した画面である。
モードM15は、認識結果表示モードにおける判断である。このとき商品注文装置1は、所定時間が経過したならば、モードM16に遷移し、所定時間内ならば、モードM13に戻り、商品等の認識処理を繰り返す。
Mode M13 is a product etc. recognition processing mode. At this time, the
Mode M14 is a recognition result display mode. At this time, the
Mode M15 is a determination in the recognition result display mode. At this time, the
モードM16は、所定時間経過後の判断である。このとき商品注文装置1は、コースターなどの指標および取扱商品を検知したならば、モードM17に遷移し、取扱商品のみを検知したならば、モードM18に遷移し、指標を検知していないならば(非検知)、図5の動作を終了する。
モードM17は、キッチンへのオーダ印刷処理モードである。このとき商品注文装置1は、コースター等の指標に対応した取扱商品の注文を、キッチンプリンタ4により印刷する。
モードM18は、POS端末2への通知モードである。このとき商品注文装置1は、撮影装置12で認識した取扱商品の注文と、コースター等の指標に対応した取扱商品の注文とを、POS端末2へ通知する。
モードM19は、オーダ済モードである。このとき商品注文装置1は、オーダした旨を表示する。具体的にいうと、このオーダした旨の表示とは、図4(b)に例示した画面である。モードM19のオーダ済モードが終了すると、図5の動作を終了する。
Mode M16 is a determination after a predetermined time has elapsed. At this time, the
Mode M17 is an order print processing mode for the kitchen. At this time, the
Mode M18 is a mode for notifying the
Mode M19 is an ordered mode. At this time, the
図6は、オブジェクト認識用データ105の一例を示す図である。
オブジェクト認識用データ105は、取扱商品等に係る特徴量欄105aと、画像リンク欄105bと、種別欄105cと、大きさ欄105dと、商品名欄105eとを含んで構成される。
特徴量欄105aは、この取扱商品等に係る種類毎にモデル化された特徴量を格納する。
FIG. 6 is a diagram illustrating an example of the
The
The
画像リンク欄105bは、この取扱商品等に係るリファレンス画像のリンクを格納する。特徴量欄105aに格納された特徴量は、このリファレンス画像の形状、色合い、表面の状態等を示す情報である。類似度判断部823は、特徴量欄105aを参照することにより、分離画像に係る物体がどの取扱商品等と類似度が高いかを判断することができる。
The
種別欄105cは、この取扱商品等が、取扱商品そのものであるか、または取扱商品を指し示す指標であるかの種別を格納する。本実施形態において取扱商品を指し示す指標は、取扱商品に付随して顧客に提供される副提供物であり、コースター、ストロー、スプーン、箸、砂糖袋、ガムシロップ容器、ミルク容器、ナプキン等である。
The
大きさ欄105dは、この取扱商品等のサイズ情報を格納する。確定通知部83は、この大きさ欄105dを参照することにより、例えば副提供物であるコースターやストロー、スプーン等の大きさに応じて、それぞれ異なるサイズの取扱商品や、異なる種類の商品をキッチンに注文することが可能となる。
The
商品名欄105eは、この取扱商品等の商品名を格納する。種別欄105cに「商品」が格納されているとき、商品名欄105eには、取扱商品の商品名が格納される。種別欄105cに「指標」が格納されているとき、商品名欄105eには、この指標に対応する商品名が格納される。確定通知部83は、一意に確定した取扱商品等に係る種別欄105cが「指標」であるとき、副提供物であると判断し、キッチンプリンタ4に前記した指標に対応する商品名欄105eの注文を印刷させる。
The
図7は、商品内容データ106の一例を示す図である。
商品内容データ106には、商品名欄106aと、商品画像リンク欄106bと、単価欄106cとを含んで構成される。なお、商品内容データ106は、これらの欄に限定されず、値引き情報など取扱商品に係る任意の情報欄を含んでもよい。
商品名欄106aには、取扱商品の商品名が格納される。
商品画像リンク欄106bには、取扱商品の画像リンクが格納される。
単価欄106cには、取扱商品の単価が格納される。商品注文装置1の確定通知部83は、この単価欄106cを参照して、顧客用ディスプレイ11に単価を表示する。
FIG. 7 is a diagram illustrating an example of the
The
The
The product
The unit price of the handled product is stored in the
図8は、商品等認識処理を示すフローチャートである。適宜、図1から図3を参照して説明する。
顧客がトレー3をレーン15に載せて、撮影領域121に移動させると、処理部8はこのトレー3を認識して一連の処理を開始する。
ステップS30において、処理部8は、タイマを設定する。このタイマは、トレー3を認識してから、トレー3上のコースター等に対応した飲み物を決定してキッチンに注文するまでの時間を測定するものである。このタイマの値は、後記するステップS41の処理で参照される。
ステップS31において、処理部8は、撮影装置12に撮影オン信号を出力して商品画像のキャプチャ(撮影)を開始する。画像記憶部81は、撮影装置12が撮影したフレーム画像(撮影画像)をRAM102に記憶する。
ステップS32において、オブジェクト認識処理部82は、画像記憶部81が記憶したフレーム画像に対して、一連のオブジェクト認識処理を行う。この処理において、物体検出部821は、取扱商品等である物体の分離画像の認識(検出)を試みる。類似度演算部822は、検出した分離画像から特徴量を読み取る。更に類似度判断部823が、特徴量の類似度が所定閾値以上となる取扱商品等がオブジェクト認識用データ105に存在するか否かを判定する。
FIG. 8 is a flowchart showing the product etc. recognition process. This will be described with reference to FIGS. 1 to 3 as appropriate.
When the customer places the
In step S30, the
In step S <b> 31, the
In step S <b> 32, the object
具体的にいうと、トレー3にちくわと黒コースターとが載っているとき、物体検出部821は、ちくわの分離画像と黒コースターの分離画像とを検出する。類似度演算部822は、ちくわの分離画像と黒コースターの分離画像とから、それぞれの特徴量を読み取る。類似度判断部823は、ちくわの分離画像の特徴量に基づいてオブジェクト認識用データ105を検索することにより、即ち、ちくわの分離画像の特徴量とオブジェクト認識用データ105の各特徴量との類似度を判定することにより、このオブジェクトがちくわであると判定する。更に類似度判断部823は、黒コースターの分離画像の特徴量に基づいてオブジェクト認識用データ105を検索することにより、即ち、黒コースターの分離画像の特徴量とオブジェクト認識用データ105の各特徴量との類似度を判定することにより、このオブジェクトが黒コースターであると判定する。
Specifically, when the chikuwa and the black coaster are placed on the
ステップS33〜S39において、処理部8は、認識したオブジェクトについて処理を繰り返す。この繰り返し処理により、キッチンプリンタ4への注文とPOS端末2の商品登録が行われる。
ステップS34において、類似度判断部823は、このオブジェクトがトレー上に新たに載置された指標であるか否かを判断する。類似度判断部823は、このオブジェクトが新たに載置された指標であったならば(Yes)、ステップS35の処理に進み、このオブジェクトが新たに載置された指標でなかったならば(No)、ステップS37の処理に進む。具体的にいうと、商品注文装置1が商品等認識処理を繰り返し実行しているときに、顧客が新たな副提供物をトレー上に載せたならば、ステップS35,S36の処理が1回だけ行われる。ここで指標とは、認識した副提供物のことをいう。
In steps S33 to S39, the
In step S34, the
ステップS36において、類似度判断部823は、オブジェクト認識用データ105(図6参照)を検索して商品名や商品ID(不図示)を決定し、商品内容データ106を検索してこの商品の商品単価を決定する。これにより、商品注文装置1は、この取扱商品を確定することができる。
In step S36, the
ステップS37において、類似度判断部823は、このオブジェクトがトレー上に新たに載置された取扱商品であるか否かを判断する。類似度判断部823は、このオブジェクトが新たに載置された取扱商品であったならば(Yes)、ステップS38の処理に進み、このオブジェクトが新たに載置された取扱商品でなかったならば(No)、ステップS39の処理に進む。
ステップS38において、類似度判断部823は、オブジェクト認識用データ105を検索して取扱商品を特定し、商品内容データ106を検索してこの取扱商品の商品単価を決定する。
In step S <b> 37, the
In step S <b> 38, the
ステップS39において、処理部8は、認識した全オブジェクトについて処理を繰り返したか判断する。処理部8は、認識した全オブジェクトについて処理を繰り返していなかったならば(No)、ステップS33の処理に戻り、認識した全オブジェクトについて処理を繰り返したならば(Yes)、ステップS40の処理に進む。
ステップS40において、確定通知部83は、顧客用ディスプレイ11に商品名と単価とを表示する。このとき商品注文装置1は、商品の価格を出力する商品価格出力装置として機能する。
ステップS41において、処理部8は、ステップS30の処理から所定時間が経過したか否かを判断する。処理部8は、所定時間が経過していないと判断したならば(No)、ステップS31の処理に戻り、所定時間が経過したと判断したならば(Yes)、図8の処理を終了する。
このように処理することにより、商品注文装置1は、顧客がトレー3上にコースター5a等の副提供物を載せて、このトレー3を撮影領域121に移動させることにより、この副提供物が指し示す飲み物の注文情報を確定させることができる。確定した注文情報は、キッチンプリンタ4により印刷される。
In step S39, the
In step S <b> 40, the
In step S41, the
By processing in this way, the
図9は、商品等の登録処理を示すシーケンス図である。
顧客がトレー3を持ち、このトレー3に取扱商品や副提供物を載せて商品注文装置1−1の位置を通ると、シーケンスQ10の動作が開始する。
シーケンスQ10において、商品注文装置1−1は、撮影画像によって新規のトレー3を検出し、トレー3上の取扱商品と副提供物とを認識する。商品注文装置1−1は、この副提供物に対応づけられて記憶部104に記憶されている取扱商品を特定する。
シーケンスQ11において、商品注文装置1−1は、特定した取扱商品の注文情報をキッチンプリンタ4に出力する。
シーケンスQ12において、キッチンプリンタ4は、受信した取扱商品の注文情報を所定の用紙に印字する。これにより、キッチン側の店員は、顧客か選んだ当該副提供物と共に顧客に提供されることとなる取扱商品を知ることができる。また、商品注文装置1−1は、この顧客の注文情報を最も早くキッチンに伝えることができるので、もっとも準備時間の掛かる取扱商品の注文を好適に行うことができる。
シーケンスQ13において、商品注文装置1−1は、取扱商品の価格等の情報をPOS端末2に出力する。
シーケンスQ14において、POS端末2は、商品注文装置1−1から受信した取扱商品の価格等の情報により、この取扱商品を仮登録する。
FIG. 9 is a sequence diagram illustrating registration processing of products and the like.
When the customer holds the
In sequence Q10, the merchandise ordering apparatus 1-1 detects a
In sequence Q <b> 11, the product ordering apparatus 1-1 outputs order information of the specified handled product to the
In sequence Q12, the
In sequence Q <b> 13, the product ordering apparatus 1-1 outputs information such as the price of handled products to the
In sequence Q14, the
更にこの顧客が、このトレー3に取扱商品や副提供物を載せて商品注文装置1−2の位置を通ると、シーケンスQ20の動作が開始する。
シーケンスQ20において、商品注文装置1−2は、撮影画像によって新規のトレー3を検出し、トレー3上の取扱商品と副提供物とを認識する。商品注文装置1−2は、この副提供物に対応づけられて記憶部104に記憶されている取扱商品を特定する。
シーケンスQ21において、商品注文装置1−2は、特定した取扱商品の注文情報をキッチンプリンタ4に出力する。特定した取扱商品は、この商品注文装置1−2が新たに認識したものである。
シーケンスQ22において、キッチンプリンタ4は、受信した取扱商品の注文情報を印刷する。これにより、キッチン側の店員は、顧客が選んだ当該副提供物と共に顧客に提供されることとなる取扱商品を知ることができる。
シーケンスQ23において、商品注文装置1−2は、取扱商品の価格等の情報をPOS端末2に出力する。
シーケンスQ24において、POS端末2は、受信した取扱商品の価格等の情報により、この取扱商品を追加で仮登録する。
Further, when the customer places a handling product or a subsidiary product on the
In sequence Q20, the merchandise ordering apparatus 1-2 detects the
In sequence Q21, the merchandise ordering apparatus 1-2 outputs order information of the specified handled merchandise to the
In sequence Q22, the
In sequence Q23, the product ordering apparatus 1-2 outputs information such as the price of the handled product to the
In sequence Q24, the
更にこの顧客が、このトレー3に取扱商品や副提供物を載せてPOS端末2の位置を通ると、シーケンスQ30の動作が開始する。
シーケンスQ30において、POS端末2の店員は、キッチンから注文商品を受け取り、この注文商品をトレー3上に置いて引き渡す。
シーケンスQ31において、POS端末2は、この顧客に係る注文商品の精算処理を行い、図9の処理を終了する。
Further, when the customer places a commodity or a secondary supply on the
In sequence Q30, the clerk of the
In sequence Q31, the
(変形例)
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の(a)〜(d)のようなものがある。
(Modification)
The present invention is not limited to the above-described embodiment, and can be modified without departing from the spirit of the present invention. For example, there are the following (a) to (d).
(a) 商品注文装置は、ちくわ・天ぷら等の調理品以外の食品、例えばパンや、キャベツやにんじん等に代表される野菜や、リンゴや梨等に代表される果物を認識するように動作してもよい。つまり、形態として完全な同一物ではないが、同じような似通った形態を有する製造物・生産品が、オブジェクト認識を利用した商品注文装置の認識対象となり得る。
(b) 上記実施形態では、一例として、うどん屋における取扱商品の注文に商品登録システムを用いることを記載している。しかし、これに限られず、店内で飲食可能なベーカリーや、ハンバーガやチキン、ドーナッツ、サンドイッチ等を提供するファーストフード店に、この商品登録システムを適用してもよい。
(c) 上記実施形態では、コースター、ストロー、スプーン、砂糖袋、ガムシロップ容器、ミルク容器等によって取扱商品である飲み物を注文している。しかし、これに限られず、取扱商品は、食べ物または飲食物以外であってもよい。また、副提供物としては、例えば取扱商品と共に提供するフォーク、ナイフ、レンゲ、紙エプロンであってもよく、限定されない。
(d) 上記実施形態において、商品注文装置1は、トレー3や副提供物等を認識してから所定時間に亘って認識し続けると注文を確定し、この副提供物と共に顧客に提供する取扱商品の注文情報をキッチンプリンタ4により印刷している。しかし、これに限られず、商品注文装置1は、例えば、撮影領域121の右端をトレー3が通り過ぎたときに、取扱商品の注文を確定してもよい。更に商品注文装置1は、例えばレーン15かつ撮影領域121の右端に近接センサを設けて、この近接センサがトレー3を検知したときに、取扱商品の注文を確定してもよい。これにより、商品注文装置1は、非接触で顧客の注文を確定させることができる。
(A) The product ordering apparatus operates to recognize foods other than cooked products such as chikuwa and tempura, such as bread, vegetables such as cabbage and carrots, and fruits such as apples and pears. May be. That is, a product / product that is not completely the same form but has a similar form can be a recognition target of the commodity ordering apparatus using object recognition.
(B) In the above-described embodiment, as an example, it is described that a product registration system is used for ordering products handled in a udon shop. However, the present invention is not limited to this, and the product registration system may be applied to a bakery that can be eaten and consumed in a store, and a fast food restaurant that provides hamburgers, chickens, donuts, sandwiches, and the like.
(C) In the above embodiment, drinks that are handled products are ordered by coasters, straws, spoons, sugar bags, gum syrup containers, milk containers, and the like. However, the present invention is not limited to this, and the handled product may be other than food or food and drink. Moreover, as a sub-provided product, for example, a fork, a knife, a lotus, or a paper apron provided together with a handling product may be used, and is not limited.
(D) In the above-described embodiment, the
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて記憶されている記憶手段と、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の注文情報を出力する制御手段と、
を備えたことを特徴とする商品注文装置。
<請求項2>
前記制御手段は、副提供物を認識した場合に、該認識してから所定時間の経過後に前記商品の注文情報を出力する、
ことを特徴とする請求項1に記載の商品注文装置。
<請求項3>
前記注文情報を出力するまでの時間をカウントダウン表示する表示手段を備えた、
ことを特徴とする請求項2に記載に記載の商品注文装置。
<請求項4>
商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて、予め記憶手段に記憶させておくステップと、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の注文情報を出力するステップと、
を有することを特徴とする商品注文方法。
<請求項5>
商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて記憶されている記憶手段と、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の価格を出力する制御手段と、
を備えたことを特徴とする商品価格出力装置。
<請求項6>
商品と共に顧客に提供される副提供物ごとに、当該副提供物と共に顧客に提供されることとなる商品が対応づけて、予め記憶手段に記憶させておくステップと、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の価格情報を出力するステップと、
を有することを特徴とする商品価格出力方法。
The invention described in the scope of claims attached to the application of this application will be added below. The item numbers of the claims described in the appendix are as set forth in the claims attached to the application of this application.
[Appendix]
<Claim 1>
For each sub-provided provided to the customer together with the product, storage means for storing the product to be provided to the customer together with the sub-provided,
When the object photographed by the photographing means is recognized as a sub-provided provided to the customer together with the product based on the image information of the object, the storage means is associated with the recognized sub-provided. Control means for outputting the order information of the product stored in
A product ordering device characterized by comprising:
<Claim 2>
The control means outputs the order information of the product after elapse of a predetermined time after recognizing the sub-provided,
The product ordering apparatus according to
<Claim 3>
A display means for displaying a countdown time until the order information is output;
The product ordering apparatus according to
<Claim 4>
For each sub-provided provided to the customer together with the product, the step of storing the product to be provided to the customer together with the sub-provided in advance in the storage means;
When the object photographed by the photographing means is recognized as a sub-provided provided to the customer together with the product based on the image information of the object, the storage means is associated with the recognized sub-provided. Outputting the order information of the product stored in
A method for ordering merchandise, comprising:
<Claim 5>
For each sub-provided provided to the customer together with the product, storage means for storing the product to be provided to the customer together with the sub-provided,
When the object photographed by the photographing means is recognized as a sub-provided provided to the customer together with the product based on the image information of the object, the storage means is associated with the recognized sub-provided. Control means for outputting the price of the product stored in
A product price output device characterized by comprising:
<Claim 6>
For each sub-provided provided to the customer together with the product, the step of storing the product to be provided to the customer together with the sub-provided in advance in the storage means;
When the object photographed by the photographing means is recognized as a sub-provided provided to the customer together with the product based on the image information of the object, the storage means is associated with the recognized sub-provided. Outputting the price information of the product stored in
A product price output method characterized by comprising:
1,1−1,1−2 商品注文装置 (商品価格出力装置)
11 顧客用ディスプレイ (表示手段)
12 撮影装置 (撮影手段)
121 撮影領域
13 照明装置
14 通信部
15 レーン
101 CPU (制御手段)
102 RAM
103 ROM
104 記憶部 (記憶手段)
105 オブジェクト認識用データ
106 商品内容データ
107 売上マスタ
2 POS端末
3 トレー
4 キッチンプリンタ
5a コースター (副提供物)
5b ストロー (副提供物)
51 ウインドウ
6 ちくわ
61 ウインドウ
7 商品登録システム
8 処理部 (制御手段)
81 画像記憶部
82 オブジェクト認識処理部
821 物体検出部
822 類似度演算部
823 類似度判断部
83 確定通知部
84 オーダ印刷部
85 情報出力部
1,1-1,1-2 Product ordering device (Product price output device)
11 Display for customers (display means)
12 Shooting device (Shooting means)
121
102 RAM
103 ROM
104 storage unit (storage means)
105
5b straw (sub-provided)
51
81
Claims (6)
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の注文情報を出力する制御手段と、
を備えたことを特徴とする商品注文装置。 For each sub-provided provided to the customer together with the product, storage means for storing the product to be provided to the customer together with the sub-provided,
When the object photographed by the photographing means is recognized as a sub-provided provided to the customer together with the product based on the image information of the object, the storage means is associated with the recognized sub-provided. Control means for outputting the order information of the product stored in
A product ordering device characterized by comprising:
ことを特徴とする請求項1に記載の商品注文装置。 The control means outputs the order information of the product after elapse of a predetermined time after recognizing the sub-provided,
The product ordering apparatus according to claim 1, wherein:
ことを特徴とする請求項2に記載に記載の商品注文装置。 A display means for displaying a countdown time until the order information is output;
The product ordering apparatus according to claim 2, wherein
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の注文情報を出力するステップと、
を有することを特徴とする商品注文方法。 For each sub-provided provided to the customer together with the product, the step of storing the product to be provided to the customer together with the sub-provided in advance in the storage means;
When the object photographed by the photographing means is recognized as a sub-provided provided to the customer together with the product based on the image information of the object, the storage means is associated with the recognized sub-provided. Outputting the order information of the product stored in
A method for ordering merchandise, comprising:
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の価格を出力する制御手段と、
を備えたことを特徴とする商品価格出力装置。 For each sub-provided provided to the customer together with the product, storage means for storing the product to be provided to the customer together with the sub-provided,
When the object photographed by the photographing means is recognized as a sub-provided provided to the customer together with the product based on the image information of the object, the storage means is associated with the recognized sub-provided. Control means for outputting the price of the product stored in
A product price output device characterized by comprising:
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識した場合に、該認識された副提供物に対応づけられて前記記憶手段に記憶されている商品の価格情報を出力するステップと、
を有することを特徴とする商品価格出力方法。 For each sub-provided provided to the customer together with the product, the step of storing the product to be provided to the customer together with the sub-provided in advance in the storage means;
When the object photographed by the photographing means is recognized as a sub-provided provided to the customer together with the product based on the image information of the object, the storage means is associated with the recognized sub-provided. Outputting the price information of the product stored in
A product price output method characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014242913A JP6459448B2 (en) | 2014-12-01 | 2014-12-01 | Product ordering apparatus, product ordering method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014242913A JP6459448B2 (en) | 2014-12-01 | 2014-12-01 | Product ordering apparatus, product ordering method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016105228A true JP2016105228A (en) | 2016-06-09 |
JP6459448B2 JP6459448B2 (en) | 2019-01-30 |
Family
ID=56102486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014242913A Active JP6459448B2 (en) | 2014-12-01 | 2014-12-01 | Product ordering apparatus, product ordering method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6459448B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018026025A (en) * | 2016-08-12 | 2018-02-15 | シャープ株式会社 | Code reading device, control program and control method |
KR102107473B1 (en) * | 2019-08-23 | 2020-05-07 | (주) 피큐아이넷 | Smart Temperature Control Device |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05266358A (en) * | 1992-03-17 | 1993-10-15 | Matsushita Electric Ind Co Ltd | Pos system for restaurant |
JPH1069579A (en) * | 1996-08-28 | 1998-03-10 | Hitachi Keiyo Eng Co Ltd | Automatic charge settling device for eating and drinking |
JP2004078779A (en) * | 2002-08-21 | 2004-03-11 | Oyo Denshi Kenkyusho:Kk | Recognition device for service user circumstances |
JP2004206393A (en) * | 2002-12-25 | 2004-07-22 | Casio Comput Co Ltd | Image data processor and program |
JP2004252497A (en) * | 2002-01-15 | 2004-09-09 | Masanobu Kujirada | Method and system for providing dish or drink in restaurant |
JP2005258949A (en) * | 2004-03-12 | 2005-09-22 | Fuji Photo Film Co Ltd | Drink order system |
JP2009266048A (en) * | 2008-04-28 | 2009-11-12 | Japan Crescent Co Ltd | Order in restaurant, adjustment method, and device therefor |
JP2013540294A (en) * | 2010-04-26 | 2013-10-31 | ザ コカ・コーラ カンパニー | A method for managing orders and delivering goods to containers |
-
2014
- 2014-12-01 JP JP2014242913A patent/JP6459448B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05266358A (en) * | 1992-03-17 | 1993-10-15 | Matsushita Electric Ind Co Ltd | Pos system for restaurant |
JPH1069579A (en) * | 1996-08-28 | 1998-03-10 | Hitachi Keiyo Eng Co Ltd | Automatic charge settling device for eating and drinking |
JP2004252497A (en) * | 2002-01-15 | 2004-09-09 | Masanobu Kujirada | Method and system for providing dish or drink in restaurant |
JP2004078779A (en) * | 2002-08-21 | 2004-03-11 | Oyo Denshi Kenkyusho:Kk | Recognition device for service user circumstances |
JP2004206393A (en) * | 2002-12-25 | 2004-07-22 | Casio Comput Co Ltd | Image data processor and program |
JP2005258949A (en) * | 2004-03-12 | 2005-09-22 | Fuji Photo Film Co Ltd | Drink order system |
JP2009266048A (en) * | 2008-04-28 | 2009-11-12 | Japan Crescent Co Ltd | Order in restaurant, adjustment method, and device therefor |
JP2013540294A (en) * | 2010-04-26 | 2013-10-31 | ザ コカ・コーラ カンパニー | A method for managing orders and delivering goods to containers |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018026025A (en) * | 2016-08-12 | 2018-02-15 | シャープ株式会社 | Code reading device, control program and control method |
KR102107473B1 (en) * | 2019-08-23 | 2020-05-07 | (주) 피큐아이넷 | Smart Temperature Control Device |
Also Published As
Publication number | Publication date |
---|---|
JP6459448B2 (en) | 2019-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9245424B2 (en) | Store system and sales registration method | |
US20150206259A1 (en) | Dish remaining amount detection apparatus and dish remaining amount detection method | |
JP6459447B2 (en) | Product ordering device, product ordering method, product price output device, product price output method and program | |
US20070251521A1 (en) | RFID food production, inventory and delivery management system for a restaurant | |
US20070254080A1 (en) | RFID food production, inventory and delivery management method for a restaurant | |
US20160189128A1 (en) | Store system and sales registration method | |
US20120047040A1 (en) | Store system and sales registration method | |
JP6208091B2 (en) | Information processing apparatus and program | |
CN111832590A (en) | Article identification method and system | |
JP6369319B2 (en) | Sales processing apparatus and product popularity analysis method by customer group | |
JP6439415B2 (en) | Sales processing apparatus and sales processing method | |
US11562338B2 (en) | Automated point of sale systems and methods | |
JP6459448B2 (en) | Product ordering apparatus, product ordering method and program | |
JP6503814B2 (en) | Item registration apparatus, item registration method and program | |
JP5256260B2 (en) | Store system and program | |
JP6394340B2 (en) | Product registration apparatus, product registration method and program | |
JP2013156940A (en) | Information processor, store system and program | |
JP7224547B2 (en) | Food waste time management device, food waste time management system, and food waste time management method | |
WO2020171087A1 (en) | Food cooking device and control program | |
JP2013033512A (en) | Store system and program | |
JP2013156933A (en) | Information processor, store system and program | |
JP2013008103A (en) | Provision commodity confirmation device, program and provision commodity confirmation method | |
JP6528397B2 (en) | Sales processing device, product popularity analysis method and program | |
JP2012041083A (en) | Label issuing apparatus and program | |
EP3553699A1 (en) | Reading device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171011 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6459448 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |