JP2019131206A - Drink dispenser system - Google Patents

Abstract

To provide a drink dispenser system capable of performing control according to the type of a beverage container.SOLUTION: A drink dispenser system 10 includes an imaging device 12, a determination part F11 and a control part F12. The imaging device 12 photographs a place where a drink container is disposed to generate an image. The determination part F11 determines whether the drink container imaged on an object image is transparent or not on the basis of comparison between the object image as the image of the arrangement place where the drink container is disposed and a reference image as an image of an arrangement image where the drink container is not disposed. The control part F12 performs different control depending on whether the drink container imaged on the object image is transparent or not.SELECTED DRAWING: Figure 3

Description

本開示は、一般に飲料提供システムに関し、特に、複数種類の提供可能な飲料からユーザの希望する飲料を提供する飲料提供システムに関する。   The present disclosure relates generally to a beverage providing system, and more particularly to a beverage providing system that provides a user's desired beverage from a plurality of types of beverages that can be provided.

特許文献１は、飲料をカップ（飲料用容器）に供給する飲料ディスペンサ（飲料提供システム）を開示する。特許文献１の飲料ディスペンサは、カップを検出するためのカップセンサと、当該カップセンサの出力に基づいてカップへの飲料供給を制御する制御装置とを備えている。カップセンサは、送信側トランデューサと受信側トランデューサ間にカップが置かれる透過型の超音波センサである。制御装置は、送信側トランデューサから送信された信号と受信側トランデューサにて受信された信号との位相差に基づいてカップの有無を判定する。   Patent Document 1 discloses a beverage dispenser (a beverage providing system) that supplies a beverage to a cup (a beverage container). The beverage dispenser of Patent Literature 1 includes a cup sensor for detecting a cup, and a control device that controls beverage supply to the cup based on the output of the cup sensor. The cup sensor is a transmission type ultrasonic sensor in which a cup is placed between a transmission side transducer and a reception side transducer. The control device determines the presence or absence of a cup based on the phase difference between the signal transmitted from the transmission-side transducer and the signal received by the reception-side transducer.

特開２００５−２６３２７８号公報JP 2005-263278 A

特許文献１は、カップの有無は判断できるが、カップの種類を判断することができない。   Patent Document 1 can determine the presence or absence of a cup, but cannot determine the type of cup.

本開示の課題は、飲料用容器の種類に応じた制御を行える飲料提供システムを提供することである。   The subject of this indication is providing the drink provision system which can control according to the kind of container for drinks.

本開示の一態様の飲料提供システムは、撮像装置と、判定部と、制御部と、を備える。前記撮像装置は、飲料用容器の配置場所を撮影して画像を生成するように構成される。前記判定部は、飲料用容器が置かれている前記配置場所の画像である対象画像と飲料用容器が置かれていない前記配置場所の画像である参照画像との比較に基づいて前記対象画像に写る飲料用容器が透明か不透明かを判定するように構成される。前記制御部は、前記対象画像に写る飲料用容器が透明か不透明かで異なる制御を実行するように構成される。   A beverage providing system according to an aspect of the present disclosure includes an imaging device, a determination unit, and a control unit. The said imaging device is comprised so that the arrangement | positioning location of the drink container may be image | photographed and an image may be produced | generated. The determination unit determines the target image based on a comparison between a target image that is an image of the arrangement place where the beverage container is placed and a reference image that is an image of the placement place where the beverage container is not placed. It is configured to determine whether the beverage container shown is transparent or opaque. The control unit is configured to execute different control depending on whether the beverage container shown in the target image is transparent or opaque.

本開示の一態様の飲料提供システムは、飲料用容器の配置場所と、撮像装置と、制御部と、を備える。前記撮像装置は、前記配置場所を撮影して画像を生成するように構成される。前記制御部は、前記撮像装置で生成された画像に写る飲料用容器が透明か不透明かで異なる制御を実行するように構成される。前記配置場所は、前記撮像装置で生成される画像の背景となる面に模様を有する。   A beverage providing system according to an aspect of the present disclosure includes an arrangement location of a beverage container, an imaging device, and a control unit. The imaging device is configured to capture the location and generate an image. The control unit is configured to execute different control depending on whether a beverage container reflected in an image generated by the imaging device is transparent or opaque. The arrangement location has a pattern on a surface serving as a background of an image generated by the imaging device.

本開示の態様の飲料提供システムによれば、飲料用容器の種類に応じた制御を行える、という効果を奏する。   According to the beverage providing system of the aspect of the present disclosure, there is an effect that control according to the type of the beverage container can be performed.

図１は、一実施形態の飲料提供システムの斜視図である。FIG. 1 is a perspective view of a beverage providing system according to an embodiment. 図２は、上記飲料提供システムの配置場所の説明図である。FIG. 2 is an explanatory diagram of an arrangement place of the beverage providing system. 図３は、上記飲料提供システムのブロック図である。FIG. 3 is a block diagram of the beverage providing system. 図４は、上記飲料提供システムの撮像装置で生成される画像の一例である。FIG. 4 is an example of an image generated by the imaging device of the beverage providing system. 図５は、上記撮像装置で生成される画像の一例である。FIG. 5 is an example of an image generated by the imaging apparatus. 図６は、上記撮像装置で生成される画像の一例である。FIG. 6 is an example of an image generated by the imaging apparatus. 図７は、上記撮像装置で生成される画像の一例である。FIG. 7 is an example of an image generated by the imaging apparatus. 図８は、ホット飲料のメニュー画面を示す図である。FIG. 8 is a diagram showing a menu screen for a hot beverage. 図９は、コールド飲料のメニュー画面を示す図である。FIG. 9 is a diagram showing a menu screen for cold beverages. 図１０は、上記飲料提供システムの全体的な動作のフローチャートを示す図である。FIG. 10 is a diagram showing a flowchart of the overall operation of the beverage providing system. 図１１は、上記飲料提供システムの判定処理のフローチャートを示す図である。FIG. 11 is a diagram illustrating a flowchart of the determination process of the beverage providing system. 図１２は、上記飲料提供システムの変形例の配置場所の説明図である。FIG. 12 is an explanatory diagram of an arrangement place of a modified example of the beverage providing system. 図１３は、上記変形例の撮像装置で生成される画像の一例である。FIG. 13 is an example of an image generated by the imaging apparatus according to the modification. 図１４は、上記撮像装置で生成される画像の一例である。FIG. 14 is an example of an image generated by the imaging device. 図１５は、上記撮像装置で生成される画像の一例である。FIG. 15 is an example of an image generated by the imaging device.

１．実施形態
１．１ 概要
図１は、一実施形態の飲料提供システム１０を示す。飲料提供システム１０は、飲料ディスペンサ単独で構成されている。飲料提供システム１０は、図２に示すように、飲料用容器２０の配置場所１０１に飲料を注ぐ吐出装置１３を有している。飲料提供システム１０では、予め配置場所１０１に飲料用容器２０を置いておけば、吐出装置１３から吐出される飲料を飲料用容器２０で受けることができる。 1. Embodiment 1.1 Overview FIG. 1 shows a beverage providing system 10 according to an embodiment. The beverage providing system 10 is configured by a beverage dispenser alone. As shown in FIG. 2, the beverage providing system 10 includes a discharge device 13 that pours a beverage into the arrangement location 101 of the beverage container 20. In the beverage providing system 10, the beverage discharged from the discharge device 13 can be received by the beverage container 20 if the beverage container 20 is placed in the arrangement location 101 in advance.

飲料提供システム１０は、図２に示すように、撮像装置１２を備える。撮像装置１２は、飲料用容器２０の配置場所１０１を撮影して画像Ｐ１０〜Ｐ１３（図４〜図７参照）を生成するように構成される。また、飲料提供システム１０は、図３に示すように、判定部Ｆ１１と、制御部Ｆ１２と、を備える。判定部Ｆ１１は、対象画像Ｐ１１〜Ｐ１３と参照画像Ｐ１０の比較に基づいて対象画像Ｐ１１〜Ｐ１３に写る飲料用容器２０が透明か不透明かを判定するように構成される。対象画像Ｐ１１〜Ｐ１３は、飲料用容器２０が置かれている配置場所１０１の画像である。参照画像Ｐ１０は、飲料用容器２０が置かれていない配置場所１０１の画像である。制御部Ｆ１２は、対象画像Ｐ１１〜Ｐ１３に写る飲料用容器２０が透明か不透明かで異なる制御を実行するように構成される。   As shown in FIG. 2, the beverage providing system 10 includes an imaging device 12. The imaging device 12 is configured to capture the placement location 101 of the beverage container 20 and generate images P10 to P13 (see FIGS. 4 to 7). Moreover, the drink provision system 10 is provided with the determination part F11 and the control part F12, as shown in FIG. The determination unit F11 is configured to determine whether the beverage container 20 shown in the target images P11 to P13 is transparent or opaque based on the comparison between the target images P11 to P13 and the reference image P10. The target images P11 to P13 are images of the arrangement location 101 where the beverage container 20 is placed. The reference image P10 is an image of the arrangement location 101 where the beverage container 20 is not placed. The control unit F12 is configured to execute different control depending on whether the beverage container 20 shown in the target images P11 to P13 is transparent or opaque.

このように飲料提供システム１０は、配置場所１０１に置かれる飲料用容器２０が透明か不透明かで異なる制御を実行する。したがって、飲料用容器２０の種類に応じた制御を行える。特に、対象画像Ｐ１１〜Ｐ１３に写る飲料用容器２０が透明か不透明かは、対象画像Ｐ１１〜Ｐ１３と参照画像Ｐ１０の比較に基づいて決定される。ここで、飲料用容器２０が透明である場合は、飲料用容器２０が不透明である場合に比べて対象画像と参照画像との差が小さくなる。したがって、飲料提供システム１０によれば、画像に写る飲料用容器２０が透明か不透明かの判定制度の向上が見込める。   In this way, the beverage providing system 10 executes different control depending on whether the beverage container 20 placed at the placement location 101 is transparent or opaque. Therefore, control according to the type of the beverage container 20 can be performed. In particular, whether the beverage container 20 shown in the target images P11 to P13 is transparent or opaque is determined based on a comparison between the target images P11 to P13 and the reference image P10. Here, when the beverage container 20 is transparent, the difference between the target image and the reference image is smaller than when the beverage container 20 is opaque. Therefore, according to the drink provision system 10, the improvement of the determination system whether the container 20 for drinks reflected in an image is transparent or opaque can be anticipated.

別の観点から見れば、飲料提供システム１０は、図２に示すように、飲料用容器２０の配置場所１０１と、撮像装置１２と、を備える。また、飲料提供システム１０は、図３に示すように、制御部Ｆ１２を備える。撮像装置１２は、配置場所１０１を撮影して画像Ｐ１０〜Ｐ１３（図４〜図７参照）を生成するように構成される。制御部Ｆ１２は、撮像装置１２で生成された画像に写る飲料用容器２０が透明か不透明かで異なる制御を実行するように構成される。ここで、配置場所１０１は、図２及び図４〜図７に示すように、撮像装置１２で生成される画像Ｐ１０〜Ｐ１３の背景となる面１０４ａに模様を有する。   From another point of view, the beverage providing system 10 includes an arrangement location 101 for the beverage container 20 and an imaging device 12, as shown in FIG. Moreover, the drink provision system 10 is provided with the control part F12, as shown in FIG. The imaging device 12 is configured to capture the placement location 101 and generate images P10 to P13 (see FIGS. 4 to 7). The control unit F12 is configured to execute different control depending on whether the beverage container 20 shown in the image generated by the imaging device 12 is transparent or opaque. Here, as shown in FIGS. 2 and 4 to 7, the arrangement location 101 has a pattern on the surface 104 a that is the background of the images P <b> 10 to P <b> 13 generated by the imaging device 12.

このように飲料提供システム１０は、配置場所１０１に置かれる飲料用容器２０が透明か不透明かで異なる制御を実行する。したがって、飲料用容器２０の種類に応じた制御を行える。特に、配置場所１０１において撮像装置１２で生成される画像Ｐ１０〜Ｐ１３の背景となる面１０４ａに模様がある。ここで、飲料用容器２０が透明であると飲料用容器２０が不透明である場合とで、画像中の背景の模様の有無が大きく異なり得る。したがって、飲料提供システム１０によれば、画像に写る飲料用容器２０が透明か不透明かの判定制度の向上が見込める。   In this way, the beverage providing system 10 executes different control depending on whether the beverage container 20 placed at the placement location 101 is transparent or opaque. Therefore, control according to the type of the beverage container 20 can be performed. In particular, there is a pattern on the surface 104a serving as the background of the images P10 to P13 generated by the imaging device 12 at the arrangement location 101. Here, the presence or absence of the background pattern in the image may differ greatly depending on whether the beverage container 20 is transparent or the beverage container 20 is opaque. Therefore, according to the drink provision system 10, the improvement of the determination system whether the container 20 for drinks reflected in an image is transparent or opaque can be anticipated.

１．２ 構成
以下、飲料提供システム１０について更に説明する。飲料提供システム１０は、回路要素として、図３に示すように、記憶部１１と、撮像装置１２と、吐出装置１３と、入力部１４と、出力部１５と、処理部１６と、を備えている。 1.2 Configuration Hereinafter, the beverage providing system 10 will be further described. As shown in FIG. 3, the beverage providing system 10 includes a storage unit 11, an imaging device 12, a discharge device 13, an input unit 14, an output unit 15, and a processing unit 16 as circuit elements. Yes.

また、飲料提供システム１０は、記憶部１１と、撮像装置１２と、吐出装置１３と、入力部１４と、出力部１５と、処理部１６とを収容する筐体１００を有している（図１参照）。図１に示すように、筐体１００の一面（本実施形態では前面）には、飲料用容器２０の配置場所１０１が設けられている。   Moreover, the drink provision system 10 has the housing | casing 100 which accommodates the memory | storage part 11, the imaging device 12, the discharge apparatus 13, the input part 14, the output part 15, and the process part 16 (FIG. 1). As shown in FIG. 1, an arrangement place 101 for the beverage container 20 is provided on one surface (front surface in the present embodiment) of the housing 100.

配置場所１０１は、図２に示すように、筐体１００の一面から突出する台１０２を有する。台１０２は、矩形の板状である。台１０２の上面に、飲料用容器２０が置かれる。また、配置場所１０１は、筐体１００の一面から突出する第１側壁１０３と第２側壁１０４とを有する。第１側壁１０３と第２側壁１０４とは、矩形の板状である。第１側壁１０３と第２側壁１０４とは、台１０２の厚み軸に直交する方向（図１の左右方向）で対向している。配置場所１０１では、台１０２と第１側壁１０３と第２側壁１０４とで囲まれた空間に、飲料用容器２０が配置される。ここで、第２側壁１０４における第１側壁１０３側の面１０４ａは、無地ではなく、模様のある面（平面）である。第２側壁１０４の面１０４ａの模様は、繰り返し模様である。本実施形態において、繰り返し模様は、図２に示すような縞模様である。   As shown in FIG. 2, the placement location 101 includes a table 102 that protrudes from one surface of the housing 100. The base 102 has a rectangular plate shape. A beverage container 20 is placed on the upper surface of the table 102. In addition, the arrangement location 101 includes a first side wall 103 and a second side wall 104 that protrude from one surface of the housing 100. The first side wall 103 and the second side wall 104 have a rectangular plate shape. The first side wall 103 and the second side wall 104 oppose each other in the direction orthogonal to the thickness axis of the table 102 (the left-right direction in FIG. 1). In the arrangement place 101, the beverage container 20 is arranged in a space surrounded by the table 102, the first side wall 103, and the second side wall 104. Here, the surface 104a on the first side wall 103 side of the second side wall 104 is not a plain but a surface (plane) having a pattern. The pattern of the surface 104a of the second side wall 104 is a repeated pattern. In the present embodiment, the repeated pattern is a striped pattern as shown in FIG.

吐出装置１３は、与えられた飲料情報に応じて配置場所１０１に飲料を注ぐための装置である。吐出装置１３は、図２に示すように、飲料を吐出する吐出口１３１を有している。本実施形態では、吐出口１３１は、筐体１００において、配置場所１０１の上方に設けられている。なお、飲料情報は、飲料を特定するための情報である。例えば、飲料情報は、珈琲に関する情報であってもよい。珈琲の例としては、エスプレッソ（ホット）、エスプレッソ（アイス）、カプチーノ（ホット）、カプチーノ（アイス）、カフェラテ（ホット）、カフェラテ（アイス）が挙げられる。また、飲料情報は、オレンジジュース、りんごジュース等のジュースに関する情報であってもよい。また、飲料情報は、サイダー、コーラ等の炭酸飲料に関する情報であってもよい。また、飲料情報は、紅茶、緑茶、ウーロン茶等のお茶に関する情報であってもよい。また、飲料情報は、コーンスープ、オニオンスープ等のスープに関する情報であってもよい。また、飲料情報は、冷やし飴、甘酒、ぜんざい、しるこ等の甘味に関する情報であってもよい。また、飲料情報は、ビール、焼酎、ウィスキー、ブランデー、ワイン、ハイボール、酎ハイ、アマレットカフェ、カクテル等のアルコール飲料に関する情報であってもよい。吐出装置１３は、飲料情報で特定される飲料を提供することが可能なように設計される。このような吐出装置１３には、飲料情報に合わせて、適宜、従来周知の構成を採用できるから詳細な説明は省略する。   The discharge device 13 is a device for pouring a beverage into the arrangement location 101 in accordance with given beverage information. As shown in FIG. 2, the discharge device 13 has a discharge port 131 for discharging a beverage. In the present embodiment, the discharge port 131 is provided above the arrangement location 101 in the housing 100. The beverage information is information for specifying a beverage. For example, the beverage information may be information about the candy. Examples of salmon include espresso (hot), espresso (ice), cappuccino (hot), cappuccino (ice), latte (hot), latte (ice). The beverage information may be information related to juices such as orange juice and apple juice. The beverage information may be information related to carbonated beverages such as cider and cola. The beverage information may be information about tea such as black tea, green tea, oolong tea. The beverage information may be information on soups such as corn soup and onion soup. Also, the beverage information may be information relating to sweetness such as chilled rice cake, amazake, zenzai, and shiruko. Also, the beverage information may be information regarding alcoholic beverages such as beer, shochu, whiskey, brandy, wine, highball, strawberry high, amaretto cafe, and cocktail. The discharge device 13 is designed to be able to provide a beverage specified by beverage information. Since such a discharge device 13 can adopt a conventionally known configuration as appropriate in accordance with beverage information, detailed description thereof will be omitted.

記憶部１１は、飲料提供システム１０での処理に必要な情報を記憶するために用いられる記憶装置である。特に、記憶部１１は、参照画像Ｐ１０（図４参照）の記憶に用いられる。記憶部１１は、従来周知の記憶媒体であってよい。記憶媒体の例としては、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）が挙げられる。   The storage unit 11 is a storage device used to store information necessary for processing in the beverage providing system 10. In particular, the storage unit 11 is used for storing the reference image P10 (see FIG. 4). The storage unit 11 may be a conventionally known storage medium. Examples of the storage medium include ROM (Read Only Memory), RAM (Random Access Memory), and EEPROM (Electrically Erasable Programmable Read Only Memory).

撮像装置１２は、配置場所１０１の画像を得るための装置である。上述したように、配置場所１０１は、飲料用容器２０を置くための場所であるから、異なる言い方をすれば、撮像装置１２は、飲料用容器２０の画像を得るための装置である。なお、飲料用容器２０は、一般に、人が飲料を飲むために使用する容器を想定している。飲料用容器の例としては、カップ（珈琲カップ、ティーカップ、マグカップ等）、グラス（タンブラーグラス、ワイングラス、シャンパングラス、ブランデーグラス、カクテルグラス、ゴブレット等）、茶碗、杯が挙げられる。   The imaging device 12 is a device for obtaining an image of the arrangement location 101. As described above, since the placement location 101 is a place for placing the beverage container 20, in other words, the imaging device 12 is a device for obtaining an image of the beverage container 20. In addition, the container 20 for drinks generally assumes the container used in order that a person may drink a drink. Examples of beverage containers include cups (such as coffee cups, tea cups, mugs), glasses (such as tumbler glasses, wine glasses, champagne glasses, brandy glasses, cocktail glasses, goblets), teacups, and cups.

撮像装置１２は、図２に示すように、配置場所１０１が撮像範囲に収まるように設置されている。本実施形態では、撮像装置１２は、配置場所１０１の第１側壁１０３に設けられており、撮像装置１２の撮像方向は、第１側壁１０３から第２側壁１０４に向かう方向に一致している。そのため、配置場所１０１において、第２側壁１０４における第１側壁１０３側の面１０４ａは、撮像装置１２で生成される画像の背景となる面である。   As illustrated in FIG. 2, the imaging device 12 is installed such that the arrangement location 101 is within the imaging range. In the present embodiment, the imaging device 12 is provided on the first side wall 103 of the arrangement location 101, and the imaging direction of the imaging device 12 coincides with the direction from the first side wall 103 toward the second side wall 104. Therefore, in the arrangement location 101, the surface 104a on the first side wall 103 side of the second side wall 104 is a surface serving as a background of the image generated by the imaging device 12.

入力部１４は、ユーザによる飲料提供システム１０の操作及び情報の入力のための装置である。入力部１４は、タッチパッドを備える。本実施形態において、入力部１４は、吐出ボタンとしても用いられる。吐出ボタンは、吐出装置１３からの飲料の吐出を開始させるためのボタンである。なお、飲料の吐出を開始させるにあたって、吐出ボタンの操作は必須ではない。例えば、吐出する飲料の決定時又は吐出する飲料の決定から所定時間経過時に吐出装置１３からの飲料の吐出を開始してもよい。また、入力部１４は、タッチパッドとは別に吐出ボタンを有していてもよい。   The input unit 14 is a device for operating the beverage providing system 10 and inputting information by the user. The input unit 14 includes a touch pad. In the present embodiment, the input unit 14 is also used as a discharge button. The discharge button is a button for starting the discharge of the beverage from the discharge device 13. In addition, when starting the discharge of a drink, operation of the discharge button is not essential. For example, the discharge of the beverage from the discharge device 13 may be started when a predetermined time elapses after the determination of the beverage to be discharged or the determination of the beverage to be discharged. The input unit 14 may have a discharge button separately from the touch pad.

出力部１５は、ユーザに情報を提示するための装置である。出力部１５は、図１に示すように、表示部１５１を有する。表示部１５１は、例えば、液晶ディスプレイや有機ＥＬディスプレイなどの薄型のディスプレイ装置である。飲料提供システム１０では、入力部１４のタッチパッドが出力部１５の表示部１５１の表示面に重ねて配置されており、入力部１４のタッチパッドと表示部１５１とがタッチパネルを構成している。   The output unit 15 is a device for presenting information to the user. As illustrated in FIG. 1, the output unit 15 includes a display unit 151. The display unit 151 is a thin display device such as a liquid crystal display or an organic EL display. In the beverage providing system 10, the touch pad of the input unit 14 is disposed so as to overlap the display surface of the display unit 151 of the output unit 15, and the touch pad of the input unit 14 and the display unit 151 constitute a touch panel.

処理部１６は、飲料提供システム１０の動作を制御する電気回路である。処理部１６は、例えば、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとにより実現され得る。つまり、１以上のプロセッサが１以上のメモリに記憶された１以上のプログラムを実行することで、処理部１６として機能する。１以上のプログラムは、メモリに予め記録されていてもよいし、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。   The processing unit 16 is an electric circuit that controls the operation of the beverage providing system 10. The processing unit 16 can be realized by, for example, one or more processors (microprocessors) and one or more memories. That is, the one or more processors function as the processing unit 16 by executing one or more programs stored in one or more memories. The one or more programs may be recorded in advance in a memory, or may be provided by being recorded through a telecommunication line such as the Internet or in a non-temporary recording medium such as a memory card.

処理部１６は、図３に示すように、判定部Ｆ１１と、制御部Ｆ１２と、設定部Ｆ１３と、を有している。判定部Ｆ１１と、制御部Ｆ１２と、設定部Ｆ１３とは実体のある構成を示しているわけではなく、処理部１６によって実現される機能を示している。   As illustrated in FIG. 3, the processing unit 16 includes a determination unit F11, a control unit F12, and a setting unit F13. The determination unit F11, the control unit F12, and the setting unit F13 do not indicate a substantial configuration, but indicate functions realized by the processing unit 16.

処理部１６は、設定モードと、提供モードとを有している。設定モードは、参照画像Ｐ１０を設定するためのモードである。設定モードでは、処理部１６は、設定部Ｆ１３として機能する。提供モードは、ユーザに飲料を提供するためのモードである。提供モードでは、処理部１６は、判定部Ｆ１１及び制御部Ｆ１２として機能する。なお、設定モードと提供モードとの切り替えは、入力部１４により行える。つまり、処理部１６は、入力部１４の操作に応じて、設定モードと提供モードとのいずれかで動作する。   The processing unit 16 has a setting mode and a provision mode. The setting mode is a mode for setting the reference image P10. In the setting mode, the processing unit 16 functions as the setting unit F13. The providing mode is a mode for providing a beverage to the user. In the providing mode, the processing unit 16 functions as the determination unit F11 and the control unit F12. The setting mode and the provision mode can be switched by the input unit 14. That is, the processing unit 16 operates in either the setting mode or the provision mode according to the operation of the input unit 14.

判定部Ｆ１１は、配置場所１０１に飲料用容器２０が置かれているかどうかを判断するように構成される。判定部Ｆ１１は、撮像装置１２で生成された画像をもとにして、画像に飲料用容器２０が写っているかどうかを判断する。例えば、判定部Ｆ１１は、画像からエッジを検出する処理を実行し、飲料用容器２０に対応するエッジを検出したかどうかにより、画像に飲料用容器２０が写っているかどうかを判断する。なお、このようなエッジの検出の方法としては、従来周知の方法を利用できるから、詳細な説明は省略する。   The determination unit F11 is configured to determine whether or not the beverage container 20 is placed at the arrangement location 101. The determination unit F11 determines whether the beverage container 20 is reflected in the image based on the image generated by the imaging device 12. For example, the determination unit F11 performs a process of detecting an edge from the image, and determines whether the beverage container 20 is reflected in the image depending on whether the edge corresponding to the beverage container 20 is detected. As a method for detecting such an edge, a conventionally known method can be used, and a detailed description thereof will be omitted.

更に、判定部Ｆ１１は、配置場所１０１に置かれた飲料用容器２０が透明か不透明であるかを判定する判定処理を行うように構成される。つまり、判定部Ｆ１１は、撮像装置１２で生成された画像に写る飲料用容器２０が透明か不透明であるかを判定する。以下、判定部Ｆ１１での判定処理の対象となる画像を対象画像という。対象画像については、配置場所１０１に飲料用容器２０が置かれていることが確認されている。つまり、対象画像は、飲料用容器２０が置かれている配置場所１０１の画像である。   Furthermore, the determination unit F11 is configured to perform a determination process for determining whether the beverage container 20 placed at the arrangement location 101 is transparent or opaque. That is, the determination unit F11 determines whether the beverage container 20 shown in the image generated by the imaging device 12 is transparent or opaque. Hereinafter, an image that is a target of determination processing in the determination unit F11 is referred to as a target image. Regarding the target image, it is confirmed that the beverage container 20 is placed at the arrangement location 101. That is, the target image is an image of the arrangement location 101 where the beverage container 20 is placed.

ここで、図４〜図７は、撮像装置１２で生成された画像Ｐ１０〜Ｐ１３を示す。図４に示す画像Ｐ１０は、飲料用容器２０が置かれていない配置場所１０１の画像である。そのため、図４では、配置場所１０１の第２側壁１０４の面１０４ａの模様だけが写っている。図５〜図７に示す画像Ｐ１１〜Ｐ１３は、飲料用容器２０が置かれている配置場所１０１の画像である。特に、図５では、飲料用容器２０は不透明である。そのため、飲料用容器２０のある部分では第２側壁１０４の面１０４ａの模様が隠れている。図６では、飲料用容器２０は透明である。そのため、飲料用容器２０が不透明である場合とは対照的に、飲料用容器２０のある部分でも第２側壁１０４の面１０４ａの模様が視認できる。図７では、図６と同様に飲料用容器２０は透明であるが、飲料用容器２０の中ほどまで氷が入っている。飲料用容器２０において氷が存在しない部分では第２側壁１０４の面１０４ａの模様が視認できるが、飲料用容器２０において氷が存在する部分では第２側壁１０４の面１０４ａの模様が視認しにくい。   4 to 7 show images P10 to P13 generated by the imaging device 12. An image P10 shown in FIG. 4 is an image of the arrangement location 101 where the beverage container 20 is not placed. Therefore, in FIG. 4, only the pattern of the surface 104a of the second side wall 104 of the arrangement location 101 is shown. The images P11 to P13 shown in FIGS. 5 to 7 are images of the arrangement location 101 where the beverage container 20 is placed. In particular, in FIG. 5, the beverage container 20 is opaque. Therefore, the pattern of the surface 104a of the second side wall 104 is hidden in a part of the beverage container 20. In FIG. 6, the beverage container 20 is transparent. Therefore, in contrast to the case where the beverage container 20 is opaque, the pattern of the surface 104a of the second side wall 104 can be visually recognized even in a portion where the beverage container 20 is present. In FIG. 7, the beverage container 20 is transparent as in FIG. 6, but ice is contained in the middle of the beverage container 20. The pattern of the surface 104a of the second side wall 104 can be visually recognized in a portion where the ice is not present in the beverage container 20, but the pattern of the surface 104a of the second side wall 104 is difficult to be visually recognized in the portion of the beverage container 20 where ice is present.

画像Ｐ１１では、飲料用容器２０のある部分では第２側壁１０４の面１０４ａの模様が隠れているが、画像Ｐ１２，Ｐ１３では、飲料用容器２０のある部分でも第２側壁１０４の面１０４ａの模様を視認できる箇所がある。したがって、飲料用容器２０が透明である画像Ｐ１２，Ｐ１３は、飲料用容器２０が不透明である画像Ｐ１１に比べて、飲料用容器２０がない画像Ｐ１０との類似度が高くなる傾向にある。   In the image P11, the pattern of the surface 104a of the second side wall 104 is hidden in a part of the beverage container 20, but in the images P12 and P13, the pattern of the surface 104a of the second side wall 104 is also present in the part of the beverage container 20. There are places where you can see. Therefore, the images P12 and P13 in which the beverage container 20 is transparent tend to be more similar to the image P10 without the beverage container 20 than the image P11 in which the beverage container 20 is opaque.

そこで、判定部Ｆ１１は、対象画像（例えば、画像Ｐ１１〜Ｐ１３）に写る飲料用容器２０が透明か不透明かを判定するにあたって、飲料用容器２０が置かれていない配置場所１０１の画像（例えば、画像Ｐ１０）を参照画像として用いる。より詳細には、判定部Ｆ１１は、対象画像と参照画像との比較に基づいて対象画像に写る飲料用容器２０が透明か不透明かを判定する。本実施形態において、参照画像は、設定部Ｆ１３によって予め記憶部１１に記憶される。   Therefore, when the determination unit F11 determines whether the beverage container 20 shown in the target image (for example, the images P11 to P13) is transparent or opaque, an image of the arrangement location 101 where the beverage container 20 is not placed (for example, Image P10) is used as a reference image. More specifically, the determination unit F11 determines whether the beverage container 20 shown in the target image is transparent or opaque based on the comparison between the target image and the reference image. In the present embodiment, the reference image is stored in advance in the storage unit 11 by the setting unit F13.

以下、判定部Ｆ１１での判定処理について更に詳細に説明する。なお、以下の説明では、必要に応じて、画像Ｐ１０を参照画像Ｐ１０といい、画像Ｐ１１〜Ｐ１３をそれぞれ対象画像Ｐ１１〜Ｐ１３ということがある。   Hereinafter, the determination process in the determination unit F11 will be described in more detail. In the following description, the image P10 may be referred to as a reference image P10 and the images P11 to P13 may be referred to as target images P11 to P13, respectively, as necessary.

判定部Ｆ１１は、対象画像Ｐ１１〜Ｐ１３から、対象画像Ｐ１１〜Ｐ１３に写る飲料用容器２０が存在する存在領域Ｒ１１を検出する（図５〜図７参照）。存在領域Ｒ１１は、飲料用容器２０の外形線より内側の領域である。ただし、図５〜図７では、説明をわかりやすくするために、存在領域Ｒ１１を、飲料用容器２０よりやや大きく描いている。存在領域Ｒ１１は、例えば、対象画像において、飲料用容器２０のエッジを検出することで、特定することができる。また、判定部Ｆ１１は、参照画像Ｐ１０から、存在領域Ｒ１１に対応する参照領域Ｒ１２を検出する。つまり、参照領域Ｒ１２は、対象画像Ｐ１１〜Ｐ１３において存在領域Ｒ１１を構成する画素と同じ画素で構成される領域である。   The determination unit F11 detects, from the target images P11 to P13, an existing region R11 where the beverage container 20 shown in the target images P11 to P13 is present (see FIGS. 5 to 7). The existence region R11 is a region inside the outline of the beverage container 20. However, in FIG. 5 to FIG. 7, the existing region R <b> 11 is drawn slightly larger than the beverage container 20 in order to make the explanation easy to understand. The existence region R11 can be specified by detecting the edge of the beverage container 20 in the target image, for example. Further, the determination unit F11 detects a reference region R12 corresponding to the presence region R11 from the reference image P10. That is, the reference region R12 is a region configured by the same pixels as the pixels configuring the existence region R11 in the target images P11 to P13.

判定部Ｆ１１は、存在領域Ｒ１１と参照領域Ｒ１２の類似度を求める。存在領域Ｒ１１と参照領域Ｒ１２の類似度は、存在領域Ｒ１１の画素と参照領域Ｒ１２の画素との色のヒストグラムの差（相対距離）に基づいて算出される。例えば、色のヒストグラムの差（相対距離）は、存在領域Ｒ１１と参照領域Ｒ１２とで互いに対応する画素の輝度値（例えば、赤、緑、青等の色毎の輝度値）の差の平均値で与えられる。色のヒストグラムの差が大きければ、類似度が低く、色のヒストグラムの差が小さければ、類似度が高くなる。   The determination unit F11 obtains the similarity between the existence region R11 and the reference region R12. The similarity between the existence region R11 and the reference region R12 is calculated based on the difference (relative distance) between the color histograms of the pixels in the existence region R11 and the pixels in the reference region R12. For example, the difference (relative distance) between the color histograms is the average value of the differences in the luminance values of the pixels corresponding to each other in the existence region R11 and the reference region R12 (for example, the luminance value for each color such as red, green, and blue). Given in. If the difference between the color histograms is large, the similarity is low, and if the difference between the color histograms is small, the similarity is high.

特に、判定部Ｆ１１は、存在領域Ｒ１１と参照領域Ｒ１２の類似度として、存在領域Ｒ１１の一部である第１判定領域Ｒ１１０（図５〜図７参照）と参照領域Ｒ１２において第１判定領域Ｒ１１０に対応する第２判定領域Ｒ１２０（図４参照）の類似度を用いる。つまり、判定部Ｆ１１は、第１判定領域Ｒ１１０の画素と第２判定領域Ｒ１２０の画素との色のヒストグラムの差に基づいて類似度を算出すればよい。このようにすれば、類似度の算出に必要な計算量を低減できる。ここで、第１判定領域Ｒ１１０は、飲料用容器２０の上端部分に対応する領域である。上端部分は、飲料用容器２０において氷が存在しない確率が高い部分として設定される。一般に、飲料用容器２０の上端まで氷を入れることは少ない。よって、飲料用容器２０の上端部分を、第１判定領域Ｒ１１０として用いれば、氷に起因する判定精度の低下を抑制できる。飲料用容器２０の上端部分は、飲料用容器２０の上端から所定距離までの部分であって、所定距離は、実験的な手法によって決定することができる。例えば、所定距離は、実際にどの程度氷が入れられるかによって適宜調整され得る。一例として、所定距離は、飲料用容器２０の高さの１０％程度である。   In particular, the determination unit F11 uses the first determination region R110 in the first determination region R110 (see FIGS. 5 to 7) and the reference region R12 that are part of the presence region R11 as the similarity between the presence region R11 and the reference region R12. The similarity of the second determination region R120 (see FIG. 4) corresponding to is used. That is, the determination unit F11 may calculate the similarity based on the difference between the color histograms of the pixels in the first determination region R110 and the second determination region R120. In this way, the amount of calculation required for calculating the similarity can be reduced. Here, 1st determination area | region R110 is an area | region corresponding to the upper end part of the container 20 for drinks. The upper end portion is set as a portion having a high probability that no ice is present in the beverage container 20. In general, ice is rarely added to the upper end of the beverage container 20. Therefore, if the upper end part of the container 20 for drinks is used as 1st determination area | region R110, the fall of the determination precision resulting from ice can be suppressed. The upper end portion of the beverage container 20 is a portion from the upper end of the beverage container 20 to a predetermined distance, and the predetermined distance can be determined by an experimental method. For example, the predetermined distance can be appropriately adjusted depending on how much ice is actually put. As an example, the predetermined distance is about 10% of the height of the beverage container 20.

判定部Ｆ１１は、類似度が規定値以上であれば、対象画像に写る飲料用容器２０が透明であると判断する。一方、判定部Ｆ１１は、類似度が規定値未満であれば、対象画像に写る飲料用容器２０が不透明であると判断する。そして、判定部Ｆ１１は、対象画像に写る飲料用容器２０が透明か不透明かを示す判定結果を、制御部Ｆ１２に与える。ここで、規定値は、実験的な手法によって決定することができる。つまり、実際に、サンプルとして複数種類の飲料用容器２０を利用して存在領域Ｒ１１と参照領域Ｒ１２の類似度を求め、飲料用容器２０が透明か不透明かを判別できるように、規定値を決めればよい。   If the similarity is equal to or higher than the specified value, the determination unit F11 determines that the beverage container 20 shown in the target image is transparent. On the other hand, if the similarity is less than the specified value, the determination unit F11 determines that the beverage container 20 shown in the target image is opaque. And the determination part F11 gives the determination result which shows whether the container 20 for drinks reflected on a target image is transparent or opaque to the control part F12. Here, the specified value can be determined by an experimental method. That is, the prescribed value can be determined so that the similarity between the existing region R11 and the reference region R12 can be obtained by actually using a plurality of types of beverage containers 20 as samples, and whether the beverage container 20 is transparent or opaque. That's fine.

判定部Ｆ１１は、対象画像Ｐ１１〜Ｐ１３において飲料用容器２０が存在する存在領域Ｒ１１と参照画像Ｐ１０において存在領域Ｒ１１に対応する参照領域Ｒ１２との類似度に基づいて、対象画像Ｐ１１〜Ｐ１３に写る飲料用容器２０が透明か不透明かを判定する。これは、対象画像Ｐ１１〜Ｐ１３において飲料用容器２０が存在しない領域では、対象画像Ｐ１１〜Ｐ１３と参照画像Ｐ１０との差異が少ないと考えられるからである。本実施形態では、対象画像Ｐ１１〜Ｐ１３と参照画像Ｐ１０とで差異が少ないと考えられる部分を用いないから、飲料用容器２０が透明か不透明かの判定の精度の向上が図れる。特に、存在領域Ｒ１１と参照領域Ｒ１２の類似度は、存在領域Ｒ１１の一部である第１判定領域Ｒ１１０と参照領域Ｒ１２において第１判定領域Ｒ１１０に対応する第２判定領域Ｒ１２０の類似度である。つまり、存在領域Ｒ１１の全部ではなく、存在領域Ｒ１１において飲料用容器２０が透明か不透明かで参照領域Ｒ１２との差異が大きくなりやすい領域に着目して、類似度を算出できる。よって、飲料用容器２０が透明か不透明かの判定の精度の向上が図れる。具体的に、本実施形態では、第１判定領域Ｒ１１０は、対象画像Ｐ１１〜Ｐ１３に写る飲料用容器２０の上端部分に対応する領域である。この場合には、飲料用容器２０が透明であって、氷が入れられている場合であっても、氷による影響を受けにくくなる。よって、飲料用容器２０が透明か不透明かの判定の精度の向上が図れる。   The determination unit F11 is reflected in the target images P11 to P13 based on the similarity between the presence region R11 where the beverage container 20 exists in the target images P11 to P13 and the reference region R12 corresponding to the presence region R11 in the reference image P10. It is determined whether the beverage container 20 is transparent or opaque. This is because it is considered that there is little difference between the target images P11 to P13 and the reference image P10 in the region where the beverage container 20 does not exist in the target images P11 to P13. In the present embodiment, since the portion considered to have little difference between the target images P11 to P13 and the reference image P10 is not used, it is possible to improve the accuracy of determining whether the beverage container 20 is transparent or opaque. In particular, the similarity between the presence region R11 and the reference region R12 is the similarity between the first determination region R110 and the second determination region R120 corresponding to the first determination region R110 in the first determination region R110 and the reference region R12. . That is, the similarity can be calculated noting all of the presence region R11 but paying attention to a region where the beverage container 20 is transparent or opaque in the presence region R11 and the difference from the reference region R12 tends to be large. Therefore, it is possible to improve the accuracy of determining whether the beverage container 20 is transparent or opaque. Specifically, in the present embodiment, the first determination region R110 is a region corresponding to the upper end portion of the beverage container 20 shown in the target images P11 to P13. In this case, even if the beverage container 20 is transparent and ice is contained, it is less likely to be affected by ice. Therefore, it is possible to improve the accuracy of determining whether the beverage container 20 is transparent or opaque.

制御部Ｆ１２は、画像（対象画像）に写る飲料用容器２０が透明か不透明かで異なる制御を実行するように構成される。具体的には、制御部Ｆ１２は、画像（対象画像）に写る飲料用容器２０が不透明であれば第１制御を実行するように構成される。第１制御では、制御部Ｆ１２は、図８に示すように、表示部１５１に、ホット飲料のメニュー画面Ｇ１０を表示する。メニュー画面Ｇ１０は、ユーザが入力部１４によりホット飲料を選択するためのボタンＢ１１，Ｂ１２，Ｂ１３，Ｂ１４を表示する。逆に言えば、メニュー画面Ｇ１０は、コールド飲料を選択するためのボタンは表示しない。図８では、ボタンＢ１１，Ｂ１２，Ｂ１３，Ｂ１４は、それぞれ、コーヒー（ホット）、カフェラテ（ホット）、カプチーノ（ホット）、エスプレッソ（ホット）に対応している。制御部Ｆ１２は、メニュー画面Ｇ１０において飲料が選択されると、選択された飲料に対応する飲料情報を取得する。図８の場合、メニュー画面Ｇ１０においてボタンＢ１１，Ｂ１２，Ｂ１３，Ｂ１４のいずれかが選択されると、制御部Ｆ１２は、選択されたボタンに対応する飲料の飲料情報を取得する。そして、入力部１４の吐出ボタンがユーザにより操作（押圧）されると、制御部Ｆ１２は、取得した飲料情報を吐出装置１３に与えて飲料の吐出を開始させる。   The control unit F12 is configured to execute different control depending on whether the beverage container 20 shown in the image (target image) is transparent or opaque. Specifically, the control unit F12 is configured to execute the first control if the beverage container 20 shown in the image (target image) is opaque. In the first control, the control unit F12 displays a menu screen G10 for hot beverage on the display unit 151 as shown in FIG. The menu screen G10 displays buttons B11, B12, B13, and B14 for the user to select a hot beverage using the input unit 14. In other words, the menu screen G10 does not display a button for selecting a cold beverage. In FIG. 8, buttons B11, B12, B13, and B14 correspond to coffee (hot), latte (hot), cappuccino (hot), and espresso (hot), respectively. When a beverage is selected on the menu screen G10, the control unit F12 acquires beverage information corresponding to the selected beverage. In the case of FIG. 8, when any of the buttons B11, B12, B13, and B14 is selected on the menu screen G10, the control unit F12 acquires beverage information of the beverage corresponding to the selected button. And if the discharge button of the input part 14 is operated (pressed) by the user, the control part F12 will give the acquired drink information to the discharge apparatus 13, and will start discharge of a drink.

一方、制御部Ｆ１２は、画像（対象画像）に写る飲料用容器２０が透明であれば第２制御を実行するように構成される。第２制御では、制御部Ｆ１２は、図９に示すように、表示部１５１に、コールド飲料のメニュー画面Ｇ２０を表示する。メニュー画面Ｇ２０は、ユーザが入力部１４によりコールド飲料を選択するためのボタンＢ２１，Ｂ２２，Ｂ２３，Ｂ２４を表示する。逆に言えば、メニュー画面Ｇ２０は、ホット飲料を選択するためのボタンは表示しない。図９では、ボタンＢ２１，Ｂ２２，Ｂ２３，Ｂ２４は、それぞれ、アイスコーヒー、アイスカフェラテ、オレンジジュース、コーラに対応している。制御部Ｆ１２は、メニュー画面Ｇ２０において飲料が選択されると、選択された飲料に対応する飲料情報を取得する。図９の場合、メニュー画面Ｇ２０においてボタンＢ２１，Ｂ２２，Ｂ２３，Ｂ２４のいずれかが選択されると、制御部Ｆ１２は、選択されたボタンに対応する飲料の飲料情報を取得する。そして、入力部１４の吐出ボタンがユーザにより操作（押圧）されると、制御部Ｆ１２は、取得した飲料情報を吐出装置１３に与えて飲料の吐出を開始させる。   On the other hand, the control unit F12 is configured to execute the second control if the beverage container 20 shown in the image (target image) is transparent. In the second control, the control unit F12 displays a cold beverage menu screen G20 on the display unit 151 as shown in FIG. The menu screen G20 displays buttons B21, B22, B23, and B24 for the user to select a cold beverage using the input unit 14. In other words, the menu screen G20 does not display a button for selecting a hot beverage. In FIG. 9, buttons B21, B22, B23, and B24 correspond to ice coffee, ice cafe latte, orange juice, and cola, respectively. When a beverage is selected on the menu screen G20, the control unit F12 acquires beverage information corresponding to the selected beverage. In the case of FIG. 9, when any of the buttons B21, B22, B23, and B24 is selected on the menu screen G20, the control unit F12 acquires beverage information of the beverage corresponding to the selected button. And if the discharge button of the input part 14 is operated (pressed) by the user, the control part F12 will give the acquired drink information to the discharge apparatus 13, and will start discharge of a drink.

なお、ホット飲料のメニュー画面Ｇ１０は、コールド飲料のメニュー画面Ｇ２０を表示させるためのメニュー切替ボタンを表示してもよい。メニュー画面Ｇ１０においてメニュー切替ボタンが選択されると、制御部Ｆ１２は、メニュー画面Ｇ１０の表示を終了して、メニュー画面Ｇ２０を表示部１５１に表示させる。同様に、コールド飲料のメニュー画面Ｇ２０は、ホット飲料のメニュー画面Ｇ１０を表示させるためのメニュー切替ボタンを表示してもよい。メニュー画面Ｇ２０においてメニュー切替ボタンが選択されると、制御部Ｆ１２は、メニュー画面Ｇ２０の表示を終了して、メニュー画面Ｇ１０を表示部１５１に表示させる。このようにすれば、ユーザの利便性が向上する。   The hot beverage menu screen G10 may display a menu switching button for displaying the cold beverage menu screen G20. When the menu switching button is selected on the menu screen G10, the control unit F12 ends the display of the menu screen G10 and causes the display unit 151 to display the menu screen G20. Similarly, the cold beverage menu screen G20 may display a menu switching button for displaying the hot beverage menu screen G10. When the menu switching button is selected on the menu screen G20, the control unit F12 ends the display of the menu screen G20 and causes the display unit 151 to display the menu screen G10. In this way, user convenience is improved.

設定部Ｆ１３は、撮像装置１２で生成された画像を参照画像として記憶部１１に記憶させるように構成される。つまり、設定部Ｆ１３によれば、参照画像の変更が可能になる。これは、飲料用容器２０が透明か不透明かの判定の精度の向上に寄与し得る。   The setting unit F13 is configured to store the image generated by the imaging device 12 in the storage unit 11 as a reference image. That is, according to the setting unit F13, the reference image can be changed. This can contribute to an improvement in the accuracy of determining whether the beverage container 20 is transparent or opaque.

より詳細には、設定部Ｆ１３は、撮像装置１２から画像を取得する。そして、設定部Ｆ１３は、撮像装置１２から取得した画像をもとに、配置場所１０１に飲料用容器２０が置かれているかどうかを判断する。設定部Ｆ１３は、判定部Ｆ１１と同様に、画像からエッジを検出する処理を実行し、飲料用容器２０に対応するエッジを検出したかどうかにより、画像に飲料用容器２０が写っているかどうかを判断する。そして、配置場所１０１に飲料用容器２０が置かれていないと判断すれば、設定部Ｆ１３は、撮像装置１２から取得した画像を参照画像として記憶部１１に記憶させる。一方、配置場所１０１に飲料用容器２０が置かれていると判断すれば、設定部Ｆ１３は、撮像装置１２から取得した画像を参照画像として記憶部１１に記憶させずに破棄する。この場合、設定部Ｆ１３は、表示部１５１により、ユーザに、配置場所１０１に何も置かないように促して、再度撮像装置１２から画像を取得してもよい。   More specifically, the setting unit F13 acquires an image from the imaging device 12. Then, the setting unit F13 determines whether or not the beverage container 20 is placed at the arrangement location 101 based on the image acquired from the imaging device 12. Similarly to the determination unit F11, the setting unit F13 performs processing for detecting an edge from the image, and determines whether the beverage container 20 is reflected in the image depending on whether the edge corresponding to the beverage container 20 is detected. to decide. If it is determined that the beverage container 20 is not placed at the arrangement location 101, the setting unit F13 stores the image acquired from the imaging device 12 in the storage unit 11 as a reference image. On the other hand, if it is determined that the beverage container 20 is placed at the arrangement location 101, the setting unit F13 discards the image acquired from the imaging device 12 without storing it in the storage unit 11 as a reference image. In this case, the setting unit F13 may prompt the user not to place anything at the placement location 101 by using the display unit 151 and acquire an image from the imaging device 12 again.

なお、設定部Ｆ１３は、表示部１５１に参照画像を生成するためのガイダンスを表示してもよい。このガイダンスは、ユーザに、配置場所１０１に何も置かないことを通知するメッセージを含んでいてよい。また、参照画像は、予め記憶部１１に記憶させることも可能である。ただし、参照画像としては、実際に飲料提供システム１０の使用する場所において撮像装置１２で生成された画像を用いることが好ましい。これは、参照画像の撮像条件を対象画像の撮像条件に近付けることができるからである。これによって、飲料用容器２０が透明か不透明かの判定の精度の向上に寄与し得る。   Note that the setting unit F13 may display guidance for generating a reference image on the display unit 151. This guidance may include a message notifying the user that nothing is placed at the placement location 101. Further, the reference image can be stored in the storage unit 11 in advance. However, as the reference image, it is preferable to use an image generated by the imaging device 12 in a place where the beverage providing system 10 is actually used. This is because the imaging condition of the reference image can be brought close to the imaging condition of the target image. Thereby, it can contribute to the improvement of the precision of determination whether the container 20 for drinks is transparent or opaque.

１．３ 動作
次に、飲料提供システム１０の主要な動作（提供モードでの動作）について図１０のフローチャートを参照して簡単に説明する。 1.3 Operation Next, the main operation (operation in the providing mode) of the beverage providing system 10 will be briefly described with reference to the flowchart of FIG.

飲料提供システム１０では、判定部Ｆ１１が、撮像装置１２で生成された画像に基づいて、配置場所１０１に飲料用容器２０が置かれているかどうかを判断する（Ｓ１１）。配置場所１０１に飲料用容器２０が置かれていないと判断した場合（Ｓ１１：Ｎｏ）、処理はステップＳ１１に戻る。一方、配置場所１０１に飲料用容器２０が置かれていると判断した場合（Ｓ１１：Ｙｅｓ）、判定部Ｆ１１は、撮像装置１２から対象画像を取得し（Ｓ１２）、記憶部１１から参照画像を取得する（Ｓ１３）。そして、判定部Ｆ１１は、配置場所１０１に置かれた飲料用容器２０が透明か不透明であるかを判断する（Ｓ１４）。配置場所１０１に置かれた飲料用容器２０が透明であると判定部Ｆ１１が判断した場合（Ｓ１４：Ｙｅｓ）、制御部Ｆ１２は、第２制御を実行して、表示部１５１にコールド飲料のメニュー画面Ｇ２０を表示させる（Ｓ１５）。一方、配置場所１０１に置かれた飲料用容器２０が不透明であると判定部Ｆ１１が判断した場合（Ｓ１４：Ｎｏ）、制御部Ｆ１２は、第１制御を実行して、表示部１５１にホット飲料のメニュー画面Ｇ１０を表示させる（Ｓ１６）。   In the beverage providing system 10, the determination unit F11 determines whether or not the beverage container 20 is placed at the arrangement location 101 based on the image generated by the imaging device 12 (S11). When it is determined that the beverage container 20 is not placed at the arrangement location 101 (S11: No), the process returns to step S11. On the other hand, when it is determined that the beverage container 20 is placed at the arrangement location 101 (S11: Yes), the determination unit F11 acquires the target image from the imaging device 12 (S12), and acquires the reference image from the storage unit 11. Obtain (S13). Then, the determination unit F11 determines whether the beverage container 20 placed at the placement location 101 is transparent or opaque (S14). When the determination unit F11 determines that the beverage container 20 placed at the placement location 101 is transparent (S14: Yes), the control unit F12 executes the second control and displays the cold beverage menu on the display unit 151. The screen G20 is displayed (S15). On the other hand, when the determination unit F11 determines that the beverage container 20 placed in the arrangement place 101 is opaque (S14: No), the control unit F12 executes the first control and displays the hot beverage on the display unit 151. The menu screen G10 is displayed (S16).

次に、判定部Ｆ１１での判定処理について図１１のフローチャートを参照して簡単に説明する。   Next, the determination process in the determination unit F11 will be briefly described with reference to the flowchart of FIG.

判定部Ｆ１１は、対象画像において、飲料用容器２０のエッジを検出し（Ｓ２１）、飲料用容器２０の存在領域Ｒ１１を特定する（Ｓ２２）。更に、判定部Ｆ１１は、存在領域Ｒ１１から第１判定領域Ｒ１１０を特定する（Ｓ２３）。そして、判定部Ｆ１１は、参照画像において第１判定領域Ｒ１１０に対応する第２判定領域Ｒ１２０を特定し、第１判定領域Ｒ１１０と第２判定領域Ｒ１２０の類似度を、存在領域Ｒ１１と参照領域Ｒ１２の類似度として求める（Ｓ２４）。そして、判定部Ｆ１１は、存在領域Ｒ１１と参照領域Ｒ１２の類似度が規定値以上であるか否かを判定する（Ｓ２５）。存在領域Ｒ１１と参照領域Ｒ１２の類似度が規定値以上であれば（Ｓ２５；ＹＥＳ）、判定部Ｆ１１は、対象画像に写る飲料用容器２０が透明であると判断する（Ｓ２６）。一方、判定部Ｆ１１は、存在領域Ｒ１１と参照領域Ｒ１２の類似度が規定値未満であれば（Ｓ２５；ＮＯ）、対象画像に写る飲料用容器２０が不透明であると判断する（Ｓ２７）。   The determination unit F11 detects the edge of the beverage container 20 in the target image (S21), and specifies the presence region R11 of the beverage container 20 (S22). Further, the determination unit F11 specifies the first determination region R110 from the existence region R11 (S23). Then, the determination unit F11 specifies the second determination region R120 corresponding to the first determination region R110 in the reference image, and determines the similarity between the first determination region R110 and the second determination region R120, and the presence region R11 and the reference region R12. (S24). Then, the determination unit F11 determines whether or not the similarity between the existence region R11 and the reference region R12 is equal to or greater than a specified value (S25). If the similarity between the presence region R11 and the reference region R12 is equal to or greater than the specified value (S25; YES), the determination unit F11 determines that the beverage container 20 shown in the target image is transparent (S26). On the other hand, if the similarity between the presence region R11 and the reference region R12 is less than the specified value (S25; NO), the determination unit F11 determines that the beverage container 20 shown in the target image is opaque (S27).

このように、飲料提供システム１０では、配置場所１０１に置いた飲料用容器２０が透明か不透明かによって、異なるメニュー画面Ｇ１０，Ｇ２０が表示部１５１に表示される。特に、飲料用容器２０が不透明であれば、ホット飲料のメニュー画面Ｇ１０を表示部１５１に表示する。これは、一般に、ホット飲料を飲む場合に不透明な飲料用容器２０が用いられることが多いことを考慮している。つまり、ユーザが不透明な飲料用容器２０を配置場所１０１に置いた場合、ユーザがホット飲料を注文する可能性が高いといえるから、コールド飲料を表示しないようにする。これによって、ユーザの希望する飲料を提供する際のユーザの手間を軽減できる。また、飲料用容器２０が透明であれば、コールド飲料のメニュー画面Ｇ２０を表示部１５１に表示する。これは、一般に、コールド飲料を飲む場合に透明な飲料用容器２０が用いられることが多いことを考慮している。つまり、ユーザが透明な飲料用容器２０を配置場所１０１に置いた場合、ユーザがコールド飲料を注文する可能性が高いといえるから、ホット飲料を表示しないようにする。これによって、ユーザの希望する飲料を提供する際のユーザの手間を軽減できる。   As described above, in the beverage providing system 10, different menu screens G <b> 10 and G <b> 20 are displayed on the display unit 151 depending on whether the beverage container 20 placed at the arrangement location 101 is transparent or opaque. In particular, if the beverage container 20 is opaque, the hot beverage menu screen G10 is displayed on the display 151. This generally takes into account that opaque beverage containers 20 are often used when drinking hot beverages. That is, when the user places the opaque beverage container 20 at the arrangement location 101, it can be said that there is a high possibility that the user will order a hot beverage. Thereby, a user's effort at the time of providing the user's desired drink can be reduced. If the beverage container 20 is transparent, a menu screen G20 for cold beverage is displayed on the display unit 151. This generally takes into account that transparent beverage containers 20 are often used when drinking cold beverages. That is, when the user places the transparent beverage container 20 at the arrangement location 101, it can be said that there is a high possibility that the user orders a cold beverage, and therefore, the hot beverage is not displayed. Thereby, a user's effort at the time of providing the user's desired drink can be reduced.

２．変形例
以上説明した実施形態は、本開示の様々な実施形態の一例に過ぎない。また、上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。以下に、上記実施形態の変形例を列挙する。 2. Modifications The embodiments described above are merely examples of various embodiments of the present disclosure. In addition, the above-described embodiment can be variously changed according to the design or the like as long as the object of the present disclosure can be achieved. Below, the modification of the said embodiment is enumerated.

例えば、図１２に示すように、配置場所１０１は、飲料用容器２０の位置決め用のガイド１０５を有する。ガイド１０５は、台１０２の上面に設けられている。ガイド１０５は、台１０２の上面から突出する一対の脚部１０５ａと、脚部１０５ａの上端間を連結するＬ字状のストッパ１０５ｂとを有する。つまり、飲料用容器２０がガイド１０５に当たるように配置場所１０１に飲料用容器２０を置くことで、飲料用容器２０を吐出口１３１に対して適切な位置に配置できる。ここで、ガイド１０５は、撮像装置１２の撮像範囲内に位置している。特に、図１２では、ガイド１０５は、飲料用容器２０の下端部分に当たる。また、ガイド１０５は、撮像装置１２とガイド１０５との間に飲料用容器２０が位置するように、飲料用容器２０の位置を定めている。なお、ガイド１０５の色は特に限定されないが、飲料用容器２０との区別が容易な色であるとよい。また、ガイド１０５の形状は、特に限定されない。例えば、ストッパ１０５ｂは弧状であってもよく、飲料用容器２０の位置決めが可能な形状であればよい。また、ガイド１０５の材料は特に限定されず、金属であってもよいし、樹脂であってもよい。また、ガイド１０５が飲料用容器２０に当たる位置は、飲料用容器２０の下端部分に限定されず、飲料用容器２０のどの部分にあたってもよい。例えば、ガイド１０５は、飲料用容器２０の上端部分又は中間部分に当たってもよい。   For example, as shown in FIG. 12, the arrangement location 101 has a guide 105 for positioning the beverage container 20. The guide 105 is provided on the upper surface of the table 102. The guide 105 includes a pair of leg portions 105a that protrude from the upper surface of the base 102, and an L-shaped stopper 105b that connects between the upper ends of the leg portions 105a. That is, the beverage container 20 can be placed at an appropriate position with respect to the discharge port 131 by placing the beverage container 20 at the placement location 101 so that the beverage container 20 hits the guide 105. Here, the guide 105 is located within the imaging range of the imaging device 12. In particular, in FIG. 12, the guide 105 hits the lower end portion of the beverage container 20. Further, the guide 105 determines the position of the beverage container 20 so that the beverage container 20 is positioned between the imaging device 12 and the guide 105. The color of the guide 105 is not particularly limited, but may be a color that can be easily distinguished from the beverage container 20. Further, the shape of the guide 105 is not particularly limited. For example, the stopper 105b may have an arc shape and may have any shape that allows the beverage container 20 to be positioned. Moreover, the material of the guide 105 is not specifically limited, A metal may be sufficient and resin may be sufficient. Further, the position where the guide 105 hits the beverage container 20 is not limited to the lower end portion of the beverage container 20, and may be on any part of the beverage container 20. For example, the guide 105 may hit the upper end portion or the middle portion of the beverage container 20.

ここで、図１３〜図１５は、撮像装置１２で生成された画像Ｐ２０〜Ｐ２２を示す。図１３に示す画像Ｐ２０は、飲料用容器２０が置かれていない配置場所１０１の画像である。ただし、配置場所１０１には、ガイド１０５が存在している。そのため、図１３では、ガイド１０５が写っている。図１４〜図１５に示す画像Ｐ２１，Ｐ２２は、飲料用容器２０が置かれている配置場所１０１の画像である。特に、図１４では、飲料用容器２０は不透明である。そのため、飲料用容器２０のある部分ではガイド１０５が隠れている。図１５では、飲料用容器２０は透明である。そのため、飲料用容器２０が不透明である場合とは対照的に、飲料用容器２０のある部分でもガイド１０５が視認できる。   Here, FIGS. 13 to 15 show images P20 to P22 generated by the imaging device 12. FIG. An image P20 shown in FIG. 13 is an image of the arrangement location 101 where the beverage container 20 is not placed. However, a guide 105 exists at the arrangement location 101. Therefore, the guide 105 is shown in FIG. Images P21 and P22 shown in FIGS. 14 to 15 are images of the arrangement location 101 where the beverage container 20 is placed. In particular, in FIG. 14, the beverage container 20 is opaque. Therefore, the guide 105 is hidden in a certain part of the beverage container 20. In FIG. 15, the beverage container 20 is transparent. Therefore, in contrast to the case where the beverage container 20 is opaque, the guide 105 can be visually recognized even at a portion where the beverage container 20 is present.

画像Ｐ２１では、飲料用容器２０のある部分ではガイド１０５が隠れているが、画像Ｐ２２では、飲料用容器２０のある部分でもガイド１０５を視認できる。したがって、飲料用容器２０が透明である画像Ｐ２２は、飲料用容器２０が不透明である画像Ｐ２１に比べて、飲料用容器２０がない画像Ｐ２０との類似度が高くなる傾向にある。   In the image P21, the guide 105 is hidden in a part where the beverage container 20 is present, but in the image P22, the guide 105 can be visually recognized even in a part where the beverage container 20 is present. Therefore, the image P22 in which the beverage container 20 is transparent tends to be more similar to the image P20 without the beverage container 20 than the image P21 in which the beverage container 20 is opaque.

そこで、判定部Ｆ１１は、対象画像Ｐ２１，Ｐ２２において飲料用容器２０が存在する存在領域Ｒ２１の一部の第１判定領域Ｒ２１０として、飲料用容器２０においてガイド１０５と重なる領域を含む領域を用いてもよい（図１４、図１５参照）。存在領域Ｒ２１と参照領域Ｒ２２の類似度は、第１判定領域Ｒ２１０と、参照領域Ｒ２２において第１判定領域Ｒ２１０に対応する領域である第２判定領域Ｒ２２０の類似度であってよい。このようにすれば、類似度の算出に必要な計算量を低減できる。また、飲料用容器２０が透明か不透明かの判定の精度の向上が図れる。特に、ガイド１０５が飲料用容器２０の上端部分と当たる場合には、第１判定領域Ｒ２１０が飲料用容器２０の上端部分となるから、氷に起因する判定精度の低下を抑制できる。   Therefore, the determination unit F11 uses a region including a region overlapping with the guide 105 in the beverage container 20 as a first determination region R210 of the presence region R21 where the beverage container 20 exists in the target images P21 and P22. It is also possible (see FIGS. 14 and 15). The similarity between the existence region R21 and the reference region R22 may be the similarity between the first determination region R210 and the second determination region R220 that is a region corresponding to the first determination region R210 in the reference region R22. In this way, the amount of calculation required for calculating the similarity can be reduced. In addition, it is possible to improve the accuracy of determining whether the beverage container 20 is transparent or opaque. In particular, when the guide 105 hits the upper end portion of the beverage container 20, since the first determination region R210 becomes the upper end portion of the beverage container 20, it is possible to suppress a decrease in determination accuracy due to ice.

また、配置場所１０１において、台１０２、第１側壁１０３、及び第２側壁１０４の形状は特に限定されない。つまり、台１０２、第１側壁１０３、及び第２側壁１０４は必ずしも矩形の板状である必要はない。また、配置場所１０１は、筐体１００の一面から突出して設けられている必要はなく、筐体１００の一面に形成された凹部であってよい。この場合、飲料提供システム１０は、配置場所１０１用の扉１７を有していてもよい。   Moreover, in the arrangement | positioning location 101, the shape of the stand 102, the 1st side wall 103, and the 2nd side wall 104 is not specifically limited. That is, the base 102, the first side wall 103, and the second side wall 104 do not necessarily have a rectangular plate shape. Further, the arrangement location 101 does not have to be provided so as to protrude from one surface of the housing 100, and may be a recess formed on one surface of the housing 100. In this case, the beverage providing system 10 may have a door 17 for the placement location 101.

また、配置場所１０１の第２側壁１０４の面１０４ａの模様は、必ずしも繰り返し模様である必要はない。ただし、繰り返し模様であれば、飲料用容器２０による模様の歪みによる判定精度の低下が起こりにくい。また、配置場所１０１における飲料用容器２０を置く場所のずれの影響による判定精度の低下が起こりにくい。繰り返し模様は、縞模様に限定されない。繰り返し模様の例としては、水玉模様のような同じ絵柄が繰り返される模様であってもよい。絵柄は、例えば、どのようなものであってもよいが、ユーザが不自然に感じないものであることが好ましい。絵柄の一例としては、星、企業ロゴなどが挙げられる。   Further, the pattern of the surface 104a of the second side wall 104 at the arrangement location 101 does not necessarily need to be a repeated pattern. However, if it is a repetitive pattern, the determination accuracy is hardly lowered due to the distortion of the pattern caused by the beverage container 20. In addition, it is difficult for the determination accuracy to decrease due to the influence of the shift of the place where the beverage container 20 is placed in the arrangement place 101. The repeated pattern is not limited to a striped pattern. As an example of the repeated pattern, a pattern in which the same pattern such as a polka dot pattern is repeated may be used. For example, the design may be anything, but it is preferable that the user does not feel unnatural. Examples of designs include stars and company logos.

また、撮像装置１２は、必ずしも、上記実施形態で例示された場所にある必要はない。撮像装置１２の位置は、配置場所１０１に置かれる飲料用容器２０を全体的に撮影できるように、配置場所１０１及び使用が想定される飲料用容器２０の形状及び寸法を考慮して、適宜設定される。例えば、撮像装置１２は、吐出口１３１の近傍に配置されていてもよい。つまり、撮像装置１２は、真上から飲料用容器２０を撮影するように配置されてもよい。この場合は、配置場所１０１の台１０２の上面が、撮像装置１２で生成される画像の背景となる面になるので、台１０２の上面には模様があるとよい。また、撮像装置１２が配置場所１０１を撮影する方向も特に限定されない。   Moreover, the imaging device 12 does not necessarily need to be in the place illustrated by the said embodiment. The position of the imaging device 12 is appropriately set in consideration of the shape and dimensions of the beverage container 20 that is supposed to be used and the beverage placement place 101 so that the beverage container 20 placed at the placement location 101 can be photographed as a whole. Is done. For example, the imaging device 12 may be disposed in the vicinity of the ejection port 131. That is, the imaging device 12 may be arranged so as to photograph the beverage container 20 from directly above. In this case, since the upper surface of the table 102 at the arrangement location 101 is a surface serving as the background of the image generated by the imaging device 12, it is preferable that the upper surface of the table 102 has a pattern. Further, the direction in which the imaging device 12 captures the arrangement location 101 is not particularly limited.

また、判定部Ｆ１１は、飲料用容器２０の検知を、撮像装置１２で生成された画像ではなく、センサ（例えば、近接センサ、加速度センサ）等により行ってもよい。また、判定部Ｆ１１は、別途設けられた開始ボタンの操作に応じて、判定処理を開始してもよい。この場合、図１０のフローチャートのステップＳ１１を、「開始ボタンが操作されたか」に読み替えればよい。   Moreover, the determination part F11 may detect the container 20 for drinks not with the image produced | generated with the imaging device 12, but with a sensor (for example, proximity sensor, acceleration sensor), etc. Further, the determination unit F11 may start the determination process in response to an operation of a start button provided separately. In this case, step S11 in the flowchart in FIG. 10 may be read as “whether the start button has been operated”.

また、判定部Ｆ１１は、類似度を色のヒストグラムの差ではなく、画像のパターンマッチング等の周知の画像処理技術、又は、学習済みモデルの利用により決定してもよい。   Further, the determination unit F11 may determine the degree of similarity based on a well-known image processing technique such as image pattern matching or the use of a learned model, instead of the difference between color histograms.

また、制御部Ｆ１２は、画像（対象画像）に写る飲料用容器２０が透明か不透明かで、表示部１５１に表示するメニューを変更している。しかしながら、制御部Ｆ１２は、画像に写る飲料用容器２０が透明か不透明かで異なる制御を行うものであればよい。例えば、制御部Ｆ１２は、画像に写る飲料用容器２０が透明か不透明かで吐出装置１３から提供する飲料の濃さ及び／又は量を変更してもよい。例えば、制御部Ｆ１２は、画像に写る飲料用容器２０が透明であれば、画像に写る飲料用容器２０が不透明である場合よりも飲料を濃くして量を減らす。これは、吐出装置１３から冷えた飲料を提供せずに、飲料用容器２０に入れた氷で吐出装置１３から吐出される飲料を冷やす場合に有効である。例えば、飲料提供システムがホット飲料専用である場合には、制御部Ｆ１２は、画像に写る飲料用容器２０が透明であれば、飲料のメニューの代わりに通知メッセージを表示部１５１に表示してもよい。通知メッセージとしては、「ホット飲料専用機です」といったものが考えられる。これにより、ガラス製の飲料用容器に熱い飲料が注がれて、飲料用容器が割れてしまうといった事態を回避できる可能性が高まる。   The control unit F12 changes the menu displayed on the display unit 151 depending on whether the beverage container 20 shown in the image (target image) is transparent or opaque. However, the control part F12 should just perform different control whether the container 20 for drinks reflected on an image is transparent or opaque. For example, the control unit F12 may change the strength and / or amount of the beverage provided from the discharge device 13 depending on whether the beverage container 20 shown in the image is transparent or opaque. For example, if the beverage container 20 shown in the image is transparent, the control unit F12 darkens the beverage and reduces the amount as compared with the case where the beverage container 20 shown in the image is opaque. This is effective when the beverage discharged from the discharge device 13 is cooled with ice contained in the beverage container 20 without providing a cold beverage from the discharge device 13. For example, when the beverage providing system is dedicated to hot beverages, the control unit F12 may display a notification message on the display unit 151 instead of the beverage menu if the beverage container 20 shown in the image is transparent. Good. A notification message such as “It is a machine dedicated to hot beverages” can be considered. This increases the possibility of avoiding a situation where a hot beverage is poured into a glass beverage container and the beverage container is broken.

例えば、飲料提供システム１０は、飲料用容器２０の配置場所１０１を照らす光源を更に備えていてもよい。光源は、可視光領域の光を放射する光源であってもよいし、赤外領域の光を放射する光源であってもよい。光源を設けることで、撮像装置１２で生成される画像の質の向上が図れる。なお、光源と撮像装置１２との位置関係は、特に限定されない。例えば、光源が配置場所１０１を照らす方向と撮像装置１２が配置場所１０１を撮影する方向とは同じであってもよいし、異なっていてもよい。   For example, the beverage providing system 10 may further include a light source that illuminates the placement location 101 of the beverage container 20. The light source may be a light source that emits light in the visible region or a light source that emits light in the infrared region. By providing the light source, the quality of the image generated by the imaging device 12 can be improved. Note that the positional relationship between the light source and the imaging device 12 is not particularly limited. For example, the direction in which the light source illuminates the arrangement location 101 may be the same as or different from the direction in which the imaging device 12 images the arrangement location 101.

例えば、飲料提供システム１０は、飲料ディスペンサに加えて、サーバ又はクラウドコンピューティングシステムで構成される処理システムを含んでいてもよい。処理システムは、飲料ディスペンサと通信ネットワークを介して相互に通信が可能であってよい。通信ネットワークは、単一の通信プロトコルに準拠したネットワークだけではなく、異なる通信プロトコルに準拠した複数のネットワークで構成されていてもよい。通信ネットワークは、リピータハブ、スイッチングハブ、ブリッジ、ゲートウェイ、ルータ等のデータ通信機器を含み得る。この場合、飲料ディスペンサは、少なくとも、撮像装置１２と、吐出装置１３と、入力部１４と、出力部１５と、処理部１６とを有していればよいが、処理部１６が判定部Ｆ１１と制御部Ｆ１２と設定部Ｆ１３とを有することは必須ではない。つまり、判定部Ｆ１１、制御部Ｆ１２、及び設定部Ｆ１３は、処理システムにより実現されてよい。この場合、判定部Ｆ１１、制御部Ｆ１２、及び設定部Ｆ１３の更新を容易に行うことができる。判定部Ｆ１１の更新の例としては、判定処理（プログラム）の更新がある。判定部Ｆ１１を更新することで、判定部Ｆ１１での判定の精度の向上が図れる。   For example, the beverage providing system 10 may include a processing system including a server or a cloud computing system in addition to the beverage dispenser. The processing system may be able to communicate with the beverage dispenser via a communication network. The communication network may be composed of not only a network that conforms to a single communication protocol but also a plurality of networks that conform to different communication protocols. The communication network may include data communication devices such as repeater hubs, switching hubs, bridges, gateways, routers. In this case, the beverage dispenser only needs to include at least the imaging device 12, the ejection device 13, the input unit 14, the output unit 15, and the processing unit 16, but the processing unit 16 has the determination unit F11. It is not essential to have the control part F12 and the setting part F13. That is, the determination unit F11, the control unit F12, and the setting unit F13 may be realized by a processing system. In this case, the determination unit F11, the control unit F12, and the setting unit F13 can be easily updated. As an example of the update of the determination unit F11, there is an update of the determination process (program). By updating the determination unit F11, it is possible to improve the accuracy of determination by the determination unit F11.

このように、飲料提供システム１０は、複数のコンピュータにより構成されていてもよく、飲料提供システムの機能（特に、判定部Ｆ１１及び制御部Ｆ１２の機能）は、複数の装置に分散されていてもよい。更に、飲料提供システムの機能の少なくとも一部が、例えば、クラウド（クラウドコンピューティング）によって実現されていてもよい。   Thus, the beverage providing system 10 may be configured by a plurality of computers, and the functions of the beverage providing system (particularly, the functions of the determination unit F11 and the control unit F12) may be distributed among a plurality of devices. Good. Furthermore, at least a part of the functions of the beverage providing system may be realized by, for example, cloud (cloud computing).

３．態様
上記実施形態及び変形例から明らかなように、本開示は、下記の第１〜第１０の態様を含む。以下では、実施形態との対応関係を明示するためだけに、符号を括弧付きで付している。 3. Aspects As is apparent from the above-described embodiments and modifications, the present disclosure includes the following first to tenth aspects. In the following, the reference numerals are attached with parentheses only to clarify the correspondence with the embodiment.

上記実施形態及び変形例から明らかなように、第１の態様の飲料提供システム（１０）は、撮像装置（１２）と、判定部（Ｆ１１）と、制御部（Ｆ１２）と、を備える。前記撮像装置（１２）は、飲料用容器（２０）の配置場所（１０１）を撮影して画像を生成するように構成される。前記判定部（Ｆ１１）は、対象画像（Ｐ１１〜Ｐ１３；Ｐ２１，Ｐ２２）と参照画像（Ｐ１０；Ｐ２０）の比較に基づいて前記対象画像（Ｐ１１〜Ｐ１３；Ｐ２１，Ｐ２２）に写る飲料用容器（２０）が透明か不透明かを判定するように構成される。前記対象画像（Ｐ１１〜Ｐ１３；Ｐ２１，Ｐ２２）は、飲料用容器（２０）が置かれている前記配置場所（１０１）の画像である。前記参照画像（Ｐ１０；Ｐ２０）は、飲料用容器（２０）が置かれていない前記配置場所（１０１）の画像である。前記制御部（Ｆ１２）は、前記対象画像（Ｐ１１〜Ｐ１３；Ｐ２１，Ｐ２２）に写る飲料用容器（２０）が透明か不透明かで異なる制御を実行するように構成される。第１の態様によれば、飲料用容器（２０）の種類に応じた制御を行える。   As apparent from the above-described embodiment and modification, the beverage providing system (10) of the first aspect includes an imaging device (12), a determination unit (F11), and a control unit (F12). The said imaging device (12) is comprised so that the arrangement | positioning location (101) of the container (20) for drinks may be image | photographed, and an image may be produced | generated. The determination unit (F11) is a container for beverage (P11-P13; P21, P22) that is reflected in the target image (P11-P13; P21, P22) based on a comparison between the target image (P11-P13; P21, P22) and the reference image (P10; 20) is configured to determine whether it is transparent or opaque. The target images (P11 to P13; P21, P22) are images of the placement location (101) where the beverage container (20) is placed. The reference image (P10; P20) is an image of the placement location (101) where the beverage container (20) is not placed. The controller (F12) is configured to execute different control depending on whether the beverage container (20) shown in the target images (P11 to P13; P21, P22) is transparent or opaque. According to the 1st aspect, control according to the kind of container (20) for drinks can be performed.

第２の態様の飲料提供システム（１０）は、第１の態様との組み合わせにより実現され得る。第２の態様では、前記飲料提供システム（１０）は、記憶部（１１）と、前記撮像装置（１２）で生成された画像を前記参照画像（Ｐ１０；Ｐ２０）として前記記憶部（１１）に記憶させる設定部（Ｆ１３）とを更に備える。第２の態様によれば、参照画像（Ｐ１０；Ｐ２０）の変更が可能になる。これは、飲料用容器（２０）が透明か不透明かの判定の精度の向上に寄与し得る。   The beverage providing system (10) of the second aspect can be realized in combination with the first aspect. In the second aspect, the beverage providing system (10) stores the image generated by the storage unit (11) and the imaging device (12) in the storage unit (11) as the reference image (P10; P20). And a setting unit (F13) to be stored. According to the second aspect, the reference image (P10; P20) can be changed. This can contribute to an improvement in the accuracy of determining whether the beverage container (20) is transparent or opaque.

第３の態様の飲料提供システム（１０）は、第１又は第２の態様との組み合わせにより実現され得る。第３の態様では、前記配置場所（１０１）は、前記撮像装置（１２）で生成される画像（Ｐ１０〜Ｐ１３；Ｐ２０〜Ｐ２２）の背景となる面（１０４ａ）に模様を有する。第３の態様によれば、対象画像（Ｐ１１〜Ｐ１３；Ｐ２１，Ｐ２２）と参照画像（Ｐ１０；Ｐ２０）の差異が大きくなり得る。これは、飲料用容器（２０）が透明か不透明かの判定の精度の向上に寄与し得る。   The beverage providing system (10) of the third aspect can be realized by a combination with the first or second aspect. In the third aspect, the arrangement location (101) has a pattern on the surface (104a) serving as the background of the images (P10 to P13; P20 to P22) generated by the imaging device (12). According to the third aspect, the difference between the target image (P11 to P13; P21, P22) and the reference image (P10; P20) can be large. This can contribute to an improvement in the accuracy of determining whether the beverage container (20) is transparent or opaque.

第４の態様の飲料提供システム（１０）は、第３の態様との組み合わせにより実現され得る。第４の態様では、前記模様は、繰り返し模様である。第４の態様によれば、対象画像（Ｐ１１〜Ｐ１３；Ｐ２１，Ｐ２２）と参照画像（Ｐ１０；Ｐ２０）の差異が大きくなり得る。これは、飲料用容器（２０）が透明か不透明かの判定の精度の向上に寄与し得る。   The beverage providing system (10) of the fourth aspect can be realized by a combination with the third aspect. In the fourth aspect, the pattern is a repeated pattern. According to the fourth aspect, the difference between the target image (P11 to P13; P21, P22) and the reference image (P10; P20) can be large. This can contribute to an improvement in the accuracy of determining whether the beverage container (20) is transparent or opaque.

第５の態様の飲料提供システム（１０）は、第１〜第４の態様のいずれか一つとの組み合わせにより実現され得る。第５の態様では、前記判定部（Ｆ１１）は、存在領域（Ｒ１１；Ｒ２１）と参照領域（Ｒ１２；Ｒ２２）との類似度に基づいて、前記対象画像（Ｐ１１〜Ｐ１３；Ｐ２１，Ｐ２２）に写る飲料用容器（２０）が透明か不透明かを判定するように構成される。前記存在領域（Ｒ１１；Ｒ２１）は、前記対象画像（Ｐ１１〜Ｐ１３；Ｐ２１，Ｐ２２）において飲料用容器（２０）が存在する領域である。前記参照領域（Ｒ１２；Ｒ２２）は、前記参照画像（Ｐ１０；Ｐ２０）において前記存在領域（Ｒ１１；Ｒ２１）に対応する領域である。第５の態様によれば、対象画像（Ｐ１１〜Ｐ１３；Ｐ２１，Ｐ２２）と参照画像（Ｐ１０；Ｐ２０）とで差異が少ないと考えられる部分を用いないから、飲料用容器（２０）が透明か不透明かの判定の精度の向上が図れる。   The beverage providing system (10) of the fifth aspect can be realized by a combination with any one of the first to fourth aspects. In the fifth aspect, the determination unit (F11) applies the target image (P11 to P13; P21, P22) based on the similarity between the existence area (R11; R21) and the reference area (R12; R22). It is configured to determine whether the beverage container (20) to be reflected is transparent or opaque. The presence region (R11; R21) is a region where the beverage container (20) is present in the target images (P11 to P13; P21, P22). The reference area (R12; R22) is an area corresponding to the existence area (R11; R21) in the reference image (P10; P20). According to the 5th aspect, since the part considered that there is little difference with a target image (P11-P13; P21, P22) and a reference image (P10; P20) is not used, is a container (20) for drinks transparent? The accuracy of determining whether it is opaque can be improved.

第６の態様の飲料提供システム（１０）は、第５の態様との組み合わせにより実現され得る。第６の態様では、前記存在領域（Ｒ１１；Ｒ２１）と前記参照領域（Ｒ１２；Ｒ２２）の類似度は、第１判定領域（Ｒ１１０；Ｒ２１０）と第２判定領域（Ｒ１２０；Ｒ２２０）の類似度である。前記第１判定領域（Ｒ１１０；Ｒ２１０）は、前記存在領域（Ｒ１１；Ｒ２１）の一部である。前記第２判定領域（Ｒ１２０；Ｒ２２０）は、前記参照領域（Ｒ１２；Ｒ２２）において前記第１判定領域（Ｒ１１０；Ｒ２１０）に対応する領域である。第６の態様によれば、飲料用容器（２０）が透明か不透明かの判定の精度の向上が図れる。   The beverage providing system (10) of the sixth aspect can be realized in combination with the fifth aspect. In the sixth aspect, the similarity between the existence region (R11; R21) and the reference region (R12; R22) is the similarity between the first determination region (R110; R210) and the second determination region (R120; R220). It is. The first determination region (R110; R210) is a part of the existence region (R11; R21). The second determination region (R120; R220) is a region corresponding to the first determination region (R110; R210) in the reference region (R12; R22). According to the sixth aspect, it is possible to improve the accuracy of determining whether the beverage container (20) is transparent or opaque.

第７の態様の飲料提供システム（１０）は、第６の態様との組み合わせにより実現され得る。第７の態様では、前記第１判定領域（Ｒ１１０）は、前記対象画像（Ｐ１１〜Ｐ１３；Ｐ２１，Ｐ２２）に写る飲料用容器（２０）の上端部分に対応する領域である。第７の態様によれば、飲料用容器（２０）が透明か不透明かの判定の精度の向上が図れる。   The beverage providing system (10) of the seventh aspect can be realized by a combination with the sixth aspect. In the seventh aspect, the first determination region (R110) is a region corresponding to the upper end portion of the beverage container (20) shown in the target images (P11 to P13; P21, P22). According to the seventh aspect, it is possible to improve the accuracy of determining whether the beverage container (20) is transparent or opaque.

第８の態様の飲料提供システム（１０）は、第６又は第７の態様との組み合わせにより実現され得る。第８の態様では、前記配置場所（１０１）は、飲料用容器（２０）の位置決め用のガイド（１０５）を有する。前記第１判定領域（Ｒ２１０）は、前記対象画像（Ｐ１１〜Ｐ１３；Ｐ２１，Ｐ２２）に写る飲料用容器（２０）において前記ガイド（１０５）と重なる領域を含む。第８の態様によれば、飲料用容器（２０）が透明か不透明かの判定の精度の向上が図れる。   The beverage providing system (10) of the eighth aspect can be realized by a combination with the sixth or seventh aspect. In the eighth aspect, the arrangement place (101) has a guide (105) for positioning the beverage container (20). The first determination region (R210) includes a region overlapping the guide (105) in the beverage container (20) shown in the target images (P11 to P13; P21, P22). According to the eighth aspect, it is possible to improve the accuracy of determining whether the beverage container (20) is transparent or opaque.

第９の態様の飲料提供システム（１０）は、第１〜第８の態様のいずれか一つとの組み合わせにより実現され得る。第９の態様では、前記飲料提供システム（１０）は、表示部（１５１）を更に備える。前記制御部（Ｆ１２）は、前記対象画像（Ｐ１１〜Ｐ１３；Ｐ２１，Ｐ２２）に写る飲料用容器（２０）が透明か不透明かで前記表示部（１５１）に表示する飲料メニューを変更するように構成される。第９の態様によれば、ユーザの希望する飲料を提供する際のユーザの手間を軽減できる。   The beverage providing system (10) of the ninth aspect can be realized by a combination with any one of the first to eighth aspects. In the ninth aspect, the beverage providing system (10) further includes a display unit (151). The control unit (F12) changes the beverage menu displayed on the display unit (151) depending on whether the beverage container (20) shown in the target images (P11 to P13; P21, P22) is transparent or opaque. Composed. According to the 9th aspect, a user's effort at the time of providing the drink which a user desires can be reduced.

第１０の態様の飲料提供システム（１０）は、飲料用容器（２０）の配置場所（１０１）と、撮像装置（１２）と、制御部（Ｆ１２）と、を備える。前記撮像装置（１２）は、前記配置場所（１０１）を撮影して画像を生成するように構成される。前記制御部（Ｆ１２）は、前記撮像装置（１２）で生成された画像に写る飲料用容器（２０）が透明か不透明かで異なる制御を実行するように構成される。前記配置場所（１０１）は、前記撮像装置で生成される画像の背景となる面（１０４ａ）に模様を有する。第１０の態様によれば、飲料用容器（２０）の種類に応じた制御を行える。   The beverage providing system (10) of the tenth aspect includes an arrangement location (101) of the beverage container (20), an imaging device (12), and a control unit (F12). The imaging device (12) is configured to capture the location (101) and generate an image. The controller (F12) is configured to execute different controls depending on whether the beverage container (20) reflected in the image generated by the imaging device (12) is transparent or opaque. The arrangement location (101) has a pattern on a surface (104a) serving as a background of an image generated by the imaging device. According to the 10th aspect, control according to the kind of container (20) for drinks can be performed.

１０ 飲料提供システム
１０１ 配置場所
１０４ａ 面
１０５ ガイド
１１ 記憶部
１２ 撮像装置
１５１ 表示部
Ｆ１１ 判定部
Ｆ１２ 制御部
Ｆ１３ 設定部
２０ 飲料用容器
Ｐ１１〜Ｐ１３，Ｐ２１，Ｐ２２ 画像（対象画像）
Ｐ１０，Ｐ２０ 画像（参照画像）
Ｒ１１，Ｒ２１ 存在領域
Ｒ１１０，Ｒ２１０ 第１判定領域
Ｒ１２，Ｒ２２ 参照領域
Ｒ１２０，Ｒ２２０ 第２判定領域 DESCRIPTION OF SYMBOLS 10 Beverage provision system 101 Arrangement place 104a Surface 105 Guide 11 Memory | storage part 12 Imaging device 151 Display part F11 Determination part F12 Control part F13 Setting part 20 Beverage container P11-P13, P21, P22 Image (target image)
P10, P20 images (reference images)
R11, R21 Presence region R110, R210 First determination region R12, R22 Reference region R120, R220 Second determination region

Claims (10)

飲料用容器の配置場所を撮影して画像を生成する撮像装置と、
飲料用容器が置かれている前記配置場所の画像である対象画像と飲料用容器が置かれていない前記配置場所の画像である参照画像との比較に基づいて前記対象画像に写る飲料用容器が透明か不透明かを判定する判定部と、
前記対象画像に写る飲料用容器が透明か不透明かで異なる制御を実行する制御部と、
を備える、
飲料提供システム。 An imaging device that images the location of the beverage container and generates an image;
A beverage container that appears in the target image based on a comparison between a target image that is an image of the placement location where the beverage container is placed and a reference image that is an image of the placement location where the beverage container is not placed A determination unit for determining whether the object is transparent or opaque;
A control unit that executes different control depending on whether the beverage container reflected in the target image is transparent or opaque, and
Comprising
Beverage delivery system. 記憶部と、
前記撮像装置で生成された画像を前記参照画像として前記記憶部に記憶させる設定部と、
を更に備える、
請求項１の飲料提供システム。 A storage unit;
A setting unit that stores an image generated by the imaging device in the storage unit as the reference image;
Further comprising
The beverage providing system according to claim 1. 前記配置場所は、前記撮像装置で生成される画像の背景となる面に模様を有している、
請求項１又は２の飲料提供システム。 The placement location has a pattern on the background surface of the image generated by the imaging device,
The beverage providing system according to claim 1 or 2. 前記模様は、繰り返し模様である、
請求項３の飲料提供システム。 The pattern is a repeated pattern,
The beverage providing system according to claim 3. 前記判定部は、前記対象画像において飲料用容器が存在する存在領域と前記参照画像において前記存在領域に対応する参照領域との類似度に基づいて、前記対象画像に写る飲料用容器が透明か不透明かを判定するように構成される、
請求項１〜４のいずれか一つの飲料提供システム。 The determination unit determines whether the beverage container shown in the target image is transparent or opaque based on the similarity between the presence region where the beverage container exists in the target image and the reference region corresponding to the presence region in the reference image. Configured to determine whether
The beverage providing system according to any one of claims 1 to 4. 前記存在領域と前記参照領域の類似度は、前記存在領域の一部である第１判定領域と前記参照領域において前記第１判定領域に対応する第２判定領域の類似度である、
請求項５の飲料提供システム。 The similarity between the existence area and the reference area is a similarity between a first determination area that is a part of the existence area and a second determination area that corresponds to the first determination area in the reference area.
The beverage providing system according to claim 5. 前記第１判定領域は、前記対象画像に写る飲料用容器の上端部分に対応する領域である、
請求項６の飲料提供システム。 The first determination area is an area corresponding to an upper end portion of a beverage container that is reflected in the target image.
The beverage providing system according to claim 6. 前記配置場所は、飲料用容器の位置決め用のガイドを有し、
前記第１判定領域は、前記対象画像に写る飲料用容器において前記ガイドと重なる領域を含む、
請求項６又は７の飲料提供システム。 The arrangement location has a guide for positioning the beverage container,
The first determination area includes an area that overlaps the guide in a beverage container that is reflected in the target image.
The beverage providing system according to claim 6 or 7. 表示部を更に備え、
前記制御部は、前記対象画像に写る飲料用容器が透明か不透明かで前記表示部に表示する飲料メニューを変更するように構成される、
請求項１〜８のいずれか一つの飲料提供システム。 A display unit;
The control unit is configured to change a beverage menu displayed on the display unit depending on whether a beverage container reflected in the target image is transparent or opaque.
The beverage providing system according to claim 1. 飲料用容器の配置場所と、
前記配置場所を撮影して画像を生成する撮像装置と、
前記撮像装置で生成された画像に写る飲料用容器が透明か不透明かで異なる制御を実行する制御部と、
を備え、
前記配置場所は、前記撮像装置で生成される画像の背景となる面に模様を有する、
飲料提供システム。 The location of the beverage container;
An imaging device that captures the location and generates an image;
A control unit that executes different control depending on whether the beverage container reflected in the image generated by the imaging device is transparent or opaque;
With
The arrangement location has a pattern on a background surface of an image generated by the imaging device
Beverage delivery system.

Images