JP7243766B2

JP7243766B2 - Information processing device and control method

Info

Publication number: JP7243766B2
Application number: JP2021116191A
Authority: JP
Inventors: 克年林
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2017-03-09
Filing date: 2021-07-14
Publication date: 2023-03-22
Anticipated expiration: 2037-03-09
Also published as: JP2021170375A; JP2018147445A; JP6915314B2

Description

本発明は商品の精算に関する。 The present invention relates to checkout of goods.

店舗で買い物をする顧客は、購入したい商品の精算を行う必要がある。そのため、顧客は、購入したい商品をレジカウンタへ持って行く。レジ端末では、顧客が持ってきた商品を精算対象として登録する処理が行われる。そして顧客は、精算対象として登録された商品の代金を支払うことで、その商品を購入する。 A customer shopping at a store needs to pay for the item he or she wants to purchase. Therefore, the customer brings the desired product to the checkout counter. At the cash register terminal, a process of registering the product brought by the customer as an object of payment is performed. Then, the customer purchases the product by paying the price of the product registered as the settlement object.

このように商品を精算対象として登録するためのシステムが開発されている。特許文献１は、ビデオカメラで撮影された商品を特定し、特定した商品を精算対象とする技術を開示している。ここで、商品の特定のために、商品の画像データと商品コードとを対応づけた情報が予め用意されている。 Systems have been developed for registering commodities as objects of payment in this manner. Japanese Patent Laid-Open No. 2002-200000 discloses a technique for specifying a product photographed by a video camera and making the specified product an object of payment. Here, in order to specify the product, information in which the image data of the product and the product code are associated is prepared in advance.

特開平０６－０２８５７５号公報JP-A-06-028575

画像から商品を特定する処理は、バーコードなどのコードを読み取って商品を特定する処理と比較して、長い時間を要する。そこで本発明者は、画像から商品を特定して精算対象として登録するために要する時間を短くする方法を検討した。 The process of specifying the product from the image takes a longer time than the process of reading a code such as a bar code to specify the product. Therefore, the inventors have studied a method of shortening the time required to identify a product from an image and register it as a payment target.

本発明は、以上の課題に鑑みてなされたものである。本発明の目的の一つは、画像から商品を特定して精算対象として登録するために要する時間を短くする技術を提供することである。 The present invention has been made in view of the above problems. One of the objects of the present invention is to provide a technique for shortening the time required to identify a product from an image and register it as an object of payment.

本発明の情報処理装置は、１）精算対象の商品を含む画像を取得する取得手段と、２）顧客の購入予定リストを用いて、前記画像の商品を特定する特定手段と、３）前記特定した商品を精算対象として登録する登録手段と、を備える。 The information processing apparatus of the present invention comprises: 1) acquisition means for acquiring an image including a product to be settled; 2) specifying means for specifying the product in the image using a customer's purchase plan list; registration means for registering the purchased product as an object of payment.

本発明の制御方法は、コンピュータによって実行される。当該制御方法は、１）精算対象の商品を含む画像を取得する取得ステップと、２）顧客の購入予定リストを用いて、前記画像の商品を特定する特定ステップと、３）前記特定した商品を精算対象として登録する登録ステップと、を備える。 The control method of the present invention is executed by a computer. The control method includes: 1) an acquisition step of acquiring an image including the product to be settled, 2) a specifying step of specifying the product in the image using a customer's purchase plan list, and 3) identifying the specified product. and a registration step of registering as a settlement object.

本発明のプログラムは、本発明の制御方法の各ステップをコンピュータに実行させる。 The program of the present invention causes a computer to execute each step of the control method of the present invention.

本発明によれば、画像から商品を特定して精算対象として登録するために要する時間を短くする技術が提供される。 ADVANTAGE OF THE INVENTION According to this invention, the technique of shortening the time required for identifying goods from an image and registering them as payment object is provided.

実施形態１の商品登録装置を例示する図である。1 is a diagram illustrating a product registration device according to Embodiment 1; FIG. 商品登録装置の機能構成を例示する図である。It is a figure which illustrates the functional structure of a goods registration apparatus. 商品登録装置を実現するための計算機を例示する図である。It is a figure which illustrates the computer for implement|achieving a goods registration apparatus. 実施形態１の商品登録装置によって実行される処理の流れを例示するフローチャートである。4 is a flowchart illustrating the flow of processing executed by the product registration device of Embodiment 1; 商品情報の構成をテーブル形式で例示する図である。It is a figure which illustrates the structure of product information in a table format. 商品領域によって表される商品を特定する処理の流れを例示するフローチャートである。7 is a flowchart illustrating a flow of processing for identifying products represented by product areas; 商品領域によって表される商品が特定できなかった場合に出力されるメッセージを例示する図である。FIG. 11 is a diagram illustrating a message output when a product represented by a product area cannot be specified; 購入予定リストに示されていない商品が精算対象として登録されようしている場合に出力されるメッセージを例示する図である。FIG. 11 is a diagram illustrating a message output when a product not shown in the planned purchase list is about to be registered as a payment target; 精算リストの構成をテーブル形式で例示する図である。It is a figure which illustrates the structure of a settlement list|wrist in a table format. 購入予定リストの中に精算対象として登録されていない商品がある旨を通知するメッセージを例示する図である。FIG. 11 is a diagram illustrating a message notifying that there is a product that is not registered as a payment target in the planned purchase list; 実施形態２の商品登録装置を例示するブロック図である。FIG. 11 is a block diagram illustrating a product registration device according to Embodiment 2; 指定受付部によって表示されるメッセージを例示する図である。FIG. 10 is a diagram illustrating an example of a message displayed by a designation reception unit; FIG. 購入し忘れている商品がないかどうかを確認するメッセージが出力される流れを例示する図である。FIG. 10 is a diagram illustrating a flow of outputting a message for confirming whether there is any product that the user has forgotten to purchase; 精算対象として登録すべき商品の候補を示すメッセージを例示する図である。FIG. 10 is a diagram illustrating a message indicating candidates for products to be registered as settlement objects;

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings. In addition, in all the drawings, the same constituent elements are denoted by the same reference numerals, and the description thereof will be omitted as appropriate. Also, in each block diagram, unless otherwise specified, each block does not represent a hardware unit configuration but a functional unit configuration.

［実施形態１］
図１は、実施形態１の情報処理装置（以下、商品登録装置２０００と表記する）を例示する図である。なお、図１は商品登録装置２０００の動作の理解を容易にするための図であり、商品登録装置２０００の動作を限定するものではない。 [Embodiment 1]
FIG. 1 is a diagram illustrating an information processing apparatus (hereinafter referred to as a product registration apparatus 2000) according to the first embodiment. FIG. 1 is a diagram for facilitating understanding of the operation of the product registration device 2000, and does not limit the operation of the product registration device 2000. FIG.

顧客がお店で買い物をする場合、顧客が購入しようとする商品がレジカウンタなどで精算対象として登録される。顧客は、精算対象として登録された商品の精算を行う（代金を支払う）ことにより、その商品を購入する。 When a customer makes a purchase at a store, the product the customer intends to purchase is registered as an object of payment at a checkout counter or the like. A customer purchases a product registered as an object of payment by paying for the product (paying the price).

本実施形態の商品登録装置２０００は、顧客が購入しようとする商品を精算対象として登録するために利用される装置である。そのために、商品登録装置２０００は、商品が撮像された撮像画像１２を取得する。撮像画像１２は、カメラ１０によって生成される。カメラ１０は、精算対象として登録する商品が撮像できる位置に設けられる。例えば、カメラ１０は、商品登録装置２０００と共に、レジカウンタなどに設置される。例えばレジカウンタにいる店員が、顧客が購入しようとしてレジカウンタへ持ってきた商品をカメラ１０に撮像させることで、その商品が撮像された撮像画像１２が生成される。ただし、商品をカメラ１０に撮像させる動作は、店員ではなく、顧客によって行われてもよい。 The commodity registration device 2000 of this embodiment is a device used for registering a commodity to be purchased by a customer as an object of payment. Therefore, the product registration device 2000 acquires the captured image 12 in which the product is captured. A captured image 12 is generated by the camera 10 . The camera 10 is provided at a position where the product to be registered as a payment target can be imaged. For example, the camera 10 is installed at a checkout counter or the like together with the product registration device 2000 . For example, when a store clerk at a checkout counter causes the camera 10 to capture an image of an item that a customer has brought to the checkout counter to purchase, a captured image 12 of the item is generated. However, the operation of causing the camera 10 to image the product may be performed by the customer instead of the store clerk.

商品登録装置２０００は、撮像画像１２から、商品を含む画像領域（以下、商品領域２０）を抽出する。商品登録装置２０００は、商品領域２０に含まれる商品に関する情報を、予め用意されている各商品の情報（以下、商品情報）と照合することで、商品領域２０によって表される商品を特定する。例えば商品情報は、商品情報を管理しているデータベースから取得される。そして商品登録装置２０００は、特定した商品を精算対象として登録する。 The product registration device 2000 extracts an image area including the product (hereinafter referred to as product area 20) from the captured image 12. FIG. The product registration device 2000 identifies the product represented by the product area 20 by collating information on the product included in the product area 20 with information on each product prepared in advance (hereinafter referred to as product information). For example, product information is acquired from a database that manages product information. Then, the product registration device 2000 registers the specified product as an object of payment.

商品領域２０に含まれる商品に関する情報は、商品領域２０に含まれる商品の外観を表す情報である。また、商品情報は、商品領域２０に含まれる商品に関する情報との照合に利用される照合情報を含む。照合情報は、商品の外観を表す情報（例えばテンプレート画像など）である。商品領域２０に含まれる商品に関する情報と商品情報との照合（以降、商品領域２０と商品情報との照合とも言う）は、商品領域２０に含まれる商品の外観を商品情報によって示される商品の外観と比較することによって行われる。この照合の具体的な方法については後述する。 The information about the product included in the product area 20 is information representing the appearance of the product included in the product area 20 . The product information also includes matching information used for matching with information on products included in the product area 20 . The collation information is information representing the appearance of the product (for example, a template image, etc.). The collation of product information and product information contained in the product area 20 (hereinafter also referred to as collation between the product area 20 and product information) is performed by comparing the appearance of the product contained in the product area 20 with the appearance of the product indicated by the product information. This is done by comparing with A specific method for this collation will be described later.

ここで商品登録装置２０００は、商品領域２０と商品情報とを照合する際、その照合に利用する商品情報を、予め用意されている商品情報の内の一部に限定する。そのために、商品登録装置２０００は、顧客によって提供される購入予定リスト３０を取得する。購入予定リスト３０は、顧客が購入する予定の商品を示す情報として作成されたものである。後述するように、顧客が実際に購入する商品には、購入予定リスト３０に示されていない商品が含まれていてもよい。同様に、購入予定リスト３０に示されている商品には、実際には顧客によって購入されないものも含まれうる。 Here, the product registration device 2000, when matching the product area 20 with the product information, limits the product information used for the matching to a part of the product information prepared in advance. For this purpose, product registration device 2000 obtains purchase plan list 30 provided by the customer. The purchase plan list 30 is created as information indicating products that the customer plans to purchase. As will be described later, the products actually purchased by the customer may include products not shown in the planned purchase list 30 . Similarly, items shown in the planned purchase list 30 may include items that are not actually purchased by the customer.

商品登録装置２０００は、商品領域２０との照合に利用する商品情報を、この購入予定リスト３０に含まれる各商品の商品情報に限定する。すなわち、商品登録装置２０００は、購入予定リスト３０に含まれる各商品の商品情報の中から、商品領域２０に含まれる商品の商品情報を特定する。そして商品登録装置２０００は、その特定された商品情報に示される商品を、精算対象の商品として登録する。 The product registration device 2000 limits the product information used for matching with the product area 20 to the product information of each product included in the planned purchase list 30 . That is, the product registration device 2000 identifies the product information of the product included in the product area 20 from among the product information of each product included in the purchase plan list 30 . Then, the product registration device 2000 registers the product indicated by the specified product information as a product for settlement.

本実施形態の商品登録装置２０００によれば、撮像画像１２に含まれる商品領域２０と照合される商品情報が、購入予定リスト３０に示される商品の商品情報に限定される。よって、このような限定をせずに照合を行う場合と比較し、商品領域２０と商品情報との照合に要する時間が短くなる。よって、商品を精算対象として登録するために要する時間が短くなる。その結果、顧客が商品の精算に要する時間が短くなり、顧客にとって店舗の利便性が向上する。 According to the product registration device 2000 of the present embodiment, the product information to be collated with the product area 20 included in the captured image 12 is limited to the product information of the products shown in the planned purchase list 30 . Therefore, the time required for matching the product area 20 with the product information is shortened as compared with the case where the matching is performed without such limitation. Therefore, the time required for registering the product for payment is shortened. As a result, the time required for the customer to pay for the merchandise is shortened, and the convenience of the store for the customer is improved.

なお、このように商品が撮像された画像を使って商品を特定する方法は、例えば野菜や果物など、バーコードなどを付しておくことが難しいものに利用されることが好適である。ただし、この方法は、箱で梱包されている商品など、バーコードなどを容易に付すことができる商品に利用されてもよい。 It should be noted that the method of identifying the product using the captured image of the product in this way is preferably used for products such as vegetables and fruits that are difficult to attach a barcode or the like. However, this method may also be used for products to which a barcode or the like can be easily attached, such as products packed in boxes.

以下、本実施形態についてさらに詳細を述べる。 The present embodiment will be described in further detail below.

＜機能構成の例＞
図２は、商品登録装置２０００の機能構成を例示する図である。商品登録装置２０００は、抽出部２０２０、取得部２０３０、特定部２０４０、及び登録部２０６０を有する。抽出部２０２０は、撮像画像１２から商品領域２０を抽出する。取得部２０３０は、購入予定リスト３０を取得する。特定部２０４０は、商品領域２０に含まれる商品を、購入予定リスト３０に含まれる商品の中から特定する。登録部２０６０は、特定された商品を精算対象として登録する。 <Example of functional configuration>
FIG. 2 is a diagram illustrating the functional configuration of the product registration device 2000. As shown in FIG. Product registration device 2000 has extraction unit 2020 , acquisition unit 2030 , identification unit 2040 , and registration unit 2060 . The extraction unit 2020 extracts the product area 20 from the captured image 12 . Acquisition unit 2030 acquires purchase plan list 30 . The identifying unit 2040 identifies the products included in the product area 20 from among the products included in the planned purchase list 30 . The registration unit 2060 registers the identified product as a payment target.

＜商品登録装置２０００のハードウエア構成の例＞
商品登録装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、商品登録装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。 <Example of Hardware Configuration of Product Registration Device 2000>
Each functional component of the product registration device 2000 may be realized by hardware (eg, hardwired electronic circuit) that implements each functional component, or may be a combination of hardware and software (eg, combination of an electronic circuit and a program for controlling it, etc.). A case in which each functional component of product registration device 2000 is implemented by a combination of hardware and software will be further described below.

図３は、商品登録装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は、例えば POS 端末などのレジ端末である。ただし、計算機１０００は、レジ端末に限定されない。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、商品登録装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。 FIG. 3 is a diagram illustrating a computer 1000 for realizing the product registration device 2000. As shown in FIG. A computer 1000 is, for example, a cash register terminal such as a POS terminal. However, computer 1000 is not limited to a cash register terminal. For example, the computer 1000 is a personal computer (PC), server machine, tablet terminal, smart phone, or the like. The computer 1000 may be a dedicated computer designed to realize the product registration device 2000, or may be a general-purpose computer.

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。プロセッサ１０４０は、CPU（Central Processing Unit）や GPU（Graphics Processing Unit）などの演算処理装置である。メモリ１０６０は、RAM（Random Access Memory）などで実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などで実現される補助記憶装置である。 Computer 1000 has bus 1020 , processor 1040 , memory 1060 , storage device 1080 , input/output interface 1100 and network interface 1120 . The bus 1020 is a data transmission path through which the processor 1040, memory 1060, storage device 1080, input/output interface 1100, and network interface 1120 mutually transmit and receive data. The processor 1040 is an arithmetic processing device such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit). The memory 1060 is a main memory implemented by RAM (Random Access Memory) or the like. The storage device 1080 is an auxiliary storage device realized by a hard disk, SSD (Solid State Drive), memory card, ROM (Read Only Memory), or the like.

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。図３では、入出力インタフェース１１００に、カメラ１０が接続されている。ただし、カメラ１０は商品登録装置２０００と接続されていなくてもよい。 The input/output interface 1100 is an interface for connecting the computer 1000 and input/output devices. In FIG. 3, the input/output interface 1100 is connected to the camera 10 . However, camera 10 does not have to be connected to product registration device 2000 .

ネットワークインタフェース１１２０は、通信網に接続するためのインタフェースである。ネットワークインタフェース１１２０は、無線回線で通信網に接続するインタフェースであってもよいし、有線回線で通信網に接続するインタフェースであってもよい。 A network interface 1120 is an interface for connecting to a communication network. The network interface 1120 may be an interface that connects to a communication network via a wireless line, or an interface that connects to a communication network via a wired line.

ストレージデバイス１０８０は商品登録装置２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、そのプログラムモジュールに対応する各機能を実現する。 The storage device 1080 stores program modules that implement each function of the product registration device 2000 . Processor 1040 reads each program module into memory 1060 and executes it, thereby realizing each function corresponding to the program module.

計算機１０００のハードウエア構成は図３に示した構成に限定されず、他の様々な構成をとりうる。例えば、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。 The hardware configuration of the computer 1000 is not limited to the configuration shown in FIG. 3, and can take various other configurations. For example, the method of connecting processors 1040 and the like to each other is not limited to bus connections.

＜処理の流れ＞
図４は、実施形態１の商品登録装置２０００によって実行される処理の流れを例示するフローチャートである。抽出部２０２０は、撮像画像１２を取得する（Ｓ１０２）。抽出部２０２０は、撮像画像１２から商品領域２０を抽出する（Ｓ１０４）。取得部２０３０は、購入予定リスト３０を取得する（Ｓ１０６）。特定部２０４０は、商品領域２０によって表される商品を、購入予定リスト３０に含まれる商品の中から特定する（Ｓ１０８）。登録部２０６０は、特定された商品を精算対象として登録する（Ｓ１１０）。 <Process flow>
FIG. 4 is a flowchart illustrating the flow of processing executed by the product registration device 2000 of the first embodiment. The extraction unit 2020 acquires the captured image 12 (S102). The extraction unit 2020 extracts the product area 20 from the captured image 12 (S104). Acquisition unit 2030 acquires purchase plan list 30 (S106). The identifying unit 2040 identifies the product represented by the product area 20 from among the products included in the planned purchase list 30 (S108). The registration unit 2060 registers the identified product as an object of payment (S110).

＜商品登録装置２０００の実現例＞
商品登録装置２０００を実現する計算機１０００は、例えば、レジカウンタに設置されるレジ端末である。その他にも例えば、計算機１０００は、レジカウンタに設置されているレジ端末と通信する機能を有するサーバ装置（店舗の管理を行うための店舗サーバなど）として実現される。この場合、計算機１０００は、レジ端末の付近に設けられているカメラ１０によって生成された撮像画像１２を取得して商品を特定し、その商品を精算対象として登録する。そして、計算機１０００は、特定した商品に関する情報（商品名や価格など）をレジ端末へ通知する。 <Implementation example of product registration device 2000>
A computer 1000 that implements the product registration device 2000 is, for example, a cash register terminal installed at a cash register counter. In addition, for example, the computer 1000 is implemented as a server device (such as a store server for managing a store) having a function of communicating with a cash register terminal installed at a cash register counter. In this case, the computer 1000 acquires the captured image 12 generated by the camera 10 provided near the cash register terminal, identifies the product, and registers the product as a checkout target. Then, the computer 1000 notifies the cash register terminal of information (product name, price, etc.) on the specified product.

＜商品の撮像方法＞
カメラ１０によって一度に撮像される商品の数は、１つであってもよいし、複数であってもよい。言い換えれば、１つの撮像画像１２に含まれる商品領域２０の数は、１つであってもよいし、複数であってもよい。後者の場合、特定部２０４０は、撮像画像１２に含まれる複数の商品領域２０それぞれについて、その商品領域２０によって表される商品を特定する。 <Product imaging method>
The number of products captured by camera 10 at one time may be one or may be plural. In other words, the number of product regions 20 included in one captured image 12 may be one or plural. In the latter case, the specifying unit 2040 specifies the product represented by each of the multiple product regions 20 included in the captured image 12 .

＜撮像画像１２の取得：Ｓ１０２＞
抽出部２０２０は、撮像画像１２を取得する（Ｓ１０２）。カメラ１０は、例えば静止画像データを生成するスチルカメラである。この場合、例えばカメラ１０は、ユーザ（例えば店員又は顧客）の操作（所定のボタンの押下など）に応じて撮像を行い、撮像画像１２を生成する。ただし、カメラ１０は、ユーザの操作によらずに撮像を行うように（例えば定期的に撮像を行うように）構成されていてもよい。 <Acquisition of captured image 12: S102>
The extraction unit 2020 acquires the captured image 12 (S102). The camera 10 is, for example, a still camera that generates still image data. In this case, for example, the camera 10 takes an image according to an operation (such as pressing a predetermined button) by a user (for example, a store clerk or a customer) and generates a captured image 12 . However, the camera 10 may be configured so as to take an image (for example, to take an image periodically) regardless of the user's operation.

カメラ１０は、動画データを生成するビデオカメラであってもよい。この場合、撮像画像１２は、カメラ１０によって生成される動画データを構成する動画フレームである。この場合も同様に、カメラ１０は、ユーザの操作に応じて撮像を行うように構成されていてもよいし、ユーザの操作によらずに撮像を行うように構成されていてもよい。 Camera 10 may be a video camera that generates moving image data. In this case, the captured image 12 is a moving image frame forming moving image data generated by the camera 10 . In this case as well, the camera 10 may be configured to capture an image in response to a user's operation, or may be configured to capture an image independently of the user's operation.

抽出部２０２０が撮像画像１２を取得する方法は任意である。例えば抽出部２０２０は、撮像画像１２が記憶されている記憶装置にアクセスすることで、撮像画像１２を取得する。撮像画像１２が記憶されている記憶装置は、撮像画像１２を生成したカメラ１０の内部に設けられていてもよいし、カメラ１０の外部に設けられていてもよい。その他にも例えば、抽出部２０２０は、カメラ１０などから送信される撮像画像１２を受信することで、撮像画像１２を取得してもよい。 The method by which the extraction unit 2020 acquires the captured image 12 is arbitrary. For example, the extraction unit 2020 acquires the captured image 12 by accessing a storage device in which the captured image 12 is stored. The storage device in which the captured image 12 is stored may be provided inside the camera 10 that generated the captured image 12 or may be provided outside the camera 10 . Alternatively, for example, the extraction unit 2020 may acquire the captured image 12 by receiving the captured image 12 transmitted from the camera 10 or the like.

＜商品領域２０の抽出：Ｓ１０４＞
抽出部２０２０は、撮像画像１２から商品領域２０を抽出する。ここで、精算対象として登録する商品が撮像された画像から、商品を表す画像領域を抽出する技術には、既存の技術を利用することができる。例えば、カメラ１０の撮像範囲の背景が既知であるとする。この場合、抽出部２０２０は、撮像画像１２と既知の背景との差分を算出することによって抽出される画像領域を、商品領域２０とする。ここで、この処理によって互いに離間する複数の画像領域が抽出された場合、抽出部２０２０は、これら複数の画像領域それぞれを、商品領域２０として抽出する。つまり、一つの撮像画像１２から商品領域２０が複数抽出される。 <Extraction of product area 20: S104>
The extraction unit 2020 extracts the product area 20 from the captured image 12 . Here, an existing technique can be used as a technique for extracting an image area representing a product from an image in which the product to be registered as a settlement object is captured. For example, assume that the background of the imaging range of the camera 10 is known. In this case, the extraction unit 2020 sets the image area extracted by calculating the difference between the captured image 12 and the known background as the product area 20 . Here, when a plurality of image regions that are separated from each other are extracted by this process, the extraction unit 2020 extracts each of these plurality of image regions as the product region 20 . That is, multiple product areas 20 are extracted from one captured image 12 .

＜商品情報について＞
商品情報は、商品の識別子（以下、商品識別子）、商品名、及び価格など、商品に関する情報を示す。さらに商品情報は、前述した照合情報を含む。照合情報は、商品の外観を表す情報である。例えば照合情報は、商品の外観の特徴を表す１つ以上の値である特徴量を示す。その他にも例えば、照合情報は、商品の外観を表す画像（以下、テンプレート画像）を示す。テンプレート画像は、例えば商品の写真を示す。 <About product information>
The product information indicates information about products such as product identifiers (hereinafter referred to as product identifiers), product names, and prices. Furthermore, the product information includes the collation information described above. The matching information is information representing the appearance of the product. For example, the collation information indicates a feature amount that is one or more values representing the features of the appearance of the product. In addition, for example, the collation information indicates an image representing the appearance of the product (hereinafter referred to as a template image). A template image indicates, for example, a photograph of a product.

図５は、商品情報の構成をテーブル形式で例示する図である。図５のテーブルを、テーブル２００と表記する。テーブル２００は、商品識別子２０２、商品名２０４、価格２０６、及び照合情報２０８という５つの列を有する。図５において、照合情報２０８には、商品のテンプレート画像が示されている。 FIG. 5 is a diagram illustrating the configuration of product information in a table format. The table in FIG. 5 is referred to as table 200. FIG. Table 200 has five columns: product identifier 202 , product name 204 , price 206 and matching information 208 . In FIG. 5, the collation information 208 indicates a template image of the product.

＜購入予定リスト３０の取得：Ｓ１０６＞
取得部２０３０は、購入予定リスト３０を取得する（Ｓ１０６）。取得部２０３０が購入予定リスト３０を取得する方法は様々である。例えば取得部２０３０は、顧客の携帯端末（例えばスマートフォン）から購入予定リスト３０を取得する。顧客の携帯端末から情報を取得する方法には、様々な方法を利用できる。例えば取得部２０３０は、顧客の携帯端末から無線通信で送信される購入予定リスト３０を取得する。その他にも例えば、購入予定リスト３０を符号化した情報（例えば QR コード（登録商標））が、顧客の携帯端末の表示画面に表示されるようにしてもよい。例えばこの表示は、顧客が携帯端末を操作することによって行われる。取得部２０３０は、上記符号化された情報を認識して復号することにより、購入予定リスト３０を取得する。なお、QR コード（登録商標）などの符号化された情報を読み取ってその情報を復号する技術には、既存の技術を利用することができる。 <Acquisition of purchase plan list 30: S106>
Acquisition unit 2030 acquires purchase plan list 30 (S106). There are various methods for the acquisition unit 2030 to acquire the purchase plan list 30 . For example, the acquisition unit 2030 acquires the planned purchase list 30 from the customer's mobile terminal (for example, smart phone). Various methods can be used to acquire information from the customer's mobile terminal. For example, the acquisition unit 2030 acquires the purchase plan list 30 transmitted by wireless communication from the customer's mobile terminal. Alternatively, for example, information obtained by encoding the planned purchase list 30 (for example, a QR code (registered trademark)) may be displayed on the display screen of the customer's portable terminal. For example, this display is performed by the customer operating the mobile terminal. Acquisition unit 2030 acquires purchase plan list 30 by recognizing and decoding the encoded information. Existing technology can be used as a technology for reading encoded information such as a QR code (registered trademark) and decoding the information.

その他にも例えば、商品登録装置２０００からアクセス可能な記憶装置に、予め購入予定リスト３０が記憶されておくようにしてもよい。この場合、購入予定リスト３０は、顧客の識別子と対応づけて記憶される。例えば商品登録装置２０００が利用されている店舗において、会員制度が導入されているとする。この場合、例えば顧客は、会員に提供される Web ページを利用して、購入予定リスト３０をアップロードする。このアップロードされた購入予定リスト３０は、顧客識別子と対応づけて、商品登録装置２０００からアクセス可能な記憶装置に記憶される。 Alternatively, for example, the planned purchase list 30 may be stored in advance in a storage device accessible from the product registration device 2000 . In this case, the purchase plan list 30 is stored in association with the customer's identifier. For example, assume that a store using the product registration device 2000 has introduced a membership system. In this case, for example, the customer uploads the planned purchase list 30 using a web page provided to the member. The uploaded purchase plan list 30 is associated with the customer identifier and stored in a storage device accessible from the product registration device 2000 .

この場合、例えば商品登録装置２０００は、顧客が購入する商品を精算対象として登録する前に、顧客の会員カードを読み取るなどの方法により、顧客識別子を取得する。そして商品登録装置２０００は、取得した顧客識別子に対応づけて記憶されている購入予定リスト３０を、上記記憶装置から取得する。 In this case, for example, the product registration device 2000 acquires a customer identifier by reading the customer's membership card before registering the product purchased by the customer as an object of payment. Then, the product registration device 2000 acquires the purchase plan list 30 stored in association with the acquired customer identifier from the storage device.

購入予定リスト３０を顧客の携帯端末から取得する方法によれば、会員制度などが導入されていない店舗においても商品登録装置２０００を導入できるといった利点がある。一方、購入予定リスト３０を予め記憶装置に記憶させておく方法によれば、商品を精算対象として登録する処理をよりスムーズに実行できるといった利点がある。 According to the method of acquiring the purchase plan list 30 from the customer's portable terminal, there is an advantage that the product registration device 2000 can be introduced even in stores where a membership system or the like has not been introduced. On the other hand, according to the method of storing the planned purchase list 30 in advance in the storage device, there is an advantage that the process of registering the product as the object of payment can be executed more smoothly.

＜商品領域と商品情報の照合：Ｓ１０８＞
特定部２０４０は、商品領域２０と商品情報とを照合することで、商品領域２０に含まれる商品を特定する（Ｓ１０８）。ここで、商品の特定は、商品領域２０に含まれる商品に関する情報を示す商品情報を特定することによって行われる。 <Collation of product area and product information: S108>
The identification unit 2040 identifies the product included in the product area 20 by matching the product area 20 with the product information (S108). Here, the specification of the product is performed by specifying the product information indicating information on the product included in the product area 20 .

商品領域２０と商品情報を照合する方法は様々である。例えばこの照合は、特徴量マッチングによって行われる。この場合、商品情報の照合情報は、その商品の特徴量を示す。特定部２０４０は、商品領域２０から商品の特徴量を算出し、その特徴量と各商品情報が示す商品の特徴量とをマッチングすることで、商品領域２０に含まれる商品の商品情報を特定する。なお、画像に含まれるオブジェクトを特徴量マッチングによって特定する技術には、既存の技術を利用することができる。 There are various methods for collating the product area 20 with the product information. For example, this collation is performed by feature quantity matching. In this case, the collation information of product information indicates the feature quantity of the product. The specifying unit 2040 calculates the feature amount of the product from the product area 20, and matches the feature amount with the feature amount of the product indicated by each item of product information to specify the product information of the product included in the product region 20. . An existing technique can be used as a technique for specifying an object included in an image by feature amount matching.

その他にも例えば、商品領域２０と商品情報の照合は、テンプレートマッチングによって行われる。この場合、商品情報の照合情報は、その商品のテンプレート画像を示す。特定部２０４０は、商品領域２０に含まれる商品の画像と各商品のテンプレート画像とをマッチングすることで、商品領域２０に含まれる商品の商品情報を特定する。なお、画像に含まれるオブジェクトをテンプレートマッチングによって特定する技術には、既存の技術を利用することができる。 In addition, for example, matching between the product area 20 and product information is performed by template matching. In this case, the matching information of the product information indicates the template image of the product. The identifying unit 2040 identifies the product information of the products included in the product area 20 by matching the product image included in the product area 20 with the template image of each product. An existing technique can be used as a technique for specifying an object included in an image by template matching.

ここで、特定部２０４０は、購入予定リスト３０を利用して、商品領域２０に含まれる商品の特定を行う。以下、この処理の流れを、フローチャートを用いて説明する。図６は、商品領域２０に含まれる商品を特定する処理の流れを例示するフローチャートである。このフローチャートは、図４のＳ１０８において行われる処理を具体的に例示するものである。 Here, the specifying unit 2040 uses the purchase plan list 30 to specify the products included in the product area 20 . The flow of this processing will be described below using a flowchart. FIG. 6 is a flowchart illustrating the flow of processing for identifying products included in the product area 20. As shown in FIG. This flowchart specifically illustrates the processing performed in S108 of FIG.

Ｓ２０２からＳ２１０は、購入予定リスト３０に含まれる各商品について実行されるループ処理Ａである。Ｓ２０２において、購入予定リスト３０に含まれる商品のいずれもが既にループ処理Ａの対象とされている場合、ループ処理Ａは終了する。その結果、図６の処理は終了する。 S202 to S210 are loop processing A executed for each product included in the planned purchase list 30 . In S202, if all of the products included in the planned purchase list 30 have already been subjected to the loop processing A, the loop processing A ends. As a result, the processing of FIG. 6 ends.

購入予定リスト３０に含まれる商品の中に、まだループ処理Ａの対象とされていない商品がある場合、特定部２０４０は、まだループ処理Ａの対象とされていない商品の中から１つを選択する。ここで選択された商品を、商品ｉと表記する。そして、図６の処理はＳ２０４に進む。 If there is a product that has not yet been subjected to loop processing A among the products included in the planned purchase list 30, the identifying unit 2040 selects one of the products that have not yet been subjected to loop processing A. do. The product selected here is described as product i. Then, the process of FIG. 6 proceeds to S204.

特定部２０４０は、商品ｉの商品情報を取得する（Ｓ２０４）。特定部２０４０は、商品領域２０と、商品ｉの照合情報とを照合することで、商品領域２０に含まれる商品が、商品ｉであるか否かを判定する（Ｓ２０６）。商品領域２０に含まれる商品が商品ｉである場合（Ｓ２０６：ＹＥＳ）、登録部２０６０は、商品領域２０に含まれる商品が商品ｉであることを特定する（Ｓ２０８）。そして、図６の処理は終了する。 The identification unit 2040 acquires the product information of the product i (S204). The identifying unit 2040 compares the product area 20 with the matching information of the product i to determine whether the product included in the product region 20 is the product i (S206). If the product included in the product area 20 is the product i (S206: YES), the registration unit 2060 identifies that the product included in the product area 20 is the product i (S208). Then, the processing of FIG. 6 ends.

商品領域２０に含まれる商品が商品ｉでない場合（Ｓ２０６：ＮＯ）、図６の処理はＳ２１０に進む。Ｓ２１０はループ処理Ａの終端であるため、図６の処理はＳ２０２に進む。 If the product included in the product area 20 is not product i (S206: NO), the process of FIG. 6 proceeds to S210. Since S210 is the end of loop processing A, the processing in FIG. 6 proceeds to S202.

なお、商品領域２０に含まれる商品が、購入予定リスト３０に含まれるいずれの商品でもないケースが考えられる。この場合、例えば商品登録装置２０００は、精算対象として登録しようとしている商品を特定できなかった旨を示す通知を出力する。例えばこの通知は、ブザー音などの音声の出力である。その他にも例えば、この通知は、商品を特定できなかった旨を示すメッセージの出力である。図７は、商品領域２０によって表される商品が特定できなかった場合に出力されるメッセージを例示する図である。メッセージ５０は、商品領域２０に含まれる商品を、購入予定リスト３０に含まれる商品から特定できなかったことを示すメッセージである。例えばメッセージ５０は、商品登録装置２０００に接続されているタッチパネルに表示される。 Note that there may be a case where the product included in the product area 20 is not any of the products included in the planned purchase list 30 . In this case, for example, the product registration device 2000 outputs a notification to the effect that the product to be registered for settlement could not be specified. For example, this notification is an audio output such as a buzzer sound. In addition, for example, this notification is output of a message indicating that the product could not be specified. FIG. 7 is a diagram exemplifying a message output when the product represented by the product area 20 cannot be identified. The message 50 is a message indicating that the product included in the product area 20 could not be identified from the products included in the planned purchase list 30 . For example, message 50 is displayed on a touch panel connected to product registration device 2000 .

その他にも例えば、商品領域２０に含まれる商品が、購入予定リスト３０に含まれるいずれの商品でもない場合、特定部２０４０は、購入予定リスト３０に示されていない各商品の商品情報と商品領域２０とをさらに照合することで、商品領域２０に含まれる商品を特定する。なお、このように購入予定リスト３０に含まれていない商品との照合により、商品領域２０に含まれる商品が特定された場合、すなわち、商品領域２０に含まれる商品が購入予定リスト３０に含まれていない商品であった場合、商品登録装置２０００は、所定の通知を行うことが好適である。 In addition, for example, if the product included in the product area 20 is not any of the products included in the planned purchase list 30, the specifying unit 2040 identifies the product information of each product not shown in the planned purchase list 30 and the product area. 20, the product included in the product area 20 is specified. It should be noted that if a product included in the product area 20 is identified by matching with products not included in the planned purchase list 30 in this way, that is, if the product included in the product area 20 is included in the planned purchase list 30, If the product is not available, the product registration device 2000 preferably gives a predetermined notification.

例えばこの通知は、ブザー音などの音声による通知である。その他にも例えば、この通知は、購入予定リスト３０に含まれていない商品が精算対象として登録されようとしている旨を示すメッセージである。図８は、購入予定リスト３０に含まれていない商品が精算対象として登録されようしている場合に出力されるメッセージ６０を例示する図である。このメッセージ６０は、メッセージ５０と同様に、例えば商品登録装置２０００に接続されているタッチパネルに表示される。 For example, this notification is notification by sound such as buzzer sound. In addition, for example, this notification is a message indicating that a product not included in the planned purchase list 30 is about to be registered as an object of payment. FIG. 8 is a diagram exemplifying a message 60 that is output when a product that is not included in the planned purchase list 30 is about to be registered for payment. This message 60 is displayed, for example, on a touch panel connected to the product registration device 2000, like the message 50. FIG.

＜精算対象とする商品の登録＞
登録部２０６０は、特定部２０４０によって特定された商品を、精算対象の商品として登録する。例えば登録部２０６０は、精算対象の商品の商品識別子が示されたリスト（以下、精算リスト）に対して、特定部２０４０に特定された商品の商品識別子を追加することにより、商品を精算対象として登録する。 <Registration of products for payment>
The registration unit 2060 registers the product identified by the identification unit 2040 as a product for payment. For example, the registration unit 2060 adds the product identifier of the product specified by the specifying unit 2040 to a list showing the product identifiers of the products to be settled (hereinafter referred to as a checkout list), so that the product is designated as the product to be settled. register.

図９は、精算リストの構成をテーブル形式で例示する図である。図９のテーブルをテーブル３００と表記する。テーブル３００は、商品識別子３０２及び購入数３０４という２つの列を有する。 FIG. 9 is a diagram illustrating the configuration of the settlement list in a table format. The table in FIG. 9 is referred to as table 300. FIG. Table 300 has two columns, product identifier 302 and purchase count 304 .

ここで、特定部２０４０により、商品領域２０に含まれる商品が、購入予定リスト３０に含まれていない商品の中から特定されたとする。この場合、この商品は、顧客によって意図的に追加された商品であることもあれば、顧客に購入の意思がない商品（例えば顧客が誤って持ってきてしまった商品）であることもある。そこでこのようなケースでは、この商品を購入する意思があるかどうかを顧客に確認することが好ましい。 Here, it is assumed that the product included in the product area 20 is specified by the specifying unit 2040 from among the products not included in the planned purchase list 30 . In this case, the product may be a product intentionally added by the customer, or may be a product that the customer does not intend to purchase (for example, a product that the customer brought by mistake). Therefore, in such cases, it is preferable to confirm with the customer whether or not the customer is willing to purchase this product.

そこで、商品領域２０に含まれる商品が、購入予定リスト３０に含まれていない商品の中から特定された場合、登録部２０６０は、商品を精算対象として登録するか否かを指定するための入力を受け付ける。商品を精算対象として登録する旨の入力操作が行われた場合、登録部２０６０は、特定部２０４０によって特定された商品を精算対象として登録する。一方、商品を精算対象として登録しない旨の入力操作が行われた場合、登録部２０６０は、特定部２０４０によって特定された商品を精算対象として登録しない。 Therefore, when a product included in the product area 20 is specified from among products not included in the planned purchase list 30, the registration unit 2060 receives an input for specifying whether or not to register the product as an object of payment. accept. When an input operation is performed to register the product as an object of payment, the registration unit 2060 registers the product identified by the identification unit 2040 as an object of payment. On the other hand, when an input operation is performed to indicate that the product is not to be registered as an object of payment, the registration unit 2060 does not register the product specified by the specifying unit 2040 as an object of payment.

例えば前述した図８のメッセージ６０には、ＯＫボタン６２とキャンセルボタン６４が含まれる。ＯＫボタン６２が押された場合、登録部２０６０は、特定された商品を精算対象として登録する。一方、キャンセルボタン６４が押された場合、登録部２０６０は、特定された商品を精算対象として登録しない。このようにすることで、顧客に購入の意思がない商品（例えば間違って持ってきてしまった商品）が精算対象として登録されてしまうことを防ぐことができる。 For example, message 60 in FIG. 8 described above includes OK button 62 and Cancel button 64 . When the OK button 62 is pressed, the registration unit 2060 registers the specified product as an object of payment. On the other hand, when the cancel button 64 is pressed, the registration unit 2060 does not register the identified product as a payment target. By doing so, it is possible to prevent a product that the customer does not intend to purchase (for example, a product brought by mistake) from being registered as an object of payment.

例えばメッセージ６０は、顧客によって閲覧可能なタッチパネルに表示される。顧客は、このタッチパネルにおいてＯＫボタン６２又はキャンセルボタン６４を押下することで、入力操作を行う。その他にも例えば、メッセージ６０は、店員によってのみ閲覧可能なタッチパネルに表示される。この場合、店員は、商品を購入するかどうかを顧客に尋ね、その回答に応じてタッチパネルを操作する。 For example, message 60 is displayed on a touch panel viewable by the customer. The customer performs an input operation by pressing the OK button 62 or the cancel button 64 on this touch panel. In addition, for example, the message 60 is displayed on a touch panel that can be viewed only by the store clerk. In this case, the store clerk asks the customer whether or not to purchase the product, and operates the touch panel according to the answer.

＜登録する商品についての確認＞
顧客が購入しようとしている商品の特定を商品登録装置２０００が終えた後、商品登録装置２０００は、所定の確認処理を実行してもよい。例えば、購入予定リスト３０の中に、精算対象として登録されていない商品が含まれる場合、商品登録装置２０００はその旨の通知を行う。例として、購入予定リスト３０が商品Ａ、商品Ｂ、及び商品Ｃを示しているとする。また、精算対象として登録された商品は商品Ａと商品Ｂであり、商品Ｃは精算対象として登録されていないとする。この場合、顧客が商品Ｃの購入を忘れている可能性がある。そこで商品登録装置２０００は、例えば、商品Ｃを購入しなくてもよいのかどうかを確認するメッセージを出力する。 <Confirmation of products to be registered>
After the product registration device 2000 finishes specifying the product that the customer is going to purchase, the product registration device 2000 may execute a predetermined confirmation process. For example, if the planned purchase list 30 includes a product that is not registered as a payment target, the product registration device 2000 notifies the user of the fact. As an example, assume that the purchase plan list 30 indicates product A, product B, and product C. FIG. It is also assumed that the products registered for settlement are the products A and B, and the product C is not registered for settlement. In this case, the customer may forget to purchase the product C. Therefore, the product registration device 2000 outputs, for example, a message to confirm whether or not the product C does not need to be purchased.

図１０は、購入予定リスト３０の中に精算対象として登録されていない商品がある旨を通知するメッセージ７０を例示する図である。図１０の例では、購入予定リスト３０の中に含まれている商品のうち、バナナが精算対象として登録されていないことを想定している。そこでメッセージ７０は、バナナを買い忘れている可能性がある旨の通知をしている。顧客が実際にバナナを買い忘れている場合、例えば顧客又は店員が、追加登録ボタン７２を押下する。これにより、商品登録装置２０００の状態が、商品を精算対象として登録する状態に遷移する。よって、例えば顧客が、買い忘れていた商品を取りに売り場へ取りに戻ることで、その商品を買い忘れることなく購入することができる。 FIG. 10 is a diagram exemplifying a message 70 notifying that there is an item in the planned purchase list 30 that is not registered as an item to be settled. In the example of FIG. 10, it is assumed that among the commodities included in the planned purchase list 30, bananas are not registered as items to be settled. Therefore, the message 70 notifies that the user may have forgotten to buy bananas. When the customer actually forgets to buy bananas, for example, the customer or store clerk presses the additional registration button 72 . As a result, the state of the product registration device 2000 transitions to a state in which the product is registered as an object of payment. Therefore, for example, the customer can purchase the product without forgetting to buy it by returning to the sales floor to pick up the product that the customer forgot to buy.

一方、顧客が買い忘れをしていない場合（例えば顧客がバナナを買うことを止めた場合）、例えば顧客又は店員が、ＯＫボタン７４を押下する。これにより、精算対象の商品を登録する処理が完了する。 On the other hand, if the customer has not forgotten to buy (for example, the customer has stopped buying bananas), the customer or the store clerk presses the OK button 74, for example. This completes the process of registering the product for payment.

商品登録装置２０００によって行われる所定の確認処理は、上述の確認処理に限定されない。例えば確認処理は、特定された商品の合計数が、購入予定リスト３０に示されている商品の合計数よりも多い場合に、登録結果が正しいかどうかを確認する処理である。なおこの場合、購入予定リスト３０には、各商品について購入予定の数が示されているとする。 The predetermined confirmation process performed by the product registration device 2000 is not limited to the confirmation process described above. For example, the confirmation process is a process of confirming whether or not the registration result is correct when the total number of specified products is greater than the total number of products shown in the planned purchase list 30 . In this case, it is assumed that the planned purchase list 30 indicates the number of planned purchases for each product.

なお、顧客が購入しようとしている商品の特定が終わったこと（顧客が購入しようとしている全ての商品を精算対象として登録し終えたこと）を商品登録装置２０００が把握する方法には、既存の技術を利用することができる。例えば商品登録装置２０００は、顧客が購入しようとしている商品の特定が終わったことを指定する入力を顧客や店員から受け付ける。例えば商品登録装置２０００は、小計ボタンなどの所定のボタンが押されたことを検出することで、商品の登録処理が完了したことを検出する。 The method for the product registration device 2000 to recognize that the product to be purchased by the customer has been specified (that all the products to be purchased by the customer have been registered as objects of payment) does not include any existing technology. can be used. For example, the product registration device 2000 receives an input from a customer or a store clerk designating that the product that the customer intends to purchase has been specified. For example, the product registration apparatus 2000 detects that a predetermined button such as a subtotal button has been pressed, thereby detecting completion of product registration processing.

［実施形態２］
図１１は、実施形態２の商品登録装置２０００を例示するブロック図である。以下で説明する点を除き、実施形態２の商品登録装置２０００は、実施形態１の商品登録装置２０００と同様の機能を有する。 [Embodiment 2]
FIG. 11 is a block diagram illustrating the product registration device 2000 of the second embodiment. The product registration device 2000 of the second embodiment has the same functions as the product registration device 2000 of the first embodiment, except for the points described below.

実施形態２の商品登録装置２０００は指定受付部２０８０を有する。指定受付部２０８０は、購入予定リスト３０に含まれない商品が、精算対象の商品（精算対象として登録しようとしている商品）に含まれるか否かを指定する入力を受け付ける。例えばこの指定は、商品を精算対象として登録する処理を開始する前に入力される。 The product registration device 2000 of Embodiment 2 has a designation reception unit 2080 . The designation receiving unit 2080 receives an input designating whether or not a product not included in the planned purchase list 30 is included in the products to be settled (products to be registered as objects of payment). For example, this designation is entered before starting the process of registering the product as the object of payment.

図１２は、指定受付部２０８０によって表示されるメッセージ８０を例示する図である。ＹＥＳボタン８２は、購入予定リスト３０に含まれない商品が精算対象の商品に含まれることを指定するためのボタンである。ＮＯボタン８４は、購入予定リスト３０に含まれない商品が精算対象の商品に含まれていないことを指定するためのボタンである。メッセージ８０は、メッセージ５０などと同様に、例えば商品登録装置２０００と接続されているタッチパネルに表示される。このタッチパネルは、顧客によって閲覧可能なものであってもよいし、店員によってのみ閲覧可能なものであってもよい。 FIG. 12 is a diagram exemplifying a message 80 displayed by the designation reception unit 2080. As shown in FIG. The YES button 82 is a button for designating that a product not included in the planned purchase list 30 is included in the products to be settled. The NO button 84 is a button for designating that a product not included in the planned purchase list 30 is not included in the products to be settled. The message 80 is displayed, for example, on a touch panel connected to the product registration device 2000, like the message 50 and the like. This touch panel may be browsable by the customer, or may be browsable only by the store clerk.

購入予定リスト３０に含まれない商品が精算対象の商品に含まれることが指定された場合、特定部２０４０は、商品領域２０と照合する商品情報に、購入予定リスト３０に示されない商品の商品情報も利用する。例えば特定部２０４０は、まず購入予定リスト３０に示されている商品の商品情報と商品領域２０とを照合し、商品領域２０に含まれる商品が特定されなかった場合のみ、購入予定リスト３０に示されていない商品の商品情報と商品領域２０とを照合する。その他にも例えば、特定部２０４０は、最初から、照合に利用する商品情報を限定せず、全ての商品情報と商品領域２０とを照合してもよい。 When it is specified that a product not included in the planned purchase list 30 is included in the products to be settled, the identifying unit 2040 adds product information of products not shown in the planned purchase list 30 to the product information to be collated with the product area 20. also use. For example, the specifying unit 2040 first compares the product information of the product shown in the planned purchase list 30 with the product area 20, and only when the product included in the product area 20 is not specified, the product shown in the planned purchase list 30 is identified. The product information of the product that has not been checked is collated with the product area 20. - 特許庁Alternatively, for example, the specifying unit 2040 may match all product information with the product area 20 without limiting the product information to be used for matching from the beginning.

一方、購入予定リスト３０に含まれない商品が精算対象の商品に含まれない（精算対象の商品が全て購入予定リスト３０に含まれる）ことが指定された場合、特定部２０４０は、商品領域２０と照合する商品情報に、購入予定リスト３０に示される商品の商品情報のみを利用する。 On the other hand, when it is specified that a product not included in the planned purchase list 30 is not included in the products to be settled (all the products to be settled are included in the planned purchase list 30), the specifying unit 2040 Only the product information of the products shown in the purchase plan list 30 is used as the product information to be collated with.

このように、本実施形態の商品登録装置２０００では、上述の指定に応じて、商品領域２０との照合に利用される商品情報の範囲が決定される。こうすることで、顧客が意図した適切な範囲で商品情報と商品領域２０の照合が行われる。よって、精算対象として登録する商品の特定を迅速に行いつつ、例えば顧客が当初予定していなかった商品を追加で購入する場合であっても、全ての商品を精算対象として正しく登録できるようになる。 As described above, in the product registration device 2000 of the present embodiment, the range of product information used for matching with the product area 20 is determined according to the above designation. By doing this, the product information and the product area 20 are collated within an appropriate range intended by the customer. Therefore, it is possible to quickly specify the products to be registered for settlement, and to correctly register all the products for settlement, even if the customer purchases additional products that were not initially planned. .

＜確認メッセージ＞
購入予定リスト３０に含まれない商品が精算対象の商品に含まれることが指定された場合に、精算対象として登録された商品が全て購入予定リスト３０に含まれていたとする。この場合、顧客が何らかの商品を購入し忘れている可能性がある。そこで商品登録装置２０００は、購入し忘れている商品がないかどうかを確認するメッセージを出力することが好適である。 <Confirmation message>
It is assumed that all the products registered as settlement objects are included in the purchase plan list 30 when it is specified that the products not included in the planned purchase list 30 are included in the products to be settled. In this case, the customer may forget to purchase some product. Therefore, it is preferable for the product registration device 2000 to output a message for confirming whether there is any product that the user has forgotten to purchase.

図１３は、購入し忘れている商品がないかどうかを確認するメッセージ９０が出力される流れを例示する図である。この例では、商品の登録が行われる前に前述したメッセージ８０が表示され、ＮＯボタン８４が押下されている。よって、顧客は、購入予定リストに含まれない商品を購入しようとしていると考えられる。しかし、その後に商品を精算対象に登録する処理が行われた結果、精算対象として登録された商品が全て購入予定リスト３０に含まれている。そこで、商品登録装置２０００は、購入し忘れている商品がないかどうかを確認するメッセージ９０を表示させている。 FIG. 13 is a diagram exemplifying the flow of outputting a message 90 for confirming whether there is any product that the customer has forgotten to purchase. In this example, the aforementioned message 80 is displayed and the NO button 84 is pressed before the product is registered. Therefore, it is considered that the customer intends to purchase a product that is not included in the planned purchase list. However, as a result of the subsequent processing of registering the products for payment, all the products registered for payment are included in the planned purchase list 30 . Therefore, the product registration device 2000 displays a message 90 for confirming whether there is any product that the user has forgotten to purchase.

購入し忘れている商品がない場合、ＯＫボタン９２が押下される。こうすることで、商品を精算対象として登録する処理が完了する。一方、購入し忘れている商品がある場合、追加登録ボタン９４が押下される。これにより、商品登録装置２０００の状態が、商品を精算対象として登録する状態に遷移する。よって、例えば顧客が、買い忘れていた商品を取りに売り場へ取りに戻ることで、その商品を買い忘れることなく購入することができる。 If there is no product that the user has forgotten to purchase, the OK button 92 is pressed. By doing so, the process of registering the product as the object of payment is completed. On the other hand, if there is a product that the user has forgotten to purchase, the additional registration button 94 is pressed. As a result, the state of the product registration device 2000 transitions to a state in which the product is registered as an object of payment. Therefore, for example, the customer can purchase the product without forgetting to buy it by returning to the sales floor to pick up the product that the customer forgot to buy.

メッセージ９０は、例えば顧客が閲覧可能なタッチパネルに表示される。その他にも例えば、メッセージ９０は、店員のみが閲覧可能なタッチパネルに表示される。後者の場合、確認メッセージを見た店員が、購入し忘れている商品がないかどうかを顧客に尋ね、その返答に応じて入力操作を行う。 The message 90 is displayed, for example, on a touch panel that can be viewed by the customer. In addition, for example, the message 90 is displayed on a touch panel that can be viewed only by the store clerk. In the latter case, the store clerk who sees the confirmation message asks the customer if there are any items that the customer has forgotten to purchase, and performs an input operation according to the reply.

＜商品の候補の表示＞
購入予定リスト３０に含まれない商品が精算対象に含まれることが指定された場合において、商品領域２０と商品情報との照合をした結果、商品領域２０によって表される商品が一つに特定できなかったとする。例えば、商品領域２０が、外見上類似している複数の種類の商品（レタスとキャベツなど）の照合情報のいずれもと類似していることが考えられる。このような場合、商品登録装置２０００は、商品領域２０に含まれる商品の候補を表示させ、その候補の中から精算対象として登録すべき商品を選択させてもよい。 <Display of product candidates>
When items not included in the planned purchase list 30 are specified to be included in the settlement target, as a result of matching the item area 20 with the item information, one item represented by the item area 20 cannot be specified. Suppose there was not. For example, it is conceivable that the product region 20 is similar to all matching information of a plurality of types of products (lettuce, cabbage, etc.) that are similar in appearance. In such a case, the product registration device 2000 may display product candidates included in the product area 20, and select a product to be registered as a checkout target from among the candidates.

図１４は、精算対象として登録すべき商品の候補を示すメッセージ１００を例示する図である。表示１０２は、商品の照合処理が実行中であることを表している。例えば、表示１０２は、点滅表示される。選択エリア１０４には、精算対象として登録する商品の候補が、種類ごとに分かれて表示されている。顧客又は店員は、表示されている候補のいずれかを選択（例えば、表示を押下する）ことにより、精算対象として登録すべき商品を指定する。 FIG. 14 is a diagram exemplifying a message 100 indicating product candidates to be registered as settlement objects. A display 102 indicates that the product matching process is in progress. For example, display 102 is blinking. In the selection area 104, candidates for commodities to be registered as payment targets are displayed separately for each type. The customer or store clerk selects one of the displayed candidates (for example, presses the display) to specify the product to be registered as the payment target.

＜ハードウエア構成＞
実施形態２の商品登録装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の商品登録装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の商品登録装置２０００の機能を実現するプログラムモジュールがさらに記憶される。 <Hardware configuration>
The hardware configuration of a computer that implements the product registration device 2000 of the second embodiment is shown in FIG. 3, for example, as in the first embodiment. However, the storage device 1080 of the computer 1000 that implements the product registration apparatus 2000 of this embodiment further stores a program module that implements the functions of the product registration apparatus 2000 of this embodiment.

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。 Although the embodiments of the present invention have been described above with reference to the drawings, these are examples of the present invention, and combinations of the above embodiments or various configurations other than those described above can also be adopted.

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１．精算対象の商品が撮像された撮像画像から、商品を含む画像領域を抽出する抽出手段と、
顧客によって提供される購入予定リストを取得する取得手段と、
前記抽出した画像領域に含まれる商品を、前記取得した購入予定リストに含まれる商品の中から特定する特定手段と、
前記特定した商品を精算対象として登録する登録手段と、を有する情報処理装置。
２．前記特定手段は、前記抽出した画像領域と、複数の商品それぞれの識別子がその商品の外観を表す照合情報と対応づけられている商品情報とを、前記購入予定リストに示される商品の範囲内で照合することで、前記抽出した画像領域に含まれる商品を特定する、１．に記載の情報処理装置。
３．前記特定手段は、前記購入予定リストに示される商品の範囲内における前記照合で、前記抽出した画像領域に含まれる商品が特定されない場合、前記購入予定リストに示されない商品の範囲においても前記商品情報と前記抽出した画像領域との照合を行う、２．に記載の情報処理装置。
４．前記購入予定リストに示されない商品の範囲において前記商品情報と前記抽出した画像領域との照合を行うことにより、前記抽出した画像領域に含まれる商品が特定された場合、所定の通知を行う３．に記載の情報処理装置。
５．購入予定リストに含まれない商品が精算対象の商品に含まれるか否かを指定する入力を受け付ける第１指定受付手段を有し、
前記特定手段は、前記購入予定リストに含まれない商品が精算対象の商品に含まれることが指定された場合、前記購入予定リストに示されない商品の範囲においても前記商品情報と前記抽出した画像領域との照合を行う、２．に記載の情報処理装置。
６．前記特定手段は、前記購入予定リストに含まれない商品が精算対象の商品に含まれることが指定されている場合において、精算対象として登録された商品が全て前記購入予定リストに含まれているとき、所定の通知を行う、５．に記載の情報処理装置。
７．前記顧客が購入する各商品の特定を前記特定手段が終えた後、前記特定された商品の数が前記購入予定リストに示される商品の数より多い場合、所定の通知を行う、１．乃至４．いずれか一つに記載の情報処理装置。
８．前記顧客が購入する各商品の特定を前記特定手段が終えた後、前記購入予定リストの中に前記特定手段によって特定されていない商品が含まれる場合に、所定の通知を行う、１．乃至４．いずれか一つに記載の情報処理装置。
９．前記取得手段は、前記顧客の携帯端末から前記購入予定リストを取得する、１．乃至８．いずれか一つに記載の情報処理装置。
１０．前記取得手段は、前記顧客の識別子を取得し、前記識別子と対応づけて記憶装置に記憶されている前記購入予定リストを取得する、１．乃至８．いずれか一つに記載の情報処理装置。 Some or all of the above-described embodiments can also be described in the following supplementary remarks, but are not limited to the following.
1. an extracting means for extracting an image area including the product from the captured image of the product to be settled;
an acquisition means for acquiring a purchase plan list provided by a customer;
identifying means for identifying products included in the extracted image area from products included in the obtained purchase plan list;
and registering means for registering the identified product as an object of payment.
2. The specifying means stores the extracted image area and product information in which the identifiers of the plurality of products are associated with collation information representing the appearance of the product, within the range of the products shown in the planned purchase list. 1. identifying products included in the extracted image area by collation; The information processing device according to .
3. If the product included in the extracted image area is not specified in the collation within the range of the products shown in the planned purchase list, the specifying means also stores the product information in the range of products not shown in the planned purchase list. and the extracted image area;2. The information processing device according to .
4. 3. When the product included in the extracted image area is specified by matching the product information with the extracted image area in the range of products not shown in the purchase plan list, a predetermined notification is made. The information processing device according to .
5. a first designation receiving means for receiving an input designating whether or not a product not included in the planned purchase list is included in the product to be settled;
When it is specified that a product not included in the planned purchase list is included in the product to be settled, the identifying means is configured to include the product information and the extracted image area even in the range of products not shown in the planned purchase list. 2. The information processing device according to .
6. When it is specified that products not included in the planned purchase list are included in the products to be settled, the identifying means includes all products registered as products to be settled in the planned purchase list. 5. giving a predetermined notification; The information processing device according to .
7. After the specifying means finishes specifying each product to be purchased by the customer, if the number of the specified products is greater than the number of products shown in the planned purchase list, a predetermined notification is made;1. to 4. The information processing device according to any one of the above.
8. After the specification means finishes specifying each product to be purchased by the customer, if the planned purchase list includes products that have not been specified by the specification means, a predetermined notification is made; to 4. The information processing device according to any one of the above.
9. 1. The acquisition means acquires the purchase plan list from the customer's portable terminal; to 8. The information processing device according to any one of the above.
10. 1. The acquisition means acquires an identifier of the customer and acquires the purchase plan list stored in a storage device in association with the identifier; to 8. The information processing device according to any one of the above.

１１．コンピュータによって実行される制御方法であって、
精算対象の商品が撮像された撮像画像から、商品を含む画像領域を抽出する抽出ステップと、
顧客によって提供される購入予定リストを取得する取得ステップと、
前記抽出した画像領域に含まれる商品を、前記取得した購入予定リストに含まれる商品の中から特定する特定ステップと、
前記特定した商品を精算対象として登録する登録ステップと、を有する制御方法。
１２．前記特定ステップにおいて、前記抽出した画像領域と、複数の商品それぞれの識別子がその商品の外観を表す照合情報と対応づけられている商品情報とを、前記購入予定リストに示される商品の範囲内で照合することで、前記抽出した画像領域に含まれる商品を特定する、１１．に記載の制御方法。
１３．前記特定ステップにおいて、前記購入予定リストに示される商品の範囲内における前記照合で、前記抽出した画像領域に含まれる商品が特定されない場合、前記購入予定リストに示されない商品の範囲においても前記商品情報と前記抽出した画像領域との照合を行う、１２．に記載の制御方法。
１４．前記購入予定リストに示されない商品の範囲において前記商品情報と前記抽出した画像領域との照合を行うことにより、前記抽出した画像領域に含まれる商品が特定された場合、所定の通知を行う１３．に記載の制御方法。
１５．購入予定リストに含まれない商品が精算対象の商品に含まれるか否かを指定する入力を受け付ける第１指定受付ステップを有し、
前記特定ステップにおいて、前記購入予定リストに含まれない商品が精算対象の商品に含まれることが指定された場合、前記購入予定リストに示されない商品の範囲においても前記商品情報と前記抽出した画像領域との照合を行う、１２．に記載の制御方法。
１６．前記特定ステップにおいて、前記購入予定リストに含まれない商品が精算対象の商品に含まれることが指定されている場合において、精算対象として登録された商品が全て前記購入予定リストに含まれているとき、所定の通知を行う、１５．に記載の制御方法。
１７．前記顧客が購入する各商品の特定を前記特定ステップで終えた後、前記特定された商品の数が前記購入予定リストに示される商品の数より多い場合、所定の通知を行う、１１．乃至１４．いずれか一つに記載の制御方法。
１８．前記顧客が購入する各商品の特定を前記特定ステップで終えた後、前記購入予定リストの中に前記特定ステップによって特定されていない商品が含まれる場合に、所定の通知を行う、１１．乃至１４．いずれか一つに記載の制御方法。
１９．前記取得ステップにおいて、前記顧客の携帯端末から前記購入予定リストを取得する、１１．乃至１８．いずれか一つに記載の制御方法。
２０．前記取得ステップにおいて、前記顧客の識別子を取得し、前記識別子と対応づけて記憶装置に記憶されている前記購入予定リストを取得する、１１．乃至１８．いずれか一つに記載の制御方法。 11. A control method implemented by a computer, comprising:
an extracting step of extracting an image area including the product from the imaged image of the product to be settled;
a obtaining step of obtaining a shopping list provided by the customer;
a specifying step of specifying the products included in the extracted image area from among the products included in the obtained purchase plan list;
and a registration step of registering the specified product as an object of payment.
12. In the specifying step, the extracted image area and the product information in which the identifiers of the plurality of products are associated with matching information representing the appearance of the product, within the range of the products shown in the planned purchase list. 11. Identifying products included in the extracted image area by collation; The control method described in .
13. In the specifying step, if the product included in the extracted image area is not specified in the collation within the range of products shown in the planned purchase list, the product information is also included in the range of products not shown in the planned purchase list. and the extracted image area;12. The control method described in .
14. 13. If a product included in the extracted image area is identified by matching the product information with the extracted image area in the range of products not shown in the purchase plan list, a predetermined notification is made. The control method described in .
15. a first designation receiving step for receiving an input designating whether or not a product not included in the planned purchase list is included in the product to be settled;
In the specifying step, when it is specified that a product not included in the planned purchase list is included in the product to be settled, the product information and the extracted image area are also included in the range of products not shown in the planned purchase list. 12. The control method described in .
16. When it is specified in the identifying step that products not included in the planned purchase list are included in the products to be settled, and all the products registered for payment are included in the planned purchase list , giving a predetermined notification;15. The control method described in .
17. 11. After specifying each product to be purchased by the customer in the specifying step, if the number of the specified products is greater than the number of products shown in the planned purchase list, a predetermined notification is made; to 14. A control method according to any one of the preceding claims.
18. 11. After specifying each product to be purchased by the customer in the specifying step, if the planned purchase list includes products not specified in the specifying step, a predetermined notification is provided; to 14. A control method according to any one of the preceding claims.
19. 10. In the obtaining step, the purchase plan list is obtained from the customer's portable terminal; to 18. A control method according to any one of the preceding claims.
20. 11. In the acquisition step, the identifier of the customer is acquired, and the purchase plan list stored in the storage device is acquired in association with the identifier; to 18. A control method according to any one of the preceding claims.

２１．１１．乃至２０．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。 21. 11. 20. A program that causes a computer to execute each step of the control method described in any one.

１０カメラ
１２撮像画像
２０商品領域
３０購入予定リスト
５０メッセージ
６０メッセージ
６２ＯＫボタン
６４キャンセルボタン
７０メッセージ
７２追加登録ボタン
７４ＯＫボタン
８０メッセージ
８２ＹＥＳボタン
８４ＮＯボタン
９０メッセージ
９２ＯＫボタン
９４追加登録ボタン
１００メッセージ
１０２表示
１０４選択エリア
２００テーブル
２０２商品識別子
２０４商品名
２０６価格
２０８照合情報
３００テーブル
３０２商品識別子
３０４購入数
１０００計算機
１０２０バス
１０４０プロセッサ
１０６０メモリ
１０８０ストレージデバイス
１１００入出力インタフェース
１１２０ネットワークインタフェース
２０００商品登録装置
２０００情報処理装置
２０２０抽出部
２０３０取得部
２０４０特定部
２０６０登録部
２０８０指定受付部 10 Camera 12 Captured image 20 Product area 30 Purchase plan list 50 Message 60 Message 62 OK button 64 Cancel button 70 Message 72 Additional registration button 74 OK button 80 Message 82 YES button 84 NO button 90 Message 92 OK button 94 Additional registration button 100 Message 102 display 104 selection area 200 table 202 product identifier 204 product name 206 price 208 matching information 300 table 302 product identifier 304 number of purchases 1000 calculator 1020 bus 1040 processor 1060 memory 1080 storage device 1100 input/output interface 1120 network interface 2000 product registration device 2000 information Processing device 2020 Extraction unit 2030 Acquisition unit 2040 Identification unit 2060 Registration unit 2080 Designation acceptance unit

Claims

精算対象の商品を含む画像を取得する取得手段と、
顧客の購入予定リストに含まれている商品から、前記画像の商品を特定する特定手段と、
前記特定した商品を精算対象として登録する登録手段と、
を備えることを特徴とする情報処理装置。 Acquisition means for acquiring an image including the product for payment;
identifying means for identifying the product of the image from the products included in the customer's purchase plan list;
a registration means for registering the specified product as an object of payment;
An information processing device comprising:

前記特定手段は、顧客の前記購入予定リストに含まれる前記商品の、当該商品の外観を表す情報である照合情報を含む商品情報を取得し、前記画像と前記商品情報を用いて前記画像の商品を特定する請求項１に記載の情報処理装置。 The specifying means acquires product information including collation information, which is information representing the appearance of the product, of the product included in the purchase plan list of the customer, and uses the image and the product information to identify the product of the image. 2. The information processing apparatus according to claim 1, which specifies the .

精算対象の商品を含む画像を取得する取得手段と、
顧客の購入予定リストに含まれている商品から、前記画像の商品を特定する特定手段と、
前記特定した商品を精算対象として登録する登録手段と、
を備え、
前記特定手段は、前記商品を特定できない場合に、前記購入予定リストが示す商品以外の商品に関する情報が含まれる商品情報を用いて、前記商品を特定することを特徴とする情報処理装置。 Acquisition means for acquiring an image including the product for payment;
identifying means for identifying the product of the image from the products included in the customer's purchase plan list;
a registration means for registering the specified product as an object of payment;
with
The information processing apparatus, wherein, when the product cannot be specified, the specifying means specifies the product by using product information including information on products other than products indicated in the planned purchase list.

精算対象の商品を含む画像を取得する取得手段と、
顧客の購入予定リストに含まれている商品から、前記画像の商品を特定する特定手段と、
前記特定した商品を精算対象として登録する登録手段と、
を備え、
前記特定手段は、前記画像に含まれる商品に関する情報と、複数の商品それぞれの識別子がその商品の外観を表す照合情報と対応付けられている商品情報とを、前記購入予定リストに示されている商品の範囲内で照合することで、前記画像に含まれる商品を特定する情報処理装置。 Acquisition means for acquiring an image including the product for payment;
identifying means for identifying the product of the image from the products included in the customer's purchase plan list;
a registration means for registering the specified product as an object of payment;
with
The specifying means includes information about the product included in the image and product information in which the identifier of each of a plurality of products is associated with collation information representing the appearance of the product, which is shown in the planned purchase list. An information processing device that identifies the product included in the image by matching within the range of the product.

前記購入予定リストが示す商品以外の商品に関する情報が含まれる商品情報を用いて前記商品を特定した場合、所定の通知を行う請求項３に記載の情報処理装置。 4. The information processing apparatus according to claim 3 , wherein when the product is identified using product information including information on products other than the product indicated by the planned purchase list, a predetermined notification is made.

前記購入予定リストが示す商品以外の商品が、精算対象の商品に含まれるか否かを指定する入力を受け付ける第１指定受付手段を有し、
前記特定手段は、前記購入予定リストが示す商品以外の商品が、精算対象の商品に含まれることが指定された場合、前記購入予定リストが示す商品以外の商品の範囲においても前記商品情報と前記画像に含まれる商品に関する情報との照合を行う、請求項４に記載の情報処理装置。 a first designation reception means for receiving an input designating whether or not a product other than the product indicated in the planned purchase list is included in the product to be settled;
When it is specified that a product other than the product indicated by the planned purchase list is included in the products to be settled, the identifying means also includes the product information and the 5. The information processing apparatus according to claim 4 , wherein the image is collated with information on products included in the image.

前記特定手段は、前記購入予定リストが示す商品以外の商品が、精算対象の商品に含まれることが指定された場合において、精算対象として登録された商品が全て前記購入予定リストに示されているとき、所定の通知を行う、請求項６に記載の情報処理装置。 When it is specified that the products other than the products indicated in the planned purchase list are included in the products to be settled, the specifying means indicates that all the products registered as the products to be settled are shown in the planned purchase list. 7. The information processing apparatus according to claim 6 , wherein a predetermined notification is made when the time is up.

前記顧客が購入する各商品の特定を前記特定手段が終えた後、前記特定された商品の数が、前記購入予定リストが示す商品の数より多い場合、所定の通知を行う、請求項１乃至５いずれか一項に記載の情報処理装置。 After the identifying means finishes identifying each product to be purchased by the customer, if the number of the identified products is greater than the number of products indicated by the planned purchase list, a predetermined notification is made. 5. The information processing device according to any one of the items.

前記顧客が購入する各商品の特定を前記特定手段が終えた後、前記購入予定リストが示す商品の中に前記特定手段によって特定されていない商品が含まれる場合に、所定の通知を行う、請求項１乃至５いずれか一項に記載の情報処理装置。 after the specifying means finishes specifying each product to be purchased by the customer, if the product indicated by the planned purchase list includes a product not specified by the specifying means, performing a predetermined notification ; Item 6. The information processing apparatus according to any one of Items 1 to 5 .

前記特定手段は、前記顧客の携帯端末から取得した前記購入予定リストを用いて前記画像の商品を特定する、請求項１乃至９いずれか一項に記載の情報処理装置。 10. The information processing apparatus according to any one of claims 1 to 9 , wherein said identifying means identifies the product of said image using said purchase plan list obtained from said customer's portable terminal.

コンピュータによって実行される制御方法であって、
精算対象の商品を含む画像を取得する取得ステップと、
顧客の購入予定リストに含まれている商品から、前記画像の商品を特定する特定ステップと、
前記特定した商品を精算対象として登録する登録ステップと、
を備えることを特徴とする制御方法。 A control method implemented by a computer, comprising:
an acquisition step of acquiring an image including the product to be settled;
an identification step of identifying the product of the image from the products included in the customer's purchase plan list;
a registration step of registering the identified product as an object of payment;
A control method comprising: