JP2014052799A

JP2014052799A - Information processing apparatus and program

Info

Publication number: JP2014052799A
Application number: JP2012196346A
Authority: JP
Inventors: Hidehiro Naito; 英浩内藤; Hitoshi Iizaka; 仁志飯坂; Hiroshi Sugasawa; 広志菅澤
Original assignee: Toshiba TEC Corp
Current assignee: Toshiba TEC Corp
Priority date: 2012-09-06
Filing date: 2012-09-06
Publication date: 2014-03-20

Abstract

PROBLEM TO BE SOLVED: To provide an information processing apparatus and program capable of efficiently performing processing related to recognition of a commodity.SOLUTION: An information processing apparatus includes: capturing means for capturing photographed images photographed by imaging means; first recognition means for recognizing a commodity photographed by the imaging means from the photographed images captured by the capturing means; second recognition means for recognizing a label attached to the commodity from the photographed images captured by the capturing means; and output means for outputting one code representing the recognition result by the first recognition means and the second recognition means.

Description

本発明の実施形態は、情報処理装置及びプログラムに関する。 Embodiments described herein relate generally to an information processing apparatus and a program.

従来、商品に付されたバーコード及びサービス表示ラベルを撮像装置で撮像し、撮像画像から商品コードとサービス情報とを読み取ることで、このサービス情報に応じたサービスを商品の販売時に提供する技術が開示されている。 2. Description of the Related Art Conventionally, there is a technology for providing a service corresponding to service information at the time of sale of a product by imaging a barcode and a service display label attached to the product with an imaging device and reading the product code and service information from the captured image. It is disclosed.

また、従来、物品を撮像した撮像画像からその物体の色や色分布、サイズ、形状等の特徴量を抽出し、予め用意された照合用のデータ（特徴量）と比較することで、この物品の種別等を認識する物体認識技術が存在している。また、この物体認識技術を、青果品等の商品の識別に用いて、識別された商品を売上登録するシステムが提案されている。 Conventionally, by extracting feature quantities such as the color, color distribution, size, and shape of an object from a captured image obtained by capturing the article, and comparing it with data (feature quantities) for collation prepared in advance, There is an object recognition technology for recognizing the type of the object. In addition, a system for registering sales of an identified product using this object recognition technology for identifying a product such as a vegetable product has been proposed.

しかしながら、上記物体認識技術では、商品に付されたラベル等の付帯物の認識については何ら考慮されておらず、効率化の観点において改善の余地があった。 However, in the object recognition technology, there is no room for improvement in terms of efficiency because no consideration is given to the recognition of incidentals such as labels attached to products.

実施の形態の情報処理装置は、取込手段と、第１認識手段と、第２認識手段と、出力手段とを備える。取込手段は、撮像手段が撮像した撮像画像を取り込む。第１認識手段は、前記取込手段が取り込んだ撮像画像から、前記撮像手段で撮像された商品を認識する。第２認識手段は、前記取込手段が取り込んだ撮像画像から、前記商品に付されたラベルを認識する。出力手段は、前記第１認識手段及び前記第２認識手段での認識結果を表した一のコードを出力する。 The information processing apparatus according to the embodiment includes a capturing unit, a first recognizing unit, a second recognizing unit, and an output unit. The capturing unit captures the captured image captured by the imaging unit. The first recognizing unit recognizes the product imaged by the imaging unit from the captured image captured by the capturing unit. The second recognizing unit recognizes the label attached to the product from the captured image captured by the capturing unit. The output means outputs one code representing the recognition results of the first recognition means and the second recognition means.

図１は、実施形態に係るチェックアウトシステムの外観構成を示す斜視図である。FIG. 1 is a perspective view showing an external configuration of a checkout system according to the embodiment. 図２は、図１に示したＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。FIG. 2 is a block diagram illustrating a hardware configuration of the POS terminal and the commodity reading apparatus illustrated in FIG. 図３は、図２に示したＰＬＵファイルのデータ構成の一例を模式的に示す図である。FIG. 3 is a diagram schematically showing an example of the data structure of the PLU file shown in FIG. 図４は、図２に示した商品特徴ファイルのデータ構成の一例を模式的に示す図である。FIG. 4 is a diagram schematically showing an example of the data structure of the product feature file shown in FIG. 図５は、サービス表示ラベルの一例を模式的に示す図である。FIG. 5 is a diagram schematically illustrating an example of a service display label. 図６は、サービス表示ラベルの他の例を模式的に示す図である。FIG. 6 is a diagram schematically illustrating another example of the service display label. 図７は、図２に示したラベル特徴ファイルのデータ構成の一例を模式的に示す図である。FIG. 7 is a diagram schematically showing an example of the data structure of the label feature file shown in FIG. 図８は、図２に示したコード生成ファイルのデータ構成の一例を模式的に示す図である。FIG. 8 is a diagram schematically showing an example of the data configuration of the code generation file shown in FIG. 図９は、図１に示したＰＯＳ端末及び商品読取装置の機能構成を示すブロック図である。FIG. 9 is a block diagram illustrating functional configurations of the POS terminal and the commodity reading apparatus illustrated in FIG. 図１０は、商品読取装置の表示デバイスに表示された商品候補の表示例を示す図である。FIG. 10 is a diagram illustrating a display example of product candidates displayed on the display device of the product reading apparatus. 図１１は、ＰＯＳ端末の表示デバイスに表示された商品情報の表示例を示す図である。FIG. 11 is a diagram illustrating a display example of product information displayed on the display device of the POS terminal. 図１２は、商品読取装置が実行する商品識別処理の手順を示すフローチャートである。FIG. 12 is a flowchart illustrating a procedure of product identification processing executed by the product reading device. 図１３は、ＰＯＳ端末が実行する売上登録処理の手順を示すフローチャートである。FIG. 13 is a flowchart showing the procedure of sales registration processing executed by the POS terminal. 図１４は、実施形態に係るセルフＰＯＳの構成を示す斜視図である。FIG. 14 is a perspective view illustrating a configuration of the self-POS according to the embodiment. 図１５は、図１４に示したセルフＰＯＳのハードウェア構成を示すブロック図である。FIG. 15 is a block diagram showing a hardware configuration of the self-POS shown in FIG.

以下、添付図面を参照して、情報処理装置及びプログラムの実施形態を詳細に説明する。なお、以下に説明する実施形態は、情報処理装置及びプログラムの一実施形態であって、その構成や仕様等を限定するものではない。本実施形態は、スーパーマーケット等の店舗に導入された、一取引にかかる商品の登録・精算を行うＰＯＳ端末と、商品に関する情報を読み取る商品読取装置とを備えるチェックアウトシステムへの適用例である。 Hereinafter, embodiments of an information processing apparatus and a program will be described in detail with reference to the accompanying drawings. The embodiment described below is an embodiment of the information processing apparatus and program, and does not limit the configuration, specifications, or the like. The present embodiment is an application example to a checkout system that is installed in a store such as a supermarket and that includes a POS terminal that registers and settles a product for one transaction and a product reading device that reads information about the product.

図１は、チェックアウトシステム１の外観構成を示す斜視図である。図１に示すように、チェックアウトシステム１は、ＰＯＳ端末１１と商品読取装置１０１とを、情報処理装置として備える。 FIG. 1 is a perspective view showing an external configuration of the checkout system 1. As illustrated in FIG. 1, the checkout system 1 includes a POS terminal 11 and a commodity reading device 101 as information processing devices.

ＰＯＳ端末１１は、チェックアウト台５１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員）によって押下操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりもさらに奥側には、顧客用表示デバイス２４が回転自在に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。 The POS terminal 11 is placed on the upper surface of the drawer 21 on the checkout table 51. The drawer 21 is controlled by the POS terminal 11 for the opening operation. On the upper surface of the POS terminal 11, a keyboard 22 that is pressed down by an operator (a store clerk) is arranged. A display device 23 that displays information toward the operator is provided behind the keyboard 22 when viewed from the operator who operates the keyboard 22. The display device 23 displays information on the display surface 23a. A touch panel 26 is laminated on the display surface 23a. A customer display device 24 is erected so as to be rotatable further behind the display device 23. The customer display device 24 displays information on the display surface 24a.

なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。 The customer display device 24 shown in FIG. 1 has the display surface 24a facing the front side in FIG. 1, but the customer display device 24 is rotated so that the display surface 24a faces the back side in FIG. Thus, the customer display device 24 displays information to the customer.

ＰＯＳ端末１１が載置されているチェックアウト台５１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受け面１５２が形成されている。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。 A horizontally long table-shaped counter table 151 is arranged so as to form an L shape with the checkout table 51 on which the POS terminal 11 is placed. A load receiving surface 152 is formed on the upper surface of the counter table 151. A shopping basket 153 for storing the product G is placed on the cargo receiving surface 152. The shopping basket 153 may be divided into a first shopping basket 153a brought in by a customer and a second shopping basket 153b placed at a position sandwiching the commodity reading device 101 from the first shopping basket 153a. it can.

カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。 On the receiving surface 152 of the counter stand 151, the commodity reading apparatus 101 connected to the POS terminal 11 so as to be able to transmit and receive data is installed. The commodity reading apparatus 101 includes a thin rectangular housing 102.

ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。 A reading window 103 is disposed in front of the housing 102. A display / operation unit 104 is attached to the upper portion of the housing 102. The display / operation unit 104 is provided with a display device 106 on which a touch panel 105 is laminated. A keyboard 107 is disposed on the right side of the display device 106. A card reading groove 108 of a card reader (not shown) is provided on the right side of the keyboard 107. A customer display device 109 for providing information to the customer is installed on the back left side of the display / operation unit 104 as viewed from the operator.

このような商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。 Such a product reading apparatus 101 includes a product reading unit 110 (see FIG. 2). The merchandise reading unit 110 has an imaging unit 164 (see FIG. 2) disposed behind the reading window 103.

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂへと移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。 In the first shopping basket 153a brought in by the customer, a product G related to one transaction is stored. The commodity G in the first shopping basket 153a is moved to the second shopping basket 153b by an operator who operates the commodity reading apparatus 101. In this movement process, the product G is directed to the reading window 103 of the product reading apparatus 101. At this time, the imaging unit 164 (see FIG. 2) arranged in the reading window 103 images the product G.

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。 FIG. 2 is a block diagram illustrating a hardware configuration of the POS terminal 11 and the commodity reading apparatus 101.

ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。なお、ＣＰＵ６１は、マイクロコンピュータ６０が内蔵するＲＴＣ（Real Time Clock）等の計時部（図示せず）と協働することで、時間を計測することが可能であるとする。 The POS terminal 11 includes a microcomputer 60 as an information processing unit that executes information processing. The microcomputer 60 is configured by connecting a ROM (Read Only Memory) 62 and a RAM (Random Access Memory) 63 to a CPU (Central Processing Unit) 61 that executes various arithmetic processes and controls each unit. It is assumed that the CPU 61 can measure time by cooperating with a time measuring unit (not shown) such as an RTC (Real Time Clock) built in the microcomputer 60.

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。 The drawer 61, the keyboard 22, the display device 23, the touch panel 26, and the customer display device 24 are all connected to the CPU 61 of the POS terminal 11 through various input / output circuits (all not shown). .

キーボード２２は、「１」、「２」、「３」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。 The keyboard 22 includes a numeric key 22d, a temporary fastening key 22e, and a fastening key 22f on which numbers such as “1”, “2”, “3”,...

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、各種プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムは、ＰＯＳ端末１１の起動時に、その全部又は一部がＲＡＭ６３にコピーされてＣＰＵ６１により実行される。 An HDD 64 (Hard Disk Drive) is connected to the CPU 61 of the POS terminal 11. The HDD 64 stores various programs and various files. All or a part of the program stored in the HDD 64 is copied to the RAM 63 and executed by the CPU 61 when the POS terminal 11 is activated.

また、ＨＤＤ６４には、ＰＬＵファイルＦ１、商品特徴ファイルＦ２、ラベル特徴ファイルＦ３及びコード生成ファイルＦ４等のデータファイルが記憶されている。なお、全データファイルのうち、少なくともＰＬＵファイルＦ１及び商品特徴ファイルＦ２は、後述する接続インターフェース６５を介し、商品読取装置１０１から読み出し（参照）可能に保持されているものとする。 The HDD 64 stores data files such as a PLU file F1, a product feature file F2, a label feature file F3, and a code generation file F4. Of all the data files, at least the PLU file F1 and the product feature file F2 are held so that they can be read (referenced) from the product reading apparatus 101 via the connection interface 65 described later.

ＰＬＵファイルＦ１には、店舗内で販売される商品Ｇと、その商品Ｇの売上登録に係る情報とが関連付けて格納されている。 The PLU file F1 stores a product G sold in the store and information related to sales registration of the product G in association with each other.

図３は、ＰＬＵファイルＦ１のデータ構成の一例を模式的に示す図である。同図に示すように、ＰＬＵファイルＦ１には、商品Ｇ毎に、ユニークに割り当てられた商品コードと、商品Ｇが属する商品分類、商品名、単価等の商品に関する情報と、その商品を示すイラスト画像とが、その商品Ｇの商品情報として登録されている。 FIG. 3 is a diagram schematically illustrating an example of the data configuration of the PLU file F1. As shown in the figure, the PLU file F1 includes a product code uniquely assigned to each product G, information about the product such as the product classification, product name, and unit price to which the product G belongs, and an illustration showing the product. An image is registered as product information of the product G.

また、商品特徴ファイルＦ２には、店舗内で販売される商品Ｇの各々と、その商品Ｇを近赤外線下で撮像した際に得られた情報とが関連付けて格納されている。 In the product feature file F2, each product G sold in the store is stored in association with information obtained when the product G is imaged under near infrared rays.

図４は、商品特徴ファイルＦ２のデータ構成の一例を模式的に示す図である。同図に示すように、商品特徴ファイルＦ２には、店舗内で販売される商品Ｇ毎に、商品コードと、その商品Ｇを撮像した商品画像と、が関連付けて登録されている。ここで、商品コードは、ＰＬＵファイルＦ１に登録された商品コードに対応する。また、商品画像は、後述する類似度判定の際に、比較の対象とされる基準画像であって、当該画像から商品の色合いや模様、表面の凹凸状況、形状等の特徴量が抽出される。以下、ＰＬＵファイルＦ１及び商品特徴ファイルＦ２において、商品コードと関連付けられた商品Ｇを登録商品という。 FIG. 4 is a diagram schematically illustrating an example of the data configuration of the product feature file F2. As shown in the figure, in the product feature file F2, for each product G sold in the store, a product code and a product image obtained by imaging the product G are registered in association with each other. Here, the product code corresponds to the product code registered in the PLU file F1. Further, the product image is a reference image to be compared in the similarity determination described later, and feature quantities such as the color and pattern of the product, the surface unevenness state, and the shape are extracted from the image. . Hereinafter, in the PLU file F1 and the product feature file F2, the product G associated with the product code is referred to as a registered product.

なお、本実施形態では、各登録商品の商品画像を商品特徴ファイルＦ２に格納する形態としたが、これに限らず、対応する商品コードと関連付けてＰＬＵファイルＦ１に格納する形態としてもよい。また、本実施形態では、後述する特徴量抽出部１６１３により、各商品画像から特徴量が抽出される形態としているが、これに限らず、この特徴量をＰＬＵファイルＦ１に予め登録しておく形態としてもよい。 In the present embodiment, the product image of each registered product is stored in the product feature file F2. However, the present invention is not limited to this, and the product image may be stored in the PLU file F1 in association with the corresponding product code. In the present embodiment, the feature amount is extracted from each product image by the feature amount extraction unit 1613, which will be described later. However, the present invention is not limited to this, and the feature amount is registered in the PLU file F1 in advance. It is good.

ラベル特徴ファイルＦ３には、サービス表示ラベルが含む文字やシンボルの特徴を示したラベル特徴データと、そのサービス表示ラベルによって商品に付与されるサービスの内容とが関連付けて格納されている。 In the label feature file F3, label feature data indicating the characteristics of characters and symbols included in the service display label and the contents of the service given to the product by the service display label are stored in association with each other.

ここで、サービス表示ラベルは、店舗内で販売される商品Ｇのうち、サービスの提供対象商品に付されるラベルである。サービス表示ラベルには、そのサービス表示ラベルが付された商品を購入した顧客に対し、店舗側が提供するサービスの内容が表されている。例えば、図５に示すサービス表示ラベルＬ１には、商品単価からの値引き率が表されている。また、図６に示すサービス表示ラベルＬ２には、通常のポイント付与数に割増して付与されるポイント数が表されている。 Here, the service display label is a label attached to a service provision target product among the products G sold in the store. The service display label indicates the content of the service provided by the store to the customer who purchased the product with the service display label. For example, the service display label L1 shown in FIG. 5 represents the discount rate from the product unit price. In addition, the service display label L2 shown in FIG. 6 shows the number of points given in addition to the normal number of points given.

図７は、ラベル特徴ファイルＦ３のデータ構成の一例を模式的に示す図である。同図に示すように、ラベル特徴ファイルＦ３には、店舗側から提供される各サービスを識別するためのサービスコードと、サービス表示ラベルの特徴を示すラベル特徴データと、そのサービス表示ラベルによって商品に付与されるサービスの内容を示したサービス情報と、が関連付けて登録されている。 FIG. 7 is a diagram schematically illustrating an example of the data configuration of the label feature file F3. As shown in the figure, the label feature file F3 includes a service code for identifying each service provided from the store side, label feature data indicating the feature of the service display label, and the product based on the service display label. The service information indicating the contents of the service to be given is registered in association with each other.

ここで、サービス情報は、値引き率やポイント付与数などのサービス内容を、ＰＯＳ端末１１で使用できるよう英数値に変換した情報のことである。即ち、図７に示すように、ラベル特徴データ「２０、円、引」に対しては、２０円の値引を意味するサービス情報「−２０ＹＥＮ」が対応付けて記憶されている。また、ラベル特徴データ「２０、％、引」に対しては、２０％の値引を意味するサービス情報「−２０％」が対応付けて記憶されている。さらに、ラベル特徴データ「１０、ポイント」に対しては、１０ポイントのポイント割増を意味するサービス情報「＋１０Ｐ」が対応付けて記憶されている。 Here, the service information is information obtained by converting service contents such as a discount rate and the number of points awarded into alphanumeric values so that the POS terminal 11 can use them. That is, as shown in FIG. 7, the label feature data “20, Yen, Discount” is stored in association with service information “−20YEN” meaning a discount of 20 yen. Further, service information “−20%” meaning a discount of 20% is stored in association with the label feature data “20,%, discount”. Further, the service information “+ 10P”, which means a point increase of 10 points, is stored in association with the label feature data “10, points”.

コード生成ファイルＦ４には、商品コードとサービスコードとの組から、一の複合コードを生成するための生成ルールが定義されている。 The code generation file F4 defines a generation rule for generating one composite code from a combination of a product code and a service code.

図８は、コード生成ファイルＦ４のデータ構成の一例を模式的に示す図である。同図に示すように、コード生成ファイルＦ４には、商品コードとサービスコードとの組と、複合コードとが関連付けて格納されている。複合コードは、例えば、生成元となった商品コードとサービスコードとの特性を有する商品の商品コードとして取り扱われる。例えば、商品コード“ＸＸＸＸＸＸＸＸ”とサービスコード“１”との組に関連付けられた複合コード“ＸＸＸＸＸＸＸＸ１”は、商品分類“野菜”、商品名“にんじん”、単価“８０円”の商品の商品コードとして取り扱われる。 FIG. 8 is a diagram schematically illustrating an example of the data configuration of the code generation file F4. As shown in the figure, the code generation file F4 stores a combination of a product code and a service code and a composite code in association with each other. The composite code is handled as, for example, a product code of a product having characteristics of a product code that is a generation source and a service code. For example, the composite code “XXXXXXXXX1” associated with the combination of the product code “XXXXXXXXX” and the service code “1” is the product code of the product with the product classification “vegetable”, the product name “carrot”, and the unit price “80 yen”. Handled.

なお、図８のコード生成ファイルＦ４では、商品コードとサービスコードとの組毎に、複合コードの生成ルールを定義する形態としたが、これに限らないものとする。例えば、商品コードの末尾にサービスコードを付加して複合コードを生成するように、複合コードの生成ルールが商品コードとサービスコードとの組み合わせによらず一様に定まっている場合、そのルール自体をコード生成ファイルＦ４に定義する形態としてもよい。また、各複合コードに対応する商品情報を、ＰＬＵファイルＦ１等のデータファイルに予め格納しておく形態としてもよい。 In the code generation file F4 in FIG. 8, the composite code generation rule is defined for each combination of the product code and the service code. However, the present invention is not limited to this. For example, if a composite code generation rule is uniformly determined regardless of the combination of a product code and a service code so that a composite code is generated by adding a service code to the end of the product code, the rule itself is It is good also as a form defined in the code generation file F4. Further, the product information corresponding to each composite code may be stored in advance in a data file such as the PLU file F1.

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるデータファイルが格納されている。 Returning to FIG. 2, a communication interface 25 for executing data communication with the store computer SC is connected to the CPU 61 of the POS terminal 11 via an input / output circuit (not shown). The store computer SC is installed in a store backyard or the like. A data file distributed to the POS terminal 11 is stored in the HDD (not shown) of the store computer SC.

さらに、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。なお、詳細は後述するが、商品読取装置１０１から出力された撮像画像は、接続インターフェース６５を介してＰＯＳ端末１１に入力（受信）され、ＲＡＭ６３内に保存される。 Further, the CPU 61 of the POS terminal 11 is connected to a connection interface 65 that enables data transmission / reception with the commodity reading apparatus 101. The product reading apparatus 101 is connected to the connection interface 65. Although details will be described later, the captured image output from the commodity reading apparatus 101 is input (received) to the POS terminal 11 via the connection interface 65 and stored in the RAM 63.

また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。ＰＯＳ端末１１は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。 The CPU 61 of the POS terminal 11 is connected to a printer 66 that prints on receipts. The POS terminal 11 prints the transaction content of one transaction on the receipt under the control of the CPU 61.

一方、商品読取装置１０１は、ＰＯＳ端末１１と同様に、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。 On the other hand, the product reading apparatus 101 includes a microcomputer 160 as in the POS terminal 11. The microcomputer 160 is configured by connecting a ROM 162 and a RAM 163 to a CPU 161 via a bus. The ROM 162 stores a program executed by the CPU 161.

ＣＰＵ１６１には、撮像部１６４及び音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４及び音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。 An imaging unit 164 and an audio output unit 165 are connected to the CPU 161 via various input / output circuits (all not shown). The operations of the imaging unit 164 and the audio output unit 165 are controlled by the CPU 161.

撮像部１６４は、カラーＣＣＤセンサやカラーＣＭＯＳ等のイメージセンサであり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。 The imaging unit 164 is an image sensor such as a color CCD sensor or a color CMOS, and performs imaging from the reading window 103 under the control of the CPU 161. For example, the imaging unit 164 captures a 30 fps moving image. Frame images (captured images) sequentially captured at a predetermined frame rate by the imaging unit 164 are stored in the RAM 163.

音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音等の音声による報知を行う。 The audio output unit 165 is an audio circuit and a speaker for generating a preset warning sound or the like. The sound output unit 165 performs notification by sound such as a warning sound under the control of the CPU 161.

また、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、接続インターフェース１７５には、接続インターフェース１７６を介して、表示・操作部１０４が接続されており、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。 The CPU 161 is connected to a connection interface 175 that connects to the connection interface 65 of the POS terminal 11 and enables data transmission / reception with the POS terminal 11. Further, the display / operation unit 104 is connected to the connection interface 175 via the connection interface 176, and the CPU 161 performs data transmission / reception with the display / operation unit 104 via the connection interface 175.

次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能構成について、図９を参照して説明する。 Next, the functional configuration of the CPU 161 and the CPU 61 realized by the CPU 161 and the CPU 61 executing the program will be described with reference to FIG.

図９は、ＰＯＳ端末１１及び商品読取装置１０１の機能構成を示すブロック図である。図９に示すように、商品読取装置１０１のＣＰＵ１６１は、プログラムを順次実行することにより、画像取込部１６１１、商品検出部１６１２、特徴量抽出部１６１３、類似度判定部１６１４、商品候補提示部１６１５、入力受付部１６１６及び情報出力部１６１７としての機能を備える。 FIG. 9 is a block diagram illustrating functional configurations of the POS terminal 11 and the commodity reading apparatus 101. As illustrated in FIG. 9, the CPU 161 of the product reading apparatus 101 sequentially executes the program, thereby causing an image capturing unit 1611, a product detection unit 1612, a feature amount extraction unit 1613, a similarity determination unit 1614, and a product candidate presentation unit. 1615, functions as an input reception unit 1616 and an information output unit 1617 are provided.

画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。画像取込部１６１１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存された撮像画像を順次取り込む。画像取込部１６１１による撮像画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。また、画像取込部１６１１は、取り込んだ撮像画像を、ＰＯＳ端末１１に出力する。 The image capturing unit 1611 outputs an imaging on signal to the imaging unit 164 and causes the imaging unit 164 to start an imaging operation. The image capturing unit 1611 sequentially captures captured images captured by the image capturing unit 164 and stored in the RAM 163 after the start of the image capturing operation. Captured images are captured by the image capture unit 1611 in the order stored in the RAM 163. The image capturing unit 1611 outputs the captured image that has been captured to the POS terminal 11.

商品検出部１６１２は、画像取込部１６１１により取り込まれた撮像画像から、読取窓１０３に翳された商品Ｇの写り込み領域を検出する機能部である。具体的に、画像取込部１６１１により取り込まれた撮像画像に含まれる商品Ｇの全部または一部の輪郭線を、公知のパターンマッチング技術等を用いて検出する。次いで、前回の撮像画像（フレーム画像）から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変化のあった部分、すなわち、読取窓１０３に向けられた商品の写り込み領域を検出する。 The product detection unit 1612 is a functional unit that detects a captured area of the product G that is trapped in the reading window 103 from the captured image captured by the image capture unit 1611. Specifically, all or part of the contour line of the product G included in the captured image captured by the image capturing unit 1611 is detected using a known pattern matching technique or the like. Next, the contour line extracted from the previous captured image (frame image) is compared with the contour line extracted from the current frame image, and the changed part, that is, the product directed to the reading window 103 is compared. Detect the reflection area.

なお、商品を検出する別の方法としては、撮像画像から肌色領域が検出されたか否かを判定し、肌色領域が検出された場合、つまり店員の手の写り込みが検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合には、この物体の輪郭から商品の写り込み領域を検出する。 As another method for detecting the product, it is determined whether or not a skin color area is detected from the captured image, and when the skin color area is detected, that is, when the reflection of the clerk's hand is detected, By detecting the above-mentioned contour line in the vicinity of the skin color region, the contour extraction of the product assumed to be held by the hand of the store clerk is attempted. At this time, when the contour indicating the shape of the hand and the contour of the other object in the vicinity of the contour of the hand are detected, the reflection area of the product is detected from the contour of the object.

特徴量抽出部１６１３は、画像取込部１６１１により取り込まれた撮像画像のうち、商品検出部１６１２で検出された商品Ｇの写り込み領域から、当該領域の表面の状態（表面の色合い、模様、凸凹状況、形状等）を、商品Ｇの特徴量として抽出する。また、特徴量抽出部１６１３は、商品特徴ファイルＦ２に登録された各登録商品の商品画像から特徴量を抽出する。 The feature amount extraction unit 1613 includes, from the captured image of the product G detected by the product detection unit 1612 in the captured image captured by the image capture unit 1611, the surface state (surface color, pattern, (Unevenness, shape, etc.) are extracted as feature quantities of the product G. The feature amount extraction unit 1613 extracts a feature amount from the product image of each registered product registered in the product feature file F2.

類似度判定部１６１４は、特徴量抽出部１６１３で抽出された商品Ｇの特徴量と、商品特徴ファイルＦ２に登録された各登録商品の特徴量とを比較し、両特徴量の関係を示す値（類似度）を算出する。また、類似度判定部１６１４は、算出した類似度が所定の閾値以上となった登録商品（商品コード）を、撮像部１６４で撮像された商品Ｇの候補として認識する。ここで、類似度は、商品Ｇの特徴量と商品特徴ファイルＦ２に登録された各登録商品の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値（類似度）であればよい。なお、類似度の概念は、この例に限らず、商品特徴ファイルＦ２に登録された各登録商品の特徴量との一致度を示す値や、商品Ｇの特徴量と商品特徴ファイルＦ２に登録された各登録商品の特徴量とがどの程度相関するかを示す値であってもよい。 The similarity determination unit 1614 compares the feature amount of the product G extracted by the feature amount extraction unit 1613 with the feature amount of each registered product registered in the product feature file F2, and indicates a relationship between both feature amounts. (Similarity) is calculated. Further, the similarity determination unit 1614 recognizes a registered product (product code) whose calculated similarity is equal to or greater than a predetermined threshold as a candidate for the product G imaged by the imaging unit 164. Here, the similarity is a value (similarity) indicating how similar the feature quantities of the product G are compared with the feature quantities of each registered product registered in the product feature file F2. I just need it. Note that the concept of similarity is not limited to this example, but is a value indicating the degree of coincidence with the feature quantity of each registered product registered in the product feature file F2, or the feature quantity of the product G and the product feature file F2. It may also be a value indicating how much the feature quantity of each registered product correlates.

上記のように画像中に含まれる物体を認識することは、一般物体認識（generic object recognition）と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２４年７月２６日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf > Recognizing an object included in an image as described above is called generic object recognition. Regarding such general object recognition, various recognition techniques are described in the following documents.
Keiji Yanai, “Current Status and Future of General Object Recognition”, IPSJ Journal, Vol. 48, no. SIG16 [Search on July 26, 2012], Internet <URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２４年７月２６日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf > Further, techniques for performing general object recognition by dividing an image into regions for each object are described in the following documents.
Jamie Shotton et al., “Semantic Texton Forests for Image Categorization and Segmentation”, [searched July 26, 2012], Internet <URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1. 1.145.3036 & rep = rep1 & type = pdf>

なお、類似度の算出方法は特に問わないものとする。例えば、類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。 Note that the method of calculating the similarity is not particularly limited. For example, the similarity may be calculated as an absolute evaluation or may be calculated as a relative evaluation.

類似度を絶対評価として算出する場合、商品Ｇの特徴量と、各登録商品の特徴量とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、商品Ｇの特徴量と、各登録商品の特徴量との類似度の総和が１．０（１００％）となるよう算出すればよい。 When calculating the similarity as an absolute evaluation, the feature amount of the product G and the feature amount of each registered product are compared on a one-to-one basis, and the similarity derived as a result of this comparison may be employed as it is. Further, when calculating the similarity as a relative evaluation, the total sum of the similarities between the feature amount of the product G and the feature amount of each registered product may be calculated to be 1.0 (100%).

商品候補提示部１６１５は、類似度判定部１６１４で商品Ｇの候補とされた登録商品に関する情報を、商品候補として表示デバイス１０６に表示させる。具体的に、商品候補提示部１６１５は、候補として認識された登録商品（商品コード）に関する商品情報をＰＯＳ端末１１のＰＬＵファイルＦ１から読み出し、類似度の高いものから、表示デバイス１０６に順次表示させる。 The product candidate presenting unit 1615 causes the display device 106 to display information on the registered product that is determined as the product G candidate by the similarity determination unit 1614 as a product candidate. Specifically, the product candidate presentation unit 1615 reads product information related to the registered product (product code) recognized as a candidate from the PLU file F1 of the POS terminal 11, and sequentially displays the product information on the display device 106 in descending order of similarity. .

図１０は、商品読取装置１０１の表示デバイス１０６に表示された商品候補の表示例を示す図である。図１０に示すように、表示デバイス１０６の表示画面のうち、商品候補提示領域Ａ１１には、類似度の高い登録商品の順に、その商品候補の商品情報に含まれたイラスト画像Ｇ１、Ｇ２、Ｇ３が商品名とともに表示される。これらイラスト画像Ｇ１、Ｇ２、Ｇ３は、タッチパネル１０５に対するタッチ操作に応じて選択可能に構成されている。また、商品候補提示領域Ａ１１の下部には、商品リストから商品を選択するための選択ボタンＢ１１が設けられており、商品リストから選択された商品は後述する確定商品として処理される。また、領域Ａ１２には、画像取込部１６１１により取り込まれた撮像画像が表示される。 FIG. 10 is a diagram illustrating a display example of product candidates displayed on the display device 106 of the product reading apparatus 101. As illustrated in FIG. 10, in the product candidate presentation area A11 on the display screen of the display device 106, illustration images G1, G2, and G3 included in the product information of the product candidates in the order of registered products with high similarity. Is displayed with the product name. These illustration images G1, G2, and G3 are configured to be selectable according to a touch operation on the touch panel 105. Further, a selection button B11 for selecting a product from the product list is provided at the lower part of the product candidate presentation area A11, and the product selected from the product list is processed as a confirmed product described later. In the area A12, the captured image captured by the image capturing unit 1611 is displayed.

なお、図１０では、３つの商品候補を提示する例を示したが、商品候補の提示方法はこれに限定されるものではない。例えば、イラスト画像に替えて商品特徴ファイルＦ２に登録された商品画像を表示する形態としてもよい。 In addition, although the example which shows three goods candidates was shown in FIG. 10, the presentation method of goods candidates is not limited to this. For example, a product image registered in the product feature file F2 may be displayed instead of the illustration image.

図９に戻り、入力受付部１６１６は、タッチパネル１０５又はキーボード１０７を介して表示デバイス１０６の表示に対応する各種入力操作を受け付ける。例えば、入力受付部１６１６は、表示デバイス１０６に表示された商品候補のイラスト画像（図１０参照）の中から何れか一つの商品候補に対する選択操作を受け付ける。入力受付部１６１６は、選択されたイラスト画像の商品候補を、撮像部１６４によって撮像された商品Ｇに対応する商品（確定商品）として受け付ける。なお、商品検出部１６１２が複数の商品Ｇを検出可能である場合には、入力受付部１６１６は商品候補の中から、複数の商品候補の選択操作を受け付けてもよい。 Returning to FIG. 9, the input receiving unit 1616 receives various input operations corresponding to the display of the display device 106 via the touch panel 105 or the keyboard 107. For example, the input reception unit 1616 receives a selection operation for any one product candidate from the product candidate illustration images (see FIG. 10) displayed on the display device 106. The input receiving unit 1616 receives the product candidate of the selected illustration image as a product (determined product) corresponding to the product G imaged by the imaging unit 164. Note that when the product detection unit 1612 can detect a plurality of products G, the input reception unit 1616 may receive a selection operation of a plurality of product candidates from the product candidates.

情報出力部１６１７は、上述のように確定された確定商品について、その商品を示す情報を、接続インターフェース１７５を介してＰＯＳ端末１１に出力する。本実施形態では、確定商品として商品コードの出力を行うものとするが、これに限らず、商品コードを特定することが可能な商品名、商品画像、イラスト画像のファイル名を出力してもよいし、その商品コードの格納場所（ＰＬＵファイルＦ１での格納アドレス）を出力してもよい。また、情報出力部１６１７は、タッチパネル１０５又はキーボード１０７を介して別途入力された販売個数を、商品コード等とともにＰＯＳ端末１１に出力する。 The information output unit 1617 outputs, to the POS terminal 11 via the connection interface 175, information indicating the confirmed product confirmed as described above. In this embodiment, the product code is output as the confirmed product. However, the present invention is not limited to this, and the product name, product image, and illustration image file name that can specify the product code may be output. The storage location of the product code (storage address in the PLU file F1) may be output. Further, the information output unit 1617 outputs the sales quantity separately input via the touch panel 105 or the keyboard 107 to the POS terminal 11 together with the product code and the like.

一方、ＰＯＳ端末１１のＣＰＵ６１は、プログラムを実行することにより、画像取込部６１１、ラベル読取部６１２及び売上登録部６１３としての機能を備える。 On the other hand, the CPU 61 of the POS terminal 11 has functions as an image capturing unit 611, a label reading unit 612, and a sales registration unit 613 by executing a program.

画像取込部６１１は、商品読取装置１０１から出力されＲＡＭ６３に保存された撮像画像を順次取り込む。画像取込部６１１による撮像画像の取り込みは、ＲＡＭ６３に保存された順に行われる。 The image capturing unit 611 sequentially captures captured images output from the commodity reading apparatus 101 and stored in the RAM 63. Captured images are captured by the image capturing unit 611 in the order stored in the RAM 63.

ラベル読取部６１２は、画像取込部６１１が取り込んだ撮像画像に対して、サービス表示ラベルの画像を検出するラベル読取処理を行う。ラベル読取部６１２は、サービス表示ラベルの画像を検出するまで、画像取込部６１１による撮像画像の取り込みを予め定めた所定の時間だけ行う。また、ラベル読取部６１２は、所定の時間内にサービス表示ラベルの画像を検出した場合には、検出したサービス表示ラベルの画像から、そのサービス内容を特定する。 The label reading unit 612 performs label reading processing for detecting an image of the service display label on the captured image captured by the image capturing unit 611. The label reading unit 612 performs capturing of the captured image by the image capturing unit 611 for a predetermined time until an image of the service display label is detected. Further, when the label reading unit 612 detects the service display label image within a predetermined time, the label reading unit 612 identifies the service content from the detected service display label image.

具体的に、ラベル読取部６１２は、画像取込部６１１が取り込んだ撮像画像に対して、ＯＣＲ（Optical Character Reader）等の文字認識処理や、パターン認識等の処理を行う。ラベル読取部６１２は、サービス表示ラベルが含む文字や絵、シンボル等の特徴と、ラベル特徴ファイルＦ３に登録されたラベル特徴データとを照合して、一致度の高いラベル特徴データを検出した場合に、このサービス表示ラベルにより付与されるサービス内容（サービス情報）を認識（特定）したと判断する。また、ラベル読取部６１２は、認識したサービス表示ラベルのサービスコードを、売上登録部６１３に通知する。 Specifically, the label reading unit 612 performs character recognition processing such as OCR (Optical Character Reader) and pattern recognition processing on the captured image captured by the image capturing unit 611. When the label reading unit 612 collates the features such as characters, pictures, and symbols included in the service display label with the label feature data registered in the label feature file F3, and detects label feature data having a high degree of coincidence. Then, it is determined that the service content (service information) given by the service display label is recognized (specified). Further, the label reading unit 612 notifies the sales registration unit 613 of the service code of the recognized service display label.

また、ラベル読取部６１２は、サービスの特定が完了したか否かを、フラグで管理するものとする。本実施形態では、デフォルト値となるフラグ＝０が、サービスの特定が未完の状態を意味し、フラグ＝１が、サービスの認識が完了したことを意味する。 In addition, the label reading unit 612 manages with a flag whether or not the identification of the service is completed. In this embodiment, a flag = 0 as a default value means that a service has not been specified, and a flag = 1 means that service recognition has been completed.

売上登録部６１３は、商品読取装置１０１から入力される商品コード、ラベル読取部６１２から通知されるサービスコードに基づいて、その商品コードに対応する商品の売上登録に係る処理を行う機能部である。 The sales registration unit 613 is a functional unit that performs processing related to the sales registration of the product corresponding to the product code based on the product code input from the product reading device 101 and the service code notified from the label reading unit 612. .

具体的に、売上登録部６１３は、商品読取装置１０１から出力された商品コード（及び販売個数）を、接続インターフェース６５を介して受信すると、この商品コードに対応する登録商品の商品情報をＰＬＵファイルＦ１から読み出し、その内容を表示デバイス２３に表示させる。また、売上登録部６１３は、ラベル読取部６１２からサービスコードが通知された場合に、このサービスコードに対応するサービス情報を商品特徴ファイルＦ２から読み出し、その内容を表示デバイス２３に表示させる。 Specifically, when the sales registration unit 613 receives the product code (and the sales quantity) output from the product reading device 101 via the connection interface 65, the sales registration unit 613 displays the product information of the registered product corresponding to the product code in the PLU file. Read from F1, and display the contents on the display device. In addition, when the service code is notified from the label reading unit 612, the sales registration unit 613 reads service information corresponding to the service code from the product feature file F2, and displays the content on the display device 23.

ここで、図１１は、ＰＯＳ端末１１の表示デバイス２３に表示された商品情報の表示例を示す図である。図１１に示すように、表示デバイス２３の表示画面のうち、商品情報提示領域Ａ２１には、商品コードによってＰＬＵファイルＦ１から特定される登録商品の商品情報が表示される。同図では、商品コード“ＸＸＸＸＸＸＸＸ”の商品情報のうち、イラスト画像Ｇ１１と、商品名Ｍ１１と、販売価格Ｍ１２とを表示した例を示している。 Here, FIG. 11 is a diagram illustrating a display example of the product information displayed on the display device 23 of the POS terminal 11. As shown in FIG. 11, in the display screen of the display device 23, in the product information presentation area A21, the product information of the registered product specified from the PLU file F1 by the product code is displayed. The figure shows an example in which an illustration image G11, a product name M11, and a sales price M12 are displayed in the product information of the product code “XXXXXXX”.

ここで、商品名Ｍ１１では、商品読取装置１０１から商品コードとともに受信した販売個数を併せて表示している。また、図１１では、ラベル読取部６１２からサービスコード“１”（図７参照）が通知された例を想定しており、このサービスコードに対応するサービス情報のサービス内容（２０円引）を反映した販売価格（商品単価）を、販売価格Ｍ１２に表示している。 Here, in the product name M11, the number of sales received together with the product code from the product reading device 101 is also displayed. Further, FIG. 11 assumes an example in which the service code “1” (see FIG. 7) is notified from the label reading unit 612, and reflects the service content (20 yen discount) of the service information corresponding to this service code. The sold sales price (product unit price) is displayed in the sales price M12.

なお、商品情報の提示方法は、図１１の例に限定されるものではない。例えば、商品コードやサービスコード等を表示する形態としてもよいし、商品コードとサービスコードとの組から生成される複合コードを表示する形態としてもよい。また、図１１の画面を顧客用表示デバイス２４に表示する形態としてもよい。 In addition, the presentation method of merchandise information is not limited to the example of FIG. For example, a product code, a service code, or the like may be displayed, or a composite code generated from a combination of the product code and the service code may be displayed. Moreover, it is good also as a form which displays the screen of FIG. 11 on the display device 24 for customers.

また、売上登録部６１３は、ラベル読取部６１２からサービスコードが通知された場合、コード生成ファイルＦ４に登録された複合コードの生成ルールに基づき、そのサービスコードと商品読取装置１０１から出力された商品コードとの組から複合コードを生成する。例えば、売上登録部６１３は、コード生成ファイルＦ４に基づき、商品コード“ＸＸＸＸＸＸＸＸ”と、サービスコード“１”との組から、複合コード“ＸＸＸＸＸＸＸＸ１”を生成する。 Further, the sales registration unit 613, when notified of the service code from the label reading unit 612, based on the composite code generation rule registered in the code generation file F4, the service code and the product output from the product reading device 101 A composite code is generated from a pair with the code. For example, the sales registration unit 613 generates a composite code “XXXXXXXXX1” from a set of the product code “XXXXXXX” and the service code “1” based on the code generation file F4.

そして、売上登録部６１３は、生成した複合コードを販売個数とともに売上マスタファイル等に記録することで売上登録を行う。また、サービスコードが通知されない場合には、売上登録部６１３は、商品コードを販売個数とともに売上マスタファイル等に記録することで売上登録を行う。なお、売上登録の内容は、上記に限らず、商品分類、商品名、単価等を記録する形態としてもよい。 Then, the sales registration unit 613 performs sales registration by recording the generated composite code together with the number of sales in a sales master file or the like. When the service code is not notified, the sales registration unit 613 performs sales registration by recording the product code together with the number of sales in a sales master file or the like. The contents of sales registration are not limited to the above, but may be a form in which product classification, product name, unit price, and the like are recorded.

次に、チェックアウトシステム１の動作について説明する。まず、商品読取装置１０１の動作について説明する。図１２は、商品読取装置１０１が実行する商品識別処理の手順を示すフローチャートである。 Next, the operation of the checkout system 1 will be described. First, the operation of the commodity reading apparatus 101 will be described. FIG. 12 is a flowchart illustrating a procedure of product identification processing executed by the product reading apparatus 101.

図１２に示すように、ＰＯＳ端末１１による商品登録の開始等に応じて処理が開始されると、画像取込部１６１１は、撮像部１６４に撮像オン信号を出力して撮像部１６４による撮像を開始する（ステップＳ１１）。 As illustrated in FIG. 12, when processing is started in response to the start of product registration by the POS terminal 11, the image capturing unit 1611 outputs an imaging on signal to the imaging unit 164 and performs imaging by the imaging unit 164. Start (step S11).

画像取込部１６１１は、撮像部１６４が撮像してＲＡＭ１６３に保存されたフレーム画像（撮像画像）を取り込む（ステップＳ１２）。また、画像取込部１６１１は、ステップＳ１２で取り込んだ撮像画像をＰＯＳ端末１１に出力する（ステップＳ１３）。 The image capturing unit 1611 captures a frame image (captured image) captured by the image capturing unit 164 and stored in the RAM 163 (step S12). Further, the image capturing unit 1611 outputs the captured image captured in step S12 to the POS terminal 11 (step S13).

続いて、商品検出部１６１２は、ステップＳ１２で取り込まれた撮像画像から商品Ｇの写り込み領域を検出する（ステップＳ１４）。特徴量抽出部１６１３は、ステップＳ１４で検出された撮像画像中の商品Ｇの写り込み領域から、当該領域の表面の状態を商品Ｇの特徴量として抽出する（ステップＳ１５）。また、特徴量抽出部１６１３は、商品特徴ファイルＦ２に登録された各登録商品の商品画像から特徴量を抽出する。 Subsequently, the product detection unit 1612 detects a reflection area of the product G from the captured image captured in step S12 (step S14). The feature amount extraction unit 1613 extracts the state of the surface of the product G from the captured region of the product G in the captured image detected in step S14 as the feature amount of the product G (step S15). The feature amount extraction unit 1613 extracts a feature amount from the product image of each registered product registered in the product feature file F2.

類似度判定部１６１４は、ステップＳ１５で抽出された商品Ｇの特徴量と、商品特徴ファイルＦ２に登録された各登録商品の特徴量との類似度を算出する（ステップＳ１６）。次いで、類似度判定部１６１４は、ステップＳ１５で類似度を算出した登録商品の中に、商品Ｇの特徴量との類似度が所定の閾値以上となった登録商品が存在するか否かを判定する（ステップＳ１７）。 The similarity determination unit 1614 calculates the similarity between the feature amount of the product G extracted in step S15 and the feature amount of each registered product registered in the product feature file F2 (step S16). Next, the similarity determination unit 1614 determines whether there is a registered product whose similarity with the feature amount of the product G is equal to or greater than a predetermined threshold among the registered products whose similarity is calculated in step S15. (Step S17).

ステップＳ１７において、類似度が閾値以上の登録商品が存在すると判定した場合（ステップＳ１７；Ｙｅｓ）、特徴量抽出部１６１３は、その登録商品を撮像部１６４で撮像された商品Ｇの候補として認識し（ステップＳ１８）、ステップＳ１９に移行する。また、類似度が閾値以上の登録商品が存在しないと判定した場合には（ステップＳ１７；Ｎｏ）、ステップＳ１２に再び戻る。 If it is determined in step S17 that there is a registered product with a similarity equal to or greater than the threshold (step S17; Yes), the feature amount extraction unit 1613 recognizes the registered product as a candidate for the product G imaged by the imaging unit 164. (Step S18), the process proceeds to Step S19. If it is determined that there is no registered product with a similarity equal to or greater than the threshold (step S17; No), the process returns to step S12 again.

ステップＳ１９において、商品候補提示部１６１５は、ステップＳ１８で商品Ｇの候補として認識された登録商品に関する情報を、商品候補として表示デバイス１０６に表示させる（ステップＳ１９）。 In step S19, the product candidate presentation unit 1615 causes the display device 106 to display information on the registered product recognized as the product G candidate in step S18 as a product candidate (step S19).

続いて、入力受付部１６１６は、タッチパネル１０５又はキーボード１０７を介して、商品候補の選択を受け付けたか否かを判定する（ステップＳ２０）。ここで、選択操作を受け付けた場合（ステップＳ２０；Ｙｅｓ）、入力受付部１６１６は、選択された商品候補を、撮像部１６４によって撮像された商品Ｇに対応する確定商品として受け付け、ステップＳ２１に移行する。一方、選択を受け付けない場合には（ステップＳ２０；Ｎｏ）、ステップＳ１２に再び戻る。 Subsequently, the input receiving unit 1616 determines whether or not selection of a product candidate has been received via the touch panel 105 or the keyboard 107 (step S20). If a selection operation is received (step S20; Yes), the input reception unit 1616 receives the selected product candidate as a confirmed product corresponding to the product G imaged by the imaging unit 164, and proceeds to step S21. To do. On the other hand, when the selection is not accepted (step S20; No), the process returns to step S12 again.

続いて、情報出力部１６１７は、ステップＳ２０で選択された確定商品について、その商品を示す商品コード等の情報を、接続インターフェース１７５を介してＰＯＳ端末１１に出力し（ステップＳ２１）、ステップＳ２２に移行する。 Subsequently, the information output unit 1617 outputs, for the confirmed product selected in step S20, information such as a product code indicating the product to the POS terminal 11 via the connection interface 175 (step S21). Transition.

ここで、タッチパネル１０５又はキーボード１０７を介して販売個数が別途入力された場合には、ステップＳ２１において、確定商品を示す情報とともに、その販売個数をＰＯＳ端末１１に出力するものとする。なお、販売個数の入力が行われない場合には、デフォルト値として販売個数“１”を出力する形態としてもよい。 Here, when the sales quantity is separately input via the touch panel 105 or the keyboard 107, the sales quantity is output to the POS terminal 11 together with information indicating the confirmed product in step S21. If the sales quantity is not input, the sales quantity “1” may be output as a default value.

ステップＳ２２において、ＣＰＵ１６１は、ＰＯＳ端末１１から商品登録の終了通知等による業務終了の有無を判定する（ステップＳ２２）。ここで、業務を継続する場合（ステップＳ２２；Ｎｏ）、ＣＰＵ１６１は、ステップＳ１２へ処理を戻して処理を継続させる。また、業務を終了する場合（ステップＳ２２；Ｙｅｓ）、画像取込部１６１１は、撮像部１６４に撮像オフ信号を出力することで、撮像部１６４による撮像を終了し（ステップＳ２３）、処理を終了する。 In step S <b> 22, the CPU 161 determines whether or not there is an end of business based on a product registration end notification from the POS terminal 11 (step S <b> 22). Here, when the business is continued (step S22; No), the CPU 161 returns the process to step S12 to continue the process. When the job is to be ended (step S22; Yes), the image capturing unit 1611 outputs the imaging off signal to the imaging unit 164, thereby ending the imaging by the imaging unit 164 (step S23) and ending the process. To do.

次に、ＰＯＳ端末１１の処理動作について説明する。図１３は、ＰＯＳ端末１１が実行する売上登録処理の手順を示すフローチャートである。 Next, the processing operation of the POS terminal 11 will be described. FIG. 13 is a flowchart showing the procedure of sales registration processing executed by the POS terminal 11.

キーボード２２の操作指示による商品登録の開始等に応じて処理が開始されると、まず、ＣＰＵ６１は、後述するサービス表示ラベルの読み取り時間を計時するためのタイマーをリセットするとともに、サービス表示ラベルの読み取りに係るフラグを“０”とする（ステップＳ３１）。 When processing is started in response to the start of product registration in response to an operation instruction on the keyboard 22, the CPU 61 first resets a timer for measuring the reading time of a service display label, which will be described later, and reads the service display label. Is set to “0” (step S31).

画像取込部６１１は、商品読取装置１０１からの出力によりＲＡＭ６３に保存された撮像画像を取り込む（ステップＳ３２）。ラベル読取部６１２は、ステップＳ３２で取り込まれた撮像画像に対し、サービス表示ラベルの画像を検出するラベル読取処理を開始し（ステップＳ３３）、当該撮像画像からサービス表示ラベルの画像を検出できたか否かを判定する（ステップＳ３４）。 The image capturing unit 611 captures a captured image stored in the RAM 63 by the output from the commodity reading apparatus 101 (step S32). The label reading unit 612 starts label reading processing for detecting the service display label image for the captured image captured in step S32 (step S33), and whether or not the service display label image has been detected from the captured image. Is determined (step S34).

ここで、サービス表示ラベルの画像が検出されない場合（ステップＳ３４；Ｎｏ）、画像取込部６１１は、ステップＳ３１で計時を開始してからの経過時間が、所定の制限時間（例えば、３秒等）に到達したか否かを判定する（ステップＳ３５）。制限時間未満の場合（ステップＳ３５；Ｎｏ）、ラベル読取部６１２は、ステップＳ３２に再び戻り、新たに取り込まれる撮像画像に対し、ラベル読取処理を開始する。なお、制限時間に到達したと判定された場合には、ステップＳ３８に直ちに移行する。 Here, when the image of the service display label is not detected (step S34; No), the image capture unit 611 has a predetermined time limit (for example, 3 seconds) since the time elapsed from the start of the time measurement in step S31. ) Is determined (step S35). If it is less than the time limit (step S35; No), the label reading unit 612 returns to step S32 again, and starts label reading processing for the newly captured image. If it is determined that the time limit has been reached, the process immediately proceeds to step S38.

また、ステップＳ３４において、サービス表示ラベルの画像が検出された場合（ステップＳ３４；Ｙｅｓ）、ラベル読取部６１２は、ラベル特徴ファイルＦ３に基づき、検出したサービス表示ラベルの画像からサービス内容を認識し、そのサービスコードを売上登録部６１３に通知する（ステップＳ３６）。次いで、ラベル読取部６１２は、フラグを“１”に設定し（ステップＳ３７）、ステップＳ３８に移行する。 If the service display label image is detected in step S34 (step S34; Yes), the label reading unit 612 recognizes the service content from the detected service display label image based on the label feature file F3, and The service code is notified to the sales registration unit 613 (step S36). Next, the label reading unit 612 sets the flag to “1” (step S37), and proceeds to step S38.

続くステップＳ３８では、売上登録部６１３が、商品読取装置１０１から商品コード（及び販売個数）を受信するまで待機する（ステップＳ３８；Ｎｏ）。商品コード（及び販売個数）を商品読取装置１０１から受信すると（ステップＳ３８；Ｙｅｓ）、売上登録部６１３は、フラグが“１”に設定されているか否かを判定する（ステップＳ３９）。 In subsequent step S38, the sales registration unit 613 waits until it receives a product code (and the number of products sold) from the product reading device 101 (step S38; No). When the merchandise code (and the sales quantity) is received from the merchandise reading apparatus 101 (step S38; Yes), the sales registration unit 613 determines whether or not the flag is set to “1” (step S39).

ここで、フラグが“１”と判定した場合（ステップＳ３９；Ｙｅｓ）、売上登録部６１３は、受信した商品コードに対応する登録商品、及び、ステップＳ３６で認識されたサービスコードに対応するサービス内容に関する情報を表示デバイス２３に表示させる（ステップＳ４０）。 If the flag is determined to be “1” (step S39; Yes), the sales registration unit 613 displays the registered product corresponding to the received product code and the service content corresponding to the service code recognized in step S36. The information regarding is displayed on the display device 23 (step S40).

次いで、売上登録部６１３は、コード生成ファイルＦ４に登録された複合コードの生成ルールに基づき、商品コードとサービスコードとの組から複合コードを生成すると（ステップＳ４１）、その複合コードを用いて売上登録を行う（ステップＳ４２）。 Next, the sales registration unit 613 generates a composite code from the combination of the product code and the service code based on the composite code generation rule registered in the code generation file F4 (step S41). Registration is performed (step S42).

一方、ステップＳ３９において、フラグが“０”と判定した場合（ステップＳ３９；Ｎｏ）、売上登録部６１３は、受信した商品コードに対応する登録商品に関する情報を表示デバイス２３に表示させる（ステップＳ４３）。次いで、売上登録部６１３は、その商品コードを用いて売上登録を行う（ステップＳ４４）。 On the other hand, if it is determined in step S39 that the flag is “0” (step S39; No), the sales registration unit 613 causes the display device 23 to display information related to the registered product corresponding to the received product code (step S43). . Next, the sales registration unit 613 performs sales registration using the product code (step S44).

続いて、ＣＰＵ６１は、キーボード２２の操作指示による売上登録の終了等による業務終了の有無を判定する（ステップＳ４５）。業務を継続する場合（ステップＳ４５；Ｎｏ）、ＣＰＵ６１は、ステップＳ３１へ再び戻り処理を継続させる。業務を終了する場合（ステップＳ４５；Ｙｅｓ）、ＣＰＵ６１は処理を終了する。 Subsequently, the CPU 61 determines whether or not there is an end of business due to the end of sales registration or the like by an operation instruction of the keyboard 22 (step S45). When business is continued (step S45; No), the CPU 61 returns to step S31 again and continues the process. When the business is to be ended (step S45; Yes), the CPU 61 ends the process.

なお、上記処理では、ステップＳ３１〜Ｓ３７の後に、ステップＳ３８を行う形態としたが、これに限らず、ステップＳ３８を先行して行った後、ステップＳ３１〜Ｓ３７の処理を実行する形態としてもよいし、ステップＳ３１〜Ｓ３７の処理と、ステップＳ３８の処理とを並列で行う形態としてもよい。また、これらの他の形態を採用する場合には、ステップＳ３５の制限時間を加味した時間の間、フラグが“１”となるまでステップＳ３９の判定処理を繰り返し行うものとする。 In the above process, step S38 is performed after steps S31 to S37. However, the present invention is not limited to this, and the process of steps S31 to S37 may be performed after step S38 is performed in advance. And it is good also as a form which performs the process of step S31-S37, and the process of step S38 in parallel. When these other forms are employed, the determination process in step S39 is repeatedly performed until the flag becomes “1” during the time including the time limit in step S35.

以上のように、本実施形態によれば、商品Ｇの認識と、当該商品Ｇに付されたラベルの認識とを個別に行い、これらの認識により得られた各コード（商品コード、サービスコード）を、一の複合コードとして出力する。これにより、一の商品Ｇに係る商品コード及びサービスコードを、統合した状態で売上登録することができるため、この売上登録に係る処理の効率化を図ることができる。 As described above, according to the present embodiment, the recognition of the product G and the recognition of the label attached to the product G are performed separately, and each code (product code, service code) obtained by the recognition is performed. Is output as a single composite code. As a result, since the product code and the service code related to one product G can be registered in a consolidated state, the processing related to the sales registration can be made more efficient.

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As mentioned above, although embodiment of this invention was described, the said embodiment was shown as an example and is not intending limiting the range of invention. The above embodiment can be implemented in various other forms, and various omissions, replacements, changes, additions, and the like can be made without departing from the scope of the invention. Moreover, the said embodiment and its deformation | transformation are included in the range of the invention, the summary, and the invention described in the claim, and its equal range.

例えば、上記実施形態では、ＰＯＳ端末１１が、ＰＬＵファイルＦ１、商品特徴ファイルＦ２、ラベル特徴ファイルＦ３及びコード生成ファイルＦ４を備える形態としたが、これに限らず、商品読取装置１０１が、ＰＬＵファイルＦ１、商品特徴ファイルＦ２、ラベル特徴ファイルＦ３及びコード生成ファイルＦ４の一部又は全てを備える形態としてもよい。 For example, in the above embodiment, the POS terminal 11 includes the PLU file F1, the product feature file F2, the label feature file F3, and the code generation file F4. It is good also as a form provided with a part or all of F1, the product feature file F2, the label feature file F3, and the code generation file F4.

また、上記実施形態では、ＰＯＳ端末１１側でサービス表示ラベルの認識を、商品読取装置１０１側で商品候補の認識を行う形態としたが、これに限らず、ＰＯＳ端末１１側で商品候補を認識し、商品読取装置１０１側でサービス表示ラベルを認識する形態としてもよい。この場合、例えば、ＰＯＳ端末１１が商品検出部１６１２、特徴量抽出部１６１３、類似度判定部１６１４、商品候補提示部１６１５、入力受付部１６１６を備え、商品読取装置１０１がラベル読取部６１２を備え、このラベル読取部６１２での認識結果を情報出力部１６１７からＰＯＳ端末１１に出力することで実現することができる。 In the above embodiment, the service display label is recognized on the POS terminal 11 side and the product candidate is recognized on the product reading apparatus 101 side. However, the present invention is not limited to this, and the product candidate is recognized on the POS terminal 11 side. The service reading label may be recognized on the commodity reading apparatus 101 side. In this case, for example, the POS terminal 11 includes a product detection unit 1612, a feature amount extraction unit 1613, a similarity determination unit 1614, a product candidate presentation unit 1615, and an input reception unit 1616, and the product reading apparatus 101 includes a label reading unit 612. This can be realized by outputting the recognition result in the label reading unit 612 from the information output unit 1617 to the POS terminal 11.

また、商品読取装置１０１の機能部の一部又は全てをＰＯＳ端末１１が備える形態としてもよい。 The POS terminal 11 may have a part or all of the functional units of the commodity reading apparatus 101.

例えば、ＰＯＳ端末１１が、商品検出部１６１２、特徴量抽出部１６１３及び類似度判定部１６１４を備え、商品読取装置１０１が、商品候補提示部１６１５、入力受付部１６１６及び情報出力部１６１７を備える形態としてもよい。この場合、商品読取装置１０１側は、撮像画像をＰＯＳ端末１１に送信し、ＰＯＳ端末１１で認識された商品（登録商品）の結果を受信することで、商品候補提示部１６１５により商品候補の提示を行う。 For example, the POS terminal 11 includes a product detection unit 1612, a feature amount extraction unit 1613, and a similarity determination unit 1614, and the product reading apparatus 101 includes a product candidate presentation unit 1615, an input reception unit 1616, and an information output unit 1617. It is good. In this case, the commodity reading apparatus 101 transmits the captured image to the POS terminal 11 and receives the result of the commodity (registered commodity) recognized by the POS terminal 11 so that the commodity candidate presenting unit 1615 presents the commodity candidate. I do.

また、商品読取装置１０１の機能部の全てをＰＯＳ端末１１が備えることで、ＰＯＳ端末１１側でサービス表示ラベルの認識と、商品候補の認識とを行う形態としてもよい。この場合、商品読取装置１０１は撮像装置として機能し、ＰＯＳ端末１１では、商品読取装置１０１から送信される撮像画像に基づいて、サービス表示ラベルの検出と、商品候補の選別とを行うものとする。 Moreover, it is good also as a form which recognizes a service display label and recognition of a goods candidate by the POS terminal 11 side by providing all the function parts of the goods reading apparatus 101 in the POS terminal 11 side. In this case, the product reading device 101 functions as an imaging device, and the POS terminal 11 detects a service display label and selects product candidates based on the captured image transmitted from the product reading device 101. .

また、上記実施形態では、据置型のスキャナ装置（商品読取装置１０１）を用いた例を説明したが、これに限らず、いわゆるハンディタイプのスキャナ装置がＰＯＳ端末１１に接続された形態であってもよい。 In the above embodiment, an example using a stationary scanner device (product reading device 101) has been described. However, the present invention is not limited to this, and a so-called handy type scanner device is connected to the POS terminal 11. Also good.

また、上記実施形態では、ＰＯＳ端末１１と商品読取装置１０１とで構成されるチェックアウトシステム１に本発明の実施形態を適用した例を説明したが、これに限るものではない。例えば、商品読取装置１０１単体に発明の実施形態を適用して構成するようにしてもよい。また、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置に適用するようにしてもよい。ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。 Moreover, although the said embodiment demonstrated the example which applied embodiment of this invention to the checkout system 1 comprised with the POS terminal 11 and the goods reading apparatus 101, it is not restricted to this. For example, the embodiment of the invention may be applied to the commodity reading apparatus 101 alone. Further, the present invention may be applied to a single device having the functions of the POS terminal 11 and the commodity reading device 101. As a single device having the functions of the POS terminal 11 and the commodity reading device 101, there is a self-checkout device (hereinafter simply referred to as self-POS) installed and used in a store such as a supermarket.

ここで、図１４は、セルフＰＯＳ２００の外観構成を示す斜視図、図１５は、セルフＰＯＳ２００のハードウェア構成を示すブロック図である。なお、以下では、図１及び図２に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。 Here, FIG. 14 is a perspective view showing an external configuration of the self-POS 200, and FIG. 15 is a block diagram showing a hardware configuration of the self-POS 200. In addition, below, the same code | symbol is attached | subjected and shown about the same structure shown by FIG.1 and FIG.2, and the duplicate description is abbreviate | omitted.

図１４及び図１５に示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル１０５が表面に配設された表示デバイス１０６や、商品の種別等を認識（検出）するために商品画像を読み取る商品読取部１１０を備えている。 As shown in FIGS. 14 and 15, the main body 202 of the self-POS 200 includes a display device 106 with a touch panel 105 disposed on the surface, and a product reading unit that reads product images for recognizing (detecting) the product type and the like. 110 is provided.

表示デバイス１０６としては例えば液晶表示器が用いられる。表示デバイス１０６は、客にセルフＰＯＳ２００の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部１１０で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。 For example, a liquid crystal display is used as the display device 106. The display device 106 is a guidance screen for notifying the customer of the operation method of the self-POS 200, various input screens, a registration screen for displaying product information read by the product reading unit 110, a total price of goods, a deposit price, and change. Display the amount, etc. and display the payment screen for selecting the payment method.

商品読取部１１０は、客が商品に付されたコードシンボルを商品読取部１１０の読取窓１０３にかざすことで商品画像を撮像部１６４により読み取るものである。 The product reading unit 110 reads a product image by the imaging unit 164 by a customer holding the code symbol attached to the product over the reading window 103 of the product reading unit 110.

また、本体２０２の右側にはかごに入った未精算の商品を置くための商品載置台２０３が設けられ、本体２０２の左側には精算済みの商品を置くための商品載置台２０４が設けられ、精算済みの商品を入れるための袋を掛けるための袋掛けフック２０５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台２０６が設けられている。商品載置台２０３及び２０４には計量器２０７及び２０８がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有している。 Further, on the right side of the main body 202, a product placement table 203 for placing unsettled products in a basket is provided, and on the left side of the main body 202, a product placement table 204 for placing settled products is provided. There are provided a bag hook 205 for hanging a bag for putting a product already settled, and a temporary placing table 206 for temporarily placing the settled product before putting it in the bag. The product placement tables 203 and 204 are provided with weighing devices 207 and 208, respectively, and have a function of confirming that the product weight is the same before and after the settlement.

また、セルフＰＯＳ２００の本体２０２には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器２０１が設けられている。 In addition, the main body 202 of the self-POS 200 is provided with a changer 201 for depositing banknotes for payment and receiving fishing banknotes.

このような構成のセルフＰＯＳ２００に本発明の実施形態を適用した場合、セルフＰＯＳ２００が情報処理装置として機能することになる。なお、ＰＯＳ端末１１と商品読取装置１０１との機能を備えた１台構成の装置は、上述した構成のセルフＰＯＳ２００に限らず、計量器２０７及び２０８を除いて構成された装置であってもよい。 When the embodiment of the present invention is applied to the self-POS 200 having such a configuration, the self-POS 200 functions as an information processing apparatus. Note that the one-device apparatus having the functions of the POS terminal 11 and the commodity reading apparatus 101 is not limited to the self-POS 200 having the above-described structure, and may be an apparatus configured without the measuring instruments 207 and 208. .

また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。 In addition, the program executed by each device of the above embodiment is provided by being incorporated in advance in a storage medium (ROM or storage unit) included in each device, but is not limited thereto, and can be installed in a form or executable. Various types of files may be recorded and provided on a computer-readable recording medium such as a CD-ROM, a flexible disk (FD), a CD-R, or a DVD (Digital Versatile Disk). Furthermore, the storage medium is not limited to a medium independent of a computer or an embedded system, but also includes a storage medium in which a program transmitted via a LAN, the Internet, or the like is downloaded and stored or temporarily stored.

また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。 Further, the program executed by each device of the above embodiment may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network, or via a network such as the Internet. It may be configured to be provided or distributed.

また、上記実施形態のプログラムを、通信機能を有する携帯電話、スマートフォン、ＰＤＡ（Personal Digital Assistant）等の携帯情報端末に組み込んで、その機能を実現させる形態としてもよい。 Moreover, the program of the said embodiment is good also as a form which incorporates in portable information terminals, such as a mobile telephone, a smart phone, and PDA (Personal Digital Assistant) which have a communication function, and implement | achieves the function.

１チェックアウトシステム
１１ＰＯＳ端末
６１１画像取込部
６１２ラベル読取部
６１３売上登録部
１０１商品読取装置
１６１１画像取込部
１６１２商品検出部
１６１３特徴量抽出部
１６１４類似度判定部
１６１５商品候補提示部
１６１６入力受付部
１６１７情報出力部
Ｆ１ＰＬＵファイル
Ｆ２商品特徴ファイル
Ｆ３ラベル特徴ファイル
Ｆ４コード生成ファイル DESCRIPTION OF SYMBOLS 1 Checkout system 11 POS terminal 611 Image taking-in part 612 Label reading part 613 Sales registration part 101 Goods reading apparatus 1611 Image taking-in part 1612 Goods detection part 1613 Feature-value extraction part 1614 Similarity determination part 1615 Goods candidate presentation part 1616 Input Reception unit 1617 Information output unit F1 PLU file F2 Product feature file F3 Label feature file F4 Code generation file

特開２０１１−１５４４０９号公報JP 2011-154409 A

Claims

撮像手段が撮像した撮像画像を取り込む取込手段と、
前記取込手段が取り込んだ撮像画像から、前記撮像手段で撮像された商品を認識する第１認識手段と、
前記取込手段が取り込んだ撮像画像から、前記商品に付されたラベルを認識する第２認識手段と、
前記第１認識手段及び前記第２認識手段での認識結果を表した一のコードを出力する出力手段と、
を備える情報処理装置。 Capture means for capturing a captured image captured by the imaging means;
A first recognition unit for recognizing a product imaged by the imaging unit from a captured image captured by the capturing unit;
Second recognition means for recognizing a label attached to the product from the captured image captured by the capture means;
An output means for outputting one code representing a recognition result in the first recognition means and the second recognition means;
An information processing apparatus comprising:

前記第１認識手段で認識された商品に対応する第１コードと、前記第２認識手段で認識されたラベルに対応する第２コードとから、第３コードを生成する生成手段を更に備え、
前記出力手段は、前記生成手段で生成された前記第３コードを出力する請求項１に記載の情報処理装置。 A generating means for generating a third code from the first code corresponding to the product recognized by the first recognizing means and the second code corresponding to the label recognized by the second recognizing means;
The information processing apparatus according to claim 1, wherein the output unit outputs the third code generated by the generation unit.

前記出力手段は、前記第２認識手段により前記ラベルが所定時間以内に認識されなかった場合、前記第１認識手段で認識された前記第１コードを出力する請求項１又は２に記載の情報処理装置。 3. The information processing according to claim 1, wherein the output means outputs the first code recognized by the first recognition means when the label is not recognized within a predetermined time by the second recognition means. apparatus.

前記第１認識手段は、前記撮像画像に含まれた前記商品の画像から特徴量を抽出し、各基準商品の特徴量と比較することで前記商品に対応する基準商品を認識する請求項１〜３の何れか一項に記載の情報処理装置。 The said 1st recognition means recognizes the reference | standard goods corresponding to the said goods by extracting the feature-value from the image of the said product contained in the said captured image, and comparing with the feature-value of each reference | standard goods. 4. The information processing apparatus according to any one of 3.

前記第２認識手段は、前記撮像画像に含まれた前記ラベルの画像を検出し、当該ラベルが付された商品の購入時に提供されるサービス内容を認識する請求項１〜４の何れか一項に記載の情報処理装置。 The said 2nd recognition means detects the image of the said label contained in the said captured image, and recognizes the service content provided at the time of the purchase of the goods to which the said label was attached | subjected. The information processing apparatus described in 1.

コンピュータを、
撮像手段が撮像した撮像画像を取り込む取込手段と、
前記取込手段が取り込んだ撮像画像から、前記撮像手段で撮像された商品を認識する第１認識手段と、
前記取込手段が取り込んだ撮像画像から、前記商品に付されたラベルを認識する第２認識手段と、
前記第１認識手段及び前記第２認識手段での認識結果を表した一のコードを出力する出力手段と、
して機能させるためのプログラム。 Computer
Capture means for capturing a captured image captured by the imaging means;
A first recognition unit for recognizing a product imaged by the imaging unit from a captured image captured by the capturing unit;
Second recognition means for recognizing a label attached to the product from the captured image captured by the capture means;
An output means for outputting one code representing a recognition result in the first recognition means and the second recognition means;
Program to make it function.