JP2014052799A - Information processing apparatus and program - Google Patents
Information processing apparatus and program Download PDFInfo
- Publication number
- JP2014052799A JP2014052799A JP2012196346A JP2012196346A JP2014052799A JP 2014052799 A JP2014052799 A JP 2014052799A JP 2012196346 A JP2012196346 A JP 2012196346A JP 2012196346 A JP2012196346 A JP 2012196346A JP 2014052799 A JP2014052799 A JP 2014052799A
- Authority
- JP
- Japan
- Prior art keywords
- product
- unit
- code
- label
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 abstract description 16
- 238000000034 method Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 20
- 239000002131 composite material Substances 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 238000000605 extraction Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- 244000000626 Daucus carota Species 0.000 description 1
- 235000002767 Daucus carota Nutrition 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Landscapes
- Cash Registers Or Receiving Machines (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明の実施形態は、情報処理装置及びプログラムに関する。 Embodiments described herein relate generally to an information processing apparatus and a program.
従来、商品に付されたバーコード及びサービス表示ラベルを撮像装置で撮像し、撮像画像から商品コードとサービス情報とを読み取ることで、このサービス情報に応じたサービスを商品の販売時に提供する技術が開示されている。 2. Description of the Related Art Conventionally, there is a technology for providing a service corresponding to service information at the time of sale of a product by imaging a barcode and a service display label attached to the product with an imaging device and reading the product code and service information from the captured image. It is disclosed.
また、従来、物品を撮像した撮像画像からその物体の色や色分布、サイズ、形状等の特徴量を抽出し、予め用意された照合用のデータ(特徴量)と比較することで、この物品の種別等を認識する物体認識技術が存在している。また、この物体認識技術を、青果品等の商品の識別に用いて、識別された商品を売上登録するシステムが提案されている。 Conventionally, by extracting feature quantities such as the color, color distribution, size, and shape of an object from a captured image obtained by capturing the article, and comparing it with data (feature quantities) for collation prepared in advance, There is an object recognition technology for recognizing the type of the object. In addition, a system for registering sales of an identified product using this object recognition technology for identifying a product such as a vegetable product has been proposed.
しかしながら、上記物体認識技術では、商品に付されたラベル等の付帯物の認識については何ら考慮されておらず、効率化の観点において改善の余地があった。 However, in the object recognition technology, there is no room for improvement in terms of efficiency because no consideration is given to the recognition of incidentals such as labels attached to products.
実施の形態の情報処理装置は、取込手段と、第1認識手段と、第2認識手段と、出力手段とを備える。取込手段は、撮像手段が撮像した撮像画像を取り込む。第1認識手段は、前記取込手段が取り込んだ撮像画像から、前記撮像手段で撮像された商品を認識する。第2認識手段は、前記取込手段が取り込んだ撮像画像から、前記商品に付されたラベルを認識する。出力手段は、前記第1認識手段及び前記第2認識手段での認識結果を表した一のコードを出力する。 The information processing apparatus according to the embodiment includes a capturing unit, a first recognizing unit, a second recognizing unit, and an output unit. The capturing unit captures the captured image captured by the imaging unit. The first recognizing unit recognizes the product imaged by the imaging unit from the captured image captured by the capturing unit. The second recognizing unit recognizes the label attached to the product from the captured image captured by the capturing unit. The output means outputs one code representing the recognition results of the first recognition means and the second recognition means.
以下、添付図面を参照して、情報処理装置及びプログラムの実施形態を詳細に説明する。なお、以下に説明する実施形態は、情報処理装置及びプログラムの一実施形態であって、その構成や仕様等を限定するものではない。本実施形態は、スーパーマーケット等の店舗に導入された、一取引にかかる商品の登録・精算を行うPOS端末と、商品に関する情報を読み取る商品読取装置とを備えるチェックアウトシステムへの適用例である。 Hereinafter, embodiments of an information processing apparatus and a program will be described in detail with reference to the accompanying drawings. The embodiment described below is an embodiment of the information processing apparatus and program, and does not limit the configuration, specifications, or the like. The present embodiment is an application example to a checkout system that is installed in a store such as a supermarket and that includes a POS terminal that registers and settles a product for one transaction and a product reading device that reads information about the product.
図1は、チェックアウトシステム1の外観構成を示す斜視図である。図1に示すように、チェックアウトシステム1は、POS端末11と商品読取装置101とを、情報処理装置として備える。
FIG. 1 is a perspective view showing an external configuration of the
POS端末11は、チェックアウト台51上のドロワ21上面に載置されている。ドロワ21は、POS端末11によって開放動作の制御を受ける。POS端末11の上面には、オペレータ(店員)によって押下操作されるキーボード22が配置されている。キーボード22を操作するオペレータから見てキーボード22よりも奥側には、オペレータに向けて情報を表示する表示デバイス23が設けられている。表示デバイス23は、その表示面23aに情報を表示する。表示面23aには、タッチパネル26が積層されている。表示デバイス23よりもさらに奥側には、顧客用表示デバイス24が回転自在に立設されている。顧客用表示デバイス24は、その表示面24aに情報を表示する。
The
なお、図1に示す顧客用表示デバイス24は、表示面24aを図1中手前側に向けているが、表示面24aが図1中奥側に向くように顧客用表示デバイス24を回転させることによって、顧客用表示デバイス24は顧客に向けて情報を表示する。
The
POS端末11が載置されているチェックアウト台51とL字を形成するようにして、横長テーブル状のカウンタ台151が配置されている。カウンタ台151の上面には、荷受け面152が形成されている。荷受け面152には、商品Gを収納する買物カゴ153が載置される。買物カゴ153は、顧客によって持ち込まれる第1の買物カゴ153aと、第1の買物カゴ153aから商品読取装置101を挟んだ位置に載置される第2の買物カゴ153bとに分けて考えることができる。
A horizontally long table-shaped counter table 151 is arranged so as to form an L shape with the checkout table 51 on which the
カウンタ台151の荷受け面152には、POS端末11とデータ送受信可能に接続された商品読取装置101が設置されている。商品読取装置101は、薄型矩形形状のハウジング102を備える。
On the receiving surface 152 of the
ハウジング102の正面には読取窓103が配置されている。ハウジング102の上部には、表示・操作部104が取り付けられている。表示・操作部104には、タッチパネル105が表面に積層された表示デバイス106が設けられている。表示デバイス106の右隣にはキーボード107が配設されている。キーボード107の右隣には、図示しないカードリーダのカード読取溝108が設けられている。オペレータから見て表示・操作部104の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス109が設置されている。
A
このような商品読取装置101は、商品読取部110(図2参照)を備えている。商品読取部110は、読取窓103の奥側に撮像部164(図2参照)を配置している。
Such a
顧客によって持ち込まれた第1の買物カゴ153aには、一取引に係る商品Gが収納されている。第1の買物カゴ153a内の商品Gは、商品読取装置101を操作するオペレータにより第2の買物カゴ153bへと移動される。この移動過程で、商品Gが商品読取装置101の読取窓103に向けられる。この際、読取窓103内に配置された撮像部164(図2参照)は商品Gを撮像する。
In the
図2は、POS端末11及び商品読取装置101のハードウェア構成を示すブロック図である。
FIG. 2 is a block diagram illustrating a hardware configuration of the
POS端末11は、情報処理を実行する情報処理部としてのマイクロコンピュータ60を備える。マイクロコンピュータ60は、各種演算処理を実行し各部を制御するCPU(Central Processing Unit)61に、ROM(Read Only Memory)62とRAM(Random Access Memory)63とがバス接続されて構成されている。なお、CPU61は、マイクロコンピュータ60が内蔵するRTC(Real Time Clock)等の計時部(図示せず)と協働することで、時間を計測することが可能であるとする。
The
POS端末11のCPU61には、前述したドロワ21、キーボード22、表示デバイス23、タッチパネル26、顧客用表示デバイス24がいずれも各種の入出力回路(いずれも図示せず)を介して接続されている。
The
キーボード22は、「1」、「2」、「3」…等の数字や「×」という乗算の演算子が上面に表示されているテンキー22d、仮締めキー22e、及び締めキー22fを含む。
The
POS端末11のCPU61には、HDD64(Hard Disk Drive)が接続されている。HDD64には、各種プログラムや各種ファイルが記憶されている。HDD64に記憶されているプログラムは、POS端末11の起動時に、その全部又は一部がRAM63にコピーされてCPU61により実行される。
An HDD 64 (Hard Disk Drive) is connected to the
また、HDD64には、PLUファイルF1、商品特徴ファイルF2、ラベル特徴ファイルF3及びコード生成ファイルF4等のデータファイルが記憶されている。なお、全データファイルのうち、少なくともPLUファイルF1及び商品特徴ファイルF2は、後述する接続インターフェース65を介し、商品読取装置101から読み出し(参照)可能に保持されているものとする。
The
PLUファイルF1には、店舗内で販売される商品Gと、その商品Gの売上登録に係る情報とが関連付けて格納されている。 The PLU file F1 stores a product G sold in the store and information related to sales registration of the product G in association with each other.
図3は、PLUファイルF1のデータ構成の一例を模式的に示す図である。同図に示すように、PLUファイルF1には、商品G毎に、ユニークに割り当てられた商品コードと、商品Gが属する商品分類、商品名、単価等の商品に関する情報と、その商品を示すイラスト画像とが、その商品Gの商品情報として登録されている。 FIG. 3 is a diagram schematically illustrating an example of the data configuration of the PLU file F1. As shown in the figure, the PLU file F1 includes a product code uniquely assigned to each product G, information about the product such as the product classification, product name, and unit price to which the product G belongs, and an illustration showing the product. An image is registered as product information of the product G.
また、商品特徴ファイルF2には、店舗内で販売される商品Gの各々と、その商品Gを近赤外線下で撮像した際に得られた情報とが関連付けて格納されている。 In the product feature file F2, each product G sold in the store is stored in association with information obtained when the product G is imaged under near infrared rays.
図4は、商品特徴ファイルF2のデータ構成の一例を模式的に示す図である。同図に示すように、商品特徴ファイルF2には、店舗内で販売される商品G毎に、商品コードと、その商品Gを撮像した商品画像と、が関連付けて登録されている。ここで、商品コードは、PLUファイルF1に登録された商品コードに対応する。また、商品画像は、後述する類似度判定の際に、比較の対象とされる基準画像であって、当該画像から商品の色合いや模様、表面の凹凸状況、形状等の特徴量が抽出される。以下、PLUファイルF1及び商品特徴ファイルF2において、商品コードと関連付けられた商品Gを登録商品という。 FIG. 4 is a diagram schematically illustrating an example of the data configuration of the product feature file F2. As shown in the figure, in the product feature file F2, for each product G sold in the store, a product code and a product image obtained by imaging the product G are registered in association with each other. Here, the product code corresponds to the product code registered in the PLU file F1. Further, the product image is a reference image to be compared in the similarity determination described later, and feature quantities such as the color and pattern of the product, the surface unevenness state, and the shape are extracted from the image. . Hereinafter, in the PLU file F1 and the product feature file F2, the product G associated with the product code is referred to as a registered product.
なお、本実施形態では、各登録商品の商品画像を商品特徴ファイルF2に格納する形態としたが、これに限らず、対応する商品コードと関連付けてPLUファイルF1に格納する形態としてもよい。また、本実施形態では、後述する特徴量抽出部1613により、各商品画像から特徴量が抽出される形態としているが、これに限らず、この特徴量をPLUファイルF1に予め登録しておく形態としてもよい。
In the present embodiment, the product image of each registered product is stored in the product feature file F2. However, the present invention is not limited to this, and the product image may be stored in the PLU file F1 in association with the corresponding product code. In the present embodiment, the feature amount is extracted from each product image by the feature
ラベル特徴ファイルF3には、サービス表示ラベルが含む文字やシンボルの特徴を示したラベル特徴データと、そのサービス表示ラベルによって商品に付与されるサービスの内容とが関連付けて格納されている。 In the label feature file F3, label feature data indicating the characteristics of characters and symbols included in the service display label and the contents of the service given to the product by the service display label are stored in association with each other.
ここで、サービス表示ラベルは、店舗内で販売される商品Gのうち、サービスの提供対象商品に付されるラベルである。サービス表示ラベルには、そのサービス表示ラベルが付された商品を購入した顧客に対し、店舗側が提供するサービスの内容が表されている。例えば、図5に示すサービス表示ラベルL1には、商品単価からの値引き率が表されている。また、図6に示すサービス表示ラベルL2には、通常のポイント付与数に割増して付与されるポイント数が表されている。 Here, the service display label is a label attached to a service provision target product among the products G sold in the store. The service display label indicates the content of the service provided by the store to the customer who purchased the product with the service display label. For example, the service display label L1 shown in FIG. 5 represents the discount rate from the product unit price. In addition, the service display label L2 shown in FIG. 6 shows the number of points given in addition to the normal number of points given.
図7は、ラベル特徴ファイルF3のデータ構成の一例を模式的に示す図である。同図に示すように、ラベル特徴ファイルF3には、店舗側から提供される各サービスを識別するためのサービスコードと、サービス表示ラベルの特徴を示すラベル特徴データと、そのサービス表示ラベルによって商品に付与されるサービスの内容を示したサービス情報と、が関連付けて登録されている。 FIG. 7 is a diagram schematically illustrating an example of the data configuration of the label feature file F3. As shown in the figure, the label feature file F3 includes a service code for identifying each service provided from the store side, label feature data indicating the feature of the service display label, and the product based on the service display label. The service information indicating the contents of the service to be given is registered in association with each other.
ここで、サービス情報は、値引き率やポイント付与数などのサービス内容を、POS端末11で使用できるよう英数値に変換した情報のことである。即ち、図7に示すように、ラベル特徴データ「20、円、引」に対しては、20円の値引を意味するサービス情報「−20YEN」が対応付けて記憶されている。また、ラベル特徴データ「20、%、引」に対しては、20%の値引を意味するサービス情報「−20%」が対応付けて記憶されている。さらに、ラベル特徴データ「10、ポイント」に対しては、10ポイントのポイント割増を意味するサービス情報「+10P」が対応付けて記憶されている。
Here, the service information is information obtained by converting service contents such as a discount rate and the number of points awarded into alphanumeric values so that the
コード生成ファイルF4には、商品コードとサービスコードとの組から、一の複合コードを生成するための生成ルールが定義されている。 The code generation file F4 defines a generation rule for generating one composite code from a combination of a product code and a service code.
図8は、コード生成ファイルF4のデータ構成の一例を模式的に示す図である。同図に示すように、コード生成ファイルF4には、商品コードとサービスコードとの組と、複合コードとが関連付けて格納されている。複合コードは、例えば、生成元となった商品コードとサービスコードとの特性を有する商品の商品コードとして取り扱われる。例えば、商品コード“XXXXXXXX”とサービスコード“1”との組に関連付けられた複合コード“XXXXXXXX1”は、商品分類“野菜”、商品名“にんじん”、単価“80円”の商品の商品コードとして取り扱われる。 FIG. 8 is a diagram schematically illustrating an example of the data configuration of the code generation file F4. As shown in the figure, the code generation file F4 stores a combination of a product code and a service code and a composite code in association with each other. The composite code is handled as, for example, a product code of a product having characteristics of a product code that is a generation source and a service code. For example, the composite code “XXXXXXXXX1” associated with the combination of the product code “XXXXXXXXX” and the service code “1” is the product code of the product with the product classification “vegetable”, the product name “carrot”, and the unit price “80 yen”. Handled.
なお、図8のコード生成ファイルF4では、商品コードとサービスコードとの組毎に、複合コードの生成ルールを定義する形態としたが、これに限らないものとする。例えば、商品コードの末尾にサービスコードを付加して複合コードを生成するように、複合コードの生成ルールが商品コードとサービスコードとの組み合わせによらず一様に定まっている場合、そのルール自体をコード生成ファイルF4に定義する形態としてもよい。また、各複合コードに対応する商品情報を、PLUファイルF1等のデータファイルに予め格納しておく形態としてもよい。 In the code generation file F4 in FIG. 8, the composite code generation rule is defined for each combination of the product code and the service code. However, the present invention is not limited to this. For example, if a composite code generation rule is uniformly determined regardless of the combination of a product code and a service code so that a composite code is generated by adding a service code to the end of the product code, the rule itself is It is good also as a form defined in the code generation file F4. Further, the product information corresponding to each composite code may be stored in advance in a data file such as the PLU file F1.
図2に戻り、POS端末11のCPU61には、ストアコンピュータSCとデータ通信を実行するための通信インターフェース25が入出力回路(図示せず)を介して接続されている。ストアコンピュータSCは、店舗のバックヤード等に設置されている。ストアコンピュータSCのHDD(図示せず)には、POS端末11に配信されるデータファイルが格納されている。
Returning to FIG. 2, a
さらに、POS端末11のCPU61には、商品読取装置101との間でデータ送受信を可能にする接続インターフェース65が接続されている。接続インターフェース65には、商品読取装置101が接続されている。なお、詳細は後述するが、商品読取装置101から出力された撮像画像は、接続インターフェース65を介してPOS端末11に入力(受信)され、RAM63内に保存される。
Further, the
また、POS端末11のCPU61には、レシート等に印字を行うプリンタ66が接続されている。POS端末11は、CPU61の制御の下、一取引の取引内容をレシートに印字する。
The
一方、商品読取装置101は、POS端末11と同様に、マイクロコンピュータ160を備える。マイクロコンピュータ160は、CPU161にROM162とRAM163とがバス接続されて構成されている。ROM162には、CPU161によって実行されるプログラムが記憶されている。
On the other hand, the
CPU161には、撮像部164及び音声出力部165が各種の入出力回路(いずれも図示せず)を介して接続されている。撮像部164及び音声出力部165は、CPU161によって動作が制御される。
An
撮像部164は、カラーCCDセンサやカラーCMOS等のイメージセンサであり、CPU161の制御の下で読取窓103からの撮像を行う。例えば撮像部164では30fpsの動画像の撮像を行う。撮像部164が所定のフレームレートで順次撮像したフレーム画像(撮像画像)はRAM163に保存される。
The
音声出力部165は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部165は、CPU161の制御の下で警告音等の音声による報知を行う。
The
また、CPU161には、POS端末11の接続インターフェース65に接続して、POS端末11との間でデータ送受信を可能にする接続インターフェース175が接続されている。また、接続インターフェース175には、接続インターフェース176を介して、表示・操作部104が接続されており、CPU161は、接続インターフェース175を介して、表示・操作部104との間でデータ送受信を行う。
The
次に、CPU161、CPU61がプログラムを実行することで実現されるCPU161、CPU61の機能構成について、図9を参照して説明する。
Next, the functional configuration of the
図9は、POS端末11及び商品読取装置101の機能構成を示すブロック図である。図9に示すように、商品読取装置101のCPU161は、プログラムを順次実行することにより、画像取込部1611、商品検出部1612、特徴量抽出部1613、類似度判定部1614、商品候補提示部1615、入力受付部1616及び情報出力部1617としての機能を備える。
FIG. 9 is a block diagram illustrating functional configurations of the
画像取込部1611は、撮像部164に撮像オン信号を出力して撮像部164に撮像動作を開始させる。画像取込部1611は、撮像動作開始後に撮像部164が撮像してRAM163に保存された撮像画像を順次取り込む。画像取込部1611による撮像画像の取り込みは、RAM163に保存された順に行われる。また、画像取込部1611は、取り込んだ撮像画像を、POS端末11に出力する。
The
商品検出部1612は、画像取込部1611により取り込まれた撮像画像から、読取窓103に翳された商品Gの写り込み領域を検出する機能部である。具体的に、画像取込部1611により取り込まれた撮像画像に含まれる商品Gの全部または一部の輪郭線を、公知のパターンマッチング技術等を用いて検出する。次いで、前回の撮像画像(フレーム画像)から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較し、変化のあった部分、すなわち、読取窓103に向けられた商品の写り込み領域を検出する。
The
なお、商品を検出する別の方法としては、撮像画像から肌色領域が検出されたか否かを判定し、肌色領域が検出された場合、つまり店員の手の写り込みが検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合には、この物体の輪郭から商品の写り込み領域を検出する。 As another method for detecting the product, it is determined whether or not a skin color area is detected from the captured image, and when the skin color area is detected, that is, when the reflection of the clerk's hand is detected, By detecting the above-mentioned contour line in the vicinity of the skin color region, the contour extraction of the product assumed to be held by the hand of the store clerk is attempted. At this time, when the contour indicating the shape of the hand and the contour of the other object in the vicinity of the contour of the hand are detected, the reflection area of the product is detected from the contour of the object.
特徴量抽出部1613は、画像取込部1611により取り込まれた撮像画像のうち、商品検出部1612で検出された商品Gの写り込み領域から、当該領域の表面の状態(表面の色合い、模様、凸凹状況、形状等)を、商品Gの特徴量として抽出する。また、特徴量抽出部1613は、商品特徴ファイルF2に登録された各登録商品の商品画像から特徴量を抽出する。
The feature
類似度判定部1614は、特徴量抽出部1613で抽出された商品Gの特徴量と、商品特徴ファイルF2に登録された各登録商品の特徴量とを比較し、両特徴量の関係を示す値(類似度)を算出する。また、類似度判定部1614は、算出した類似度が所定の閾値以上となった登録商品(商品コード)を、撮像部164で撮像された商品Gの候補として認識する。ここで、類似度は、商品Gの特徴量と商品特徴ファイルF2に登録された各登録商品の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値(類似度)であればよい。なお、類似度の概念は、この例に限らず、商品特徴ファイルF2に登録された各登録商品の特徴量との一致度を示す値や、商品Gの特徴量と商品特徴ファイルF2に登録された各登録商品の特徴量とがどの程度相関するかを示す値であってもよい。
The
上記のように画像中に含まれる物体を認識することは、一般物体認識(generic object recognition)と呼ばれている。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司,“一般物体認識の現状と今後”,情報処理学会論文誌,Vol.48,No.SIG16 [平成24年7月26日検索],インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >
Recognizing an object included in an image as described above is called generic object recognition. Regarding such general object recognition, various recognition techniques are described in the following documents.
Keiji Yanai, “Current Status and Future of General Object Recognition”, IPSJ Journal, Vol. 48, no. SIG16 [Search on July 26, 2012], Internet <URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成24年7月26日検索],インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >
Further, techniques for performing general object recognition by dividing an image into regions for each object are described in the following documents.
Jamie Shotton et al., “Semantic Texton Forests for Image Categorization and Segmentation”, [searched July 26, 2012], Internet <URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1. 1.145.3036 & rep = rep1 & type = pdf>
なお、類似度の算出方法は特に問わないものとする。例えば、類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。 Note that the method of calculating the similarity is not particularly limited. For example, the similarity may be calculated as an absolute evaluation or may be calculated as a relative evaluation.
類似度を絶対評価として算出する場合、商品Gの特徴量と、各登録商品の特徴量とを1対1で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、商品Gの特徴量と、各登録商品の特徴量との類似度の総和が1.0(100%)となるよう算出すればよい。 When calculating the similarity as an absolute evaluation, the feature amount of the product G and the feature amount of each registered product are compared on a one-to-one basis, and the similarity derived as a result of this comparison may be employed as it is. Further, when calculating the similarity as a relative evaluation, the total sum of the similarities between the feature amount of the product G and the feature amount of each registered product may be calculated to be 1.0 (100%).
商品候補提示部1615は、類似度判定部1614で商品Gの候補とされた登録商品に関する情報を、商品候補として表示デバイス106に表示させる。具体的に、商品候補提示部1615は、候補として認識された登録商品(商品コード)に関する商品情報をPOS端末11のPLUファイルF1から読み出し、類似度の高いものから、表示デバイス106に順次表示させる。
The product
図10は、商品読取装置101の表示デバイス106に表示された商品候補の表示例を示す図である。図10に示すように、表示デバイス106の表示画面のうち、商品候補提示領域A11には、類似度の高い登録商品の順に、その商品候補の商品情報に含まれたイラスト画像G1、G2、G3が商品名とともに表示される。これらイラスト画像G1、G2、G3は、タッチパネル105に対するタッチ操作に応じて選択可能に構成されている。また、商品候補提示領域A11の下部には、商品リストから商品を選択するための選択ボタンB11が設けられており、商品リストから選択された商品は後述する確定商品として処理される。また、領域A12には、画像取込部1611により取り込まれた撮像画像が表示される。
FIG. 10 is a diagram illustrating a display example of product candidates displayed on the
なお、図10では、3つの商品候補を提示する例を示したが、商品候補の提示方法はこれに限定されるものではない。例えば、イラスト画像に替えて商品特徴ファイルF2に登録された商品画像を表示する形態としてもよい。 In addition, although the example which shows three goods candidates was shown in FIG. 10, the presentation method of goods candidates is not limited to this. For example, a product image registered in the product feature file F2 may be displayed instead of the illustration image.
図9に戻り、入力受付部1616は、タッチパネル105又はキーボード107を介して表示デバイス106の表示に対応する各種入力操作を受け付ける。例えば、入力受付部1616は、表示デバイス106に表示された商品候補のイラスト画像(図10参照)の中から何れか一つの商品候補に対する選択操作を受け付ける。入力受付部1616は、選択されたイラスト画像の商品候補を、撮像部164によって撮像された商品Gに対応する商品(確定商品)として受け付ける。なお、商品検出部1612が複数の商品Gを検出可能である場合には、入力受付部1616は商品候補の中から、複数の商品候補の選択操作を受け付けてもよい。
Returning to FIG. 9, the
情報出力部1617は、上述のように確定された確定商品について、その商品を示す情報を、接続インターフェース175を介してPOS端末11に出力する。本実施形態では、確定商品として商品コードの出力を行うものとするが、これに限らず、商品コードを特定することが可能な商品名、商品画像、イラスト画像のファイル名を出力してもよいし、その商品コードの格納場所(PLUファイルF1での格納アドレス)を出力してもよい。また、情報出力部1617は、タッチパネル105又はキーボード107を介して別途入力された販売個数を、商品コード等とともにPOS端末11に出力する。
The
一方、POS端末11のCPU61は、プログラムを実行することにより、画像取込部611、ラベル読取部612及び売上登録部613としての機能を備える。
On the other hand, the
画像取込部611は、商品読取装置101から出力されRAM63に保存された撮像画像を順次取り込む。画像取込部611による撮像画像の取り込みは、RAM63に保存された順に行われる。
The
ラベル読取部612は、画像取込部611が取り込んだ撮像画像に対して、サービス表示ラベルの画像を検出するラベル読取処理を行う。ラベル読取部612は、サービス表示ラベルの画像を検出するまで、画像取込部611による撮像画像の取り込みを予め定めた所定の時間だけ行う。また、ラベル読取部612は、所定の時間内にサービス表示ラベルの画像を検出した場合には、検出したサービス表示ラベルの画像から、そのサービス内容を特定する。
The
具体的に、ラベル読取部612は、画像取込部611が取り込んだ撮像画像に対して、OCR(Optical Character Reader)等の文字認識処理や、パターン認識等の処理を行う。ラベル読取部612は、サービス表示ラベルが含む文字や絵、シンボル等の特徴と、ラベル特徴ファイルF3に登録されたラベル特徴データとを照合して、一致度の高いラベル特徴データを検出した場合に、このサービス表示ラベルにより付与されるサービス内容(サービス情報)を認識(特定)したと判断する。また、ラベル読取部612は、認識したサービス表示ラベルのサービスコードを、売上登録部613に通知する。
Specifically, the
また、ラベル読取部612は、サービスの特定が完了したか否かを、フラグで管理するものとする。本実施形態では、デフォルト値となるフラグ=0が、サービスの特定が未完の状態を意味し、フラグ=1が、サービスの認識が完了したことを意味する。
In addition, the
売上登録部613は、商品読取装置101から入力される商品コード、ラベル読取部612から通知されるサービスコードに基づいて、その商品コードに対応する商品の売上登録に係る処理を行う機能部である。
The
具体的に、売上登録部613は、商品読取装置101から出力された商品コード(及び販売個数)を、接続インターフェース65を介して受信すると、この商品コードに対応する登録商品の商品情報をPLUファイルF1から読み出し、その内容を表示デバイス23に表示させる。また、売上登録部613は、ラベル読取部612からサービスコードが通知された場合に、このサービスコードに対応するサービス情報を商品特徴ファイルF2から読み出し、その内容を表示デバイス23に表示させる。
Specifically, when the
ここで、図11は、POS端末11の表示デバイス23に表示された商品情報の表示例を示す図である。図11に示すように、表示デバイス23の表示画面のうち、商品情報提示領域A21には、商品コードによってPLUファイルF1から特定される登録商品の商品情報が表示される。同図では、商品コード“XXXXXXXX”の商品情報のうち、イラスト画像G11と、商品名M11と、販売価格M12とを表示した例を示している。
Here, FIG. 11 is a diagram illustrating a display example of the product information displayed on the
ここで、商品名M11では、商品読取装置101から商品コードとともに受信した販売個数を併せて表示している。また、図11では、ラベル読取部612からサービスコード“1”(図7参照)が通知された例を想定しており、このサービスコードに対応するサービス情報のサービス内容(20円引)を反映した販売価格(商品単価)を、販売価格M12に表示している。
Here, in the product name M11, the number of sales received together with the product code from the
なお、商品情報の提示方法は、図11の例に限定されるものではない。例えば、商品コードやサービスコード等を表示する形態としてもよいし、商品コードとサービスコードとの組から生成される複合コードを表示する形態としてもよい。また、図11の画面を顧客用表示デバイス24に表示する形態としてもよい。
In addition, the presentation method of merchandise information is not limited to the example of FIG. For example, a product code, a service code, or the like may be displayed, or a composite code generated from a combination of the product code and the service code may be displayed. Moreover, it is good also as a form which displays the screen of FIG. 11 on the
また、売上登録部613は、ラベル読取部612からサービスコードが通知された場合、コード生成ファイルF4に登録された複合コードの生成ルールに基づき、そのサービスコードと商品読取装置101から出力された商品コードとの組から複合コードを生成する。例えば、売上登録部613は、コード生成ファイルF4に基づき、商品コード“XXXXXXXX”と、サービスコード“1”との組から、複合コード“XXXXXXXX1”を生成する。
Further, the
そして、売上登録部613は、生成した複合コードを販売個数とともに売上マスタファイル等に記録することで売上登録を行う。また、サービスコードが通知されない場合には、売上登録部613は、商品コードを販売個数とともに売上マスタファイル等に記録することで売上登録を行う。なお、売上登録の内容は、上記に限らず、商品分類、商品名、単価等を記録する形態としてもよい。
Then, the
次に、チェックアウトシステム1の動作について説明する。まず、商品読取装置101の動作について説明する。図12は、商品読取装置101が実行する商品識別処理の手順を示すフローチャートである。
Next, the operation of the
図12に示すように、POS端末11による商品登録の開始等に応じて処理が開始されると、画像取込部1611は、撮像部164に撮像オン信号を出力して撮像部164による撮像を開始する(ステップS11)。
As illustrated in FIG. 12, when processing is started in response to the start of product registration by the
画像取込部1611は、撮像部164が撮像してRAM163に保存されたフレーム画像(撮像画像)を取り込む(ステップS12)。また、画像取込部1611は、ステップS12で取り込んだ撮像画像をPOS端末11に出力する(ステップS13)。
The
続いて、商品検出部1612は、ステップS12で取り込まれた撮像画像から商品Gの写り込み領域を検出する(ステップS14)。特徴量抽出部1613は、ステップS14で検出された撮像画像中の商品Gの写り込み領域から、当該領域の表面の状態を商品Gの特徴量として抽出する(ステップS15)。また、特徴量抽出部1613は、商品特徴ファイルF2に登録された各登録商品の商品画像から特徴量を抽出する。
Subsequently, the
類似度判定部1614は、ステップS15で抽出された商品Gの特徴量と、商品特徴ファイルF2に登録された各登録商品の特徴量との類似度を算出する(ステップS16)。次いで、類似度判定部1614は、ステップS15で類似度を算出した登録商品の中に、商品Gの特徴量との類似度が所定の閾値以上となった登録商品が存在するか否かを判定する(ステップS17)。
The
ステップS17において、類似度が閾値以上の登録商品が存在すると判定した場合(ステップS17;Yes)、特徴量抽出部1613は、その登録商品を撮像部164で撮像された商品Gの候補として認識し(ステップS18)、ステップS19に移行する。また、類似度が閾値以上の登録商品が存在しないと判定した場合には(ステップS17;No)、ステップS12に再び戻る。
If it is determined in step S17 that there is a registered product with a similarity equal to or greater than the threshold (step S17; Yes), the feature
ステップS19において、商品候補提示部1615は、ステップS18で商品Gの候補として認識された登録商品に関する情報を、商品候補として表示デバイス106に表示させる(ステップS19)。
In step S19, the product
続いて、入力受付部1616は、タッチパネル105又はキーボード107を介して、商品候補の選択を受け付けたか否かを判定する(ステップS20)。ここで、選択操作を受け付けた場合(ステップS20;Yes)、入力受付部1616は、選択された商品候補を、撮像部164によって撮像された商品Gに対応する確定商品として受け付け、ステップS21に移行する。一方、選択を受け付けない場合には(ステップS20;No)、ステップS12に再び戻る。
Subsequently, the
続いて、情報出力部1617は、ステップS20で選択された確定商品について、その商品を示す商品コード等の情報を、接続インターフェース175を介してPOS端末11に出力し(ステップS21)、ステップS22に移行する。
Subsequently, the
ここで、タッチパネル105又はキーボード107を介して販売個数が別途入力された場合には、ステップS21において、確定商品を示す情報とともに、その販売個数をPOS端末11に出力するものとする。なお、販売個数の入力が行われない場合には、デフォルト値として販売個数“1”を出力する形態としてもよい。
Here, when the sales quantity is separately input via the
ステップS22において、CPU161は、POS端末11から商品登録の終了通知等による業務終了の有無を判定する(ステップS22)。ここで、業務を継続する場合(ステップS22;No)、CPU161は、ステップS12へ処理を戻して処理を継続させる。また、業務を終了する場合(ステップS22;Yes)、画像取込部1611は、撮像部164に撮像オフ信号を出力することで、撮像部164による撮像を終了し(ステップS23)、処理を終了する。
In step S <b> 22, the
次に、POS端末11の処理動作について説明する。図13は、POS端末11が実行する売上登録処理の手順を示すフローチャートである。
Next, the processing operation of the
キーボード22の操作指示による商品登録の開始等に応じて処理が開始されると、まず、CPU61は、後述するサービス表示ラベルの読み取り時間を計時するためのタイマーをリセットするとともに、サービス表示ラベルの読み取りに係るフラグを“0”とする(ステップS31)。
When processing is started in response to the start of product registration in response to an operation instruction on the
画像取込部611は、商品読取装置101からの出力によりRAM63に保存された撮像画像を取り込む(ステップS32)。ラベル読取部612は、ステップS32で取り込まれた撮像画像に対し、サービス表示ラベルの画像を検出するラベル読取処理を開始し(ステップS33)、当該撮像画像からサービス表示ラベルの画像を検出できたか否かを判定する(ステップS34)。
The
ここで、サービス表示ラベルの画像が検出されない場合(ステップS34;No)、画像取込部611は、ステップS31で計時を開始してからの経過時間が、所定の制限時間(例えば、3秒等)に到達したか否かを判定する(ステップS35)。制限時間未満の場合(ステップS35;No)、ラベル読取部612は、ステップS32に再び戻り、新たに取り込まれる撮像画像に対し、ラベル読取処理を開始する。なお、制限時間に到達したと判定された場合には、ステップS38に直ちに移行する。
Here, when the image of the service display label is not detected (step S34; No), the
また、ステップS34において、サービス表示ラベルの画像が検出された場合(ステップS34;Yes)、ラベル読取部612は、ラベル特徴ファイルF3に基づき、検出したサービス表示ラベルの画像からサービス内容を認識し、そのサービスコードを売上登録部613に通知する(ステップS36)。次いで、ラベル読取部612は、フラグを“1”に設定し(ステップS37)、ステップS38に移行する。
If the service display label image is detected in step S34 (step S34; Yes), the
続くステップS38では、売上登録部613が、商品読取装置101から商品コード(及び販売個数)を受信するまで待機する(ステップS38;No)。商品コード(及び販売個数)を商品読取装置101から受信すると(ステップS38;Yes)、売上登録部613は、フラグが“1”に設定されているか否かを判定する(ステップS39)。
In subsequent step S38, the
ここで、フラグが“1”と判定した場合(ステップS39;Yes)、売上登録部613は、受信した商品コードに対応する登録商品、及び、ステップS36で認識されたサービスコードに対応するサービス内容に関する情報を表示デバイス23に表示させる(ステップS40)。
If the flag is determined to be “1” (step S39; Yes), the
次いで、売上登録部613は、コード生成ファイルF4に登録された複合コードの生成ルールに基づき、商品コードとサービスコードとの組から複合コードを生成すると(ステップS41)、その複合コードを用いて売上登録を行う(ステップS42)。
Next, the
一方、ステップS39において、フラグが“0”と判定した場合(ステップS39;No)、売上登録部613は、受信した商品コードに対応する登録商品に関する情報を表示デバイス23に表示させる(ステップS43)。次いで、売上登録部613は、その商品コードを用いて売上登録を行う(ステップS44)。
On the other hand, if it is determined in step S39 that the flag is “0” (step S39; No), the
続いて、CPU61は、キーボード22の操作指示による売上登録の終了等による業務終了の有無を判定する(ステップS45)。業務を継続する場合(ステップS45;No)、CPU61は、ステップS31へ再び戻り処理を継続させる。業務を終了する場合(ステップS45;Yes)、CPU61は処理を終了する。
Subsequently, the
なお、上記処理では、ステップS31〜S37の後に、ステップS38を行う形態としたが、これに限らず、ステップS38を先行して行った後、ステップS31〜S37の処理を実行する形態としてもよいし、ステップS31〜S37の処理と、ステップS38の処理とを並列で行う形態としてもよい。また、これらの他の形態を採用する場合には、ステップS35の制限時間を加味した時間の間、フラグが“1”となるまでステップS39の判定処理を繰り返し行うものとする。 In the above process, step S38 is performed after steps S31 to S37. However, the present invention is not limited to this, and the process of steps S31 to S37 may be performed after step S38 is performed in advance. And it is good also as a form which performs the process of step S31-S37, and the process of step S38 in parallel. When these other forms are employed, the determination process in step S39 is repeatedly performed until the flag becomes “1” during the time including the time limit in step S35.
以上のように、本実施形態によれば、商品Gの認識と、当該商品Gに付されたラベルの認識とを個別に行い、これらの認識により得られた各コード(商品コード、サービスコード)を、一の複合コードとして出力する。これにより、一の商品Gに係る商品コード及びサービスコードを、統合した状態で売上登録することができるため、この売上登録に係る処理の効率化を図ることができる。 As described above, according to the present embodiment, the recognition of the product G and the recognition of the label attached to the product G are performed separately, and each code (product code, service code) obtained by the recognition is performed. Is output as a single composite code. As a result, since the product code and the service code related to one product G can be registered in a consolidated state, the processing related to the sales registration can be made more efficient.
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As mentioned above, although embodiment of this invention was described, the said embodiment was shown as an example and is not intending limiting the range of invention. The above embodiment can be implemented in various other forms, and various omissions, replacements, changes, additions, and the like can be made without departing from the scope of the invention. Moreover, the said embodiment and its deformation | transformation are included in the range of the invention, the summary, and the invention described in the claim, and its equal range.
例えば、上記実施形態では、POS端末11が、PLUファイルF1、商品特徴ファイルF2、ラベル特徴ファイルF3及びコード生成ファイルF4を備える形態としたが、これに限らず、商品読取装置101が、PLUファイルF1、商品特徴ファイルF2、ラベル特徴ファイルF3及びコード生成ファイルF4の一部又は全てを備える形態としてもよい。
For example, in the above embodiment, the
また、上記実施形態では、POS端末11側でサービス表示ラベルの認識を、商品読取装置101側で商品候補の認識を行う形態としたが、これに限らず、POS端末11側で商品候補を認識し、商品読取装置101側でサービス表示ラベルを認識する形態としてもよい。この場合、例えば、POS端末11が商品検出部1612、特徴量抽出部1613、類似度判定部1614、商品候補提示部1615、入力受付部1616を備え、商品読取装置101がラベル読取部612を備え、このラベル読取部612での認識結果を情報出力部1617からPOS端末11に出力することで実現することができる。
In the above embodiment, the service display label is recognized on the
また、商品読取装置101の機能部の一部又は全てをPOS端末11が備える形態としてもよい。
The
例えば、POS端末11が、商品検出部1612、特徴量抽出部1613及び類似度判定部1614を備え、商品読取装置101が、商品候補提示部1615、入力受付部1616及び情報出力部1617を備える形態としてもよい。この場合、商品読取装置101側は、撮像画像をPOS端末11に送信し、POS端末11で認識された商品(登録商品)の結果を受信することで、商品候補提示部1615により商品候補の提示を行う。
For example, the
また、商品読取装置101の機能部の全てをPOS端末11が備えることで、POS端末11側でサービス表示ラベルの認識と、商品候補の認識とを行う形態としてもよい。この場合、商品読取装置101は撮像装置として機能し、POS端末11では、商品読取装置101から送信される撮像画像に基づいて、サービス表示ラベルの検出と、商品候補の選別とを行うものとする。
Moreover, it is good also as a form which recognizes a service display label and recognition of a goods candidate by the
また、上記実施形態では、据置型のスキャナ装置(商品読取装置101)を用いた例を説明したが、これに限らず、いわゆるハンディタイプのスキャナ装置がPOS端末11に接続された形態であってもよい。
In the above embodiment, an example using a stationary scanner device (product reading device 101) has been described. However, the present invention is not limited to this, and a so-called handy type scanner device is connected to the
また、上記実施形態では、POS端末11と商品読取装置101とで構成されるチェックアウトシステム1に本発明の実施形態を適用した例を説明したが、これに限るものではない。例えば、商品読取装置101単体に発明の実施形態を適用して構成するようにしてもよい。また、POS端末11及び商品読取装置101の機能を備えた1台構成の装置に適用するようにしてもよい。POS端末11及び商品読取装置101の機能を備えた1台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置(以降、単にセルフPOSと称する)が挙げられる。
Moreover, although the said embodiment demonstrated the example which applied embodiment of this invention to the
ここで、図14は、セルフPOS200の外観構成を示す斜視図、図15は、セルフPOS200のハードウェア構成を示すブロック図である。なお、以下では、図1及び図2に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。
Here, FIG. 14 is a perspective view showing an external configuration of the self-
図14及び図15に示すように、セルフPOS200の本体202は、タッチパネル105が表面に配設された表示デバイス106や、商品の種別等を認識(検出)するために商品画像を読み取る商品読取部110を備えている。
As shown in FIGS. 14 and 15, the
表示デバイス106としては例えば液晶表示器が用いられる。表示デバイス106は、客にセルフPOS200の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部110で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。
For example, a liquid crystal display is used as the
商品読取部110は、客が商品に付されたコードシンボルを商品読取部110の読取窓103にかざすことで商品画像を撮像部164により読み取るものである。
The
また、本体202の右側にはかごに入った未精算の商品を置くための商品載置台203が設けられ、本体202の左側には精算済みの商品を置くための商品載置台204が設けられ、精算済みの商品を入れるための袋を掛けるための袋掛けフック205や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台206が設けられている。商品載置台203及び204には計量器207及び208がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有している。
Further, on the right side of the
また、セルフPOS200の本体202には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器201が設けられている。
In addition, the
このような構成のセルフPOS200に本発明の実施形態を適用した場合、セルフPOS200が情報処理装置として機能することになる。なお、POS端末11と商品読取装置101との機能を備えた1台構成の装置は、上述した構成のセルフPOS200に限らず、計量器207及び208を除いて構成された装置であってもよい。
When the embodiment of the present invention is applied to the self-
また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体(ROM又は記憶部)に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。 In addition, the program executed by each device of the above embodiment is provided by being incorporated in advance in a storage medium (ROM or storage unit) included in each device, but is not limited thereto, and can be installed in a form or executable. Various types of files may be recorded and provided on a computer-readable recording medium such as a CD-ROM, a flexible disk (FD), a CD-R, or a DVD (Digital Versatile Disk). Furthermore, the storage medium is not limited to a medium independent of a computer or an embedded system, but also includes a storage medium in which a program transmitted via a LAN, the Internet, or the like is downloaded and stored or temporarily stored.
また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。 Further, the program executed by each device of the above embodiment may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network, or via a network such as the Internet. It may be configured to be provided or distributed.
また、上記実施形態のプログラムを、通信機能を有する携帯電話、スマートフォン、PDA(Personal Digital Assistant)等の携帯情報端末に組み込んで、その機能を実現させる形態としてもよい。 Moreover, the program of the said embodiment is good also as a form which incorporates in portable information terminals, such as a mobile telephone, a smart phone, and PDA (Personal Digital Assistant) which have a communication function, and implement | achieves the function.
1 チェックアウトシステム
11 POS端末
611 画像取込部
612 ラベル読取部
613 売上登録部
101 商品読取装置
1611 画像取込部
1612 商品検出部
1613 特徴量抽出部
1614 類似度判定部
1615 商品候補提示部
1616 入力受付部
1617 情報出力部
F1 PLUファイル
F2 商品特徴ファイル
F3 ラベル特徴ファイル
F4 コード生成ファイル
DESCRIPTION OF
Claims (6)
前記取込手段が取り込んだ撮像画像から、前記撮像手段で撮像された商品を認識する第1認識手段と、
前記取込手段が取り込んだ撮像画像から、前記商品に付されたラベルを認識する第2認識手段と、
前記第1認識手段及び前記第2認識手段での認識結果を表した一のコードを出力する出力手段と、
を備える情報処理装置。 Capture means for capturing a captured image captured by the imaging means;
A first recognition unit for recognizing a product imaged by the imaging unit from a captured image captured by the capturing unit;
Second recognition means for recognizing a label attached to the product from the captured image captured by the capture means;
An output means for outputting one code representing a recognition result in the first recognition means and the second recognition means;
An information processing apparatus comprising:
前記出力手段は、前記生成手段で生成された前記第3コードを出力する請求項1に記載の情報処理装置。 A generating means for generating a third code from the first code corresponding to the product recognized by the first recognizing means and the second code corresponding to the label recognized by the second recognizing means;
The information processing apparatus according to claim 1, wherein the output unit outputs the third code generated by the generation unit.
撮像手段が撮像した撮像画像を取り込む取込手段と、
前記取込手段が取り込んだ撮像画像から、前記撮像手段で撮像された商品を認識する第1認識手段と、
前記取込手段が取り込んだ撮像画像から、前記商品に付されたラベルを認識する第2認識手段と、
前記第1認識手段及び前記第2認識手段での認識結果を表した一のコードを出力する出力手段と、
して機能させるためのプログラム。 Computer
Capture means for capturing a captured image captured by the imaging means;
A first recognition unit for recognizing a product imaged by the imaging unit from a captured image captured by the capturing unit;
Second recognition means for recognizing a label attached to the product from the captured image captured by the capture means;
An output means for outputting one code representing a recognition result in the first recognition means and the second recognition means;
Program to make it function.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012196346A JP2014052799A (en) | 2012-09-06 | 2012-09-06 | Information processing apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012196346A JP2014052799A (en) | 2012-09-06 | 2012-09-06 | Information processing apparatus and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014052799A true JP2014052799A (en) | 2014-03-20 |
Family
ID=50611252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012196346A Pending JP2014052799A (en) | 2012-09-06 | 2012-09-06 | Information processing apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014052799A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160072489A (en) * | 2014-12-15 | 2016-06-23 | 삼성전자주식회사 | User terminal device and method for recognizing object thereof |
JP2020155155A (en) * | 2020-06-24 | 2020-09-24 | 日本電気株式会社 | Image determination system, image determination method, image determination program, and record medium for recording image determination program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012074025A (en) * | 2010-09-01 | 2012-04-12 | Toshiba Tec Corp | Imaging device, reading device, and light quantity adjustment method |
JP2012133823A (en) * | 2012-04-11 | 2012-07-12 | Toshiba Tec Corp | Code reader, sales registration system and program |
-
2012
- 2012-09-06 JP JP2012196346A patent/JP2014052799A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012074025A (en) * | 2010-09-01 | 2012-04-12 | Toshiba Tec Corp | Imaging device, reading device, and light quantity adjustment method |
JP2012133823A (en) * | 2012-04-11 | 2012-07-12 | Toshiba Tec Corp | Code reader, sales registration system and program |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160072489A (en) * | 2014-12-15 | 2016-06-23 | 삼성전자주식회사 | User terminal device and method for recognizing object thereof |
KR102284750B1 (en) * | 2014-12-15 | 2021-08-03 | 삼성전자주식회사 | User terminal device and method for recognizing object thereof |
JP2020155155A (en) * | 2020-06-24 | 2020-09-24 | 日本電気株式会社 | Image determination system, image determination method, image determination program, and record medium for recording image determination program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5194160B1 (en) | Information processing apparatus, information processing method, and program | |
JP6141208B2 (en) | Information processing apparatus and program | |
JP5656796B2 (en) | Product data processing apparatus, product data processing method and control program | |
JP5612645B2 (en) | Information processing apparatus and program | |
JP2014153894A (en) | Information processor and program | |
JP5677389B2 (en) | Information processing apparatus and program | |
JP6258761B2 (en) | Information processing apparatus and program | |
JP5620416B2 (en) | Information processing apparatus and program | |
JP6747873B2 (en) | Information processing device and program | |
JP6122805B2 (en) | Information processing apparatus and program | |
JP2014052800A (en) | Information processing apparatus and program | |
JP2013186548A (en) | Information processing device, store system and program | |
JP2018055716A (en) | Information processing apparatus and program | |
JP5802712B2 (en) | Information processing apparatus and program | |
JP2015038719A (en) | Information processor and program | |
JP6190019B2 (en) | Information processing apparatus and program | |
JP5658720B2 (en) | Information processing apparatus and program | |
US20170344851A1 (en) | Information processing apparatus and method for ensuring selection operation | |
JP5770899B2 (en) | Information processing apparatus and program | |
JP5437404B2 (en) | Information processing apparatus, store system, and program | |
JP6376955B2 (en) | Information processing apparatus, sales data processing apparatus, and program | |
JP5781554B2 (en) | Information processing apparatus and program | |
JP6138060B2 (en) | Information processing apparatus and program | |
JP2014052799A (en) | Information processing apparatus and program | |
JP2014052811A (en) | Information processing apparatus and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140318 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140516 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20141104 |