JP6760780B2 - 情報処理装置およびプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置およびプログラムに関する。

従来から、商品を撮像した画像データから当該商品の特徴量を抽出し、予め記憶された照合用商品の特徴量を示すデータと比較することで、当該商品を認識する一般物体認識技術が存在する。また、この技術を店舗で販売される商品の識別に用いることで、認識された商品を売上登録するチェックアウトシステムが提案されている。係るチェックアウトシステムは、撮像が行われた商品の画像データから得られる商品の特徴量と照合用商品の特徴量データとから一つまたは複数の基準商品を抽出する。

また、バーコードや２次元コード等のシンボルが印刷または貼付されている（以降、「シンボルが付されている」という）商品がある。このような商品については、シンボルを撮像して当該シンボルを解析して一つの商品を特定していた。シンボルは、例えば、商品の製造過程でパッケージ等に付される場合、複数の商品を詰めた袋（すなわち袋詰め商品）に付される場合、値引き等で値段が変更された商品に、値引きを示すシンボルとして付される場合、等がある。

ところで、シンボルが付された商品であっても、撮像するときの商品の向きや位置によっては、シンボルが撮像されないことがある。このような場合、一般物体認識技術により撮像した画像から基準商品を抽出する。

しかしながら、例えば複数の商品を袋詰めした商品や値引きした商品は、表示されたシンボルに商品の価格が含まれている場合がある。このような商品を一般物体認識技術によって判定すると、シンボルを撮像して抽出した商品と価格が異なることがある。また、同じ形や色彩の複数種類の商品が存在する場合があることから、シンボルから商品を抽出する方が正しい商品を抽出する可能性が高い。そのため、シンボルが付された商品はシンボルを撮像することが望ましい。

本発明が解決しようとする課題は、シンボルが付されている可能性がある商品について、シンボルが付されている可能性があることを報知することが可能な情報処理装置およびプログラムを提供することである。

実施形態の情報処理装置は、基準商品と前記基準商品にシンボルが付される可能性の有無を示すカテゴリ情報とを対応付けて記憶する記憶部から、撮像部が撮像した商品の撮像画像に基づいて抽出された基準商品に対応付けられた前記カテゴリ情報に基づいて、前記シンボルが付されている可能性を判断する判断手段と、前記判断手段が可能性ありと判断したことを条件に前記シンボルが付されている可能性があることを報知部に報知させる報知制御手段と、を備え、前記記憶部は、前記基準商品に対応付けて当該基準商品の特徴量を記憶し、前記撮像画像に含まれた前記商品の特徴量と類似する一または複数の前記基準商品を抽出する抽出手段と、前記抽出手段が抽出した前記基準商品から一つの基準商品を選択する選択手段、をさらに備え、前記選択手段によって選択された前記基準商品の前記カテゴリ情報に基づいて、前記判断手段は当該商品に前記シンボルが付されている可能性があるかを判断し、前記判断手段が可能性ありを判断した前記基準商品を自動的に売上登録処理させる第１制御手段、をさらに備える。

図１は、実施形態に係る商品読取装置を含むチェックアウトシステムの外観構成を示す斜視図である。 図２は、図１に示した商品読取装置のハードウェア構成を示すブロック図である。 図３は、図２に示した商品読取装置が備えた商品マスタのデータ構成の一例を模式的に示す図である。 図４は、図１に示したＰＯＳ端末のハードウェア構成を示すブロック図である。 図５は、商品読取装置の機能構成を示す機能ブロック図である。 図６は、商品読取装置の制御処理の流れを示すフローチャートである。 図７は、商品読取装置が表示する画面の一例を示す図である。 図８は、ＰＯＳ端末の制御処理の流れを示すフローチャートである。 図９は、変形例に係る商品読取装置の制御処理の流れを示すフローチャートである。 図１０は、他の実施形態に係るセルフＰＯＳの構成を示す斜視図である。 図１１は、図１０に示したセルフＰＯＳのハードウェア構成を示すブロック図である。

以下、図１〜図８を参照して、実施形態に係る情報処理装置およびプログラムについて詳細に説明する。実施形態では、情報処理装置として商品読取装置を用いて説明する。なお、以下に説明する実施形態によりこの発明が限定されるものではない。

図１は、実施形態に係るチェックアウトシステム１の外観構成を示す斜視図である。チェックアウトシステム１は、スーパーマーケット等の量販店やコンビニエンスストア等に設置され、販売される商品の商品情報を入力して商品の売上登録処理や決済処理を行うシステムである。図１に示すように、チェックアウトシステム１は、商品読取装置１０とＰＯＳ端末３０とを備える。

横長テーブル状のカウンタ台１５１には、ＰＯＳ端末３０とデータ送受信可能に接続された商品読取装置１０が設置される。商品読取装置１０は、薄型矩形形状のハウジング２９で形成される。

ハウジング２９の正面には、撮像部２４の読取窓２４ａが設けられている。ハウジング２９の上部には、オペレータ用表示部２２（報知部）、客用表示部２３、操作部２１、および溝２７ａを有するカードリーダ２７が設けられている。オペレータ用表示部２２上には、タッチパネル２５が設けられている。操作部２１は、商品読取装置１０での処理の終了を宣言する仮締めキー２１１（図２参照）を有している。

カウンタ台１５１の上面には、荷受け面１５２が形成される。荷受け面１５２には、商品Ｐを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０を挟んだ位置に載置される第２の買物カゴ１５３ｂとが存在する。

第１の買物カゴ１５３ａには、顧客が購入する商品Ｐが収納される。商品読取装置１０を操作するオペレータは、第１の買物カゴ１５３ａ内の商品Ｐを取出して第２の買物カゴ１５３ｂへと移動する。移動した商品Ｐが入った第２の買物カゴ１５３ｂは、顧客が図示しない袋詰め所に移動させる。顧客は、袋詰め所において、第２の買物カゴ１５３ｂに入った商品Ｐを買物袋に移す。

第１の買物カゴ１５３ａから第２の買物カゴ１５３ｂへの商品Ｐの移動過程で、商品Ｐは商品読取装置１０の読取窓２４ａの前を通過する。この際、商品読取装置１０は、読取窓２４ａ内に配置された撮像部２４（図２参照）を用いて商品Ｐを含む画像を撮像する。商品読取装置１０は、撮像した商品の撮像画像にシンボルが付されていることを検出した場合には、当該シンボルを解析して、シンボルに含まれる商品ＩＤ（Identification）を取得することで、一つの商品を特定する。

一方、撮像した商品の撮像画像からシンボルが付されていることを検出しない場合は、商品読取装置１０は、撮像画像の商品の特徴を示す特徴量と予め辞書に記憶した複数の基準商品の特徴量とを比較して類似度（似ている程度）を算出する。そして、商品読取装置１０は、類似度に基づいて、一般物体認識（generic object recognition）を実行し、撮像された商品に該当する一または複数の基準商品を候補商品として抽出する。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２５年１月２４日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

商品読取装置１０は、類似度が高い（例えば類似度９５％以上）基準商品が存在する場合には、当該類似度が高い基準商品を撮像した商品として、当該商品を特定する特定情報である商品ＩＤを商品マスタ１４２（図２参照）から読み出す。そして商品読取装置１０は、読み出した商品ＩＤをＰＯＳ端末３０に送信する。

一方、類似度が高い基準商品が存在しない場合は、商品読取装置１０は、オペレータ用表示部２２に、一般物体認識で抽出された類似度が高い所定数（例えば類似度が高い上位４個）の基準商品がそれぞれ表示された候補商品部２２２（図７参照）を表示する。オペレータは、タッチパネル２５を操作して、表示された基準商品から該当する商品を選択する。商品読取装置１０は、選択された商品を特定する商品ＩＤを商品マスタ１４２から読み出す。そして商品読取装置１０は、読み出した商品ＩＤをＰＯＳ端末３０に送信する。

ＰＯＳ端末３０は、カウンタ台１５１とＬ字状に配置されたチェックアウト台５１上のドロワ４１上面に載置される。ドロワ４１は、顧客から預かった金銭（紙幣と硬貨）を金銭箱に収納する。ドロワ４１は、顧客に手渡す釣銭を金銭箱に収納している。ドロワ４１は、ＰＯＳ端末３０から開放動作の制御を受けると、金銭箱を開放する。

ＰＯＳ端末３０は、上面にオペレータによって操作される操作部４２を配置する。操作部４２を操作するオペレータから見て操作部４２よりも奥側には、オペレータに向けて情報を表示するオペレータ用表示部４３を備える。オペレータ用表示部４３はオペレータに対して情報を表示する。タッチパネル４６は、オペレータ用表示部４３の表示面４３ａに積層されている。客用表示部４４は、オペレータ用表示部４３よりもさらに奥側に回転自在に立設される。客用表示部４４は、顧客に対して情報を表示する。

ＰＯＳ端末３０は、商品読取装置１０から受信した商品ＩＤに基づいて、自己が保有する商品マスタ３４２（図４参照）から商品情報を読み出して、当該商品の売上登録処理を実行する。売上登録処理とは、商品情報に基づいて当該商品の商品名や価格（総称して「商品情報」という）を表示するとともに、商品情報を商品情報部３３１（図４参照）に記憶する処理をいう。オペレータは、第１の買物カゴ１５３ａに収納されたすべての商品Ｐについてこの操作を繰り返した後に仮締めキー２１１を操作する。

仮締めキー２１１が操作された後にＰＯＳ端末３０において締めキー４２１（図４参照）が操作されると、ＰＯＳ端末３０は、売上登録処理した商品について決済処理を実行する。決済処理とは、釣銭を計算して表示する処理、釣銭の発行を釣銭機に指示する処理、商品情報や決済情報（合計金額、預り金額、釣銭額等）を印字したレシートを発行する処理等をいう。なお、売上登録処理と決済処理を合わせた処理を取引処理という。また、取引処理された情報を売上情報という。

続いて、図２のブロック図を用いて、商品読取装置１０のハードウェア構成について説明する。図２に示すように、商品読取装置１０は、制御主体となるＣＰＵ（Central Processing Unit）１１を備える。また商品読取装置１０は、各種プログラムを記憶するＲＯＭ（Read Only Memory）１２を備える。また商品読取装置１０は、ＣＰＵ１１のワークエリアとして機能するＲＡＭ（Random Access Memory）１３を備える。また商品読取装置１０は、各種プログラムを記憶するＨＤＤやフラッシュメモリ等で構成されたメモリ部１４等を備える。ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、メモリ部１４は、互いにデータバス１５を介して接続されている。

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３は、制御部１００を構成する。制御部１００は、ＣＰＵ１１が、メモリ部１４の制御プログラム部１４１に記憶されＲＡＭ１３に展開された制御プログラムに従って動作することによって、後述する制御処理を実行する。

ＲＡＭ１３は、各種データも記憶する。ＲＡＭ１３は、画像記憶部１３１を備える。画像記憶部１３１は、後述する撮像部２４が撮像した商品を含む画像を記憶する。

メモリ部１４は、制御プログラム部１４１、商品マスタ１４２（記憶部）、辞書１４３（記憶部）を備える。制御プログラム部１４１は、商品読取装置１０を制御するプログラムを記憶する。商品マスタ１４２（図３で後述）は、基準商品毎に商品の種々の情報を記憶する。辞書１４３は、基準商品を特定する商品ＩＤ別に、当該商品の特徴を示す情報である特徴量を記憶する。特徴量とは、商品表面の色合いや模様、凹凸状況、形状等の、当該商品の特徴を顕著に表す情報である。なお、実施形態では、商品マスタ１４２と辞書１４３とを合わせて記憶部とする。なお、商品マスタ１４２の機能と辞書１４３の機能の両方を持つ一つのメモリを記憶部としてもよい。この場合、記憶部は、基準商品に対応付けて当該商品の特徴量を記憶する。

制御部１００は、データバス１５およびコントローラ１６を介して、操作部２１、オペレータ用表示部２２、客用表示部２３、撮像部２４、タッチパネル２５、音声出力部２６、カードリーダ２７と接続している。また、制御部１００は、データバス１５を介して、通信Ｉ／Ｆ（Interface）２８と接続している。通信Ｉ／Ｆ２８は通信回線Ｌを介してＰＯＳ端末３０と接続している。

撮像部２４は、カラーＣＣＤセンサやカラーＣＭＯＳセンサで構成される。撮像部２４は、読取窓２４ａの前を通過した商品を含む撮像を行う。例えば、撮像部２４は、読取窓２４ａの前を通過した商品の撮像を行う。また、撮像部２４は、読取窓２４ａの前を通過した商品が入った袋の撮像を行う。また、撮像部２４は、読取窓２４ａの前を通過した商品や袋に付されたシンボルの撮像を行う。音声出力部２６は、予め設定された警告音等を発生するための音声回路とスピーカー等である。音声出力部２６は、制御部１００の制御の下で警告音等の音声による報知を行う。カードリーダ２７は、溝２７ａを走査されたカードからカード情報を読み取る。

次に図３を用いて、商品マスタ１４２のデータ構成を示す。商品マスタ１４２は、基準商品を特定する商品ＩＤに対応して、当該基準商品の商品名、単価、商品画像、カテゴリコードを記憶する。図３に示すように、商品マスタ１４２は、商品ＩＤ部１４２１、商品名部１４２３、単価部１４２４、商品画像部１４２５、カテゴリコード部１４２６を備えている。

商品ＩＤ部１４２１は、基準商品を特定する商品ＩＤを記憶する。商品名部１４２３は、商品ＩＤが特定する基準商品の商品名を記憶する。単価部１４２４は、商品ＩＤが特定する基準商品の単価を記憶する。商品画像部１４２５は、商品ＩＤが特定する基準商品の特徴を表す代表的な画像を記憶する。

カテゴリコード部１４２６は、基準商品が特定のカテゴリに含まれることを示すカテゴリコード（カテゴリ情報）を記憶する。特定のカテゴリとは、シンボルが付されている可能性がある商品または商品のグループのカテゴリをいう。例えば、カテゴリコードＧ１は、商品の製造工程において、シンボルが付された商品を分類するコードである。また、カテゴリコードＧ２は、袋詰めした商品が存在する商品を分類するコードである。袋詰めした商品は、袋詰めした全体が一つの商品であり、袋にシンボルが付されることがある。また、商品には、タイムセールや売切セール等において値引きや割引きのシンボルが付されることがある。カテゴリコードＧ３は、値引きや割引きを示すシンボルが付された商品が存在する商品を分類するコードである。カテゴリコード部１４２６にカテゴリコードが記憶されていない商品は、シンボルが付されている可能性がない商品である。製造過程でシンボルが付される可能性がある商品、一つまたは複数の商品を袋詰めして販売される可能性がある商品、値引きや割引きがされる可能性がある商品については、カテゴリコード部１４２６に予めカテゴリコードを記憶しておく。なお、商品マスタ１４２は、商品ＩＤに対応させてカテゴリコードを記憶しており、一方、辞書１４３は、商品ＩＤに対応させて特徴量を記憶している。すなわち、記憶部は、特徴量とカテゴリコードとを対応付けて記憶している。

続いて、図４のブロック図を用いて、ＰＯＳ端末３０のハードウェア構成について説明する。図４に示すように、ＰＯＳ端末３０は、制御主体となるＣＰＵ３１を備える。またＰＯＳ端末３０は、各種プログラムを記憶するＲＯＭ３２を備える。またＰＯＳ端末３０は、ＣＰＵ３１のワークエリアとして機能するＲＡＭ３３を備える。またＰＯＳ端末３０は、各種プログラムを記憶するＨＤＤやフラッシュメモリ等で構成されたメモリ部３４等を備える。ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、メモリ部３４は、互いにデータバス３５を介して接続されている。

ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３は、制御部３００を構成する。制御部３００は、ＣＰＵ３１が、メモリ部３４の制御プログラム部３４１に記憶されＲＡＭ３３に展開された制御プログラムに従って動作することによって、後述する制御処理を実行する。

ＲＡＭ３３は、各種データも記憶する。ＲＡＭ３３は、商品情報部３３１を備える。商品情報部３３１は、ＰＯＳ端末３０で売上登録処理した商品の商品情報を記憶する。

メモリ部３４は、制御プログラム部３４１、商品マスタ３４２を備える。制御プログラム部３４１は、ＰＯＳ端末３０を制御するプログラムを記憶する。商品マスタ３４２は、商品読取装置１０の商品マスタ１４２と同じ構成である。ＰＯＳ端末３０は、追加の商品の売上登録処理や取消処理を実行することがあるため、自身でも商品マスタ３４２を記憶している。

制御部３００は、データバス３５およびコントローラ３６を介して、締めキー４２１および取消キー４２２を備えた操作部４２、オペレータ用表示部４３、客用表示部４４、タッチパネル４６、ドロワ４１、印字部４７と接続している。締めキー４２１は、取引の決済処理を実行する際に操作する。取消キー４２２は、商品情報部３３１から、直前に売上登録処理した商品の商品情報を削除する際に操作するキーである。取消キー４２２が操作されると、直前に売上登録処理した商品の商品情報は削除され、当該商品に係る売上登録処理は初めからなかったものとする。また、制御部３００は、データバス３５を介して、通信Ｉ／Ｆ４５を制御部３００に接続しており、通信Ｉ／Ｆ４５は通信回線Ｌを介して商品読取装置１０と接続している。

ここからは、商品読取装置１０およびＰＯＳ端末３０の制御処理について説明する。図５は、商品読取装置１０の機能構成を示す機能ブロック図である。制御部１００が、メモリ部１４の制御プログラム部１４１に記憶された制御プログラムに従うことで、判断手段１０１、報知制御手段１０２、抽出手段１０３、選択手段１０４、第１制御手段１０５、第２制御手段１０６、表示制御手段１０７として機能する。

判断手段１０１は、基準商品と基準商品にシンボルが付される可能性の有無を示すカテゴリ情報とを対応付けて記憶する商品マスタ１４２から、撮像部２４が撮像した商品の撮像画像に基づいて抽出された基準商品に対応付けられたカテゴリ情報に基づいて、シンボルが付されている可能性を判断する機能を有する。

報知制御手段１０２は、判断手段１０１が可能性ありと判断したことを条件にシンボルが付されている可能性があることをオペレータ用表示部２２に表示させる機能を有する。

抽出手段１０３は、撮像画像に含まれた商品の特徴量と類似する一または複数の基準商品を抽出する機能を有する。

選択手段１０４は、抽出手段１０３が抽出した基準商品から一つの基準商品を選択する機能を有する。

第１制御手段１０５は、判断手段１０１が可能性ありを判断した基準商品を自動的に売上登録処理させる機能を有する。

第２制御手段１０６は、判断手段１０１が可能性ありを判断した基準商品について売上登録が指示されたことを条件に、当該商品を売上登録処理させる機能を有する。

表示制御手段１０７は、抽出手段１０３が抽出した一または複数の基準商品のすべてまたは一部をオペレータ用表示部２２に表示させる機能を有する。

図６は、商品読取装置１０の制御処理の流れを示すフローチャートである。図６に示すように、制御部１００は、撮像部２４が撮像した商品の撮像画像を入力したか否かを判断する（Ｓ１１）。撮像画像を入力したと判断した場合は（Ｓ１１のＹｅｓ）、制御部１００は、入力された撮像画像を画像記憶部１３１に記憶する（Ｓ１２）。

次に制御部１００（検出手段）は、画像記憶部１３１に記憶した撮像画像にシンボルが含まれているか否かを判断する（Ｓ１３）。制御部１００は、画像記憶部１３１に記憶した撮像画像に、例えばバーコードや二次元コードの画像が含まれている場合は、画像記憶部１３１に記憶した商品の撮像画像にシンボルが含まれていると判断する。撮像画像にシンボルが含まれているか否かは、記憶した画像を解析して、バーコードや二次元コードの特徴を示す画像が存在するか否かで判断する。バーコードや二次元コードの特徴を示す画像である場合に、制御部１００は、撮像画像にシンボルが含まれていると判断する。シンボルが含まれていると判断した場合には（Ｓ１３のＹｅｓ）、制御部１００（特定手段１０２）は、撮像したシンボルを解析して、当該シンボルに含まれる商品を特定する商品ＩＤを取得する（Ｓ１４）。そして取得した商品ＩＤをＰＯＳ端末３０に送信する（Ｓ１５）。そして制御部１００は、Ｓ１１に戻る。なお、商品ＩＤは、シンボルを解析した結果に基づいて他の場所から取得してもよい。また、商品の撮像画像を入力していないと判断した場合には（Ｓ１１のＮｏ）、制御部１００は、Ｓ１１に戻る。

一方、画像記憶部１３１に記憶した撮像画像にはシンボルは含まれていないと判断した場合には（Ｓ１３のＮｏ）、制御部１００は、Ｓ１２で記憶した撮像画像にシンボルの一部が撮像されているか否かを判断する（Ｓ２１）。例えば、撮像画像において、バーコードや二次元コードの特徴が撮像されているとは言えないものの、それらの一部と判断できる特徴が撮像されている場合に、画像にシンボルの一部が撮像されていると判断する。シンボルの一部が撮像されていると判断した場合には（Ｓ２１のＹｅｓ）、撮像した商品にシンボルが付されている可能性があるため、制御部１００は、オペレータ用表示部２２にオペレータに対する注意喚起を意味するメッセージを表示させるようにコントローラ１６に指示を出す（Ｓ２８）。

一方、撮像画像にはシンボルの一部は撮像されていないと判断した場合には（Ｓ２１のＮｏ）、制御部１００は、画像記憶部１３１に記憶した商品の撮像画像について一般物体認識を行う（Ｓ２２）。すなわち、制御部１００は、撮像された商品の画像の特徴量と辞書１４３に記憶されている特徴量とを比較して、類似度の判定を行う。そして制御部１００（抽出手段１０３）は、判定した類似度が所定値（例えば６０％）以上の商品の商品ＩＤを抽出する。そして制御部１００は、抽出した商品ＩＤの基準商品の商品情報を商品マスタ１４２から抽出する（Ｓ２３）。具体的には、制御部１００は、Ｓ２３において、抽出した商品の商品名と当該商品の画像を抽出する。

次に制御部１００は、抽出した基準商品の中に自動判定可能な基準商品があるか否かを判断する（Ｓ２４）。自動判定可能な基準商品とは、例えば類似度が９５％以上の基準商品である。類似度９５％以上の基準商品は、画像記憶部１３１に記憶した画像と特徴量が極めて似ている商品であり、撮像された商品とすることができる。

自動判定可能な商品がないと判断した場合には（Ｓ２４のＮｏ）、制御部１００（表示制御手段１０７）は、抽出された基準商品のうち、類似度が高い上位（例えば上位４個）の基準商品をオペレータ用表示部２２に表示させる（Ｓ２５）。なお、制御部１００（表示制御手段１０７）は、抽出されたすべての基準商品をオペレータ用表示部２２に表示してもよい。

図７に、オペレータ用表示部２２に表示された基準商品を示す。図７において、オペレータ用表示部２２は、画像表示部２２１、候補商品部２２２を表示する。画像表示部２２１は、撮像部２４が撮像している生の撮像画像を表示する。候補商品部２２２は、上位４位までの基準商品の商品情報（商品名、商品の画像等）を商品マスタ１４２から取得してオペレータ用表示部２２に表示する。オペレータは、表示された基準商品のうちから、撮像した商品に該当すると判断した一つの表示された商品をタッチして、一つの基準商品を選択する。

図６の説明に戻る。制御部１００（選択手段１０５）は、一つの商品が選択されたか否かを判断する（Ｓ２６）。制御部１００は、選択されるまで待機する（Ｓ２６のＮｏ）。自動判定してよい基準商品があると判断した場合（Ｓ２４のＹｅｓ）、または一つの基準商品が選択されたと判断した場合には（Ｓ２６のＹｅｓ）、制御部１００（判断手段１０１）は、当該基準商品にシンボルが付されている可能性を判断する（Ｓ２７）。具体的には、Ｓ２４でＹｅｓと判断した基準商品およびＳ２６でＹｅｓと判断した基準商品の商品ＩＤに対応した、カテゴリコード部１４２６に記憶されたカテゴリコードに基づいて、当該基準商品にシンボルが付されている可能性があるか否かを判断する。カテゴリコードがＧ１、Ｇ２、Ｇ３のいずれかであれば、商品にシンボルが付されている可能性があると判断する。カテゴリがＧ１、Ｇ２、Ｇ３のいずれかであると判断した場合には（Ｓ２７のＹｅｓ）、制御部１００（報知制御手段１０２）は、オペレータ用表示部２２にオペレータに対する注意喚起を示すメッセージを表示させる（Ｓ２８）。すなわち、カテゴリコードがＧ１、Ｇ２、Ｇ３のいずれかの基準商品は、シンボルが付されている可能性がある商品であるため、制御部１００は、当該商品にシンボルが付されている可能性を注意喚起するためのメッセージをオペレータに表示させる。

なお、Ｓ２７において、制御部１００は、基準商品についてシンボルが付されているか否かを判断している。しかしながら、Ｓ２７で判断する基準商品は、Ｓ１１で撮像された商品に基づいてＳ２４において自動判定された基準商品またはＳ２６においてオペレータが選択した基準商品である。そのため、Ｓ２７で判断する基準商品は、Ｓ１１で撮像され、Ｓ２２で一般物体認識された商品に等しい。すなわち、制御部１００は、実質的に、Ｓ２７において、Ｓ１１で撮像されＳ２２で一般物体認識された商品について、シンボルが付されているか否かを判断している。

図７において、オペレータ用表示部２２は、メッセージ部２２４を表示している。Ｓ２８において、制御部１００は、例えば「バーコードが貼付されていないか確認してください」のメッセージを表示する。オペレータは、このメッセージが表示されると、直前に撮像した商品を見て、当該商品にシンボルが付されているか否かを目で確認する。そして、シンボルが付されていることを確認した場合、当該商品について取消処理を実行する。取消処理については、図８の説明で後述する。取消処理後にオペレータは、当該商品に付されているシンボルを読取窓２４ａに向けて、もう一度撮像の動作を行う。すると、撮像部２４は、当該商品に付されたシンボルを撮像する。制御部１００は、Ｓ１３においてＹｅｓと判断し、続いて制御部１００は、Ｓ１４とＳ１５の処理を実行する。また、オペレータは、当該商品にシンボルが付されていないことを確認した場合には、何もしない。

図６の説明に戻る。Ｓ２８の処理後、およびＳ２７において、カテゴリがＧ１、Ｇ２、Ｇ３のいずれでもないと判断した場合（例えば、カテゴリコード部１４２６に特定のカテゴリコードが記憶されていないと判断した場合）（Ｓ２７のＮｏ）、制御部１００（第１制御手段１０５）は、基準商品ＩＤをＰＯＳ端末３０に送信して、ＰＯＳ端末３０に自動的に売上登録処理を実行させる（Ｓ２９）。そして制御部１００は、Ｓ１１に戻る。すなわち、基準商品についてＳ２８においてメッセージを表示するとともに、Ｓ２９において、当該基準商品の商品ＩＤを自動的にＰＯＳ端末３０に送信して、ＰＯＳ端末３０に自動的に売上登録処理を実行させる。このようにすれば、結果としてシンボルが付されていなかった商品については、売上登録処理を素早く実行することができる。

すべての商品について画像の撮像が終了すると、オペレータは仮締めキー２１１を操作する。すると商品読取装置１０は当該取引についての仮締めの操作が行われたことを示す仮締め信号をＰＯＳ端末３０に送信する。この仮締め信号を受信したＰＯＳ端末３０は、締め処理が可能となる。

ここからは、ＰＯＳ端末３０の制御処理について説明する。図８は、ＰＯＳ端末３０の制御処理の流れを示すフローチャートである。図８において、制御部３００は、商品読取装置１０から商品ＩＤを受信したか否かを判断する（Ｓ４１）。商品ＩＤを受信したと判断した場合には（Ｓ４１のＹｅｓ）、制御部１００は、受信した商品ＩＤに基づいて商品マスタ３４２を検索して、当該商品に係る商品情報を取得する。そして制御部３００は、取得した商品情報に基づいて当該商品の商品登録処理を実行する（Ｓ４２）。すなわち、ＰＯＳ端末３０は、受信した商品ＩＤに基づいて自動的に売上登録処理を実行する。そして制御部３００は、Ｓ４１に戻る。

また、商品ＩＤを受信していないと判断した場合には（Ｓ４１のＮｏ）、制御部３００は、締めキー４２１が操作されたか否かを判断する（Ｓ４３）。締めキー４２１が操作されたと判断した場合には（Ｓ４３のＹｅｓ）、制御部３００は、商品読取装置１０から仮締め信号を受信したか否かを判断する（Ｓ４４）。仮締め信号を受信したと判断した場合には（Ｓ４４のＹｅｓ）、制御部３００は、商品情報部３３１に記憶されている商品情報に基づいて、当該取引に係る決済処理を実行する（Ｓ４５）。そして制御部３００は、Ｓ４１に戻る。なお、仮締め信号を受信しいていないと判断した場合には（Ｓ４４のＮｏ）、制御部３００はＳ４１に戻る。

また、締めキー４２１は操作されていないと判断した場合には（Ｓ４３のＮｏ）、制御部３００は、取消キー４２２が操作されたか否かを判断する（Ｓ４６）。取消キー４２２が操作されたと判断した場合には（Ｓ４６のＹｅｓ）、制御部３００は、商品情報部３３１に記憶されている商品情報のうち、直前に売上登録処理された商品の商品情報を、商品情報部３３１から消去する取消処理を実行する（Ｓ４７）。このようにして、制御部３００は、直前に売上登録処理された商品の売上登録処理を取り消す。そして制御部３００は、Ｓ４１に戻る。なお、取消キー４２２は操作されていないと判断した場合には（Ｓ４６のＮｏ）、制御部３００は、Ｓ４１に戻る。

このような実施形態によれば、商品読取装置１０が画像を撮像した際に、シンボルが付されている可能性がある基準商品が抽出された場合には、制御部１００は、オペレータ用表示部２２にシンボルが付されている可能性があることを示すメッセージを表示するようにした。そのため、オペレータは、当該商品にシンボルが付されているか否かを確認することができる。

また、制御部１００は、上記メッセージを表示するとともに、当該基準商品を特定する商品ＩＤをＰＯＳ端末３０に送信して、自動的に売上登録処理をさせるようにした。そのため、ＰＯＳ端末３０における当該商品の売上登録処理を早く実行することができる。そのため、ＰＯＳ端末３０における決済処理を短時間で実行することができる。

また、メッセージが表示された商品がシンボルが付されている商品であることを確認した場合には、ＰＯＳ端末３０において取り消し操作を行う。すると、ＰＯＳ端末３０は、取消処理を実行して、一般物体認識処理によって抽出された商品の売上登録処理を取り消すことができる。

（変形例）
ここからは、実施形態の変形例について説明する。変形例は、実施形態と比較して図６の制御処理が少し異なり、他の構成やＰＯＳ端末３０の処理は実施形態と同じである。図９は、変形例に係る商品読取装置１０の制御処理の流れを示すフローチャートである。なお、図９のフローチャートにおいて、図６に示した実施形態と同様の制御処理については図６と同じ符号を付し、その説明を省略する。

実施形態では、Ｓ２７の処理でＹｅｓと判断された場合には、制御部１００は、オペレータ用表示部２２にオペレータに対する注意喚起を意味するメッセージを表示させる（Ｓ２８）。その後、制御部１００は、Ｓ２９の処理を自動的に実行していた。変形例では、Ｓ２７の処理でＹｅｓと判断された場合には、制御部１００は、オペレータ用表示部２２にオペレータに対する注意喚起を意味するメッセージを表示させる（Ｓ２８）。このＳ２８の処理において、制御部１００は、オペレータ用表示部２２に、当該基準商品にシンボルが付されていることを確認したときに、オペレータが操作する確認キー（図示せず）を表示する。オペレータは、メッセージが示された場合に、撮像した商品についてシンボルが付されているかを確認する。そしてオペレータは、商品にシンボルが付されていない場合は、当該商品について売上登録処理を実行させることを指示するための確認キーを操作する。制御部１００は、オペレータによって確認キーが操作されたか否かを判断する（Ｓ３０）。操作されたと判断した場合には（Ｓ３０のＹｅｓ）、制御部１００（第２制御手段１０６）は、Ｓ２９以降の処理を実行する。また、確認キーは操作されない（例えば、シンボルが付されていないことを確認したことを示すキーが操作された）ことを判断した場合には（Ｓ３０のＮｏ）、制御部１００は、Ｓ１１に戻る。

このような変形例によれば、商品読取装置１０が画像を撮像した際に、シンボルが付されている可能性がある商品については、オペレータ用表示部２２にシンボルが付されていることを示すメッセージを表示するようにした。そのため、オペレータは、当該商品にシンボルが付されているか否かを確認することができる。

また、上記メッセージを表示した基準商品については、当該商品を特定する商品ＩＤのＰＯＳ端末３０への送付を一時的にストップする。そして、シンボルが付されていないことをオペレータが確認した商品について、商品ＩＤをＰＯＳ端末３０に送信するようにした。ＰＯＳ端末３０は、受信した商品ＩＤに基づいて一般物体認識処理による売上登録処理を実行する。一方、シンボルが付されていることを確認した商品について、商品ＩＤをＰＯＳ端末３０に送信しない。そのため、ＰＯＳ端末３０において、一般物体認識処理による売上登録処理が実行されない。そのため、シンボルが付された商品について、ＰＯＳ端末３０において、オペレータによる売上登録処理の取り消し操作を行う必要がない。

なお、変形例において、Ｓ２４の処理とＳ２６の処理の後でＳ２７の処理とＳ２８の処理とＳ３０の処理を実行した。しかしながら、Ｓ２７の処理とＳ２８の処理をＳ２５の処理とＳ２６の処理の間で実行するようにしてもよい。このようにすれば、Ｓ２５において候補商品である一または複数の基準商品が表示された段階で、制御部１００は注意喚起のメッセージを表示する。この場合、制御部１００（判断手段１０１）は、表示された基準商品の一または複数にシンボルが付されている可能性があると判断した場合に、注意喚起のメッセージを表示する。そのため、オペレータは、一つの基準商品を選択する前に商品に付されたシンボルを確認することができる。なお、この場合、Ｓ３０の処理は不要である。また、この場合、Ｓ２１においてＹｅｓの場合に、別途Ｓ２８の処理とＳ３０の処理を実行する。

以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば実施形態では、商品読取装置１０を情報処理装置の一例として説明したが、これに限らず、ＰＯＳ端末３０を情報処理装置としてもよい。

また、実施形態では、オペレータ用表示部２２にメッセージを表示して注意喚起を報知したが、これに限らず、例えば、音声出力部２６から発する音声や図示しない発光部から発する光によって注意喚起を報知するようにしてもよい。

また、実施形態では、商品読取装置１０とＰＯＳ端末３０の両方に商品マスタを備えるようにしたが、ＰＯＳ端末３０のみに商品マスタを備えてもよい。

また、実施形態では、オペレータ用表示部２２を報知部としたが、これに限らず、例えば、オペレータ用表示部４３を報知部としてもよい。また、音声出力部２６を報知部としてもよい。この場合、シンボルが付されている可能性を音声出力部２６から音声で報知する。

また、実施形態では、一般物体認識処理、類似度の算出処理を商品読取装置１０で実行したが、これらの処理のすべてまたは一部をＰＯＳ端末３０で行うようにしてもよい。

また、実施形態では、ＰＯＳ端末３０と商品読取装置１０とで構成されるチェックアウトシステム１のうち、商品読取装置１０を情報処理装置として説明したが、これに限るものではなく、ＰＯＳ端末３０および商品読取装置１０の機能を備えた１台構成の装置を情報処理装置としてもよい。ＰＯＳ端末３０および商品読取装置１０の機能を備えた１台構成の装置としては、例えば、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。

ここで、図１０は、セルフＰＯＳ２００の外観構成を示す斜視図、図１１は、セルフＰＯＳ２００のハードウェア構成を示すブロック図である。なお、以下では、図２〜図９に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。

図１０および図１１に示すように、セルフＰＯＳ２００の本体２０２は、タッチパネル２０９が表面に配設された表示部２１０や、商品を認識（抽出）するために商品画像を読み取る商品読取部２１２を備える。

表示部２１０としては例えば液晶表示器が用いられる。表示部２１０は、客にセルフＰＯＳ２００の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部２１２で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。

商品読取部２１２は、客が商品に付されたコードシンボルを商品読取部２１２の読取窓２１２ａにかざすことで商品画像を撮像部１６４により読み取るものである。

また、本体２０２の右側には、かごに入った未精算の商品を置くための商品載置台２０３を設け、本体２０２の左側には、精算済みの商品を置くための商品載置台２０４を設ける。また、精算済みの商品を入れるための袋を掛けるための袋掛けフック２０５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台２０６を設ける。商品載置台２０３および２０４は、計量器２０７、２０８をそれぞれ備えており、決済の前後で商品の重量が同じであることを確認する機能を有する。

また、セルフＰＯＳ２００の本体２０２には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器２０１を設ける。

このような構成のセルフＰＯＳ２００に本発明の実施形態を適用した場合、セルフＰＯＳ２００が情報処理装置として機能する。なお、ＰＯＳ端末３０と商品読取装置１０との機能を備えた１台構成の装置は、上述した構成のセルフＰＯＳ２００に限らず、計量器２０７および２０８を除いて構成された装置であってもよい。

なお、実施形態の商品読取装置１０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（FD）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施形態の商品読取装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施形態の商品読取装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、実施形態の商品読取装置１０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

１ チェックアウトシステム
１０ 商品読取装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ メモリ部
２４ 撮像部
３０ ＰＯＳ端末
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ メモリ部
１００ 制御部
１０１ 判断手段
１０２ 報知制御手段
１０３ 抽出手段
１０４ 選択手段
１０５ 第１制御手段
１０６ 第２制御手段
１０７ 表示制御手段
１４２ 商品マスタ
１４３ 辞書

特開２０１３−０８９０８３号公報

Claims (5)

1. 基準商品と前記基準商品にシンボルが付される可能性の有無を示すカテゴリ情報とを対応付けて記憶する記憶部から、撮像部が撮像した商品の撮像画像に基づいて抽出された基準商品に対応付けられた前記カテゴリ情報に基づいて、前記シンボルが付されている可能性を判断する判断手段と、
   前記判断手段が可能性ありと判断したことを条件に前記シンボルが付されている可能性があることを報知部に報知させる報知制御手段と、
   を備え、
   前記記憶部は、前記基準商品に対応付けて当該基準商品の特徴量を記憶し、
   前記撮像画像に含まれた前記商品の特徴量と類似する一または複数の前記基準商品を抽出する抽出手段と、
   前記抽出手段が抽出した前記基準商品から一つの基準商品を選択する選択手段、をさらに備え、
   前記選択手段によって選択された前記基準商品の前記カテゴリ情報に基づいて、前記判断手段は当該商品に前記シンボルが付されている可能性があるかを判断し、
   前記判断手段が可能性ありを判断した前記基準商品を自動的に売上登録処理させる第１制御手段、
   をさらに備えた情報処理装置。
2. 基準商品と前記基準商品にシンボルが付される可能性の有無を示すカテゴリ情報とを対応付けて記憶する記憶部から、撮像部が撮像した商品の撮像画像に基づいて抽出された基準商品に対応付けられた前記カテゴリ情報に基づいて、前記シンボルが付されている可能性を判断する判断手段と、
   前記判断手段が可能性ありと判断したことを条件に前記シンボルが付されている可能性があることを報知部に報知させる報知制御手段と、
   を備え、
   前記記憶部は、前記基準商品に対応付けて当該基準商品の特徴量を記憶し、
   前記撮像画像に含まれた前記商品の特徴量と類似する一または複数の前記基準商品を抽出する抽出手段と、
   前記抽出手段が抽出した前記基準商品から一つの基準商品を選択する選択手段、をさらに備え、
   前記選択手段によって選択された前記基準商品の前記カテゴリ情報に基づいて、前記判断手段は当該商品に前記シンボルが付されている可能性があるかを判断し、
   前記判断手段が可能性ありを判断した前記基準商品について売上登録が指示されたことを条件に、当該商品を売上登録処理させる第２制御手段、
   をさらに備えた情報処理装置。
3. 基準商品と前記基準商品にシンボルが付される可能性の有無を示すカテゴリ情報とを対応付けて記憶する記憶部から、撮像部が撮像した商品の撮像画像に基づいて抽出された基準商品に対応付けられた前記カテゴリ情報に基づいて、前記シンボルが付されている可能性を判断する判断手段と、
   前記判断手段が可能性ありと判断したことを条件に前記シンボルが付されている可能性があることを報知部に報知させる報知制御手段と、
   を備え、
   前記記憶部は、前記基準商品に対応付けて当該基準商品の特徴量を記憶し、
   前記撮像画像に含まれた前記商品の特徴量と類似する一または複数の前記基準商品を抽出する抽出手段と、
   前記抽出手段が抽出した一または複数の前記基準商品のすべてまたは一部を前記報知部に表示させる表示制御手段、をさらに備え、
   前記表示制御手段が表示させた前記基準商品の一または複数に前記シンボルが付されている可能性があると前記判断手段が判断したことを条件に、前記報知制御手段は前記シンボルが付されている可能性があることを報知させる、
   情報処理装置。
4. 前記撮像部が撮像した画像に前記シンボルの一部が撮像されている場合、前記判断手段は、当該商品に前記シンボルが付されている可能性があると判断する、
   請求項１乃至３のいずれか一に記載の情報処理装置。
5. コンピュータを、
   基準商品と前記基準商品にシンボルが付される可能性の有無を示すカテゴリ情報とを対応付けて記憶する記憶部から、撮像部が撮像した商品の撮像画像に基づいて抽出された基準商品に対応付けられた前記カテゴリ情報に基づいて、前記シンボルが付されている可能性を判断する判断手段と、
   前記判断手段が可能性ありと判断したことを条件に前記シンボルが付されている可能性があることを報知部に報知させる報知制御手段と、
   して機能させ、
   前記記憶部は、前記基準商品に対応付けて当該基準商品の特徴量を記憶し、
   前記撮像画像に含まれた前記商品の特徴量と類似する一または複数の前記基準商品を抽出する抽出手段と、
   前記抽出手段が抽出した前記基準商品から一つの基準商品を選択する選択手段、として機能させ、
   前記選択手段によって選択された前記基準商品の前記カテゴリ情報に基づいて、前記判断手段は当該商品に前記シンボルが付されている可能性があるかを判断し、
   前記判断手段が可能性ありを判断した前記基準商品を自動的に売上登録処理させる第１制御手段、
   として機能させるためのプログラム。

Images