JP6384309B2 - 商品識別装置、商品認識ナビゲーション方法及びプログラム - Google Patents

Description

本発明は、商品識別装置、商品認識ナビゲーション方法及びプログラムに関する。

従来、電子式キャッシュレジスタ（商品登録装置）は、バーコード読み取り部によって、商品に付与されたバーコードなどのデータコードを読み取り、この商品を識別していた。商品に付与されたバーコードは、メーカコードの情報と、アイテムコードの情報と、チェックディジットの情報とを含んで構成される。商品登録装置は、チェックディジットの情報によって正しくバーコードが読み取れたことを判断したのち、アイテムコードの情報によって、この商品を識別する。バーコードを予め商品の包装などに印刷しておくことで、キャッシュレジスタのオペレータの負担を軽減することができる。
しかし、包装されていない商品、例えば青果品などは、バーコードを個々に貼り付けることは極めて煩雑であり、時間とコストとが掛かる。従来は青果品などに対して、商品を指し示すボタンの押下や画面へのタッチ、または別途用意されたバーコード表から該当商品のコードを選んでスキャナで読み取るという運用がなされていた。

近年では、青果品などをオブジェクト認識して識別し、識別された商品を売上登録する商品登録装置が普及しはじめている。この商品登録装置は、青果品などを撮影した画像情報から外観の特徴量を抽出し、商品の外観にかかる特徴量データベースと比較することで、この物品がいずれの商品であるかを識別する。これにより、予め包装されていない商品であっても、バーコードを個々に貼り付けることなく商品登録装置が認識できるので、店舗側の負担を軽減することができる。

商品には、それぞれ外観上の差異がある。対象商品と、基準とした商品の外観との差異が大きい場合には、この対象商品は、オブジェクト認識中の類似度により、商品を一意に確定することは困難である。このような場合に、オブジェクト認識機能を有する商品登録装置は、この対象商品の候補である仮確定商品の確認画面を表示し、または、この対象商品の候補である複数の商品を画面に選択可能に表示していた。オペレータは、この選択肢から外装する商品をタッチするなどの操作が必要であった。

例えば、特許文献１の段落００６８には、「商品候補提示領域８３には、類似度の高い登録商品から順に、商品候補のイラスト画像Ｇ１、Ｇ２、Ｇ３および各商品名が表示される。これらイラスト画像Ｇ１、Ｇ２、Ｇ３はタッチパネル１０５に対する選択操作に応じて選択可能に構成されている。また、商品候補提示領域８３の下部には、商品リストから商品を選択するための選択ボタン８４が設けられており、商品リストから選択された商品は上述した仮確定商品として処理される。」と記載されている。

特開２０１３−１８２３２３号公報（図８と段落００６８）

顧客は、スーパーマーケットで商品を購入する場合に、買物カゴなどに商品を入れた後、買物カゴをキャッシュレジスタのオペレータ（店員）に渡して、商品代金の精算を依頼する。このときオペレータは、この顧客が持ってきた買物カゴ（以下、「第１の買物カゴ」という）に入っている各商品を順番に商品登録装置に読み込ませることによって、その商品の商品情報を売上情報に仮登録させ、その商品を別の買物カゴ（以下、「第２の買物カゴ」という）に入れる、という動作を繰り返すことによって、第１の買物カゴに入っている各商品を売上登録する。

その際、商品登録装置は、即座に商品を認識できない場合がある。例えば、バーコード付き商品のバーコード部分がうまく撮影できない場合、商品登録装置は、即座に商品を認識できない。この場合に、オペレータは、商品登録装置のカメラに商品をできるだけ近づける操作により、商品登録装置に商品を認識させる。
オブジェクト認識の対象商品が適切なアングルで撮影できない場合、商品登録装置は、即座に商品を認識できない。この場合に、オペレータは、バーコードの読取操作と同様の感覚で、商品登録装置のカメラに商品をできるだけ近づけるように操作するおそれがある。

しかしながら、商品登録装置が商品をオブジェクト認識できない場合の要因は、カメラに提示している商品の方向が適正でないことが多い。例えば、商品を特定することが可能な特徴量を多く含む商品の方向が正面方向であるにもかかわらず、オペレータが商品の上面をカメラに向けていたり、逆に、特徴量を多く含む商品の方向が上面方向であるにもかかわらず、オペレータが商品の正面をカメラに向けていたりすることが、主な要因になっている。このような場合に商品登録装置は、登録商品の候補を複数提示していた。

特許文献１に記載されている発明は、登録商品の候補が複数の場合には、タッチパネル操作で選択された一の登録商品の候補を仮確定商品としている。しかし、この候補商品の選択は、オペレータの商品登録の流れを妨げるものである。よって、オペレータの時間と手間を要し、更に顧客に対する待ち時間を発生させる要因となっていた。

そこで、本発明は、オペレータの商品登録の流れを妨げることなく商品を識別する商品識別装置、商品認識ナビゲーション方法及びプログラムを提供することを課題とする。

上記目的を達成するため、本発明に係る商品識別装置は、オペレータがカメラに翳した物体を前記カメラで撮影することにより前記物体の画像を取得する撮影制御手段と、前記撮影制御手段により取得した物体の画像に基づいて前記物体が複数の商品に類似するか否かを判断する類似度判断手段と、前記類似度判断手段により前記物体が複数の商品に類似すると判断された場合であって、前記物体の画像が前記物体の全体像のうちの何れかの部分が前記カメラの画角から外れるように撮影されて取得された画像であった場合に、前記物体に類似すると判断された複数の商品間で相違が顕著な部分を特定する特定手段と、前記特定手段により特定された部分が前記カメラの画角に収まるように、前記オペレータに対して前記物体の移動を誘導する誘導手段と、を備えることを特徴とする。

また、本発明に係る商品認識ナビゲーション方法は、オペレータがカメラに翳した物体を前記カメラで撮影することにより前記物体の画像を取得する撮影制御ステップと、前記撮影制御ステップで取得した物体の画像に基づいて前記物体が複数の商品に類似するか否かを判断する類似度判断ステップと、前記類似度判断ステップで前記物体が複数の商品に類似すると判断された場合であって、前記物体の画像が前記物体の全体像のうちの何れかの部分が前記カメラの画角から外れるように撮影されて取得された画像であった場合に、前記物体に類似すると判断された複数の商品間で相違が顕著な部分を特定する特定ステップと、前記特定ステップで特定された部分が前記カメラの画角に収まるように、前記オペレータに対して前記物体の移動を誘導する誘導ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、コンピュータを、オペレータがカメラに翳した物体を前記カメラで撮影することにより前記物体の画像を取得する撮影制御手段、前記撮影制御手段により取得した物体の画像に基づいて前記物体が複数の商品に類似するか否かを判断する類似度判断手段、前記類似度判断手段により前記物体が複数の商品に類似すると判断された場合であって、前記物体の画像が前記物体の全体像のうちの何れかの部分が前記カメラの画角から外れるように撮影されて取得された画像であった場合に、前記物体に類似すると判断された複数の商品間で相違が顕著な部分を特定する特定手段、前記特定手段により特定された部分が前記カメラの画角に収まるように、前記オペレータに対して前記物体の移動を誘導する誘導手段、として機能させることを特徴とする。

本発明によれば、オペレータの商品登録の流れを妨げることなく商品を識別する商品識別装置および商品認識ナビゲーション方法を提供することが可能となる。

本実施形態における商品識別装置などの外観を示す斜視図である。 本実施形態における商品識別装置などの概略を示す構成図である。 本実施形態における商品識別装置などの概略を示す機能ブロック図である。 本実施形態における商品識別装置の正面図である。 特徴量ファイルの構成を示す図である。 蕪と大根の基準画像を示す図である。 類似部位データベースの構成を示す図である。 本実施形態における商品の仮登録処理を示すフローチャートである。 第１の操作例を示す画面である。 第２の操作例を示す画面である。

以降、本発明を実施するための形態を、各図を参照して詳細に説明する。
図１は、本実施形態における商品識別装置２などの外観を示す斜視図である。
図１に示すように、商品登録装置１は、各商品を登録する商品識別装置２と、各取引に係る商品の売上登録と精算とを行うＰＯＳ端末３とを備える。この商品識別装置２は、商品に関する情報を読み取って登録するＰＯＳ接続用スキャナである。
商品識別装置２は、横長テーブル状のカウンタ台５の長手方向の中央に設置されている。商品識別装置２は、薄型の直方体状のハウジング５１を備える。このハウジング５１の正面には、読取窓５２を介してカメラ２７（図２参照）が配置されている。

ハウジング５１の上部には、表示・操作部２２が取り付けられている。表示・操作部２２には、ディスプレイ２２１が設けられている。このディスプレイ２２１の表面には、タッチパネル２２２（図２参照）が積層されている。ディスプレイ２２１の右隣には、キーボード２３が配置されている。キーボード２３の右隣には、不図示のカードリーダのカード読取溝が設けられている。表示・操作部２２の左奥側には、顧客に情報を提供するための顧客用ディスプレイ２４が裏向きに設置されている。

ＰＯＳ端末３は、チェックアウト台６上のドロワ３７の上面に載置されている。このドロワ３７は、ＰＯＳ端末３によって開放動作の制御を受ける。
ＰＯＳ端末３の上面には、オペレータ（店員）が操作するためのキーボード３３が配置されている。このオペレータから見てキーボード３３の上部奥側には、情報を表示するディスプレイ３２１が設けられている。このディスプレイ３２１の表面には、タッチパネル３２２（図２参照）が積層されている。ディスプレイ３２１よりもさらに奥側には、情報を表示する顧客用ディスプレイ３４が左右方向に回転可能に設置されている。なお、図１に示す顧客用ディスプレイ３４は、図の手前側に向いている。この顧客用ディスプレイ３４は、図の奥側に向くように回転させることによって、顧客に向けて情報を表示する。

ＰＯＳ端末３が載置されているチェックアウト台６とＬ字を形成するようにして、横長テーブル状のカウンタ台５が配置されている。カウンタ台５の上面には、荷受け面が形成されている。顧客は、図１の左側から右側に移動しつつ、商品の登録処理を受ける。つまり、カウンタ台５の荷受け面には、商品を収納する第１の買物カゴ４Ｌと、第２の買物カゴ４Ｒとが載置される。以下、第１の買物カゴ４Ｌと、第２の買物カゴ４Ｒとを特に区別しないときには、単に買物カゴ４と記載する場合がある。これら買物カゴ４は、いわゆるカゴ形状のものに限るものではなく、トレーなどであってもよい。また、買物カゴ４は、いわゆるカゴ形状のものに限らず、箱状や袋状などであってもよい。
第１の買物カゴ４Ｌは、顧客によって持ち込まれたものであり、一つの取引に係る商品が収納される。第２の買物カゴ４Ｒは、第１の買物カゴ４Ｌから商品識別装置２を挟んだ位置に載置される。第１の買物カゴ４Ｌ内の商品は、商品識別装置２を操作するオペレータにより取り出され、第２の買物カゴ４Ｒに移動される。この移動過程で、商品が商品識別装置２の読取窓５２に翳される。このとぎ、読取窓５２内に配置されたカメラ２７（図２参照）は商品を撮像する。

商品識別装置２では、カメラ２７により撮像された画像に含まれる商品が、後記する特徴量ファイル３６１（図２参照）に記録されたどの商品に対応するかを識別してディスプレイ２２１に表示する。商品識別装置２は更に、識別された商品の商品ＩＤをＰＯＳ端末３に通知する。ＰＯＳ端末３は、商品識別装置２から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価などの売上登録に係る情報を、売上マスタファイル（不図示）などに記録して、売上登録を行う。
なお、本発明は、顧客自らがオペレータとしてキャッシュレジスタを操作するセルフレジに適用してもよく、限定されない。

図２は、本実施形態における商品識別装置２などの概略を示す構成図である。
商品登録装置１は、商品識別装置２とＰＯＳ端末３とを含んで構成される。
商品識別装置２は、マイクロコンピュータ２１と、表示・操作部２２と、インタフェース２５と、カメラ２７と、スピーカ２８と、電源２９とを含んで構成される。
マイクロコンピュータ２１は、ＣＰＵ（Central Processing Unit）２１１にＲＯＭ（Read Only Memory）２１２とＲＡＭ（Random Access Memory）２１３とがバス接続されて構成された制御手段である。ＲＯＭ２１２には、ＣＰＵ２１１によって実行されるプログラムが記憶される。
ＣＰＵ２１１には、表示・操作部２２と、インタフェース２５と、カメラ２７、スピーカ２８とが、内部バスや各入出力回路（不図示）を介して接続される。

表示・操作部２２は、ディスプレイ２２１と、タッチパネル２２２と、顧客用ディスプレイ２４と、キーボード２３とを含んで構成され、ＣＰＵ２１１によって動作が制御される。
ディスプレイ２２１は、ＣＰＵ２１１の指示により、オペレータに対する情報を表示する表示手段である。タッチパネル２２２は、ディスプレイ２２１により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ２４は、ＣＰＵ２１１の指示により、顧客に対する情報を表示する。
キーボード２３は、複数の操作キーで構成され、オペレータの操作入力を受け付ける。
インタフェース２５は、ＰＯＳ端末３のインタフェース３５に接続して、ＰＯＳ端末３との間でデータ送受信を可能にする。

カメラ２７は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサなどであり、ＣＰＵ２１１の制御の下で、読取窓５２（図１参照）からの撮影を行う撮影手段である。カメラ２７は、例えば３０［ｆｐｓ］の動画像の撮像を行う。カメラ２７が所定のフレームレートで順次撮像したフレーム画像（撮像画像）は、ＲＡＭ２１３に保存される。

スピーカ２８は、予め設定された警告音などを発生する。スピーカ２８は、ＣＰＵ２１１の制御の下で警告音や音声による報知を行う。
電源２９は、この商品識別装置２の各部に電力を供給する。
インタフェース２５は、ＰＯＳ端末３のインタフェース３５に接続して、ＰＯＳ端末３との間でデータ送受信を可能にする。

ＰＯＳ端末３は、マイクロコンピュータ３１と、ディスプレイ３２１と、タッチパネル３２２と、キーボード３３と、顧客用ディスプレイ３４と、インタフェース３５と、ＨＤＤ３６と、ドロワ３７と、プリンタ３８と、電源３９とを含んで構成される。
マイクロコンピュータ３１は、情報処理を実行する。このマイクロコンピュータ３１は、各種演算処理を実行し各部を制御するＣＰＵ３１１に、ＲＯＭ３１２とＲＡＭ３１３とがバス接続されて構成される。ＣＰＵ３１１には、ドロワ３７と、キーボード３３と、ディスプレイ３２１と、タッチパネル３２２と、顧客用ディスプレイ３４と、ＨＤＤ３６（Hard Disk Drive）とが、内部バスや各入出力回路を介して接続されている。これらは、ＣＰＵ３１１による制御を受ける。

ディスプレイ３２１は、ＣＰＵ３１１の指示により、オペレータに対する情報を表示する。タッチパネル３２２は、ディスプレイ３２１により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ３４は、ＣＰＵ３１１の指示により、顧客に対する情報を表示する。
キーボード３３は、仮締めキー３３１と、締めキー３３２と、テンキー３３３とを含んで構成され、オペレータの操作入力を受け付ける。テンキー３３３は、０から９までの数字キーと各種演算子キーとで構成される。

ＨＤＤ３６は、プログラムや各種ファイルが記憶された記憶手段である。ＨＤＤ３６に記憶されているプログラムや各種ファイルは、ＰＯＳ端末３の起動時に、その全部または一部がＲＡＭ３１３にコピーされてＣＰＵ３１１により実行される。ＨＤＤ３６には、例えば特徴量ファイル３６１と類似部位データベース３６２とが記録されるが、商品販売データ処理用のプログラムが記録されてもよい。特徴量ファイル３６１は、店舗に陳列して販売する取扱商品の各々について、商品の売上登録にかかる情報と、その商品を複数方向から撮影した画像との関連付けが設定された商品ファイルであり、取扱商品の辞書として機能する。

インタフェース３５は、商品識別装置２に接続され、商品識別装置２との間でデータ送受信を可能とする。
プリンタ３８は、レシートなどに印字を行う。ＰＯＳ端末３は、ＣＰＵ３１１の制御のもとで、各取引の取引内容をレシートに印字する。
電源３９は、このＰＯＳ端末３の各部に電力を供給する。

図３は、本実施形態における商品識別装置２などの概略を示す機能ブロック図である。以下の説明では、適宜図１と図２とを参照する。
商品識別装置２のＣＰＵ２１１は、ＲＯＭ２１２に格納されるプログラムを実行することにより、画像取得部９０と、物体検出部９１、類似度演算部９２、類似度判断部９３、誘導部９４、確定通知部９５、入力取得部９６、情報出力部９７の各部を具現化する。また、同様に、ＰＯＳ端末３のＣＰＵ３１１は、ＨＤＤ３６に格納されるプログラムを実行することにより、売上登録部９９を具現化する。ＰＯＳ端末３のＨＤＤ３６には更に、特徴量ファイル３６１が格納される。

画像取得部９０は、カメラ２７に撮像オン信号を出力して、このカメラ２７に撮像動作を開始させる。更に画像取得部９０は、カメラ２７が撮像してＲＡＭ２１３に保存されたフレーム画像を順次取り込む。画像取得部９０によるフレーム画像の取り込みは、ＲＡＭ２１３に保存された順に行われる。

物体検出部９１は、画像取得部９０によって取り込まれたフレーム画像に含まれる物体の全部または一部を、パターンマッチング技術などを用いて検出する。
具体的には、オペレータが売上登録のために商品を読取窓５２に向けると、画像取得部９０は、カメラ２７によって、この商品の画像を撮影する。物体検出部９１は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部９１は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、この商品である物体を検出（認識）する。

別の具体的方法を以下に示す。オペレータが売上登録のために、商品を手で把持して読取窓５２に向けると、画像取得部９０は、カメラ２７によって、この商品および手の画像を撮影する。物体検出部９１は、取り込まれたフレーム画像から肌色領域の有無を検出する。肌色領域が検出された場合、すなわち、店員の手が検出された場合に、物体検出部９１は、この肌色領域の近傍において輪郭線を検出する。これにより、オペレータの手が把持していると思われる商品の輪郭を抽出する。物体検出部９１は、手の形状を示す輪郭が検出され、手の輪郭の近傍にそれ以外の物体の輪郭が更に検出された場合、この物体の輪郭から商品を検出する。

類似度演算部９２は、カメラ２７が撮像した商品の画像から、この商品の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取る。類似度演算部９２は、この商品の輪郭や大きさは考慮しない。これにより類似度演算部９２は、処理時間を短縮することができる。
類似度演算部９２は更に、特徴量ファイル３６１に記録された各商品（以下、取扱商品という）の商品画像から、当該取扱商品の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取り、撮影した商品の特徴量とそれぞれ比較することで、撮影した商品と特徴量ファイル３６１に記録された取扱商品との類似度を算出する。ここで類似度とは、特徴量ファイル３６１に記録されている各商品が想定する商品画像を１００％の類似度とした場合に、商品の全部または一部の画像がどの程度まで類似しているかを示すものである。なお、類似度演算部９２は、例えば、色合いと表面の凹凸状況との重み付けを変えて類似度を算出してもよい。

このように、画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。柳井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、更にその今後について展望している。
柳井啓司，「一般物体認識の現状と今後」，[online]、情報処理学会論文誌，２００７年１１月１５日，Vol.48，No.SIG16、1-24頁，[平成２６年９月８日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”， Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on，[平成２６年９月８日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>

なお、撮像された商品の画像と、特徴量ファイル３６１に記録された取扱商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品の画像と、特徴量ファイル３６１に記録された各取扱商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合、撮像された商品の画像と、特徴量ファイル３６１に記録された各取扱商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合には、各取扱商品との類似度の総和が１．０（１００％）となるよう算出する。例えば、特徴量ファイル３６１に４つの商品＃１〜＃４が記録されていたとする。このとき撮像された商品は、例えば、商品＃１に対して類似度が０．６５、商品＃２に対しては類似度が０．２、商品＃３に対しては類似度が０．１、商品＃４に対しては類似度が０．０５などのように算出する。

類似度判断部９３は、画像取得部９０が取り込んだフレーム画像ごとに、商品の画像と、特徴量ファイル３６１に記録されている商品画像との類似度を比較する。本実施形態では、取扱商品の商品画像と、商品の撮影画像との類似度は、複数の条件が設けられている。類似度判断部９３は、これら満たされる条件に応じて取扱商品の確定あるいは商品認識のナビゲーション（誘導）を選定する。類似度に関する条件は特に限定されるものではないが、以下では条件Ｍ，Ｎを用いる場合について説明する。

ここで、条件Ｍは、フレーム画像上の物体を、特徴量ファイル３６１に記録された取扱商品として一意に確定するための条件である。また、条件Ｎは、フレーム画像上の物体から、特徴量ファイル３６１に記録された取扱商品の複数の候補を抽出するための条件である。

類似度判断部９３は、例えば、条件Ｍを満たす取扱商品を、フレーム画像上の物体に一対一で対応する商品であると判定する。また、類似度判断部９３は、条件Ｎを満たす取扱商品については、カメラ２７が撮像した商品の複数の候補のうちのひとつであると判定する。そして、類似度判断部９３は、特徴量ファイル３６１に記録された複数の取扱商品から条件Ｎを満たす取扱商品を抽出することにより、撮影した商品に対する取扱商品の候補を抽出する。

条件Ｍ，Ｎは類似度に応じて段階的に設定されればその詳細は特に限定されるものではないが、一例として、予め設定された複数の閾値で条件Ｍ，Ｎを設けることができる。ここでは、閾値Ｔと所定値Ｄによって条件Ｍ，Ｎを設定する場合について説明する。

類似度判断部９３は、各取扱商品との間の類似度が一番高い商品の類似度が閾値Ｔ以上であり、かつ一番目の商品の類似度と二番目の商品の類似度との差が所定値Ｄ以上ならば、条件Ｍが満たされたと判定する。条件Ｍは、商品を一意に特定する条件である。

更に、類似度判断部９３は、各取扱商品との間の類似度が一番高い商品の類似度が閾値Ｔ以上であり、かつ一番目の商品の類似度と二番目の商品の類似度との差が所定値Ｄ未満であったならば、条件Ｎが満たされたと判定する。条件Ｎは、複数の候補商品の条件である。そして、条件Ｎを満たした取扱商品は、オペレータに商品の回転を誘導させ、更に別の面の確認を要すると判定する。

なお、各条件Ｍ，Ｎは、適宜設定可能であり、前記した例に限定されるものではない。

誘導部９４は、条件Ｎを満たした取扱商品を移動させるように誘導する情報を、ディスプレイ２２１に表示させる。より詳細には、誘導部９４は、条件Ｎを満たした候補商品の各方向の写真画像を特徴量ファイル３６１から読み出して、候補商品との類似度が高くなると思われる方向に、この取扱商品を移動させるように促す。誘導部９４は、例えば、蕪の葉の部分が撮影されている場合に、蕪の特徴である根の部分を見せるように移動を促す矢印を、ディスプレイ２２１に表示させる。

例えば、蕪に対して、その葉の部分をカメラ２７に翳した画像を用いてオブジェクト認識し、蕪と大根とが候補に挙がったとする。候補商品である蕪と大根を横方向から全体を撮影した基準画像のどの部分が撮影されているかを判断して、基準画像の差が大きく、外観の差が顕著となる根の部分を特定する。根の部分の方向が特定されたとすると、誘導部９４は、根の部分をカメラ２７に翳すようにオペレータに商品移動を促す矢印を、ディスプレイ２２１に表示させる。
誘導部９４は、このような候補商品の組み合わせ情報、および、これら候補商品の特徴方向の情報を類似部位データベース３６２に格納する。これにより、同一の撮影条件と同一の候補にかかる計算処理を実施することなく、迅速にナビゲーション可能である。

なお、ディスプレイ２２１に商品を回転させるようにオペレータに促す矢印が表示されていても、画像取得部９０による画像の取得処理と、物体検出部９１による物体の検出処理と、および類似度演算部９２による類似度の演算処理とは継続される。

確定通知部９５は、カメラ２７によって撮像された商品が、条件を満たした取扱商品であるとして一意的に確定されたことを、画像出力や音声出力などによってオペレータや客に報知する。

より詳細には、確定通知部９５は、条件を満たした取扱商品が、カメラ２７によって撮像された商品（確定商品）として一意的に確定されたことを示す確定画面をディスプレイ２２１に表示させ、確定商品に関する情報をスピーカ２８に出力する。スピーカ２８は、入力された情報を出力することにより、確定商品を示す情報をオペレータや客に報知する。

入力取得部９６は、タッチパネル２２２またはキーボード２３を介してディスプレイ２２１の表示に対応する各種入力操作を受け付ける。

情報出力部９７は、上述のようにして確定された確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名や値引き情報など）を、インタフェース２５を介してＰＯＳ端末３に出力する。

なお、情報出力部９７は、タッチパネル２２２またはキーボード２３を介して別途入力された販売個数を、商品ＩＤなどと共にＰＯＳ端末３に出力してもよい。また、情報出力部９７がＰＯＳ端末３に出力する情報としては、情報出力部９７が特徴量ファイル３６１から読み出した商品ＩＤを直接通知してもよいし、商品ＩＤを特定することが可能な商品名、または、商品画像、写真画像のファイル名をＰＯＳ端末３に通知してもよい。

ＰＯＳ端末３の売上登録部９９は、情報出力部９７から出力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的にいうと、売上登録部９９は、特徴量ファイル３６１を参照して、通知された商品ＩＤおよび、これに対応する商品分類、商品名、単価、販売個数を売上マスタファイルなどに記録して売上登録（仮登録）を行う。

図４は、本実施形態における商品識別装置２の正面図である。
商品識別装置２は、カウンタ台５に設置されている。商品識別装置２は、薄型の直方体状のハウジング５１と、このハウジング５１の上部に取り付けられた表示・操作部２２と、表示・操作部２２の左奥側に裏向きに設置された顧客用ディスプレイ２４とを含んで構成される。
このハウジング５１の正面には、読取窓５２が設けられる。
読取窓５２には、照明２７１とカメラ２７（撮像手段）とが配置される。認識領域８Ｍは、カメラ２７が物体を撮影し、この物体を検知して商品を特定する領域である。
この商品識別装置２は、カメラ２７による物体を検知し、物体の商品名などを識別し、ＰＯＳ端末３に商品登録処理を行わせる。

図５は、特徴量ファイル３６１の構成を示す図である。
特徴量ファイル３６１の各レコードは、特徴量欄３６１ａ、画像リンク欄３６１ｂ、商品ＩＤ欄３６１ｃ、単価欄３６１ｄ、商品名欄３６１ｅの各欄を含んでいる。この特徴量ファイル３６１には、各商品を複数の方向から撮影した基準画像と、その撮影方向の情報との組み合わせが格納される。
特徴量欄３６１ａは、この商品の基準画像の特徴量ベクトルを格納する欄である。特徴量欄３６１ａの格納情報は、後記する画像リンク欄３６１ｂの画像を分析して得られるものである。
画像リンク欄３６１ｂは、この商品の基準画像のリンクを格納する欄である。リンクで示される基準画像は、この商品を６方向のいずれかから撮影した画像である。
商品ＩＤ欄３６１ｄは、この商品を識別する情報を格納する欄である。
単価欄３６１ｅは、この商品の単価を格納する欄である。
商品名欄３６１ｆは、この商品の名称を格納する欄である。

図６（ａ），（ｂ）は、蕪と大根の基準画像を示す図である。
図６（ａ）は、蕪の基準画像を示す図である。ここでは蕪を横から撮影した画像を基準画像としている。
図６（ｂ）は、大根の基準画像を示す図である。同様に大根を横から撮影した画像を基準画像としている。
これら蕪と大根とは、アブラナ科であり、葉の部分が類似している。そのため、葉の部分だけでは、どちらであるか特定することは困難である。これらの根の部分の外観により、両者を識別可能である。つまり、商品識別装置２は、蕪または大根の根の部分をカメラ２７に翳すように誘導することで、蕪と大根とを容易に識別することができる。

図７は、第１の実施形態における類似部位データベース３６２の構成を示す図である。
類似部位データベース３６２は、第１商品ＩＤ欄３６２ａ、第１類似部位欄３６２ｂ、第２商品ＩＤ欄３６２ｃ、第２類似部位欄３６２ｄ、特徴部位欄３６２ｅを含んで構成される。類似部位データベース３６２は、過去の商品識別の学習結果であり、これを参照することにより、オブジェクト認識の演算処理をスキップして高速に処理することができる。
第１商品ＩＤ欄３６２ａは、類似する２つの候補商品のうち一方の商品ＩＤを格納する欄であり、第２商品ＩＤ欄３６２ｃは、他方の商品ＩＤを格納する欄である。
第１類似部位欄３６２ｂは、類似する２つの候補商品のうち一方の商品の基準画像の類似する部位の情報を格納する欄であり、第２類似部位欄３６２ｄは、他方の商品の基準画像の類似する部位の情報を格納する欄である。
特徴部位欄３６２ｅは、類似する２つの候補商品のうち一方の商品の基準画像のうち、２つの候補商品の類似度が最小となり、よって特徴の相違が顕著となる部位の情報を格納する欄である。この情報を、撮影画像上の位置情報に変換することで、移動を誘導する画面上の矢印を表示することができる。

図８は、本実施形態における商品の仮登録処理を示すフローチャートである。
本実施形態の商品の仮登録処理は、例えば、オペレータ（店員）が、第１の買物カゴ４Ｌ（図１参照）の商品である蕪を取り出して、読取窓５２のカメラ２７に翳して、この蕪を仮登録までの一連の処理である。

ステップＳ１１において、画像取得部９０は、カメラ２７に撮像オン信号を出力してカメラ２７による商品画像のキャプチャ（撮像）を開始する。画像取得部９０は、カメラ２７が撮像してＲＡＭ２１３に保存したフレーム画像（撮像画像）を取り込む。
ステップＳ１２において、物体検出部９１は、画像取得部９０が取り込んだフレーム画像に対してオブジェクト認識処理を行い、商品である物体の全部または一部の認識（検出）を試みる。

ステップＳ１３において、物体検出部９１は、商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部９１は、商品である物体の認識に成功したならば（Ｙｅｓ）、ステップＳ１４の処理に進み、商品である物体の認識に成功しなかったならば（Ｎｏ）、ステップＳ１１の処理に戻る。ステップＳ１１〜Ｓ１３を具体的にいうと、オペレータが商品を読取窓５２のカメラ２７に翳し、商品識別装置２が、この商品である物体の検出（認識）に成功する一連の処理である。

ステップＳ１４において、類似度演算部９２は、商品の全部または一部の画像から商品の特徴量を読み取る。更に類似度判断部９３は、類似度が閾値Ｔ以上となる取扱商品が特徴量ファイル３６１にあるか否かを判定し、この商品の商品名と商品単価とを検索して呼び出す。
ステップＳ１５において、類似度判断部９３は、類似度が閾値Ｔ以上となる取扱商品が特徴量ファイル３６１にあるか否かにより、商品を一意に特定したか否かを判断する。類似度判断部９３は、類似度が閾値Ｔ以上となる取扱商品を一意に特定したならば、ステップＳ２２の処理に進み、複数の候補商品が存在したならば、ステップＳ１６の処理に進み、いずれの候補商品も存在しなかったならば、ステップＳ１１の処理に戻る。具体的にいうと、類似度判断部９３は、蕪と大根が候補商品として存在すると判断する。更に類似度判断部９３は、この商品は蕪の葉の部分に最も類似し、その次に大根の葉の部分にも類似すると判断する。

ステップＳ１６からステップＳ２２の処理は、商品の平行移動ナビゲーションに係る一連の処理である。この処理は、認識した物体が、複数の候補商品の部分に一致したときに繰り返される。
ステップＳ１６において、誘導部９４は、認識した物体が複数の候補商品の基準画像の部分に一致したか否かを判断する。誘導部９４は、基準画像の部分に一致したならば（Ｙｅｓ）、ステップＳ１７の処理に進み、基準画像の全体に一致したならば（Ｙｅｓ）、ステップＳ１１の処理に戻る。

ステップＳ１７において、誘導部９４は、類似部位データベース３６２に候補商品の類似した部位の情報が存在するか否かを判断する。すなわち誘導部９４は、類似度が高い１番目と２番目の候補商品と、それらを認識した部位との組み合わせを類似部位データベース３６２から検索して、対応するレコードが存在するか否かにより、候補商品の類似部位情報の存在を判断する。誘導部９４は、類似部位データベース３６２に候補商品の類似部位の情報が存在するならば（Ｙｅｓ）、ステップＳ２０の処理に進み、候補商品の類似部位の情報が存在しないならば（Ｎｏ）、ステップＳ１８の処理に進む。
ステップＳ１８において、誘導部９４は、２つの候補商品について、それぞれ相違が顕著な特徴部位を特定する。具体的にいうと、蕪と大根の基準画像について、それぞれ根の部分全体が相違が顕著な特徴部位であり、かつ類似度が最小である。
ステップＳ１９において、誘導部９４は、候補商品が類似する部位と、相違が顕著な特徴部位とを類似部位データベース３６２に記録する。これにより、次回以降の同様な演算処理を省略可能である。
ステップＳ２０において、誘導部９４は、検出した部位を表示座標系に変換する。
ステップＳ２１において、誘導部９４は、検出した部位をカメラ２７に翳すように、移動ベクトルを算出する。ここで移動ベクトルの方向は、画面中央に対する検出部位の方向の反対方向である。

ステップＳ２２において、誘導部９４は、画面上に矢印を表示することによって、オペレータが翳している商品の平行移動をナビゲーションする。これにより誘導部９４は、オペレータの商品登録の流れを妨げることなく、商品識別装置２に商品を識別させるように誘導が可能である。ステップＳ２２の処理が終了すると、ステップＳ１１の処理に戻る。

ステップＳ２３からステップＳ２４の処理は、商品を一意に特定したときの処理である。
ステップＳ２３において、確定通知部９５は、商品の画像とともに、商品名と単価とをウインドウ表示し、確定商品に関する情報をスピーカ２８に出力する。これにより確定通知部９５は、商品を一意に特定したことをオペレータに知らせることができる。
ステップＳ２４において、情報出力部９７は、確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名や値引き情報など）を、インタフェース２５を介してＰＯＳ端末３に出力し、図８の処理を終了する。ＰＯＳ端末３は、この商品を仮登録し、精算の指示と共に商品マスタファイルに登録する。

図９（ａ），（ｂ）は、第１の操作例を示す画面である。
図９（ａ）は、蕪の葉の部分をカメラ２７に翳したときの画面を示している。
このとき画面には、蕪の根の部分をカメラ２７に翳すように平行移動を促す矢印７１が表示されている。オペレータは、この矢印７１に従って蕪を平行移動して、根の部分をカメラ２７に翳す。これにより、図９（ｂ）の画面に遷移する。

図９（ｂ）は、蕪の根の部分を含む全体をカメラ２７に翳したときの画面を示している。
このとき画面には、蕪の全体が表示されると共に、蕪の単価がウインドウ７２に表示されている。これによりオペレータは、商品が確定されたことを知ることができる。

図１０（ａ），（ｂ）は、第２の操作例を示す画面である。
図１０（ａ）は、大根の根の先端部分をカメラ２７に翳したときの画面を示している。
このとき画面には、大根の根の全体部分をカメラ２７に翳すように平行移動を促す矢印７１が表示されている。オペレータは、この矢印７１に従って大根を平行移動して、根の部分の全体をカメラ２７に翳す。これにより、図１０（ｂ）の画面に遷移する。
図１０（ｂ）は、大根の根の部分を含む全体をカメラ２７に翳したときの画面を示している。
このとき画面には、大根の全体が表示されると共に、大根の単価がウインドウ７２に表示されている。これによりオペレータは、商品が確定されたことを知ることができる。

本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ），（ｂ）のようなものがある。
（ａ） 商品の移動のナビゲーションは、上記実施形態に限定されない。例えば、音声やポリゴンの移動アニメーションなどによって、商品の移動をナビゲーションしてもよい。
（ｂ） 候補商品の数は、２つに限定されず、３以上の候補商品から類似度が最小となる方向を決定してもよい。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
オペレータが翳した物体の画像を撮影する撮影手段と、
前記撮影手段が撮影した前記物体が複数の商品に類似するか否かを判断する類似度判断手段と、
前記類似度判断手段により、前記撮影手段が撮影した前記物体の部分が複数の商品に類似すると判断したならば、前記複数の商品の基準画像のうち相違が顕著な部分を特定し、特定した前記部分を前記撮影手段で撮影するように、前記オペレータに対して前記物体の移動を誘導する誘導手段と、
を備えることを特徴とする商品識別装置。
＜請求項２＞
前記撮影手段が撮影した画像を表示すると共に、前記撮影手段が撮影した前記物体の部分が複数の商品に類似するならば、前記物体の移動を誘導する方向の矢印を表示する表示手段、
を備えることを特徴とする請求項１に記載の商品識別装置。
＜請求項３＞
前記誘導手段は、前記撮影手段が撮影した画像から認識した前記物体の部分が複数の商品に類似し、かつ前記複数の商品の各基準画像のうち相違が顕著な部分を特定したならば、特定した当該基準画像の類似する部分の情報および相違が顕著な部分の情報を記憶手段に蓄積する、
ことを特徴とする請求項１または請求項２に記載の商品識別装置。
＜請求項４＞
オペレータが翳した物体の画像を撮影する撮影ステップと、
前記撮影手段が撮影した前記物体が複数の商品に類似するか否かを判断する類似度判断ステップと、
前記類似度判断手段により、前記撮影手段が撮影した前記物体の部分が複数の商品に類似すると判断したならば、前記複数の商品の基準画像のうち相違が顕著な部分を特定し、特定した前記部分を前記撮影ステップで撮影するように、前記オペレータに対して前記物体の移動を誘導する誘導ステップと、
を含むことを特徴とする商品識別装置の商品認識ナビゲーション方法。

１ 商品登録装置
２ 商品識別装置
２１ マイクロコンピュータ （制御手段）
２１１ ＣＰＵ
２１２ ＲＯＭ
２１３ ＲＡＭ
２２ 表示・操作部
２２１ ディスプレイ （表示手段）
２２２ タッチパネル
２３ キーボード
２４ 顧客用ディスプレイ
２５ インタフェース
２７ カメラ （撮影手段）
２８ スピーカ
２９ 電源
３ ＰＯＳ端末
３６ ＨＤＤ
３６１ 特徴量ファイル
３６２ 類似部位データベース
９０ 画像取得部
９１ 物体検出部 （物体検出手段）
９２ 類似度演算部
９３ 類似度判断部 （類似度判断手段）
９４ 誘導部 （誘導手段）
９５ 確定通知部
９６ 入力取得部
９７ 情報出力部
９９ 売上登録部

Claims (5)

1. オペレータがカメラに翳した物体を前記カメラで撮影することにより前記物体の画像を取得する撮影制御手段と、
   前記撮影制御手段により取得した物体の画像に基づいて前記物体が複数の商品に類似するか否かを判断する類似度判断手段と、
   前記類似度判断手段により前記物体が複数の商品に類似すると判断された場合であって、前記物体の画像が前記物体の全体像のうちの何れかの部分が前記カメラの画角から外れるように撮影されて取得された画像であった場合に、前記物体に類似すると判断された複数の商品間で相違が顕著な部分を特定する特定手段と、
   前記特定手段により特定された部分が前記カメラの画角に収まるように、前記オペレータに対して前記物体の移動を誘導する誘導手段と、
   を備えることを特徴とする商品識別装置。
2. 前記誘導手段は、前記撮影制御手段により取得した前記物体の画像が表示される表示画面に、前記物体の移動を誘導する方向の矢印を表示させる、
   ことを特徴とする請求項１に記載の商品識別装置。
3. 前記誘導手段は、前記特定手段により複数の商品間で相違が顕著な部分が特定された場合には、当該特定した部分の情報を記憶手段に蓄積する、
   ことを特徴とする請求項１または請求項２に記載の商品識別装置。
4. オペレータがカメラに翳した物体を前記カメラで撮影することにより前記物体の画像を取得する撮影制御ステップと、
   前記撮影制御ステップで取得した物体の画像に基づいて前記物体が複数の商品に類似するか否かを判断する類似度判断ステップと、
   前記類似度判断ステップで前記物体が複数の商品に類似すると判断された場合であって、前記物体の画像が前記物体の全体像のうちの何れかの部分が前記カメラの画角から外れるように撮影されて取得された画像であった場合に、前記物体に類似すると判断された複数の商品間で相違が顕著な部分を特定する特定ステップと、
   前記特定ステップで特定された部分が前記カメラの画角に収まるように、前記オペレータに対して前記物体の移動を誘導する誘導ステップと、
   を含むことを特徴とする商品識別装置の商品認識ナビゲーション方法。
5. コンピュータを、
   オペレータがカメラに翳した物体を前記カメラで撮影することにより前記物体の画像を取得する撮影制御手段、
   前記撮影制御手段により取得した物体の画像に基づいて前記物体が複数の商品に類似するか否かを判断する類似度判断手段、
   前記類似度判断手段より前記物体が複数の商品に類似すると判断された場合であって、前記物体の画像が前記物体の全体像のうちの何れかの部分が前記カメラの画角から外れるように撮影されて取得された画像であった場合に、前記物体に類似すると判断された複数の商品間で相違が顕著な部分を特定する特定手段、
   前記特定手段により特定された部分が前記カメラの画角に収まるように、前記オペレータに対して前記物体の移動を誘導する誘導手段、
   として機能させることを特徴とするプログラム。

Images