JP7085393B2 - 読取装置およびプログラム - Google Patents

Description

本発明の実施形態は、読取装置およびプログラムに関する。

従来、イメージセンサデバイス（撮像素子）により物体を撮像し、撮像画像から物体の特徴量を抽出し、撮像した物体の候補商品に係る基準画像の特徴量と比較して類似度を算出することで物体を特定する一般物体認識に係る技術が知られている。また、店舗における商品登録処理に関して、一般物体認識の機能を有する読取装置を用いて、商品を特定する処理、あるいは、商品の候補を選出する処理を行って、商品の売上登録を補助する技術が知られている。

一般物体認識を利用した売上登録処理では、オペレータが売上登録する商品をカゴまたはレジカウンタから一品ずつ手で持ち上げて撮像素子の撮像領域にかざす。そして、読取装置側は撮像領域内に物体を検出すると、検出した物体について、一般物体認識の処理を行って一つの商品を特定する。そして、特定した商品の売上登録処理を行う。

ところで、売上登録処理の効率向上のため、商品を一品ずつかざす操作をすることなく、売上登録する商品をカゴ内またはレジカウンタ上に直接置いたままの状態でカゴまたは商品全体を撮像して、一般物体認識による商品の特定または商品候補の選定することで、売上登録処理の効率化を図りたいという要望があった。

本発明が解決しようとする課題は、売上登録処理の効率化を図ることができる読取装置およびプログラムを提供することである。

実施形態の読取装置は、表示部と、カゴに入れられた物品を上方から撮像した撮像装置からの撮像画像の入力を判断する画像入力判断部と、前記撮像画像に基づいて、前記撮像装置からの距離が最も近い物品を抽出する物品抽出部と、前記物品抽出部が抽出した物品の画像および当該物品を特定する画像を前記表示部に表示する表示制御部と、前記画像入力判断部による前記撮像装置からの撮像画像の入力後に前記撮像装置からの撮像画像が再度入力されたとの判断に基づいて、前記抽出された物品が前記撮像装置から最も近くなくなったかを判断する判断部と、前記抽出された物品が前記撮像装置から最も近くなくなったと判断したことを条件に、前記撮像装置から再度入力された撮像画像に基づいて、前記物品抽出部が抽出した前記撮像装置からの距離が最も近い物品を変更する物品変更部と、を備える。

図１は、実施形態にかかるＰＯＳシステムを示すシステム図である。 図２は、読取装置に撮像部を設けた場合の外観図である。 図３は、読取装置とは別体として撮像部を設けた場合の外観図である。 図４は、読取装置のハードウェア構成を示すブロック図である。 図５は、読取装置の機能構成を示したブロック図である。 図６は、読取装置が実行する制御処理の流れを示したフローチャートである。 図７は、表示部の表示例を示した図である。 図８は、表示部の他の表示例を示した図である。 図９は、表示部のさらに他の表示例を示した図である。 図１０は、変形例に係る読取装置の機能構成を示したブロック図である。 図１１は、変形例に係る読取装置が実行する制御処理の流れを示したフローチャートである。

以下に添付図面を参照して、本実施形態に係る読取装置およびプログラムの一実施形態を詳細に説明する。以下の実施形態では、本発明の読取装置として、スーパーマーケットやコンビニエンスストア等で使用される読取装置を例に説明する。また、物品として、スーパーマーケットやコンビニエンスストア等で販売される商品を一例に説明する。なお、この適用例によって発明は限定されるものではない。

図１は、実施形態に係る読取装置を含むＰＯＳシステムの全体構成を示す図である。ＰＯＳシステムは、読取装置１とＰＯＳ端末５とを備えている。

読取装置１は、カメラを用いて顧客が購入する商品を撮像し、特定された商品情報を取得して商品の売上登録処理を実行する。売上登録処理とは、販売される商品について商品コードを取得し、取得した商品コードに基づいて商品マスタから読み出した、当該商品の商品情報（商品名、価格等）を表示するとともに、当該商品情報を商品情報部１３１（図４を参照）等に記憶する処理をいう。すべての商品について売上登録処理を実行すると、読取装置１は、商品情報をＰＯＳ端末５に送信する。

読取装置１は、カメラによって撮像された商品の撮像画像に基づいて、一般物体認識を行う。一般物体認識とは、対象となる物品（オブジェクト）をカメラで撮像した画像データから当該物品の種別等を認識する技術である。コンピュータ（図４の制御部１００）は、画像データからこの画像に含まれる物品の外観的特徴を表す特徴量を抽出する。そしてコンピュータは、抽出した特徴量に基づいて、認識辞書ファイル（図示せず）に登録されている、撮像された商品の候補商品である複数の基準商品の基準画像の特徴量データと比較して類似度を算出し、この類似度に基づいて当該物品がどの基準商品に類似しているかを判断する。類似度が高い基準商品ほど当該商品に類似した商品である。画像中に含まれる物品を認識する技術については、下記の文献に解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６［平成２２年８月１０日検索］，インターネット＜ URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf ＞
また、画像をオブジェクト毎に領域分割することによって一般物体認識を行う技術については、下記の文献に解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，［平成２２年８月１０日検索］，インターネット＜ URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf ＞

ＰＯＳ端末５は、決済機能を有する装置であり、読取装置１から受信した商品情報に基づいて、一取引の決済処理を実行する。決済処理とは、読取装置１から受信した商品情報に基づいて、当該取引に係る合計金額の表示、顧客から預かった預り金に基づいて釣銭額を計算して表示し、払い出す処理等をいう。また、ＰＯＳ端末５は、決済処理した商品の商品情報や決済情報を印字したレシートを発行する。

続いて、読取装置１について説明する。図２は、読取装置１の外観図である。図２に例示するように、読取装置１はサッカー台２の上面に設置されて用いられる。サッカー台２は、その上面に買物カゴや商品等を載置して使用する作業台であり、レジカウンタとして用いられる。読取装置１は、サッカー台２の略中央部の上方の平板型の支持部２３の上端に、店員用表示部１７を備えている。また、読取装置１は、店員用表示部１７の右側には、店員が操作するキーボードからなる操作部１９を備えている。なお、店員用表示部１７の反対側には、店員用表示部１７と略背中合わせとなるように、客用表示部１８（図４を参照）が設けられている。

また、読取装置１は、店員用表示部１７の下部位置であってサッカー台２の上方に、撮像装置である撮像部２０を備えている。撮像部２０は、サッカー台２上の略中央位置を上方から下方に向けて撮像可能に設置される。そして、読取装置１は、サッカー台２上の略中央位置に置かれたカゴＴ１全体を、上方から撮像可能である。すなわち撮像部２０は、サッカー台２上の略中央位置に置かれたカゴＴ１内にある未決済の商品を、全体的に上方から撮像可能である。このようにして撮像部２０によってカゴＴ１の内部が撮像されると、カゴＴ１の最上位に位置する商品は、他の商品に隠れることなくすべてが撮像される。一方、最上位にない商品（すなわち、当該商品より上側に別の商品がある商品）は、撮像部２０が上方から撮像すると、別の商品によって当該商品の全部または一部が隠された状態で撮像される。

なお、実施形態では、撮像部２０として、ＴＯＦ（Time Of Flight）機能を有する撮像部２０（ＴＯＦカメラともいう）を用いる。ＴＯＦカメラは、例えば、アレイ状に並んだ赤外ＬＥＤから周波数変調を施した赤外線を投光し、視野内の対象物（物品）から反射してきた変調信号の位相を計測することで、物品までの距離を計測する。ＴＯＦカメラは、リアルタイムに距離情報を取得することができる撮像手段である。実施形態のＰＯＳシステムはＴＯＦカメラにより撮像部２０とカゴＴ１に入れられた商品との距離情報を取得する。取得された距離情報により、カゴＴ１の中で一番上にある商品、即ち、撮像部２０から最も近い位置にある商品が選択可能となる。撮像部２０は、距離情報が対応付けられた撮像画像のデータを、所定の時間間隔（例えば１秒間に１回）で出力する。

店員は、サッカー台２上の略中央位置に置かれたカゴＴ１に入れられた商品のうち、最上位位置（すなわち、撮像部２０からの距離が最も近い商品）の商品が特定されると、当該商品を取り出して、カゴＴ２に入れる。すると、読取装置１は、特定された商品の売上登録処理を実行する。店員は、カゴＴ１に入っているすべての商品を取り出し、終了キー１９１（図４を参照）を操作すると、売上登録処理された商品の商品情報は、ＰＯＳ端末５に送信される。

なお、撮像部２０は、支持部２３とは別の指示部に設けることも可能である。図３は、支持部２３とは別の支持部２４に撮像部２０を設けた場合の外観図である。図３に示すように、読取装置１は、支持部２３の右側に支持部２４を別途設け、支持部２４に撮像部２０を設けたものである。図３における撮像部２０は、サッカー台２上の右側位置に置かれたカゴＴ１に入れられた未決済の商品を、全体的に上方から撮像可能である。

次に、読取装置１のハードウェア構成について説明する。図４は、読取装置１のハードウェア構成を示すブロック図である。図４に示すように、読取装置１は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、メモリ部１４等を備えている。ＣＰＵ１１は制御主体となる。ＲＯＭ１２は各種プログラムを記憶する。ＲＡＭ１３はプログラムや各種データを展開する。メモリ部１４は各種プログラムを記憶する。ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、メモリ部１４は、互いにバス１５を介して接続されている。ＣＰＵ１１とＲＯＭ１２とＲＡＭ１３が、制御部１００を構成する。すなわち、制御部１００は、ＣＰＵ１１がＲＯＭ１２やメモリ部１４に記憶されＲＡＭ１３に展開された制御プログラムに従って動作することによって、後述する読取装置１に係る制御処理を実行する。

ＲＡＭ１３は、商品情報部１３１、第１画像部１３２、第２画像部１３３を備える。商品情報部１３１は、撮像部２０が撮像した撮像画像に基づいて売上登録処理された商品の商品情報を記憶する。第１画像部１３２は、一取引における最初の撮像画像を記憶する。第２画像部１３３は、第１画像部１３２に記憶した撮像画像以降に撮像された撮像画像を記憶する。なお、第１画像部１３２は、第２画像部１３３から移動した撮像画像も記憶する。

メモリ部１４は、電源を切っても記憶情報が保持されるＨＤＤ（Hard Disc Drive）やフラッシュメモリ等の不揮発性メモリで構成される。メモリ部１４は、制御プログラム部１４１および商品マスタ１４２を備える。制御プログラム部１４１は、読取装置１を制御するための制御プログラムを記憶する。商品マスタ１４２は、商品を特定する商品コード毎に、当該商品の商品情報を対応付けて記憶する。

また、制御部１００は、バス１５およびコントローラ１６を介して、店員用表示部１７、客用表示部１８、操作部１９、撮像部２０と接続している。店員用表示部１７は、例えば液晶で構成され、読取装置１を操作する店員に情報を表示する。客用表示部１８は、例えば液晶で構成され、商品を購入する顧客に情報を表示する。操作部１９は、終了キー１９１を含むキーボードである。終了キー１９１は、読取装置１がすべての商品について売上登録処理を実行した場合に操作する。終了キー１９１が操作されると、制御部１００は、商品情報部１３１に記憶されている商品情報をＰＯＳ端末５に送信する。

また、制御部１００は、バス１５を介して、通信部２１と接続している。通信部２１は、ＬＡＮ（Local Area Network）等の通信回線Ｌを介して、ＰＯＳ端末５と通信可能に接続している。

ここからは、読取装置１の機能構成について説明する。図５は、読取装置１の機能構成を示したブロック図である。図５に示すように、制御部１００は、画像入力判断部１０１、物品抽出部１０２、表示制御部１０３、判断部１０４、物品変更部１０５、エッジ検出部１０６として機能する。

撮像部２０は、カゴＴ１に入れられている商品全体を上方から撮像する。画像入力判断部１０１は、撮像部２０が撮像した撮像画像が入力されたかを判断する。エッジ検出部１０６は、画像入力判断部１０１が入力したと判断した撮像画像に基づいて、商品のエッジを検出する。すなわち、エッジ検出部１０６は、例えば特開２００７－１５８８４４号公報に記載されている公知な技術を用いて商品のエッジを検出する。物品抽出部１０２は、エッジ検出部１０６が検出した商品のエッジに基づいて商品の外周である輪郭を抽出する。物品抽出部１０２は、抽出した商品の輪郭を検証し、途中で輪郭が全く欠けていない（すなわち、商品のすべての輪郭が継続している）商品を抽出する。途中で輪郭が全く欠けていない商品は、カゴＴ１に入れられた商品のうち最上位位置にある商品である。

なお、撮像情報とともに撮像部２０から入力された距離情報を用いて、最上位位置にある商品を抽出することもできる。例えば、物品抽出部１０２が、最上位位置にある商品を複数個抽出した場合には、入力された距離情報に基づいて、当該複数の商品から撮像部２０に最も近い一つの商品を最上位位置にある商品として抽出する。

表示制御部１０３は、物品抽出部１０２が抽出した物品の画像を他の物品と視覚的に判別可能に店員用表示部１７に表示する。

また、カゴＴ１がサッカー台２に載置された後に、顧客または店員が、カゴＴ１内にある商品を並び替えることがある。例えば店員は、カゴＴ１内に無造作に入れられた商品を、カゴＴ１から取り出し易く整理するために、商品を並び替えることがある。そして、商品が並び替えられた結果、並び替える前に最上位位置にあった商品が最上位位置ではなくなることがある。判断部１０４は、画像入力判断部１０１による撮像部２０からの撮像画像の入力後に撮像部２０からの撮像画像が入力されたとの判断に基づいて、最初に入力された撮像画像に基づいて物品抽出部１０２によって抽出された物品が撮像部２０から最も近くなくなったか（すなわち、最上位位置でなくなったか）を判断する。

具体的には、判断部１０４は、並び換えの前に撮像部２０が撮像し、第１画像部１３２に記憶されている画像に基づいて物品抽出部１０２が抽出した商品と、並び換えの後に撮像部２０が撮像し、第２画像部１３３に記憶されている画像に基づいて物品抽出部１０２が抽出した商品とを比較する。そして、それぞれにおいて物品抽出部１０２が抽出した最上位位置の商品が同一商品であるか別の商品であるかによって、並び換えの前に物品抽出部１０２が抽出した商品が最上位位置でなくなったかを判断する。並び換えの前に物品抽出部１０２が抽出した商品と並び換えの後に物品抽出部１０２が抽出した商品とが同一商品である場合には、判断部１０４は、並び換えの前に物品抽出部１０２が抽出した商品は依然として最上位位置にあると判断する。並び換えの前に物品抽出部１０２が抽出した商品と並び換えの後に物品抽出部１０２が抽出した商品とが別の商品である場合には、判断部１０４は、並び換えの前に物品抽出部１０２が抽出した商品は最上位位置にはない（最も近くなくなったと）と判断する。

物品変更部１０５は、抽出された商品が撮像部２０から最も近くなくなったと判断したことを条件に、再度前記撮像部２０から入力された撮像画像に基づいて、物品抽出部が抽出した撮像部２０からの距離が最も近い物品を変更する。すなわち、上述の、並び換えの後に物品抽出部１０２が抽出した商品を最上位位置の商品と変更する。実施形態において、並び換えの後に物品抽出部１０２が抽出した商品を最上位位置の商品と変更するとは、第２画像部１３３に記憶されている撮像画像を第１画像部１３２に移動させて記憶させることである。すなわち、第２画像部１３３に記憶されている撮像画像を第１画像部１３２に移動させることで、第１画像部１３２に記憶されている撮像画像における最上位位置の商品を変更する。

ここからは、読取装置１の制御処理について説明する。図６は、読取装置１が実行する制御処理の流れを示したフローチャートである。図６に示すように、撮像画像が入力される度に、画像入力判断部１０１は、撮像部２０が撮像した撮像画像が入力されたかを判断する（Ｓ１１）。入力されたと判断するまで待機し（Ｓ１１のＮｏ）、撮像部２０が撮像した撮像画像が入力されたと判断した場合には（Ｓ１１のＹｅｓ）、制御部１００は、入力された撮像画像に基づいて、商品が入れられたカゴＴ１が正しい角度で（サッカー台２に平行に）置かれているかを判断する（Ｓ１２）。カゴＴ１がサッカー台２上で正しい角度で置かれていないと、店員用表示部１７には、カゴＴ１が傾いた状態で表示される。この場合、店員が、店員用表示部１７を見ながらカゴＴ１から商品を取り出す際に、カゴＴ１を動かしてしまうことがあるため、Ｓ１２を判断する。サッカー台２上にカゴＴ１を載置した場合、カゴＴ１の一辺が、サッカー台２の辺に対して略平行である場合、制御部１００は、カゴＴ１は正しい角度で置かれていると判断する。一方、サッカー台２上にカゴＴ１を載置した場合、カゴＴ１の一辺が、サッカー台２の辺に対して略平行でない（すなわち傾斜している）場合、制御部１００は、カゴＴ１は正しい角度で置かれていないと判断する。

カゴＴ１が正しい角度で置かれていないと判断した場合には（Ｓ１２のＮｏ）、制御部１００は、店員用表示部１７に表示されているカゴＴ１の角度を自動的に補正し、カゴＴ１が正しい角度で置かれている状態のように表示させる（Ｓ１３）。次に制御部１００は、カゴＴ１の４つの辺（縁）がすべて店員用表示部１７に表示されているかを判断する（Ｓ１４）。カゴＴ１の４つの辺がすべて店員用表示部１７に表示されていない場合には、カゴＴ１のサッカー台２への載置位置が正しくなく、カゴＴ１に入れられたすべての商品を撮像できない可能性がある。そのため、カゴＴ１の４つの辺（縁）がすべて店員用表示部１７に表示されていないと判断した場合には（Ｓ１４のＮｏ）、制御部１００は、店員用表示部１７および客用表示部１８に、カゴＴ１を正しい位置に載置し直すことを示すメッセージを表示する（Ｓ１６）。そして制御部１００は、Ｓ１１に戻る。また、Ｓ１２において、カゴＴ１が正しい角度で置かれていると判断した場合には（Ｓ１２のＹｅｓ）、制御部１００は、Ｓ１３の処理を実行することなくＳ１４の処理を実行する。

カゴＴ１の４つの辺（縁）がすべて店員用表示部１７に表示されていると判断した場合（Ｓ１４のＹｅｓ）、次に画像入力判断部１０１は、入力された撮像画像が、一取引において最初の撮像画像であるかを判断する（Ｓ１５）。第１画像部１３２に撮像画像が記憶されていない場合には、画像入力判断部１０１は、入力された撮像画像が一取引において最初の撮像画像であると判断する。

入力された撮像画像が一取引において最初の撮像画像であると判断した場合には（Ｓ１５のＹｅｓ）、制御部１００は、入力された撮像画像を第１画像部１３２に記憶する（Ｓ２１）。そして制御部１００は、第１画像部１３２に記憶した撮像画像を店員用表示部１７に表示する（Ｓ２２）。

次にエッジ検出部１０６は、第１画像部１３２に記憶した撮像画像に基づいて、撮像画像に写っている商品のエッジを検出する。続いて物品抽出部１０２は、検出されたエッジに基づいて商品の輪郭を抽出する。次に物品抽出部１０２は、抽出した商品の輪郭が継続しており、途中で全く欠けていない商品を、カゴＴ１に入れられている商品のうちの最上位位置にある商品として、当該商品を抽出する（Ｓ２３）。

次に制御部１００は、物品抽出部１０２が抽出した商品（すなわち最上位位置の商品）を囲む枠を表示する（Ｓ２４）。店員は、商品が枠で囲まれることで、枠で囲まれた商品が最上位位置の商品であることを、視覚的に判別可能である。次に制御部１００は、物品抽出部１０２が抽出した商品について、一般物体認識を行って当該商品に最も類似した基準商品を抽出する（Ｓ２５）。そして制御部１００は、抽出した基準商品の商品名を、当該商品に関連付けて表示する（Ｓ２６）。そして制御部１００は、Ｓ１１に戻る。

図７は、店員用表示部１７に表示された、Ｓ２６商品名を表示した商品の画像を示す図である。図７において、最上位位置の商品１７１は、Ｓ２４で表示した枠１７２で囲まれている。枠１７２の色は、視覚的に強調される例えば赤色である。また、最上位位置の商品の画像に関連した位置（実施形態では、商品Ａの画像の一部および当該商品Ａを囲む枠１７２の一部にかかる位置）に、当該商品と最も類似した基準商品の商品名１７３（商品Ａ）を表示する。店員は、商品名１７３の表示を見て、枠１７２で囲まれた最上位位置の商品が商品Ａであると認識する。

また、Ｓ１５において、入力された撮像画像が一取引において最初の撮像画像ではないと判断した場合には（Ｓ１５のＮｏ）、制御部１００は、入力した撮像画像を、第２画像部１３３に記憶する（Ｓ３１）。次に制御部１００（並び替え判断部）は、カゴＴ１内で商品が並び替えられたかを判断する（Ｓ３２）。制御部１００は、Ｓ２１で第１画像部１３２に記憶された撮像画像と、Ｓ３１で第２画像部１３３に記憶された撮像画像とを比較する。そして、例えば公知の背景差分法を用いて、両撮像画像における商品の位置が一致しているか異なっているかを判断することで、カゴＴ１内の商品が並び替えられたかを判断する。第１画像部１３２に記憶された撮像画像と第２画像部１３３に記憶された撮像画像とにおいて、すべての商品の位置が一致している場合には、カゴＴ１内の商品は並び替えられていないと判断する。第１画像部１３２に記憶された撮像画像と第２画像部１３３に記憶された撮像画像とにおいて、すべてまたは一部の商品の位置が一致していない場合には、カゴＴ１内の商品は並び替えられたと判断する。

カゴＴ１内で商品が並び替えられたと判断した場合には（Ｓ３２のＹｅｓ）、制御部１００は、第２画像部１３３に記憶した撮像画像を店員用表示部１７に表示する（Ｓ３３）。そして、Ｓ２３の処理と同様に、エッジ検出部１０６が商品のエッジを検出し、物品抽出部１０２が商品の輪郭を抽出することで、カゴＴ１に入れられている商品のうちの最上位位置にある商品抽出する（Ｓ３４）。次に制御部１００は、最上位位置にある商品（すなわち、枠で囲った商品）について、一般物体認識を行って当該商品に最も類似した基準商品を抽出する（Ｓ３５）。

次に判断部１０４は、Ｓ２５において抽出した基準商品とＳ３５において抽出した基準商品とを比較する（Ｓ３６）。そして判断部１０４は、比較した結果、Ｓ２５において抽出した基準商品がＳ３５において抽出した基準商品と変わっているかを判断する（Ｓ３７）。すなわち、判断部１０４は、Ｓ２３において物品抽出部１０２が抽出した最上位位置にある商品が、並び換えの結果、最上位位置ではなくなったか（最も近くなくなったか）を判断する（Ｓ３７）。

判断部１０４が、Ｓ２３において物品抽出部１０２が抽出した最上位位置にある商品が、並び換えの結果、最上位位置ではなくなったと判断した場合には（Ｓ３７のＹｅｓ）、物品変更部１０５は、第２画像部１３３に記憶されている撮像画像を第１画像部１３２に移動して記憶する（Ｓ３８）。この際、第１画像部１３２に記憶されていた元の撮像画像は消去される。すなわち、物品変更部１０５は、Ｓ３７において、カゴＴ１の最上位位置にある商品を、物品抽出部１０２がＳ２３で抽出した商品から物品抽出部１０２がＳ３４で抽出した商品に変更する処理を実行する。

次に制御部１００は、変更されたカゴＴ１の最上位位置にある商品を囲む枠を表示する（Ｓ３９）。そして制御部１００は、Ｓ３５において抽出した基準商品の商品名を、当該商品に関連付けて表示する（Ｓ４０）。

次に制御部（取出判断手段）１００は、最上位位置の商品がカゴＴ１から商品が取り出されたかを判断する（Ｓ５１）。例えば、公知の背景差分法を用いて、最上位位置にあった商品がなくなったと判断した場合に、制御部１００は、当該商品が取り出されたと判断する。最上位位置の商品が取り出されたと判断した場合には（Ｓ５１のＹｅｓ）、制御部１００は、取り出された商品について、売上登録処理を実行する（Ｓ５２）。具体的には、制御部１００は、取り出された商品に最も類似度が高い基準商品に係る売上登録処理を実行する。

次に制御部１００は、カゴＴ１からすべての商品が取り出されたかを判断する（Ｓ５３）。撮像部２０から入力された撮像画像に、商品が写っていない場合には、すべての商品が取り出されたと判断する。すべての商品が取り出されたと判断した場合には（Ｓ５３のＹｅｓ）、制御部１００は、終了キー１９１が操作されたことを条件に、商品情報部１３１に記憶されている商品情報をＰＯＳ端末５に送信する（Ｓ５７）。そして制御部１００は、商品情報部１３１、第１画像部１３２、第２画像部１３３荷記憶されている情報をクリアする。そして制御部１００は、処理を終了し、Ｓ１１に戻る。なお、すべての商品が取り出されていないと判断した場合には（Ｓ５３のＮｏ）、制御部１００は、Ｓ１１に戻る。

一方、最上位位置の商品の取り出しではないと判断した場合には（Ｓ５１のＮｏ）、制御部１００は、Ｓ２６またはＳ４０で表示された商品名がタップされたかを判断する（Ｓ５４）。店員は、Ｓ２６またはＳ４０で表示された商品名が、枠で囲まれている商品（最上位位置にある商品）と異なる商品名であると判断すると、当該商品名以外の商品名を表示させるために当該表示をタップする。Ｓ２６またはＳ４０で表示された商品名がタップされたかと判断した場合には（Ｓ５４のＹｅｓ）、制御部１００は、Ｓ２６またはＳ４０で表示した商品名以外の商品名を表示する（Ｓ５５）。Ｓ５５において、制御部１００は、Ｓ２５またはＳ３９で算出した類似度が高い商品を表示する。制御部１００は、Ｓ２６またはＳ４０で表示した商品に続く類似度が高い、一または複数の商品を表示する。なお、Ｓ５５で表示する商品名に、Ｓ２６またはＳ４０で表示した商品の商品名が含まれていてもよい。なお、Ｓ５５の処理で表示する商品名に「その他の商品」の文字を合わせて表示する。店員が、Ｓ５５で表示したその他の商品名に枠で囲まれている商品の商品名がないと判断した場合に、「その他の商品」をタップし、今まで表示された商品名を含む、当該商品に係る多数の商品名を表示する。店員は、表示された多数の商品名から当該商品の商品名を探し出してタップする。

図９に、Ｓ５５で表示した画面の一例を示す。図９では、図７に示す最上位位置の商品１７１の商品名１７３が消去され、その代わりに、商品Ｂおよび商品Ｃを含む複数の商品の画像と商品名１８０が表示される。商品Ｂは、商品Ａに続く類似度の商品である。商品Ｃは、商品Ｂに続く類似度の商品である。なお、商品Ｂおよび商品Ｃとともに商品Ａの商品名が表示されるのは、例えば店員の勘違いで本当は商品Ａであった時のためである。また、複数の商品の画像と商品名１８０の一つとして、「その他の商品」１８０１が表示される。最上位位置の商品１７１が商品Ｂでも商品Ｃでもない場合、「その他の商品」をタップすることで、商品Ａ、商品Ｂ、商品Ｃを含む多数の商品の商品名が表示される。

次に制御部１００は、いずれかの商品名がタップされたかを判断する（Ｓ５６）。タップされたと判断した場合には（Ｓ５６のＹｅｓ）、制御部１００は、Ｓ５２以降の処理を実行する。また、タップされていないと判断した場合には（Ｓ５６のＮｏ）、制御部１００は、表示した商品名は該当する商品名がなかったと判断し、再度商品の撮像画像を入力するために、Ｓ１１に戻る。

また、Ｓ５４において、Ｓ２６またはＳ４０で表示された商品名のタップではないと判断した場合には（Ｓ５４のＮｏ）、制御部１００は、Ｓ５１に戻って待機する。また、Ｓ３２において、カゴＴ１内で商品が並び替えられていないと判断した場合には（Ｓ３２のＮｏ）、制御部１００は、Ｓ５１以降の処理を実行する。また、Ｓ３７において、Ｓ２３において物品抽出部１０２が抽出した最上位位置にある商品が、並び換えの結果、依然として最上位位置にあると判断した場合には（Ｓ３６のＮｏ）、Ｓ５１以降の処理を実行する。

ここで、カゴＴ１内の商品が並べ替えられた（Ｓ３２でＹｅｓ）の判断と、カゴＴ１から最上位位置の商品が取り出された（Ｓ５１でＹｅｓ）の判断の違いについて説明する。カゴＴ１内の商品が並べ替えられた場合、カゴＴ１内で多くの商品の位置が変更する。これに対して最上位位置の商品が取り出された場合には、最上位位置の商品がなくなり、その他の商品の位置の変更はない。制御部１００は、この差を判断して、Ｓ３２の判断とＳ５１の判断を区別する。

このように、実施形態によれば、カゴＴ１内の商品を並べ替えた場合に、最上位位置の商品を自動的に変更する。そのため、売上登録処理の効率化を図ることができる。

また、実施形態では、最上位位置の商品が複数存在する場合に、距離情報に基づいて最上位位置の商品を抽出することができる。そのため、売上登録処理の効率化を図ることができる。

ここからは、実施形態の変形例について説明する。実施形態では、商品のエッジを検出して最上位位置の商品を抽出した。変形例では、最も類似度が高い商品を最上位位置の商品として抽出する。なお、変形例については、実施形態と同一の構成については同一の符号を付し、その説明を省略する。図１０は、変形例の読取装置１に係る機能ブロック図である。図１０に示すように、制御部１００は、画像入力判断部１０１、物品抽出部１０２、表示制御部１０３、判断部１０４、物品変更部１０５、類似度算出部１０７として機能する。類似度算出部１０７は、カゴＴ１に入れられた商品であって、画像入力判断部１０１が入力を判断した撮像画像に写るすべての商品について一般物体認識処理を実行し、各商品について類似度を算出する。

入力された撮像画像において、他の商品に隠れている商品は、類似度が高く算出されず、最上位位置にあり他の商品によって隠れていない商品は、類似度が高く算出される。この傾向を利用して、物品抽出部１０２は、類似度算出部１０７が算出した最も高い類似度の商品を、最上位位置の商品として抽出する。

次に、変形例の読取装置１に係る制御処理について説明する。図１１は、変形例の読取装置が実行する制御処理の流れを示したフローチャートである。図１１において、図６と同一符号の処理は、実施形態と同一の処理を実行する。図１１において、Ｓ２２の処理の後に、制御部１００は、入力された撮像画像に写るすべての商品について、一般物体認識処理を実行して類似度を算出する（Ｓ６１）。そして制御部１００は、算出された最も類似度が高い商品を最上位商品として抽出する（Ｓ６２）。その後、Ｓ２４以降の処理を実行する。

また、Ｓ３３の処理の後に、制御部１００は、入力された撮像画像に写るすべての商品について、一般物体認識処理を実行して類似度を算出する（Ｓ７１）。そして制御部１００は、算出された最も類似度が高い商品を最上位商品として抽出する（Ｓ７２）。その後、Ｓ３５以降の処理を実行する。

このような変形例においても、カゴＴ１内の商品を並べ替えた場合に、最上位位置の商品を自動で変更する。そのため、売上登録処理の効率化を図ることができる。

また、変形例において、最上位位置の商品が複数存在する場合に、距離情報に基づいて最上位位置の商品を抽出することができる。そのため、売上登録処理の効率化を図ることができる。

以上、本発明の実施形態および変形例を説明したが、この実施形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態および変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、実施形態では、商品名１７３、１７７を、商品１７１、１７５および枠１７２、１７６の両方に一部かかるように表示した。しかしながらこれに限らず、例えば、商品名１７３、１７７を、商品１７１、１７５または枠１７２、１７６のいずれかにかかるように表示してもよい。

なお、実施形態および変形例の読取装置１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（FD）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施形態のおよび変形例の読取装置１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施形態および変形例の読取装置１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、実施形態および変形例の読取装置１で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

１ 読取装置
５ ＰＯＳ端末
Ｔ１ カゴ
１７ 店員用表示部
２０ 撮像部
１００ 制御部
１０１ 画像入力判断部
１０２ 物品抽出部
１０３ 表示制御部
１０３ 物品抽出部
１０４ 判断部
１０５ 物品変更部
１０６ エッジ検出部
１０７ 類似度算出部
１３１ 商品情報部
１３２ 第１画像部
１３３ 第２画像部

特許第６１４１２０７号公報

Claims (5)

1. 表示部と、
   カゴに入れられた物品を上方から撮像した撮像装置からの撮像画像の入力を判断する画像入力判断部と、
   前記撮像画像に基づいて、前記撮像装置からの距離が最も近い物品を抽出する物品抽出部と、
   前記物品抽出部が抽出した物品の画像および当該物品を特定する画像を前記表示部に表示する表示制御部と、
   前記画像入力判断部による前記撮像装置からの撮像画像の入力後に前記撮像装置からの撮像画像が再度入力されたとの判断に基づいて、前記抽出された物品が前記撮像装置から最も近くなくなったかを判断する判断部と、
   前記抽出された物品が前記撮像装置から最も近くなくなったと判断したことを条件に、前記撮像装置から再度入力された撮像画像に基づいて、前記物品抽出部が抽出した前記撮像装置からの距離が最も近い物品を変更する物品変更部と、
   を備えた読取装置。
2. 前記画像入力判断部は、前記物品と前記撮像装置との距離を示す距離情報を前記撮像画像に対応付けて入力したことを判断し、
   前記物品抽出部は、前記画像入力判断部が入力したと判断した前記撮像画像と前記距離情報に基づいて前記撮像装置からの距離が最も近い物品を抽出する、
   請求項１に記載の読取装置。
3. 前記物品抽出部は、前記撮像装置から再度入力された撮像画像に基づいて前記撮像装置からの距離が最も近い物品を再度抽出し、
   前記判断部は、前記再度抽出した物品と前記物品抽出部が抽出した物品とが一致しないことを条件に、前記抽出された物品が前記撮像装置から最も近くなくなったと判断する、
   請求項１または２に記載の読取装置。
4. 前記画像入力判断部が入力したと判断した撮像画像に基づいて、物品のエッジを検出するエッジ検出部、
   をさらに備え、
   前記物品抽出部は、検出されたエッジに基づいて物品の輪郭が切れ目なく連続している物品を前記撮像装置からの距離が最も近い物品として抽出する、
   請求項１乃至３のいずれか一に記載の読取装置。
5. 表示部を備えた読取装置を制御するコンピュータを、
   カゴに入れられた物品を上方から撮像した撮像装置からの撮像画像の入力を判断する画像入力判断部と、
   前記撮像画像に基づいて、前記撮像装置からの距離が最も近い物品を抽出する物品抽出部と、
   前記物品抽出部が抽出した物品の画像および当該物品を特定する画像を前記表示部に表示する表示制御部と、
   前記画像入力判断部による前記撮像装置からの撮像画像の入力後に再度前記撮像装置からの撮像画像が入力されたとの判断に基づいて、前記抽出された物品が前記撮像装置から最も近くなくなったかを判断する判断部と、
   前記抽出された物品が前記撮像装置から最も近くなくなったと判断したことを条件に、前記撮像装置から再度入力された撮像画像に基づいて、前記物品抽出部が抽出した前記撮像装置からの距離が最も近い物品を変更する物品変更部と、
   して機能させるプログラム。

Images