JP6348784B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置及びプログラムに関する。

従来、物品を撮像した画像から抽出される特徴量と、辞書に予め登録された照合用の特徴量とを比較し、その類似度に応じて当該物品の種別等を認識する一般物体認識に係る技術が存在している。また、この一般物体認識に係る技術を、青果品等の商品の識別に用いて、識別された商品を売上登録する店舗システムが提案されている。このような一般物体認識での認識精度は、辞書登録された特徴量の精度に依存する。係る特徴量は、認識時と同様に、登録対象の対象物を撮像した撮像画像から抽出される。

ところで、対象物の撮像方法によっては、対象物以外の非対象物が一緒に撮像される場合がある。この場合、画像から抽出される特徴量には、対象物の特徴以外に非対象物の特徴も含まれることになる。しかしながら、非対象物の特徴を含む特徴量を照合用のデータとして使用すると、その非対象物の特徴が認識に影響することで認識精度が低下する可能性がある。

本発明が解決しようとする課題は、対象物を撮像した画像から、当該対象物の照合用データを精度よく生成することが可能な情報処理装置及びプログラムを提供することである。

実施形態の情報処理装置は、撮像手段が撮像する撮像範囲の背景を表した背景画像を、除外情報として記憶する記憶手段と、前記撮像手段で撮像された画像から、前記記憶手段に記憶された前記除外情報に該当する領域を除外する除外手段と、前記領域が除外された画像から、前記除外情報に追加する色域として、当該画像に含まれた対象物を表す色域と補色の関係にある色域の指定を受け付ける受付手段と、前記領域が除外された画像から、前記対象物の特徴量を抽出する抽出手段と、前記抽出手段が抽出した特徴量を前記対象物の照合用データとして辞書に登録する辞書登録手段と、を備える。

図１は、本実施形態に係るチェックアウトシステムの一例を示す斜視図である。 図２は、図１に示したＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、図２に示したＰＬＵファイルのデータ構成を例示する概念図である。 図４は、図１に示したＰＯＳ端末の機能構成を示すブロック図である。 図５は、画像取込部によって取り込まれたフレーム画像の一例を示す図である。 図６は、商品候補画面の表示例を示す図である。 図７は、図４に示した辞書登録に係る機能部間の関係を示す図である。 図８は、本実施形態のＰＯＳ端末が実行する背景登録処理の一例を示すフローチャートである。 図９は、本実施形態のＰＯＳ端末が実行する除外色域登録処理の一例を示すフローチャートである。 図１０は、本実施形態のＰＯＳ端末が実行する辞書登録処理の一例を示すフローチャートである。 図１１は、本実施形態のＰＯＳ端末が実行する売上登録処理の一例を示すフローチャートである。 図１２は、セルフＰＯＳの構成を示す外観斜視図である。 図１３は、セルフＰＯＳのハードウェア構成を示すブロック図である。

以下では、チェックアウトシステムを例に本実施形態に係る情報処理装置及びプログラムについて、図面を参照して説明する。店舗システムは、一取引に係る商品の登録、精算を行うＰＯＳ端末を備えるチェックアウトシステム（ＰＯＳシステム）等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。

図１は、チェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引に係る商品の登録・精算を行うＰＯＳ端末１０と、商品に関する情報を読み取る商品読取装置２０とを備える。以下では、ＰＯＳ端末１０を本実施形態にかかる情報処理装置として適用する例について説明する。

ＰＯＳ端末１０は、チェックアウト台３０上のドロワ４０上面に載置されている。ドロワ４０は、ＰＯＳ端末１０によって開放動作の制御を受ける。ＰＯＳ端末１０の上面には、オペレータ（店員）によって押下操作されるキーボード１１が配置されている。キーボード１１を操作するオペレータから見てキーボード１１よりも奥側には、オペレータに向けて情報を表示する第１表示デバイス１２が設けられている。第１表示デバイス１２は、その表示面１２ａに情報を表示する。表示面１２ａには、タッチパネル１３が積層されている。第１表示デバイス１２よりも更に奥側には、第２表示デバイス１４が回転可能に立設されている。第２表示デバイス１４は、その表示面１４ａに情報を表示する。なお、第２表示デバイス１４は、表示面１４ａを図１中奥側に向くように回転させることによって、顧客に向けて情報を表示する。

ＰＯＳ端末１０が載置されているチェックアウト台３０とＬ字を形成するようにして、横長テーブル状のカウンタ台５０が配置されている。カウンタ台５０の上面には、荷受け面５１が形成されている。荷受け面５１には、商品Ｇを収納する買物カゴ６０が載置される。買物カゴ６０は、顧客によって持ち込まれる第１買物カゴ６０ａと、第１買物カゴ６０ａから商品読取装置２０を挟んだ位置に載置される第２買物カゴ６０ｂとに分けて考えることができる。なお、買物カゴ６０は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ６０（第２買物カゴ６０ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。

カウンタ台５０の荷受け面５１には、ＰＯＳ端末１０とデータ送受信可能に接続された商品読取装置２０が設置されている。商品読取装置２０は、薄型矩形形状のハウジング２１を備える。ハウジング２１の正面には読取窓２２が配置されている。ハウジング２１の上部には、表示・操作部２３が取り付けられている。表示・操作部２３には、タッチパネル２４が表面に積層された表示部である第１表示デバイス２５が設けられている。第１表示デバイス２５の右隣にはキーボード２６が配設されている。キーボード２６の右隣には、図示しないカードリーダのカード読取溝２７が設けられている。オペレータから見て表示・操作部２３の裏面左奥側には、顧客に情報を提供するための第２表示デバイス２８が設置されている。

このような商品読取装置２０は、商品読取部２１０（図２参照）を備えている。商品読取部２１０は、読取窓２２の奥側に撮像部２０４（図２参照）を配置している。

顧客によって持ち込まれた第１買物カゴ６０ａには、一取引に係る商品Ｇが収納されている。第１買物カゴ６０ａ内の商品Ｇは、商品読取装置２０を操作するオペレータにより第２買物カゴ６０ｂに移動される。この移動過程で、商品Ｇが商品読取装置２０の読取窓２２に向けられる。この際、読取窓２２内に配置された撮像部２０４（図２参照）は商品Ｇを撮像する。

商品読取装置２０では、撮像部２０４により撮像された画像に含まれる商品Ｇが、後述するＰＬＵファイルＦ１（図３参照）に登録されたどの商品に対応するかを指定させるための画面を表示・操作部２３に表示する。そして、商品読取装置２０は、指定された商品の商品ＩＤをＰＯＳ端末１０に通知する。ＰＯＳ端末１０では、商品読取装置２０から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示せず）等に記録して売上登録を行う。

図２は、ＰＯＳ端末１０及び商品読取装置２０のハードウェア構成を示すブロック図である。ＰＯＳ端末１０は、情報処理を実行する情報処理部としてのマイクロコンピュータ１００を備える。マイクロコンピュータ１００は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）１０１に、ＲＯＭ（Read Only Memory）１０２とＲＡＭ（Random Access Memory）１０３とがバス接続されて構成されている。

ＰＯＳ端末１０のＣＰＵ１０１には、前述したキーボード１１、第１表示デバイス１２、タッチパネル１３、第２表示デバイス１４、ドロワ４０が何れも各種の入出力回路（何れも図示せず）を介して接続されている。これらは、ＣＰＵ１０１による制御を受ける。

キーボード１１は、数字や算術演算子が上面に表示されているテンキー１１ａ、仮締めキー１１ｂ、及び締めキー１１ｃ等を含む。

ＰＯＳ端末１０のＣＰＵ１０１には、ＨＤＤ（Hard Disk Drive）１０４が接続されている。ＨＤＤ１０４には、プログラムや各種ファイルが記憶されている。ＨＤＤ１０４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１０の起動時に、その全部又は一部がＲＡＭ１０３にコピーされてＣＰＵ１０１により実行される。ＨＤＤ１０４に記憶されているプログラムの一例は、後述する辞書登録処理や売上登録処理用のプログラム等である。また、ＨＤＤ１０４に記憶されているファイルの一例は、ＰＬＵファイルＦ１である。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｇの各々について、商品Ｇの売上登録に係る情報を格納する商品ファイルである。以下の説明では、ＰＬＵファイルＦ１を辞書として用いるが、辞書はＰＬＵファイルＦ１と異なるファイルであってもよい。辞書は、撮像した画像データから抽出した商品の照合用データ（特徴量）を記憶する。辞書はＰＬＵファイルＦ１と異なるファイルである場合、辞書に記憶される照合用データ（特徴量）と、ＰＬＵファイルＦ１の情報（識別情報）は紐付けられる。特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。

図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、各商品Ｇの商品情報を格納する。商品情報は、商品Ｇ毎にユニークに割り当てられた識別情報である商品ＩＤ、商品Ｇが属する商品分類、商品名、単価等の商品に関する情報を含む。また、商品情報は、商品Ｇを示すイラスト画像と、その商品Ｇの外観の特徴を示す特徴量とを含む。特徴量は、後述する類似度の判定の際に、照合用のデータとして用いられる。なお、ＰＬＵファイルＦ１は、後述する接続インターフェース１０６を介し、商品読取装置２０が読み出し可能に構成されている。

なお、物品のカテゴリ（商品）のみならず品種まで認識（検出）する必要がある場合には、図３に示すように、品種毎に商品名や単価等の商品に関する情報と、その商品を示すイラスト画像と、特徴量とを管理する。例えば、物品のカテゴリ（商品）が「ＹＹ」の場合において、「ＹＹ＿１」、「ＹＹ＿２」、「ＹＹ＿３」のような品種毎にその商品に関する情報と、イラスト画像と、特徴量とを管理する。また、候補の表示にイラスト画像を用いず、文字で候補を表示する場合は、イラスト画像をＰＬＵファイルＦ１に格納しなくてもよい。

また、ＨＤＤ１０４は、後述する背景記憶部１０４１及び除外色域記憶部１０４２として用いられる。

図２に戻り、ＰＯＳ端末１０のＣＰＵ１０１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース１０５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１０に配信されるＰＬＵファイルＦ１が格納されている。

更に、ＰＯＳ端末１０のＣＰＵ１０１には、商品読取装置２０との間でデータ送受信を可能にする接続インターフェース１０６が接続されている。接続インターフェース１０６には、商品読取装置２０が接続されている。また、ＰＯＳ端末１０のＣＰＵ１０１には、レシート等に印字を行うプリンタ１０７が接続されている。ＰＯＳ端末１０は、ＣＰＵ１０１の制御の下、一取引の取引内容をレシートに印字する。

商品読取装置２０も、マイクロコンピュータ２００を備える。マイクロコンピュータ２００は、ＣＰＵ２０１にＲＯＭ２０２とＲＡＭ２０３とがバス接続されて構成されている。ＲＯＭ２０２には、ＣＰＵ２０１によって実行されるプログラムが記憶されている。ＣＰＵ２０１には、撮像部２０４、音声出力部２０５が各種の入出力回路（何れも図示せず）を介して接続されている。撮像部２０４、音声出力部２０５は、ＣＰＵ２０１によって動作が制御される。

表示・操作部２３は接続インターフェース２０６を介して、商品読取部２１０及びＰＯＳ端末１０に接続されている。表示・操作部２３は、商品読取部２１０のＣＰＵ２０１、ＰＯＳ端末１０のＣＰＵ１０１によって動作が制御される。第１表示デバイス２５は、ＣＰＵ１０１やＣＰＵ２０１の制御の下、後述する商品候補画面（図６参照）等の各種画面を表示する。また、第１表示デバイス２５は、各種の業務を選択指示するための業務選択画面（図示せず）を表示する。業務選択画面は、例えば、背景登録、除外色域登録、特徴量登録、売上登録等、後述する各処理の実行を指示するための選択メニューを有する。

撮像部２０４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等の撮像装置である。撮像部２０４は、ＣＰＵ２０１の制御の下で読取窓２２からの撮像を行う。例えば、撮像部２０４は、３０ｆｐｓで動画像の撮像を行う。撮像部２０４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ２０３に保存される。

音声出力部２０５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部２０５は、ＣＰＵ２０１の制御の下で警告音や音声による報知を行う。

更に、ＣＰＵ２０１には、ＰＯＳ端末１０の接続インターフェース１０６に接続して、ＰＯＳ端末１０との間でデータ送受信を可能にする接続インターフェース２０７が接続されている。また、ＣＰＵ２０１は、接続インターフェース２０７を介して、表示・操作部２３との間でデータ送受信を行う。

次に、ＣＰＵ１０１がプログラムを実行することで実現される、ＰＯＳ端末１０の機能構成について、図４を参照して説明する。

図４は、ＰＯＳ端末１０の機能構成を示すブロック図である。ＰＯＳ端末１０のＣＰＵ１０１は、ＨＤＤ１０４に記憶されたプログラムを実行することにより、図４に示す各機能部を実現する。以下、各機能部について説明する。

まず、商品の売上登録に係る、画像取込部１１１、商品検出部１１２、類似度算出部１１３、類似度判定部１１４、商品提示部１１５、入力受付部１１６、情報入力部１１７及び売上登録部１１８について説明する。

画像取込部１１１は、撮像部２０４に撮像オン信号を出力して撮像部２０４に撮像動作を開始させる。画像取込部１１１は、撮像動作開始後に撮像部２０４が撮像してＲＡＭ２０３に保存されたフレーム画像を順次取り込む。画像取込部１１１によるフレーム画像の取り込みは、ＲＡＭ２０３に保存された順に行われる。

図５は、画像取込部１１１によって取り込まれたフレーム画像の一例を示す図である。図５に示すように、オペレータが読取窓２２に商品Ｇをかざすと、撮像部２０４の撮像範囲Ｒに入った商品Ｇの全部又は一部が、撮像部２０４により撮影される。画像取込部１１１は、撮像部２０４によって撮像されたフレーム画像を順次取り込む。

商品検出部１１２は、画像取込部１１１により取り込まれたフレーム画像に含まれる商品Ｇの全部又は一部を、パターンマッチング技術等を用いて検出する。具体的には、取り込まれたフレーム画像を２値化した画像から輪郭線等を抽出する。次いで、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、売上登録のために読取窓２２に向けられた商品を検出する。

なお、商品を検出する別の方法としては、取り込まれたフレーム画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、店員の手が検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行う。これにより、店員の手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合、この物体の輪郭から商品を検出する。

類似度算出部１１３は、撮像部２０４により撮像された商品Ｇの全部又は一部の画像から、商品Ｇの色合いや凹凸状況等の表面の状態を特徴量として抽出する。なお、類似度算出部１１３は、処理時間の短縮を図るため、商品Ｇの輪郭や大きさは考慮しないものとする。

また、類似度算出部１１３は、ＰＬＵファイルＦ１に辞書登録された各商品（以下、登録商品）の特徴量と、商品Ｇの特徴量とを比較することで、商品Ｇと登録商品との類似度を算出する。ここで、類似度は、登録商品の画像を１００％＝「類似度：１．０」とした場合に、商品Ｇの全部又は一部の画像がどの程度類似しているかを示すものである。なお、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれる。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２４年５月１９日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクト毎に領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２４年５月１９日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、撮像された商品Ｇの画像と、登録商品との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合、撮像された商品Ｇの画像と、各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、撮像された商品Ｇと、各登録商品との類似度の総和が１．０（１００％）となるよう算出すればよい。

また、類似度は、商品Ｇの特徴量と、ＰＬＵファイルＦ１に登録された商品の基準の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値（類似度）であればよい。なお、類似度の概念は、この例に限らず、ＰＬＵファイルＦ１に登録された各登録商品の特徴量との一致度を示す値や、商品Ｇの特徴量とＰＬＵファイルＦ１に登録された各登録商品の特徴量とがどの程度相関するかを示す値であってもよい。

類似度判定部１１４は、算出した類似度のうち、その値が所定の閾値以上となる登録商品（商品ＩＤ）を、撮像部２０４で撮像された商品Ｇの候補（商品候補）として認識する。ここで、類似度が閾値以上の登録商品の中で、その値が他と比べて非常に高くなる登録商品が一つ存在するような場合には、その登録商品を確定商品として自動確定してもよい。なお、類似度の比較基準は任意に設定可能であるとする。

商品提示部１１５は、類似度判定部１１４で商品候補と認識された登録商品に関する情報を、第１表示デバイス２５に表示させる。より詳細には、商品提示部１１５は、商品候補として認識された登録商品のレコードをＰＬＵファイルＦ１から読み出し、第１表示デバイス２５の商品候補画面内に表示させる。

図６は、商品候補画面の表示例を示す図である。図６に示すように、第１表示デバイス２５に表示される商品候補画面Ａ１は、撮像画像領域Ａ１１と、商品候補領域Ａ１２とを含む。

撮像画像領域Ａ１１は、画像取込部１１１が取り込んだ撮像画像を表示するための領域である。撮像画像領域Ａ１１の下部には、部門コードや商品リスト等から手動で商品Ｇを認識（登録）するための手動登録ボタンＢ１が設けられる。ＣＰＵ２０１は、手動登録ボタンＢ１の操作に応じて、商品Ｇの認識（登録）を手動で行うための手動登録画面（図示せず）を第１表示デバイス２５に表示する。なお、手動登録画面を介して指定された商品は、確定商品として処理される。

商品候補領域Ａ１２は、商品候補として認識された登録商品に関する情報を表示するための領域である。商品候補領域Ａ１２には、表示領域Ａ２が配置される。図６では、商品候補領域Ａ１２に４つの表示領域Ａ２を設定した例を示しているが、表示領域Ａ２の個数は特に問わないものとする。商品提示部１１５は、表示領域Ａ２に、商品候補の商品画像や商品名等の商品情報（ＸＸ、ＸＡ等）を配置して表示する。なお、商品候補領域Ａ１２に表示された商品候補は、タッチパネル２４を介して選択可能に構成される。上記の構成により、商品読取装置２０のオペレータは、商品候補領域Ａ１２に表示された商品候補の中から、商品Ｇに該当する商品候補を確定商品として選択することができる。

入力受付部１１６は、タッチパネル２４又はキーボード２６を介して第１表示デバイス２５の表示に対応する各種入力操作を受け付ける。例えば、入力受付部１１６は、商品候補に対する選択操作に基づき、表示された商品候補の中から商品Ｇに該当する確定商品の選択操作を受け付ける。

情報入力部１１７は、入力受付部１１６が受け付けた操作内容に応じた情報を、接続インターフェース２０７を介して自装置に入力する。例えば、情報入力部１１７は、上述のようにして確定された確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名等）を入力する。なお、情報入力部１１７は、タッチパネル２４又はキーボード２６を介して別途入力された販売個数を、商品ＩＤ等とともに入力するとしてもよい。

売上登録部１１８は、情報入力部１１７から入力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部１１８は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。

次に、辞書登録に係る機能構成について説明する。

上述したように、ＰＯＳ端末１０は、撮像部２０４により撮像した画像データから抽出した商品Ｇの特徴量と、辞書登録された特徴量との類似度に応じて、対象物の種別等を認識する一般物体認識を採用している。このような一般物体認識での認識精度は、辞書登録された特徴量の精度に依存する。係る特徴量は、認識時と同様に、登録対象の対象物を撮像した画像から抽出される。

ところで、対象物の撮像方法によっては、対象物以外の非対象物が一緒に撮像されてしまう場合がある。例えば、対象物を手で把持しながら撮像するような場合、当該対象物と一緒に手も撮像されることになる。また、対象物と一緒にその背景が撮像されることになる。このような場合、画像から抽出される特徴量には、対象物の特徴以外に非対象物の特徴も含まれることになる。しかしながら、非対象物の特徴を含む特徴量を照合用のデータとして使用すると、その非対象物の特徴が認識に影響することで認識精度が低下する可能性がある。

そこで、ＰＯＳ端末１０では、ＰＬＵファイルＦ１への特徴量の登録に関し、画像に含まれた非対象物を取り除くことが可能な機能構成を備える。具体的には、ＰＯＳ端末１０のＣＰＵ１０１は、ＨＤＤ１０４に記憶されたプログラムを実行することにより、図４に示すように、背景登録部１２１、除外色域登録部１２２、色域除外部１２３、背景除外部１２４、特徴量抽出部１２５及び辞書登録部１２６を、辞書登録に係る機能部として備える。

図７は、図４に示した辞書登録に係る機能部間の関係を示す図である。なお、画像取込部１１１については、上述した売上登録に係る機能部と同様であるため説明を省略する。また、タッチパネル２４又はキーボード２６を介した操作については、上述した入力受付部１１６及び情報入力部１１７（図示せず）の機能を用いるものとする。

背景登録部１２１は、対象物を撮像する際の背景、つまり撮像部２０４による撮像範囲Ｒの背景を表した背景画像を、除外情報として背景記憶部１０４１に登録する。背景画像は、画像取込部１１１が取り込んだ画像を利用することできる。具体的には、読取窓２２に対象物を翳さない状態で撮像した画像を背景画像として利用する。

除外色域登録部１２２は、除外の対象となる色域（除外色域）を、除外情報として除外色域記憶部１０４２に登録する。除外色域は、例えば、対象物を把持する手（手袋）の表面色や、対象物を支持する支持具の表面色等が挙げられる。なお、対象物を手で把持する場合には、その対象物と補色の関係にある色域の手袋を装着することが好ましい。このように、対象物と補色の関係にある色域の手袋を用いることで、対象物と非対象物（手袋）との切り分けが容易となる。

また、除外色域の指定方法は、特に問わないものとする。例えば、カラーチャートや色空間から指定する形態としてもよいし、ＲＧＢ値等の入力により指定する形態としてもよい。また、画像取込部１１１が取り込んだ画像から、手等の非対象物を表す領域を指定することで、その領域に含まれる画素の色域を除外色域として指定する形態としてもよい。なお、画像取込部１１１が取り込んだ画像を用いる場合には、後述する背景除外部１２４で背景が除外された画像から除外色域を指定する形態としてもよい。除外色域登録部１２２は、表示・操作部２３等を介して指定された除外色域を受け付けると、その除外色域を除外色域記憶部１０４２に登録する。

色域除外部１２３は、画像取込部１１１が取り込んだ画像から、除外色域記憶部１０４２に記憶された除外色域で表される領域を除外する。具体的には、公知のクロマキー処理等を実行することで、画像取込部１１１が取り込んだ画像を構成する各画素から、除外色域に該当する色情報を有する画素部分を除外する。除外の対象とする画素部分は、一画素単位であってもよいし、所定数（例えば１０画素）以上の画素で構成される部分としてもよい。なお、本実施形態において「除外」とは、該当する領域を予め定められた色（例えば黒色）に置き換える等することで、後述する特徴量抽出部１２５での特徴量の抽出対象から除外するよう設定することを意味する。

背景除外部１２４は、背景記憶部１０４１に登録された背景画像を用いることで、画像取込部１１１が取り込んだ画像から背景に相当する領域（背景部分）を除外する。背景部分の除外方法は特に問わないものとする。一例としては、背景記憶部１０４１に登録された背景画像と、画像取込部１１１が取り込んだ画像との対応する各画素について、その画素値の排他的論理和を演算する。そして、背景画像の画素値と同値（或いは略同値）となった画素部分を画像取込部１１１が取り込んだ画像から除外する。これにより、画像中から背景部分を除外することができる。

なお、本実施形態では、色域除外部１２３で除外色域が除外された画像に対し、背景部分を除外する形態を説明するが、これに限らず、背景部分の除外を先に行う形態としてもよい。

特徴量抽出部１２５は、除外色域及び背景部分が除外された画像から特徴量を抽出する機能部である。具体的に、特徴量抽出部１２５は、画像に表された形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化した値を特徴量として抽出する。なお、特徴量抽出部１２５は、色域除外部１２３及び背景除外部１２４で除外するよう設定された画像中の領域（画像部分）については、特徴量の抽出対象から除外する。そのため、特徴量抽出部１２５が抽出する特徴量は、対象物の外観上の特徴を表したものに相当する。

辞書登録部１２６は、特徴量抽出部１２５が抽出した特徴量を、その商品の商品ＩＤ、商品分類、商品名、単価等の情報とともに、辞書であるＰＬＵファイルＦ１に登録する。ＰＬＵファイルＦ１に登録された特徴量は、上述したように商品Ｇの特徴量と照合するための照合用データとして用いられる。なお、本実施形態では、特徴量とともに、商品ＩＤ、商品分類、商品名、単価等の他の情報を登録する形態としたが、他の情報については他のタイミングで登録する形態としてもよい。

以下、チェックアウトシステム１の動作について説明する。まず、図８を参照して、商品の辞書登録に係る背景登録処理について説明する。図８は、ＰＯＳ端末１０が実行する背景登録処理の一例を示すフローチャートである。

ＰＯＳ端末１０のＣＰＵ１０１は、第１表示デバイス２５に表示された業務選択画面（図示せず）のメニューから「背景登録」が選択されるまで待機する（ステップＳ１１；Ｎｏ）。「背景登録」が選択されると（ステップＳ１１；Ｙｅｓ）、画像取込部１１１は、撮像部２０４に撮像オン信号を出力して撮像部２０４に撮像動作を開始させる（ステップＳ１２）。次いで、ＣＰＵ１０１は、画像取込部１１１が取り込んだ画像を第１表示デバイス２５に表示させる（ステップＳ１３）。

第１表示デバイス２５に表示する画像は一であってもよいし複数であってもよい。例えば、画像取込部１１１が取り込んだ複数の画像を、並べて表示する形態としてもよい。オペレータは、タッチパネル２４を介して、第１表示デバイス２５に表示された画像の中から背景とする背景画像を指定する。

背景登録部１２１は、背景画像の指定を受け付けると（ステップＳ１４）、その背景画像を背景記憶部１０４１に登録し（ステップＳ１５）、本処理を終了する。

なお、本処理では、撮像部２０４が撮像した画像をリアルタイムで使用する形態を説明したが、これに限らないものとする。例えば、撮像部２０４で撮像された画像をＨＤＤ１０４等に記憶しておき、これらの画像中から背景画像を指定する形態としてもよい。

次に、図９を参照して、商品の辞書登録に係る除外色域登録処理について説明する。ここで、図９は、ＰＯＳ端末１０が実行する除外色域登録処理の一例を示すフローチャートである。なお、本処理では、撮像部２０４が撮像した画像を用いて除外色域を指定する方法について説明する。

ＰＯＳ端末１０のＣＰＵ１０１は、第１表示デバイス２５に表示された業務選択画面（図示せず）のメニューから「除外色域登録」が選択されるまで待機する（ステップＳ２１；Ｎｏ）。「除外色域登録」が選択されると（ステップＳ２１；Ｙｅｓ）、画像取込部１１１は、撮像部２０４に撮像オン信号を出力して撮像部２０４に撮像動作を開始させる（ステップＳ２２）。

商品読取装置２０のオペレータは、商品Ｇを把持するための手袋や支持するための支持具等を撮像部２０４の撮像範囲に置くことで、撮像部２０４に撮像させる。なお、手袋や支持具には、所定の色（色域）が付されているものとする。

次いで、背景除外部１２４は、背景記憶部１０４１に記憶された背景画像を用いることで、画像取込部１１１が取り込んだ画像から背景部分を除外する（ステップＳ２３）。続いて、ＣＰＵ１０１は、ステップＳ２３で背景部分が除外された画像を第１表示デバイス２５に表示させる（ステップＳ２４）。

ＰＯＳ端末１０のオペレータは、タッチパネル１３を介して、第１表示デバイス２５に表示された画像の中から、手袋や支持具が表された部分（領域）を指定する。なお、第１表示デバイス２５に表示する画像のうち、ステップＳ２３で除外された背景部分については、除外色域の指定が不可能な状態で表示することが好ましい。例えば、ステップＳ２３で除外された背景部分を、非表示としたり、他の画像（例えば白背景）に置き換えて表示してもよい。

除外色域登録部１２２は、画像中の領域が指定されると、その領域内の各画素が表す色域を除外色域として抽出する（ステップＳ２５）。そして、除外色域登録部１２２は、除外色域を除外色域記憶部１０４２に登録し（ステップＳ２６）、本処理を終了する。

なお、本処理では、撮像部２０４が撮像した画像を用いて除外色域を指定する形態を説明したが、これに限らず、カラーチャートや色空間から指定する形態としてもよい。また、本処理では、撮像部２０４が撮像した画像をリアルタイムで使用する形態を説明したが、これに限らないものとする。例えば、撮像部２０４で撮像された画像をＨＤＤ１０４等に記憶しておき、これらの画像を用いて除外色域を指定する形態としてもよい。また、本処理では、背景部分を除外した画像を用いて除外色域を指定する形態としたが、これに限らず、撮像部２０４が撮像したままの画像を用いて除外色域を指定する形態としてもよい。

次に、図１０を参照して、辞書登録に係る辞書登録処理について説明する。ここで、図１０は、ＰＯＳ端末１０が実行する辞書登録処理の一例を示すフローチャートである。

ＰＯＳ端末１０のＣＰＵ１０１は、第１表示デバイス１２に表示された業務選択画面（図示せず）のメニューから「辞書登録」が選択されるまで待機する（ステップＳ３１；Ｎｏ）。「辞書登録」が選択されると（ステップＳ３１；Ｙｅｓ）、画像取込部１１１は、撮像部２０４に撮像オン信号を出力して撮像部２０４に撮像動作を開始させる（ステップＳ３２）。

商品読取装置２０のオペレータは、除外色域の登録時に用いた手袋や支持具等を用いて商品Ｇを把持又は支持し、撮像部２０４に向けることで商品Ｇの撮像を行う。

画像取込部１１１が画像を取り込むと、色域除外部１２３は、その画像から除外色域記憶部１０４２に登録された色域（除外色域）を除外する（ステップＳ３３）。続いて、背景除外部１２４は、背景記憶部１０４１に登録された背景画像を用いることで、ステップＳ３３で生成された画像から背景部分を除外する（ステップＳ３４）。次いで、特徴量抽出部１２５は、ステップＳ３４で生成された画像から特徴量を抽出する（ステップＳ３５）。

そして、辞書登録部１２６は、ステップＳ３５で抽出された特徴量を、対応する商品の情報とともに、ＰＬＵファイルＦ１に登録し（ステップＳ３６）、本処理を終了する。

なお、本処理では、撮像部２０４が撮像した画像を用いて、自動的に特徴量を抽出する形態としたが、これに限らないものとする。例えば、撮像部２０４が撮像した画像を第１表示デバイス１２に表示し、使用する画像をオペレータに選択させる形態としてもよい。また、本処理では、撮像部２０４が撮像した画像をリアルタイムで使用する形態を説明したが、これに限らないものとする。例えば、撮像部２０４が撮像した画像をＨＤＤ１０４等に記憶しておき、これらの画像から使用する画像を選択する形態としてもよい。

次に、図１１を参照して、商品の売上登録に係る売上登録処理について説明する。ここで、図１１は、ＰＯＳ端末１０が実行する売上登録処理の一例を示すフローチャートである。

ＰＯＳ端末１０のＣＰＵ１０１は、第１表示デバイス１２に表示された業務選択画面（図示せず）のメニューから「売上登録」が選択されるまで待機する（ステップＳ４１；Ｎｏ）。「売上登録」が選択されると（ステップＳ４１；Ｙｅｓ）、画像取込部１１１は、撮像部２０４に撮像オン信号を出力して撮像部２０４に撮像動作を開始させる（ステップＳ４２）。これに伴い、画像取込部１１１は、撮像部２０４が撮像してＲＡＭ２０３に保存された画像を取り込む（ステップＳ４３）。

次いで、商品検出部１１２は、ステップＳ４３で取り込まれた画像から商品Ｇの全部又は一部の検出を行う（ステップＳ４４）。ステップＳ４４において、商品Ｇが検出されない場合には（ステップＳ４４；Ｎｏ）、ステップＳ４３に戻る。商品Ｇが検出された場合には（ステップＳ４４；Ｙｅｓ）、類似度判定部１１４は、ステップＳ４３で取り込まれた撮像画像から、ステップＳ４４で検出された商品Ｇの特徴量を抽出する（ステップＳ４５）。

次いで、類似度判定部１１４は、ステップＳ４５で抽出された特徴量と、ＰＬＵファイルＦ１に登録された各商品の特徴量とを比較し、その類似度をそれぞれ算出する（ステップＳ４６）。類似度判定部１１４は、算出した類似度のうち、その値が所定の閾値以上の登録商品が存在するか否かを判定する（ステップＳ４７）。閾値以上の登録商品が存在しない場合（ステップＳ４７；Ｎｏ）、ステップＳ４３に戻る。また、閾値以上の登録商品が存在する場合（ステップＳ４７；Ｙｅｓ）、類似度判定部１１４は、その登録商品（商品ＩＤ）を商品候補として認識する。

商品提示部１１５は、ステップＳ４７で認識された商品候補を第１表示デバイス２５に表示する（ステップＳ４８）。続いて、入力受付部１１６は、タッチパネル２４又はキーボード２６を介して、確定商品の選択を受け付けたか否かを判定する（ステップＳ４９）。確定商品の選択操作を受け付けない場合（ステップＳ４９；Ｎｏ）、ステップＳ４３に戻る。

また、ステップＳ４９において、確定商品の選択操作を受け付けると（ステップＳ４９；Ｙｅｓ）、情報入力部１１７は、その商品の商品ＩＤ等の情報を、ＰＯＳ端末１０に入力し（ステップＳ５０）、ステップＳ５１に移行する。タッチパネル２４又はキーボード２６を介して販売個数が別途入力された場合には、ステップＳ５０において、確定商品を示す情報とともに、その販売個数をＰＯＳ端末１０に出力するものとする。なお、販売個数の入力が行われない場合には、デフォルト値として販売個数“１”を出力する形態としてもよい。

次いで、売上登録部１１８は、ステップＳ４９で入力された商品ＩＤ及び販売個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等の商品情報を読み出し、売上マスタファイルに登録する（ステップＳ５１）。

続いて、ＣＰＵ１０１は、キーボード１１の操作指示による売上登録の終了等による業務終了の有無を判定する（ステップＳ５２）。業務を継続する場合（ステップＳ５２；Ｎｏ）、ＣＰＵ１０１は、ステップＳ４３へ戻り処理を継続させる。業務を終了する場合（ステップＳ５２；Ｙｅｓ）、画像取込部１１１は、撮像部２０４に撮像オフ信号を出力することで、撮像部２０４による撮像を終了させ（ステップＳ５３）、本処理を終了する。

以上のように、本実施形態のチェックアウトシステム１によれば、撮像部２０４で撮像された画像から非対象物を除外した後、当該画像から特徴量を抽出する。これにより、画像中から対象物の特徴量を精度よく抽出することができるため、当該対象物の照合用データを精度よく生成することができる。また、本実施形態のチェックアウトシステム１によれば、非対象物を除外した画像から抽出される特徴量を、照合用データとしてＰＬＵファイルＦ１に辞書登録する。これにより、非対象物による影響を抑えることができるため、商品Ｇの認識精度の向上を図ることができる。

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、ＰＯＳ端末１０がＰＬＵファイルＦ１を備える形態としたが、これに限らず、商品読取装置２０がＰＬＵファイルＦ１を備える形態としてもよいし、ＰＯＳ端末１０及び商品読取装置２０がアクセス可能な外部装置がＰＬＵファイルＦ１を備える形態としてもよい。

また、上記実施形態では、画像から背景部分と除外色域との両方を除外する形態としたが、これに限らず、何れか一方を除外する形態としてもよい。また、上記実施形態では、背景部分及び除外色域の除外を辞書登録時に行う形態としたが、これに限らず、売上登録処理時に行う形態としてもよい。具体的には、認識の対象となる商品Ｇを撮像した画像に対し、背景部分及び除外色域の除外を行った後、特徴量を抽出する形態としてもよい。

また、上記実施形態では、非対象物の特徴を表す除外情報として、背景画像と色域とを登録する形態としたが、除外情報はこれらに限定されないものとする。例えば、他の特徴として非対象物の形状等を除外情報として登録する形態としてもよい。なお、この形態を採用する場合には、画像中から非対象物の形状に該当する領域を除外することが可能な除外手段を更に備えるものとする。

また、上記実施形態では、背景登録部１２１、除外色域登録部１２２、色域除外部１２３、背景除外部１２４、特徴量抽出部１２５、辞書登録部１２６の機能を有する情報処理装置としてＰＯＳ端末１０を適用したが、これに限らないものとする。例えば、背景登録部１２１、除外色域登録部１２２、色域除外部１２３、背景除外部１２４、特徴量抽出部１２５、辞書登録部１２６の機能を備えて、登録対象の特徴量をＰＯＳ端末１０に出力する情報処理装置として商品読取装置２０を適用してもよい。また、上記実施形態では、照合用データを特徴量としたが、背景部分及び除外色域を除外設定した画像自体を照合用データとして辞書登録してもよい。

また、上記実施形態では、店舗システムとしてＰＯＳ端末１０と商品読取装置２０とで構成されるチェックアウトシステム１を適用したがこれに限るものではなく、ＰＯＳ端末１０及び商品読取装置２０の機能を備えた１台構成の装置に適用するようにしてもよい。ＰＯＳ端末１０及び商品読取装置２０の機能を備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。

図１２はセルフＰＯＳ７０の構成を示す外観斜視図、図１３はセルフＰＯＳ７０のハードウェア構成を示すブロック図である。なお、以下では、図１及び図２に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。図１１及び図１２に示すように、セルフＰＯＳ７０の本体７１には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器７２が設けられている。また、本体７１は、タッチパネル２４が表面に配設された第１表示デバイス２５や、商品の種別等を認識（検出）するための商品読取部２１０を備えている。

第１表示デバイス２５としては例えば液晶表示器が用いられる。第１表示デバイス２５は、客にセルフＰＯＳ７０の操作方法を知らせるための案内画面や、各種の入力画面や、商品読取部２１０で読み込んだ商品情報を表示する登録画面、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする精算画面等を表示する。

商品読取部２１０は、客が商品を商品読取部２１０の読取窓２２にかざすことで、当該商品を表す画像を撮像部２０４により読み取るものである。

本体７１の右側には、かごに入った未精算の商品を置くための商品載置台７３が設けられる。また、本体７１の左側には、精算済みの商品を置くための商品載置台７４が設けられる。商品載置台７４には、精算済みの商品を入れるための袋を掛けるための袋掛けフック７５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台７６が設けられている。また、商品載置台７３、７４には計量器７７、７８がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有している。

このような構成のセルフＰＯＳ７０を店舗システムに適用した場合、セルフＰＯＳ７０が情報処理装置として機能することになる。

また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。更に、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

１ チェックアウトシステム
１０ ＰＯＳ端末
２０ 商品読取装置
１２１ 背景登録部
１２２ 除外色域登録部
１２３ 色域除外部
１２４ 背景除外部
１２５ 特徴量抽出部
１２６ 辞書登録部
１０４１ 背景記憶部
１０４２ 除外色域記憶部
Ｆ１ ＰＬＵファイル

特開２００３−１７３３６９号公報

Claims (4)

1. 撮像手段が撮像する撮像範囲の背景を表した背景画像を、除外情報として記憶する記憶手段と、
   前記撮像手段で撮像された画像から、前記記憶手段に記憶された前記除外情報に該当する領域を除外する除外手段と、
   前記領域が除外された画像から、前記除外情報に追加する色域として、当該画像に含まれた対象物を表す色域と補色の関係にある色域の指定を受け付ける受付手段と、
   前記領域が除外された画像から、前記対象物の特徴量を抽出する抽出手段と、
   前記抽出手段が抽出した特徴量を前記対象物の照合用データとして辞書に登録する辞書登録手段と、
   を備える情報処理装置。
2. 前記受付手段は、前記除外手段が除外した領域を非表示とする請求項１に記載の情報処理装置。
3. 前記受付手段は、前記除外手段が除外した領域を他の画像に置き換える請求項１に記載の情報処理装置。
4. コンピュータを、
   撮像手段が撮像する撮像範囲の背景を表した背景画像を、除外情報として記憶する記憶手段と、
   前記撮像手段で撮像された画像から、前記記憶手段に記憶された前記除外情報に該当する領域を除外する除外手段と、
   前記領域が除外された画像から、前記除外情報に追加する色域として、当該画像に含まれた対象物を表す色域と補色の関係にある色域の指定を受け付ける受付手段と、
   前記領域が除外された画像から、前記対象物の特徴量を抽出する抽出手段と、
   前記抽出手段が抽出した特徴量を前記対象物の照合用データとして辞書に登録する辞書登録手段と、
   して機能させるためのプログラム。

Images