JP2018041261A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】オブジェクト認識に係る学習処理を効率的に行うことが可能な情報処理装置及びプログラムを提供する。
【解決手段】学習処理の対象となる学習対象物品を指定する指定手段と、前記学習処理に用いる撮像画像を取り込む取込手段と、前記撮像画像の各々から、当該撮像画像に含まれる物品の特徴を示した特徴量を抽出する抽出手段と、前記抽出手段が抽出した特徴量の各々と、辞書登録された前記学習対象物品の特徴量とをそれぞれ比較し、その類似度を算出する算出手段と、前記算出手段が算出した類似度に基づき、前記撮像画像間の関係を示した関係情報を生成する生成手段と、前記関係情報に基づき、前記撮像画像の中から所定の条件に該当した撮像画像を除去する除去手段と、前記除去手段により除去された残りの前記撮像画像に含まれる物品の特徴量を用いて、前記学習対象物品の特徴量を更新する学習処理を実行する学習手段と、を備える。
【選択図】図４

Description

本発明の実施形態は、情報処理装置及びプログラムに関する。

従来、撮像素子により撮像した撮像画像（画像データ）から抽出した物品の特徴量と、予め辞書登録された基準物品の特徴量とを比較し、その類似度に基づいて物品の種別等を認識（検出）する一般物体認識（オブジェクト認識）に係る技術が存在している。また、この一般物体認識に係る技術を用いて、青果品等の商品の識別や品種を識別し、その識別結果に基づいて商品の売上登録を行う技術が提案されている。

上記の一般物体認識に用いる辞書においては、予め照合用のデータ（特徴量）が登録されている。しかしながら、一般物体認識の認識対象となる青果品等の物品（オブジェクト）は、同じ品種でも産地によって表面の質感や色等が異なる場合がある。このように同じ品種でも表面の質感や色等が異なると、辞書登録されている照合用のデータとの比較による類似度が小さくなってしまうため、認識率が低下してしまうという問題がある。そこで、従来技術によれば、新たに撮像した撮像画像から照合用のデータの新規登録や更新を行う学習機能を備えている。

ところで、学習用の撮像画像の中にオペレータの手等の異物が含まれていると、学習を行う前よりもかえって認識率が低下してしまう可能性がある。そのため、異物が含まれた撮像画像は、学習処理の対象から除外することが望ましい。しかしながら、従来技術では、オペレータが撮像画像の状態を一つずつ確認しながら学習処理の対象とするか否かを判断することになるため、煩わしく非効率的であるという問題があった。

本発明が解決しようとする課題は、オブジェクト認識に係る学習処理を効率的に行うことが可能な情報処理装置及びプログラムを提供することである。

実施形態の情報処理装置は、指定手段と、取込手段と、抽出手段と、算出手段と、生成手段と、除去手段と、学習手段とを備える。指定手段は、学習処理の対象となる学習対象物品を指定する。取込手段は、前記学習処理に用いる撮像画像を取り込む。抽出手段は、前記撮像画像の各々から、当該撮像画像に含まれる物品の特徴を示した特徴量を抽出する。算出手段は、前記抽出手段が抽出した特徴量の各々と、辞書登録された前記学習対象物品の特徴量とをそれぞれ比較し、その類似度を算出する。生成手段は、前記算出手段が算出した類似度に基づき、前記撮像画像間の関係を示した関係情報を生成する。除去手段は、前記関係情報に基づき、前記撮像画像の中から所定の条件に該当した撮像画像を除去する。学習手段は、前記除去手段により除去された残りの前記撮像画像に含まれる物品の特徴量を用いて、前記学習対象物品の特徴量を更新する学習処理を実行する。

図１は、実施形態のチェックアウトシステムの一例を示す斜視図である。 図２は、ＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、ＰＬＵファイルのデータ構成を例示する概念図である。 図４は、ＰＯＳ端末の機能構成を示すブロック図である。 図５は、撮像画像の一例を示す図である。 図６は、確定画面の一例を示す図である。 図７は、確認画面の一例を示す図である。 図８は、商品候補選択画面の一例を示す図である。 図９は、第１関係画面の一例を示す図である。 図１０は、第２関係画面の一例を示す図である。 図１１は、ロールバック画面の一例を示す図である。 図１２は、学習処理の手順の一例を示すフローチャートである。 図１３は、ロールバック処理の手順の一例を示すフローチャートである。

以下、実施形態に係る情報処理装置及びプログラムについて、図面を参照して説明する。本実施形態では、スーパーマーケット等の店舗に導入された、一取引に係る商品の登録及び精算を行うＰＯＳ端末を備えるチェックアウトシステムに適用した例について説明するが、この実施形態に限定されないものとする。

図１は、チェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、商品に関する情報を読み取る商品読取装置１０１と、一取引に係る商品の登録、精算を行うＰＯＳ端末１１とを備える。以下では、ＰＯＳ端末１１を本実施形態にかかる情報処理装置として適用する例について説明する。

ＰＯＳ端末１１は、チェックアウト台４１上のドロワ２１上面に載置されている。ドロワ２１は、ＰＯＳ端末１１によって開放動作の制御を受ける。ＰＯＳ端末１１の上面には、オペレータ（店員等）によって操作されるキーボード２２が配置されている。キーボード２２を操作するオペレータから見てキーボード２２よりも奥側には、オペレータに向けて情報を表示する表示デバイス２３が設けられている。表示デバイス２３は、その表示面２３ａに情報を表示する。表示面２３ａには、タッチパネル２６が積層されている。表示デバイス２３よりも更に奥側には、顧客用表示デバイス２４が回転可能に立設されている。顧客用表示デバイス２４は、その表示面２４ａに情報を表示する。なお、図１に示す顧客用表示デバイス２４は、表示面２４ａを図１中手前側に向けているが、表示面２４ａが図１中奥側に向くように顧客用表示デバイス２４を回転させることによって、顧客用表示デバイス２４は顧客に向けて情報を表示する。

ＰＯＳ端末１１が載置されているチェックアウト台４１とＬ字を形成するようにして、横長テーブル状のカウンタ台１５１が配置されている。カウンタ台１５１の上面には、荷受け面１５２が形成されている。荷受け面１５２には、商品Ｇを収納する買物カゴ１５３が載置される。買物カゴ１５３は、顧客によって持ち込まれる第１の買物カゴ１５３ａと、第１の買物カゴ１５３ａから商品読取装置１０１を挟んだ位置に載置される第２の買物カゴ１５３ｂとに分けて考えることができる。なお、買物カゴ１５３は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ１５３（第２の買物カゴ１５３ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。

カウンタ台１５１の荷受け面１５２には、ＰＯＳ端末１１とデータ送受信可能に接続された商品読取装置１０１が設置されている。商品読取装置１０１は、薄型矩形形状のハウジング１０２を備える。ハウジング１０２の正面には読取窓１０３が配置されている。ハウジング１０２の上部には、表示・操作部１０４が取り付けられている。表示・操作部１０４には、タッチパネル１０５が表面に積層された表示部である表示デバイス１０６が設けられている。表示デバイス１０６の右隣にはキーボード１０７が配設されている。キーボード１０７の右隣には、図示しないカードリーダのカード読取溝１０８が設けられている。オペレータから見て表示・操作部１０４の裏面左奥側には、顧客に情報を提供するための顧客用表示デバイス１０９が設置されている。

また、商品読取装置１０１は、商品読取部１１０（図２参照）を備えている。商品読取部１１０は、読取窓１０３の奥側に撮像部１６４（図２参照）を配置している。

顧客によって持ち込まれた第１の買物カゴ１５３ａには、一取引に係る商品Ｇが収納されている。第１の買物カゴ１５３ａ内の商品Ｇは、商品読取装置１０１を操作するオペレータにより第２の買物カゴ１５３ｂに移動される。この移動過程で、商品Ｇが商品読取装置１０１の読取窓１０３に向けられる。この際、読取窓１０３内に配置された撮像部１６４（図２参照）は商品Ｇを撮像する。

商品読取装置１０１では、撮像部１６４により撮像された画像に含まれる商品Ｇが、後述するＰＬＵファイルＦ１（図３参照）に登録されたどの商品に対応するかをオペレータに指定させるための画面を表示・操作部１０４に表示する。そして、商品読取装置１０１は、オペレータにより指定された商品の商品ＩＤをＰＯＳ端末１１に通知する。一方、ＰＯＳ端末１１は、商品読取装置１０１から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示しない）等に記録して売上登録を行う。

図２は、ＰＯＳ端末１１及び商品読取装置１０１のハードウェア構成を示すブロック図である。ＰＯＳ端末１１は、情報処理を実行する情報処理部としてのマイクロコンピュータ６０を備える。マイクロコンピュータ６０は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）６１に、ＲＯＭ（Read Only Memory）６２とＲＡＭ（Random Access Memory）６３とがバス接続されて構成されている。

ＰＯＳ端末１１のＣＰＵ６１には、前述したドロワ２１、キーボード２２、表示デバイス２３、タッチパネル２６、顧客用表示デバイス２４がいずれも各種の入出力回路（いずれも図示せず）を介して接続されている。これらは、ＣＰＵ６１による制御を受ける。

キーボード２２は、「１」、「２」、「３」等の数字や乗算等の算術演算子が上面に表示されているテンキー２２ｄ、仮締めキー２２ｅ、及び締めキー２２ｆを含む。

ＰＯＳ端末１１のＣＰＵ６１には、ＨＤＤ６４（Hard Disk Drive）が接続されている。ＨＤＤ６４には、プログラムや各種ファイルが記憶されている。ＨＤＤ６４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１１の起動時に、その全部または一部がＲＡＭ６３にコピーされてＣＰＵ６１により実行される。ＨＤＤ６４に記憶されているプログラムの一例は、商品販売データ処理用プログラムＰＲ１や学習処理用プログラムＰＲ２である。ＨＤＤ６４に記憶されているファイルの一例は、ストアコンピュータＳＣから配信されて格納されているＰＬＵファイルＦ１である。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｇの各々について、商品Ｇの売上登録に係る情報を格納する商品ファイルである。以下の説明では、ＰＬＵファイルＦ１を辞書として用いるが、辞書はＰＬＵファイルＦ１と異なるファイルであっても良い。辞書は、撮像した画像データから抽出した商品の照合用データ（特徴量）を記憶する。辞書はＰＬＵファイルＦ１と異なるファイルである場合、同一の商品に係る照合用データ（特徴量）と、ＰＬＵファイルＦ１の情報とは、後述する商品ＩＤ等によって対応付けられる。なお、特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。

図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品Ｇ毎に、ユニークに割り当てられた識別情報である商品ＩＤ、商品Ｇが属する商品分類、商品名、品種、単価等の商品に関する情報と、その商品を示すイラスト画像と、撮像した商品画像から読み取られる色合いや表面の凹凸状況等の特徴量とを、その商品Ｇの商品情報として格納するファイルである。ここで、特徴量は、後述する類似度の判定に用いられる照合用のデータである。ＰＬＵファイルＦ１は、後述する接続インターフェース６５を介し、商品読取装置１０１が読み出し可能に構成されている。

なお、物品の品種を認識（検出）する必要がある場合には、ＰＬＵファイルＦ１は、図３に示すように、品種毎に商品名や単価等の商品に関する情報と、その商品を示すイラスト画像と、特徴量とを対応付けて管理する（ＢＢＢ１〜ＢＢＢ４参照）。また、候補の表示にイラスト画像を用いずに文字で候補を表示する場合は、イラスト画像をＰＬＵファイルＦ１に格納しなくてもよい。

図２に戻り、ＰＯＳ端末１１のＣＰＵ６１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース２５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１１に配信されるＰＬＵファイルＦ１が格納されている。

更に、ＰＯＳ端末１１のＣＰＵ６１には、商品読取装置１０１との間でデータ送受信を可能にする接続インターフェース６５が接続されている。接続インターフェース６５には、商品読取装置１０１が接続されている。また、ＰＯＳ端末１１のＣＰＵ６１には、レシート等に印字を行うプリンタ６６が接続されている。プリンタ６６は、ＣＰＵ６１の制御の下、一取引の取引内容をレシートに印字する。

商品読取装置１０１も、マイクロコンピュータ１６０を備える。マイクロコンピュータ１６０は、ＣＰＵ１６１にＲＯＭ１６２とＲＡＭ１６３とがバス接続されて構成されている。ＲＯＭ１６２には、ＣＰＵ１６１によって実行されるプログラムが記憶されている。ＣＰＵ１６１には、撮像部１６４、音声出力部１６５が各種の入出力回路（いずれも図示せず）を介して接続されている。撮像部１６４、音声出力部１６５は、ＣＰＵ１６１によって動作が制御される。表示・操作部１０４は、接続インターフェース１７６を介して、商品読取部１１０及びＰＯＳ端末１１に接続されている。接続インターフェース１７６は、表示・操作部１０４において、タッチパネル１０５、表示デバイス１０６、キーボード１０７及び顧客用表示デバイス１０９に接続されている。表示・操作部１０４は、商品読取部１１０のＣＰＵ１６１、ＰＯＳ端末１１のＣＰＵ６１によって動作が制御される。

撮像部１６４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等であり、ＣＰＵ１６１の制御の下で読取窓１０３からの撮像を行う撮像手段である。例えば撮像部１６４では３０ｆｐｓの動画像の撮像を行う。撮像部１６４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ１６３に保存される。

音声出力部１６５は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部１６５は、ＣＰＵ１６１の制御の下で警告音や音声による報知を行う。

更に、ＣＰＵ１６１には、ＰＯＳ端末１１の接続インターフェース６５に接続して、ＰＯＳ端末１１との間でデータ送受信を可能にする接続インターフェース１７５が接続されている。また、ＣＰＵ１６１は、接続インターフェース１７５を介して、表示・操作部１０４との間でデータ送受信を行う。

次に、ＣＰＵ１６１、ＣＰＵ６１がプログラムを実行することで実現されるＣＰＵ１６１、ＣＰＵ６１の機能構成について、図４を参照して説明する。

図４は、ＰＯＳ端末１１の機能構成を示すブロック図である。まず、商品登録処理及び売上登録処理に係る機能構成について説明する。図４に示すように、ＰＯＳ端末１１のＣＰＵ６１は、商品販売データ処理用プログラムＰＲ１と協働することで、第１画像取込部５０１、商品検出部５０２、第１類似度算出部５０３、類似度判定部５０４、商品提示部５０５、入力受付部５０６、情報入力部５０７、誤認識検出部５０８及び売上登録部５０９を機能部として実現する。

第１画像取込部５０１は、撮像部１６４に撮像オン信号を出力して撮像部１６４に撮像動作を開始させる。第１画像取込部５０１は、撮像動作開始後に撮像部１６４が撮像してＲＡＭ１６３に保存された撮像画像（フレーム画像）を順次取り込む。第１画像取込部５０１による撮像画像の取り込みは、ＲＡＭ１６３に保存された順に行われる。

図５は、第１画像取込部５０１によって取り込まれた撮像画像の一例を示す図である。図５に示すように、オペレータが読取窓１０３に商品Ｇをかざすと、撮像部１６４の読取領域Ｒに商品Ｇの全部または一部が入る。そして、撮像部１６４により撮影された商品Ｇの撮像画像は、商品読取装置１０１の表示デバイス１０６に表示される。

商品検出部５０２は、第１画像取込部５０１により取り込まれた撮像画像に含まれる商品Ｇの全部または一部を、パターンマッチング技術等を用いて検出し、撮像された商品の特徴量を抽出する。具体的には、取り込まれた撮像画像を２値化した画像から輪郭線等を抽出する。次いで、前回の撮像画像から抽出された輪郭線と、今回の撮像画像から抽出された輪郭線とを比較して、売上登録のために読取窓１０３に向けられた商品Ｇを検出する。

なお、商品を検出する別の方法としては、取り込まれた撮像画像から肌色領域の有無を検出する。次いで、肌色領域が検出された場合、すなわち、オペレータの手が検出された場合は、この肌色領域の近傍において上述した輪郭線の検出を行うことで、オペレータの手が把持していると想定される商品の輪郭抽出を試みる。この時、手の形状を示す輪郭と、手の輪郭の近傍にそれ以外の物体の輪郭とが検出された場合、この物体の輪郭から商品Ｇを検出する。

第１類似度算出部５０３は、撮像部１６４により撮像された商品Ｇの全部または一部の画像から、商品Ｇの色合いや表面の凹凸状況等の表面の状態を特徴量として抽出する。具体的には、第１類似度算出部５０３は、商品検出部５０２によって商品Ｇが検出された撮像画像から、当該商品Ｇの特徴量を抽出する。なお、第１類似度算出部５０３は、処理時間の短縮を図るため、商品Ｇの輪郭や大きさは考慮しないものとする。

また、第１類似度算出部５０３は、ＰＬＵファイルＦ１に登録されている各商品（以下、登録商品という）の照合用データ（特徴量）と、撮像画像から抽出した商品Ｇの特徴量とをそれぞれ比較することで、商品Ｇと各登録商品との類似度を算出する。ここで、類似度は、登録商品の特徴量と、撮像画像から抽出した商品Ｇの特徴量とがどの程度類似しているかを定量的に示すものである。例えば、撮像画像から抽出した商品Ｇの特徴量が、ある登録商品の特徴量と完全に一致する場合、類似度は１００％（１．０）となる。なお、類似度は、例えば色合いと表面の凹凸状況とで、重み付けを変えて算出してもよい。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。係る一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２８年８月３０日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２８年８月３０日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された登録商品との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、ＰＬＵファイルＦ１に登録された各登録商品との類似度を絶対評価で算出してもよいし、相対評価で算出してもよい。

類似度を絶対評価で算出する場合、商品Ｇの特徴量と、各登録商品の特徴量とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価で算出する場合、商品Ｇの特徴量と各登録商品の特徴量との類似度の総和が１．０（１００％）となるよう算出すればよい。例えば５つの登録商品（商品ＧＡ、ＧＢ、ＧＣ、ＧＤ、ＧＥ）の照合用データ（特徴量）が登録されている場合を想定する。この場合、商品Ｇは、商品ＧＡに対して類似度が０．６、商品ＧＢに対しては類似度が０．１、商品ＧＣに対しては類似度が０．１、商品ＧＤに対しては類似度が０．１、商品ＧＥに対しては類似度が０．１等、類似度の総和が１．０になるよう算出する。

類似度判定部５０４は、第１類似度算出部５０３が算出した類似度に基づき、商品Ｇに対応する登録商品の確定、又は商品Ｇの候補となる登録商品の選定を行う。本実施形態では、登録商品と商品Ｇとの類似度について複数の条件が段階的に設けられており、類似度判定部５０４は、満たされる条件に応じて登録商品の確定あるいは候補の選定を行う。類似度に関する条件は特に限定されるものではないが、本実施形態では以下の条件ａ〜ｃを用いた例について説明する。

条件ａ及び条件ｂは、撮像部１６４が撮像した商品ＧをＰＬＵファイルＦ１に登録された登録商品のうち一の商品として確定するための条件である。また、条件ｃは、ＰＬＵファイルＦ１に登録された登録商品から、撮像部１６４が撮像した商品Ｇの候補を抽出するための条件である。

類似度判定部５０４は、条件ａ又は条件ｂを満たす登録商品を、撮像部１６４が撮像した商品Ｇに１対１で対応する商品（以下、確定商品という）であると判定（確定）する。また、類似度判定部５０４は、条件ｃを満たす登録商品については、確定商品ではなく、撮像部１６４が撮像した商品Ｇの候補（以下、商品候補という）であると判定する。そして、ＰＬＵファイルＦ１に登録された複数の登録商品から条件ｃを満たす登録商品を抽出することにより、商品Ｇに対する商品候補を抽出する。

条件ａ〜ｃは類似度に応じて段階的に設定されればその詳細は特に限定されるものではないが、一例として、予め設定された複数の閾値によって条件ａ〜ｃを設けることができる。ここでは、第１閾値〜第３閾値によって条件ａ〜ｃを設定する場合について説明する。なお、第１閾値〜第３閾値の大小関係は、第１閾値＞第２閾値＞第３閾値とする。

類似度判定部５０４は、オペレータが撮像部１６４にかざした一の商品Ｇについて、第１類似度算出部５０３が撮像画像毎に算出した登録商品との類似度のうち、その類似度が予め定められた第１閾値（例えば９０％）以上となった回数をカウントする。そして、類似度判定部５０４は、この回数が所定回数以上となった場合に条件ａが満たされたと判定する。なお、第１閾値を誤判定が無いよう十分に高く設定した場合には、所定回数を１回として条件ａを判定してもよい。

また、類似度判定部５０４は、登録商品との類似度が第１閾値（例えば９０％）未満で且つ第１閾値より小さい第２閾値（例えば７５％）以上となった場合に条件ｂが満たされたと判定する。そして、条件ｂを満たした登録商品は、確定商品ではあるがオペレータによる確認操作を要すると判定する。なお、類似度判定部５０４は、登録商品との類似度が第１閾値未満で且つ第１閾値より小さい第２閾値以上となった回数をカウントし、この回数が所定回数以上となった場合に条件ｂが満たされたと判定してもよい。

さらに、類似度判定部５０４は、登録商品との類似度が第２閾値（例えば７５％）未満で且つ第２閾値より小さい第３閾値（例えば１０％）以上である場合に、条件ｃが満たされたと判定する。なお、類似度判定部５０４は、登録商品との類似度が第２閾値未満で且つ第２閾値より小さい第３閾値以上となった回数をカウントし、この回数が所定回数以上となった場合に条件ｃが満たされたと判定してもよい。

なお、各条件ａ〜ｃは、類似度の大きさ、判定回数等に応じて適宜設定可能であり、上述した例に限定されるものではない。また、条件ａ〜ｃの判断に用いる所定回数はそれぞれ条件毎に異なる回数を設けるものであってもよい。

商品提示部５０５は、撮像部１６４によって撮像された商品が、条件ａ又は条件ｂを満たす確定商品として一意的に確定されたことを、画像出力や音声出力等によってオペレータや顧客に報知する。より詳細には、商品提示部５０５は、条件ａを満たした登録商品が、撮像部１６４によって撮像された商品（確定商品）として一意的に確定されたことを示す確定画面Ａ１（図６参照）を表示デバイス１０６に表示させる。

図６は、確定画面Ａ１の一例を示す図である。条件ａを満たす登録商品があった場合に、商品提示部５０５は読取領域Ｒ（図５参照）の撮像画像の表示を停止し、確定商品に対応するイラスト画像Ｇ１および商品名「ＡＡＡ」をＰＬＵファイルＦ１から読み出して、確定画面Ａ１に表示する。また、商品提示部５０５は、ＰＬＵファイルＦ１から読み出した確定商品の商品名、商品価格（単価）を、商品名表示領域Ａ１１、価格表示領域Ａ１２にそれぞれ表示する。なお、商品提示部５０５は、イラスト画像Ｇ１の代わりに、ＰＬＵファイルＦ１から読み出した商品画像（写真）を表示してもよい。

また、商品提示部５０５は、条件ｂを満たした登録商品（確定商品）が、撮像部１６４によって撮像された商品Ｇであるか否かの最終確認操作を受付ける確認画面Ａ２（図７参照）を表示デバイス１０６に表示させる。

図７は、確認画面Ａ２の一例を示す図である。条件ｂを満たす登録商品があった場合に、商品提示部５０５は確定商品に対応するイラスト画像Ｇ１をＰＬＵファイルＦ１から読み出して、確認画面Ａ２に表示する。また、商品提示部５０５は、ＰＬＵファイルＦ１から読み出した確定商品の商品名を用いて、読み取られた商品Ｇがイラスト画像Ｇ１の商品であるか否かを問うメッセージを「ＡＡＡですか？」等と表示する。また、確認画面Ａ２には、「はい／いいえ」等のボタンがタッチパネル１０５に対するタッチ操作によって選択操作可能に設けられる。

このように、確認画面Ａ２においては、類似度判定の結果、１つの商品Ｇに対して唯一に選別された登録商品（確定商品）の商品名や商品画像が示され、商品Ｇと登録商品とが１対１の関係を持って表示される。

また、商品提示部５０５は、条件ｃを満たした登録商品に関する情報を、商品候補として表示デバイス１０６に表示させる。より詳細には、商品提示部５０５は、条件ｃを満たした登録商品のイラスト画像および商品名をＰＬＵファイルＦ１から読み出し、第１類似度算出部５０３が算出した類似度の高いものから順に、商品候補選択画面Ａ３（図８参照）に表示する。

図８は、商品候補選択画面Ａ３の一例を示す図である。図８に示すように、商品候補選択画面Ａ３の商品候補提示領域Ａ３１には、類似度の高い登録商品から順に、商品候補のイラスト画像Ｇ１、Ｇ２、Ｇ３および各商品名が表示される。これらイラスト画像Ｇ１、Ｇ２、Ｇ３はタッチパネル１０５に対する選択操作に応じて選択可能に構成されている。また、商品候補提示領域Ａ３１の下部には、商品リストから商品を選択するための選択ボタンＡ３２が設けられており、商品リストから選択された商品は上述した確定商品として処理される。なお、図８では、イラスト画像Ｇ１〜Ｇ３に対応する３つの商品候補を表示した例を示したが、商品候補の数や表示方法はこれに限定されるものではない。また、イラスト画像に代えて商品画像（写真）を商品候補として表示してもよい。

なお、表示デバイス１０６に商品候補のイラスト画像Ｇ１〜Ｇ３が表示されている状態でも、これら商品候補に対する選択操作を受付けない場合には、第１画像取込部５０１による画像取込処理、商品検出部５０２による検出処理、および第１類似度算出部５０３による類似度算出処理は継続される。従って、商品候補が選択されない間は、表示デバイス１０６の画面に読取領域Ｒの撮像画像が表示される。

入力受付部５０６は、タッチパネル１０５またはキーボード１０７を介して表示デバイス１０６の表示に対応する各種入力操作を受付ける。例えば入力受付部５０６は、確認画面Ａ２（図７参照）に対する選択操作に基づいて、表示されたイラスト画像Ｇ１の商品が確定商品であることを最終確認した旨の入力操作（確認操作）を受付ける。なお、商品提示部５０５は、入力受付部５０６が確認操作を受付けた場合に、上述の確定画面Ａ１を表示デバイス１０６に表示する。

入力受付部５０６は、表示デバイス１０６に表示された商品候補のイラスト画像Ｇ１〜Ｇ３（図８参照）の中から何れか１つのイラスト画像に対する選択操作を受付ける。入力受付部５０６は、選択されたイラスト画像の登録商品を、商品Ｇに対する確定商品であるとして受付ける。なお、商品提示部５０５は、入力受付部５０６が選択操作を受付けた場合に、受付けた商品候補を確定商品として表示させた確定画面Ａ１を表示デバイス１０６に表示させる。

情報入力部５０７は、上述のように確定された確定商品について、その確定商品を示す情報（例えば、商品ＩＤや商品名等）を、接続インターフェース１７５を介して入力する。なお、情報入力部５０７は、タッチパネル１０５またはキーボード１０７を介して別途入力された販売個数を、商品ＩＤ等とともに入力するとしてもよい。

誤認識検出部５０８は、商品提示部５０５が提示した確定商品又は商品候補に対し、オペレータが誤り（誤認識）を指示する操作を行ったことを検出する。誤認識検出部５０８は、誤認識を指示する操作が行われたことを検出すると、確定商品又は商品候補の判定に用いられた商品Ｇの撮像画像を、誤認識画像として取得する。また、誤認識検出部５０８は、取得した誤認識画像を、オペレータが確定商品として選択した登録商品の商品ＩＤと対応付けて、ＨＤＤ６４等の記憶媒体に記憶する。

ここで、オペレータが行う誤認識を指示する操作は、特に問わないものとする。例えば、誤認識検出部５０８は、図６の確定画面Ａ１において、表示された登録商品（確定商品）とは異なる他の登録商品が選択されたことを条件に、オペレータにより誤認識を指示する操作がなされたと判断する。この場合、誤認識検出部５０８は、オペレータが選択した他の登録商品（確定商品）の商品ＩＤに対応付けて誤認識画像を記憶する。

また、例えば、誤認識検出部５０８は、図７の確認画面Ａ２において、「いいえ」ボタンが選択されたことを条件に、オペレータにより誤認識を指示する操作がなされたと判断する。この場合、誤認識検出部５０８は、「いいえ」ボタンの操作後にオペレータが確定商品として選択した登録商品の商品ＩＤに対応付けて誤認識画像を記憶する。

また、例えば、誤認識検出部５０８は、類似度順に表示された商品候補（図８参照）の中から、類似度が最も高い商品候補以外の他の商品候補が選択されたこと、或いは、選択ボタンＡ３２が操作されたことを条件に、オペレータにより誤認識を指示する操作がなされたと判断する。この場合、誤認識検出部５０８は、オペレータが選択した他の登録商品の商品ＩＤに対応付けて誤認識画像を記憶する。

売上登録部５０９は、情報入力部５０７から入力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部５０９は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。

次に、学習処理に係る機能構成について説明する。上述したように、ＰＯＳ端末１１は、撮像部１６４が撮像した画像データから抽出した商品Ｇ（物品）の特徴量と、ＰＬＵファイルＦ１に登録された照合用のデータ（特徴量）との類似度に基づき、物品を認識（検出）する一般物体認識（オブジェクト認識）技術を採用している。

しかしながら、一般物体認識の認識対象となる青果品等の商品Ｇは、同じ品種でも産地や季節によって表面の質感や色などが異なる場合がある。このように同じ品種でも表面の質感や色などが異なると、ＰＬＵファイルＦ１に予め登録されている照合用のデータ（特徴量）との類似度が小さくなり、認識率が低下してしまうという問題がある。

そこで、ＰＯＳ端末１１は、ＰＬＵファイルＦ１に対する照合用データの新規登録や、照合用データの更新（追加登録）を目的として、店舗で実際に取り扱っている青果品等の商品Ｇを用いてＰＬＵファイルＦ１に照合用データを登録する学習機能を備えている。

具体的には、ＰＯＳ端末１１のＣＰＵ６１は、学習処理用プログラムＰＲ２と協働することにより、物品指定部５１１、第２画像取込部５１２、第２類似度算出部５１３、第１関係画面表示部５１４、第２関係画面表示部５１５、除外処理部５１６、学習処理部５１７、世代管理部５１８及びロールバック処理部５１９を、学習機能に係る機能部として実現する。

物品指定部５１１は、本実施形態の指定手段として機能する。物品指定部５１１は、ＰＬＵファイルＦ１から学習処理の対象とする登録商品（以下、学習対象物品という）を指定する。具体的に、物品指定部５１１は、ＰＬＵファイルＦ１に格納された登録商品のリストから、オペレータにより学習対象物品の商品ＩＤや商品名が選択されると、当該商品ＩＤや商品名に対応する登録商品を学習対象物品に指定する。また、照合用データの新規登録を行う場合、物品指定部５１１は、新規登録の対象となる商品ＩＤや商品名の指定（入力）を行う。なお、学習対象物品の指定は、オペレータの操作に応じて行うものに限らず、物品指定部５１１が自動で選択してもよい。例えば、物品指定部５１１は、認識率が所定の閾値を下回った登録商品を、学習対象物品として自動で指定してもよい。

第２画像取込部５１２は、本実施形態の取込手段として機能する。第２画像取込部５１２は、物品指定部５１１で指定された学習対象物品の撮像画像（以下、学習画像という）を取り込む。例えば、照合用データの新規登録を行う場合、第２画像取込部５１２は、撮像部１６４が撮像した学習対象物品の画像を取り込む。この場合、第２画像取込部５１２は、第１画像取込部５０１と同様に機能するため、第１画像取込部５０１を第２画像取込部５１２として用いてもよい。また、例えば、照合用データの追加登録を行う場合、第２画像取込部５１２は、ＨＤＤ６４等に記憶された各商品の誤認識画像の中から、物品指定部５１１が指定した学習対象物品に対応する商品の誤認識画像を学習画像として取り込む。

第２類似度算出部５１３は、本実施形態の算出手段として機能する。第２類似度算出部５１３は、第２画像取込部５１２が取り込んだ学習画像から、当該学習画像に含まれた物品（以下、学習サンプルという）の色合いや表面の凹凸状況等の表面の状態を特徴量として抽出する。また、第２類似度算出部５１３は、ＰＬＵファイルＦ１に登録されている学習対象物品の照合用データ（特徴量）と、学習画像の各々から抽出した学習サンプルの特徴量とを比較する。そして、第２類似度算出部５１３は、各学習サンプルの特徴量と、学習対象物品の照合用データ（特徴量）との類似度を、学習サンプル毎に算出する。

なお、照合用データの新規登録時等、照合用データ自体が存在しない場合には、第２類似度算出部５１３は、代表となる一の学習画像から抽出した特徴量を照合用データとし、残りの学習画像（学習サンプル）との類似度を算出してもよい。この場合、代表となる学習画像は、オペレータにより選択される構成としてもよいし、第２類似度算出部５１３がランダム又は所定の基準に基づいて選択する構成としてもよい。また、第２類似度算出部５１３による特徴量の抽出方法及び類似度の算出方法は、第１類似度算出部５０３と同様であるため、第１類似度算出部５０３を第２類似度算出部５１３として用いてもよい。

第１関係画面表示部５１４は、本実施形態の生成手段及び表示手段として機能する。第１関係画面表示部５１４は、第２類似度算出部５１３が算出した学習サンプル毎の類似度に基づき、学習画像（学習サンプル）間の関係を示した第１関係情報を生成する。具体的には、第１関係画面表示部５１４は、学習サンプル間の類似性を所定の基準値に対する距離で表した第１関係画面を生成する。また、第１関係画面表示部５１４は、生成した第１関係情報を第１関係画面として表示デバイス２３に表示させる。

図９は、第１関係画面の一例を示す図である。図９の第１関係画面Ａ４は、類似度判定に係る２項目（例えば、色、形）を変数とした２次元の空間において、基準値に対する各学習サンプルの類似度を、原点Ｏとの距離で表した分布図（散布図）である。ここで、原点Ｏには、各学習サンプルの類似度を距離として表す際の基準値が設定される。本実施形態では、基準値として、学習対象物品の照合用データ（特徴量）を設定する。この場合、原点Ｏとの距離が近いほど照合用データとの類似度が高いことを意味する。また、距離の算出方法は特に問わず、ユークリッド距離やハミング距離等、公知の算出方法を用いることができる。

なお、基準値を設定する位置は、原点Ｏに限らないものとする。例えば、第１関係画面Ａ４の中央に設定してもよい。また、基準値は、学習対象物品の照合用データに限らず、他の値を設定してもよい。例えば、各学習サンプルの類似度に基づき算出した当該類似度の平均値や中央値を設定してもよい。この場合、原点Ｏとの距離が近いほど平均値や中央値に近いことを意味する。

ここで、第１関係画面Ａ４は、学習サンプル間の類似性を示している。具体的には、基準値に対する類似度の傾向が同様或いは類似する学習サンプル同士では、学習サンプルがプロットされたプロット位置間の間隔（距離）が近く示される。一方、当該傾向から逸脱している学習サンプル（図中Ｐ１）では、当該傾向が類似する学習サンプルと、プロット位置間の間隔（距離）が遠く示される。そのため、類似度の傾向が同様或いは類似する学習サンプルは集合（クラスタＣ１）を形成し、当該傾向から逸脱した学習サンプルはクラスタＣ１から離れた位置にプロットされる。集合を形成する学習サンプルは同一の物品である可能性が高い。また、学習サンプルの集合から離れた位置にプロットされる学習サンプルは、学習画像に学習対象物品以外の異物が含まれている可能性が高い。

したがって、オペレータは、学習画像（学習サンプル）の各々がクラスタＣ１に含まれるか否かを確認することで、学習対象物品以外の異物が含まれた学習画像（学習サンプル）か否かを容易に判別することができる。なお、異物が含まれた学習画像（学習サンプル）については、認識率低下の要因となるため、学習処理の対象から除外することが望ましい。

なお、図９では、類似度判定に係る項目数を２項目（２変数）としたが、これに限らず、３以上の多項目（多変数）としてもよい。また、図９では、第１関係画面Ａ４は、分布図（散布図）に限らず、項目数に応じた多次元の空間や、他の表示形態で生成されてもよい。

また、第１関係画面表示部５１４は、第１関係画面にプロットされた点（学習サンプル）がオペレータによって選択された場合に、その選択された学習サンプルに対応する学習画像を表示デバイス１０６に表示するよう制御してもよい。さらに、第１関係画面表示部５１４は、後述する第２関係画面表示部５１５と協働することで、第２関係画面から学習画像が選択された場合に、当該学習画像に対応する学習サンプルのプロットを強調表示してもよい。

また、図９に示したクラスタＣ１のサークル図形は、学習サンプル群を指定するためオペレータが入力する構成としてもよいし、ガイド情報として第１関係画面表示部５１４が自動で表示する構成としてもよい。後者の場合、第１関係画面表示部５１４は、隣接するプロット位置間の間隔が予め定められた閾値以下となる学習サンプル群を一つの集合と判断し、当該学習サンプル群を囲んで表示する。

第２関係画面表示部５１５は、本実施形態の生成手段及び表示手段として機能する。第２関係画面表示部５１５は、第２類似度算出部５１３が算出した学習サンプル毎の類似度に基づき、学習画像間の関係を示した第２関係情報を生成する。具体的には、第２関係画面表示部５１５は、学習画像の各々を第２類似度算出部５１３が算出した類似度に応じた順序で配列した第２関係情報を生成する。また、第２関係画面表示部５１５は、生成した第２関係情報を第２関係画面として表示デバイス２３に表示させる。

図１０は、第２関係画面の一例を示す図である。図１０に示すように、第２関係画面Ａ５には、学習画像Ｌ１の各々がサムネイル等の縮小画像の状態で一覧表示される。係る第２関係画面Ａ５において、第２関係画面表示部５１５は、第２類似度算出部５１３が学習画像Ｌ１（学習サンプル）の各々から算出した類似度に基づき、当該類似度の昇順に学習画像Ｌ１を配列する。図１０の例では、学習画像Ｌ１は、左から右方向にかけて類似度が上昇するよう配列されており、右端から下段の左端に折り返すよう配列されている。

ここで、第２関係画面Ａ５は、学習画像Ｌ１間の関係を示すものとなる。具体的には、類似度の昇順に学習画像Ｌ１が配列されるため、第２関係画面Ａ５の上方に、照合用データとの類似度が低い学習画像Ｌ１１が位置し、第２関係画面Ａ５の下方に照合用データとの類似度が高い学習画像Ｌ１２が位置することになる。

例えば、学習画像Ｌ１１の各々には、撮像を行ったオペレータの服や指、ラベル等、学習対象物品以外の異物が含まれているため、異物を含まない学習画像Ｌ１２と比較し、算出される類似度は低くなる。そのため、学習画像Ｌ１１は、学習画像Ｌ１２の上方に表示されることになる。

したがって、オペレータは、当該学習画像が第２関係画面Ａ５の上方に位置するか否かを確認することで、学習対象物品以外の異物が含まれた学習画像か否かを容易に判別することができる。また、第２関係画面Ａ５は、学習画像Ｌ１の各々を比較可能な状態で表示するため、オペレータは、各学習画像Ｌ１の状態を容易に確認することができる。なお、学習対象物品以外の異物が含まれた学習画像Ｌ１１については、認識率低下の要因となるため、学習処理の対象から除外することが望ましい。

なお、図１０では、学習画像を４行５列で配列する例を示したが、学習画像の配列数や表示方法はこれに限らないものとする。例えば、第２関係画面表示部５１５は、第２関係画面Ａ５にスクロールバー等を設けることで、第２関係画面Ａ５内に収まらない学習画像をスクロールにより表示させてもよい。また、図１０では、類似度の昇順に学習画像を配置する形態としたが、類似度の降順に学習画像を配置する形態としてもよい。

また、第２関係画面表示部５１５は、縮小画像の状態で表示した学習画像がオペレータにより選択された場合に、その選択された学習画像を本来のサイズで表示するよう制御してもよい。さらに、第２関係画面表示部５１５は、第１関係画面表示部５１４と協働することで、第１関係画面から学習サンプルのプロットが選択された場合に、第２関係画面に表示された当該学習サンプルに対応する学習画像を強調表示してもよい。なお、第１関係画面及び第２関係画面は、オペレータの切り替え操作に応じて何れか一方が選択的に表示される構成としてもよいし、同時に表示される構成としてもよい。

また、図１０では、学習画像Ｌ１１の各々を枠で囲むことで強調表示したが、この強調表示はオペレータによる学習画像の選択（指定）に伴って行う構成としてもよいし、ガイド情報として第２関係画面表示部５１５が自動で行う構成としてもよい。後者の場合、第２関係画面表示部５１５は、類似度が予め定められた閾値以下の学習画像を枠で囲むことで強調表示を行う。

除外処理部５１６は、本実施形態の除去手段として機能する。除外処理部５１６は、第２画像取込部５１２が取り込んだ学習画像の中から、学習処理の非対象とする学習画像を除外するための処理を行う。具体的には、除外処理部５１６は、第１関係画面表示部５１４又は第２関係画面表示部５１５が生成した関係情報（第１関係情報、第２関係情報）に基づき、第２画像取込部５１２が取り込んだ学習画像の中から所定の条件に該当した撮像画像を除去する。

例えば、除外処理部５１６は、第１関係画面（第１関係情報）に表された学習サンプル（プロット）の中から、除外の対象となる学習サンプルがオペレータに指定されたことを条件に、その指定された学習サンプルに対応する学習画像を学習処理の非対象に設定する。また、除外処理部５１６は、第２関係画面（第２関係情報）に表された学習画像の中から、除外の対象とする学習画像がオペレータにより指定されたことを条件に、その指定された学習画像を学習処理の非対象に設定する。

これにより、オペレータは、第１関係画面や第２関係画面を見ながら、除外の対象となる学習画像（学習サンプル）を指定することができるため、学習対象物品以外の異物が含まれた学習画像を、学習処理の対象から容易に除外することができる。

なお、除外の対象とする学習画像は、オペレータによる指定に限らず、除外処理部５１６が自動で選択してもよい。除外処理部５１６は、ＨＤＤ６４等に記憶された設定情報に基づき、第１関係画面（第１関係情報）や第２関係画面（第２関係情報）に表された学習画像から、所定の条件に該当した学習画像を自動で選択し学習処理の非対象に設定する。ここで、設定情報は、例えば、クラスタ又は非クラスタの判定に係るプロット位置間の距離の閾値や、学習処理の対象又は非対象の判定に係る類似度の閾値を含む。例えば、除外処理部５１６は、第１関係画面からプロット位置間の距離が閾値を超えた学習画像を非対象に設定する。また、除外処理部５１６は、第２関係画面から類似度が閾値未満の学習画像を非対象に設定する。また、閾値は、第１関係画面や第２関係画面からオペレータが学習画像の除外指定を行った際の操作履歴に基づき、除外処理部５１６が自動で設定する構成としてもよい。

学習処理部５１７は、本実施形態の学習手段として機能する。学習処理部５１７は、第２画像取込部５１２が取り込んだ学習画像のうち、除外処理部５１６が学習処理の非対象に設定した学習画像を除く残りの学習画像を用いて、物品指定部５１１が指定した学習対象物品の学習処理を実行する。

具体的には、学習処理部５１７は、第２画像取込部５１２が取り込んだ学習画像のうち、除外処理部５１６が学習処理の非対象に設定した学習画像を除く残りの学習画像から学習サンプル（学習対象物品）の特徴量を抽出する。そして、学習処理部５１７は、抽出した特徴量を用いて、学習対象物品の照合用データを更新する学習処理を実行する。例えば、学習処理部５１７は、照合用データを新規登録する場合、抽出した学習サンプルの特徴量を照合用データとし、当該照合用データを学習対象物品の商品ＩＤに関連付けてＰＬＵファイルＦ１に登録する。また、学習処理部５１７は、照合用データを更新（追加登録）する場合、抽出した学習サンプルの特徴量を、学習対象物品の商品ＩＤに関連付けてＰＬＵファイルＦ１に予め登録されている照合用データに追加登録することで、照合用データを更新する。

なお、学習処理の方法は特に問わず、公知の技術を用いることができる。また、学習処理部５１７は、先に第２類似度算出部５１３が学習画像から抽出した学習サンプルの特徴量を用いて、学習処理を実行してもよい。

このように、ＰＯＳ端末１１は、学習対象物品以外の異物が含まれた学習画像を除去して、学習対象物品の学習処理を実行することができる。したがって、ＰＯＳ端末１１の学習機能を用いることで、オブジェクト認識に係る学習処理を効率的に行うことができる。

ところで、上記した学習処理により照合用データを学習対象物品毎に更新することができるが、この更新後の照合用データを用いることで、かえって認識率が低下してしまうような場合も想定される。例えば、オペレータが学習対象物品（例えば品種）を間違えて学習処理を行ってしまった場合には、異なる商品Ｇを認識することになるため認識率が低下する。

そこで、本実施形態のＰＯＳ端末１１では、世代管理部５１８及びロールバック処理部５１９を備えることで、従前の照合用データにロールバック（復元）することが可能となっている。

世代管理部５１８は、本実施形態の世代管理手段として機能する。世代管理部５１８は、学習処理部５１７が学習処理を実行するのに伴い、その学習処理で登録（更新）された照合用データ（特徴量）を登録商品（商品ＩＤ）毎に世代管理する。例えば、世代管理部５１８は、ＰＬＵファイルＦ１に登録された各登録商品の照合用データを現世代（運用辞書）とし、学習処理により当該照合用データが更新されると、この更新後の照合用データを現世代に設定するとともに、変更前の照合用データを１世代前の照合用データに設定する。また、次の学習処理により照合用データが更新されると、世代管理部５１８は、１世代前の照合用データを２世代前の照合用データに設定し、上記した現世代及び１世代前の設定動作を実行する。

なお、世代管理部５１８が管理する世代数は特に問わず、任意の値を設定することが可能であるとする。また、世代管理の方法は特に問わず、例えば前世代との差分値を保持する等、公知公用の技術を用いることができる。また、過去の照合用データを管理するための記憶領域は特に問わず、例えば、ＨＤＤ６４を用いてもよい。

ロールバック処理部５１９は、本実施形態のロールバック手段として機能する。ロールバック処理部５１９は、世代管理部５１８が管理する過去の照合用データに基づき、照合用データのロールバック処理を実行する機能部である。具体的には、ロールバック処理部５１９は、オペレータからロールバックの実行が指示されると、世代管理部５１８が管理する照合用データに基づき、ロールバック（復元）の対象とする登録商品及び照合用データを選択するためのロールバック画面を表示デバイス２３に表示する。

図１１は、ロールバック画面の一例を示す図である。図１１に示すように、ロールバック画面Ａ６は、各登録商品の商品名に対応付けて、当該登録商品について世代管理されている各照合用データのデータ識別子を表示する。データ識別子は、例えば、照合用データのデータ名、当該照合用データに付されたタイムスタンプ（生成、更新日時）等を用いることができる。また、データ識別子とともに、その世代の照合用データで得られた認識率等の付加情報を表示してもよい。

ロールバック画面Ａ６に表示された商品名及びデータ識別子は、オペレータが選択することが可能な操作子として機能する。例えば、ロールバックの対象となる一の登録商品（商品名）がオペレータにより選択されると、ロールバック処理部５１９は、この登録商品に対応付けて表示した操作子（データ識別子）に対する選択操作を有効化する。また、ロールバック処理部５１９は、選択された登録商品以外の他の登録商品に対応付けて表示した操作子（データ識別子）に対する選択操作を無効化する。そして、オペレータにより一のデータ識別子が操作されると、ロールバック処理部５１９は、そのデータ識別子に対応する照合用データを、ＰＬＵファイルＦ１に登録されたロールバック対象の商品名の照合用データ（現世代）に上書きするロールバック処理を行う。

なお、ロールバック前の現世代の照合用データは、ロールバック後、消去する構成としてもよいし、１世代前の照合用データとして世代管理部５１８が世代管理する構成としてもよい。

これにより、学習処理により認識率が低下したような場合であっても、従前の照合用データにロールバックすることが可能であるため、認識率の向上を図ることができる。

次に、学習処理に係るチェックアウトシステム１の動作について詳細に説明する。図１２は、チェックアウトシステム１（ＰＯＳ端末１１）が実行する学習処理の手順の一例を示すフローチャートである。

まず、物品指定部５１１は、オペレータの選択操作等に応じて、学習処理の対象となる学習対象物品を指定する（ステップＳ１１）。次いで、第２画像取込部５１２は、ステップＳ１１で指定された学習対象物品の学習画像を取り込む（ステップＳ１２）。

続いて、第２類似度算出部５１３は、ステップＳ１２で取り込まれた学習画像の各々から当該学習画像に含まれた学習サンプルの特徴量を抽出する（ステップＳ１３）。次いで、第２類似度算出部５１３は、ステップＳ１３で抽出した学習サンプル毎の特徴量と、ＰＬＵファイルＦ１に登録された学習対象物品の照合用データ（特徴量）とを比較することで、当該照合用データとの類似度を学習サンプル毎に算出する（ステップＳ１４）。

続いて、第１関係画面表示部５１４及び第２関係画面表示部５１５は、ステップＳ１４で算出された学習サンプル毎の類似度に基づき、学習画像間の関係を示した関係画面（第１関係画面、第２関係画面）を表示デバイス１０６に表示する（ステップＳ１５）。なお、第１関係画面及び第２関係画面は、同時に表示される構成としてもよいし、オペレータの切り替え操作等に応じて何れか一方が表示される構成としてもよい。

除外処理部５１６は、ステップＳ１５で表示された関係画面に基づき、オペレータにより除外の対象となる学習画像（学習サンプル）が指定されたか否かを判定する（ステップＳ１６）。ここで、除外の対象となる学習画像が指定された場合（ステップＳ１６；Ｙｅｓ）、除外処理部５１６は、その指定された学習画像を学習処理の非対象に設定する（ステップＳ１７）。そして、除外処理部５１６は、ステップＳ１５に処理を戻すことで、オペレータが指定した学習画像（学習サンプル）を非表示とした関係画面を、第１関係画面表示部５１４及び第２関係画面表示部５１５に表示させる。

また、除外対象の学習画像が指定されない場合（ステップＳ１６；Ｎｏ）、学習処理部５１７は、学習処理の実行がオペレータから指示されたか否かを判定する（ステップＳ１８）。学習処理の実行が指示されない場合（ステップＳ１８；Ｎｏ）、学習処理部５１７は、ステップＳ１６に処理を戻すことで、学習処理の実行指示を待機する。

学習処理の実行が指示されると（ステップＳ１８；Ｙｅｓ）、学習処理部５１７は、ステップＳ１２で取り込まれた学習画像のうち、ステップＳ１７で学習処理の非対象に設定された学習画像を除いた残りの学習画像を抽出する（ステップＳ１９）。そして、学習処理部５１７は、ステップＳ１９で抽出した学習画像に基づき、ステップＳ１１で指定された学習対象物品の照合用データに学習処理を実行する（ステップＳ２０）。

次に、ロールバック処理に係るチェックアウトシステム１の動作について詳細に説明する。図１３は、チェックアウトシステム１（ＰＯＳ端末１１）が実行するロールバック処理の手順の一例を示すフローチャートである。なお、本処理の前提として、世代管理部５１８により照合用データの世代管理が登録商品毎に行われているものとする。

まず、ロールバック処理部５１９は、世代管理部５１８が管理する照合用データに基づき、ロールバックの対象とする登録商品及び照合用データを選択するためのロールバック画面（図１１参照）を表示デバイス２３に表示する（ステップＳ３１）。

続いて、ロールバック処理部５１９は、オペレータによりロールバック対象の登録商品が選択されるまで待機する（ステップＳ３２；Ｎｏ）。ロールバック対象の登録商品が選択されると（ステップＳ３２；Ｙｅｓ）、ロールバック処理部５１９は、選択された登録商品に関連付けて世代管理されている照合用データを選択するための操作子（データ識別子）を有効化する（ステップＳ３３）。

続いて、ロールバック処理部５１９は、オペレータの操作指示を待機する（ステップＳ３４；Ｎｏ→ステップＳ３６；Ｎｏ）。ここで、ステップＳ３２で選択された登録商品の選択解除が指示されると（ステップＳ３４；Ｙｅｓ）、ロールバック処理部５１９は、ステップＳ３３で有効化した操作子を無効化し（ステップＳ３５）、ステップＳ３２に戻る。

また、ステップＳ３３で有効化された操作子の中から一の操作子が操作されると（ステップＳ３６；Ｙｅｓ）、ロールバック処理部５１９は、この操作された操作子に対応する照合用データを、ステップＳ３２で選択された登録商品の現世代の照合用データに上書きするロールバック処理を実行する（ステップＳ３７）。

以上のように、本実施形態の情報処理装置によれば、オブジェクト認識に係る学習処理において、学習画像間の関係を示した関係画面を表示し、オペレータから指示された学習画像を、学習処理の対象から除外する。これにより、オペレータは、学習画像間の関係を示した関係画面に基づいて、異物の含まれた学習画像を容易に識別、除外することができるため、学習処理を効率的に行うことができる。

また、本実施形態の情報処理装置によれば、照合用データを世代管理し、オペレータからの指示に応じて照合用データのロールバックを行う。これにより、例えば、学習処理を行うことで、学習処理の前よりも認識率が低下してしまったような場合に、従前の照合用データを復元することができるため、学習処理に係る利便性を向上させることができる。

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加、組み合わせ等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、ＰＯＳ端末１１がＰＬＵファイルＦ１を備える形態としたが、これに限らず、商品読取装置１０１がＰＬＵファイルＦ１を備える形態としてもよいし、ＰＯＳ端末１１及び商品読取装置１０１がアクセス可能な外部装置がＰＬＵファイルＦ１を備える形態としてもよい。

また、上記実施形態では、物品指定部５１１、第２画像取込部５１２、第２類似度算出部５１３、第１関係画面表示部５１４、第２関係画面表示部５１５、除外処理部５１６、学習処理部５１７、世代管理部５１８、ロールバック処理部５１９の機能を有する情報処理装置としてＰＯＳ端末１１を適用したが、これに限らないものとする。例えば、商品読取装置１０１が、上記した機能部の一部又は全てを備え、類似度の算出結果等の処理結果をＰＯＳ端末１１に出力する構成としてもよい。また、例えば、ストアコンピュータＳＣ等の情報処理装置が、上記した機能部の一部又は全てを備え、学習処理やロールバック処理の結果（例えばＰＬＵファイルＦ１自体）をＰＯＳ端末１１に出力（供給）する構成としてもよい。

また上記実施形態では、照合用データを特徴量として説明したが、照合用データは、撮像された商品画像（基準画像）としてもよい。

また、上記実施形態では、店舗システムとしてＰＯＳ端末１１と商品読取装置１０１とで構成されるチェックアウトシステム１を適用したがこれに限るものではなく、ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置に適用するようにしてもよい。ＰＯＳ端末１１及び商品読取装置１０１の機能を備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置が挙げられる。

また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭまたは記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。更に、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。

また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

１ チェックアウトシステム
１１ ＰＯＳ端末
１０１ 商品読取装置
５０１ 第１画像取込部
５０２ 商品検出部
５０３ 第１類似度算出部
５０４ 類似度判定部
５０５ 商品提示部
５０６ 入力受付部
５０７ 情報入力部
５０８ 誤認識検出部
５０９ 売上登録部
５１１ 物品指定部
５１２ 第２画像取込部
５１３ 第２類似度算出部
５１４ 第１関係画面表示部
５１５ 第２関係画面表示部
５１６ 除外処理部
５１７ 学習処理部
５１８ 世代管理部
５１９ ロールバック処理部
Ｆ１ ＰＬＵファイル

特開２０１４−３２５３９号公報

Claims (6)

1. 学習処理の対象となる学習対象物品を指定する指定手段と、
   前記学習処理に用いる撮像画像を取り込む取込手段と、
   前記撮像画像の各々から、当該撮像画像に含まれる物品の特徴を示した特徴量を抽出する抽出手段と、
   前記抽出手段が抽出した特徴量の各々と、辞書登録された前記学習対象物品の特徴量とをそれぞれ比較し、その類似度を算出する算出手段と、
   前記算出手段が算出した類似度に基づき、前記撮像画像間の関係を示した関係情報を生成する生成手段と、
   前記関係情報に基づき、前記撮像画像の中から所定の条件に該当した撮像画像を除去する除去手段と、
   前記除去手段により除去された残りの前記撮像画像に含まれる物品の特徴量を用いて、前記学習対象物品の特徴量を更新する学習処理を実行する学習手段と、
   を備える情報処理装置。
2. 前記生成手段が生成した関係情報を関係画面として表示部に表示する表示手段を更に備え、
   前記除去手段は、前記関係画面から除去対象の撮像画像が指定されたことを条件に、当該指定された撮像画像を除去する請求項１に記載の情報処理装置。
3. 前記生成手段は、前記撮像画像間の類似性を表した前記関係情報を生成する請求項１又は２に記載の情報処理装置。
4. 前記生成手段は、前記算出手段が算出した類似度に応じた順序で前記撮像画像を配列した前記関係情報を生成する請求項１〜３の何れか一項に記載の情報処理装置。
5. 前記学習対象物品の特徴量を世代管理する世代管理手段と、
   前記世代管理手段が管理する過去の特徴量のうち、指定された世代の特徴量を用いて現世代の特徴量のロールバックを行うロールバック手段と、
   を更に備える請求項１〜４の何れか一項に記載の情報処理装置。
6. コンピュータを、
   学習処理の対象となる学習対象物品を指定する指定手段と、
   前記学習処理に用いる撮像画像を取り込む取込手段と、
   前記撮像画像の各々から、当該撮像画像に含まれる物品の特徴を示した特徴量を抽出する抽出手段と、
   前記抽出手段が抽出した特徴量の各々と、辞書登録された前記学習対象物品の特徴量とをそれぞれ比較し、その類似度を算出する算出手段と、
   前記算出手段が算出した類似度に基づき、前記撮像画像間の関係を示した関係情報を生成する生成手段と、
   前記関係情報に基づき、前記撮像画像の中から所定の条件に該当した撮像画像を除去する除去手段と、
   前記除去手段により除去された残りの前記撮像画像に含まれる物品の特徴量を用いて、前記学習対象物品の特徴量を更新する学習処理を実行する学習手段と、
   して機能させるためのプログラム。

Images